Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 6: grep, cut, sort, uniq

Ziel: Ein Zugriffslog mit kleinen Werkzeugen in Pipelines auswerten: Zeilen finden, Felder ausschneiden, sortieren, zählen. Am Ende fasst notes-report das Log von notes zusammen. · Dauer: ca. 75 min · Voraussetzung: Tag 5

Briefing

  • Unix-Werkzeuge tun eine Sache und reden über Text miteinander: Die Ausgabe des einen ist die Eingabe des nächsten (|).
  • grep findet Zeilen, cut schneidet Felder aus, sort sortiert, uniq -c zählt gleiche benachbarte Zeilen, wc -l zählt Zeilen, head/tail kürzen.
  • Das Muster sort | uniq -c | sort -rn | head beantwortet die häufigste Frage im Betrieb: „Was kommt am öftesten vor?”
  • Das Log von notes hat Felder, getrennt durch Leerzeichen:
 172.19.0.1 [02/Nov/2026:12:40:01 +0000] "GET /notes HTTP/1.1" 200 69 0.004 notes-last
 └ 1       └ 2                  └ 3    └ 4  └ 5    └ 6       └ 7 └ 8 └ 9  └ 10
   IP        Datum, Zeit          Zone Methode, Pfad, Protokoll Status Bytes Dauer Agent

Drill 1: Eine feste Grundlage

Damit deine Zahlen zu denen im Buch passen, leerst du das Log und erzeugst genau 200 Anfragen:

source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag06 && cd ~/sh-lab/tag06
docker compose -f ~/sh-lab/notes/compose.yaml exec -T proxy \
  sh -c ': > /var/log/notes/access.log'
notes-last 200
wc -l "$NOTES_LOG"
head -2 "$NOTES_LOG"

Erwartet:

200 Anfragen an http://127.0.0.1:8080
200 /home/ubuntu/sh-lab/notes/logs/access.log
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "GET /notes HTTP/1.1" 200 656 0.004 notes-last
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "GET /notes HTTP/1.1" 200 656 0.002 notes-last

Die Log-Datei gehört root (nginx im Container schreibt sie), deshalb das Leeren im Container. : > datei kürzt eine Datei auf null Bytes, ohne sie zu löschen – nginx schreibt in dieselbe Datei weiter. Die Bytes von GET /notes hängen davon ab, wie viele Notizen du schon angelegt hast.

Fortschritt speichern? Kostenlos registrieren

Drill 2: grep

grep -c ' 404 ' "$NOTES_LOG"
grep -c -v 'notes-last$' "$NOTES_LOG"
grep -E '"(POST|DELETE) ' "$NOTES_LOG" | head -1
grep -o '"GET /[a-z]*' "$NOTES_LOG" | sort -u
grep -F '/notes/1 ' "$NOTES_LOG" | wc -l
grep -q ' 500 ' "$NOTES_LOG" || echo "keine 500er"

Erwartet:

40
20
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "POST /notes HTTP/1.1" 201 68 0.004 curl/8.18.0
"GET /admin
"GET /healthz
"GET /notes
"GET /version
0
keine 500er
Option Wirkung
-c nur zählen
-v Zeilen, die nicht passen
-E erweiterte reguläre Ausdrücke (|, +, ())
-o nur das gefundene Stück
-F fester Text, kein Muster – . und * bedeuten nichts
-q nichts ausgeben, nur Exit-Code

Warum findet grep -F '/notes/1 ' nichts? notes-last fragt /notes/8, /notes/18 … ab – also Zahlen auf 8. Das Leerzeichen im Muster verhindert, dass /notes/18 mitgezählt wird.

Fortschritt speichern? Kostenlos registrieren

Drill 3: cut und Felder

cut -d' ' -f7 "$NOTES_LOG" | sort | uniq -c
cut -d' ' -f4,5 "$NOTES_LOG" | sort | uniq -c | sort -rn | head -4
cut -d' ' -f2 "$NOTES_LOG" | cut -c2-18 | sort -u | wc -l

Erwartet (die letzte Zahl hängt davon ab, über wie viele Sekunden notes-last lief):

    140 200
     20 201
     40 404
     80 "GET /notes
     40 "GET /healthz
     20 "POST /notes
     20 "GET /version
2
  • cut -d' ' -f7 nimmt das siebte Feld, Trenner ist genau ein Leerzeichen. Folgen zwei Leerzeichen aufeinander, zählt cut ein leeres Feld dazwischen – dann hilft awk (Tag 7).
  • -f4,5 nimmt mehrere Felder, cut -c2-18 schneidet nach Zeichenpositionen.
  • uniq -c zählt nur benachbarte gleiche Zeilen – deshalb immer erst sort.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die Top-Liste

cut -d' ' -f5 "$NOTES_LOG" | sort | uniq -c | sort -rn | head -5
grep ' 404 ' "$NOTES_LOG" | cut -d' ' -f5 | sort | uniq -c \
  | sort -k1,1nr -k2 | head -3
cut -d' ' -f9 "$NOTES_LOG" | sort -n | tail -1

Erwartet (die letzte Zeile, die langsamste Anfrage, weicht ab):

    100 /notes
     40 /healthz
     20 /version
     20 /admin
      1 /notes/98
     20 /admin
      1 /notes/108
      1 /notes/118
0.012
  • sort -rn: numerisch und absteigend. Bei gleicher Zahl entscheidet der Rest der Zeile – deshalb kommt /notes/98 vor /notes/8.
  • sort -k1,1nr -k2: erst nach Feld 1 numerisch absteigend, bei Gleichstand nach Feld 2 als Text aufsteigend. Mit -k legst du die Reihenfolge ausdrücklich fest.
  • sort -n | tail -1 liefert das Maximum, sort -n | head -1 das Minimum.

Fortschritt speichern? Kostenlos registrieren

Drill 5: notes-report

cat > ~/sh-lab/werkzeug/bin/notes-report <<'EOF'
#!/usr/bin/env bash
# notes-report – fasst das Zugriffslog von notes zusammen
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
log="${NOTES_LOG:?fehlt – source ~/sh-lab/setup/env.sh}"
[[ -r $log ]] || die "nicht lesbar: $log"

gesamt=$(wc -l < "$log")
((gesamt > 0)) || die "Log ist leer: $log"
fehler=$(cut -d' ' -f7 "$log" | grep -c '^[45]' || true)

echo "Anfragen: $gesamt"
echo "Fehler:   $fehler ($((fehler * 100 / gesamt)) %)"
echo "--- nach Status"
cut -d' ' -f7 "$log" | sort | uniq -c
echo "--- Top 5 Pfade"
cut -d' ' -f5 "$log" | sort | uniq -c | sort -k1,1nr -k2 | head -5
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-report
shellcheck -x ~/sh-lab/werkzeug/bin/notes-report && echo sauber
notes-report

Erwartet:

sauber
Anfragen: 200
Fehler:   40 (20 %)
--- nach Status
    140 200
     20 201
     40 404
--- Top 5 Pfade
    100 /notes
     40 /healthz
     20 /admin
     20 /version
      1 /notes/108
  • wc -l < "$log" statt wc -l "$log": Ohne Dateinamen gibt wc nur die Zahl aus.
  • grep -c endet mit Exit-Code 1, wenn es nichts findet – mit pipefail wäre das ein Abbruch. || true macht aus „null Treffer” ein gültiges Ergebnis.
  • Bash rechnet ganzzahlig: fehler * 100 / gesamt – erst multiplizieren, dann teilen, sonst kommt 0 heraus.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

notes-report | sed -n 2p

Erwartet:

Fehler:   40 (20 %)
grep -c '"GET /notes HTTP' "$NOTES_LOG"

Erwartet:

80
NOTES_LOG=/gibtsnicht notes-report; echo "Exit: $?"

Erwartet:

12:45:10 notes-report: FEHLER nicht lesbar: /gibtsnicht
Exit: 1

Challenge

notes-report soll auch eine andere Log-Datei auswerten: notes-report [logdatei]. Ohne Argument gilt weiter $NOTES_LOG. Teste es mit einer Datei, die nur die 404-Zeilen enthält.

Hinweis: ${1:-…} und eine Datei mit grep … > /tmp/….

Lösung

cd ~/sh-lab/werkzeug/bin
sed -i 's|^log="\${NOTES_LOG:?|log="${1:-${NOTES_LOG:?|' notes-report
sed -i '/^log=/s|}"$|}}"|' notes-report
sed -i '2s|$| [logdatei]|' notes-report
sed -n '2p;5p' notes-report
grep ' 404 ' "$NOTES_LOG" > /tmp/nur404.log
shellcheck -x notes-report && notes-report /tmp/nur404.log | head -4

Erwartet:

# notes-report – fasst das Zugriffslog von notes zusammen [logdatei]
log="${1:-${NOTES_LOG:?fehlt – source ~/sh-lab/setup/env.sh}}"
Anfragen: 40
Fehler:   40 (100 %)
--- nach Status
     40 404

Die erste Zeile setzt ${1:- vor die alte Expansion, die zweite ergänzt die fehlende schließende Klammer, die dritte hängt an Zeile 2 den Hinweis an. Im Editor ist es eine Sache von Sekunden. ${1:-${NOTES_LOG:?…}} verschachtelt zwei Expansionen: erst das Argument, dann die Variable, und erst wenn beide fehlen, der Abbruch.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Logs rotieren: In Produktion wird das Zugriffslog täglich umbenannt und komprimiert (logrotate). Ein Report liest dann access.log.1 und zcat die älteren.
  • Große Dateien: grep -F und LC_ALL=C machen Suchen in Gigabyte-Logs um ein Vielfaches schneller – ohne Unicode-Regeln vergleicht grep nur Bytes.
  • Strukturierte Logs: Schreibt ein Dienst JSON statt Text, nimmst du jq statt cut (Tag 8). Für Dauerbetrieb gehört das Log in ein System wie Loki oder Elasticsearch – die Pipeline hier ist für die schnelle Frage zwischendurch.