Tag 6: grep, cut, sort, uniq
Ziel: Ein Zugriffslog mit kleinen Werkzeugen in Pipelines auswerten: Zeilen finden, Felder ausschneiden, sortieren, zählen. Am Ende fasst
notes-reportdas Log von notes zusammen. · Dauer: ca. 75 min · Voraussetzung: Tag 5
Briefing
- Unix-Werkzeuge tun eine Sache und reden über Text
miteinander: Die Ausgabe des einen ist die Eingabe des nächsten
(
|). grepfindet Zeilen,cutschneidet Felder aus,sortsortiert,uniq -czählt gleiche benachbarte Zeilen,wc -lzählt Zeilen,head/tailkürzen.- Das Muster
sort | uniq -c | sort -rn | headbeantwortet die häufigste Frage im Betrieb: „Was kommt am öftesten vor?” - Das Log von notes hat Felder, getrennt durch Leerzeichen:
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "GET /notes HTTP/1.1" 200 69 0.004 notes-last
└ 1 └ 2 └ 3 └ 4 └ 5 └ 6 └ 7 └ 8 └ 9 └ 10
IP Datum, Zeit Zone Methode, Pfad, Protokoll Status Bytes Dauer Agent
Drill 1: Eine feste Grundlage
Damit deine Zahlen zu denen im Buch passen, leerst du das Log und erzeugst genau 200 Anfragen:
source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag06 && cd ~/sh-lab/tag06
docker compose -f ~/sh-lab/notes/compose.yaml exec -T proxy \
sh -c ': > /var/log/notes/access.log'
notes-last 200
wc -l "$NOTES_LOG"
head -2 "$NOTES_LOG"Erwartet:
200 Anfragen an http://127.0.0.1:8080
200 /home/ubuntu/sh-lab/notes/logs/access.log
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "GET /notes HTTP/1.1" 200 656 0.004 notes-last
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "GET /notes HTTP/1.1" 200 656 0.002 notes-last
Die Log-Datei gehört root (nginx im Container schreibt sie), deshalb
das Leeren im Container. : > datei kürzt eine Datei auf
null Bytes, ohne sie zu löschen – nginx schreibt in dieselbe Datei
weiter. Die Bytes von GET /notes hängen davon ab, wie viele
Notizen du schon angelegt hast.
Fortschritt speichern? Kostenlos registrieren
Drill 2: grep
grep -c ' 404 ' "$NOTES_LOG"
grep -c -v 'notes-last$' "$NOTES_LOG"
grep -E '"(POST|DELETE) ' "$NOTES_LOG" | head -1
grep -o '"GET /[a-z]*' "$NOTES_LOG" | sort -u
grep -F '/notes/1 ' "$NOTES_LOG" | wc -l
grep -q ' 500 ' "$NOTES_LOG" || echo "keine 500er"Erwartet:
40
20
172.19.0.1 [02/Nov/2026:12:40:01 +0000] "POST /notes HTTP/1.1" 201 68 0.004 curl/8.18.0
"GET /admin
"GET /healthz
"GET /notes
"GET /version
0
keine 500er
| Option | Wirkung |
|---|---|
-c |
nur zählen |
-v |
Zeilen, die nicht passen |
-E |
erweiterte reguläre Ausdrücke (|, +,
()) |
-o |
nur das gefundene Stück |
-F |
fester Text, kein Muster – . und *
bedeuten nichts |
-q |
nichts ausgeben, nur Exit-Code |
Warum findet grep -F '/notes/1 ' nichts?
notes-last fragt /notes/8,
/notes/18 … ab – also Zahlen auf 8. Das Leerzeichen im
Muster verhindert, dass /notes/18 mitgezählt wird.
Fortschritt speichern? Kostenlos registrieren
Drill 3: cut und Felder
cut -d' ' -f7 "$NOTES_LOG" | sort | uniq -c
cut -d' ' -f4,5 "$NOTES_LOG" | sort | uniq -c | sort -rn | head -4
cut -d' ' -f2 "$NOTES_LOG" | cut -c2-18 | sort -u | wc -lErwartet (die letzte Zahl hängt davon ab, über wie viele Sekunden
notes-last lief):
140 200
20 201
40 404
80 "GET /notes
40 "GET /healthz
20 "POST /notes
20 "GET /version
2
cut -d' ' -f7nimmt das siebte Feld, Trenner ist genau ein Leerzeichen. Folgen zwei Leerzeichen aufeinander, zähltcutein leeres Feld dazwischen – dann hilftawk(Tag 7).-f4,5nimmt mehrere Felder,cut -c2-18schneidet nach Zeichenpositionen.uniq -czählt nur benachbarte gleiche Zeilen – deshalb immer erstsort.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Top-Liste
cut -d' ' -f5 "$NOTES_LOG" | sort | uniq -c | sort -rn | head -5
grep ' 404 ' "$NOTES_LOG" | cut -d' ' -f5 | sort | uniq -c \
| sort -k1,1nr -k2 | head -3
cut -d' ' -f9 "$NOTES_LOG" | sort -n | tail -1Erwartet (die letzte Zeile, die langsamste Anfrage, weicht ab):
100 /notes
40 /healthz
20 /version
20 /admin
1 /notes/98
20 /admin
1 /notes/108
1 /notes/118
0.012
sort -rn: numerisch und absteigend. Bei gleicher Zahl entscheidet der Rest der Zeile – deshalb kommt/notes/98vor/notes/8.sort -k1,1nr -k2: erst nach Feld 1 numerisch absteigend, bei Gleichstand nach Feld 2 als Text aufsteigend. Mit-klegst du die Reihenfolge ausdrücklich fest.sort -n | tail -1liefert das Maximum,sort -n | head -1das Minimum.
Fortschritt speichern? Kostenlos registrieren
Drill 5: notes-report
cat > ~/sh-lab/werkzeug/bin/notes-report <<'EOF'
#!/usr/bin/env bash
# notes-report – fasst das Zugriffslog von notes zusammen
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
log="${NOTES_LOG:?fehlt – source ~/sh-lab/setup/env.sh}"
[[ -r $log ]] || die "nicht lesbar: $log"
gesamt=$(wc -l < "$log")
((gesamt > 0)) || die "Log ist leer: $log"
fehler=$(cut -d' ' -f7 "$log" | grep -c '^[45]' || true)
echo "Anfragen: $gesamt"
echo "Fehler: $fehler ($((fehler * 100 / gesamt)) %)"
echo "--- nach Status"
cut -d' ' -f7 "$log" | sort | uniq -c
echo "--- Top 5 Pfade"
cut -d' ' -f5 "$log" | sort | uniq -c | sort -k1,1nr -k2 | head -5
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-report
shellcheck -x ~/sh-lab/werkzeug/bin/notes-report && echo sauber
notes-reportErwartet:
sauber
Anfragen: 200
Fehler: 40 (20 %)
--- nach Status
140 200
20 201
40 404
--- Top 5 Pfade
100 /notes
40 /healthz
20 /admin
20 /version
1 /notes/108
wc -l < "$log"stattwc -l "$log": Ohne Dateinamen gibtwcnur die Zahl aus.grep -cendet mit Exit-Code 1, wenn es nichts findet – mitpipefailwäre das ein Abbruch.|| truemacht aus „null Treffer” ein gültiges Ergebnis.- Bash rechnet ganzzahlig:
fehler * 100 / gesamt– erst multiplizieren, dann teilen, sonst kommt 0 heraus.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
notes-report | sed -n 2pErwartet:
Fehler: 40 (20 %)
grep -c '"GET /notes HTTP' "$NOTES_LOG"Erwartet:
80
NOTES_LOG=/gibtsnicht notes-report; echo "Exit: $?"Erwartet:
12:45:10 notes-report: FEHLER nicht lesbar: /gibtsnicht
Exit: 1
Challenge
notes-report soll auch eine andere Log-Datei auswerten:
notes-report [logdatei]. Ohne Argument gilt weiter
$NOTES_LOG. Teste es mit einer Datei, die nur die
404-Zeilen enthält.
Hinweis: ${1:-…} und eine Datei mit
grep … > /tmp/….
Lösung
cd ~/sh-lab/werkzeug/bin
sed -i 's|^log="\${NOTES_LOG:?|log="${1:-${NOTES_LOG:?|' notes-report
sed -i '/^log=/s|}"$|}}"|' notes-report
sed -i '2s|$| [logdatei]|' notes-report
sed -n '2p;5p' notes-report
grep ' 404 ' "$NOTES_LOG" > /tmp/nur404.log
shellcheck -x notes-report && notes-report /tmp/nur404.log | head -4Erwartet:
# notes-report – fasst das Zugriffslog von notes zusammen [logdatei]
log="${1:-${NOTES_LOG:?fehlt – source ~/sh-lab/setup/env.sh}}"
Anfragen: 40
Fehler: 40 (100 %)
--- nach Status
40 404
Die erste Zeile setzt ${1:- vor die alte Expansion, die
zweite ergänzt die fehlende schließende Klammer, die dritte hängt an
Zeile 2 den Hinweis an. Im Editor ist es eine Sache von Sekunden.
${1:-${NOTES_LOG:?…}} verschachtelt zwei Expansionen: erst
das Argument, dann die Variable, und erst wenn beide fehlen, der
Abbruch.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Logs rotieren: In Produktion wird das Zugriffslog
täglich umbenannt und komprimiert (logrotate). Ein Report liest dann
access.log.1undzcatdie älteren. - Große Dateien:
grep -FundLC_ALL=Cmachen Suchen in Gigabyte-Logs um ein Vielfaches schneller – ohne Unicode-Regeln vergleichtgrepnur Bytes. - Strukturierte Logs: Schreibt ein Dienst JSON statt
Text, nimmst du
jqstattcut(Tag 8). Für Dauerbetrieb gehört das Log in ein System wie Loki oder Elasticsearch – die Pipeline hier ist für die schnelle Frage zwischendurch.