Tag 7: sed und awk
Ziel: Text mit
sedersetzen und Zeilen auswählen, mitawkrechnen, gruppieren und formatiert ausgeben. Am Ende rechnetnotes-reportDurchschnitte und fasst Pfade mit IDs zusammen. · Dauer: ca. 90 min · Voraussetzung: Tag 6
Briefing
- sed ist ein Editor für Datenströme: Er liest Zeile
für Zeile, wendet Befehle an und gibt das Ergebnis aus. Fast immer heißt
der Befehl
s/muster/ersatz/. - awk ist eine kleine Programmiersprache für Spalten:
Jede Zeile wird in Felder
$1,$2… zerlegt,NRzählt Zeilen, Arrays gruppieren,ENDrechnet am Schluss. awk kann Kommazahlen. - Faustregel: Ersetzen →
sed. Rechnen, Gruppieren, Spalten →awk. Beides zusammen in einer Pipeline ist normal.
access.log ─► sed: /notes/18 → /notes/:id ─► awk: zählen, Dauer summieren je Pfad
└─► END { printf … }
Drill 1: sed ersetzt
source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag07 && cd ~/sh-lab/tag07
zeile=$(grep -m1 '/notes/8 ' "$NOTES_LOG")
echo "$zeile" | sed 's/notes-last/Lastgenerator/' | cut -d' ' -f1,4-
echo "$zeile" | sed -E 's#/notes/[0-9]+#/notes/:id#' | cut -d' ' -f1,4-
echo "$zeile" | sed -E 's/^([0-9]+\.[0-9]+)\.[0-9]+\.[0-9]+/\1.x.x/' | cut -d' ' -f1,4-
echo "a-b-c" | sed 's/-/+/'; echo "a-b-c" | sed 's/-/+/g'Erwartet:
172.19.0.1 "GET /notes/8 HTTP/1.1" 404 19 0.001 Lastgenerator
172.19.0.1 "GET /notes/:id HTTP/1.1" 404 19 0.001 notes-last
172.19.x.x "GET /notes/8 HTTP/1.1" 404 19 0.001 notes-last
a+b-c
a+b+c
cut -d' ' -f1,4-lässt nur Datum und Zeit weg, damit die Zeilen schmal bleiben.- Der Trenner nach
sist frei wählbar:s#…#…#erspart das Schützen jedes/. -Eschaltet erweiterte Ausdrücke ein:+,()ohne Backslash.\1setzt den Inhalt der ersten Klammer ein.- Ohne
gersetztsnur den ersten Treffer jeder Zeile.
Fortschritt speichern? Kostenlos registrieren
Drill 2: sed wählt Zeilen
sed -n '1p;$p' "$NOTES_LOG" | cut -d' ' -f4-7
sed -n '/POST/{p;q}' "$NOTES_LOG" | cut -d' ' -f4-7
sed '/notes-last$/d' "$NOTES_LOG" | wc -l
cp ~/sh-lab/notes/nginx.conf nginx-test.conf
sed -i.bak 's/listen 80;/listen 8081;/' nginx-test.conf
diff nginx-test.conf.bak nginx-test.confErwartet:
"GET /notes HTTP/1.1" 200
"POST /notes HTTP/1.1" 201
"POST /notes HTTP/1.1" 201
20
6c6
< listen 80;
---
> listen 8081;
| Befehl | Wirkung |
|---|---|
sed -n '5p' |
nur Zeile 5 (-n unterdrückt die normale Ausgabe) |
sed -n '/muster/p' |
nur passende Zeilen – wie grep |
sed '/muster/d' |
passende Zeilen löschen |
sed -n '/a/{p;q}' |
erste passende Zeile, dann aufhören |
sed -i.bak '…' |
Datei ändern, Original als .bak sichern |
-i ohne Endung ändert die Datei ohne Sicherung. Auf dem
Mac verlangt BSD-sed nach -i immer ein
Argument (sed -i '' …) – ein Klassiker bei Skripten, die
auf beiden Systemen laufen sollen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: awk-Grundlagen
awk '{print $7, $5}' "$NOTES_LOG" | head -2
awk '$7 >= 400 {n++} END {print n, "Fehler"}' "$NOTES_LOG"
awk '$7 >= 400 {n++} END {printf "%.1f %% Fehler\n", n * 100 / NR}' "$NOTES_LOG"
awk -F'[][]' 'NR == 1 {print "Zeit:", $2}' "$NOTES_LOG"
awk '$5 == "/admin" && $10 == "notes-last" {n++} END {print n}' "$NOTES_LOG"Erwartet:
200 /notes
200 /notes
40 Fehler
20.0 % Fehler
Zeit: 02/Nov/2026:12:08:19 +0000
20
- Ein awk-Programm besteht aus
muster {aktion}. Ohne Muster gilt die Aktion für jede Zeile, ohne Aktion wird die Zeile ausgegeben. - Nicht gesetzte Variablen sind 0 oder leer –
n++braucht keine Vorbereitung. -Fsetzt den Feldtrenner.'[][]'heißt „[oder]” – damit ist Feld 2 der Inhalt der eckigen Klammern.NRist die Nummer der aktuellen Zeile, inENDdie Anzahl aller Zeilen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Gruppieren mit awk-Arrays
awk '{n[$5]++; t[$5] += $9}
END {for (p in n) printf "%-12s %4d %8.4f\n", p, n[p], t[p] / n[p]}' \
"$NOTES_LOG" | sort -k2,2nr | head -4Erwartet (die Durchschnittszeiten in der letzten Spalte weichen ab):
/notes 100 0.0028
/healthz 40 0.0020
/admin 20 0.0015
/version 20 0.0011
Zwei Arrays mit dem Pfad als Schlüssel: n zählt,
t summiert die Dauer. printf formatiert wie in
C: %-12s Text linksbündig in 12 Zeichen, %4d
Zahl in 4 Zeichen, %8.4f Kommazahl mit 4 Nachkommastellen.
Die Pfade /notes/8, /notes/18 … stehen weiter
unten, je einmal – gleich fassen wir sie zusammen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: notes-report mit awk
cat > ~/sh-lab/werkzeug/bin/notes-report <<'EOF'
#!/usr/bin/env bash
# notes-report – fasst das Zugriffslog von notes zusammen [logdatei]
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
log="${1:-${NOTES_LOG:?fehlt – source ~/sh-lab/setup/env.sh}}"
[[ -r $log ]] || die "nicht lesbar: $log"
[[ -s $log ]] || die "Log ist leer: $log"
sed -E 's#(/notes/)[0-9]+#\1:id#' "$log" | awk '
{
n++; d += $9; status[$7]++; pfad[$5]++; zeit[$5] += $9
if ($7 >= 400) fehler++
if ($9 > max) { max = $9; langsam = $4 " " $5 }
}
END {
printf "Anfragen: %d\n", n
printf "Fehler: %d (%.1f %%)\n", fehler, fehler * 100 / n
printf "Dauer: Ø %.1f ms, max %.1f ms (%s\")\n",
d * 1000 / n, max * 1000, langsam
print "--- nach Status"
for (s in status) printf "%6d %s\n", status[s], s | "sort -k2"
close("sort -k2")
print "--- nach Pfad (Anzahl, Ø ms)"
sp = "sort -k1,1nr -k2"
for (p in pfad) printf "%6d %-12s %6.1f\n", pfad[p], p, zeit[p]*1000/pfad[p] | sp
}'
EOF
shellcheck -x ~/sh-lab/werkzeug/bin/notes-report && echo sauber
notes-reportErwartet (Zeiten weichen ab):
sauber
Anfragen: 200
Fehler: 40 (20.0 %)
Dauer: Ø 2.2 ms, max 5.0 ms ("POST /notes")
--- nach Status
140 200
20 201
40 404
--- nach Pfad (Anzahl, Ø ms)
100 /notes 2.8
40 /healthz 2.0
20 /admin 1.5
20 /notes/:id 1.2
20 /version 1.1
sedmacht aus allen/notes/<zahl>ein/notes/:id, awk zählt danach nur noch fünf Pfade.- Ein Durchlauf über die Datei liefert alles: Zähler, Summen, Maximum. Bei großen Logs ist das deutlich schneller als fünf Pipelines.
printf … | "sort -k2"schickt Ausgaben aus awk an ein Programm.close()wartet, bissortfertig ist, damit die Abschnitte nicht durcheinander geraten.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
notes-report | sed -n '2p;5,7p'Erwartet:
Fehler: 40 (20.0 %)
140 200
20 201
40 404
echo "notes-api:0.4.0" | awk -F: '{print $2}'Erwartet:
0.4.0
printf 'a=1\nb=2\n' | sed -n 's/^b=//p'Erwartet:
2
Challenge
Wer schickt die Anfragen? Zähle die Anfragen je User-Agent (Feld 10)
und gib sie absteigend sortiert aus – mit einem einzigen
awk und sort.
Hinweis: dasselbe Muster wie
n[$5]++.
Lösung
awk '{a[$10]++} END {for (k in a) print a[k], k}' "$NOTES_LOG" | sort -rnErwartet:
180 notes-last
20 curl/8.18.0
Die 20 POSTs kommen von notes-add, das curl
ohne eigenen User-Agent aufruft – das ändern wir an Tag 8.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- GNU oder BSD:
sed -i,sed -E,awk-Funktionen unddate-Optionen unterscheiden sich zwischen Linux und macOS/BSD. Skripte für beide testen auf beiden – oder setzen GNU-Werkzeuge (gsed,gawk) voraus. - awk ist eine richtige Sprache: Für längere
Auswertungen gehört das awk-Programm in eine eigene Datei
(
awk -f report.awk). Ab etwa 50 Zeilen lohnt Python. sed -iauf Konfiguration ist schnell, aber unsichtbar. Für wiederkehrende Änderungen an Servern ist ein Konfigurationswerkzeug (Ansible, Templates) der bessere Weg.