Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 7: sed und awk

Ziel: Text mit sed ersetzen und Zeilen auswählen, mit awk rechnen, gruppieren und formatiert ausgeben. Am Ende rechnet notes-report Durchschnitte und fasst Pfade mit IDs zusammen. · Dauer: ca. 90 min · Voraussetzung: Tag 6

Briefing

  • sed ist ein Editor für Datenströme: Er liest Zeile für Zeile, wendet Befehle an und gibt das Ergebnis aus. Fast immer heißt der Befehl s/muster/ersatz/.
  • awk ist eine kleine Programmiersprache für Spalten: Jede Zeile wird in Felder $1, $2 … zerlegt, NR zählt Zeilen, Arrays gruppieren, END rechnet am Schluss. awk kann Kommazahlen.
  • Faustregel: Ersetzen → sed. Rechnen, Gruppieren, Spalten → awk. Beides zusammen in einer Pipeline ist normal.
 access.log ─► sed: /notes/18 → /notes/:id ─► awk: zählen, Dauer summieren je Pfad
                                                   └─► END { printf … }

Drill 1: sed ersetzt

source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag07 && cd ~/sh-lab/tag07
zeile=$(grep -m1 '/notes/8 ' "$NOTES_LOG")
echo "$zeile" | sed 's/notes-last/Lastgenerator/' | cut -d' ' -f1,4-
echo "$zeile" | sed -E 's#/notes/[0-9]+#/notes/:id#' | cut -d' ' -f1,4-
echo "$zeile" | sed -E 's/^([0-9]+\.[0-9]+)\.[0-9]+\.[0-9]+/\1.x.x/' | cut -d' ' -f1,4-
echo "a-b-c" | sed 's/-/+/'; echo "a-b-c" | sed 's/-/+/g'

Erwartet:

172.19.0.1 "GET /notes/8 HTTP/1.1" 404 19 0.001 Lastgenerator
172.19.0.1 "GET /notes/:id HTTP/1.1" 404 19 0.001 notes-last
172.19.x.x "GET /notes/8 HTTP/1.1" 404 19 0.001 notes-last
a+b-c
a+b+c
  • cut -d' ' -f1,4- lässt nur Datum und Zeit weg, damit die Zeilen schmal bleiben.
  • Der Trenner nach s ist frei wählbar: s#…#…# erspart das Schützen jedes /.
  • -E schaltet erweiterte Ausdrücke ein: +, () ohne Backslash. \1 setzt den Inhalt der ersten Klammer ein.
  • Ohne g ersetzt s nur den ersten Treffer jeder Zeile.

Fortschritt speichern? Kostenlos registrieren

Drill 2: sed wählt Zeilen

sed -n '1p;$p' "$NOTES_LOG" | cut -d' ' -f4-7
sed -n '/POST/{p;q}' "$NOTES_LOG" | cut -d' ' -f4-7
sed '/notes-last$/d' "$NOTES_LOG" | wc -l
cp ~/sh-lab/notes/nginx.conf nginx-test.conf
sed -i.bak 's/listen 80;/listen 8081;/' nginx-test.conf
diff nginx-test.conf.bak nginx-test.conf

Erwartet:

"GET /notes HTTP/1.1" 200
"POST /notes HTTP/1.1" 201
"POST /notes HTTP/1.1" 201
20
6c6
<   listen 80;
---
>   listen 8081;
Befehl Wirkung
sed -n '5p' nur Zeile 5 (-n unterdrückt die normale Ausgabe)
sed -n '/muster/p' nur passende Zeilen – wie grep
sed '/muster/d' passende Zeilen löschen
sed -n '/a/{p;q}' erste passende Zeile, dann aufhören
sed -i.bak '…' Datei ändern, Original als .bak sichern

-i ohne Endung ändert die Datei ohne Sicherung. Auf dem Mac verlangt BSD-sed nach -i immer ein Argument (sed -i '' …) – ein Klassiker bei Skripten, die auf beiden Systemen laufen sollen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: awk-Grundlagen

awk '{print $7, $5}' "$NOTES_LOG" | head -2
awk '$7 >= 400 {n++} END {print n, "Fehler"}' "$NOTES_LOG"
awk '$7 >= 400 {n++} END {printf "%.1f %% Fehler\n", n * 100 / NR}' "$NOTES_LOG"
awk -F'[][]' 'NR == 1 {print "Zeit:", $2}' "$NOTES_LOG"
awk '$5 == "/admin" && $10 == "notes-last" {n++} END {print n}' "$NOTES_LOG"

Erwartet:

200 /notes
200 /notes
40 Fehler
20.0 % Fehler
Zeit: 02/Nov/2026:12:08:19 +0000
20
  • Ein awk-Programm besteht aus muster {aktion}. Ohne Muster gilt die Aktion für jede Zeile, ohne Aktion wird die Zeile ausgegeben.
  • Nicht gesetzte Variablen sind 0 oder leer – n++ braucht keine Vorbereitung.
  • -F setzt den Feldtrenner. '[][]' heißt „[ oder ]” – damit ist Feld 2 der Inhalt der eckigen Klammern.
  • NR ist die Nummer der aktuellen Zeile, in END die Anzahl aller Zeilen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Gruppieren mit awk-Arrays

awk '{n[$5]++; t[$5] += $9}
  END {for (p in n) printf "%-12s %4d %8.4f\n", p, n[p], t[p] / n[p]}' \
  "$NOTES_LOG" | sort -k2,2nr | head -4

Erwartet (die Durchschnittszeiten in der letzten Spalte weichen ab):

/notes        100   0.0028
/healthz       40   0.0020
/admin         20   0.0015
/version       20   0.0011

Zwei Arrays mit dem Pfad als Schlüssel: n zählt, t summiert die Dauer. printf formatiert wie in C: %-12s Text linksbündig in 12 Zeichen, %4d Zahl in 4 Zeichen, %8.4f Kommazahl mit 4 Nachkommastellen. Die Pfade /notes/8, /notes/18 … stehen weiter unten, je einmal – gleich fassen wir sie zusammen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: notes-report mit awk

cat > ~/sh-lab/werkzeug/bin/notes-report <<'EOF'
#!/usr/bin/env bash
# notes-report – fasst das Zugriffslog von notes zusammen [logdatei]
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
log="${1:-${NOTES_LOG:?fehlt – source ~/sh-lab/setup/env.sh}}"
[[ -r $log ]] || die "nicht lesbar: $log"
[[ -s $log ]] || die "Log ist leer: $log"

sed -E 's#(/notes/)[0-9]+#\1:id#' "$log" | awk '
  {
    n++; d += $9; status[$7]++; pfad[$5]++; zeit[$5] += $9
    if ($7 >= 400) fehler++
    if ($9 > max) { max = $9; langsam = $4 " " $5 }
  }
  END {
    printf "Anfragen: %d\n", n
    printf "Fehler:   %d (%.1f %%)\n", fehler, fehler * 100 / n
    printf "Dauer:    Ø %.1f ms, max %.1f ms (%s\")\n",
      d * 1000 / n, max * 1000, langsam
    print "--- nach Status"
    for (s in status) printf "%6d %s\n", status[s], s | "sort -k2"
    close("sort -k2")
    print "--- nach Pfad (Anzahl, Ø ms)"
    sp = "sort -k1,1nr -k2"
    for (p in pfad) printf "%6d %-12s %6.1f\n", pfad[p], p, zeit[p]*1000/pfad[p] | sp
  }'
EOF
shellcheck -x ~/sh-lab/werkzeug/bin/notes-report && echo sauber
notes-report

Erwartet (Zeiten weichen ab):

sauber
Anfragen: 200
Fehler:   40 (20.0 %)
Dauer:    Ø 2.2 ms, max 5.0 ms ("POST /notes")
--- nach Status
   140 200
    20 201
    40 404
--- nach Pfad (Anzahl, Ø ms)
   100 /notes          2.8
    40 /healthz        2.0
    20 /admin          1.5
    20 /notes/:id      1.2
    20 /version        1.1
  • sed macht aus allen /notes/<zahl> ein /notes/:id, awk zählt danach nur noch fünf Pfade.
  • Ein Durchlauf über die Datei liefert alles: Zähler, Summen, Maximum. Bei großen Logs ist das deutlich schneller als fünf Pipelines.
  • printf … | "sort -k2" schickt Ausgaben aus awk an ein Programm. close() wartet, bis sort fertig ist, damit die Abschnitte nicht durcheinander geraten.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

notes-report | sed -n '2p;5,7p'

Erwartet:

Fehler:   40 (20.0 %)
   140 200
    20 201
    40 404
echo "notes-api:0.4.0" | awk -F: '{print $2}'

Erwartet:

0.4.0
printf 'a=1\nb=2\n' | sed -n 's/^b=//p'

Erwartet:

2

Challenge

Wer schickt die Anfragen? Zähle die Anfragen je User-Agent (Feld 10) und gib sie absteigend sortiert aus – mit einem einzigen awk und sort.

Hinweis: dasselbe Muster wie n[$5]++.

Lösung

awk '{a[$10]++} END {for (k in a) print a[k], k}' "$NOTES_LOG" | sort -rn

Erwartet:

180 notes-last
20 curl/8.18.0

Die 20 POSTs kommen von notes-add, das curl ohne eigenen User-Agent aufruft – das ändern wir an Tag 8.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • GNU oder BSD: sed -i, sed -E, awk-Funktionen und date-Optionen unterscheiden sich zwischen Linux und macOS/BSD. Skripte für beide testen auf beiden – oder setzen GNU-Werkzeuge (gsed, gawk) voraus.
  • awk ist eine richtige Sprache: Für längere Auswertungen gehört das awk-Programm in eine eigene Datei (awk -f report.awk). Ab etwa 50 Zeilen lohnt Python.
  • sed -i auf Konfiguration ist schnell, aber unsichtbar. Für wiederkehrende Änderungen an Servern ist ein Konfigurationswerkzeug (Ansible, Templates) der bessere Weg.