Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: Fehlerbehandlung, Locks, Backup

Ziel: Mit trap aufräumen und Fehler melden, egal wo ein Skript abbricht, mit flock doppelte Läufe verhindern und ein Backup mit Prüfung und Rotation bauen, das sich auch zurückspielen lässt. · Dauer: ca. 90 min · Voraussetzung: Tag 9

Briefing

  • trap 'befehle' EXIT läuft, wenn das Skript endet – egal ob normal, durch exit, nach einem Fehler mit set -e oder durch Strg+C. Der Ort fürs Aufräumen.
  • trap '…' ERR läuft bei jedem gescheiterten Befehl; $LINENO und $BASH_COMMAND sagen, wo und was.
  • flock hält eine Sperre auf einer Datei. Ein zweiter Lauf erkennt sie und hört auf, statt dieselbe Arbeit gleichzeitig zu machen.
  • Ein Backup ist erst ein Backup, wenn es geprüft ist und sich zurückspielen lässt.
 notes-backup -k 3
   flock ─► mktemp ─► pg_dump | gzip ─► gzip -t ─► mv notes-JJJJMMTT-HHMMSS.sql.gz
     └ trap EXIT: Temp-Datei weg                  └─► Rotation: nur die 3 neuesten

Drill 1: trap EXIT

source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag10 && cd ~/sh-lab/tag10
cat > aufraeumer <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
tmp=$(mktemp -d)
trap 'rm -rf "$tmp"; echo "aufgeräumt: $tmp" >&2' EXIT
echo "arbeite in $tmp" >&2
touch "$tmp/zwischenstand"
case "${1:-ok}" in
  fehler) false ;;
  exit) exit 3 ;;
esac
echo "fertig"
EOF
for fall in ok fehler exit; do
  bash aufraeumer "$fall" 2>&1 | sed -E 's#/tmp/tmp\.[A-Za-z0-9]+#/tmp/tmp.…#'
  echo "Exit: ${PIPESTATUS[0]}"
done
ls -d /tmp/tmp.* 2>/dev/null | wc -l

Erwartet:

arbeite in /tmp/tmp.…
fertig
aufgeräumt: /tmp/tmp.…
Exit: 0
arbeite in /tmp/tmp.…
aufgeräumt: /tmp/tmp.…
Exit: 1
arbeite in /tmp/tmp.…
aufgeräumt: /tmp/tmp.…
Exit: 3
0
  • Der Trap läuft in allen drei Fällen, der Exit-Code bleibt erhalten.
  • ${PIPESTATUS[0]} ist der Exit-Code des ersten Befehls der letzten Pipe – $? wäre der von sed.
  • Die einfachen Anführungszeichen um den Trap sind wichtig: $tmp wird erst beim Auslösen ersetzt, nicht beim Setzen.

Fortschritt speichern? Kostenlos registrieren

Drill 2: trap ERR

cat > melder <<'EOF'
#!/usr/bin/env bash
set -Eeuo pipefail
trap 'echo "FEHLER in Zeile $LINENO: $BASH_COMMAND (Exit $?)" >&2' ERR
lies_konfig() {
  grep -q '^port=' /etc/gibtsnicht.conf
}
echo "Start"
lies_konfig
echo "nie erreicht"
EOF
bash melder; echo "Exit: $?"

Erwartet:

Start
grep: /etc/gibtsnicht.conf: No such file or directory
FEHLER in Zeile 5: grep -q '^port=' /etc/gibtsnicht.conf (Exit 2)
Exit: 2

set -E (groß) vererbt den ERR-Trap in Funktionen – ohne meldet Bash den Fehler erst beim Aufruf in Zeile 8. Ein ERR-Trap mit Zeilennummer ist das Erste, was man bei einem nächtlichen Abbruch im Log sehen will.

Fortschritt speichern? Kostenlos registrieren

Drill 3: flock

cat > einzeln <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
exec 9> /tmp/einzeln.lock
flock -n 9 || { echo "läuft schon – Ende" >&2; exit 0; }
echo "Lauf $1 arbeitet"
sleep 2
echo "Lauf $1 fertig"
EOF
bash einzeln A & sleep 0.5; bash einzeln B; wait

Erwartet:

Lauf A arbeitet
läuft schon – Ende
Lauf A fertig
  • exec 9> datei öffnet die Datei als Kanal 9 für die ganze Laufzeit des Skripts.
  • flock -n 9 holt die Sperre sofort oder scheitert (-n = nicht warten). flock -w 30 würde bis zu 30 Sekunden warten.
  • Die Sperre endet automatisch, wenn das Skript endet – auch nach einem Absturz. Eine selbst gebastelte „PID-Datei” bleibt dagegen liegen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: notes-backup

Erst eine Hilfsfunktion in die Bibliothek, damit Skripte notes per Compose ansprechen:

cat >> ~/sh-lab/werkzeug/lib/lib.sh <<'EOF'

# notes_compose args…  – docker compose für den notes-Stack
notes_compose() {
  docker compose -f "${NOTES_COMPOSE:-$HOME/sh-lab/notes/compose.yaml}" "$@"
}
EOF
cat > ~/sh-lab/werkzeug/bin/notes-backup <<'EOF'
#!/usr/bin/env bash
# notes-backup – sichert die Datenbank von notes: notes-backup [-k behalten] [-d ziel]
set -Eeuo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
trap 'die "Zeile $LINENO: $BASH_COMMAND"' ERR

behalten=7
ziel="$HOME/sh-lab/backups"
while getopts ":k:d:h" opt; do
  case "$opt" in
    k) behalten="$OPTARG" ;;
    d) ziel="$OPTARG" ;;
    h) echo "Aufruf: $PROG [-k behalten] [-d ziel]"; exit 0 ;;
    *) die "falsche Option (Hilfe: -h)" 2 ;;
  esac
done
[[ $behalten =~ ^[1-9][0-9]*$ ]] || die "-k braucht eine Zahl ≥ 1" 2
need docker gzip flock
mkdir -p "$ziel"

exec 9> "$ziel/.lock"
flock -n 9 || die "läuft schon ($ziel/.lock)" 0

tmp=$(mktemp "$ziel/.notes-XXXXXX.sql.gz")
trap 'rm -f "$tmp"' EXIT
notes_compose exec -T db pg_dump -U notes -d notes | gzip > "$tmp"
gzip -t "$tmp"
datei="$ziel/notes-$(date +%Y%m%d-%H%M%S).sql.gz"
mv "$tmp" "$datei"
info "gesichert: $datei ($(stat -c %s "$datei") Bytes)"

mapfile -t alle < <(find "$ziel" -maxdepth 1 -name 'notes-*.sql.gz' -printf '%f\n' \
  | sort -r)
for alt in "${alle[@]:behalten}"; do
  rm -f -- "$ziel/$alt"
  info "rotiert: $alt"
done
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-backup
shellcheck -x ~/sh-lab/werkzeug/bin/notes-backup && echo sauber
notes-backup 2>&1 | sed -E 's/^[0-9:]{8}/…/; s/[0-9]{8}-[0-9]{6}/JJJJMMTT-HHMMSS/'
ls -A ~/sh-lab/backups | sed -E 's/[0-9]{8}-[0-9]{6}/JJJJMMTT-HHMMSS/'

Erwartet (die Größe weicht ab):

sauber
… notes-backup: INFO gesichert: /home/ubuntu/sh-lab/backups/notes-JJJJMMTT-HHMMSS.sql.…
.lock
notes-JJJJMMTT-HHMMSS.sql.gz
  • Zwei Traps: ERR meldet den Fehler mit Zeile, EXIT entfernt die Temp-Datei. Nach einem erfolgreichen mv gibt es $tmp nicht mehr – rm -f stört sich daran nicht.
  • gzip -t prüft das Archiv. Ein abgebrochener pg_dump hätte mit pipefail schon vorher zum Abbruch geführt; gzip -t fängt zusätzlich eine kaputte Datei ab.
  • Der Name enthält Datum und Uhrzeit von groß nach klein. Deshalb ist die alphabetische Sortierung (sort -r) zugleich die zeitliche: Neueste zuerst.
  • "${alle[@]:behalten}" sind alle Elemente ab Index behalten – also alles, was über die erlaubte Anzahl hinausgeht.
  • die "…" 0: Ein zweiter Lauf ist kein Fehler, nur überflüssig.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Zurückspielen

Ein Backup, das nie zurückgespielt wurde, ist eine Hoffnung. Test in eine zweite Datenbank:

b=$(find ~/sh-lab/backups -name 'notes-*.sql.gz' | sort | tail -1)
nc() { docker compose -f ~/sh-lab/notes/compose.yaml exec -T db "$@"; }
nc dropdb -U notes --if-exists notes_test
nc createdb -U notes notes_test
gunzip -c "$b" | nc psql -q -U notes -d notes_test >/dev/null
echo "Original: $(nc psql -U notes -d notes -Atc 'select count(*) from notes')"
echo "Backup:   $(nc psql -U notes -d notes_test -Atc 'select count(*) from notes')"
nc dropdb -U notes notes_test

Erwartet (die Zahl hängt von deinen Notizen ab):

NOTICE:  database "notes_test" does not exist, skipping
Original: 31
Backup:   31

exec -T ohne Terminal: Nur so fließt die Pipe von gunzip in den Container. Gleiche Zahl, gleiche Daten – das Backup taugt.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ls ~/sh-lab/backups | grep -c '^notes-.*\.sql\.gz$'

Erwartet:

1
gzip -t ~/sh-lab/backups/notes-*.sql.gz && echo "Archiv ok"

Erwartet:

Archiv ok
notes-backup -k 0; echo "Exit: $?"

Erwartet:

12:50:12 notes-backup: FEHLER -k braucht eine Zahl ≥ 1
Exit: 2

Challenge

Zeig, dass Rotation und Sperre funktionieren: Lass notes-backup -k 3 fünfmal laufen (mit je einer Sekunde Pause, damit die Namen verschieden sind). Danach sollen genau drei Backups da sein. Starte dann zwei Läufe gleichzeitig: Einer sichert, der andere meldet „läuft schon”.

Hinweis: for i in {1..5}; do …; sleep 1; done und & mit wait.

Lösung

for i in {1..5}; do notes-backup -k 3 2>/dev/null; sleep 1; done
ls ~/sh-lab/backups | grep -c '^notes-'
(notes-backup -k 3 & notes-backup -k 3; wait) 2>&1 \
  | grep -oE 'gesichert|läuft schon' | sort

Erwartet:

3
gesichert
läuft schon

Welcher der beiden Läufe gewinnt, ist Zufall – aber nie sichern beide gleichzeitig.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • 3-2-1: Drei Kopien, zwei Medien, eine außer Haus. Ein Backup auf derselben VM hilft gegen Fehlbedienung, nicht gegen einen Plattenschaden.
  • Rücksicherung üben: Ein automatischer Test wie in Drill 5 gehört in den Zeitplan, nicht nur in die Doku. Gezählte Zeilen sind ein Anfang, Prüfsummen und Stichproben ein Ziel.
  • Datenbankgerecht sichern: pg_dump liefert einen konsistenten Stand einer Datenbank. Für große Datenbanken und Point-in-Time-Recovery nimmst du Werkzeuge wie pgBackRest oder Barman.