Tag 10: Fehlerbehandlung, Locks, Backup
Ziel: Mit
trapaufräumen und Fehler melden, egal wo ein Skript abbricht, mitflockdoppelte Läufe verhindern und ein Backup mit Prüfung und Rotation bauen, das sich auch zurückspielen lässt. · Dauer: ca. 90 min · Voraussetzung: Tag 9
Briefing
trap 'befehle' EXITläuft, wenn das Skript endet – egal ob normal, durchexit, nach einem Fehler mitset -eoder durch Strg+C. Der Ort fürs Aufräumen.trap '…' ERRläuft bei jedem gescheiterten Befehl;$LINENOund$BASH_COMMANDsagen, wo und was.flockhält eine Sperre auf einer Datei. Ein zweiter Lauf erkennt sie und hört auf, statt dieselbe Arbeit gleichzeitig zu machen.- Ein Backup ist erst ein Backup, wenn es geprüft ist und sich zurückspielen lässt.
notes-backup -k 3
flock ─► mktemp ─► pg_dump | gzip ─► gzip -t ─► mv notes-JJJJMMTT-HHMMSS.sql.gz
└ trap EXIT: Temp-Datei weg └─► Rotation: nur die 3 neuesten
Drill 1: trap EXIT
source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag10 && cd ~/sh-lab/tag10
cat > aufraeumer <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
tmp=$(mktemp -d)
trap 'rm -rf "$tmp"; echo "aufgeräumt: $tmp" >&2' EXIT
echo "arbeite in $tmp" >&2
touch "$tmp/zwischenstand"
case "${1:-ok}" in
fehler) false ;;
exit) exit 3 ;;
esac
echo "fertig"
EOF
for fall in ok fehler exit; do
bash aufraeumer "$fall" 2>&1 | sed -E 's#/tmp/tmp\.[A-Za-z0-9]+#/tmp/tmp.…#'
echo "Exit: ${PIPESTATUS[0]}"
done
ls -d /tmp/tmp.* 2>/dev/null | wc -lErwartet:
arbeite in /tmp/tmp.…
fertig
aufgeräumt: /tmp/tmp.…
Exit: 0
arbeite in /tmp/tmp.…
aufgeräumt: /tmp/tmp.…
Exit: 1
arbeite in /tmp/tmp.…
aufgeräumt: /tmp/tmp.…
Exit: 3
0
- Der Trap läuft in allen drei Fällen, der Exit-Code bleibt erhalten.
${PIPESTATUS[0]}ist der Exit-Code des ersten Befehls der letzten Pipe –$?wäre der vonsed.- Die einfachen Anführungszeichen um den Trap sind wichtig:
$tmpwird erst beim Auslösen ersetzt, nicht beim Setzen.
Fortschritt speichern? Kostenlos registrieren
Drill 2: trap ERR
cat > melder <<'EOF'
#!/usr/bin/env bash
set -Eeuo pipefail
trap 'echo "FEHLER in Zeile $LINENO: $BASH_COMMAND (Exit $?)" >&2' ERR
lies_konfig() {
grep -q '^port=' /etc/gibtsnicht.conf
}
echo "Start"
lies_konfig
echo "nie erreicht"
EOF
bash melder; echo "Exit: $?"Erwartet:
Start
grep: /etc/gibtsnicht.conf: No such file or directory
FEHLER in Zeile 5: grep -q '^port=' /etc/gibtsnicht.conf (Exit 2)
Exit: 2
set -E (groß) vererbt den ERR-Trap in Funktionen – ohne
meldet Bash den Fehler erst beim Aufruf in Zeile 8. Ein ERR-Trap mit
Zeilennummer ist das Erste, was man bei einem nächtlichen Abbruch im Log
sehen will.
Fortschritt speichern? Kostenlos registrieren
Drill 3: flock
cat > einzeln <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
exec 9> /tmp/einzeln.lock
flock -n 9 || { echo "läuft schon – Ende" >&2; exit 0; }
echo "Lauf $1 arbeitet"
sleep 2
echo "Lauf $1 fertig"
EOF
bash einzeln A & sleep 0.5; bash einzeln B; waitErwartet:
Lauf A arbeitet
läuft schon – Ende
Lauf A fertig
exec 9> dateiöffnet die Datei als Kanal 9 für die ganze Laufzeit des Skripts.flock -n 9holt die Sperre sofort oder scheitert (-n= nicht warten).flock -w 30würde bis zu 30 Sekunden warten.- Die Sperre endet automatisch, wenn das Skript endet – auch nach einem Absturz. Eine selbst gebastelte „PID-Datei” bleibt dagegen liegen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: notes-backup
Erst eine Hilfsfunktion in die Bibliothek, damit Skripte notes per Compose ansprechen:
cat >> ~/sh-lab/werkzeug/lib/lib.sh <<'EOF'
# notes_compose args… – docker compose für den notes-Stack
notes_compose() {
docker compose -f "${NOTES_COMPOSE:-$HOME/sh-lab/notes/compose.yaml}" "$@"
}
EOF
cat > ~/sh-lab/werkzeug/bin/notes-backup <<'EOF'
#!/usr/bin/env bash
# notes-backup – sichert die Datenbank von notes: notes-backup [-k behalten] [-d ziel]
set -Eeuo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
trap 'die "Zeile $LINENO: $BASH_COMMAND"' ERR
behalten=7
ziel="$HOME/sh-lab/backups"
while getopts ":k:d:h" opt; do
case "$opt" in
k) behalten="$OPTARG" ;;
d) ziel="$OPTARG" ;;
h) echo "Aufruf: $PROG [-k behalten] [-d ziel]"; exit 0 ;;
*) die "falsche Option (Hilfe: -h)" 2 ;;
esac
done
[[ $behalten =~ ^[1-9][0-9]*$ ]] || die "-k braucht eine Zahl ≥ 1" 2
need docker gzip flock
mkdir -p "$ziel"
exec 9> "$ziel/.lock"
flock -n 9 || die "läuft schon ($ziel/.lock)" 0
tmp=$(mktemp "$ziel/.notes-XXXXXX.sql.gz")
trap 'rm -f "$tmp"' EXIT
notes_compose exec -T db pg_dump -U notes -d notes | gzip > "$tmp"
gzip -t "$tmp"
datei="$ziel/notes-$(date +%Y%m%d-%H%M%S).sql.gz"
mv "$tmp" "$datei"
info "gesichert: $datei ($(stat -c %s "$datei") Bytes)"
mapfile -t alle < <(find "$ziel" -maxdepth 1 -name 'notes-*.sql.gz' -printf '%f\n' \
| sort -r)
for alt in "${alle[@]:behalten}"; do
rm -f -- "$ziel/$alt"
info "rotiert: $alt"
done
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-backup
shellcheck -x ~/sh-lab/werkzeug/bin/notes-backup && echo sauber
notes-backup 2>&1 | sed -E 's/^[0-9:]{8}/…/; s/[0-9]{8}-[0-9]{6}/JJJJMMTT-HHMMSS/'
ls -A ~/sh-lab/backups | sed -E 's/[0-9]{8}-[0-9]{6}/JJJJMMTT-HHMMSS/'Erwartet (die Größe weicht ab):
sauber
… notes-backup: INFO gesichert: /home/ubuntu/sh-lab/backups/notes-JJJJMMTT-HHMMSS.sql.…
.lock
notes-JJJJMMTT-HHMMSS.sql.gz
- Zwei Traps:
ERRmeldet den Fehler mit Zeile,EXITentfernt die Temp-Datei. Nach einem erfolgreichenmvgibt es$tmpnicht mehr –rm -fstört sich daran nicht. gzip -tprüft das Archiv. Ein abgebrochenerpg_dumphätte mitpipefailschon vorher zum Abbruch geführt;gzip -tfängt zusätzlich eine kaputte Datei ab.- Der Name enthält Datum und Uhrzeit von groß nach klein. Deshalb ist
die alphabetische Sortierung (
sort -r) zugleich die zeitliche: Neueste zuerst. "${alle[@]:behalten}"sind alle Elemente ab Indexbehalten– also alles, was über die erlaubte Anzahl hinausgeht.die "…" 0: Ein zweiter Lauf ist kein Fehler, nur überflüssig.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Zurückspielen
Ein Backup, das nie zurückgespielt wurde, ist eine Hoffnung. Test in eine zweite Datenbank:
b=$(find ~/sh-lab/backups -name 'notes-*.sql.gz' | sort | tail -1)
nc() { docker compose -f ~/sh-lab/notes/compose.yaml exec -T db "$@"; }
nc dropdb -U notes --if-exists notes_test
nc createdb -U notes notes_test
gunzip -c "$b" | nc psql -q -U notes -d notes_test >/dev/null
echo "Original: $(nc psql -U notes -d notes -Atc 'select count(*) from notes')"
echo "Backup: $(nc psql -U notes -d notes_test -Atc 'select count(*) from notes')"
nc dropdb -U notes notes_testErwartet (die Zahl hängt von deinen Notizen ab):
NOTICE: database "notes_test" does not exist, skipping
Original: 31
Backup: 31
exec -T ohne Terminal: Nur so fließt die Pipe von
gunzip in den Container. Gleiche Zahl, gleiche Daten – das
Backup taugt.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ls ~/sh-lab/backups | grep -c '^notes-.*\.sql\.gz$'Erwartet:
1
gzip -t ~/sh-lab/backups/notes-*.sql.gz && echo "Archiv ok"Erwartet:
Archiv ok
notes-backup -k 0; echo "Exit: $?"Erwartet:
12:50:12 notes-backup: FEHLER -k braucht eine Zahl ≥ 1
Exit: 2
Challenge
Zeig, dass Rotation und Sperre funktionieren: Lass
notes-backup -k 3 fünfmal laufen (mit je einer Sekunde
Pause, damit die Namen verschieden sind). Danach sollen genau drei
Backups da sein. Starte dann zwei Läufe gleichzeitig: Einer sichert, der
andere meldet „läuft schon”.
Hinweis:
for i in {1..5}; do …; sleep 1; done und &
mit wait.
Lösung
for i in {1..5}; do notes-backup -k 3 2>/dev/null; sleep 1; done
ls ~/sh-lab/backups | grep -c '^notes-'
(notes-backup -k 3 & notes-backup -k 3; wait) 2>&1 \
| grep -oE 'gesichert|läuft schon' | sortErwartet:
3
gesichert
läuft schon
Welcher der beiden Läufe gewinnt, ist Zufall – aber nie sichern beide gleichzeitig.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- 3-2-1: Drei Kopien, zwei Medien, eine außer Haus. Ein Backup auf derselben VM hilft gegen Fehlbedienung, nicht gegen einen Plattenschaden.
- Rücksicherung üben: Ein automatischer Test wie in Drill 5 gehört in den Zeitplan, nicht nur in die Doku. Gezählte Zeilen sind ein Anfang, Prüfsummen und Stichproben ein Ziel.
- Datenbankgerecht sichern:
pg_dumpliefert einen konsistenten Stand einer Datenbank. Für große Datenbanken und Point-in-Time-Recovery nimmst du Werkzeuge wie pgBackRest oder Barman.