Tag 15: Wettkampf
Ziel: Fünf Störungen finden und beheben, jede beim Testen dieses Buchs wirklich aufgetreten oder nachgestellt. · Dauer: ca. 90 min · Voraussetzung: Tag 0–14
Spielregeln
- Jede Runde beginnt mit einer Lage: Was ist passiert, was meldet das Team? Die Befehle unter „Lage“ bauen die Störung nach. Führe sie aus, ohne die Lösung zu lesen.
- Du suchst mit den Werkzeugen aus dem Buch:
amtool,promtool, karma im Browser, die API von karma,docker compose logsundalarm-log. - Seit Tag 6 lesen drei Alertmanager dieselbe Datei.
Nach jeder Änderung an
alertmanager/alertmanager.ymllädst du alle drei neu. - Für jede Runde gibt es einen Hinweis. Lies ihn erst, wenn du zehn Minuten nicht weiterkommst. Zähl die Runden, die du ohne Hinweis schaffst.
Vor dem Start:
cd ~/am-lab
docker compose ps --services --status exited
amtool cluster show -o extended | grep -c ':9094'
curl -s -u alice:lab-karma-pw-123 localhost:8000/metrics | grep -c '^karma_alertmanager_up.* 1$'Erwartet: nur migrate (der läuft nur einmal),
3 Cluster-Mitglieder, 4 gesunde Upstreams in
karma.
Runde 1: Die Bereitschaft schläft durch
Lage: Ein Kollege hat die Routen „sprechender“ gemacht:
sed -i 's/ - matchers: \[team="notes"\]/ - matchers: [team="notes-api"]/' \
alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop notes-apiNach zwei Minuten meldet sich niemand. Das Handy der Bereitschaft bleibt stumm, obwohl notes-api steht.
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet:
22:00:43 /standard standard firing [alertname=NotesApiDown env=prod] NotesApiDown (1 firing, 0 resolved)
…
Zeitlimit: 10 min
Hinweis: Welche Receiver bekäme ein Alarm mit
team=notes severity=critical?
Lösung
amtool config routes test team=notes severity=critical
amtool config routes | grep teamErwartet:
archiv,standard
├── {team="notes-api"} receiver: team-notes
├── {team="plattform"} receiver: team-plattform
Die Route fragt nach team="notes-api", die Regeln setzen
team="notes". Der Alarm fällt durch bis zur Auffang-Route
standard. Ohne die Auffang-Route aus Tag 3 hätte nur das
Archiv ihn bekommen.
sed -i 's/ - matchers: \[team="notes-api"\]/ - matchers: [team="notes"]/' \
alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
amtool config routes test team=notes severity=critical
docker compose start notes-apiErwartet: archiv,notes-bereitschaft. Genau dieser Test
gehört in die CI:
amtool config routes test --verify.receivers=archiv,notes-bereitschaft team=notes severity=critical.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Alles doppelt
Lage: Knoten 3 wurde „vereinfacht“, nach dem Vorbild des dev-Alertmanagers:
sed -i '/^ alertmanager-3:/,/^ alarm-log:/ s/--cluster.listen-address=0.0.0.0:9094/--cluster.listen-address=/' \
alerting.yaml
docker compose up -d alertmanager-3Warte 30 Sekunden, dann:
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop postgresDie Bereitschaft beschwert sich nach zwei Minuten: „Jeder Alarm kommt zweimal!“
docker compose logs --no-log-prefix --since $T alarm-log | grep bereitschaftErwartet:
22:05:38 /notes-bereitschaft notes-bereitschaft firing [alertname=NotesDbDown env=prod] …
22:05:38 /notes-bereitschaft notes-bereitschaft firing [alertname=NotesDbDown env=prod] …
Zeitlimit: 10 min
Hinweis: Wie viele Mitglieder hat der Cluster, aus Sicht von Knoten 1 und Knoten 3?
Lösung
curl -s localhost:9093/metrics | grep '^alertmanager_cluster_members'
amtool cluster show --alertmanager.url=http://localhost:9095Erwartet:
alertmanager_cluster_members 2
Cluster Status: disabled
Node Name:
Knoten 3 hat den Cluster abgeschaltet. Er meldet für sich allein, die beiden anderen gemeinsam. Zwei Nachrichten. Die Peers stehen noch in der Datei, nützen aber nichts ohne Gossip-Adresse.
sed -i '/^ alertmanager-3:/,/^ alarm-log:/ s/--cluster.listen-address=$/--cluster.listen-address=0.0.0.0:9094/' \
alerting.yaml
docker compose up -d alertmanager-3
docker compose start postgresNach 20 Sekunden zeigt amtool cluster show -o extended
wieder drei Mitglieder.
Ausprobiert: Ein Tippfehler in den
--cluster.peer-Namen von Knoten 3 allein spaltet den Cluster nicht. Die anderen beiden kennen Knoten 3 und holen ihn herein. Im Log von Knoten 3 stehen nur Warnungenfailed to resolve alertmanagr:9094. Erst das Abschalten des Gossip trennt ihn wirklich.
Fortschritt speichern? Kostenlos registrieren
Runde 3: karma sieht prod nicht mehr
Lage: Jemand hat die Healthchecks in
karma.yaml „an die offizielle Umgebungsbezeichnung
angepasst“:
sed -i 's/ - env=prod$/ - env=production/' karma/karma.yaml
docker compose restart karma
docker compose restart caddyDie Leitwarte meldet eine halbe Minute später: „In karma ist prod leer. Ist alles gut?“
curl -s -u alice:lab-karma-pw-123 localhost:8000/metrics | grep '^karma_alertmanager_up'Erwartet:
karma_alertmanager_up{alertmanager="dev"} 1
karma_alertmanager_up{alertmanager="prod-1"} 0
karma_alertmanager_up{alertmanager="prod-2"} 0
karma_alertmanager_up{alertmanager="prod-3"} 0
Zeitlimit: 10 min
Hinweis: POST /alerts.json liefert den
Zustand jedes Upstreams mit Fehlertext. Alle drei Alertmanager laufen,
amtool cluster show ist zufrieden.
Lösung
curl -s -u alice:lab-karma-pw-123 -X POST -H 'Content-Type: application/json' \
-d '{}' localhost:8000/alerts.json | jq -c '.upstreams.instances[] | {name, error}'Erwartet:
{"name":"dev","error":""}
{"name":"prod-1","error":"Healthcheck filter \"prometheus-prod\" didn't match any alerts"}
{"name":"prod-2","error":"Healthcheck filter \"prometheus-prod\" didn't match any alerts"}
{"name":"prod-3","error":"Healthcheck filter \"prometheus-prod\" didn't match any alerts"}
Der Watchdog trägt env=prod, nicht
env=production. Kein Treffer heißt für karma: Upstream
kaputt, Alarme ausblenden. „prod leer“ war also nicht „alles gut“,
sondern „karma vertraut prod nicht mehr“.
sed -i 's/ - env=production$/ - env=prod/' karma/karma.yaml
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
--config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1
docker compose restart karma
docker compose restart caddy--check-config hätte den Fehler übrigens nicht gefunden.
Die Datei ist gültig, nur der Inhalt passt nicht zur Wirklichkeit.
Fortschritt speichern? Kostenlos registrieren
Runde 4: Die Nachtschicht
Lage: Die Nachtschicht hat vor einer Datenbankwartung an karma vorbei direkt am Alertmanager stummgeschaltet:
amtool silence add env=prod --duration=8h --author=nachtschicht \
--comment="DB-Wartung heute Nacht"
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop notes-apiAm Morgen: notes-api war die ganze Nacht weg, niemand wurde geweckt.
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet: keine Zeile.
Zeitlimit: 10 min
Hinweis: karma kennt den Filter
@silence_author.
Lösung
amtool alert query --silenced
amtool silence queryErwartet (gekürzt):
Alertname Starts At Summary State
Watchdog 2026-11-16 21:53:48 UTC Feuert immer. Fehlt er, ist die Alarmkette kaputt. suppressed
NotesApiDown 2026-11-16 22:08:43 UTC notes-api auf notes-api:8080 antwortet nicht suppressed
ID Matchers Ends At Created By Comment
7fd69c4b-d391-4795-9177-7c0128c0d0f6 env="prod" 2026-11-17 06:07:28 UTC nachtschicht DB-Wartung heute Nacht
…
env="prod" schaltet alles in prod
stumm, auch den Watchdog. Ein externer Totmannschalter hätte deshalb
ebenfalls Alarm geschlagen. Für bob und alle aus der Gruppe notes wäre
diese Silence über karma nicht durchgekommen: Die ACL aus Tag 11
verlangt team="notes". Die Nachtschicht hat
amtool direkt am Alertmanager benutzt.
Ersetze die Silence durch eine, die nur die Wartung abdeckt:
amtool silence expire $(amtool silence query -q env=prod)
amtool silence add alertname=NotesDbDown env=prod --duration=2h \
--author=nachtschicht --comment="DB-Wartung heute Nacht"Spätestens nach group_interval (zwei Minuten) bekommt
die Bereitschaft NotesApiDown. Danach:
docker compose start notes-api
amtool silence expire $(amtool silence query -q alertname=NotesDbDown)Fortschritt speichern? Kostenlos registrieren
Runde 5: Funkstille im Postfach
Lage: Die Sicherheitsabteilung verlangt TLS für alle Mails:
sed -i 's/ smtp_require_tls: false/ smtp_require_tls: true/' alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
curl -s -X DELETE localhost:8025/api/v1/messages
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=Mailtest team=notes severity=warning \
--start=$N --end=$E --alertmanager.url=http://localhost:9093
amtool alert add alertname=Mailtest team=notes severity=warning \
--start=$N --end=$E --alertmanager.url=http://localhost:9094
amtool alert add alertname=Mailtest team=notes severity=warning \
--start=$N --end=$E --alertmanager.url=http://localhost:9095Team notes: „Seit heute kommen keine Mails mehr.“ Der Webhook funktioniert.
curl -s localhost:8025/api/v1/messages | jq .totalErwartet nach zwei Minuten: 0.
Zeitlimit: 10 min
Hinweis: Die Fehler stehen im Log der Alertmanager.
Suche nach email.
Lösung
docker compose logs --no-log-prefix --since 3m alertmanager alertmanager-2 \
alertmanager-3 | grep email | tail -1
curl -s localhost:9093/metrics | grep 'requests_failed_total{integration="email"}'Erwartet (umbrochen):
time=2026-11-16T22:14:14.937Z level=WARN source=retry_stage.go:174
msg="Notify attempt failed, will retry later" component=dispatcher
receiver=team-notes integration=email[0] aggrGroup=… attempts=1 reason=other
err="'require_tls' is true (default) but \"mailpit:1025\" does not advertise the
STARTTLS extension"
alertmanager_notification_requests_failed_total{integration="email"} 11
Mailpit spricht im Lab kein TLS. Der Fehler kam übrigens von verschiedenen Knoten: Weil Knoten 1 nichts ins nflog schreiben konnte, versuchten es nach ihren Wartezeiten auch Knoten 2 und 3. Das ist HA, wie sie sein soll. Hier hilft sie nur nicht.
Die richtige Lösung wäre TLS auf dem Mailserver. Im Lab drehst du die Änderung zurück:
sed -i 's/ smtp_require_tls: true/ smtp_require_tls: false/' alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reloadNach höchstens zwei Minuten:
curl -s localhost:8025/api/v1/messages | jq -r '.messages[].Subject'Erwartet:
[FIRING:1] Mailtest (, Team notes)
Das leere Feld vor dem Komma ist env. Testalarme von
Hand haben kein env, das Template aus Tag 4 gibt dann
nichts aus.
Fortschritt speichern? Kostenlos registrieren
Auswertung
| Runden ohne Hinweis | Einschätzung |
|---|---|
| 5 | Du kannst die Leitwarte übernehmen. |
| 3–4 | Solide. Wiederhole die Tage der verpassten Runden. |
| 0–2 | Spiel Tag 3, 6 und 12 noch einmal durch. |
Enterprise-Notiz
- Jede Runde ist ein Kandidat für einen Test in der CI: Routen mit
--verify.receivers, Cluster-Größe mit einem Alarm aufalertmanager_cluster_members, Healthchecks mit einem Alarm aufkarma_alertmanager_up, Mails mit einem Alarm aufalertmanager_notifications_failed_total. - Silences an karma vorbei sind der häufigste Grund für verschlafene Ausfälle. Den Alertmanager-API-Zugang auf karma und Automatisierung beschränken.
- Gamedays wie dieser lohnen sich zweimal im Jahr, auch und gerade mit Leuten, die nie Bereitschaft hatten.