Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Wettkampf

Ziel: Fünf Störungen finden und beheben, jede beim Testen dieses Buchs wirklich aufgetreten oder nachgestellt. · Dauer: ca. 90 min · Voraussetzung: Tag 0–14

Spielregeln

  • Jede Runde beginnt mit einer Lage: Was ist passiert, was meldet das Team? Die Befehle unter „Lage“ bauen die Störung nach. Führe sie aus, ohne die Lösung zu lesen.
  • Du suchst mit den Werkzeugen aus dem Buch: amtool, promtool, karma im Browser, die API von karma, docker compose logs und alarm-log.
  • Seit Tag 6 lesen drei Alertmanager dieselbe Datei. Nach jeder Änderung an alertmanager/alertmanager.yml lädst du alle drei neu.
  • Für jede Runde gibt es einen Hinweis. Lies ihn erst, wenn du zehn Minuten nicht weiterkommst. Zähl die Runden, die du ohne Hinweis schaffst.

Vor dem Start:

cd ~/am-lab
docker compose ps --services --status exited
amtool cluster show -o extended | grep -c ':9094'
curl -s -u alice:lab-karma-pw-123 localhost:8000/metrics | grep -c '^karma_alertmanager_up.* 1$'

Erwartet: nur migrate (der läuft nur einmal), 3 Cluster-Mitglieder, 4 gesunde Upstreams in karma.

Runde 1: Die Bereitschaft schläft durch

Lage: Ein Kollege hat die Routen „sprechender“ gemacht:

sed -i 's/    - matchers: \[team="notes"\]/    - matchers: [team="notes-api"]/' \
  alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop notes-api

Nach zwei Minuten meldet sich niemand. Das Handy der Bereitschaft bleibt stumm, obwohl notes-api steht.

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet:

22:00:43 /standard standard firing [alertname=NotesApiDown env=prod] NotesApiDown (1 firing, 0 resolved)
…

Zeitlimit: 10 min

Hinweis: Welche Receiver bekäme ein Alarm mit team=notes severity=critical?

Lösung

amtool config routes test team=notes severity=critical
amtool config routes | grep team

Erwartet:

archiv,standard
    ├── {team="notes-api"}  receiver: team-notes
    ├── {team="plattform"}  receiver: team-plattform

Die Route fragt nach team="notes-api", die Regeln setzen team="notes". Der Alarm fällt durch bis zur Auffang-Route standard. Ohne die Auffang-Route aus Tag 3 hätte nur das Archiv ihn bekommen.

sed -i 's/    - matchers: \[team="notes-api"\]/    - matchers: [team="notes"]/' \
  alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
amtool config routes test team=notes severity=critical
docker compose start notes-api

Erwartet: archiv,notes-bereitschaft. Genau dieser Test gehört in die CI: amtool config routes test --verify.receivers=archiv,notes-bereitschaft team=notes severity=critical.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Alles doppelt

Lage: Knoten 3 wurde „vereinfacht“, nach dem Vorbild des dev-Alertmanagers:

sed -i '/^  alertmanager-3:/,/^  alarm-log:/ s/--cluster.listen-address=0.0.0.0:9094/--cluster.listen-address=/' \
  alerting.yaml
docker compose up -d alertmanager-3

Warte 30 Sekunden, dann:

T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop postgres

Die Bereitschaft beschwert sich nach zwei Minuten: „Jeder Alarm kommt zweimal!“

docker compose logs --no-log-prefix --since $T alarm-log | grep bereitschaft

Erwartet:

22:05:38 /notes-bereitschaft notes-bereitschaft firing [alertname=NotesDbDown env=prod] …
22:05:38 /notes-bereitschaft notes-bereitschaft firing [alertname=NotesDbDown env=prod] …

Zeitlimit: 10 min

Hinweis: Wie viele Mitglieder hat der Cluster, aus Sicht von Knoten 1 und Knoten 3?

Lösung

curl -s localhost:9093/metrics | grep '^alertmanager_cluster_members'
amtool cluster show --alertmanager.url=http://localhost:9095

Erwartet:

alertmanager_cluster_members 2
Cluster Status:  disabled
Node Name:

Knoten 3 hat den Cluster abgeschaltet. Er meldet für sich allein, die beiden anderen gemeinsam. Zwei Nachrichten. Die Peers stehen noch in der Datei, nützen aber nichts ohne Gossip-Adresse.

sed -i '/^  alertmanager-3:/,/^  alarm-log:/ s/--cluster.listen-address=$/--cluster.listen-address=0.0.0.0:9094/' \
  alerting.yaml
docker compose up -d alertmanager-3
docker compose start postgres

Nach 20 Sekunden zeigt amtool cluster show -o extended wieder drei Mitglieder.

Ausprobiert: Ein Tippfehler in den --cluster.peer-Namen von Knoten 3 allein spaltet den Cluster nicht. Die anderen beiden kennen Knoten 3 und holen ihn herein. Im Log von Knoten 3 stehen nur Warnungen failed to resolve alertmanagr:9094. Erst das Abschalten des Gossip trennt ihn wirklich.

Fortschritt speichern? Kostenlos registrieren

Runde 3: karma sieht prod nicht mehr

Lage: Jemand hat die Healthchecks in karma.yaml „an die offizielle Umgebungsbezeichnung angepasst“:

sed -i 's/            - env=prod$/            - env=production/' karma/karma.yaml
docker compose restart karma
docker compose restart caddy

Die Leitwarte meldet eine halbe Minute später: „In karma ist prod leer. Ist alles gut?“

curl -s -u alice:lab-karma-pw-123 localhost:8000/metrics | grep '^karma_alertmanager_up'

Erwartet:

karma_alertmanager_up{alertmanager="dev"} 1
karma_alertmanager_up{alertmanager="prod-1"} 0
karma_alertmanager_up{alertmanager="prod-2"} 0
karma_alertmanager_up{alertmanager="prod-3"} 0

Zeitlimit: 10 min

Hinweis: POST /alerts.json liefert den Zustand jedes Upstreams mit Fehlertext. Alle drei Alertmanager laufen, amtool cluster show ist zufrieden.

Lösung

curl -s -u alice:lab-karma-pw-123 -X POST -H 'Content-Type: application/json' \
  -d '{}' localhost:8000/alerts.json | jq -c '.upstreams.instances[] | {name, error}'

Erwartet:

{"name":"dev","error":""}
{"name":"prod-1","error":"Healthcheck filter \"prometheus-prod\" didn't match any alerts"}
{"name":"prod-2","error":"Healthcheck filter \"prometheus-prod\" didn't match any alerts"}
{"name":"prod-3","error":"Healthcheck filter \"prometheus-prod\" didn't match any alerts"}

Der Watchdog trägt env=prod, nicht env=production. Kein Treffer heißt für karma: Upstream kaputt, Alarme ausblenden. „prod leer“ war also nicht „alles gut“, sondern „karma vertraut prod nicht mehr“.

sed -i 's/            - env=production$/            - env=prod/' karma/karma.yaml
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
  --config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1
docker compose restart karma
docker compose restart caddy

--check-config hätte den Fehler übrigens nicht gefunden. Die Datei ist gültig, nur der Inhalt passt nicht zur Wirklichkeit.

Fortschritt speichern? Kostenlos registrieren

Runde 4: Die Nachtschicht

Lage: Die Nachtschicht hat vor einer Datenbankwartung an karma vorbei direkt am Alertmanager stummgeschaltet:

amtool silence add env=prod --duration=8h --author=nachtschicht \
  --comment="DB-Wartung heute Nacht"
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop notes-api

Am Morgen: notes-api war die ganze Nacht weg, niemand wurde geweckt.

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet: keine Zeile.

Zeitlimit: 10 min

Hinweis: karma kennt den Filter @silence_author.

Lösung

amtool alert query --silenced
amtool silence query

Erwartet (gekürzt):

Alertname     Starts At                Summary                                             State
Watchdog      2026-11-16 21:53:48 UTC  Feuert immer. Fehlt er, ist die Alarmkette kaputt.  suppressed
NotesApiDown  2026-11-16 22:08:43 UTC  notes-api auf notes-api:8080 antwortet nicht        suppressed
ID                                    Matchers          Ends At                  Created By    Comment
7fd69c4b-d391-4795-9177-7c0128c0d0f6  env="prod"        2026-11-17 06:07:28 UTC  nachtschicht  DB-Wartung heute Nacht
…

env="prod" schaltet alles in prod stumm, auch den Watchdog. Ein externer Totmannschalter hätte deshalb ebenfalls Alarm geschlagen. Für bob und alle aus der Gruppe notes wäre diese Silence über karma nicht durchgekommen: Die ACL aus Tag 11 verlangt team="notes". Die Nachtschicht hat amtool direkt am Alertmanager benutzt.

Ersetze die Silence durch eine, die nur die Wartung abdeckt:

amtool silence expire $(amtool silence query -q env=prod)
amtool silence add alertname=NotesDbDown env=prod --duration=2h \
  --author=nachtschicht --comment="DB-Wartung heute Nacht"

Spätestens nach group_interval (zwei Minuten) bekommt die Bereitschaft NotesApiDown. Danach:

docker compose start notes-api
amtool silence expire $(amtool silence query -q alertname=NotesDbDown)

Fortschritt speichern? Kostenlos registrieren

Runde 5: Funkstille im Postfach

Lage: Die Sicherheitsabteilung verlangt TLS für alle Mails:

sed -i 's/  smtp_require_tls: false/  smtp_require_tls: true/' alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
curl -s -X DELETE localhost:8025/api/v1/messages
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=Mailtest team=notes severity=warning \
  --start=$N --end=$E --alertmanager.url=http://localhost:9093
amtool alert add alertname=Mailtest team=notes severity=warning \
  --start=$N --end=$E --alertmanager.url=http://localhost:9094
amtool alert add alertname=Mailtest team=notes severity=warning \
  --start=$N --end=$E --alertmanager.url=http://localhost:9095

Team notes: „Seit heute kommen keine Mails mehr.“ Der Webhook funktioniert.

curl -s localhost:8025/api/v1/messages | jq .total

Erwartet nach zwei Minuten: 0.

Zeitlimit: 10 min

Hinweis: Die Fehler stehen im Log der Alertmanager. Suche nach email.

Lösung

docker compose logs --no-log-prefix --since 3m alertmanager alertmanager-2 \
  alertmanager-3 | grep email | tail -1
curl -s localhost:9093/metrics | grep 'requests_failed_total{integration="email"}'

Erwartet (umbrochen):

time=2026-11-16T22:14:14.937Z level=WARN source=retry_stage.go:174
msg="Notify attempt failed, will retry later" component=dispatcher
receiver=team-notes integration=email[0] aggrGroup=… attempts=1 reason=other
err="'require_tls' is true (default) but \"mailpit:1025\" does not advertise the
STARTTLS extension"
alertmanager_notification_requests_failed_total{integration="email"} 11

Mailpit spricht im Lab kein TLS. Der Fehler kam übrigens von verschiedenen Knoten: Weil Knoten 1 nichts ins nflog schreiben konnte, versuchten es nach ihren Wartezeiten auch Knoten 2 und 3. Das ist HA, wie sie sein soll. Hier hilft sie nur nicht.

Die richtige Lösung wäre TLS auf dem Mailserver. Im Lab drehst du die Änderung zurück:

sed -i 's/  smtp_require_tls: true/  smtp_require_tls: false/' alertmanager/alertmanager.yml
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload

Nach höchstens zwei Minuten:

curl -s localhost:8025/api/v1/messages | jq -r '.messages[].Subject'

Erwartet:

[FIRING:1] Mailtest (, Team notes)

Das leere Feld vor dem Komma ist env. Testalarme von Hand haben kein env, das Template aus Tag 4 gibt dann nichts aus.

Fortschritt speichern? Kostenlos registrieren

Auswertung

Runden ohne Hinweis Einschätzung
5 Du kannst die Leitwarte übernehmen.
3–4 Solide. Wiederhole die Tage der verpassten Runden.
0–2 Spiel Tag 3, 6 und 12 noch einmal durch.

Enterprise-Notiz

  • Jede Runde ist ein Kandidat für einen Test in der CI: Routen mit --verify.receivers, Cluster-Größe mit einem Alarm auf alertmanager_cluster_members, Healthchecks mit einem Alarm auf karma_alertmanager_up, Mails mit einem Alarm auf alertmanager_notifications_failed_total.
  • Silences an karma vorbei sind der häufigste Grund für verschlafene Ausfälle. Den Alertmanager-API-Zugang auf karma und Automatisierung beschränken.
  • Gamedays wie dieser lohnen sich zweimal im Jahr, auch und gerade mit Leuten, die nie Bereitschaft hatten.