Anhang B: Abschlussprüfung
Ziel: Vier Übungen ohne Anleitung, die Alertmanager, Prometheus und karma verbinden. · Dauer: ca. 60 min · Voraussetzung: Tag 0–15
Spielregeln
- Du arbeitest im Compose-Lab
~/am-lab. Nach jeder Änderung am Alertmanager lädst du alle drei Knoten neu, nach jeder Änderung an karma startest du karma und Caddy neu. - Testalarme schickst du wie Prometheus an alle drei Knoten (9093, 9094, 9095).
- Jede Übung hat Prüfbefehle. Erst wenn sie zeigen, was dort steht, ist die Übung gelöst.
- Die Lösungen liegen auch in
~/am-lab/code/loesung/pruefung/.
Übung 1: Kritisches trotz Feierabend
Das Team plattform hat ab 18 Uhr Ruhe (Tag 5). Alarme mit
severity="critical" sollen aber immer ankommen, beim neuen
Receiver plattform-bereitschaft (Webhook
http://alarm-log:5001/plattform-bereitschaft).
Prüfe:
amtool config routes test team=plattform severity=criticalErwartet:
archiv,plattform-bereitschaft
Und nach Feierabend mit einem Testalarm PlatteKaputt an
alle drei Knoten:
docker compose logs --no-log-prefix --since 2m alarm-log | grep plattformErwartet:
22:18:55 /plattform-bereitschaft plattform-bereitschaft firing [alertname=PlatteKaputt] …
Lösung
Unter der Route des Teams eine Unter-Route, in
alertmanager/alertmanager.yml:
- matchers: [team="plattform"]
receiver: team-plattform
mute_time_intervals: [feierabend]
routes:
- matchers: [severity="critical"]
receiver: plattform-bereitschaftUnd der Receiver:
- name: plattform-bereitschaft
webhook_configs:
- url: http://alarm-log:5001/plattform-bereitschaftamtool check-config alertmanager/alertmanager.yml | head -1
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
amtool alert add alertname=PlatteKaputt team=plattform severity=critical \
--alertmanager.url=http://localhost:9093
amtool alert add alertname=PlatteKaputt team=plattform severity=critical \
--alertmanager.url=http://localhost:9094
amtool alert add alertname=PlatteKaputt team=plattform severity=critical \
--alertmanager.url=http://localhost:9095mute_time_intervals wird nicht an Unter-Routen vererbt.
Die Unter-Route meldet also auch nach Feierabend. Im Test war es 23:18
Uhr, und die Nachricht kam nach 30 Sekunden.
Fortschritt speichern? Kostenlos registrieren
Übung 2: Eine neue Kollegin
carol (Passwort lab-karma-pw-123) gehört zum Team
plattform. Sie darf über karma nur Silences mit
team="plattform" anlegen.
Prüfe mit einer Silence ohne team (die Datei
silence.json aus Tag 11, ihre Zeiten sind abgelaufen, aber
die ACL lehnt sie vorher ab) und mit einer neuen Datei
silence-plattform.json, die
alertname="PlatteKaputt" und team="plattform"
enthält:
P=localhost:8000/proxy/alertmanager/prod-1/api/v2
curl -s -w ' %{http_code}\n' -u carol:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence.json $P/silences
curl -s -w ' %{http_code}\n' -u carol:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence-plattform.json $P/silencesErwartet:
silence blocked by ACL rule: Team plattform muss team=plattform in jede Silence schreiben
400
{"silenceID":"9681f447-13f7-4ee9-b954-c1e8be6123e7"}
200
Lösung
Drei Stellen. In caddy/Caddyfile eine Zeile für carol,
mit demselben Hash wie bob (gleiches Passwort):
sed -i 's/^\t\tbob \(.*\)$/\t\tbob \1\n\t\tcarol \1/' caddy/Caddyfile
grep -c carol caddy/CaddyfileErwartet: 1. In karma/karma.yaml unter
authorization.groups:
- name: plattform
members: [carol]In karma/acls.yaml vor der Regel „Löschen dürfen nur
Admins“:
- action: requireMatcher
reason: Team plattform muss team=plattform in jede Silence schreiben
scope:
groups: [plattform]
matchers:
required:
- name: team
value: plattform
isEqual: trueDie Silence-Datei:
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
cat > silence-plattform.json <<EOF
{
"matchers": [
{"name": "alertname", "value": "PlatteKaputt", "isRegex": false, "isEqual": true},
{"name": "team", "value": "plattform", "isRegex": false, "isEqual": true}
],
"startsAt": "$N",
"endsAt": "$E",
"createdBy": "carol",
"comment": "Platte wird getauscht, PLAT-7"
}
EOF
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
--config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1
docker compose restart karma caddyErwartet: Configuration is valid. Danach die Prüfbefehle
von oben.
Fortschritt speichern? Kostenlos registrieren
Übung 3: Ein Host fällt aus
Fällt der node-exporter eines Hosts aus, sollen
HostHighLoad-Alarme desselben Hosts
schweigen. Andere Hosts melden weiter.
Prüfe mit Testalarmen an alle drei Knoten:
NodeExporterDown für instance=host-a,
HostHighLoad für host-a und
host-b, alle mit env=prod,
team=plattform, severity=warning.
amtool alert query alertname=HostHighLoad --inhibited -o json | jq -r '.[].labels.instance'
amtool alert query alertname=HostHighLoad -o json | jq -r '.[].labels.instance'Erwartet:
host-a
host-b
Unterdrückt ist nur host-a, host-b bleibt
aktiv.
Lösung
Eine zweite Regel unter inhibit_rules:
- source_matchers: [alertname="NodeExporterDown"]
target_matchers: [alertname="HostHighLoad"]
equal: [instance, env]amtool check-config alertmanager/alertmanager.yml | grep inhibit
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reloadErwartet: - 2 inhibit rules. Für die Testalarme je drei
Befehle wie in Übung 1, mit --alertmanager.url für 9093,
9094 und 9095. Ohne instance in equal würde
ein einziger ausgefallener node-exporter die Last-Alarme aller Hosts
verschlucken.
Fortschritt speichern? Kostenlos registrieren
Übung 4: Stille ist auch ein Signal
Bekommt notes-api in prod gar keine Anfragen mehr, ist das
verdächtig. Schreibe eine Regel NotesKeinVerkehr (Team
notes, Schwere warning), die nach einer Minute ohne
Anfragen an /notes feuert. Teste sie, indem du den
Container last anhältst, und finde den Alarm in karma.
Prüfe nach etwa vier Minuten:
promtool query instant http://localhost:9090 'ALERTS{alertname="NotesKeinVerkehr"}'
curl -s -u alice:lab-karma-pw-123 -G localhost:8000/counters.json \
--data-urlencode 'q=alertname=NotesKeinVerkehr' --data-urlencode 'q=@cluster=prod' \
| jq .totalErwartet:
ALERTS{alertname="NotesKeinVerkehr", alertstate="firing", severity="warning", team="notes"} => 1 @[1794867881.732]
1
Lösung
cat >> prometheus/rules/notes.yml <<'EOF'
- alert: NotesKeinVerkehr
expr: sum(rate(notes_http_requests_total{path="/notes"}[2m])) == 0
for: 1m
labels:
severity: warning
team: notes
annotations:
summary: "Seit Minuten keine einzige Anfrage an /notes"
EOF
promtool check rules prometheus/rules/notes.yml | tail -2
curl -s -X POST localhost:9090/-/reload
docker compose restart prometheus-dev
docker compose stop lastErwartet: SUCCESS: 5 rules found.
- Der Prometheus von dev hat kein
--web.enable-lifecycle. Er übernimmt die Regel erst mit einem Neustart. rate(…[2m])braucht zwei Minuten ohne Anfragen, bis es 0 wird. Dazu kommtfor: 1m. Darum dauert es knapp vier Minuten.- Wenn alle Anfragen ausbleiben, verschwinden Alarme wie die Fehlerquote. Ohne eine Regel wie diese sähe ein Totalausfall des Verkehrs aus wie ein ruhiger Tag.
Zum Schluss:
docker compose start lastFortschritt speichern? Kostenlos registrieren
Aufräumen
Das Lab braucht nichts mehr. Alles entfernen, Volumes eingeschlossen:
cd ~/am-lab
docker compose down -v
sudo /usr/local/bin/k3s-uninstall.shdown -v löscht Container, Netze und Volumes des
Projekts. k3s-uninstall.sh entfernt k3s mit allen Daten aus
Tag 13.
Herzlichen Glückwunsch: Du hast das Trainingslager abgeschlossen.