Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang B: Abschlussprüfung

Ziel: Vier Übungen ohne Anleitung, die Alertmanager, Prometheus und karma verbinden. · Dauer: ca. 60 min · Voraussetzung: Tag 0–15

Spielregeln

  • Du arbeitest im Compose-Lab ~/am-lab. Nach jeder Änderung am Alertmanager lädst du alle drei Knoten neu, nach jeder Änderung an karma startest du karma und Caddy neu.
  • Testalarme schickst du wie Prometheus an alle drei Knoten (9093, 9094, 9095).
  • Jede Übung hat Prüfbefehle. Erst wenn sie zeigen, was dort steht, ist die Übung gelöst.
  • Die Lösungen liegen auch in ~/am-lab/code/loesung/pruefung/.

Übung 1: Kritisches trotz Feierabend

Das Team plattform hat ab 18 Uhr Ruhe (Tag 5). Alarme mit severity="critical" sollen aber immer ankommen, beim neuen Receiver plattform-bereitschaft (Webhook http://alarm-log:5001/plattform-bereitschaft).

Prüfe:

amtool config routes test team=plattform severity=critical

Erwartet:

archiv,plattform-bereitschaft

Und nach Feierabend mit einem Testalarm PlatteKaputt an alle drei Knoten:

docker compose logs --no-log-prefix --since 2m alarm-log | grep plattform

Erwartet:

22:18:55 /plattform-bereitschaft plattform-bereitschaft firing [alertname=PlatteKaputt] …

Lösung

Unter der Route des Teams eine Unter-Route, in alertmanager/alertmanager.yml:

    - matchers: [team="plattform"]
      receiver: team-plattform
      mute_time_intervals: [feierabend]
      routes:
        - matchers: [severity="critical"]
          receiver: plattform-bereitschaft

Und der Receiver:

  - name: plattform-bereitschaft
    webhook_configs:
      - url: http://alarm-log:5001/plattform-bereitschaft
amtool check-config alertmanager/alertmanager.yml | head -1
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload
amtool alert add alertname=PlatteKaputt team=plattform severity=critical \
  --alertmanager.url=http://localhost:9093
amtool alert add alertname=PlatteKaputt team=plattform severity=critical \
  --alertmanager.url=http://localhost:9094
amtool alert add alertname=PlatteKaputt team=plattform severity=critical \
  --alertmanager.url=http://localhost:9095

mute_time_intervals wird nicht an Unter-Routen vererbt. Die Unter-Route meldet also auch nach Feierabend. Im Test war es 23:18 Uhr, und die Nachricht kam nach 30 Sekunden.

Fortschritt speichern? Kostenlos registrieren

Übung 2: Eine neue Kollegin

carol (Passwort lab-karma-pw-123) gehört zum Team plattform. Sie darf über karma nur Silences mit team="plattform" anlegen.

Prüfe mit einer Silence ohne team (die Datei silence.json aus Tag 11, ihre Zeiten sind abgelaufen, aber die ACL lehnt sie vorher ab) und mit einer neuen Datei silence-plattform.json, die alertname="PlatteKaputt" und team="plattform" enthält:

P=localhost:8000/proxy/alertmanager/prod-1/api/v2
curl -s -w ' %{http_code}\n' -u carol:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence.json $P/silences
curl -s -w ' %{http_code}\n' -u carol:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence-plattform.json $P/silences

Erwartet:

silence blocked by ACL rule: Team plattform muss team=plattform in jede Silence schreiben
 400
{"silenceID":"9681f447-13f7-4ee9-b954-c1e8be6123e7"}
 200

Lösung

Drei Stellen. In caddy/Caddyfile eine Zeile für carol, mit demselben Hash wie bob (gleiches Passwort):

sed -i 's/^\t\tbob \(.*\)$/\t\tbob \1\n\t\tcarol \1/' caddy/Caddyfile
grep -c carol caddy/Caddyfile

Erwartet: 1. In karma/karma.yaml unter authorization.groups:

    - name: plattform
      members: [carol]

In karma/acls.yaml vor der Regel „Löschen dürfen nur Admins“:

  - action: requireMatcher
    reason: Team plattform muss team=plattform in jede Silence schreiben
    scope:
      groups: [plattform]
    matchers:
      required:
        - name: team
          value: plattform
          isEqual: true

Die Silence-Datei:

N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
cat > silence-plattform.json <<EOF
{
  "matchers": [
    {"name": "alertname", "value": "PlatteKaputt", "isRegex": false, "isEqual": true},
    {"name": "team", "value": "plattform", "isRegex": false, "isEqual": true}
  ],
  "startsAt": "$N",
  "endsAt": "$E",
  "createdBy": "carol",
  "comment": "Platte wird getauscht, PLAT-7"
}
EOF
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
  --config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1
docker compose restart karma caddy

Erwartet: Configuration is valid. Danach die Prüfbefehle von oben.

Fortschritt speichern? Kostenlos registrieren

Übung 3: Ein Host fällt aus

Fällt der node-exporter eines Hosts aus, sollen HostHighLoad-Alarme desselben Hosts schweigen. Andere Hosts melden weiter.

Prüfe mit Testalarmen an alle drei Knoten: NodeExporterDown für instance=host-a, HostHighLoad für host-a und host-b, alle mit env=prod, team=plattform, severity=warning.

amtool alert query alertname=HostHighLoad --inhibited -o json | jq -r '.[].labels.instance'
amtool alert query alertname=HostHighLoad -o json | jq -r '.[].labels.instance'

Erwartet:

host-a
host-b

Unterdrückt ist nur host-a, host-b bleibt aktiv.

Lösung

Eine zweite Regel unter inhibit_rules:

  - source_matchers: [alertname="NodeExporterDown"]
    target_matchers: [alertname="HostHighLoad"]
    equal: [instance, env]
amtool check-config alertmanager/alertmanager.yml | grep inhibit
curl -s -X POST localhost:9093/-/reload
curl -s -X POST localhost:9094/-/reload
curl -s -X POST localhost:9095/-/reload

Erwartet: - 2 inhibit rules. Für die Testalarme je drei Befehle wie in Übung 1, mit --alertmanager.url für 9093, 9094 und 9095. Ohne instance in equal würde ein einziger ausgefallener node-exporter die Last-Alarme aller Hosts verschlucken.

Fortschritt speichern? Kostenlos registrieren

Übung 4: Stille ist auch ein Signal

Bekommt notes-api in prod gar keine Anfragen mehr, ist das verdächtig. Schreibe eine Regel NotesKeinVerkehr (Team notes, Schwere warning), die nach einer Minute ohne Anfragen an /notes feuert. Teste sie, indem du den Container last anhältst, und finde den Alarm in karma.

Prüfe nach etwa vier Minuten:

promtool query instant http://localhost:9090 'ALERTS{alertname="NotesKeinVerkehr"}'
curl -s -u alice:lab-karma-pw-123 -G localhost:8000/counters.json \
  --data-urlencode 'q=alertname=NotesKeinVerkehr' --data-urlencode 'q=@cluster=prod' \
  | jq .total

Erwartet:

ALERTS{alertname="NotesKeinVerkehr", alertstate="firing", severity="warning", team="notes"} => 1 @[1794867881.732]
1

Lösung

cat >> prometheus/rules/notes.yml <<'EOF'
      - alert: NotesKeinVerkehr
        expr: sum(rate(notes_http_requests_total{path="/notes"}[2m])) == 0
        for: 1m
        labels:
          severity: warning
          team: notes
        annotations:
          summary: "Seit Minuten keine einzige Anfrage an /notes"
EOF
promtool check rules prometheus/rules/notes.yml | tail -2
curl -s -X POST localhost:9090/-/reload
docker compose restart prometheus-dev
docker compose stop last

Erwartet: SUCCESS: 5 rules found.

  • Der Prometheus von dev hat kein --web.enable-lifecycle. Er übernimmt die Regel erst mit einem Neustart.
  • rate(…[2m]) braucht zwei Minuten ohne Anfragen, bis es 0 wird. Dazu kommt for: 1m. Darum dauert es knapp vier Minuten.
  • Wenn alle Anfragen ausbleiben, verschwinden Alarme wie die Fehlerquote. Ohne eine Regel wie diese sähe ein Totalausfall des Verkehrs aus wie ein ruhiger Tag.

Zum Schluss:

docker compose start last

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Das Lab braucht nichts mehr. Alles entfernen, Volumes eingeschlossen:

cd ~/am-lab
docker compose down -v
sudo /usr/local/bin/k3s-uninstall.sh

down -v löscht Container, Netze und Volumes des Projekts. k3s-uninstall.sh entfernt k3s mit allen Daten aus Tag 13.

Herzlichen Glückwunsch: Du hast das Trainingslager abgeschlossen.