Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Betrieb

Ziel: Du aktualisierst karma und die Alertmanager ohne Ausfall, weißt, welche Konfiguration gewinnt, kennst die typischen Fehlerbilder und kannst einordnen, wann karma das richtige Werkzeug ist. · Dauer: ca. 50 min · Voraussetzung: Tag 13

Briefing

  • karma erscheint etwa einmal im Monat in einer neuen Version. Releases sind Tags wie v0.134. latest ist der main-Branch und nichts für den Betrieb.
  • Neue Versionen bringen neue Felder. Eine Konfiguration, die eine neue Version braucht, bricht beim Zurückrollen. --check-config mit dem Ziel-Image zeigt das vorher.
  • Alertmanager im Cluster aktualisierst du einzeln, Knoten für Knoten. Der Rest des Clusters hält Silences und nflog.
  • Konfiguration kommt aus Datei, Umgebung und Schaltern. Die Rangfolge ist nicht die, die man erwartet.

Drill 1: Zurück zum Compose-Lab

k3s hat seine Aufgabe erfüllt. Halte es an und starte das Compose-Projekt wieder:

sudo systemctl disable --now k3s
sudo /usr/local/bin/k3s-killall.sh
cd ~/am-lab
docker compose start
docker compose ps --format '{{.Service}} {{.Status}}' | sort

Erwartet:

alarm-log Up 32 seconds
alertmanager Up 31 seconds
alertmanager-2 Up 30 seconds
alertmanager-3 Up 29 seconds
alertmanager-dev Up 29 seconds
caddy Up 28 seconds
karma Up 27 seconds
last Up 21 seconds
last-dev Up 26 seconds
mailpit Up 26 seconds (healthy)
node-exporter Up 32 seconds
notes-api Up 21 seconds (healthy)
notes-api-dev Up 23 seconds (healthy)
postgres Up 33 seconds (healthy)
prometheus Up 25 seconds
prometheus-dev Up 24 seconds

disable --now hält k3s an und verhindert, dass es nach einem Neustart der VM wiederkommt. k3s-killall.sh beendet auch die Container von k3s, die der Dienst übrig lässt. Alles kommt mit dem Stand von Tag 12 zurück, auch notes-api, das du in Tag 10 angehalten hattest.

Fortschritt speichern? Kostenlos registrieren

Drill 2: karma aktualisieren

Welche Version ist aktuell, und was steht in den Release-Notes?

curl -s https://api.github.com/repos/prymitive/karma/releases/latest \
  | jq -r '.tag_name, .published_at'
curl -s https://api.github.com/repos/prymitive/karma/releases/tags/v0.134 \
  | jq -r .body | head -8

Erwartet:

v0.134
2026-10-22T14:41:03Z
### Fixed

- Silence ACL rules are now enforced when deleting silences via the proxy - #7170.
- Silence matcher sliders and label value suggestions now update correctly when …

### Added

- Silence ACL rules can now be scoped to specific operations (`create`, `edit`, `delete`), see [ACLs.md](docs/ACLs.md) - #7170.

Lies Release-Notes vor jedem Wechsel. Hier steht etwas Wichtiges: Erst seit v0.134 gelten die ACLs auch beim Löschen über den Proxy. Mit einer älteren Version hätte bob in Tag 11 jede Silence beenden dürfen.

Der sichere Ablauf für jedes Update: erst die Konfiguration mit dem neuen Image prüfen, dann umstellen.

docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
  --config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1

Erwartet:

level=INFO msg="Configuration is valid"

Dann den Tag in dashboard.yaml ändern, docker compose up -d karma und docker compose restart caddy (siehe unten), fertig. Bei dir läuft schon v0.134. Wie ein Wechsel sich anfühlt, übst du in der Challenge mit einem Schritt zurück.

Ausprobiert: Nach jedem Neuanlegen des karma-Containers lieferte Caddy im Test für einige Zeit die Antworten von notes-api. curl -u alice:… localhost:8000/version gab 0.8.0 aus, die Version von notes-api. Caddy hielt eine offene Verbindung zur alten IP von karma, und Docker hatte die IP inzwischen an notes-api vergeben. Ein docker compose restart caddy nach jedem Neuanlegen von karma behebt das. In Kubernetes passiert das nicht, dort zeigt ein Service immer auf aktuelle Pods.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Wer gewinnt?

karma liest dieselbe Einstellung aus der Datei, aus Umgebungsvariablen und aus Schaltern. Ein Versuch mit log.level. Lege eine Kopie der Konfiguration an, in der die Datei ausdrücklich info setzt:

mkdir -p /tmp/kt
cp karma/* /tmp/kt/
sed -i 's/^log:$/log:\n  level: info/' /tmp/kt/karma.yaml
grep -A2 '^log:' /tmp/kt/karma.yaml

Erwartet:

log:
  level: info
  config: true

Jetzt debug per Umgebungsvariable und per Schalter. grep -c DEBUG zählt die Debug-Zeilen:

docker run --rm -e LOG_LEVEL=debug -v /tmp/kt:/etc/karma:ro \
  ghcr.io/prymitive/karma:v0.134 --config.file /etc/karma/karma.yaml \
  --check-config 2>&1 | grep -c DEBUG
docker run --rm -v /tmp/kt:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
  --config.file /etc/karma/karma.yaml --log.level=debug \
  --check-config 2>&1 | grep -c DEBUG

Erwartet:

0
23
Quelle Beispiel Rang
Schalter --log.level=debug gewinnt immer
Datei log.level: info schlägt die Umgebung
Umgebung LOG_LEVEL=debug nur, wenn die Datei schweigt

Die Umgebungsvariable wirkt nur für Werte, die nicht in der Datei stehen. Wer in Kubernetes per env eine Einstellung überschreiben will, die schon in der ConfigMap steht, wundert sich. Dafür ist der Schalter da.

rm -r /tmp/kt

Fortschritt speichern? Kostenlos registrieren

Drill 4: Alertmanager rollierend

Ein Update der Alertmanager ist ein Neuanlegen, Knoten für Knoten. Zur Probe legst du alle drei nacheinander neu an, ohne Versionswechsel. Vorher zählst du die Silences:

amtool silence query | wc -l

Erwartet: eine Zahl, etwa 3 (Kopfzeile plus Silences). Sind alle Silences abgelaufen, lege vorher eine Test-Silence mit --duration=1h an.

Zuerst Knoten 3:

docker compose up -d --force-recreate --no-deps alertmanager-3

Nach 20 Sekunden:

amtool cluster show -o extended --alertmanager.url=http://localhost:9094 | grep -c ':9094'

Erwartet: 3. Knoten 3 ist zurück im Cluster. Erst dann folgt der nächste:

docker compose up -d --force-recreate --no-deps alertmanager-2

Wieder 20 Sekunden warten, wieder 3 prüfen. Dann Knoten 1:

docker compose up -d --force-recreate --no-deps alertmanager

Nach 20 Sekunden wieder amtool cluster show -o extended --alertmanager.url=http://localhost:9094 | grep -c ':9094', erwartet 3. Zum Schluss:

amtool silence query --alertmanager.url=http://localhost:9095 | wc -l

Erwartet: dieselbe Zahl wie vorher. Das Volume bleibt bei --force-recreate erhalten. Selbst ohne Volume käme alles aus dem Cluster zurück.

  • --no-deps startet nur diesen einen Dienst neu.
  • Nie zwei Knoten gleichzeitig. Ein Cluster aus einem Knoten verschickt weiter, aber ein Ausfall in dieser Zeit legt alles lahm.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Fehlerbilder

Was in diesem Buch schiefging, und woran du es erkennst:

Symptom Ursache Abhilfe
Benachrichtigung dreifach Alertmanager ohne Cluster (Tag 6) --cluster.peer setzen
Alarm in karma nur auf einem Knoten Absender schickt nur an einen alle Knoten beliefern
Fallback-Receiver bekommt nichts continue-Route ohne Matcher oben Auffang-Route am Ende
Watchdog alle 2 statt 1 Minute group_interval > repeat_interval eigenes group_interval
Mail ohne Entwarnung send_resolved bei Mail aus send_resolved: true
Folge-Alarm nach Ausfall Quelle löst sich vor dem Ziel keep_firing_for an der Quelle
karma startet nicht unbekanntes Feld --check-config
karma zeigt Upstream als down Watchdog fehlt (Healthcheck) Prometheus prüfen
Silence löschen: „not found“ karma kennt sie noch nicht 30 Sekunden warten
amtool alert add --end startet in der Zukunft --end ohne --start beide setzen
Links in Alarmen zeigen auf Container --web.external-url fehlt Adresse setzen
Proxy liefert falschen Dienst alte Verbindung nach Neuanlegen Proxy neu starten

Fortschritt speichern? Kostenlos registrieren

Drill 6: Wann karma, wann etwas anderes?

Werkzeug Stärke Grenze
Alertmanager-UI immer da, Silences ein Alertmanager, wenig Überblick
karma viele Alertmanager, Dedup, ACLs nur lesen und Silences
Grafana Alerting Alarme und Dashboards in einem eigener Alertmanager-Ersatz
Bereitschafts-Dienst Eskalation, Dienstpläne kostet, Alarme kommen von außen

karma ist dann richtig, wenn mehrere Alertmanager oder Umgebungen auf einen Bildschirm sollen, wenn Teams Silences mit Regeln anlegen sollen und wenn eine Leitwarte einen ruhigen, filterbaren Überblick braucht. Für Eskalation und Dienstpläne ersetzt es keinen Bereitschafts-Dienst. Beides ergänzt sich: Der Alertmanager benachrichtigt, karma zeigt den Zusammenhang.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

curl -s -u alice:lab-karma-pw-123 localhost:8000/version | jq -r .version

Erwartet: v0.134. Kommt 0.8.0, starte Caddy neu.

amtool cluster show

Erwartet: Cluster Status: ready.

docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
  --config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1

Erwartet: Configuration is valid.

Challenge

Nach einem Fehler in v0.134 will dein Team auf v0.133 zurück. Prüfe vorher, ob die Konfiguration mit v0.133 funktioniert, und finde die Stelle, die nicht passt.

Hinweis: Prüfe wie in Drill 2, nur mit dem alten Image. Die Release-Notes von v0.134 nennen, was neu war.

Lösung

docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.133 \
  --config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1

Erwartet (umbrochen):

level=ERROR msg="Execution failed" error="failed to parse silence ACL configuration
file \"/etc/karma/acls.yaml\": yaml: unmarshal errors:\n  line 32: field operations
not found in type config.SilenceACLRuleScope"

operations in der letzten ACL-Regel gibt es erst seit v0.134. Ein Rückschritt hieße: die Regel „Löschen dürfen nur Admins“ entfernen. Und mit v0.133 gelten ACLs beim Löschen ohnehin nicht. Das Team bleibt besser auf v0.134 und meldet den Fehler.

Hättest du ohne Prüfung umgestellt, wäre karma nicht gestartet. Mit docker compose up -d karma auf v0.133 stand im Test genau diese Meldung im Log, und der Container beendete sich.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Image-Tags in Git, Updates per Renovate oder Dependabot. Der Pull Request startet --check-config mit dem neuen Image in der CI.
  • Alertmanager-Updates nach Release-Notes: Die API ist nicht für alle Versionen stabil. karma testet nur bestimmte Versionen (internal/mock/Makefile im Repo).
  • karma hat keinen Zustand. Ein neues karma braucht nur seine Konfiguration. Backups sind für die Alertmanager wichtig: amtool silence query -o json.
  • Ein Runbook mit der Fehlertabelle aus Drill 5 spart nachts Zeit.