Tag 14: Betrieb
Ziel: Du aktualisierst karma und die Alertmanager ohne Ausfall, weißt, welche Konfiguration gewinnt, kennst die typischen Fehlerbilder und kannst einordnen, wann karma das richtige Werkzeug ist. · Dauer: ca. 50 min · Voraussetzung: Tag 13
Briefing
- karma erscheint etwa einmal im Monat in einer neuen Version.
Releases sind Tags wie
v0.134.latestist der main-Branch und nichts für den Betrieb. - Neue Versionen bringen neue Felder. Eine Konfiguration, die eine
neue Version braucht, bricht beim Zurückrollen.
--check-configmit dem Ziel-Image zeigt das vorher. - Alertmanager im Cluster aktualisierst du einzeln, Knoten für Knoten. Der Rest des Clusters hält Silences und nflog.
- Konfiguration kommt aus Datei, Umgebung und Schaltern. Die Rangfolge ist nicht die, die man erwartet.
Drill 1: Zurück zum Compose-Lab
k3s hat seine Aufgabe erfüllt. Halte es an und starte das Compose-Projekt wieder:
sudo systemctl disable --now k3s
sudo /usr/local/bin/k3s-killall.sh
cd ~/am-lab
docker compose start
docker compose ps --format '{{.Service}} {{.Status}}' | sortErwartet:
alarm-log Up 32 seconds
alertmanager Up 31 seconds
alertmanager-2 Up 30 seconds
alertmanager-3 Up 29 seconds
alertmanager-dev Up 29 seconds
caddy Up 28 seconds
karma Up 27 seconds
last Up 21 seconds
last-dev Up 26 seconds
mailpit Up 26 seconds (healthy)
node-exporter Up 32 seconds
notes-api Up 21 seconds (healthy)
notes-api-dev Up 23 seconds (healthy)
postgres Up 33 seconds (healthy)
prometheus Up 25 seconds
prometheus-dev Up 24 seconds
disable --now hält k3s an und verhindert, dass es nach
einem Neustart der VM wiederkommt. k3s-killall.sh beendet
auch die Container von k3s, die der Dienst übrig lässt. Alles kommt mit
dem Stand von Tag 12 zurück, auch notes-api, das du in Tag 10 angehalten
hattest.
Fortschritt speichern? Kostenlos registrieren
Drill 2: karma aktualisieren
Welche Version ist aktuell, und was steht in den Release-Notes?
curl -s https://api.github.com/repos/prymitive/karma/releases/latest \
| jq -r '.tag_name, .published_at'
curl -s https://api.github.com/repos/prymitive/karma/releases/tags/v0.134 \
| jq -r .body | head -8Erwartet:
v0.134
2026-10-22T14:41:03Z
### Fixed
- Silence ACL rules are now enforced when deleting silences via the proxy - #7170.
- Silence matcher sliders and label value suggestions now update correctly when …
### Added
- Silence ACL rules can now be scoped to specific operations (`create`, `edit`, `delete`), see [ACLs.md](docs/ACLs.md) - #7170.
Lies Release-Notes vor jedem Wechsel. Hier steht etwas Wichtiges: Erst seit v0.134 gelten die ACLs auch beim Löschen über den Proxy. Mit einer älteren Version hätte bob in Tag 11 jede Silence beenden dürfen.
Der sichere Ablauf für jedes Update: erst die Konfiguration mit dem neuen Image prüfen, dann umstellen.
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
--config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1Erwartet:
level=INFO msg="Configuration is valid"
Dann den Tag in dashboard.yaml ändern,
docker compose up -d karma und
docker compose restart caddy (siehe unten), fertig. Bei dir
läuft schon v0.134. Wie ein Wechsel sich anfühlt, übst du in der
Challenge mit einem Schritt zurück.
Ausprobiert: Nach jedem Neuanlegen des karma-Containers lieferte Caddy im Test für einige Zeit die Antworten von notes-api.
curl -u alice:… localhost:8000/versiongab0.8.0aus, die Version von notes-api. Caddy hielt eine offene Verbindung zur alten IP von karma, und Docker hatte die IP inzwischen an notes-api vergeben. Eindocker compose restart caddynach jedem Neuanlegen von karma behebt das. In Kubernetes passiert das nicht, dort zeigt ein Service immer auf aktuelle Pods.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Wer gewinnt?
karma liest dieselbe Einstellung aus der Datei, aus
Umgebungsvariablen und aus Schaltern. Ein Versuch mit
log.level. Lege eine Kopie der Konfiguration an, in der die
Datei ausdrücklich info setzt:
mkdir -p /tmp/kt
cp karma/* /tmp/kt/
sed -i 's/^log:$/log:\n level: info/' /tmp/kt/karma.yaml
grep -A2 '^log:' /tmp/kt/karma.yamlErwartet:
log:
level: info
config: true
Jetzt debug per Umgebungsvariable und per Schalter.
grep -c DEBUG zählt die Debug-Zeilen:
docker run --rm -e LOG_LEVEL=debug -v /tmp/kt:/etc/karma:ro \
ghcr.io/prymitive/karma:v0.134 --config.file /etc/karma/karma.yaml \
--check-config 2>&1 | grep -c DEBUG
docker run --rm -v /tmp/kt:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
--config.file /etc/karma/karma.yaml --log.level=debug \
--check-config 2>&1 | grep -c DEBUGErwartet:
0
23
| Quelle | Beispiel | Rang |
|---|---|---|
| Schalter | --log.level=debug |
gewinnt immer |
| Datei | log.level: info |
schlägt die Umgebung |
| Umgebung | LOG_LEVEL=debug |
nur, wenn die Datei schweigt |
Die Umgebungsvariable wirkt nur für Werte, die nicht in der Datei
stehen. Wer in Kubernetes per env eine Einstellung
überschreiben will, die schon in der ConfigMap steht, wundert sich.
Dafür ist der Schalter da.
rm -r /tmp/ktFortschritt speichern? Kostenlos registrieren
Drill 4: Alertmanager rollierend
Ein Update der Alertmanager ist ein Neuanlegen, Knoten für Knoten. Zur Probe legst du alle drei nacheinander neu an, ohne Versionswechsel. Vorher zählst du die Silences:
amtool silence query | wc -lErwartet: eine Zahl, etwa 3 (Kopfzeile plus Silences).
Sind alle Silences abgelaufen, lege vorher eine Test-Silence mit
--duration=1h an.
Zuerst Knoten 3:
docker compose up -d --force-recreate --no-deps alertmanager-3Nach 20 Sekunden:
amtool cluster show -o extended --alertmanager.url=http://localhost:9094 | grep -c ':9094'Erwartet: 3. Knoten 3 ist zurück im Cluster. Erst dann
folgt der nächste:
docker compose up -d --force-recreate --no-deps alertmanager-2Wieder 20 Sekunden warten, wieder 3 prüfen. Dann Knoten
1:
docker compose up -d --force-recreate --no-deps alertmanagerNach 20 Sekunden wieder
amtool cluster show -o extended --alertmanager.url=http://localhost:9094 | grep -c ':9094',
erwartet 3. Zum Schluss:
amtool silence query --alertmanager.url=http://localhost:9095 | wc -lErwartet: dieselbe Zahl wie vorher. Das Volume bleibt bei
--force-recreate erhalten. Selbst ohne Volume käme alles
aus dem Cluster zurück.
--no-depsstartet nur diesen einen Dienst neu.- Nie zwei Knoten gleichzeitig. Ein Cluster aus einem Knoten verschickt weiter, aber ein Ausfall in dieser Zeit legt alles lahm.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Fehlerbilder
Was in diesem Buch schiefging, und woran du es erkennst:
| Symptom | Ursache | Abhilfe |
|---|---|---|
| Benachrichtigung dreifach | Alertmanager ohne Cluster (Tag 6) | --cluster.peer setzen |
| Alarm in karma nur auf einem Knoten | Absender schickt nur an einen | alle Knoten beliefern |
| Fallback-Receiver bekommt nichts | continue-Route ohne Matcher oben |
Auffang-Route am Ende |
| Watchdog alle 2 statt 1 Minute | group_interval > repeat_interval |
eigenes group_interval |
| Mail ohne Entwarnung | send_resolved bei Mail aus |
send_resolved: true |
| Folge-Alarm nach Ausfall | Quelle löst sich vor dem Ziel | keep_firing_for an der Quelle |
| karma startet nicht | unbekanntes Feld | --check-config |
| karma zeigt Upstream als down | Watchdog fehlt (Healthcheck) | Prometheus prüfen |
| Silence löschen: „not found“ | karma kennt sie noch nicht | 30 Sekunden warten |
amtool alert add --end startet in der Zukunft |
--end ohne --start |
beide setzen |
| Links in Alarmen zeigen auf Container | --web.external-url fehlt |
Adresse setzen |
| Proxy liefert falschen Dienst | alte Verbindung nach Neuanlegen | Proxy neu starten |
Fortschritt speichern? Kostenlos registrieren
Drill 6: Wann karma, wann etwas anderes?
| Werkzeug | Stärke | Grenze |
|---|---|---|
| Alertmanager-UI | immer da, Silences | ein Alertmanager, wenig Überblick |
| karma | viele Alertmanager, Dedup, ACLs | nur lesen und Silences |
| Grafana Alerting | Alarme und Dashboards in einem | eigener Alertmanager-Ersatz |
| Bereitschafts-Dienst | Eskalation, Dienstpläne | kostet, Alarme kommen von außen |
karma ist dann richtig, wenn mehrere Alertmanager oder Umgebungen auf einen Bildschirm sollen, wenn Teams Silences mit Regeln anlegen sollen und wenn eine Leitwarte einen ruhigen, filterbaren Überblick braucht. Für Eskalation und Dienstpläne ersetzt es keinen Bereitschafts-Dienst. Beides ergänzt sich: Der Alertmanager benachrichtigt, karma zeigt den Zusammenhang.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
curl -s -u alice:lab-karma-pw-123 localhost:8000/version | jq -r .versionErwartet: v0.134. Kommt 0.8.0, starte Caddy
neu.
amtool cluster showErwartet: Cluster Status: ready.
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.134 \
--config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1Erwartet: Configuration is valid.
Challenge
Nach einem Fehler in v0.134 will dein Team auf v0.133 zurück. Prüfe vorher, ob die Konfiguration mit v0.133 funktioniert, und finde die Stelle, die nicht passt.
Hinweis: Prüfe wie in Drill 2, nur mit dem alten Image. Die Release-Notes von v0.134 nennen, was neu war.
Lösung
docker run --rm -v $PWD/karma:/etc/karma:ro ghcr.io/prymitive/karma:v0.133 \
--config.file /etc/karma/karma.yaml --check-config 2>&1 | tail -1Erwartet (umbrochen):
level=ERROR msg="Execution failed" error="failed to parse silence ACL configuration
file \"/etc/karma/acls.yaml\": yaml: unmarshal errors:\n line 32: field operations
not found in type config.SilenceACLRuleScope"
operations in der letzten ACL-Regel gibt es erst seit
v0.134. Ein Rückschritt hieße: die Regel „Löschen dürfen nur Admins“
entfernen. Und mit v0.133 gelten ACLs beim Löschen ohnehin nicht. Das
Team bleibt besser auf v0.134 und meldet den Fehler.
Hättest du ohne Prüfung umgestellt, wäre karma nicht gestartet. Mit
docker compose up -d karma auf v0.133 stand im Test genau
diese Meldung im Log, und der Container beendete sich.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Image-Tags in Git, Updates per Renovate oder Dependabot. Der Pull
Request startet
--check-configmit dem neuen Image in der CI. - Alertmanager-Updates nach Release-Notes: Die API ist nicht für alle
Versionen stabil. karma testet nur bestimmte Versionen
(
internal/mock/Makefileim Repo). - karma hat keinen Zustand. Ein neues karma braucht nur seine
Konfiguration. Backups sind für die Alertmanager wichtig:
amtool silence query -o json. - Ein Runbook mit der Fehlertabelle aus Drill 5 spart nachts Zeit.