Tag 10: Silences in karma
Ziel: Du legst Silences direkt aus einer Alarmgruppe an, prüfst vorher, was sie trifft, bestätigst Alarme mit einem Klick und verwaltest alle Silences an einer Stelle. Dahinter steht der Proxy von karma, den du auch per
curlnutzt. · Dauer: ca. 45 min · Voraussetzung: Tag 9
Briefing
- Silences sind die einzige Stelle, an der karma etwas verändert. Mit
proxy: trueschickt der Browser jede Silence an karma, karma reicht sie an den Alertmanager weiter:POST /proxy/alertmanager/<name>/api/v2/silences. - In einem Cluster reicht es, die Silence an einen Knoten zu schicken. Der Cluster verteilt sie (Tag 6).
- Eine Bestätigung (Ack) ist eine kurze Silence, die karma mit einem Klick anlegt. Sie sagt dem Team: Jemand kümmert sich.
- Vorschau vor dem Anlegen: karma zeigt, welche Alarme die Matcher treffen. Das verhindert die Silence, die versehentlich die halbe Produktion stummschaltet.
Browser ─ POST /proxy/alertmanager/dev/api/v2/silences ─► karma ─► alertmanager-dev
(Tag 11: Rechte prüfen)
Drill 1: Silence aus einer Gruppe
Damit es in prod einen echten Ausfall gibt:
cd ~/am-lab
docker compose stop notes-apiDazu Testalarme PlatteVoll, wie in Tag 7, diesmal an
alle drei Knoten von prod. Nach dem Neustart in Tag 9 kennt Knoten 1 die
alten nicht mehr:
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+3 hours' +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=PlatteVoll team=notes severity=warning instance=b \
--annotation='summary="Platte b zu 92 % voll"' --start=$N --end=$E \
--alertmanager.url=http://localhost:9093Dasselbe mit 9094 und 9095, für
instance=a genauso. notes-api bleibt bis Tag 14 angehalten,
das ist gewollt.
Die Fehlerquote in dev ist gewollt. Niemand soll sich darum kümmern.
Öffne karma mit http://172.16.0.61:8000/?q= und klicke in
der Kachel NotesHighErrorRate auf das Menü links oben (drei
Striche):
Silence this group öffnet das Formular, schon ausgefüllt:
- Oben stehen die Alertmanager. karma hat nur
devgewählt, weil die Gruppe nur dort vorkommt. - Jedes gemeinsame Label der Gruppe wird ein Matcher. Die Zahl vor dem Wert sagt, wie viele Alarme diesen Wert haben.
- Silence matches heißt
=, ausgeschaltet!=. Regex macht aus dem Wert einen regulären Ausdruck. - Die Dauer stellst du über die Pfeile ein, Standard ist eine Stunde.
Trage als Author du ein und als
Comment
dev ist absichtlich kaputt, NOTES-42. Dann
Preview:
Genau ein Alarm. Hätte die Vorschau 30 Alarme gezeigt, wäre jetzt der Moment, die Matcher zu prüfen. Submit legt die Silence an, karma zeigt ihre ID. Kontrolle auf dem Alertmanager selbst:
amtool silence query --alertmanager.url=http://localhost:9096Erwartet:
ID Matchers Ends At Created By Comment
620f32df-cc96-4cb5-a832-950c696a6fd4 alertname="NotesHighErrorRate" env="dev" severity="warning" team="notes" 2026-11-16 21:33:00 UTC du dev ist absichtlich kaputt, NOTES-42
Die Silence liegt im Alertmanager. karma speichert keine eigenen Daten.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Bestätigen und Ticket-Links
Zwei Abschnitte in karma/karma.yaml:
cat >> karma/karma.yaml <<'EOF'
alertAcknowledgement:
enabled: true
duration: 15m
author: karma
comment: "ACK! In Arbeit seit %NOW%"
silences:
expired: 10m
comments:
linkDetect:
rules:
- regex: "(NOTES-[0-9]+)"
uriTemplate: https://tickets.example.com/browse/$1
EOF
docker compose restart karmaalertAcknowledgement: An jeder Gruppe erscheint ein Haken. Ein Klick legt eine Silence über 15 Minuten an.%NOW%wird durch die aktuelle Zeit in UTC ersetzt.linkDetect: Ticket-Nummern im Kommentar werden zu Links.expired: 10m: Abgelaufene Silences bleiben noch zehn Minuten am Alarm sichtbar. Mehr dazu in der Challenge.
Klicke an der Kachel NotesApiDown auf den Haken. Nach
dem nächsten Abruf:
amtool silence query alertname=NotesApiDown -o json \
| jq '.[0] | {createdBy, comment, endsAt}'Erwartet:
{
"createdBy": "karma",
"comment": "ACK! In Arbeit seit Mon, 16 Nov 2026 20:34:36 GMT",
"endsAt": "2026-11-16T20:49:36.851Z"
}Die Bestätigung ist eine ganz normale Silence. Ist das Problem nach
15 Minuten nicht behoben, meldet sich der Alarm wieder. Genau das ist
gewollt. Wer das nicht will, kann mit kthxbye (ebenfalls
von prymitive) Bestätigungen automatisch verlängern, solange der Alarm
feuert.
Hinweis: Der Autor ist
karma, weil niemand angemeldet ist. Ab Tag 11 trägt karma den Namen des angemeldeten Benutzers ein.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Alle Silences
Das Glocken-Symbol oben rechts öffnet das Formular, der Reiter Browse die Liste:
- Die Zahl rechts ist die Anzahl der Alarme, die die Silence gerade
trifft.
0heißt: Sie wirkt auf nichts, oft ein Zeichen für einen Tippfehler im Matcher oder einen vergessenen Rest. NOTES-42ist ein Link geworden.- Über die Kästchen links wählst du mehrere Silences aus und beendest sie gemeinsam (rotes Papierkorb-Symbol).
- Ein Klick auf eine Silence klappt sie auf: Matcher, Zeiten, Knöpfe zum Bearbeiten und Beenden.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Silences per curl
Was der Browser tut, geht auch von der Kommandozeile, über denselben Proxy. Eine Silence ist JSON:
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 day' +%Y-%m-%dT%H:%M:%SZ)
cat > silence.json <<EOF
{
"matchers": [
{"name": "alertname", "value": "PlatteVoll", "isRegex": false, "isEqual": true},
{"name": "instance", "value": "b", "isRegex": false, "isEqual": true}
],
"startsAt": "$N",
"endsAt": "$E",
"createdBy": "du",
"comment": "Platte b wird morgen getauscht, NOTES-43"
}
EOF<<EOF ohne Anführungszeichen setzt $N
und $E ein. Jeder Matcher hat vier Felder: Name, Wert,
Regex ja oder nein, gleich oder ungleich.
curl -s -X POST -H 'Content-Type: application/json' -d @silence.json \
localhost:8000/proxy/alertmanager/prod-1/api/v2/silencesErwartet:
{"silenceID":"8cad538c-cd6c-4d13-9de8-eae6da8e044f"}
Die Antwort kommt vom Alertmanager, karma hat nur weitergereicht.
Beenden geht mit DELETE und der ID:
ID=$(amtool silence query instance=b -q)
curl -s -o /dev/null -w '%{http_code}\n' -X DELETE \
localhost:8000/proxy/alertmanager/prod-1/api/v2/silence/$IDErwartet:
200
amtool silence query -q gibt nur die IDs aus. Der Name
im Pfad muss ein Upstream aus karma.yaml sein. Ein
unbekannter Name liefert 404.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
amtool silence query --alertmanager.url=http://localhost:9096 | grep NOTES-42Erwartet: die Silence aus Drill 1.
amtool silence query alertname=NotesApiDownErwartet: die Bestätigung aus Drill 2 mit Created By
karma. Sind seit dem Klick mehr als 15 Minuten vergangen,
findest du sie mit --expired.
docker compose logs --no-log-prefix karma | grep -A2 'msg=alertAcknowledgement'Erwartet: enabled: true und
duration: 15m0s.
Challenge
Beende die Silence NOTES-42 in dev per curl
über den Proxy. Was zeigt karma danach an der Kachel
NotesHighErrorRate?
Hinweis: amtool silence query -q mit
der Adresse des dev-Alertmanagers liefert die ID.
Lösung
ID=$(amtool silence query -q --alertmanager.url=http://localhost:9096)
curl -s -o /dev/null -w '%{http_code}\n' -X DELETE \
localhost:8000/proxy/alertmanager/dev/api/v2/silence/$IDErwartet:
200
Nach dem nächsten Abruf:
Der Alarm ist wieder aktiv (rote Zahl), die Silence steht noch daran,
rot und mit „Expired a few seconds ago“. Das ist
silences.expired: 10m. Wer nach der Pause kommt, sieht
sofort, dass hier gerade jemand die Silence beendet hat, und mit welchem
Kommentar. karma zeigt das nur bei Alarmen, die schon länger als diese
zehn Minuten feuern.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Kommentar mit Ticket-Nummer zur Pflicht machen. Eine ACL kann das nicht prüfen, sie sieht nur Matcher. Das bleibt Sache von Absprache, Review und Automatisierung.
- Bestätigungen kurz halten (15–30 Minuten) und lieber verlängern. Eine Bestätigung über einen Tag ist eine versteckte Silence.
- Die Trefferzahl
0in der Silence-Liste regelmäßig ansehen. Silences, die nichts treffen, sind Müll oder Fehler. - Automatisierung (Deployments, Wartungsfenster) legt Silences besser direkt am Alertmanager an als über karma. Über karma lohnt es sich nur, wenn die ACLs aus Tag 11 auch für Maschinen gelten sollen.