Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: Silences in karma

Ziel: Du legst Silences direkt aus einer Alarmgruppe an, prüfst vorher, was sie trifft, bestätigst Alarme mit einem Klick und verwaltest alle Silences an einer Stelle. Dahinter steht der Proxy von karma, den du auch per curl nutzt. · Dauer: ca. 45 min · Voraussetzung: Tag 9

Briefing

  • Silences sind die einzige Stelle, an der karma etwas verändert. Mit proxy: true schickt der Browser jede Silence an karma, karma reicht sie an den Alertmanager weiter: POST /proxy/alertmanager/<name>/api/v2/silences.
  • In einem Cluster reicht es, die Silence an einen Knoten zu schicken. Der Cluster verteilt sie (Tag 6).
  • Eine Bestätigung (Ack) ist eine kurze Silence, die karma mit einem Klick anlegt. Sie sagt dem Team: Jemand kümmert sich.
  • Vorschau vor dem Anlegen: karma zeigt, welche Alarme die Matcher treffen. Das verhindert die Silence, die versehentlich die halbe Produktion stummschaltet.
 Browser ─ POST /proxy/alertmanager/dev/api/v2/silences ─► karma ─► alertmanager-dev
                                                            (Tag 11: Rechte prüfen)

Drill 1: Silence aus einer Gruppe

Damit es in prod einen echten Ausfall gibt:

cd ~/am-lab
docker compose stop notes-api

Dazu Testalarme PlatteVoll, wie in Tag 7, diesmal an alle drei Knoten von prod. Nach dem Neustart in Tag 9 kennt Knoten 1 die alten nicht mehr:

N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+3 hours' +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=PlatteVoll team=notes severity=warning instance=b \
  --annotation='summary="Platte b zu 92 % voll"' --start=$N --end=$E \
  --alertmanager.url=http://localhost:9093

Dasselbe mit 9094 und 9095, für instance=a genauso. notes-api bleibt bis Tag 14 angehalten, das ist gewollt.

Die Fehlerquote in dev ist gewollt. Niemand soll sich darum kümmern. Öffne karma mit http://172.16.0.61:8000/?q= und klicke in der Kachel NotesHighErrorRate auf das Menü links oben (drei Striche):

Das Menü einer Alarmgruppe

Silence this group öffnet das Formular, schon ausgefüllt:

Das Formular, mit den Labels der Gruppe vorbelegt
  • Oben stehen die Alertmanager. karma hat nur dev gewählt, weil die Gruppe nur dort vorkommt.
  • Jedes gemeinsame Label der Gruppe wird ein Matcher. Die Zahl vor dem Wert sagt, wie viele Alarme diesen Wert haben.
  • Silence matches heißt =, ausgeschaltet !=. Regex macht aus dem Wert einen regulären Ausdruck.
  • Die Dauer stellst du über die Pfeile ein, Standard ist eine Stunde.

Trage als Author du ein und als Comment dev ist absichtlich kaputt, NOTES-42. Dann Preview:

Die Vorschau: genau ein Alarm ist betroffen

Genau ein Alarm. Hätte die Vorschau 30 Alarme gezeigt, wäre jetzt der Moment, die Matcher zu prüfen. Submit legt die Silence an, karma zeigt ihre ID. Kontrolle auf dem Alertmanager selbst:

amtool silence query --alertmanager.url=http://localhost:9096

Erwartet:

ID                                    Matchers                                                                  Ends At                  Created By  Comment
620f32df-cc96-4cb5-a832-950c696a6fd4  alertname="NotesHighErrorRate" env="dev" severity="warning" team="notes"  2026-11-16 21:33:00 UTC  du          dev ist absichtlich kaputt, NOTES-42

Die Silence liegt im Alertmanager. karma speichert keine eigenen Daten.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Bestätigen und Ticket-Links

Zwei Abschnitte in karma/karma.yaml:

cat >> karma/karma.yaml <<'EOF'

alertAcknowledgement:
  enabled: true
  duration: 15m
  author: karma
  comment: "ACK! In Arbeit seit %NOW%"

silences:
  expired: 10m
  comments:
    linkDetect:
      rules:
        - regex: "(NOTES-[0-9]+)"
          uriTemplate: https://tickets.example.com/browse/$1
EOF
docker compose restart karma
  • alertAcknowledgement: An jeder Gruppe erscheint ein Haken. Ein Klick legt eine Silence über 15 Minuten an. %NOW% wird durch die aktuelle Zeit in UTC ersetzt.
  • linkDetect: Ticket-Nummern im Kommentar werden zu Links.
  • expired: 10m: Abgelaufene Silences bleiben noch zehn Minuten am Alarm sichtbar. Mehr dazu in der Challenge.

Klicke an der Kachel NotesApiDown auf den Haken. Nach dem nächsten Abruf:

Bestätigt: eine Silence von karma über 15 Minuten
amtool silence query alertname=NotesApiDown -o json \
  | jq '.[0] | {createdBy, comment, endsAt}'

Erwartet:

{
  "createdBy": "karma",
  "comment": "ACK! In Arbeit seit Mon, 16 Nov 2026 20:34:36 GMT",
  "endsAt": "2026-11-16T20:49:36.851Z"
}

Die Bestätigung ist eine ganz normale Silence. Ist das Problem nach 15 Minuten nicht behoben, meldet sich der Alarm wieder. Genau das ist gewollt. Wer das nicht will, kann mit kthxbye (ebenfalls von prymitive) Bestätigungen automatisch verlängern, solange der Alarm feuert.

Hinweis: Der Autor ist karma, weil niemand angemeldet ist. Ab Tag 11 trägt karma den Namen des angemeldeten Benutzers ein.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Alle Silences

Das Glocken-Symbol oben rechts öffnet das Formular, der Reiter Browse die Liste:

Alle Silences aller Cluster, mit Ticket-Link und Trefferzahl
  • Die Zahl rechts ist die Anzahl der Alarme, die die Silence gerade trifft. 0 heißt: Sie wirkt auf nichts, oft ein Zeichen für einen Tippfehler im Matcher oder einen vergessenen Rest.
  • NOTES-42 ist ein Link geworden.
  • Über die Kästchen links wählst du mehrere Silences aus und beendest sie gemeinsam (rotes Papierkorb-Symbol).
  • Ein Klick auf eine Silence klappt sie auf: Matcher, Zeiten, Knöpfe zum Bearbeiten und Beenden.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Silences per curl

Was der Browser tut, geht auch von der Kommandozeile, über denselben Proxy. Eine Silence ist JSON:

N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 day' +%Y-%m-%dT%H:%M:%SZ)
cat > silence.json <<EOF
{
  "matchers": [
    {"name": "alertname", "value": "PlatteVoll", "isRegex": false, "isEqual": true},
    {"name": "instance", "value": "b", "isRegex": false, "isEqual": true}
  ],
  "startsAt": "$N",
  "endsAt": "$E",
  "createdBy": "du",
  "comment": "Platte b wird morgen getauscht, NOTES-43"
}
EOF

<<EOF ohne Anführungszeichen setzt $N und $E ein. Jeder Matcher hat vier Felder: Name, Wert, Regex ja oder nein, gleich oder ungleich.

curl -s -X POST -H 'Content-Type: application/json' -d @silence.json \
  localhost:8000/proxy/alertmanager/prod-1/api/v2/silences

Erwartet:

{"silenceID":"8cad538c-cd6c-4d13-9de8-eae6da8e044f"}

Die Antwort kommt vom Alertmanager, karma hat nur weitergereicht. Beenden geht mit DELETE und der ID:

ID=$(amtool silence query instance=b -q)
curl -s -o /dev/null -w '%{http_code}\n' -X DELETE \
  localhost:8000/proxy/alertmanager/prod-1/api/v2/silence/$ID

Erwartet:

200

amtool silence query -q gibt nur die IDs aus. Der Name im Pfad muss ein Upstream aus karma.yaml sein. Ein unbekannter Name liefert 404.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

amtool silence query --alertmanager.url=http://localhost:9096 | grep NOTES-42

Erwartet: die Silence aus Drill 1.

amtool silence query alertname=NotesApiDown

Erwartet: die Bestätigung aus Drill 2 mit Created By karma. Sind seit dem Klick mehr als 15 Minuten vergangen, findest du sie mit --expired.

docker compose logs --no-log-prefix karma | grep -A2 'msg=alertAcknowledgement'

Erwartet: enabled: true und duration: 15m0s.

Challenge

Beende die Silence NOTES-42 in dev per curl über den Proxy. Was zeigt karma danach an der Kachel NotesHighErrorRate?

Hinweis: amtool silence query -q mit der Adresse des dev-Alertmanagers liefert die ID.

Lösung

ID=$(amtool silence query -q --alertmanager.url=http://localhost:9096)
curl -s -o /dev/null -w '%{http_code}\n' -X DELETE \
  localhost:8000/proxy/alertmanager/dev/api/v2/silence/$ID

Erwartet:

200

Nach dem nächsten Abruf:

Die beendete Silence bleibt zehn Minuten sichtbar, rot markiert

Der Alarm ist wieder aktiv (rote Zahl), die Silence steht noch daran, rot und mit „Expired a few seconds ago“. Das ist silences.expired: 10m. Wer nach der Pause kommt, sieht sofort, dass hier gerade jemand die Silence beendet hat, und mit welchem Kommentar. karma zeigt das nur bei Alarmen, die schon länger als diese zehn Minuten feuern.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Kommentar mit Ticket-Nummer zur Pflicht machen. Eine ACL kann das nicht prüfen, sie sieht nur Matcher. Das bleibt Sache von Absprache, Review und Automatisierung.
  • Bestätigungen kurz halten (15–30 Minuten) und lieber verlängern. Eine Bestätigung über einen Tag ist eine versteckte Silence.
  • Die Trefferzahl 0 in der Silence-Liste regelmäßig ansehen. Silences, die nichts treffen, sind Müll oder Fehler.
  • Automatisierung (Deployments, Wartungsfenster) legt Silences besser direkt am Alertmanager an als über karma. Über karma lohnt es sich nur, wenn die ACLs aus Tag 11 auch für Maschinen gelten sollen.