Tag 5: Ruhe schaffen
Ziel: Ein Datenbankausfall weckt nur einmal, eine Wartung meldet nichts, und das Team plattform hat nach Feierabend Ruhe. Drei Werkzeuge: Inhibition, Silences und Zeitfenster. · Dauer: ca. 60 min · Voraussetzung: Tag 4
Briefing
- Inhibition (Unterdrückung): Feuert Alarm A, werden passende Alarme B nicht gemeldet. Steht fest in der Konfiguration. Beispiel: Ist die Datenbank weg, ist die Fehlerquote nur eine Folge.
- Silence (Stummschaltung): Ein Mensch schaltet
Alarme mit bestimmten Labels für eine Zeit stumm. Entsteht zur Laufzeit
per
amtool, Weboberfläche oder karma. - Zeitfenster (
time_intervals): Eine Route meldet nur zu bestimmten Zeiten oder zu bestimmten Zeiten nicht. - In allen drei Fällen rechnet Prometheus weiter, und der Alertmanager kennt den Alarm. Nur die Benachrichtigung fällt weg.
┌─ inhibiert? (inhibit_rules) ─► unterdrückt
Alarm ─► Alertmanager ┼─ Silence? (amtool, UI, karma) ─► unterdrückt
└─ Route stumm? (mute_time_intervals) ─► kein Versand an diesen Receiver
Drill 1: Ein Ausfall, viele Alarme
Halte die Datenbank an:
cd ~/am-lab
docker compose stop postgresNach etwa drei Minuten feuern zwei Alarme: NotesDbDown
(die Ursache) und NotesHighErrorRate (die Folge, jede
Anfrage scheitert). Die Bereitschaft bekommt den ersten, das Team den
zweiten. Für einen Ausfall sind das zwei Nachrichten an zwei Stellen.
Starte Postgres wieder und warte, bis beide Alarme aufgelöst sind:
docker compose start postgresFortschritt speichern? Kostenlos registrieren
Drill 2: Inhibition
Eine Regel: Feuert NotesDbDown, sind alle anderen Alarme
des Teams notes in derselben Umgebung unterdrückt. Sie gehört in
alertmanager/alertmanager.yml vor
receivers::
inhibit_rules:
- source_matchers: [alertname="NotesDbDown"]
target_matchers: [team="notes", alertname!="NotesDbDown"]
equal: [env]source_matchers: der Alarm, der unterdrückt.target_matchers: die Alarme, die unterdrückt werden.alertname!="NotesDbDown"verhindert, dass sich die Quelle selbst trifft.equal: [env]: Nur wenn beide denselben Wert fürenvhaben. Ein Ausfall indevdarfprodnicht stummschalten.
amtool check-config alertmanager/alertmanager.yml | grep inhibit
curl -s -X POST localhost:9093/-/reload
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop postgresErwartet:
- 1 inhibit rules
Nach drei Minuten:
amtool alertErwartet:
Alertname Starts At Summary State
Watchdog 2026-11-16 19:29:18 UTC Feuert immer. Fehlt er, ist die Alarmkette kaputt. active
NotesDbDown 2026-11-16 19:53:13 UTC notes-api erreicht Postgres nicht active
amtool alert zeigt standardmäßig nur aktive Alarme. Die
unterdrückten:
amtool alert query --inhibitedErwartet:
Alertname Starts At Summary State
NotesHighErrorRate 2026-11-16 19:54:28 UTC 100% der Anfragen an /notes scheitern suppressed
Wer unterdrückt? Die API nennt den Fingerprint des Quell-Alarms:
curl -s localhost:9093/api/v2/alerts | jq -c '.[] | {a: .labels.alertname, s: .status}'Erwartet:
{"a":"Watchdog","s":{"inhibitedBy":[],"mutedBy":[],"silencedBy":[],"state":"active"}}
{"a":"NotesHighErrorRate","s":{"inhibitedBy":["d20443d87f587bc9"],"mutedBy":[],"silencedBy":[],"state":"suppressed"}}
{"a":"NotesDbDown","s":{"inhibitedBy":[],"mutedBy":[],"silencedBy":[],"state":"active"}}
d20443d87f587bc9 ist der Fingerprint von
NotesDbDown. Und beim Empfänger:
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet:
19:53:23 /notes-bereitschaft notes-bereitschaft firing [alertname=NotesDbDown env=prod] …
19:53:43 /archiv archiv firing [alertname=NotesDbDown env=prod] …
Nur die Ursache. Auch das Archiv bekommt die Folge nicht: Inhibition gilt für alle Receiver, nicht pro Route. Starte Postgres wieder:
docker compose start postgresNach etwa zwei Minuten:
docker compose logs --no-log-prefix --since $T alarm-log | grep team-notesErwartet:
19:56:58 /team-notes team-notes firing [alertname=NotesHighErrorRate env=prod] …
Ausprobiert: Kaum ist die Datenbank zurück, bekommt das Team doch eine Meldung zur Fehlerquote.
NotesDbDownlöst sich nach einem Scrape auf, die Fehlerquote rechnet aber über zwei Minuten und feuert noch eine Weile weiter. Ohne Quelle keine Unterdrückung. Inhibition hilft beim Ausfall, nicht beim Abklingen. Wer das nicht will, gibt der Folge-Regel ein längeresforals der Quelle braucht, um sich aufzulösen, oder nimmtkeep_firing_foran der Quell-Regel.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Silences
Eine Wartung am node-exporter steht an. Du schaltest seinen Alarm für 30 Minuten stumm, bevor du ihn anhältst:
ID=$(amtool silence add alertname=NodeExporterDown env=prod \
--duration=30m --author=du --comment="Wartung der VM")
echo $ID
amtool silence queryErwartet:
989d9295-e32a-43d6-981d-018e412775e6
ID Matchers Ends At Created By Comment
989d9295-e32a-43d6-981d-018e412775e6 alertname="NodeExporterDown" env="prod" 2026-11-16 20:25:29 UTC du Wartung der VM
- Die Matcher funktionieren wie bei Routen: Alle müssen passen.
- Setze
--authorund--commentimmer. Wer später fragt, wer das war und warum, findet dort die Antwort. Ohne--authorträgtamtooldeinen Benutzernamen ein. amtool silence addgibt nur die ID aus. Die brauchst du zum Beenden.
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop node-exporterNach knapp zwei Minuten:
amtool alert query --silencedErwartet:
Alertname Starts At Summary State
NodeExporterDown 2026-11-16 19:56:48 UTC Keine Metriken von node-exporter:9100 suppressed
Das Team plattform bekommt nichts. Die Wartung ist früher fertig, als du dachtest, aber der node-exporter läuft noch nicht. Du beendest die Silence, um zu sehen, ob der Alarm zurückkommt:
amtool silence expire $IDNach einer Minute:
docker compose logs --no-log-prefix --since $T alarm-log | grep plattformErwartet:
19:57:18 /team-plattform team-plattform firing [alertname=NodeExporterDown env=prod] …
Eine beendete Silence gibt Alarme sofort frei. Starte den node-exporter wieder:
docker compose start node-exporterFortschritt speichern? Kostenlos registrieren
Drill 4: Zeitfenster
Das Team plattform will werktags ab 18 Uhr keine Warnungen mehr. Ein
benanntes Zeitfenster gehört in
alertmanager/alertmanager.yml vor
inhibit_rules::
time_intervals:
- name: feierabend
time_intervals:
- weekdays: ["monday:friday"]
times:
- start_time: "18:00"
end_time: "24:00"
location: Europe/BerlinDie Route des Teams verweist darauf:
- matchers: [team="plattform"]
receiver: team-plattform
mute_time_intervals: [feierabend]locationist wichtig. Ohne sie rechnet der Alertmanager in UTC, und der Feierabend beginnt im Winter eine Stunde zu spät.- Das Gegenstück heißt
active_time_intervals: Die Route meldet nur in diesem Fenster, etwa für eine Bereitschaft nur zu Geschäftszeiten.
amtool check-config alertmanager/alertmanager.yml | head -1
curl -s -X POST localhost:9093/-/reload
TZ=Europe/Berlin dateErwartet:
Checking 'alertmanager/alertmanager.yml' SUCCESS
Mon Nov 16 20:58:20 CET 2026
Im Test war es 20:58 Uhr an einem Montag, also mitten im Fenster. Liest du das tagsüber, stelle die Uhrzeiten für den Test so ein, dass die aktuelle Zeit drinliegt.
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop node-exporterNach knapp zwei Minuten:
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet:
20:00:03 /archiv archiv firing [alertname=NodeExporterDown env=prod] NodeExporterDown (1 firing, 0 resolved)
Das Archiv bekommt den Alarm, das Team nicht. Der Alarm selbst ist weiterhin aktiv:
amtool alert query alertname=NodeExporterDownErwartet:
Alertname Starts At Summary State
NodeExporterDown 2026-11-16 19:59:33 UTC Keine Metriken von node-exporter:9100 active
Ein Zeitfenster wirkt nur auf die eine Route. In der Liste aller
Alarme ändert sich nichts, er ist weder suppressed noch
silenced. Nur die Gruppe beim Receiver
team-plattform gilt als stummgeschaltet. karma liest
Gruppen und zeigt sie dort ab Tag 7 als unterdrückt. Zählen kannst du
das Muting trotzdem:
curl -s localhost:9093/metrics | grep notifications_suppressedErwartet:
alertmanager_notifications_suppressed_total{reason="inhibition"} 2
alertmanager_notifications_suppressed_total{reason="mute_time_interval"} 2
docker compose start node-exporterAusprobiert: Beginnt ein Zeitfenster, während ein Alarm feuert, bekommt das Team auch die resolved-Nachricht nicht mehr. Im Chat bleibt der Alarm dann als offen stehen, bis jemand nachsieht.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
amtool check-config alertmanager/alertmanager.yml | grep -E 'inhibit|SUCCESS' | head -2Erwartet: SUCCESS und
- 1 inhibit rules.
amtool silence queryErwartet: keine aktive Silence mehr (nur die Kopfzeile), die von Drill 3 ist beendet.
amtool config routes | grep plattformErwartet: die Route {team="plattform"} mit
receiver: team-plattform.
Challenge
Silences liegen im Volume amdata. Geht es verloren, sind
alle Stummschaltungen weg. Lege zwei Silences an, sichere sie in eine
Datei, lösche den Alertmanager samt Volume und spiele die Silences
wieder ein.
Hinweis: amtool silence query -o json
gibt alle aktiven Silences als JSON aus. Das Gegenstück ist
amtool silence import.
Lösung
amtool silence add instance=a alertname=PlatteVoll --duration=2h --author=du \
--comment="Platte a wird getauscht"
amtool silence add team=marketing --duration=24h --author=du \
--comment="Marketing hat eigenes Monitoring"
amtool silence query -o json > silences.json
jq length silences.jsonErwartet:
0a534de1-e964-471c-9fb0-b0a1c307d809
ccdb1855-4001-4fd1-ac49-a3345cc0f25a
2
docker compose rm -sf alertmanager
docker volume rm am-lab_amdata
docker compose up -d alertmanager
amtool silence queryErwartet: nur die Kopfzeile, alle Silences sind weg.
amtool silence import silences.json
amtool silence queryErwartet:
e6dd45ea-9a8b-4752-9da4-e062a5f0fc26
0871446c-8efb-4752-aca0-0feb183d4045
ID Matchers Ends At Created By Comment
0871446c-8efb-4752-aca0-0feb183d4045 instance="a" alertname="PlatteVoll" 2026-11-16 22:00:33 UTC du Platte a wird getauscht
e6dd45ea-9a8b-4752-9da4-e062a5f0fc26 team="marketing" 2026-11-17 20:00:33 UTC du Marketing hat eigenes Monitoring
Die Silences sind zurück, mit neuen IDs und den alten Endzeiten.
Beendete Silences exportiert query nicht. Die beiden
bleiben für Tag 7 stehen, dort siehst du sie in karma wieder. Machst du
vorher länger Pause, sind sie abgelaufen. Tag 7 zeigt, wie du sie neu
anlegst.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Inhibition sparsam einsetzen und nur entlang echter Abhängigkeiten: Datenbank vor API, Cluster vor Pod, Rechenzentrum vor Host.
- Jede Silence braucht einen Kommentar mit Ticket-Nummer und eine Dauer, so kurz wie möglich. Eine Silence über vier Wochen ist ein abgeschalteter Alarm.
- Im HA-Cluster (Tag 6) teilen sich alle Alertmanager die Silences.
Ein Backup per
amtool silence query -o jsongehört trotzdem in den Betrieb. - Zeitfenster ersetzen keine Bereitschaftsplanung. Was nachts wichtig ist, gehört an eine Route ohne Muting.