Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 5: Ruhe schaffen

Ziel: Ein Datenbankausfall weckt nur einmal, eine Wartung meldet nichts, und das Team plattform hat nach Feierabend Ruhe. Drei Werkzeuge: Inhibition, Silences und Zeitfenster. · Dauer: ca. 60 min · Voraussetzung: Tag 4

Briefing

  • Inhibition (Unterdrückung): Feuert Alarm A, werden passende Alarme B nicht gemeldet. Steht fest in der Konfiguration. Beispiel: Ist die Datenbank weg, ist die Fehlerquote nur eine Folge.
  • Silence (Stummschaltung): Ein Mensch schaltet Alarme mit bestimmten Labels für eine Zeit stumm. Entsteht zur Laufzeit per amtool, Weboberfläche oder karma.
  • Zeitfenster (time_intervals): Eine Route meldet nur zu bestimmten Zeiten oder zu bestimmten Zeiten nicht.
  • In allen drei Fällen rechnet Prometheus weiter, und der Alertmanager kennt den Alarm. Nur die Benachrichtigung fällt weg.
                     ┌─ inhibiert?   (inhibit_rules)      ─► unterdrückt
 Alarm ─► Alertmanager ┼─ Silence?     (amtool, UI, karma)  ─► unterdrückt
                     └─ Route stumm? (mute_time_intervals) ─► kein Versand an diesen Receiver

Drill 1: Ein Ausfall, viele Alarme

Halte die Datenbank an:

cd ~/am-lab
docker compose stop postgres

Nach etwa drei Minuten feuern zwei Alarme: NotesDbDown (die Ursache) und NotesHighErrorRate (die Folge, jede Anfrage scheitert). Die Bereitschaft bekommt den ersten, das Team den zweiten. Für einen Ausfall sind das zwei Nachrichten an zwei Stellen. Starte Postgres wieder und warte, bis beide Alarme aufgelöst sind:

docker compose start postgres

Fortschritt speichern? Kostenlos registrieren

Drill 2: Inhibition

Eine Regel: Feuert NotesDbDown, sind alle anderen Alarme des Teams notes in derselben Umgebung unterdrückt. Sie gehört in alertmanager/alertmanager.yml vor receivers::

inhibit_rules:
  - source_matchers: [alertname="NotesDbDown"]
    target_matchers: [team="notes", alertname!="NotesDbDown"]
    equal: [env]
  • source_matchers: der Alarm, der unterdrückt.
  • target_matchers: die Alarme, die unterdrückt werden. alertname!="NotesDbDown" verhindert, dass sich die Quelle selbst trifft.
  • equal: [env]: Nur wenn beide denselben Wert für env haben. Ein Ausfall in dev darf prod nicht stummschalten.
amtool check-config alertmanager/alertmanager.yml | grep inhibit
curl -s -X POST localhost:9093/-/reload
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop postgres

Erwartet:

 - 1 inhibit rules

Nach drei Minuten:

amtool alert

Erwartet:

Alertname    Starts At                Summary                                             State
Watchdog     2026-11-16 19:29:18 UTC  Feuert immer. Fehlt er, ist die Alarmkette kaputt.  active
NotesDbDown  2026-11-16 19:53:13 UTC  notes-api erreicht Postgres nicht                   active

amtool alert zeigt standardmäßig nur aktive Alarme. Die unterdrückten:

amtool alert query --inhibited

Erwartet:

Alertname           Starts At                Summary                                State
NotesHighErrorRate  2026-11-16 19:54:28 UTC  100% der Anfragen an /notes scheitern  suppressed

Wer unterdrückt? Die API nennt den Fingerprint des Quell-Alarms:

curl -s localhost:9093/api/v2/alerts | jq -c '.[] | {a: .labels.alertname, s: .status}'

Erwartet:

{"a":"Watchdog","s":{"inhibitedBy":[],"mutedBy":[],"silencedBy":[],"state":"active"}}
{"a":"NotesHighErrorRate","s":{"inhibitedBy":["d20443d87f587bc9"],"mutedBy":[],"silencedBy":[],"state":"suppressed"}}
{"a":"NotesDbDown","s":{"inhibitedBy":[],"mutedBy":[],"silencedBy":[],"state":"active"}}

d20443d87f587bc9 ist der Fingerprint von NotesDbDown. Und beim Empfänger:

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet:

19:53:23 /notes-bereitschaft notes-bereitschaft firing [alertname=NotesDbDown env=prod] …
19:53:43 /archiv archiv firing [alertname=NotesDbDown env=prod] …

Nur die Ursache. Auch das Archiv bekommt die Folge nicht: Inhibition gilt für alle Receiver, nicht pro Route. Starte Postgres wieder:

docker compose start postgres

Nach etwa zwei Minuten:

docker compose logs --no-log-prefix --since $T alarm-log | grep team-notes

Erwartet:

19:56:58 /team-notes team-notes firing [alertname=NotesHighErrorRate env=prod] …

Ausprobiert: Kaum ist die Datenbank zurück, bekommt das Team doch eine Meldung zur Fehlerquote. NotesDbDown löst sich nach einem Scrape auf, die Fehlerquote rechnet aber über zwei Minuten und feuert noch eine Weile weiter. Ohne Quelle keine Unterdrückung. Inhibition hilft beim Ausfall, nicht beim Abklingen. Wer das nicht will, gibt der Folge-Regel ein längeres for als der Quelle braucht, um sich aufzulösen, oder nimmt keep_firing_for an der Quell-Regel.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Silences

Eine Wartung am node-exporter steht an. Du schaltest seinen Alarm für 30 Minuten stumm, bevor du ihn anhältst:

ID=$(amtool silence add alertname=NodeExporterDown env=prod \
  --duration=30m --author=du --comment="Wartung der VM")
echo $ID
amtool silence query

Erwartet:

989d9295-e32a-43d6-981d-018e412775e6
ID                                    Matchers                                 Ends At                  Created By  Comment
989d9295-e32a-43d6-981d-018e412775e6  alertname="NodeExporterDown" env="prod"  2026-11-16 20:25:29 UTC  du          Wartung der VM
  • Die Matcher funktionieren wie bei Routen: Alle müssen passen.
  • Setze --author und --comment immer. Wer später fragt, wer das war und warum, findet dort die Antwort. Ohne --author trägt amtool deinen Benutzernamen ein.
  • amtool silence add gibt nur die ID aus. Die brauchst du zum Beenden.
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop node-exporter

Nach knapp zwei Minuten:

amtool alert query --silenced

Erwartet:

Alertname         Starts At                Summary                                State
NodeExporterDown  2026-11-16 19:56:48 UTC  Keine Metriken von node-exporter:9100  suppressed

Das Team plattform bekommt nichts. Die Wartung ist früher fertig, als du dachtest, aber der node-exporter läuft noch nicht. Du beendest die Silence, um zu sehen, ob der Alarm zurückkommt:

amtool silence expire $ID

Nach einer Minute:

docker compose logs --no-log-prefix --since $T alarm-log | grep plattform

Erwartet:

19:57:18 /team-plattform team-plattform firing [alertname=NodeExporterDown env=prod] …

Eine beendete Silence gibt Alarme sofort frei. Starte den node-exporter wieder:

docker compose start node-exporter

Fortschritt speichern? Kostenlos registrieren

Drill 4: Zeitfenster

Das Team plattform will werktags ab 18 Uhr keine Warnungen mehr. Ein benanntes Zeitfenster gehört in alertmanager/alertmanager.yml vor inhibit_rules::

time_intervals:
  - name: feierabend
    time_intervals:
      - weekdays: ["monday:friday"]
        times:
          - start_time: "18:00"
            end_time: "24:00"
        location: Europe/Berlin

Die Route des Teams verweist darauf:

    - matchers: [team="plattform"]
      receiver: team-plattform
      mute_time_intervals: [feierabend]
  • location ist wichtig. Ohne sie rechnet der Alertmanager in UTC, und der Feierabend beginnt im Winter eine Stunde zu spät.
  • Das Gegenstück heißt active_time_intervals: Die Route meldet nur in diesem Fenster, etwa für eine Bereitschaft nur zu Geschäftszeiten.
amtool check-config alertmanager/alertmanager.yml | head -1
curl -s -X POST localhost:9093/-/reload
TZ=Europe/Berlin date

Erwartet:

Checking 'alertmanager/alertmanager.yml'  SUCCESS
Mon Nov 16 20:58:20 CET 2026

Im Test war es 20:58 Uhr an einem Montag, also mitten im Fenster. Liest du das tagsüber, stelle die Uhrzeiten für den Test so ein, dass die aktuelle Zeit drinliegt.

T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
docker compose stop node-exporter

Nach knapp zwei Minuten:

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet:

20:00:03 /archiv archiv firing [alertname=NodeExporterDown env=prod] NodeExporterDown (1 firing, 0 resolved)

Das Archiv bekommt den Alarm, das Team nicht. Der Alarm selbst ist weiterhin aktiv:

amtool alert query alertname=NodeExporterDown

Erwartet:

Alertname         Starts At                Summary                                State
NodeExporterDown  2026-11-16 19:59:33 UTC  Keine Metriken von node-exporter:9100  active

Ein Zeitfenster wirkt nur auf die eine Route. In der Liste aller Alarme ändert sich nichts, er ist weder suppressed noch silenced. Nur die Gruppe beim Receiver team-plattform gilt als stummgeschaltet. karma liest Gruppen und zeigt sie dort ab Tag 7 als unterdrückt. Zählen kannst du das Muting trotzdem:

curl -s localhost:9093/metrics | grep notifications_suppressed

Erwartet:

alertmanager_notifications_suppressed_total{reason="inhibition"} 2
alertmanager_notifications_suppressed_total{reason="mute_time_interval"} 2
docker compose start node-exporter

Ausprobiert: Beginnt ein Zeitfenster, während ein Alarm feuert, bekommt das Team auch die resolved-Nachricht nicht mehr. Im Chat bleibt der Alarm dann als offen stehen, bis jemand nachsieht.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

amtool check-config alertmanager/alertmanager.yml | grep -E 'inhibit|SUCCESS' | head -2

Erwartet: SUCCESS und - 1 inhibit rules.

amtool silence query

Erwartet: keine aktive Silence mehr (nur die Kopfzeile), die von Drill 3 ist beendet.

amtool config routes | grep plattform

Erwartet: die Route {team="plattform"} mit receiver: team-plattform.

Challenge

Silences liegen im Volume amdata. Geht es verloren, sind alle Stummschaltungen weg. Lege zwei Silences an, sichere sie in eine Datei, lösche den Alertmanager samt Volume und spiele die Silences wieder ein.

Hinweis: amtool silence query -o json gibt alle aktiven Silences als JSON aus. Das Gegenstück ist amtool silence import.

Lösung

amtool silence add instance=a alertname=PlatteVoll --duration=2h --author=du \
  --comment="Platte a wird getauscht"
amtool silence add team=marketing --duration=24h --author=du \
  --comment="Marketing hat eigenes Monitoring"
amtool silence query -o json > silences.json
jq length silences.json

Erwartet:

0a534de1-e964-471c-9fb0-b0a1c307d809
ccdb1855-4001-4fd1-ac49-a3345cc0f25a
2
docker compose rm -sf alertmanager
docker volume rm am-lab_amdata
docker compose up -d alertmanager
amtool silence query

Erwartet: nur die Kopfzeile, alle Silences sind weg.

amtool silence import silences.json
amtool silence query

Erwartet:

e6dd45ea-9a8b-4752-9da4-e062a5f0fc26
0871446c-8efb-4752-aca0-0feb183d4045
ID                                    Matchers                             Ends At                  Created By  Comment
0871446c-8efb-4752-aca0-0feb183d4045  instance="a" alertname="PlatteVoll"  2026-11-16 22:00:33 UTC  du          Platte a wird getauscht
e6dd45ea-9a8b-4752-9da4-e062a5f0fc26  team="marketing"                     2026-11-17 20:00:33 UTC  du          Marketing hat eigenes Monitoring

Die Silences sind zurück, mit neuen IDs und den alten Endzeiten. Beendete Silences exportiert query nicht. Die beiden bleiben für Tag 7 stehen, dort siehst du sie in karma wieder. Machst du vorher länger Pause, sind sie abgelaufen. Tag 7 zeigt, wie du sie neu anlegst.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Inhibition sparsam einsetzen und nur entlang echter Abhängigkeiten: Datenbank vor API, Cluster vor Pod, Rechenzentrum vor Host.
  • Jede Silence braucht einen Kommentar mit Ticket-Nummer und eine Dauer, so kurz wie möglich. Eine Silence über vier Wochen ist ein abgeschalteter Alarm.
  • Im HA-Cluster (Tag 6) teilen sich alle Alertmanager die Silences. Ein Backup per amtool silence query -o json gehört trotzdem in den Betrieb.
  • Zeitfenster ersetzen keine Bereitschaftsplanung. Was nachts wichtig ist, gehört an eine Route ohne Muting.