Tag 6: Hochverfügbarkeit
Ziel: Drei Alertmanager bilden einen Cluster. Fällt einer aus, kommen Benachrichtigungen trotzdem an, und zwar genau einmal. Silences gelten auf allen Knoten. · Dauer: ca. 50 min · Voraussetzung: Tag 5
Briefing
- Ein einzelner Alertmanager ist ein Single Point of Failure. Fällt er aus, merkt es niemand, weil genau er die Nachricht verschicken müsste.
- Im HA-Betrieb laufen mehrere Alertmanager mit derselben Konfiguration. Prometheus schickt jeden Alarm an alle, nicht an einen Load Balancer.
- Die Alertmanager sprechen per Gossip miteinander (Port 9094, Bibliothek memberlist). Sie teilen zwei Dinge: Silences und das Benachrichtigungs-Log (nflog), also wer welche Gruppe wann gemeldet hat.
- Auf der VM ist 9094 die Weboberfläche von Knoten 2. Der Gossip-Port 9094 liegt nur im Container und ist nicht veröffentlicht.
- Jeder Knoten hat eine Position. Position 0 schickt sofort, Position 1 wartet 15 Sekunden und schaut ins nflog, Position 2 wartet 30 Sekunden. Ist schon gemeldet, schweigen die anderen.
┌─► alertmanager :9093 Position 0 ─┐
Prometheus ── alle ──┼─► alertmanager-2 :9094 Position 1 ─┼─ Gossip :9094 (intern)
└─► alertmanager-3 :9095 Position 2 ─┘ Silences + nflog
Drill 1: Drei Alertmanager ohne Cluster
Zuerst der Fehler, damit du ihn erkennst. Drei Alertmanager, jeder für sich:
cd ~/am-lab
cat > alerting.yaml <<'EOF'
services:
alertmanager:
image: prom/alertmanager:v0.35.0
command:
- --config.file=/etc/alertmanager/alertmanager.yml
- --storage.path=/alertmanager
- --web.external-url=http://${VM_IP}:9093
- --cluster.listen-address=
volumes:
- ./alertmanager:/etc/alertmanager:ro
- amdata:/alertmanager
ports:
- "9093:9093"
alertmanager-2:
image: prom/alertmanager:v0.35.0
command:
- --config.file=/etc/alertmanager/alertmanager.yml
- --storage.path=/alertmanager
- --web.external-url=http://${VM_IP}:9094
- --cluster.listen-address=
volumes:
- ./alertmanager:/etc/alertmanager:ro
- amdata2:/alertmanager
ports:
- "9094:9093"
alertmanager-3:
image: prom/alertmanager:v0.35.0
command:
- --config.file=/etc/alertmanager/alertmanager.yml
- --storage.path=/alertmanager
- --web.external-url=http://${VM_IP}:9095
- --cluster.listen-address=
volumes:
- ./alertmanager:/etc/alertmanager:ro
- amdata3:/alertmanager
ports:
- "9095:9093"
alarm-log:
image: python:3.14.10-alpine
command: ["python", "-u", "/alarm_log.py"]
volumes:
- ./code/alarm-log/alarm_log.py:/alarm_log.py:ro
ports:
- "5001:5001"
volumes:
amdata:
amdata2:
amdata3:
EOF- Alle drei lesen dieselbe Konfiguration aus
./alertmanager. - Jeder hat ein eigenes Volume. Silences und nflog sind pro Knoten gespeichert.
- Auf der VM erreichst du sie über 9093, 9094 und 9095. Im Container
lauscht jeder auf
Prometheus bekommt alle drei als Ziel. Ändere in
prometheus/prometheus.yml den Abschnitt
alerting so:
alerting:
alertmanagers:
- static_configs:
- targets:
- alertmanager:9093
- alertmanager-2:9093
- alertmanager-3:9093docker compose up -d
curl -s -X POST localhost:9090/-/reload
curl -s localhost:9090/api/v1/alertmanagers | jq -r '.data.activeAlertmanagers[].url'Erwartet:
http://alertmanager:9093/api/v2/alerts
http://alertmanager-2:9093/api/v2/alerts
http://alertmanager-3:9093/api/v2/alerts
Jetzt ein Testalarm, so wie Prometheus ihn schicken würde, an alle drei:
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=HaTest team=notes severity=warning \
--alertmanager.url=http://localhost:9093
amtool alert add alertname=HaTest team=notes severity=warning \
--alertmanager.url=http://localhost:9094
amtool alert add alertname=HaTest team=notes severity=warning \
--alertmanager.url=http://localhost:9095Nach 30 Sekunden:
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet:
20:02:31 /archiv archiv firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /team-notes team-notes firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /team-notes team-notes firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /archiv archiv firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /team-notes team-notes firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /archiv archiv firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
Jede Nachricht dreimal. Hochverfügbar, aber unbrauchbar: Das Team stellt die Benachrichtigungen nach einer Woche ab.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Der Cluster
Jeder Knoten bekommt eine Gossip-Adresse und die Liste aller Knoten.
Statt drei Abschnitte von Hand zu ändern, schreibst du die Peer-Liste in
eine Datei und lässt sed sie einfügen:
cat > peers.txt <<'EOF'
- --cluster.peer=alertmanager:9094
- --cluster.peer=alertmanager-2:9094
- --cluster.peer=alertmanager-3:9094
EOF
sed -i 's/--cluster.listen-address=$/--cluster.listen-address=0.0.0.0:9094/' \
alerting.yaml
sed -i '/--cluster.listen-address=0.0.0.0:9094/r peers.txt' alerting.yaml
rm peers.txt
sed -n '/^ alertmanager-2:/,/volumes/p' alerting.yamlErwartet:
alertmanager-2:
image: prom/alertmanager:v0.35.0
command:
- --config.file=/etc/alertmanager/alertmanager.yml
- --storage.path=/alertmanager
- --web.external-url=http://${VM_IP}:9094
- --cluster.listen-address=0.0.0.0:9094
- --cluster.peer=alertmanager:9094
- --cluster.peer=alertmanager-2:9094
- --cluster.peer=alertmanager-3:9094
volumes:
- Der erste
sedersetzt die leere Cluster-Adresse durch Port 9094, in allen drei Abschnitten. - Der zweite fügt hinter jeder dieser Zeilen die drei Peers ein.
- Jeder Knoten steht auch in seiner eigenen Liste. Das stört nicht, und alle drei Abschnitte bleiben gleich.
docker compose up -dNach etwa 15 Sekunden:
amtool cluster show -o extendedErwartet:
Cluster Status: ready
Node Name: 01M7JZ98F8DCAPB20E8E2B2C7A
Address Name
172.18.0.7:9094 01M7JZ98F8DCAPB20E8E2B2C7A
172.18.0.10:9094 01M7JZ992YRWY1ZDPJ7GHGK47C
172.18.0.11:9094 01M7JZ99T7FFZ3WXRS7RCFW0E0
Drei Mitglieder, Status ready. Die Namen erzeugt jeder
Knoten bei jedem Start neu. Im Log siehst du, wie ein Knoten auf die
anderen wartet:
docker compose logs --no-log-prefix alertmanager-2 | grep gossipErwartet (gekürzt):
… msg="Waiting for gossip to settle..." component=cluster interval=2s
… msg="gossip not settled" component=cluster polls=0 before=0 now=3 elapsed=2.00046728s
… msg="gossip settled; proceeding" component=cluster elapsed=10.003173492s
Bis „settled“ verschickt ein frisch gestarteter Knoten nichts. So meldet er nicht noch einmal, was die anderen schon gemeldet haben.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Einmal statt dreimal
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=HaTest2 team=notes severity=warning \
--alertmanager.url=http://localhost:9093
amtool alert add alertname=HaTest2 team=notes severity=warning \
--alertmanager.url=http://localhost:9094
amtool alert add alertname=HaTest2 team=notes severity=warning \
--alertmanager.url=http://localhost:9095Nach einer Minute:
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet:
20:03:54 /archiv archiv firing [alertname=HaTest2] HaTest2 (1 firing, 0 resolved)
20:03:54 /team-notes team-notes firing [alertname=HaTest2] HaTest2 (1 firing, 0 resolved)
Jede Nachricht einmal. Wer hat geschickt? Die Positionen stehen in den Metriken:
curl -s localhost:9093/metrics | grep -E '^alertmanager_(cluster_members|peer_position)'
curl -s localhost:9095/metrics | grep '^alertmanager_peer_position'Erwartet:
alertmanager_cluster_members 3
alertmanager_peer_position 0
alertmanager_peer_position 2
Knoten 1 hat Position 0 und schickt. Knoten 3 hätte 30 Sekunden gewartet, im nflog den Eintrag von Knoten 1 gefunden und geschwiegen.
Auch die Silences aus Tag 5 sind jetzt überall, obwohl du sie nur auf Knoten 1 angelegt hast:
amtool silence query --alertmanager.url=http://localhost:9095Erwartet:
ID Matchers Ends At Created By Comment
0871446c-8efb-4752-aca0-0feb183d4045 instance="a" alertname="PlatteVoll" 2026-11-16 22:00:33 UTC du Platte a wird getauscht
e6dd45ea-9a8b-4752-9da4-e062a5f0fc26 team="marketing" 2026-11-17 20:00:33 UTC du Marketing hat eigenes Monitoring
Beim Beitritt gleichen neue Knoten den kompletten Zustand ab.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ein Knoten fällt aus
docker compose stop alertmanagerNach etwa 20 Sekunden:
amtool cluster show -o extended --alertmanager.url=http://localhost:9094
curl -s localhost:9094/metrics | grep '^alertmanager_peer_position'Erwartet:
Cluster Status: ready
Node Name: 01M7JZ992YRWY1ZDPJ7GHGK47C
Address Name
172.18.0.10:9094 01M7JZ992YRWY1ZDPJ7GHGK47C
172.18.0.11:9094 01M7JZ99T7FFZ3WXRS7RCFW0E0
alertmanager_peer_position 0
Knoten 2 ist auf Position 0 aufgerückt. Ein Alarm kommt trotzdem an:
T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=Ausfalltest team=notes severity=warning \
--alertmanager.url=http://localhost:9094
amtool alert add alertname=Ausfalltest team=notes severity=warning \
--alertmanager.url=http://localhost:9095Nach 30 Sekunden:
docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdogErwartet:
20:05:41 /archiv archiv firing [alertname=Ausfalltest] Ausfalltest (1 firing, 0 resolved)
20:05:41 /team-notes team-notes firing [alertname=Ausfalltest] Ausfalltest (1 firing, 0 resolved)
docker compose start alertmanagerNach 15 Sekunden zeigt amtool cluster show -o extended
wieder drei Mitglieder, Knoten 1 mit neuem Namen.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
amtool cluster showErwartet: Cluster Status: ready.
curl -s localhost:9095/api/v2/status | jq '.cluster.peers | length'Erwartet: 3.
curl -s localhost:9090/api/v1/alertmanagers | jq '.data.activeAlertmanagers | length'Erwartet: 3. Prometheus kennt alle drei Knoten.
Challenge
Schicke HaTest2 neu an alle drei Knoten. Knoten 1 hat
ihn bei seinem Neustart vergessen, und Testalarme leben ohnehin nur fünf
Minuten. Lege dann über Knoten 3 eine Silence dafür an, prüfe auf Knoten
1, dass der Alarm stumm ist, und beende die Silence über Knoten 2.
Hinweis: Jeder amtool-Befehl nimmt
--alertmanager.url. Ohne den Schalter fragt
amtool Knoten 1 (aus
~/.config/amtool/config.yml).
Lösung
Zuerst der Alarm, wie in Drill 3 an 9093,
9094 und 9095:
amtool alert add alertname=HaTest2 team=notes severity=warning \
--alertmanager.url=http://localhost:9093Dasselbe mit 9094 und 9095. Dann die
Silence über Knoten 3:
ID=$(amtool silence add alertname=HaTest2 --duration=1h --author=du \
--comment="über Knoten 3" --alertmanager.url=http://localhost:9095)
echo $ID
amtool silence query alertname=HaTest2Erwartet:
1f49412d-b908-404a-aaba-10c070f4be80
ID Matchers Ends At Created By Comment
1f49412d-b908-404a-aaba-10c070f4be80 alertname="HaTest2" 2026-11-16 21:06:39 UTC du über Knoten 3
amtool alert query --silencedErwartet: HaTest2 mit suppressed.
amtool silence expire $ID --alertmanager.url=http://localhost:9094
amtool silence query --expired alertname=HaTest2Erwartet: Die Silence steht in der Liste der abgelaufenen,
Ends At ist jetzt.
Die ID ist auf allen Knoten gleich. Egal, wo du eine Silence anlegst oder beendest, der Cluster verteilt die Änderung in Sekunden.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Drei Knoten auf drei Hosts oder Zonen. Zwei Knoten reichen für Ausfallsicherheit, drei verkraften auch Wartung plus Ausfall.
- Nie einen Load Balancer zwischen Prometheus und Alertmanager. Prometheus muss jeden Knoten direkt erreichen, sonst fehlen Alarme auf einzelnen Knoten.
- Port 9094 muss zwischen den Knoten offen sein, TCP und UDP. Über
Rechenzentren hinweg mit hoher Latenz
--cluster.peer-timeouterhöhen. alertmanager_cluster_membersgehört überwacht: Weniger Mitglieder als erwartet heißt Ausfall oder Split Brain. Im zweiten Fall kommen Nachrichten doppelt.- Der Gossip ist unverschlüsselt. Für Netze, denen du nicht traust,
gibt es
--cluster.tls-config.