Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 6: Hochverfügbarkeit

Ziel: Drei Alertmanager bilden einen Cluster. Fällt einer aus, kommen Benachrichtigungen trotzdem an, und zwar genau einmal. Silences gelten auf allen Knoten. · Dauer: ca. 50 min · Voraussetzung: Tag 5

Briefing

  • Ein einzelner Alertmanager ist ein Single Point of Failure. Fällt er aus, merkt es niemand, weil genau er die Nachricht verschicken müsste.
  • Im HA-Betrieb laufen mehrere Alertmanager mit derselben Konfiguration. Prometheus schickt jeden Alarm an alle, nicht an einen Load Balancer.
  • Die Alertmanager sprechen per Gossip miteinander (Port 9094, Bibliothek memberlist). Sie teilen zwei Dinge: Silences und das Benachrichtigungs-Log (nflog), also wer welche Gruppe wann gemeldet hat.
  • Auf der VM ist 9094 die Weboberfläche von Knoten 2. Der Gossip-Port 9094 liegt nur im Container und ist nicht veröffentlicht.
  • Jeder Knoten hat eine Position. Position 0 schickt sofort, Position 1 wartet 15 Sekunden und schaut ins nflog, Position 2 wartet 30 Sekunden. Ist schon gemeldet, schweigen die anderen.
                      ┌─► alertmanager    :9093  Position 0 ─┐
 Prometheus ── alle ──┼─► alertmanager-2  :9094  Position 1 ─┼─ Gossip :9094 (intern)
                      └─► alertmanager-3  :9095  Position 2 ─┘   Silences + nflog

Drill 1: Drei Alertmanager ohne Cluster

Zuerst der Fehler, damit du ihn erkennst. Drei Alertmanager, jeder für sich:

cd ~/am-lab
cat > alerting.yaml <<'EOF'
services:
  alertmanager:
    image: prom/alertmanager:v0.35.0
    command:
      - --config.file=/etc/alertmanager/alertmanager.yml
      - --storage.path=/alertmanager
      - --web.external-url=http://${VM_IP}:9093
      - --cluster.listen-address=
    volumes:
      - ./alertmanager:/etc/alertmanager:ro
      - amdata:/alertmanager
    ports:
      - "9093:9093"

  alertmanager-2:
    image: prom/alertmanager:v0.35.0
    command:
      - --config.file=/etc/alertmanager/alertmanager.yml
      - --storage.path=/alertmanager
      - --web.external-url=http://${VM_IP}:9094
      - --cluster.listen-address=
    volumes:
      - ./alertmanager:/etc/alertmanager:ro
      - amdata2:/alertmanager
    ports:
      - "9094:9093"

  alertmanager-3:
    image: prom/alertmanager:v0.35.0
    command:
      - --config.file=/etc/alertmanager/alertmanager.yml
      - --storage.path=/alertmanager
      - --web.external-url=http://${VM_IP}:9095
      - --cluster.listen-address=
    volumes:
      - ./alertmanager:/etc/alertmanager:ro
      - amdata3:/alertmanager
    ports:
      - "9095:9093"

  alarm-log:
    image: python:3.14.10-alpine
    command: ["python", "-u", "/alarm_log.py"]
    volumes:
      - ./code/alarm-log/alarm_log.py:/alarm_log.py:ro
    ports:
      - "5001:5001"

volumes:
  amdata:
  amdata2:
  amdata3:
EOF
  • Alle drei lesen dieselbe Konfiguration aus ./alertmanager.
  • Jeder hat ein eigenes Volume. Silences und nflog sind pro Knoten gespeichert.
  • Auf der VM erreichst du sie über 9093, 9094 und 9095. Im Container lauscht jeder auf

Prometheus bekommt alle drei als Ziel. Ändere in prometheus/prometheus.yml den Abschnitt alerting so:

alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - alertmanager:9093
            - alertmanager-2:9093
            - alertmanager-3:9093
docker compose up -d
curl -s -X POST localhost:9090/-/reload
curl -s localhost:9090/api/v1/alertmanagers | jq -r '.data.activeAlertmanagers[].url'

Erwartet:

http://alertmanager:9093/api/v2/alerts
http://alertmanager-2:9093/api/v2/alerts
http://alertmanager-3:9093/api/v2/alerts

Jetzt ein Testalarm, so wie Prometheus ihn schicken würde, an alle drei:

T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=HaTest team=notes severity=warning \
  --alertmanager.url=http://localhost:9093
amtool alert add alertname=HaTest team=notes severity=warning \
  --alertmanager.url=http://localhost:9094
amtool alert add alertname=HaTest team=notes severity=warning \
  --alertmanager.url=http://localhost:9095

Nach 30 Sekunden:

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet:

20:02:31 /archiv archiv firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /team-notes team-notes firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /team-notes team-notes firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /archiv archiv firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /team-notes team-notes firing [alertname=HaTest] HaTest (1 firing, 0 resolved)
20:02:31 /archiv archiv firing [alertname=HaTest] HaTest (1 firing, 0 resolved)

Jede Nachricht dreimal. Hochverfügbar, aber unbrauchbar: Das Team stellt die Benachrichtigungen nach einer Woche ab.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Der Cluster

Jeder Knoten bekommt eine Gossip-Adresse und die Liste aller Knoten. Statt drei Abschnitte von Hand zu ändern, schreibst du die Peer-Liste in eine Datei und lässt sed sie einfügen:

cat > peers.txt <<'EOF'
      - --cluster.peer=alertmanager:9094
      - --cluster.peer=alertmanager-2:9094
      - --cluster.peer=alertmanager-3:9094
EOF
sed -i 's/--cluster.listen-address=$/--cluster.listen-address=0.0.0.0:9094/' \
  alerting.yaml
sed -i '/--cluster.listen-address=0.0.0.0:9094/r peers.txt' alerting.yaml
rm peers.txt
sed -n '/^  alertmanager-2:/,/volumes/p' alerting.yaml

Erwartet:

  alertmanager-2:
    image: prom/alertmanager:v0.35.0
    command:
      - --config.file=/etc/alertmanager/alertmanager.yml
      - --storage.path=/alertmanager
      - --web.external-url=http://${VM_IP}:9094
      - --cluster.listen-address=0.0.0.0:9094
      - --cluster.peer=alertmanager:9094
      - --cluster.peer=alertmanager-2:9094
      - --cluster.peer=alertmanager-3:9094
    volumes:
  • Der erste sed ersetzt die leere Cluster-Adresse durch Port 9094, in allen drei Abschnitten.
  • Der zweite fügt hinter jeder dieser Zeilen die drei Peers ein.
  • Jeder Knoten steht auch in seiner eigenen Liste. Das stört nicht, und alle drei Abschnitte bleiben gleich.
docker compose up -d

Nach etwa 15 Sekunden:

amtool cluster show -o extended

Erwartet:

Cluster Status:  ready
Node Name:       01M7JZ98F8DCAPB20E8E2B2C7A

Address           Name
172.18.0.7:9094   01M7JZ98F8DCAPB20E8E2B2C7A
172.18.0.10:9094  01M7JZ992YRWY1ZDPJ7GHGK47C
172.18.0.11:9094  01M7JZ99T7FFZ3WXRS7RCFW0E0

Drei Mitglieder, Status ready. Die Namen erzeugt jeder Knoten bei jedem Start neu. Im Log siehst du, wie ein Knoten auf die anderen wartet:

docker compose logs --no-log-prefix alertmanager-2 | grep gossip

Erwartet (gekürzt):

… msg="Waiting for gossip to settle..." component=cluster interval=2s
… msg="gossip not settled" component=cluster polls=0 before=0 now=3 elapsed=2.00046728s
… msg="gossip settled; proceeding" component=cluster elapsed=10.003173492s

Bis „settled“ verschickt ein frisch gestarteter Knoten nichts. So meldet er nicht noch einmal, was die anderen schon gemeldet haben.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Einmal statt dreimal

T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=HaTest2 team=notes severity=warning \
  --alertmanager.url=http://localhost:9093
amtool alert add alertname=HaTest2 team=notes severity=warning \
  --alertmanager.url=http://localhost:9094
amtool alert add alertname=HaTest2 team=notes severity=warning \
  --alertmanager.url=http://localhost:9095

Nach einer Minute:

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet:

20:03:54 /archiv archiv firing [alertname=HaTest2] HaTest2 (1 firing, 0 resolved)
20:03:54 /team-notes team-notes firing [alertname=HaTest2] HaTest2 (1 firing, 0 resolved)

Jede Nachricht einmal. Wer hat geschickt? Die Positionen stehen in den Metriken:

curl -s localhost:9093/metrics | grep -E '^alertmanager_(cluster_members|peer_position)'
curl -s localhost:9095/metrics | grep '^alertmanager_peer_position'

Erwartet:

alertmanager_cluster_members 3
alertmanager_peer_position 0
alertmanager_peer_position 2

Knoten 1 hat Position 0 und schickt. Knoten 3 hätte 30 Sekunden gewartet, im nflog den Eintrag von Knoten 1 gefunden und geschwiegen.

Auch die Silences aus Tag 5 sind jetzt überall, obwohl du sie nur auf Knoten 1 angelegt hast:

amtool silence query --alertmanager.url=http://localhost:9095

Erwartet:

ID                                    Matchers                             Ends At                  Created By  Comment
0871446c-8efb-4752-aca0-0feb183d4045  instance="a" alertname="PlatteVoll"  2026-11-16 22:00:33 UTC  du          Platte a wird getauscht
e6dd45ea-9a8b-4752-9da4-e062a5f0fc26  team="marketing"                     2026-11-17 20:00:33 UTC  du          Marketing hat eigenes Monitoring

Beim Beitritt gleichen neue Knoten den kompletten Zustand ab.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ein Knoten fällt aus

docker compose stop alertmanager

Nach etwa 20 Sekunden:

amtool cluster show -o extended --alertmanager.url=http://localhost:9094
curl -s localhost:9094/metrics | grep '^alertmanager_peer_position'

Erwartet:

Cluster Status:  ready
Node Name:       01M7JZ992YRWY1ZDPJ7GHGK47C

Address           Name
172.18.0.10:9094  01M7JZ992YRWY1ZDPJ7GHGK47C
172.18.0.11:9094  01M7JZ99T7FFZ3WXRS7RCFW0E0
alertmanager_peer_position 0

Knoten 2 ist auf Position 0 aufgerückt. Ein Alarm kommt trotzdem an:

T=$(date -u +%Y-%m-%dT%H:%M:%SZ)
amtool alert add alertname=Ausfalltest team=notes severity=warning \
  --alertmanager.url=http://localhost:9094
amtool alert add alertname=Ausfalltest team=notes severity=warning \
  --alertmanager.url=http://localhost:9095

Nach 30 Sekunden:

docker compose logs --no-log-prefix --since $T alarm-log | grep -v watchdog

Erwartet:

20:05:41 /archiv archiv firing [alertname=Ausfalltest] Ausfalltest (1 firing, 0 resolved)
20:05:41 /team-notes team-notes firing [alertname=Ausfalltest] Ausfalltest (1 firing, 0 resolved)
docker compose start alertmanager

Nach 15 Sekunden zeigt amtool cluster show -o extended wieder drei Mitglieder, Knoten 1 mit neuem Namen.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

amtool cluster show

Erwartet: Cluster Status: ready.

curl -s localhost:9095/api/v2/status | jq '.cluster.peers | length'

Erwartet: 3.

curl -s localhost:9090/api/v1/alertmanagers | jq '.data.activeAlertmanagers | length'

Erwartet: 3. Prometheus kennt alle drei Knoten.

Challenge

Schicke HaTest2 neu an alle drei Knoten. Knoten 1 hat ihn bei seinem Neustart vergessen, und Testalarme leben ohnehin nur fünf Minuten. Lege dann über Knoten 3 eine Silence dafür an, prüfe auf Knoten 1, dass der Alarm stumm ist, und beende die Silence über Knoten 2.

Hinweis: Jeder amtool-Befehl nimmt --alertmanager.url. Ohne den Schalter fragt amtool Knoten 1 (aus ~/.config/amtool/config.yml).

Lösung

Zuerst der Alarm, wie in Drill 3 an 9093, 9094 und 9095:

amtool alert add alertname=HaTest2 team=notes severity=warning \
  --alertmanager.url=http://localhost:9093

Dasselbe mit 9094 und 9095. Dann die Silence über Knoten 3:

ID=$(amtool silence add alertname=HaTest2 --duration=1h --author=du \
  --comment="über Knoten 3" --alertmanager.url=http://localhost:9095)
echo $ID
amtool silence query alertname=HaTest2

Erwartet:

1f49412d-b908-404a-aaba-10c070f4be80
ID                                    Matchers             Ends At                  Created By  Comment
1f49412d-b908-404a-aaba-10c070f4be80  alertname="HaTest2"  2026-11-16 21:06:39 UTC  du          über Knoten 3
amtool alert query --silenced

Erwartet: HaTest2 mit suppressed.

amtool silence expire $ID --alertmanager.url=http://localhost:9094
amtool silence query --expired alertname=HaTest2

Erwartet: Die Silence steht in der Liste der abgelaufenen, Ends At ist jetzt.

Die ID ist auf allen Knoten gleich. Egal, wo du eine Silence anlegst oder beendest, der Cluster verteilt die Änderung in Sekunden.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Drei Knoten auf drei Hosts oder Zonen. Zwei Knoten reichen für Ausfallsicherheit, drei verkraften auch Wartung plus Ausfall.
  • Nie einen Load Balancer zwischen Prometheus und Alertmanager. Prometheus muss jeden Knoten direkt erreichen, sonst fehlen Alarme auf einzelnen Knoten.
  • Port 9094 muss zwischen den Knoten offen sein, TCP und UDP. Über Rechenzentren hinweg mit hoher Latenz --cluster.peer-timeout erhöhen.
  • alertmanager_cluster_members gehört überwacht: Weniger Mitglieder als erwartet heißt Ausfall oder Split Brain. Im zweiten Fall kommen Nachrichten doppelt.
  • Der Gossip ist unverschlüsselt. Für Netze, denen du nicht traust, gibt es --cluster.tls-config.