Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang A: Spickzettel

Alles auf einen Blick, sortiert nach Thema.

Das Lab

Was Wo
VM karma 172.16.0.61, Docker Compose in ~/am-lab, k3s in Tag 13
notes-api (prod) http://172.16.0.61:8080, API-Key lab-api-key-123
Prometheus prod / dev :9090 / :9091
Alertmanager prod :9093, :9094, :9095 (ein Cluster)
Alertmanager dev :9096
alarm-log :5001, GET / liefert die letzte Nachricht
Mailpit :8025
karma :8000 über Caddy, alice / bob (carol ab Anhang B), lab-karma-pw-123
k3s Prometheus :30090, Alertmanager :30093, karma :30800

Compose-Bausteine

Datei Inhalt ab Tag
notes.yaml postgres, migrate, notes-api, last 0
monitoring.yaml prometheus, node-exporter 1
alerting.yaml drei Alertmanager, alarm-log 2, 6
mail.yaml mailpit 4
dashboard.yaml karma, caddy 7, 11
dev.yaml notes-api-dev, last-dev, prometheus-dev, alertmanager-dev 9

Prometheus

Aufgabe Befehl
Regeln prüfen promtool check rules prometheus/rules/notes.yml
neu laden curl -X POST localhost:9090/-/reload
Abfrage promtool query instant http://localhost:9090 ALERTS
aktive Alarme curl -s localhost:9090/api/v1/alerts \| jq
Ziele promtool query instant http://localhost:9090 up

amtool

Aufgabe Befehl
Alarme amtool alert, amtool alert query --silenced --inhibited
Testalarm amtool alert add alertname=X team=notes severity=info
mit Laufzeit … --start=$N --end=$E (immer beide)
Konfiguration prüfen amtool check-config alertmanager/alertmanager.yml
Routing-Baum amtool config routes
Route testen amtool config routes test team=notes severity=critical
in der CI … --verify.receivers=archiv,notes-bereitschaft
Template testen amtool template render --template.glob=… --template.text=…
Silence amtool silence add a=b --duration=1h --author=du --comment=…
Silences amtool silence query, -q nur IDs, --expired
beenden amtool silence expire <id>
sichern amtool silence query -o json > silences.json
zurückspielen amtool silence import silences.json
Cluster amtool cluster show -o extended
anderer Knoten --alertmanager.url=http://localhost:9094

Alertmanager-Konfiguration

Baustein Zweck
route.group_by was zu einer Nachricht zusammengefasst wird
group_wait Wartezeit der ersten Nachricht einer Gruppe
group_interval Takt für Änderungen und Wiederholungen
repeat_interval Wiederholung unveränderter Gruppen (frühestens im Takt)
continue: true nach Treffer weitersuchen
inhibit_rules Quelle unterdrückt Ziel, equal begrenzt
time_intervals benannte Zeitfenster, mit location
mute_time_intervals Route schweigt im Fenster, nicht vererbt
active_time_intervals Route meldet nur im Fenster
send_resolved Mail: aus, Webhook: an
--cluster.peer HA-Cluster, alle Knoten in jeder Liste

karma-Konfiguration

Abschnitt Wichtigste Felder
alertmanager.servers name, cluster, uri, external_uri, proxy, readonly, healthcheck
receivers strip, keep
labels order, strip, color.unique, color.custom
annotations order, actions, hidden
grid.sorting order: label, label, customValues
ui multiGridLabel, refresh, theme
filters.default Filter beim Öffnen
alertAcknowledgement Ack-Knopf, duration, comment
silences expired, comments.linkDetect
authentication basicAuth oder header
authorization groups, acl.silences
history enabled, rewrite
log config, level, requests, format

Rangfolge: Schalter vor Datei vor Umgebungsvariable.

karma-Filter

Filter Bedeutung
team=notes, team!=notes Label, ungleich trifft auch fehlende Labels
alertname=~Notes Regex, nicht verankert
@state=active active, suppressed, unprocessed
@receiver=…, @alertmanager=…, @cluster=… Herkunft
@age>5m Alter des Alarms
@silence_author=…, @silenced_by=… wer stummgeschaltet hat
@limit=10 Alarme pro Gruppe
Freitext Suche in Labels und Annotations

karma-API

Pfad Zweck
GET /health Pong, immer
GET /version Version
GET /metrics karma_alertmanager_up und Co.
GET /counters.json?q=… Zähler der Übersicht
GET /alertList.json?q=… Alarme als Label-Listen
GET /labelNames.json bekannte Labels
POST /alerts.json alles, inkl. upstreams.instances[].error
POST /history.json Historie einer Gruppe
POST /proxy/alertmanager/<name>/api/v2/silences Silence anlegen
DELETE /proxy/alertmanager/<name>/api/v2/silence/<id> Silence beenden

Konfiguration prüfen, ohne zu starten: karma --config.file … --check-config.

Silence-ACLs

Aktion Wirkung
block ablehnen, Prüfung endet
allow erlauben, Prüfung endet
requireMatcher ablehnen, wenn Matcher fehlen, sonst weiterprüfen
scope.groups nur für diese Gruppen
scope.alertmanagers nur für diese Upstreams
scope.filters nur für Silences mit passenden Matchern
scope.operations create, edit, delete (ab v0.134)

Erste Regel immer: Regex-Silences blockieren.

Metriken für Alarme auf die Alarmkette

Metrik Alarm, wenn
alertmanager_notifications_failed_total wächst
alertmanager_cluster_members kleiner als die Zahl der Knoten
karma_alertmanager_up 0
up{job="…"} 0
Watchdog fehlt, extern geprüft