Anhang A: Spickzettel
Alles auf einen Blick, sortiert nach Thema.
Das Lab
| Was | Wo |
|---|---|
VM karma |
172.16.0.61, Docker Compose in ~/am-lab, k3s in Tag
13 |
| notes-api (prod) | http://172.16.0.61:8080, API-Key
lab-api-key-123 |
| Prometheus prod / dev | :9090 / :9091 |
| Alertmanager prod | :9093, :9094, :9095 (ein
Cluster) |
| Alertmanager dev | :9096 |
| alarm-log | :5001, GET / liefert die letzte
Nachricht |
| Mailpit | :8025 |
| karma | :8000 über Caddy, alice / bob
(carol ab Anhang B), lab-karma-pw-123 |
| k3s | Prometheus :30090, Alertmanager :30093,
karma :30800 |
Compose-Bausteine
| Datei | Inhalt | ab Tag |
|---|---|---|
notes.yaml |
postgres, migrate, notes-api, last | 0 |
monitoring.yaml |
prometheus, node-exporter | 1 |
alerting.yaml |
drei Alertmanager, alarm-log | 2, 6 |
mail.yaml |
mailpit | 4 |
dashboard.yaml |
karma, caddy | 7, 11 |
dev.yaml |
notes-api-dev, last-dev, prometheus-dev, alertmanager-dev | 9 |
Prometheus
| Aufgabe | Befehl |
|---|---|
| Regeln prüfen | promtool check rules prometheus/rules/notes.yml |
| neu laden | curl -X POST localhost:9090/-/reload |
| Abfrage | promtool query instant http://localhost:9090 ALERTS |
| aktive Alarme | curl -s localhost:9090/api/v1/alerts \| jq |
| Ziele | promtool query instant http://localhost:9090 up |
amtool
| Aufgabe | Befehl |
|---|---|
| Alarme | amtool alert,
amtool alert query --silenced --inhibited |
| Testalarm | amtool alert add alertname=X team=notes severity=info |
| mit Laufzeit | … --start=$N --end=$E (immer beide) |
| Konfiguration prüfen | amtool check-config alertmanager/alertmanager.yml |
| Routing-Baum | amtool config routes |
| Route testen | amtool config routes test team=notes severity=critical |
| in der CI | … --verify.receivers=archiv,notes-bereitschaft |
| Template testen | amtool template render --template.glob=… --template.text=… |
| Silence | amtool silence add a=b --duration=1h --author=du --comment=… |
| Silences | amtool silence query, -q nur IDs,
--expired |
| beenden | amtool silence expire <id> |
| sichern | amtool silence query -o json > silences.json |
| zurückspielen | amtool silence import silences.json |
| Cluster | amtool cluster show -o extended |
| anderer Knoten | --alertmanager.url=http://localhost:9094 |
Alertmanager-Konfiguration
| Baustein | Zweck |
|---|---|
route.group_by |
was zu einer Nachricht zusammengefasst wird |
group_wait |
Wartezeit der ersten Nachricht einer Gruppe |
group_interval |
Takt für Änderungen und Wiederholungen |
repeat_interval |
Wiederholung unveränderter Gruppen (frühestens im Takt) |
continue: true |
nach Treffer weitersuchen |
inhibit_rules |
Quelle unterdrückt Ziel, equal begrenzt |
time_intervals |
benannte Zeitfenster, mit location |
mute_time_intervals |
Route schweigt im Fenster, nicht vererbt |
active_time_intervals |
Route meldet nur im Fenster |
send_resolved |
Mail: aus, Webhook: an |
--cluster.peer |
HA-Cluster, alle Knoten in jeder Liste |
karma-Konfiguration
| Abschnitt | Wichtigste Felder |
|---|---|
alertmanager.servers |
name, cluster, uri,
external_uri, proxy, readonly,
healthcheck |
receivers |
strip, keep |
labels |
order, strip, color.unique,
color.custom |
annotations |
order, actions, hidden |
grid.sorting |
order: label, label,
customValues |
ui |
multiGridLabel, refresh,
theme |
filters.default |
Filter beim Öffnen |
alertAcknowledgement |
Ack-Knopf, duration, comment |
silences |
expired, comments.linkDetect |
authentication |
basicAuth oder header |
authorization |
groups, acl.silences |
history |
enabled, rewrite |
log |
config, level, requests,
format |
Rangfolge: Schalter vor Datei vor Umgebungsvariable.
karma-Filter
| Filter | Bedeutung |
|---|---|
team=notes, team!=notes |
Label, ungleich trifft auch fehlende Labels |
alertname=~Notes |
Regex, nicht verankert |
@state=active |
active, suppressed,
unprocessed |
@receiver=…, @alertmanager=…,
@cluster=… |
Herkunft |
@age>5m |
Alter des Alarms |
@silence_author=…, @silenced_by=… |
wer stummgeschaltet hat |
@limit=10 |
Alarme pro Gruppe |
| Freitext | Suche in Labels und Annotations |
karma-API
| Pfad | Zweck |
|---|---|
GET /health |
Pong, immer |
GET /version |
Version |
GET /metrics |
karma_alertmanager_up und Co. |
GET /counters.json?q=… |
Zähler der Übersicht |
GET /alertList.json?q=… |
Alarme als Label-Listen |
GET /labelNames.json |
bekannte Labels |
POST /alerts.json |
alles, inkl. upstreams.instances[].error |
POST /history.json |
Historie einer Gruppe |
POST /proxy/alertmanager/<name>/api/v2/silences |
Silence anlegen |
DELETE /proxy/alertmanager/<name>/api/v2/silence/<id> |
Silence beenden |
Konfiguration prüfen, ohne zu starten:
karma --config.file … --check-config.
Silence-ACLs
| Aktion | Wirkung |
|---|---|
block |
ablehnen, Prüfung endet |
allow |
erlauben, Prüfung endet |
requireMatcher |
ablehnen, wenn Matcher fehlen, sonst weiterprüfen |
scope.groups |
nur für diese Gruppen |
scope.alertmanagers |
nur für diese Upstreams |
scope.filters |
nur für Silences mit passenden Matchern |
scope.operations |
create, edit, delete (ab
v0.134) |
Erste Regel immer: Regex-Silences blockieren.
Metriken für Alarme auf die Alarmkette
| Metrik | Alarm, wenn |
|---|---|
alertmanager_notifications_failed_total |
wächst |
alertmanager_cluster_members |
kleiner als die Zahl der Knoten |
karma_alertmanager_up |
0 |
up{job="…"} |
0 |
| Watchdog | fehlt, extern geprüft |