Tag 8: Filter und Ansicht
Ziel: karma zeigt jeden Alarm nur einmal, sortiert nach Schwere, gefärbt nach Team, aufgeteilt in ein Raster pro Team. Mit der Filtersprache findest du in Sekunden, was dich angeht. · Dauer: ca. 45 min · Voraussetzung: Tag 7
Briefing
- Was karma zeigt, steuert die Datei: welche Receiver und Labels, in welcher Reihenfolge, in welcher Farbe, wie sortiert.
- Jeder Nutzer kann vieles davon in der Oberfläche umstellen (Zahnrad oben rechts). Die Datei setzt nur die Standardwerte. Die Einstellungen des Nutzers speichert der Browser.
- Filter sind kleine Ausdrücke wie
team=notesoder@state=active. Sie stehen in der Suchleiste, in der URL und in der API. Mehrere Filter müssen alle zutreffen. - Das Multi-Grid teilt die Ansicht nach einem Label auf, etwa ein Raster pro Team.
Drill 1: Doppelte loswerden
Das Archiv aus Tag 3 verdoppelt jede Gruppe. Für Menschen ist es
uninteressant, also blendest du es aus, dazu den Receiver
nirgendwo. Die ganze Datei, mit dem Stand von Tag 7 als
Anfang:
cd ~/am-lab
cat > karma/karma.yaml <<'EOF'
karma:
name: am-lab
alertmanager:
interval: 30s
servers:
- name: prod
uri: http://alertmanager:9093
external_uri: http://172.16.0.61:9093
timeout: 10s
proxy: true
log:
config: true
receivers:
strip:
- archiv
- nirgendwo
EOF
docker compose restart karma
curl -s localhost:8000/counters.json | jq '.total'Erwartet:
7
Statt 14 Einträgen sind es noch 7, jeder Alarm einmal.
strip wirkt nur in karma. Im Alertmanager und beim
Empfänger ändert sich nichts.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Labels, Farben, Annotations
Hänge drei Abschnitte an:
cat >> karma/karma.yaml <<'EOF'
labels:
order: [alertname, env, team, severity]
strip: [job]
color:
unique: [team]
custom:
severity:
- value: critical
color: "#d9534f"
- value: warning
color: "#f0ad4e"
- value_re: ".*"
color: "#5bc0de"
annotations:
order: [summary]
actions: [runbook_url]
EOForder: Diese Labels stehen immer vorn, in dieser Reihenfolge. Der Rest folgt alphabetisch.strip: [job]:jobsteht in jedem Prometheus-Alarm und sagt dem Menschen wenig. karma blendet es aus, nutzt es aber weiter zum Zusammenfassen.color.unique: Jeder Wert vonteambekommt eine eigene, automatisch gewählte Farbe.customlegt Farben fest. Die Einträge werden der Reihe nach geprüft, der Fallback.*muss deshalb ans Ende.annotations.actions: Annotations, deren Wert ein Link ist, wandern ins Menü des Alarms. Dasrunbook_urlvonNotesApiDownsteht dann nicht mehr als langer Text in der Kachel, sondern ist einen Klick entfernt.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Sortieren und Raster
cat >> karma/karma.yaml <<'EOF'
grid:
sorting:
order: label
label: severity
reverse: false
customValues:
labels:
severity:
critical: 1
warning: 2
info: 3
none: 4
ui:
multiGridLabel: team
EOF
docker compose restart karma- Standard ist
order: startsAt, der neueste Alarm zuerst. Für eine Leitwarte ist die Schwere wichtiger. - Alphabetisch stünde
warningganz hinten, hinterinfoundnone.customValuesgibt jedem Wert eine Zahl, sortiert wird nach der Zahl. multiGridLabel: teambaut ein Raster pro Team. Alarme ohneteamlanden in einem eigenen Raster am Ende.
Prüfe im Log, dass karma die Datei ohne Fehler gelesen hat:
docker compose logs --no-log-prefix --since 1m karma | grep -c ERRORErwartet: 0. Ein Tippfehler im Feldnamen bricht den
Start ab, und der Container beendet sich. Im Test mit
multiGridLabl stand im Log:
level=ERROR msg="Execution failed" error="failed to parse configuration file
\"/etc/karma/karma.yaml\": yaml: unmarshal errors:\n line 53: field multiGridLabl
not found in type config.UIConfig"
Das ist streng, aber hilfreich: Unbekannte Felder fallen sofort auf und werden nicht still ignoriert.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Filtersprache
Tippe in die Suchleiste @state=active, drücke Enter,
dann severity=warning und Enter. Jeder Filter wird zu einem
Chip mit der Zahl seiner Treffer.
Die Filter stehen auch in der URL. Die Adresse dieser Ansicht lautet
http://172.16.0.61:8000/?q=%40state%3Dactive&q=severity%3Dwarning.
So teilst du eine Ansicht mit Kollegen oder legst sie als Lesezeichen
ab.
Die wichtigsten Filter:
| Filter | Bedeutung |
|---|---|
team=notes, team!=notes |
Label gleich oder ungleich |
alertname=~Notes |
Regex, nicht verankert: enthält „Notes“ |
@state=active |
Zustand: active, suppressed,
unprocessed |
@receiver=team-notes |
Receiver der Gruppe |
@age>5m, @age<1h |
Alarm feuert länger oder kürzer als |
@silence_author=du |
stummgeschaltet von |
@alertmanager=prod, @cluster=… |
Upstream oder Cluster (Tag 9) |
@limit=10 |
höchstens so viele Alarme pro Gruppe |
Platte |
Freitext in Labels und Annotations |
Dieselben Filter nimmt die API. Ein Test für drei davon:
curl -s -G localhost:8000/counters.json --data-urlencode 'q=team!=notes' | jq .total
curl -s -G localhost:8000/counters.json --data-urlencode 'q=alertname=~Notes' | jq .total
curl -s -G localhost:8000/counters.json --data-urlencode 'q=@age>5m' | jq .totalErwartet (deine Zahlen hängen davon ab, wie lange die Alarme schon laufen):
3
1
3
team!=notestrifft auch Alarme ohneteam, hier den Watchdog. Ungleich heißt „nicht notes“, nicht „ein anderes Team“.alertname=~NotesfindetNotesHighErrorRate. In Prometheus wäre die Regex verankert und fände nichts.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
curl -s localhost:8000/counters.json | jq '.total'Erwartet: 7, jeder Alarm einmal.
curl -s -G localhost:8000/counters.json --data-urlencode 'q=@receiver=archiv' | jq .totalErwartet: 0, das Archiv ist ausgeblendet.
docker compose logs --no-log-prefix karma | grep -A1 'multiGridLabel'Erwartet: multiGridLabel: team im
Konfigurations-Log.
Challenge
Die Bereitschaft öffnet karma nachts auf dem Handy. Sie will beim Öffnen nur aktive Alarme sehen, ohne Watchdog. Wer mehr sehen will, entfernt die Filter selbst.
Hinweis: Der Abschnitt filters.default
setzt Filter für jeden, der karma ohne eigene Filter in der URL öffnet.
Werte, die mit @ beginnen, brauchen in YAML
Anführungszeichen.
Lösung
cat >> karma/karma.yaml <<'EOF'
filters:
default:
- "@state=active"
- alertname!=Watchdog
EOF
docker compose restart karmaÖffne http://172.16.0.61:8000/ ohne Parameter. karma
leitet weiter auf
/?q=%40state%3Dactive&q=alertname%21%3DWatchdog:
Drei Alarme bleiben übrig, alle vom Team notes.
Werbeaktion und PlatteVoll a sind stumm,
NodeExporterDown ist beim Team plattform durch den
Feierabend gedämpft.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Einheitliche Labels sind wichtiger als jede Einstellung in karma.
Ohne
teamundseverityan jeder Regel gibt es nichts zu sortieren und zu färben. - Für große Leitwarten mehrere karma-Instanzen mit eigenem
karma.nameund eigenen Standardfiltern betreiben, etwa eine pro Bereich. Das kostet fast nichts. - Filter-URLs sind gute Links für Runbooks und Chat-Kanäle: „Alles von Team notes“ als Lesezeichen statt einer Erklärung.
labels.stripundreceivers.stripsparen Platz, verstecken aber auch. Was in karma fehlt, sucht im Ernstfall niemand mehr im Alertmanager.