Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 8: Filter und Ansicht

Ziel: karma zeigt jeden Alarm nur einmal, sortiert nach Schwere, gefärbt nach Team, aufgeteilt in ein Raster pro Team. Mit der Filtersprache findest du in Sekunden, was dich angeht. · Dauer: ca. 45 min · Voraussetzung: Tag 7

Briefing

  • Was karma zeigt, steuert die Datei: welche Receiver und Labels, in welcher Reihenfolge, in welcher Farbe, wie sortiert.
  • Jeder Nutzer kann vieles davon in der Oberfläche umstellen (Zahnrad oben rechts). Die Datei setzt nur die Standardwerte. Die Einstellungen des Nutzers speichert der Browser.
  • Filter sind kleine Ausdrücke wie team=notes oder @state=active. Sie stehen in der Suchleiste, in der URL und in der API. Mehrere Filter müssen alle zutreffen.
  • Das Multi-Grid teilt die Ansicht nach einem Label auf, etwa ein Raster pro Team.

Drill 1: Doppelte loswerden

Das Archiv aus Tag 3 verdoppelt jede Gruppe. Für Menschen ist es uninteressant, also blendest du es aus, dazu den Receiver nirgendwo. Die ganze Datei, mit dem Stand von Tag 7 als Anfang:

cd ~/am-lab
cat > karma/karma.yaml <<'EOF'
karma:
  name: am-lab

alertmanager:
  interval: 30s
  servers:
    - name: prod
      uri: http://alertmanager:9093
      external_uri: http://172.16.0.61:9093
      timeout: 10s
      proxy: true

log:
  config: true

receivers:
  strip:
    - archiv
    - nirgendwo
EOF
docker compose restart karma
curl -s localhost:8000/counters.json | jq '.total'

Erwartet:

7

Statt 14 Einträgen sind es noch 7, jeder Alarm einmal. strip wirkt nur in karma. Im Alertmanager und beim Empfänger ändert sich nichts.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Labels, Farben, Annotations

Hänge drei Abschnitte an:

cat >> karma/karma.yaml <<'EOF'

labels:
  order: [alertname, env, team, severity]
  strip: [job]
  color:
    unique: [team]
    custom:
      severity:
        - value: critical
          color: "#d9534f"
        - value: warning
          color: "#f0ad4e"
        - value_re: ".*"
          color: "#5bc0de"

annotations:
  order: [summary]
  actions: [runbook_url]
EOF
  • order: Diese Labels stehen immer vorn, in dieser Reihenfolge. Der Rest folgt alphabetisch.
  • strip: [job]: job steht in jedem Prometheus-Alarm und sagt dem Menschen wenig. karma blendet es aus, nutzt es aber weiter zum Zusammenfassen.
  • color.unique: Jeder Wert von team bekommt eine eigene, automatisch gewählte Farbe. custom legt Farben fest. Die Einträge werden der Reihe nach geprüft, der Fallback .* muss deshalb ans Ende.
  • annotations.actions: Annotations, deren Wert ein Link ist, wandern ins Menü des Alarms. Das runbook_url von NotesApiDown steht dann nicht mehr als langer Text in der Kachel, sondern ist einen Klick entfernt.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Sortieren und Raster

cat >> karma/karma.yaml <<'EOF'

grid:
  sorting:
    order: label
    label: severity
    reverse: false
    customValues:
      labels:
        severity:
          critical: 1
          warning: 2
          info: 3
          none: 4

ui:
  multiGridLabel: team
EOF
docker compose restart karma
  • Standard ist order: startsAt, der neueste Alarm zuerst. Für eine Leitwarte ist die Schwere wichtiger.
  • Alphabetisch stünde warning ganz hinten, hinter info und none. customValues gibt jedem Wert eine Zahl, sortiert wird nach der Zahl.
  • multiGridLabel: team baut ein Raster pro Team. Alarme ohne team landen in einem eigenen Raster am Ende.
Ein Raster pro Team, Schwere farbig, Silences am Alarm

Prüfe im Log, dass karma die Datei ohne Fehler gelesen hat:

docker compose logs --no-log-prefix --since 1m karma | grep -c ERROR

Erwartet: 0. Ein Tippfehler im Feldnamen bricht den Start ab, und der Container beendet sich. Im Test mit multiGridLabl stand im Log:

level=ERROR msg="Execution failed" error="failed to parse configuration file
\"/etc/karma/karma.yaml\": yaml: unmarshal errors:\n  line 53: field multiGridLabl
not found in type config.UIConfig"

Das ist streng, aber hilfreich: Unbekannte Felder fallen sofort auf und werden nicht still ignoriert.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die Filtersprache

Tippe in die Suchleiste @state=active, drücke Enter, dann severity=warning und Enter. Jeder Filter wird zu einem Chip mit der Zahl seiner Treffer.

Zwei Filter: nur aktive Warnungen

Die Filter stehen auch in der URL. Die Adresse dieser Ansicht lautet http://172.16.0.61:8000/?q=%40state%3Dactive&q=severity%3Dwarning. So teilst du eine Ansicht mit Kollegen oder legst sie als Lesezeichen ab.

Die wichtigsten Filter:

Filter Bedeutung
team=notes, team!=notes Label gleich oder ungleich
alertname=~Notes Regex, nicht verankert: enthält „Notes“
@state=active Zustand: active, suppressed, unprocessed
@receiver=team-notes Receiver der Gruppe
@age>5m, @age<1h Alarm feuert länger oder kürzer als
@silence_author=du stummgeschaltet von
@alertmanager=prod, @cluster=… Upstream oder Cluster (Tag 9)
@limit=10 höchstens so viele Alarme pro Gruppe
Platte Freitext in Labels und Annotations

Dieselben Filter nimmt die API. Ein Test für drei davon:

curl -s -G localhost:8000/counters.json --data-urlencode 'q=team!=notes' | jq .total
curl -s -G localhost:8000/counters.json --data-urlencode 'q=alertname=~Notes' | jq .total
curl -s -G localhost:8000/counters.json --data-urlencode 'q=@age>5m' | jq .total

Erwartet (deine Zahlen hängen davon ab, wie lange die Alarme schon laufen):

3
1
3
  • team!=notes trifft auch Alarme ohne team, hier den Watchdog. Ungleich heißt „nicht notes“, nicht „ein anderes Team“.
  • alertname=~Notes findet NotesHighErrorRate. In Prometheus wäre die Regex verankert und fände nichts.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

curl -s localhost:8000/counters.json | jq '.total'

Erwartet: 7, jeder Alarm einmal.

curl -s -G localhost:8000/counters.json --data-urlencode 'q=@receiver=archiv' | jq .total

Erwartet: 0, das Archiv ist ausgeblendet.

docker compose logs --no-log-prefix karma | grep -A1 'multiGridLabel'

Erwartet: multiGridLabel: team im Konfigurations-Log.

Challenge

Die Bereitschaft öffnet karma nachts auf dem Handy. Sie will beim Öffnen nur aktive Alarme sehen, ohne Watchdog. Wer mehr sehen will, entfernt die Filter selbst.

Hinweis: Der Abschnitt filters.default setzt Filter für jeden, der karma ohne eigene Filter in der URL öffnet. Werte, die mit @ beginnen, brauchen in YAML Anführungszeichen.

Lösung

cat >> karma/karma.yaml <<'EOF'

filters:
  default:
    - "@state=active"
    - alertname!=Watchdog
EOF
docker compose restart karma

Öffne http://172.16.0.61:8000/ ohne Parameter. karma leitet weiter auf /?q=%40state%3Dactive&q=alertname%21%3DWatchdog:

Standardfilter: nur aktive Alarme, kein Watchdog

Drei Alarme bleiben übrig, alle vom Team notes. Werbeaktion und PlatteVoll a sind stumm, NodeExporterDown ist beim Team plattform durch den Feierabend gedämpft.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Einheitliche Labels sind wichtiger als jede Einstellung in karma. Ohne team und severity an jeder Regel gibt es nichts zu sortieren und zu färben.
  • Für große Leitwarten mehrere karma-Instanzen mit eigenem karma.name und eigenen Standardfiltern betreiben, etwa eine pro Bereich. Das kostet fast nichts.
  • Filter-URLs sind gute Links für Runbooks und Chat-Kanäle: „Alles von Team notes“ als Lesezeichen statt einer Erklärung.
  • labels.strip und receivers.strip sparen Platz, verstecken aber auch. Was in karma fehlt, sucht im Ernstfall niemand mehr im Alertmanager.