Zum Inhalt springen
Trainingslager IT-Trainingslager

Vorwort

Alarme sind die einzige Stelle, an der Monitoring einen Menschen erreicht. Alles davor, Metriken, Dashboards und Abfragen, wartet darauf, dass jemand hinschaut. Ein Alarm schaut selbst, und er weckt jemanden. Darum entscheidet die Kette aus Regel, Alertmanager und Empfänger, ob ein Ausfall zehn Minuten dauert oder eine Nacht.

Dieses Buch baut diese Kette Stück für Stück. In Tag 1 entsteht ein Alarm aus einer Regel in Prometheus. Danach übernimmt der Alertmanager: Routen, Receiver, Templates, Inhibition, Silences, Zeitfenster und ein Cluster aus drei Knoten. Ab Tag 7 kommt karma dazu, ein Dashboard, das viele Alertmanager auf einen Bildschirm bringt, Doppeltes zusammenfasst, Silences mit Regeln versieht und zeigt, wenn die Kette selbst kaputt ist. Zum Schluss zieht alles nach Kubernetes um. Als roter Faden läuft notes-api mit Postgres, eine kleine API mit eingebauten Störungen.

Jede Ausgabe in diesem Buch stammt aus einem echten Lauf auf einer Test-VM. Viele Kapitel zeigen, was dabei schiefging: die Route, die den Fallback stillschweigend abschaltet, der Watchdog, der sich nicht an sein Intervall hält, die Inhibition, die genau beim Abklingen versagt, oder der Proxy, der nach dem Neuanlegen von karma plötzlich einen ganz anderen Dienst ausliefert. Diese Stellen sind mit Ausprobiert markiert.

Für wen dieses Buch ist

Für Betriebs- und Plattform-Teams, für SREs und für Entwickler mit Bereitschaft. Du solltest wissen, was eine Metrik und ein Scrape sind, und Docker Compose bedienen können. PromQL brauchst du nur in Grundzügen, das Buch erklärt jede Abfrage. Wer Prometheus noch gar nicht kennt, findet in „Observability zum Anfassen“ den ausführlichen Einstieg. Für Tag 13 helfen Kubernetes-Grundlagen.

Wie das Buch aufgebaut ist

16 Trainingstage, jeder mit derselben Struktur:

  • Ziel und Briefing: worum es geht, in wenigen Punkten.
  • Drills: Schritt für Schritt, jeder Befehl mit der erwarteten Ausgabe.
  • Kontrollpunkt: einzelne Befehle, die zeigen, ob du am Ziel bist.
  • Challenge: eine Aufgabe mit Hinweis und Lösung.
  • Enterprise-Notiz: was im Betrieb anders ist als im Lab.

Tag 0 bis 6 sind der Alertmanager: Gelände, Regeln, Routen, Receiver, Ruhe und Hochverfügbarkeit. Tag 7 bis 12 sind karma: Start, Ansicht und Filter, mehrere Alertmanager, Silences, Zugriff mit ACLs, Historie und Healthchecks. Tag 13 bringt alles auf k3s, Tag 14 ist Betrieb, Tag 15 ein Wettkampf aus fünf Störungen. Am Ende stehen ein Spickzettel und eine Abschlussprüfung.

Was du brauchst

  • Eine Linux-VM mit Ubuntu 24.04, am besten mit 4 vCPUs, 8 GB RAM und 40 GB Platte. Mit 4 GB RAM geht es auch, wenn du in Tag 13 das Compose-Projekt anhältst.
  • Internetzugang für die VM.
  • Einen Browser auf deinem Rechner, für die Oberflächen von karma, Alertmanager und Mailpit.
  • Etwa 15 Stunden, verteilt auf so viele Tage, wie du möchtest.

Versionen

Getestet mit Ubuntu 24.04, Docker 29.10, Docker Compose 5.7, Prometheus 3.16.0, Alertmanager 0.35.0, karma v0.134, node_exporter 1.12.1, Postgres 18.7, Mailpit 1.33.1, Caddy 2.11.9, k3s v1.37.2+k3s1, Helm 4.3.2 und kube-prometheus-stack 93.3.0. Neuere Versionen verhalten sich meist gleich, die Ausgaben können aber abweichen. Im Zweifel helfen die Dokumentation unter prometheus.io/docs/alerting und die Dateien docs/CONFIGURATION.md und docs/ACLs.md im Repository von karma.

Begleitcode

Alle Dateien und Lösungen liegen auf GitHub: github.com/thomaszachmann/karma-zum-anfassen. Dort findest du den Quellcode von notes-api, den Webhook-Empfänger alarm-log und in loesung/ den Stand des Labs nach Tag 15 und nach der Abschlussprüfung.

Viel Spaß im Trainingslager.

Thomas Zachmann