Zum Inhalt springen
Trainingslager IT-Trainingslager

Vorwort

Wenig lesen, viel tippen. Um drei Uhr nachts zählt nicht, wie viele Dashboards es gibt, sondern ob du in fünf Minuten weißt, was kaputt ist, seit wann und warum. Dafür braucht es drei Signale – Metriken, Logs und Traces – und die Übung, von einem zum anderen zu springen.

Dieses Buch macht dich sicher im Umgang mit Observability auf Kubernetes. Du liest Metriken von Hand, bevor Prometheus sie abholt, schreibst PromQL, Recording Rules und Alarme und leitest sie über den Alertmanager weiter. Du baust Dashboards in Grafana und legst sie als Code ab. Logs sammelt Alloy ein, Loki speichert sie, LogQL zerlegt sie. Der OpenTelemetry Collector verteilt alle drei Signale, Tempo speichert Traces, und am Ende verbindest du alles über die Trace-ID. Dazu kommen SLOs mit Burn-Rate-Alarmen, der Blick auf Kubernetes selbst und der Betrieb des ganzen Stacks.

Der rote Faden ist notes-api, eine kleine Notiz-API in Go mit Postgres. Sie liefert von Anfang an Metriken und Logs und kann sich auf Knopfdruck verlangsamen oder Fehler werfen. Ein Lastgenerator sorgt rund um die Uhr für Betrieb. An Tag 10 bekommt notes-api Traces – mit einer einzigen neuen Datei.

Das Buch richtet sich an Admins, SREs, Platform-Leute und Entwickler, die Kubernetes und die Kommandozeile kennen und ihre Systeme verstehen wollen, statt Dashboards anzustarren.

Die Trainingsregeln

  1. Tippen, nicht kopieren. Jeder Befehl einmal selbst.
  2. Erwartet vergleichen. Nach jedem Drill steht, was du sehen solltest. Weicht es ab, findest du dort die eigentliche Lektion.
  3. Erst die Zahl, dann das Bild. Jede Abfrage läuft zuerst in der Shell (promtool, logcli, curl), danach in Grafana. Wer die Zahl kennt, liest den Graphen richtig.
  4. Kontrollpunkt bestehen. Erst wenn die Prüfbefehle zeigen, was dort steht, geht es weiter.
  5. Challenge allein lösen. Erst den Hinweis, dann die Lösung.
  6. Lab-Werte bleiben im Lab. lab-api-key-123, lab-db-pw-123, lab-grafana-pw-123 und die anderen lab-…-Werte sind Übungsdaten. Echte Geheimnisse haben in diesem Buch nichts zu suchen.

Achtung: Alle Ausgaben stammen aus echten Testläufen. Zeiten, IDs, Pod-Namen und Messwerte werden bei dir abweichen. Entscheidend ist, was passiert.

Aufbau jedes Trainingstags

Abschnitt Zweck
Briefing Das Nötigste in wenigen Stichpunkten
Drills Befehle und Konfiguration mit erwarteter Ausgabe
Kontrollpunkt Einzelne Prüfbefehle: hat alles geklappt?
Challenge Eine Aufgabe ohne Anleitung
Enterprise-Notiz Was im Betrieb anders ist

Der Trainingsplan

Teil Tag Einheit
1 – Metriken 0 Das Trainingsgelände
1 Metriken von Hand lesen
2 Prometheus im Cluster
3 PromQL und Recording Rules
4 Alarme mit Alertmanager
2 – Sehen 5 Grafana
6 Dashboards als Code
3 – Logs 7 Logs mit Loki und Alloy
8 Strukturierte Logs und Log-Alarme
4 – Traces 9 Der OpenTelemetry Collector
10 Traces mit Tempo
11 Metriken, Logs und Traces verbinden
5 – Betrieb 12 SLOs und Burn-Rate-Alarme
13 Kubernetes beobachten
14 Den Stack betreiben
Wettkampf 15 Fünf Störungen
Anhang A Spickzettel
B Abschlussprüfung

Das Labor

Gearbeitet wird per SSH auf einer Ubuntu-26.04-VM obs mit 4 CPUs und 8 GB RAM, die du per Multipass startest. Jede andere Linux-VM mit sudo und Internetzugang tut es auch. Darauf laufen k3s, notes-api und der ganze Stack. Grafana öffnest du im Browser deines Laptops.

Die getesteten Versionen: k3s 1.37, Helm 4.3, Docker 29.9, Go 1.27, kube-prometheus-stack 92.18 (Prometheus 3.15, Alertmanager 0.34, Grafana 13.3, Prometheus Operator 0.94), Loki 3.7 (Chart 20.4), Alloy 1.21 (Chart 1.15), Tempo 3.1 (Chart 3.2), OpenTelemetry Collector 0.163 (Chart 0.178), OpenTelemetry Go 1.47.

Den Begleitcode findest du unter https://github.com/thomaszachmann/observability-zum-anfassen; Tag 0 holt ihn per git clone. Er enthält notes-api und die Manifeste für den Cluster – Werte-Dateien, Regeln und Dashboards schreibst du selbst.

Wo dieses Buch einen Bereich nur anreißt, gehen die Schwesterbücher in die Tiefe: „Kubernetes zum Anfassen“ für den Cluster, „Go zum Anfassen“ für den Code von notes-api, „Dockerfiles zum Anfassen“ für sein Image.

Los geht’s.