Tag 5: Grafana
Ziel: Du findest dich in Grafana zurecht, nutzt Explore und die mitgelieferten Dashboards und baust ein erstes eigenes Dashboard für notes-api. · Dauer: ca. 60 min · Voraussetzung: Tag 4
Briefing
- Grafana zeichnet, was andere speichern. Es hat selbst keine Daten, sondern fragt Datenquellen ab: Prometheus für Metriken, ab Tag 7 Loki für Logs, ab Tag 10 Tempo für Traces.
- Explore ist der Ort zum Ausprobieren: eine Abfrage, ein Graph, keine Ablage.
- Ein Dashboard besteht aus Panels. Jedes Panel hat eine oder mehrere Abfragen und eine Darstellung – Zeitreihe, Einzelwert, Tabelle.
- kube-prometheus-stack bringt Grafana fertig verdrahtet mit: Datenquellen und gut zwei Dutzend Dashboards für Kubernetes sind schon da.
Browser ──► :30300 Grafana ──► Datenquelle Prometheus ──► kps-prometheus:9090
└────► Datenquelle Alertmanager ─► kps-alertmanager:9093
Drill 1: Anmelden
Grafana antwortet auch ohne Anmeldung, ob es gesund ist:
curl -s localhost:30300/api/healthErwartet:
{
"database": "ok",
"version": "13.3.0",
"commit": "6f8ce3c693b493043ebcd4787566d2b6b118b0f0"
}
Öffne im Browser http://<VM-IP>:30300 und melde
dich an: Benutzer admin, Passwort
lab-grafana-pw-123 – das Passwort aus
kps.yaml. Grafana fragt nicht nach einem neuen Passwort,
weil das Chart es gesetzt hat.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Datenquellen
Alles, was die Oberfläche zeigt, gibt es auch über die HTTP-API. Mit
Benutzer und Passwort per -u:
curl -s -u admin:lab-grafana-pw-123 localhost:30300/api/datasources \
| jq -c '.[] | [.name, .uid, .url]'Erwartet:
["Alertmanager","alertmanager","http://kps-alertmanager.monitoring:9093/"]
["Prometheus","prometheus","http://kps-prometheus.monitoring:9090/"]
- Grafana spricht Prometheus über den Service im Cluster an, nicht über den NodePort.
- Die uid ist der feste Name einer Datenquelle. Dashboards verweisen auf sie – das wird an Tag 6 wichtig.
- Angelegt hat die Datenquellen ein Hilfscontainer im Grafana-Pod. Er liest ConfigMaps mit einem bestimmten Label und gibt sie an Grafana weiter. Darum hat der Pod drei Container.
In der Oberfläche findest du sie unter Connections → Data sources.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Explore
Klicke links im Menü auf Explore. Oben steht die
Datenquelle Prometheus.
- Schalte den Editor rechts von Builder auf Code.
- Gib die Recording Rule aus Tag 3 ein:
sum by (method) (job:notes_http_requests:rate5m) - Klicke Run query (oder drücke
Shift+Enter).
Erwartet: zwei Linien, GET knapp über 4 und
POST bei 1, darunter eine Tabelle mit denselben Werten.
- Oben rechts stellst du den Zeitraum ein. Wähle Last 30 minutes: Die Einbrüche und Spitzen von Tag 4 sind zu sehen – Fehler, Pods auf null, Verzögerung.
- Unter Options → Legend wird aus
{method="GET"}mit{{method}}ein schlichtesGET. - Explore merkt sich nichts. Was du behalten willst, kommt in ein Dashboard.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Mitgelieferte Dashboards
curl -s -u admin:lab-grafana-pw-123 \
'localhost:30300/api/search?type=dash-db&query=Kubernetes' | jq -r '.[].title'Erwartet (gekürzt):
Kubernetes / API server
Kubernetes / Compute Resources / Multi-Cluster
Kubernetes / Compute Resources / Cluster
Kubernetes / Compute Resources / Namespace (Pods)
...
Kubernetes / Persistent Volumes
Öffne in der Oberfläche Dashboards und dort
Kubernetes / Compute Resources / Namespace (Pods).
Wähle oben bei namespace den Wert app.
Erwartet: Panels für CPU und Speicher, aufgeteilt nach Pod.
postgres-0 braucht die meiste CPU, die beiden Pods von
notes-api teilen sich den Rest.
Vergleiche mit dem, was Kubernetes selbst meldet:
kubectl -n app top podsErwartet (die Zahlen weichen ab):
NAME CPU(cores) MEMORY(bytes)
last-6fdd4b976d-47f97 14m 3Mi
notes-api-57f4f47769-frk2p 13m 7Mi
notes-api-57f4f47769-s66pc 11m 7Mi
postgres-0 33m 64Mi
Dieselben Größenordnungen. kubectl top fragt den
metrics-server von k3s, das Dashboard fragt Prometheus nach den Metriken
von cAdvisor. Beide stammen aus dem Kubelet.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Ein eigenes Dashboard
- Dashboards → New → New dashboard, dann Add visualization.
- Datenquelle Prometheus wählen.
- Im Abfrage-Editor auf Code schalten und eingeben:
sum by (method) (job:notes_http_requests:rate5m) - Bei Legend auf Custom stellen und
{{method}}eintragen. - Rechts im Optionsbereich: Title
Anfragen pro Sekunde, unter Standard options → Unitrequests/sec (rps). - Oben Save dashboard, Titel
notes-api, speichern.
Ein zweites Panel für die Antwortzeit:
- Add → Visualization.
- Abfrage:
job:notes_http_request_duration_seconds:p95_5m, Legendp95. - Title
Antwortzeit p95, Unitseconds (s). - Unter Thresholds den roten Wert von
80auf0.25ändern und bei Show thresholdsAs lineswählen. - Speichern.
Erwartet: zwei Panels. Die Linie im zweiten liegt bei wenigen Millisekunden, die rote Linie bei 250 ms ist dieselbe Grenze wie im Alarm NotesApiSlow.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Das Dashboard über die API
curl -s -u admin:lab-grafana-pw-123 \
'localhost:30300/api/search?type=dash-db&query=notes-api' | jq '.[0] | {title, uid}'Erwartet (die uid weicht ab):
{
"title": "notes-api",
"uid": "al6g5q"
}
Die uid ist der feste Name des Dashboards, sie steht
auch in seiner Adresse im Browser:
http://<VM-IP>:30300/d/al6g5q/notes-api.
Den Inhalt siehst du in der Oberfläche: Im Dashboard oben Export → Export as JSON. Ein Dashboard ist nichts anderes als ein JSON-Dokument mit Panels, Abfragen und Einstellungen. Klickst du es zusammen, lebt es nur in der Datenbank von Grafana. Wie es in Git kommt, zeigt Tag 6.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
curl -s -u admin:lab-grafana-pw-123 \
'localhost:30300/api/search?type=dash-db&query=notes-api' | jq -r '.[].title'Erwartet:
notes-api
curl -s -u admin:lab-grafana-pw-123 \
'localhost:30300/api/search?type=dash-db' | jq lengthErwartet:
26
25 mitgelieferte und dein eigenes.
Challenge
Ergänze das Dashboard um ein Panel Fehlerquote, das
den Anteil der 5xx-Antworten in Prozent zeigt. Löse mit
NOTES_ERROR_RATE=0.1 eine Störung aus und sieh zu.
Hinweis: Die Recording Rule hat das Label
code. Als Einheit passt Percent (0.0-1.0).
Lösung
Abfrage im neuen Panel:
sum(job:notes_http_requests:rate5m{code=~"5.."})
/ sum(job:notes_http_requests:rate5m)
Unit Percent (0.0-1.0), Titel
Fehlerquote, speichern. Dann:
kubectl -n app set env deploy/notes-api NOTES_ERROR_RATE=0.1Erwartet: Innerhalb von fünf Minuten steigt die Linie auf rund 9
Prozent – nicht 10, weil /healthz und /metrics
nie scheitern und im Nenner mitzählen. Ohne Störung zeigt das Panel
No data: Gibt es keine 5xx-Antwort, gibt es auch keine
Zeitreihe mit code=~"5..".
Zurücknehmen:
kubectl -n app set env deploy/notes-api NOTES_ERROR_RATE-Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Anmeldung über SSO: Im Betrieb meldet sich niemand
als
adminan. Grafana spricht OIDC, SAML und LDAP und ordnet Gruppen Rollen zu: Viewer, Editor, Admin. - Ordner und Rechte: Dashboards liegen in Ordnern, Rechte hängen am Ordner. Jedes Team bekommt einen eigenen.
- „No data“ ist eine Aussage: Ein leeres Panel kann
heißen „kein Fehler“ oder „keine Daten“. Mit
or vector(0)am Ende der Abfrage zeigt das Panel 0 statt nichts – aber auch dann, wenn notes-api gar nicht gescrapt wird.