Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 5: Grafana

Ziel: Du findest dich in Grafana zurecht, nutzt Explore und die mitgelieferten Dashboards und baust ein erstes eigenes Dashboard für notes-api. · Dauer: ca. 60 min · Voraussetzung: Tag 4

Briefing

  • Grafana zeichnet, was andere speichern. Es hat selbst keine Daten, sondern fragt Datenquellen ab: Prometheus für Metriken, ab Tag 7 Loki für Logs, ab Tag 10 Tempo für Traces.
  • Explore ist der Ort zum Ausprobieren: eine Abfrage, ein Graph, keine Ablage.
  • Ein Dashboard besteht aus Panels. Jedes Panel hat eine oder mehrere Abfragen und eine Darstellung – Zeitreihe, Einzelwert, Tabelle.
  • kube-prometheus-stack bringt Grafana fertig verdrahtet mit: Datenquellen und gut zwei Dutzend Dashboards für Kubernetes sind schon da.
 Browser ──► :30300 Grafana ──► Datenquelle Prometheus ──► kps-prometheus:9090
                         └────► Datenquelle Alertmanager ─► kps-alertmanager:9093

Drill 1: Anmelden

Grafana antwortet auch ohne Anmeldung, ob es gesund ist:

curl -s localhost:30300/api/health

Erwartet:

{
  "database": "ok",
  "version": "13.3.0",
  "commit": "6f8ce3c693b493043ebcd4787566d2b6b118b0f0"
}

Öffne im Browser http://<VM-IP>:30300 und melde dich an: Benutzer admin, Passwort lab-grafana-pw-123 – das Passwort aus kps.yaml. Grafana fragt nicht nach einem neuen Passwort, weil das Chart es gesetzt hat.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Datenquellen

Alles, was die Oberfläche zeigt, gibt es auch über die HTTP-API. Mit Benutzer und Passwort per -u:

curl -s -u admin:lab-grafana-pw-123 localhost:30300/api/datasources \
  | jq -c '.[] | [.name, .uid, .url]'

Erwartet:

["Alertmanager","alertmanager","http://kps-alertmanager.monitoring:9093/"]
["Prometheus","prometheus","http://kps-prometheus.monitoring:9090/"]
  • Grafana spricht Prometheus über den Service im Cluster an, nicht über den NodePort.
  • Die uid ist der feste Name einer Datenquelle. Dashboards verweisen auf sie – das wird an Tag 6 wichtig.
  • Angelegt hat die Datenquellen ein Hilfscontainer im Grafana-Pod. Er liest ConfigMaps mit einem bestimmten Label und gibt sie an Grafana weiter. Darum hat der Pod drei Container.

In der Oberfläche findest du sie unter Connections → Data sources.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Explore

Klicke links im Menü auf Explore. Oben steht die Datenquelle Prometheus.

  1. Schalte den Editor rechts von Builder auf Code.
  2. Gib die Recording Rule aus Tag 3 ein: sum by (method) (job:notes_http_requests:rate5m)
  3. Klicke Run query (oder drücke Shift+Enter).

Erwartet: zwei Linien, GET knapp über 4 und POST bei 1, darunter eine Tabelle mit denselben Werten.

  • Oben rechts stellst du den Zeitraum ein. Wähle Last 30 minutes: Die Einbrüche und Spitzen von Tag 4 sind zu sehen – Fehler, Pods auf null, Verzögerung.
  • Unter Options → Legend wird aus {method="GET"} mit {{method}} ein schlichtes GET.
  • Explore merkt sich nichts. Was du behalten willst, kommt in ein Dashboard.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Mitgelieferte Dashboards

curl -s -u admin:lab-grafana-pw-123 \
  'localhost:30300/api/search?type=dash-db&query=Kubernetes' | jq -r '.[].title'

Erwartet (gekürzt):

Kubernetes / API server
Kubernetes / Compute Resources /  Multi-Cluster
Kubernetes / Compute Resources / Cluster
Kubernetes / Compute Resources / Namespace (Pods)
...
Kubernetes / Persistent Volumes

Öffne in der Oberfläche Dashboards und dort Kubernetes / Compute Resources / Namespace (Pods). Wähle oben bei namespace den Wert app.

Erwartet: Panels für CPU und Speicher, aufgeteilt nach Pod. postgres-0 braucht die meiste CPU, die beiden Pods von notes-api teilen sich den Rest.

Vergleiche mit dem, was Kubernetes selbst meldet:

kubectl -n app top pods

Erwartet (die Zahlen weichen ab):

NAME                         CPU(cores)   MEMORY(bytes)
last-6fdd4b976d-47f97        14m          3Mi
notes-api-57f4f47769-frk2p   13m          7Mi
notes-api-57f4f47769-s66pc   11m          7Mi
postgres-0                   33m          64Mi

Dieselben Größenordnungen. kubectl top fragt den metrics-server von k3s, das Dashboard fragt Prometheus nach den Metriken von cAdvisor. Beide stammen aus dem Kubelet.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Ein eigenes Dashboard

  1. Dashboards → New → New dashboard, dann Add visualization.
  2. Datenquelle Prometheus wählen.
  3. Im Abfrage-Editor auf Code schalten und eingeben: sum by (method) (job:notes_http_requests:rate5m)
  4. Bei Legend auf Custom stellen und {{method}} eintragen.
  5. Rechts im Optionsbereich: Title Anfragen pro Sekunde, unter Standard options → Unit requests/sec (rps).
  6. Oben Save dashboard, Titel notes-api, speichern.

Ein zweites Panel für die Antwortzeit:

  1. Add → Visualization.
  2. Abfrage: job:notes_http_request_duration_seconds:p95_5m, Legend p95.
  3. Title Antwortzeit p95, Unit seconds (s).
  4. Unter Thresholds den roten Wert von 80 auf 0.25 ändern und bei Show thresholds As lines wählen.
  5. Speichern.

Erwartet: zwei Panels. Die Linie im zweiten liegt bei wenigen Millisekunden, die rote Linie bei 250 ms ist dieselbe Grenze wie im Alarm NotesApiSlow.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Das Dashboard über die API

curl -s -u admin:lab-grafana-pw-123 \
  'localhost:30300/api/search?type=dash-db&query=notes-api' | jq '.[0] | {title, uid}'

Erwartet (die uid weicht ab):

{
  "title": "notes-api",
  "uid": "al6g5q"
}

Die uid ist der feste Name des Dashboards, sie steht auch in seiner Adresse im Browser: http://<VM-IP>:30300/d/al6g5q/notes-api.

Den Inhalt siehst du in der Oberfläche: Im Dashboard oben Export → Export as JSON. Ein Dashboard ist nichts anderes als ein JSON-Dokument mit Panels, Abfragen und Einstellungen. Klickst du es zusammen, lebt es nur in der Datenbank von Grafana. Wie es in Git kommt, zeigt Tag 6.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

curl -s -u admin:lab-grafana-pw-123 \
  'localhost:30300/api/search?type=dash-db&query=notes-api' | jq -r '.[].title'

Erwartet:

notes-api
curl -s -u admin:lab-grafana-pw-123 \
  'localhost:30300/api/search?type=dash-db' | jq length

Erwartet:

26

25 mitgelieferte und dein eigenes.

Challenge

Ergänze das Dashboard um ein Panel Fehlerquote, das den Anteil der 5xx-Antworten in Prozent zeigt. Löse mit NOTES_ERROR_RATE=0.1 eine Störung aus und sieh zu.

Hinweis: Die Recording Rule hat das Label code. Als Einheit passt Percent (0.0-1.0).

Lösung

Abfrage im neuen Panel:

sum(job:notes_http_requests:rate5m{code=~"5.."})
  / sum(job:notes_http_requests:rate5m)

Unit Percent (0.0-1.0), Titel Fehlerquote, speichern. Dann:

kubectl -n app set env deploy/notes-api NOTES_ERROR_RATE=0.1

Erwartet: Innerhalb von fünf Minuten steigt die Linie auf rund 9 Prozent – nicht 10, weil /healthz und /metrics nie scheitern und im Nenner mitzählen. Ohne Störung zeigt das Panel No data: Gibt es keine 5xx-Antwort, gibt es auch keine Zeitreihe mit code=~"5..".

Zurücknehmen:

kubectl -n app set env deploy/notes-api NOTES_ERROR_RATE-

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Anmeldung über SSO: Im Betrieb meldet sich niemand als admin an. Grafana spricht OIDC, SAML und LDAP und ordnet Gruppen Rollen zu: Viewer, Editor, Admin.
  • Ordner und Rechte: Dashboards liegen in Ordnern, Rechte hängen am Ordner. Jedes Team bekommt einen eigenen.
  • „No data“ ist eine Aussage: Ein leeres Panel kann heißen „kein Fehler“ oder „keine Daten“. Mit or vector(0) am Ende der Abfrage zeigt das Panel 0 statt nichts – aber auch dann, wenn notes-api gar nicht gescrapt wird.