Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 2: Prometheus im Cluster

Ziel: kube-prometheus-stack läuft, und Prometheus findet die Pods von notes-api über einen ServiceMonitor von selbst. · Dauer: ca. 60 min · Voraussetzung: Tag 1

Briefing

  • Prometheus holt Metriken per Scrape ab, speichert sie als Zeitreihen und beantwortet Abfragen in PromQL.
  • kube-prometheus-stack ist ein Helm-Chart, das einen kompletten Beobachtungs-Stack mitbringt: Prometheus, Alertmanager, Grafana, Exporter für Knoten und Kubernetes-Objekte und fertige Regeln.
  • Den Kern bildet der Prometheus Operator. Er führt neue Ressourcentypen ein, etwa ServiceMonitor. Du beschreibst darin, was gescrapt werden soll, und der Operator schreibt daraus die Konfiguration von Prometheus.
  • Ein ServiceMonitor wählt Services über Labels aus. Prometheus scrapt dann jeden Pod hinter dem Service einzeln – genau das, was Tag 1 verlangt hat.
 ServiceMonitor notes-api ──► Operator ──► Konfiguration von Prometheus
                                              │
 Service notes-api ── Endpunkte ── Pod A, Pod B ◄── Scrape alle 15 s

Drill 1: Das Chart

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update

Erwartet (gekürzt):

"prometheus-community" has been added to your repositories
...
Update Complete. ⎈Happy Helming!⎈
helm search repo prometheus-community/kube-prometheus-stack

Erwartet:

NAME                                        CHART VERSION  APP VERSION  DESCRIPTION
prometheus-community/kube-prometheus-stack  92.18.0        v0.94.2      kube-prom...

Die App-Version ist die des Operators. Das Chart bringt Prometheus 3.15, Alertmanager 0.34 und Grafana 13.3 mit.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Werte

Das Chart hat über 5000 Zeilen Voreinstellungen. Du überschreibst nur, was im Lab anders sein soll:

cd ~/obs-lab
cat > kps.yaml <<'EOF'
fullnameOverride: kps

prometheus:
  service:
    type: NodePort
    nodePort: 30090
  prometheusSpec:
    serviceMonitorSelectorNilUsesHelmValues: false
    ruleSelectorNilUsesHelmValues: false
    retention: 3d
    resources:
      requests: {cpu: 100m, memory: 300Mi}
      limits: {memory: 800Mi}

alertmanager:
  service:
    type: NodePort
    nodePort: 30093

grafana:
  adminPassword: lab-grafana-pw-123
  service:
    type: NodePort
    nodePort: 30300

kubeControllerManager: {enabled: false}
kubeScheduler: {enabled: false}
kubeProxy: {enabled: false}
kubeEtcd: {enabled: false}
EOF
  • fullnameOverride: kps kürzt die Namen aller Objekte. Ohne ihn hieße der Prometheus-Pod prometheus-kps-kube-prometheus-stack-prometheus-0.
  • serviceMonitorSelectorNilUsesHelmValues: false ist die wichtigste Zeile. Sonst beachtet Prometheus nur ServiceMonitors mit dem Label release: kps – und deiner würde stillschweigend ignoriert. Dasselbe gilt mit ruleSelector… für Regeln.
  • retention: 3d: Prometheus vergisst Daten nach drei Tagen. Das hält die VM schlank.
  • Controller-Manager, Scheduler, kube-proxy und etcd laufen bei k3s in einem Prozess und sind von außen nicht erreichbar. Das Chart würde sie vergeblich suchen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Installieren

helm install kps prometheus-community/kube-prometheus-stack --version 92.18.0 \
  -n monitoring --create-namespace -f kps.yaml --wait --timeout 10m

Erwartet (nach ein bis drei Minuten, gekürzt):

NAME: kps
NAMESPACE: monitoring
STATUS: deployed
REVISION: 1
kubectl -n monitoring get pods

Erwartet:

NAME                                     READY   STATUS    RESTARTS   AGE
alertmanager-kps-alertmanager-0          2/2     Running   0          42s
kps-grafana-76b59ccc8-746jn              3/3     Running   0          46s
kps-kube-state-metrics-dc46747f8-tjlrd   1/1     Running   0          46s
kps-operator-7c868dc646-jxcpw            1/1     Running   0          46s
kps-prometheus-node-exporter-2hzgk       1/1     Running   0          46s
prometheus-kps-prometheus-0              2/2     Running   0          40s
  • node-exporter liefert Metriken der VM: CPU, Speicher, Platte, Netz.
  • kube-state-metrics übersetzt den Zustand der Kubernetes-Objekte in Metriken: Wie viele Replikas sind gewünscht, wie viele bereit?
  • Die Pods prometheus-… und alertmanager-… legt nicht Helm an, sondern der Operator.

Die neuen Ressourcentypen:

kubectl get crd | grep monitoring.coreos.com

Erwartet (gekürzt):

alertmanagerconfigs.monitoring.coreos.com   Namespaced   v1alpha1(storage)   2026-...
alertmanagers.monitoring.coreos.com         Namespaced   v1(storage)         2026-...
podmonitors.monitoring.coreos.com           Namespaced   v1(storage)         2026-...
...
prometheusrules.monitoring.coreos.com       Namespaced   v1(storage)         2026-...
servicemonitors.monitoring.coreos.com       Namespaced   v1(storage)         2026-...

Fortschritt speichern? Kostenlos registrieren

Drill 4: promtool

Die Weboberfläche von Prometheus erreichst du unter http://<VM-IP>:30090. Für die Shell gibt es promtool, das Werkzeug aus dem Prometheus-Paket:

cd ~/obs-lab
curl -fsSLO https://github.com/prometheus/prometheus/releases/download/\
v3.15.1/prometheus-3.15.1.linux-amd64.tar.gz
tar xzf prometheus-3.15.1.linux-amd64.tar.gz
mv prometheus-3.15.1.linux-amd64/promtool ~/.local/bin/
rm -r prometheus-3.15.1.linux-amd64*
promtool --version | head -1

Erwartet:

promtool, version 3.15.1 (branch: HEAD, revision: bae3eced0a5369e050e83ea...)

Die erste Abfrage: Welche Ziele scrapt Prometheus schon?

promtool query instant http://localhost:30090 'count by (job) (up)'

Erwartet (die Reihenfolge wechselt):

{job="kubelet"} => 3 @[1793866605.06]
{job="kps-alertmanager"} => 2 @[1793866605.06]
{job="kube-state-metrics"} => 1 @[1793866605.06]
{job="kps-grafana"} => 1 @[1793866605.06]
{job="kps-prometheus"} => 2 @[1793866605.06]
{job="coredns"} => 1 @[1793866605.06]
{job="apiserver"} => 1 @[1793866605.06]
{job="node-exporter"} => 1 @[1793866605.06]
{job="kps-operator"} => 1 @[1793866605.06]
  • up ist eine Metrik, die Prometheus selbst erzeugt: 1, wenn der letzte Scrape geklappt hat, sonst 0. Eine Zeitreihe pro Ziel.
  • count by (job) zählt die Ziele pro Job. Der Job heißt wie der Service, über den Prometheus das Ziel gefunden hat.
  • kubelet hat drei Ziele: den Kubelet selbst, cAdvisor (Container-Metriken) und die Probes. Alertmanager und Prometheus zählen doppelt, weil auch ihr Hilfscontainer config-reloader Metriken liefert.
  • Hinter @ steht der Zeitpunkt der Antwort in Unix-Sekunden.
  • notes-api fehlt noch. Prometheus weiß nichts von ihm.

Achtung: Zeigt kubelet sechs Ziele statt drei? Dann hast du das Chart schon einmal unter anderem Namen installiert. Der Operator legt einen Service für den Kubelet in kube-system an, und helm uninstall lässt ihn liegen. kubectl -n kube-system get svc zeigt ihn, kubectl delete entfernt den alten.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Der ServiceMonitor

cat > notes-servicemonitor.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: notes-api
  namespace: app
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: notes-api
  endpoints:
    - port: http
      path: /metrics
      interval: 15s
EOF
kubectl apply -f notes-servicemonitor.yaml

Erwartet:

servicemonitor.monitoring.coreos.com/notes-api created
  • selector sucht Services mit dem Label app.kubernetes.io/name: notes-api – im selben Namespace wie der ServiceMonitor.
  • port: http ist der Name des Ports im Service. Darum hat er an Tag 0 einen Namen bekommen. Eine Nummer geht hier nicht.
  • interval: 15s: alle 15 Sekunden ein Scrape pro Pod.

Der Operator braucht ein paar Sekunden, um die Konfiguration neu zu schreiben, und Prometheus bis zum ersten Scrape. Nach etwa einer Minute:

promtool query instant http://localhost:30090 'up{job="notes-api"}'

Erwartet (eine Zeitreihe steht jeweils in einer Zeile, hier umbrochen):

up{container="notes-api", endpoint="http", instance="10.42.0.43:8080", job="notes-api",
namespace="app", pod="notes-api-57f4f47769-59ks2", service="notes-api"} => 1 @[...]
up{container="notes-api", endpoint="http", instance="10.42.0.42:8080", job="notes-api",
namespace="app", pod="notes-api-57f4f47769-m66nj", service="notes-api"} => 1 @[...]

Zwei Zeitreihen, eine pro Pod. Die Labels namespace, pod, service und instance hat Prometheus selbst angehängt – aus dem, was es über Kubernetes gefunden hat.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Die Metriken von notes-api

promtool query instant http://localhost:30090 'notes_created_total'

Erwartet (gekürzt, die Zahlen weichen ab):

notes_created_total{..., pod="notes-api-57f4f47769-59ks2", ...} => 146 @[...]
notes_created_total{..., pod="notes-api-57f4f47769-m66nj", ...} => 148 @[...]

Das sind dieselben Zahlen, die du an Tag 1 per port-forward gelesen hast – nur dass Prometheus sie jetzt alle 15 Sekunden für beide Pods abholt und speichert.

promtool query instant http://localhost:30090 'sum(notes_created_total)'

Erwartet:

{} => 294 @[...]

sum addiert über alle Zeitreihen. Ohne by verschwinden dabei alle Labels. Das ist die Summe aus Tag 1, Drill 6 – ohne Rechnen.

Was die Konfiguration daraus gemacht hat, zeigt die Weboberfläche unter Status → Target health. Dort steht notes-api als serviceMonitor/app/notes-api/0 mit zwei Endpunkten.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

promtool query instant http://localhost:30090 'count(up{job="notes-api"} == 1)'

Erwartet:

{} => 2 @[...]

== 1 behält nur die Ziele, deren letzter Scrape geklappt hat. Zwei Pods, beide erreichbar.

kubectl -n monitoring get prometheus kps-prometheus

Erwartet:

NAME             VERSION              DESIRED   READY   RECONCILED   AVAILABLE   AGE
kps-prometheus   v3.15.1-distroless   1         1       True         True        2m26s

Auch Prometheus selbst ist eine Ressource des Operators.

Challenge

Skaliere notes-api auf drei Pods. Was musst du am ServiceMonitor ändern, damit Prometheus den dritten Pod scrapt?

Hinweis: kubectl -n app scale deploy/notes-api --replicas 3, eine Minute warten, dann die Abfrage aus dem Kontrollpunkt.

Lösung

Nichts:

kubectl -n app scale deploy/notes-api --replicas 3

Nach einer Minute:

promtool query instant http://localhost:30090 'count(up{job="notes-api"} == 1)'

Erwartet:

{} => 3 @[...]

Der ServiceMonitor zeigt auf den Service, nicht auf Pods. Prometheus beobachtet dessen Endpunkte und bemerkt neue Pods von selbst. Das heißt Service Discovery. Zurück auf zwei:

kubectl -n app scale deploy/notes-api --replicas 2

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Speicher: Im Lab liegen die Daten von Prometheus in einem emptyDir und sind nach einem Neustart des Pods weg. Im Betrieb gehört unter prometheusSpec.storageSpec ein PersistentVolume.
  • Hochverfügbarkeit: Zwei Prometheus-Replikas scrapen dasselbe, Alertmanager entfernt doppelte Alarme. Für lange Aufbewahrung und Abfragen über viele Cluster kommen Thanos oder Mimir dazu.
  • Wer darf scrapen: ServiceMonitors in jedem Namespace bedeuten, dass jedes Team selbst bestimmt, was gescrapt wird. Mit serviceMonitorNamespaceSelector grenzt du das auf freigegebene Namespaces ein.