Tag 2: Prometheus im Cluster
Ziel: kube-prometheus-stack läuft, und Prometheus findet die Pods von notes-api über einen ServiceMonitor von selbst. · Dauer: ca. 60 min · Voraussetzung: Tag 1
Briefing
- Prometheus holt Metriken per Scrape ab, speichert sie als Zeitreihen und beantwortet Abfragen in PromQL.
- kube-prometheus-stack ist ein Helm-Chart, das einen kompletten Beobachtungs-Stack mitbringt: Prometheus, Alertmanager, Grafana, Exporter für Knoten und Kubernetes-Objekte und fertige Regeln.
- Den Kern bildet der Prometheus Operator. Er führt
neue Ressourcentypen ein, etwa
ServiceMonitor. Du beschreibst darin, was gescrapt werden soll, und der Operator schreibt daraus die Konfiguration von Prometheus. - Ein ServiceMonitor wählt Services über Labels aus. Prometheus scrapt dann jeden Pod hinter dem Service einzeln – genau das, was Tag 1 verlangt hat.
ServiceMonitor notes-api ──► Operator ──► Konfiguration von Prometheus
│
Service notes-api ── Endpunkte ── Pod A, Pod B ◄── Scrape alle 15 s
Drill 1: Das Chart
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo updateErwartet (gekürzt):
"prometheus-community" has been added to your repositories
...
Update Complete. ⎈Happy Helming!⎈
helm search repo prometheus-community/kube-prometheus-stackErwartet:
NAME CHART VERSION APP VERSION DESCRIPTION
prometheus-community/kube-prometheus-stack 92.18.0 v0.94.2 kube-prom...
Die App-Version ist die des Operators. Das Chart bringt Prometheus 3.15, Alertmanager 0.34 und Grafana 13.3 mit.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Werte
Das Chart hat über 5000 Zeilen Voreinstellungen. Du überschreibst nur, was im Lab anders sein soll:
cd ~/obs-lab
cat > kps.yaml <<'EOF'
fullnameOverride: kps
prometheus:
service:
type: NodePort
nodePort: 30090
prometheusSpec:
serviceMonitorSelectorNilUsesHelmValues: false
ruleSelectorNilUsesHelmValues: false
retention: 3d
resources:
requests: {cpu: 100m, memory: 300Mi}
limits: {memory: 800Mi}
alertmanager:
service:
type: NodePort
nodePort: 30093
grafana:
adminPassword: lab-grafana-pw-123
service:
type: NodePort
nodePort: 30300
kubeControllerManager: {enabled: false}
kubeScheduler: {enabled: false}
kubeProxy: {enabled: false}
kubeEtcd: {enabled: false}
EOFfullnameOverride: kpskürzt die Namen aller Objekte. Ohne ihn hieße der Prometheus-Podprometheus-kps-kube-prometheus-stack-prometheus-0.serviceMonitorSelectorNilUsesHelmValues: falseist die wichtigste Zeile. Sonst beachtet Prometheus nur ServiceMonitors mit dem Labelrelease: kps– und deiner würde stillschweigend ignoriert. Dasselbe gilt mitruleSelector…für Regeln.retention: 3d: Prometheus vergisst Daten nach drei Tagen. Das hält die VM schlank.- Controller-Manager, Scheduler, kube-proxy und etcd laufen bei k3s in einem Prozess und sind von außen nicht erreichbar. Das Chart würde sie vergeblich suchen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Installieren
helm install kps prometheus-community/kube-prometheus-stack --version 92.18.0 \
-n monitoring --create-namespace -f kps.yaml --wait --timeout 10mErwartet (nach ein bis drei Minuten, gekürzt):
NAME: kps
NAMESPACE: monitoring
STATUS: deployed
REVISION: 1
kubectl -n monitoring get podsErwartet:
NAME READY STATUS RESTARTS AGE
alertmanager-kps-alertmanager-0 2/2 Running 0 42s
kps-grafana-76b59ccc8-746jn 3/3 Running 0 46s
kps-kube-state-metrics-dc46747f8-tjlrd 1/1 Running 0 46s
kps-operator-7c868dc646-jxcpw 1/1 Running 0 46s
kps-prometheus-node-exporter-2hzgk 1/1 Running 0 46s
prometheus-kps-prometheus-0 2/2 Running 0 40s
- node-exporter liefert Metriken der VM: CPU, Speicher, Platte, Netz.
- kube-state-metrics übersetzt den Zustand der Kubernetes-Objekte in Metriken: Wie viele Replikas sind gewünscht, wie viele bereit?
- Die Pods
prometheus-…undalertmanager-…legt nicht Helm an, sondern der Operator.
Die neuen Ressourcentypen:
kubectl get crd | grep monitoring.coreos.comErwartet (gekürzt):
alertmanagerconfigs.monitoring.coreos.com Namespaced v1alpha1(storage) 2026-...
alertmanagers.monitoring.coreos.com Namespaced v1(storage) 2026-...
podmonitors.monitoring.coreos.com Namespaced v1(storage) 2026-...
...
prometheusrules.monitoring.coreos.com Namespaced v1(storage) 2026-...
servicemonitors.monitoring.coreos.com Namespaced v1(storage) 2026-...
Fortschritt speichern? Kostenlos registrieren
Drill 4: promtool
Die Weboberfläche von Prometheus erreichst du unter
http://<VM-IP>:30090. Für die Shell gibt es
promtool, das Werkzeug aus dem Prometheus-Paket:
cd ~/obs-lab
curl -fsSLO https://github.com/prometheus/prometheus/releases/download/\
v3.15.1/prometheus-3.15.1.linux-amd64.tar.gz
tar xzf prometheus-3.15.1.linux-amd64.tar.gz
mv prometheus-3.15.1.linux-amd64/promtool ~/.local/bin/
rm -r prometheus-3.15.1.linux-amd64*
promtool --version | head -1Erwartet:
promtool, version 3.15.1 (branch: HEAD, revision: bae3eced0a5369e050e83ea...)
Die erste Abfrage: Welche Ziele scrapt Prometheus schon?
promtool query instant http://localhost:30090 'count by (job) (up)'Erwartet (die Reihenfolge wechselt):
{job="kubelet"} => 3 @[1793866605.06]
{job="kps-alertmanager"} => 2 @[1793866605.06]
{job="kube-state-metrics"} => 1 @[1793866605.06]
{job="kps-grafana"} => 1 @[1793866605.06]
{job="kps-prometheus"} => 2 @[1793866605.06]
{job="coredns"} => 1 @[1793866605.06]
{job="apiserver"} => 1 @[1793866605.06]
{job="node-exporter"} => 1 @[1793866605.06]
{job="kps-operator"} => 1 @[1793866605.06]
upist eine Metrik, die Prometheus selbst erzeugt: 1, wenn der letzte Scrape geklappt hat, sonst 0. Eine Zeitreihe pro Ziel.count by (job)zählt die Ziele pro Job. Der Job heißt wie der Service, über den Prometheus das Ziel gefunden hat.kubelethat drei Ziele: den Kubelet selbst, cAdvisor (Container-Metriken) und die Probes. Alertmanager und Prometheus zählen doppelt, weil auch ihr Hilfscontainerconfig-reloaderMetriken liefert.- Hinter
@steht der Zeitpunkt der Antwort in Unix-Sekunden. - notes-api fehlt noch. Prometheus weiß nichts von ihm.
Achtung: Zeigt
kubeletsechs Ziele statt drei? Dann hast du das Chart schon einmal unter anderem Namen installiert. Der Operator legt einen Service für den Kubelet inkube-systeman, undhelm uninstalllässt ihn liegen.kubectl -n kube-system get svczeigt ihn,kubectl deleteentfernt den alten.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Der ServiceMonitor
cat > notes-servicemonitor.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: notes-api
namespace: app
spec:
selector:
matchLabels:
app.kubernetes.io/name: notes-api
endpoints:
- port: http
path: /metrics
interval: 15s
EOF
kubectl apply -f notes-servicemonitor.yamlErwartet:
servicemonitor.monitoring.coreos.com/notes-api created
selectorsucht Services mit dem Labelapp.kubernetes.io/name: notes-api– im selben Namespace wie der ServiceMonitor.port: httpist der Name des Ports im Service. Darum hat er an Tag 0 einen Namen bekommen. Eine Nummer geht hier nicht.interval: 15s: alle 15 Sekunden ein Scrape pro Pod.
Der Operator braucht ein paar Sekunden, um die Konfiguration neu zu schreiben, und Prometheus bis zum ersten Scrape. Nach etwa einer Minute:
promtool query instant http://localhost:30090 'up{job="notes-api"}'Erwartet (eine Zeitreihe steht jeweils in einer Zeile, hier umbrochen):
up{container="notes-api", endpoint="http", instance="10.42.0.43:8080", job="notes-api",
namespace="app", pod="notes-api-57f4f47769-59ks2", service="notes-api"} => 1 @[...]
up{container="notes-api", endpoint="http", instance="10.42.0.42:8080", job="notes-api",
namespace="app", pod="notes-api-57f4f47769-m66nj", service="notes-api"} => 1 @[...]
Zwei Zeitreihen, eine pro Pod. Die Labels namespace,
pod, service und instance hat
Prometheus selbst angehängt – aus dem, was es über Kubernetes gefunden
hat.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Die Metriken von notes-api
promtool query instant http://localhost:30090 'notes_created_total'Erwartet (gekürzt, die Zahlen weichen ab):
notes_created_total{..., pod="notes-api-57f4f47769-59ks2", ...} => 146 @[...]
notes_created_total{..., pod="notes-api-57f4f47769-m66nj", ...} => 148 @[...]
Das sind dieselben Zahlen, die du an Tag 1 per
port-forward gelesen hast – nur dass Prometheus sie jetzt
alle 15 Sekunden für beide Pods abholt und speichert.
promtool query instant http://localhost:30090 'sum(notes_created_total)'Erwartet:
{} => 294 @[...]
sum addiert über alle Zeitreihen. Ohne by
verschwinden dabei alle Labels. Das ist die Summe aus Tag 1, Drill 6 –
ohne Rechnen.
Was die Konfiguration daraus gemacht hat, zeigt die Weboberfläche
unter Status → Target health. Dort steht notes-api als
serviceMonitor/app/notes-api/0 mit zwei Endpunkten.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
promtool query instant http://localhost:30090 'count(up{job="notes-api"} == 1)'Erwartet:
{} => 2 @[...]
== 1 behält nur die Ziele, deren letzter Scrape geklappt
hat. Zwei Pods, beide erreichbar.
kubectl -n monitoring get prometheus kps-prometheusErwartet:
NAME VERSION DESIRED READY RECONCILED AVAILABLE AGE
kps-prometheus v3.15.1-distroless 1 1 True True 2m26s
Auch Prometheus selbst ist eine Ressource des Operators.
Challenge
Skaliere notes-api auf drei Pods. Was musst du am ServiceMonitor ändern, damit Prometheus den dritten Pod scrapt?
Hinweis:
kubectl -n app scale deploy/notes-api --replicas 3, eine
Minute warten, dann die Abfrage aus dem Kontrollpunkt.
Lösung
Nichts:
kubectl -n app scale deploy/notes-api --replicas 3Nach einer Minute:
promtool query instant http://localhost:30090 'count(up{job="notes-api"} == 1)'Erwartet:
{} => 3 @[...]
Der ServiceMonitor zeigt auf den Service, nicht auf Pods. Prometheus beobachtet dessen Endpunkte und bemerkt neue Pods von selbst. Das heißt Service Discovery. Zurück auf zwei:
kubectl -n app scale deploy/notes-api --replicas 2Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Speicher: Im Lab liegen die Daten von Prometheus in
einem
emptyDirund sind nach einem Neustart des Pods weg. Im Betrieb gehört unterprometheusSpec.storageSpecein PersistentVolume. - Hochverfügbarkeit: Zwei Prometheus-Replikas scrapen dasselbe, Alertmanager entfernt doppelte Alarme. Für lange Aufbewahrung und Abfragen über viele Cluster kommen Thanos oder Mimir dazu.
- Wer darf scrapen: ServiceMonitors in jedem
Namespace bedeuten, dass jedes Team selbst bestimmt, was gescrapt wird.
Mit
serviceMonitorNamespaceSelectorgrenzt du das auf freigegebene Namespaces ein.