Tag 14: Den Stack betreiben
Ziel: Du weißt, was Prometheus speichert und was es kostet, schneidest teure Metriken ab, beobachtest den Stack selbst und spielst ein Upgrade samt Rücksprung durch. · Dauer: ca. 75 min · Voraussetzung: Tag 13
Briefing
- Ein Beobachtungs-Stack ist selbst eine Anwendung – mit Speicher, der vollläuft, Abfragen, die zu teuer werden, und Upgrades, die schiefgehen können.
- Der größte Kostentreiber bei Prometheus ist die Zahl der Zeitreihen im Head, dem Teil der Daten, der noch im Arbeitsspeicher liegt. Jede Zeitreihe kostet dort einige Kilobyte.
- Was nicht gebraucht wird, sollte gar nicht erst gespeichert werden. Relabeling verwirft Metriken beim Scrape, bevor sie Platz kosten.
- Meta-Monitoring heißt: Prometheus, Loki und Collector melden ihre eigenen Kennzahlen. Auch wer beobachtet, muss beobachtet werden.
Scrape ──► metricRelabelings ──► Head (RAM) ──► Blöcke (Platte) ──► Retention
(verwerfen) │
prometheus_tsdb_*
Drill 1: Was Prometheus speichert
curl -s localhost:30090/api/v1/status/tsdb | jq '.data.headStats'Erwartet (die Zahlen weichen ab):
{
"numSeries": 128726,
"numLabelPairs": 6410,
"chunkCount": 253003,
"minTime": 1793871784853,
"maxTime": 1793874279677
}
Fast 130 000 Zeitreihen. Welche Metriken bringen die meisten mit?
curl -s localhost:30090/api/v1/status/tsdb \
| jq -r '.data.seriesCountByMetricName[:5][] | "\(.value)\t\(.name)"'Erwartet (ungefähr):
13702 apiserver_request_duration_seconds_bucket
10608 etcd_request_duration_seconds_bucket
9984 apiserver_request_body_size_bytes_bucket
8850 apiserver_request_sli_duration_seconds_bucket
7560 apiserver_watch_events_dispatch_duration_seconds_bucket
- Die Spitzenreiter sind Histogramme des API-Servers: viele Buckets mal viele Ressourcentypen mal viele Verben. notes-api steht weit hinten.
/api/v1/status/tsdbliefert dieselben Daten wie die Seite Status → TSDB Status in der Oberfläche.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Was notes-api kostet
promtool query instant http://localhost:30090 'count({job="notes-api"})'
promtool query instant http://localhost:30090 \
'count by (__name__) ({job="notes-api", __name__=~"go_.*"})' | wc -lErwartet (ungefähr):
{} => 212 @[...]
31
212 Zeitreihen für zwei Pods, dazu 31 verschiedene Laufzeitmetriken
von Go. Braucht jemand go_gc_duration_seconds in diesem
Lab? Nein. Ein metricRelabelings-Eintrag im ServiceMonitor
verwirft sie beim Scrape – hier die ganze Datei aus Tag 2:
cd ~/obs-lab
cat > notes-servicemonitor.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: notes-api
namespace: app
spec:
selector:
matchLabels:
app.kubernetes.io/name: notes-api
endpoints:
- port: http
path: /metrics
interval: 15s
metricRelabelings:
- sourceLabels: [__name__]
regex: go_(gc|memstats|sched|cpu)_.*
action: drop
EOF
kubectl apply -f notes-servicemonitor.yamlErwartet:
servicemonitor.monitoring.coreos.com/notes-api configured
metricRelabelingswirkt nach dem Scrape, vor dem Speichern.sourceLabels: [__name__]prüft den Namen der Metrik gegenregex.go_goroutinesundgo_infobleiben – sie passen nicht auf das Muster und sind nützlich.- Daneben gibt es
relabelings(ohne „metric“): Sie wirken vor dem Scrape auf die Ziele, etwa um ganze Pods auszuschließen.
Nach einer Minute schreibt Prometheus nur noch die verbliebenen Zeitreihen. Die alten fallen nach fünf Minuten ohne neuen Wert aus der Abfrage:
promtool query instant http://localhost:30090 'count({job="notes-api"})'Erwartet (nach etwa sechs Minuten, ungefähr):
{} => 148 @[...]
Fast ein Drittel gespart – ohne eine Zeile Code.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Der Stack beobachtet sich selbst
Wie viele Werte schreibt Prometheus pro Sekunde?
promtool query instant http://localhost:30090 \
'sum(rate(prometheus_tsdb_head_samples_appended_total[5m]))'Erwartet (ungefähr):
{} => 4230.422222222222 @[...]
Gut 4000 Werte pro Sekunde. sum fasst die Zeitreihen für
einfache Werte und Histogramme zusammen, die Prometheus getrennt
zählt.
Und wer liefert am meisten pro Scrape?
promtool query instant http://localhost:30090 \
'topk(3, sum by (job) (scrape_samples_post_metric_relabeling))'Erwartet (ungefähr):
{job="kubelet"} => 63867 @[...]
{job="apiserver"} => 46654 @[...]
{job="kps-grafana"} => 4796 @[...]
scrape_samples_post_metric_relabelingerzeugt Prometheus für jedes Ziel selbst – nach dem Relabeling aus Drill 2. Ohne_post_metric_relabelingsiehst du die Zahl vorher.- Kubelet und API-Server sind die teuersten Kunden: cAdvisor liefert Dutzende Werte pro Container, der API-Server Histogramme pro Ressource und Verb. In vielen Clustern verwirft man dort Metriken, die niemand abfragt.
Wie viel Platz belegen die Daten auf der Platte?
promtool query instant http://localhost:30090 \
'prometheus_tsdb_head_chunks_storage_size_bytes / 1024 / 1024'
promtool query instant http://localhost:30090 \
'prometheus_tsdb_storage_blocks_bytes / 1024 / 1024'Erwartet (gekürzt, ungefähr):
{..., job="kps-prometheus", ...} => 7.999890327453613 @[...]
{..., job="kps-prometheus", ...} => 0 @[...]
- Rund 8 MB liegen als Chunks des Heads auf der Platte. Alle zwei Stunden schreibt Prometheus daraus einen Block; die zweite Zahl wächst erst dann.
- Seit dem Neustart an Tag 11 ist noch kein Block fertig. Bei
retention: 3dwächst der Speicher bis zu einer Grenze und bleibt dann stehen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Sicherheitsnetz gegen Kardinalität
Was, wenn eine Anwendung plötzlich Millionen Zeitreihen liefert? Ein ServiceMonitor kann eine Obergrenze pro Scrape setzen. Probiere es mit einer zu kleinen:
kubectl -n app patch servicemonitor notes-api --type merge \
-p '{"spec":{"sampleLimit":50}}'Erwartet:
servicemonitor.monitoring.coreos.com/notes-api patched
Nach einer Minute:
promtool query instant http://localhost:30090 'up{job="notes-api"}'Erwartet (gekürzt):
up{..., pod="notes-api-76d9df4449-8rszn", ...} => 0 @[...]
up{..., pod="notes-api-76d9df4449-zgs5d", ...} => 0 @[...]
- notes-api liefert mehr als 50 Werte. Prometheus verwirft den
ganzen Scrape und setzt
upauf 0 – lieber keine Daten als ein Speicher, der überläuft. - Den Grund nennt die Seite Target health: „sample
limit exceeded“.
scrape_samples_scrapedzeigt, wie viele Werte es waren. NotesApiDownaus Tag 4 meldet sich gleich – zu Recht: Für Prometheus ist notes-api unsichtbar.
patch war nur für den Versuch. Die Datei ist die
Wahrheit – aber apply hilft hier nicht:
kubectl apply -f notes-servicemonitor.yaml
kubectl -n app get servicemonitor notes-api -o jsonpath='{.spec.sampleLimit}{"\n"}'Erwartet:
servicemonitor.monitoring.coreos.com/notes-api unchanged
50
apply entfernt nur Felder, die es selbst einmal gesetzt
hat. Es merkt sich seinen letzten Stand in der Annotation
kubectl.kubernetes.io/last-applied-configuration.
sampleLimit kam von patch – davon weiß
apply nichts. replace ersetzt das ganze Objekt
durch die Datei:
kubectl replace -f notes-servicemonitor.yamlErwartet:
servicemonitor.monitoring.coreos.com/notes-api replaced
Fortschritt speichern? Kostenlos registrieren
Drill 5: Upgrade und Rücksprung
Was hat Helm installiert, und in welcher Revision?
helm list -n monitoring -o json | jq -r '.[] | [.name, .revision, .chart] | @tsv'Erwartet:
alloy 2 alloy-1.15.0
kps 4 kube-prometheus-stack-92.18.0
loki 2 loki-20.4.1
otel 4 opentelemetry-collector-0.178.2
tempo 1 tempo-3.2.1
Jede Änderung an den Werten war eine Revision.
helm history zeigt sie:
helm history alloy -n monitoringErwartet:
REVISION UPDATED STATUS CHART APP VERSION DESCRIPTION
1 Thu Nov 5 09:07:47 2026 superseded alloy-1.15.0 v1.21.3 Install co...
2 Thu Nov 5 10:20:49 2026 deployed alloy-1.15.0 v1.21.3 Upgrade co...
Spiele einen Rücksprung durch – Revision 1 ist Alloy ohne Events aus Tag 13:
helm rollback alloy 1 -n monitoring --wait
helm history alloy -n monitoring --max 1Erwartet:
Rollback was a success! Happy Helming!
REVISION UPDATED STATUS CHART APP VERSION DESCRIPTION
3 Thu Nov 5 10:33:53 2026 deployed alloy-1.15.0 v1.21.3 Rollback to 1
- Ein Rollback ist eine neue Revision, kein Löschen der Geschichte.
- Jetzt sammelt Alloy keine Events mehr. Der Stand in
alloy.yamlist aber weiter der mit Events – Datei und Cluster weichen voneinander ab.
Zurück zum Stand der Datei:
helm upgrade alloy grafana/alloy --version 1.15.0 -n monitoring -f alloy.yaml --waitErwartet (gekürzt):
Release "alloy" has been upgraded. Happy Helming!
...
REVISION: 4
Welche neueren Versionen gäbe es?
helm search repo prometheus-community/kube-prometheus-stack --versions | head -4Erwartet (die Versionen weichen ab):
NAME CHART VERSION APP VERSION DESCRIPTION
prometheus-community/kube-prometheus-stack 92.18.0 v0.94.2 kube-prom...
prometheus-community/kube-prometheus-stack 92.17.1 v0.94.2 kube-prom...
prometheus-community/kube-prometheus-stack 92.17.0 v0.94.2 kube-prom...
Achtung:
helm upgradeaktualisiert bei kube-prometheus-stack die CRDs nicht. Vor einem Sprung auf eine neue Hauptversion stehen in der Anleitung des Charts die Befehle, mit denen du die CRDs zuerst anwendest. Wer das überspringt, hat einen neuen Operator mit alten Ressourcentypen.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
promtool query instant http://localhost:30090 'count(up{job="notes-api"} == 1)'Erwartet:
{} => 2 @[...]
notes-api wird wieder gescrapt.
kubectl -n app get servicemonitor notes-api -o jsonpath='{.spec.sampleLimit}{"\n"}'Erwartet: eine leere Zeile. Kein Limit mehr.
helm history alloy -n monitoring --max 1 -o json | jq -r '.[0].description'Erwartet:
Upgrade complete
Challenge
Setze ein vernünftiges sampleLimit für notes-api:
großzügig genug für den Alltag, klein genug, um eine Explosion
abzufangen. Wie viele Werte liefert ein Pod gerade?
Hinweis:
scrape_samples_scraped{job="notes-api"}. Ein Puffer von
etwa dem Fünffachen ist ein guter Start.
Lösung
promtool query instant http://localhost:30090 'scrape_samples_scraped{job="notes-api"}'Erwartet (gekürzt, ungefähr):
scrape_samples_scraped{..., pod="notes-api-76d9df4449-8rszn", ...} => 99 @[...]
scrape_samples_scraped{..., pod="notes-api-76d9df4449-zgs5d", ...} => 99 @[...]
scrape_samples_scraped zählt vor dem Relabeling – das
Limit gilt danach. Rund 75 Werte bleiben übrig, ein Limit von 500 lässt
Luft. In die Datei, direkt unter spec:
cat > notes-servicemonitor.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: notes-api
namespace: app
spec:
selector:
matchLabels:
app.kubernetes.io/name: notes-api
sampleLimit: 500
endpoints:
- port: http
path: /metrics
interval: 15s
metricRelabelings:
- sourceLabels: [__name__]
regex: go_(gc|memstats|sched|cpu)_.*
action: drop
EOF
kubectl apply -f notes-servicemonitor.yamlErwartet:
servicemonitor.monitoring.coreos.com/notes-api configured
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Langzeitspeicher: Für Monate statt Tage schickt
Prometheus seine Daten per
remote_writean Thanos, Mimir oder VictoriaMetrics. Prometheus selbst behält dann nur Stunden. - Meta-Monitoring von außen: Ein Prometheus kann nicht melden, dass er tot ist. Ein zweiter, kleiner Prometheus – oder ein externer Dienst mit dem Watchdog aus Tag 4 – überwacht den ersten.
- Upgrades proben: Werte-Dateien in Git, ein
Testcluster mit derselben Konfiguration,
helm diff upgrade(Plugin) vor jedem Schritt. Und immer die Notizen zur neuen Hauptversion lesen.