Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Den Stack betreiben

Ziel: Du weißt, was Prometheus speichert und was es kostet, schneidest teure Metriken ab, beobachtest den Stack selbst und spielst ein Upgrade samt Rücksprung durch. · Dauer: ca. 75 min · Voraussetzung: Tag 13

Briefing

  • Ein Beobachtungs-Stack ist selbst eine Anwendung – mit Speicher, der vollläuft, Abfragen, die zu teuer werden, und Upgrades, die schiefgehen können.
  • Der größte Kostentreiber bei Prometheus ist die Zahl der Zeitreihen im Head, dem Teil der Daten, der noch im Arbeitsspeicher liegt. Jede Zeitreihe kostet dort einige Kilobyte.
  • Was nicht gebraucht wird, sollte gar nicht erst gespeichert werden. Relabeling verwirft Metriken beim Scrape, bevor sie Platz kosten.
  • Meta-Monitoring heißt: Prometheus, Loki und Collector melden ihre eigenen Kennzahlen. Auch wer beobachtet, muss beobachtet werden.
 Scrape ──► metricRelabelings ──► Head (RAM) ──► Blöcke (Platte) ──► Retention
             (verwerfen)            │
                             prometheus_tsdb_*

Drill 1: Was Prometheus speichert

curl -s localhost:30090/api/v1/status/tsdb | jq '.data.headStats'

Erwartet (die Zahlen weichen ab):

{
  "numSeries": 128726,
  "numLabelPairs": 6410,
  "chunkCount": 253003,
  "minTime": 1793871784853,
  "maxTime": 1793874279677
}

Fast 130 000 Zeitreihen. Welche Metriken bringen die meisten mit?

curl -s localhost:30090/api/v1/status/tsdb \
  | jq -r '.data.seriesCountByMetricName[:5][] | "\(.value)\t\(.name)"'

Erwartet (ungefähr):

13702   apiserver_request_duration_seconds_bucket
10608   etcd_request_duration_seconds_bucket
9984    apiserver_request_body_size_bytes_bucket
8850    apiserver_request_sli_duration_seconds_bucket
7560    apiserver_watch_events_dispatch_duration_seconds_bucket
  • Die Spitzenreiter sind Histogramme des API-Servers: viele Buckets mal viele Ressourcentypen mal viele Verben. notes-api steht weit hinten.
  • /api/v1/status/tsdb liefert dieselben Daten wie die Seite Status → TSDB Status in der Oberfläche.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Was notes-api kostet

promtool query instant http://localhost:30090 'count({job="notes-api"})'
promtool query instant http://localhost:30090 \
  'count by (__name__) ({job="notes-api", __name__=~"go_.*"})' | wc -l

Erwartet (ungefähr):

{} => 212 @[...]
31

212 Zeitreihen für zwei Pods, dazu 31 verschiedene Laufzeitmetriken von Go. Braucht jemand go_gc_duration_seconds in diesem Lab? Nein. Ein metricRelabelings-Eintrag im ServiceMonitor verwirft sie beim Scrape – hier die ganze Datei aus Tag 2:

cd ~/obs-lab
cat > notes-servicemonitor.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: notes-api
  namespace: app
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: notes-api
  endpoints:
    - port: http
      path: /metrics
      interval: 15s
      metricRelabelings:
        - sourceLabels: [__name__]
          regex: go_(gc|memstats|sched|cpu)_.*
          action: drop
EOF
kubectl apply -f notes-servicemonitor.yaml

Erwartet:

servicemonitor.monitoring.coreos.com/notes-api configured
  • metricRelabelings wirkt nach dem Scrape, vor dem Speichern. sourceLabels: [__name__] prüft den Namen der Metrik gegen regex.
  • go_goroutines und go_info bleiben – sie passen nicht auf das Muster und sind nützlich.
  • Daneben gibt es relabelings (ohne „metric“): Sie wirken vor dem Scrape auf die Ziele, etwa um ganze Pods auszuschließen.

Nach einer Minute schreibt Prometheus nur noch die verbliebenen Zeitreihen. Die alten fallen nach fünf Minuten ohne neuen Wert aus der Abfrage:

promtool query instant http://localhost:30090 'count({job="notes-api"})'

Erwartet (nach etwa sechs Minuten, ungefähr):

{} => 148 @[...]

Fast ein Drittel gespart – ohne eine Zeile Code.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Der Stack beobachtet sich selbst

Wie viele Werte schreibt Prometheus pro Sekunde?

promtool query instant http://localhost:30090 \
  'sum(rate(prometheus_tsdb_head_samples_appended_total[5m]))'

Erwartet (ungefähr):

{} => 4230.422222222222 @[...]

Gut 4000 Werte pro Sekunde. sum fasst die Zeitreihen für einfache Werte und Histogramme zusammen, die Prometheus getrennt zählt.

Und wer liefert am meisten pro Scrape?

promtool query instant http://localhost:30090 \
  'topk(3, sum by (job) (scrape_samples_post_metric_relabeling))'

Erwartet (ungefähr):

{job="kubelet"} => 63867 @[...]
{job="apiserver"} => 46654 @[...]
{job="kps-grafana"} => 4796 @[...]
  • scrape_samples_post_metric_relabeling erzeugt Prometheus für jedes Ziel selbst – nach dem Relabeling aus Drill 2. Ohne _post_metric_relabeling siehst du die Zahl vorher.
  • Kubelet und API-Server sind die teuersten Kunden: cAdvisor liefert Dutzende Werte pro Container, der API-Server Histogramme pro Ressource und Verb. In vielen Clustern verwirft man dort Metriken, die niemand abfragt.

Wie viel Platz belegen die Daten auf der Platte?

promtool query instant http://localhost:30090 \
  'prometheus_tsdb_head_chunks_storage_size_bytes / 1024 / 1024'
promtool query instant http://localhost:30090 \
  'prometheus_tsdb_storage_blocks_bytes / 1024 / 1024'

Erwartet (gekürzt, ungefähr):

{..., job="kps-prometheus", ...} => 7.999890327453613 @[...]
{..., job="kps-prometheus", ...} => 0 @[...]
  • Rund 8 MB liegen als Chunks des Heads auf der Platte. Alle zwei Stunden schreibt Prometheus daraus einen Block; die zweite Zahl wächst erst dann.
  • Seit dem Neustart an Tag 11 ist noch kein Block fertig. Bei retention: 3d wächst der Speicher bis zu einer Grenze und bleibt dann stehen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Sicherheitsnetz gegen Kardinalität

Was, wenn eine Anwendung plötzlich Millionen Zeitreihen liefert? Ein ServiceMonitor kann eine Obergrenze pro Scrape setzen. Probiere es mit einer zu kleinen:

kubectl -n app patch servicemonitor notes-api --type merge \
  -p '{"spec":{"sampleLimit":50}}'

Erwartet:

servicemonitor.monitoring.coreos.com/notes-api patched

Nach einer Minute:

promtool query instant http://localhost:30090 'up{job="notes-api"}'

Erwartet (gekürzt):

up{..., pod="notes-api-76d9df4449-8rszn", ...} => 0 @[...]
up{..., pod="notes-api-76d9df4449-zgs5d", ...} => 0 @[...]
  • notes-api liefert mehr als 50 Werte. Prometheus verwirft den ganzen Scrape und setzt up auf 0 – lieber keine Daten als ein Speicher, der überläuft.
  • Den Grund nennt die Seite Target health: „sample limit exceeded“. scrape_samples_scraped zeigt, wie viele Werte es waren.
  • NotesApiDown aus Tag 4 meldet sich gleich – zu Recht: Für Prometheus ist notes-api unsichtbar.

patch war nur für den Versuch. Die Datei ist die Wahrheit – aber apply hilft hier nicht:

kubectl apply -f notes-servicemonitor.yaml
kubectl -n app get servicemonitor notes-api -o jsonpath='{.spec.sampleLimit}{"\n"}'

Erwartet:

servicemonitor.monitoring.coreos.com/notes-api unchanged
50

apply entfernt nur Felder, die es selbst einmal gesetzt hat. Es merkt sich seinen letzten Stand in der Annotation kubectl.kubernetes.io/last-applied-configuration. sampleLimit kam von patch – davon weiß apply nichts. replace ersetzt das ganze Objekt durch die Datei:

kubectl replace -f notes-servicemonitor.yaml

Erwartet:

servicemonitor.monitoring.coreos.com/notes-api replaced

Fortschritt speichern? Kostenlos registrieren

Drill 5: Upgrade und Rücksprung

Was hat Helm installiert, und in welcher Revision?

helm list -n monitoring -o json | jq -r '.[] | [.name, .revision, .chart] | @tsv'

Erwartet:

alloy   2   alloy-1.15.0
kps 4   kube-prometheus-stack-92.18.0
loki    2   loki-20.4.1
otel    4   opentelemetry-collector-0.178.2
tempo   1   tempo-3.2.1

Jede Änderung an den Werten war eine Revision. helm history zeigt sie:

helm history alloy -n monitoring

Erwartet:

REVISION  UPDATED                   STATUS      CHART         APP VERSION  DESCRIPTION
1         Thu Nov  5 09:07:47 2026  superseded  alloy-1.15.0  v1.21.3      Install co...
2         Thu Nov  5 10:20:49 2026  deployed    alloy-1.15.0  v1.21.3      Upgrade co...

Spiele einen Rücksprung durch – Revision 1 ist Alloy ohne Events aus Tag 13:

helm rollback alloy 1 -n monitoring --wait
helm history alloy -n monitoring --max 1

Erwartet:

Rollback was a success! Happy Helming!
REVISION  UPDATED                   STATUS    CHART         APP VERSION  DESCRIPTION
3         Thu Nov  5 10:33:53 2026  deployed  alloy-1.15.0  v1.21.3      Rollback to 1
  • Ein Rollback ist eine neue Revision, kein Löschen der Geschichte.
  • Jetzt sammelt Alloy keine Events mehr. Der Stand in alloy.yaml ist aber weiter der mit Events – Datei und Cluster weichen voneinander ab.

Zurück zum Stand der Datei:

helm upgrade alloy grafana/alloy --version 1.15.0 -n monitoring -f alloy.yaml --wait

Erwartet (gekürzt):

Release "alloy" has been upgraded. Happy Helming!
...
REVISION: 4

Welche neueren Versionen gäbe es?

helm search repo prometheus-community/kube-prometheus-stack --versions | head -4

Erwartet (die Versionen weichen ab):

NAME                                        CHART VERSION  APP VERSION  DESCRIPTION
prometheus-community/kube-prometheus-stack  92.18.0        v0.94.2      kube-prom...
prometheus-community/kube-prometheus-stack  92.17.1        v0.94.2      kube-prom...
prometheus-community/kube-prometheus-stack  92.17.0        v0.94.2      kube-prom...

Achtung: helm upgrade aktualisiert bei kube-prometheus-stack die CRDs nicht. Vor einem Sprung auf eine neue Hauptversion stehen in der Anleitung des Charts die Befehle, mit denen du die CRDs zuerst anwendest. Wer das überspringt, hat einen neuen Operator mit alten Ressourcentypen.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

promtool query instant http://localhost:30090 'count(up{job="notes-api"} == 1)'

Erwartet:

{} => 2 @[...]

notes-api wird wieder gescrapt.

kubectl -n app get servicemonitor notes-api -o jsonpath='{.spec.sampleLimit}{"\n"}'

Erwartet: eine leere Zeile. Kein Limit mehr.

helm history alloy -n monitoring --max 1 -o json | jq -r '.[0].description'

Erwartet:

Upgrade complete

Challenge

Setze ein vernünftiges sampleLimit für notes-api: großzügig genug für den Alltag, klein genug, um eine Explosion abzufangen. Wie viele Werte liefert ein Pod gerade?

Hinweis: scrape_samples_scraped{job="notes-api"}. Ein Puffer von etwa dem Fünffachen ist ein guter Start.

Lösung

promtool query instant http://localhost:30090 'scrape_samples_scraped{job="notes-api"}'

Erwartet (gekürzt, ungefähr):

scrape_samples_scraped{..., pod="notes-api-76d9df4449-8rszn", ...} => 99 @[...]
scrape_samples_scraped{..., pod="notes-api-76d9df4449-zgs5d", ...} => 99 @[...]

scrape_samples_scraped zählt vor dem Relabeling – das Limit gilt danach. Rund 75 Werte bleiben übrig, ein Limit von 500 lässt Luft. In die Datei, direkt unter spec:

cat > notes-servicemonitor.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: notes-api
  namespace: app
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: notes-api
  sampleLimit: 500
  endpoints:
    - port: http
      path: /metrics
      interval: 15s
      metricRelabelings:
        - sourceLabels: [__name__]
          regex: go_(gc|memstats|sched|cpu)_.*
          action: drop
EOF
kubectl apply -f notes-servicemonitor.yaml

Erwartet:

servicemonitor.monitoring.coreos.com/notes-api configured

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Langzeitspeicher: Für Monate statt Tage schickt Prometheus seine Daten per remote_write an Thanos, Mimir oder VictoriaMetrics. Prometheus selbst behält dann nur Stunden.
  • Meta-Monitoring von außen: Ein Prometheus kann nicht melden, dass er tot ist. Ein zweiter, kleiner Prometheus – oder ein externer Dienst mit dem Watchdog aus Tag 4 – überwacht den ersten.
  • Upgrades proben: Werte-Dateien in Git, ein Testcluster mit derselben Konfiguration, helm diff upgrade (Plugin) vor jedem Schritt. Und immer die Notizen zur neuen Hauptversion lesen.