Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 3: PromQL und Recording Rules

Ziel: Du rechnest aus Countern Raten, aus Histogrammen Perzentile und legst häufige Abfragen als Recording Rules ab. · Dauer: ca. 60 min · Voraussetzung: Tag 2

Briefing

  • PromQL ist die Abfragesprache von Prometheus. Ein Name wie notes_created_total liefert einen Instant Vector: pro Zeitreihe den neuesten Wert.
  • Mit [1m] dahinter wird daraus ein Range Vector: pro Zeitreihe alle Werte der letzten Minute. Funktionen wie rate() machen daraus wieder eine Zahl pro Zeitreihe.
  • Aggregationen wie sum by (method) fassen Zeitreihen zusammen und behalten nur die genannten Labels.
  • Eine Recording Rule rechnet eine Abfrage regelmäßig aus und speichert das Ergebnis als neue Zeitreihe. Dashboards und Alarme lesen dann das fertige Ergebnis.
 notes_http_requests_total   (Counter, 4 Zeitreihen pro Pod)
        │ rate(...[5m])      Anfragen pro Sekunde
        │ sum by (method)    über alle Pods und Codes
        ▼
 {method="GET"} 4   {method="POST"} 1

Drill 1: Range Vector

promtool query instant http://localhost:30090 'notes_created_total[1m]'

Erwartet (gekürzt):

notes_created_total{..., pod="notes-api-57f4f47769-59ks2", ...} =>
247 @[1793866895.847]
257 @[1793866910.845]
263 @[1793866925.845]
271 @[1793866940.845]
...
  • Vier Werte pro Pod, im Abstand von 15 Sekunden – das interval aus dem ServiceMonitor.
  • Ein Range Vector ist Rohmaterial. Prometheus kann ihn nicht als Kurve zeichnen, du brauchst eine Funktion, die daraus eine Zahl macht.

Fortschritt speichern? Kostenlos registrieren

Drill 2: rate()

promtool query instant http://localhost:30090 'rate(notes_created_total[5m])'

Erwartet (gekürzt):

{..., pod="notes-api-57f4f47769-59ks2", ...} => 0.45614035087719296 @[...]
{..., pod="notes-api-57f4f47769-m66nj", ...} => 0.43859649122807015 @[...]
{..., pod="notes-api-57f4f47769-gg2rr", ...} => 0.09 @[...]
  • rate() nimmt die Werte der letzten fünf Minuten und rechnet aus, um wie viel der Counter pro Sekunde gewachsen ist. Jeder Pod legt knapp eine halbe Notiz pro Sekunde an.
  • Der dritte Pod ist der aus der Challenge von Tag 2. Er ist schon weg, liegt aber noch im Fenster der letzten fünf Minuten. Nach fünf Minuten verschwindet er.
  • Startet ein Pod neu, fällt sein Counter auf 0. rate() erkennt das und rechnet richtig weiter. Darum gehört rate() an jeden Counter – nie die nackte Zahl.
  • Das Fenster sollte mindestens vier Scrapes umfassen. Bei 15 Sekunden ist [1m] die Untergrenze, [5m] glättet besser.

Der Metrikname fehlt in der Ausgabe: Nach einer Rechnung ist es keine notes_created_total mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Aggregieren

promtool query instant http://localhost:30090 \
  'sum by (method) (rate(notes_http_requests_total{path="/notes"}[5m]))'

Erwartet:

{method="GET"} => 3.9719298245614034 @[...]
{method="POST"} => 0.983625730994152 @[...]

Vier Lesezugriffe und eine Notiz pro Sekunde – genau das, was der Lastgenerator schickt.

  • Die Reihenfolge ist wichtig: erst rate() pro Zeitreihe, dann sum. Andersherum würden sich die Neustarts einzelner Pods in der Summe verstecken.
  • by (method) behält nur das Label method. without (pod) wäre das Gegenstück: alle Labels behalten außer pod.
  • {path="/notes"} ist ein Selektor. =~ erlaubt reguläre Ausdrücke, etwa code=~"5.." für alle Serverfehler.

Fortschritt speichern? Kostenlos registrieren

Drill 4: increase()

promtool query instant http://localhost:30090 \
  'sum(increase(notes_http_requests_total{method="POST"}[5m]))'

Erwartet (ungefähr):

{} => 302.1052631578947 @[...]

increase() ist rate() mal Fensterlänge: rund 300 neue Notizen in fünf Minuten. Dass keine glatte Zahl herauskommt, liegt an der Hochrechnung bis zum Rand des Fensters.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Perzentile

Ein Durchschnitt versteckt Ausreißer. Wie lange warten die langsamsten fünf Prozent?

promtool query instant http://localhost:30090 \
  'histogram_quantile(0.95, sum by (le) (rate(
     notes_http_request_duration_seconds_bucket{path="/notes"}[5m])))'

Erwartet (ungefähr):

{} => 0.009103579487633288 @[...]
  • histogram_quantile(0.95, …) sucht den Bucket, in dem die 95-Prozent-Marke liegt, und schätzt innerhalb davon linear. 95 Prozent der Anfragen sind schneller als rund 9 ms.
  • sum by (le) ist Pflicht: Das Label le mit den Bucket-Grenzen muss erhalten bleiben, alles andere wird zusammengefasst.

Verlangsame notes-api wie an Tag 1:

kubectl -n app set env deploy/notes-api NOTES_DELAY=300ms
kubectl -n app rollout status deploy/notes-api

Erwartet (letzte Zeile):

deployment "notes-api" successfully rolled out

Warte fünf Minuten – so lang ist das Fenster –, dann dieselbe Abfrage noch einmal:

promtool query instant http://localhost:30090 \
  'histogram_quantile(0.95, sum by (le) (rate(
     notes_http_request_duration_seconds_bucket{path="/notes"}[5m])))'

Erwartet (ungefähr):

{} => 0.4875 @[...]

Jede Anfrage dauert gut 300 ms, das Ergebnis sagt fast 490 ms. Alle Werte liegen im Bucket von 0,25 bis 0,5 s, und innerhalb davon tut histogram_quantile so, als wären sie gleichmäßig verteilt. Perzentile aus Histogrammen sind Schätzungen. Wie gut sie sind, entscheiden die Bucket-Grenzen.

Verzögerung zurücknehmen:

kubectl -n app set env deploy/notes-api NOTES_DELAY-
kubectl -n app rollout status deploy/notes-api

Erwartet (letzte Zeile):

deployment "notes-api" successfully rolled out

Fortschritt speichern? Kostenlos registrieren

Drill 6: Recording Rules

Die Abfrage aus Drill 5 ist lang, und jedes Dashboard würde sie bei jedem Aufruf neu rechnen. Eine Recording Rule rechnet sie einmal alle 30 Sekunden:

cd ~/obs-lab
cat > notes-rules.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: notes-api-records
  namespace: app
spec:
  groups:
    - name: notes-api.records
      interval: 30s
      rules:
        - record: job:notes_http_requests:rate5m
          expr: sum by (job, method, code) (rate(notes_http_requests_total[5m]))
        - record: job:notes_http_request_duration_seconds:p95_5m
          expr: |
            histogram_quantile(0.95, sum by (job, le) (
              rate(notes_http_request_duration_seconds_bucket{path="/notes"}[5m])))
EOF
kubectl apply -f notes-rules.yaml

Erwartet:

prometheusrule.monitoring.coreos.com/notes-api-records created
  • Der Name folgt der Konvention Ebene:Metrik:Operation. job: sagt, dass über alle Pods eines Jobs zusammengefasst ist. :rate5m beschreibt die Rechnung.
  • by (job, …) behält job bewusst. So bleibt erkennbar, woher die Zahl stammt, wenn später weitere Anwendungen dieselbe Regel bekommen.
  • Wie beim ServiceMonitor findet der Operator die Regel, schreibt sie in eine Datei für Prometheus und lädt sie neu. Das hat ruleSelectorNilUsesHelmValues: false an Tag 2 möglich gemacht.

Bis der Operator die Regel an Prometheus übergeben hat, vergehen ein bis zwei Minuten. Dann:

promtool query instant http://localhost:30090 'job:notes_http_requests:rate5m'

Erwartet (die Reihenfolge wechselt):

job:notes_http_requests:rate5m{code="200", job="notes-api", method="GET"} => 4.30...
job:notes_http_requests:rate5m{code="201", job="notes-api", method="POST"} => 1.00...

Die Regel ist jetzt eine ganz normale Zeitreihe mit eigenem Namen. Dass GET über 4 liegt, hat einen Grund: Die Regel behält das Label path nicht, also zählen /healthz und /metrics mit.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

promtool query instant http://localhost:30090 \
  'job:notes_http_request_duration_seconds:p95_5m < 0.1'

Erwartet:

job:notes_http_request_duration_seconds:p95_5m{job="notes-api"} => 0.0096... @[...]

Ein Vergleich wie < 0.1 filtert: Die Zeitreihe bleibt nur, wenn sie die Bedingung erfüllt. Taucht sie auf, ist die Verzögerung weg. Nach dem Rollout dauert es fünf Minuten, bis das Fenster wieder sauber ist.

kubectl -n app get prometheusrule

Erwartet:

NAME                AGE
notes-api-records   61s

Challenge

Welcher Anteil aller Anfragen an notes-api ist ein POST? Nutze die Recording Rule.

Hinweis: Zwei sum(...) und ein / dazwischen.

Lösung

promtool query instant http://localhost:30090 \
  'sum(job:notes_http_requests:rate5m{method="POST"})
     / sum(job:notes_http_requests:rate5m)'

Erwartet (ungefähr):

{} => 0.18902842035690678 @[...]

Eine von fünf Anfragen. Ganz genau 0,2 sind es nicht, weil /healthz und /metrics im Nenner mitzählen. Mit {path="/notes"} in der Regel ließe sich das ändern – die Regel hat das Label path aber nicht behalten.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Rate vor Summe: sum(rate(x[5m])) ist richtig, rate(sum(x)[5m]) nicht. Die zweite Form hält jeden Neustart für einen Reset der Summe und meldet Spitzen, die es nicht gab.
  • Recording Rules für Dashboards: Ein Dashboard mit 20 Panels und zehn Nutzern feuert sonst 200 Abfragen pro Aktualisierung. Fertige Zeitreihen sind billig.
  • Native Histogramme: Prometheus 3 kann Histogramme mit automatisch feinen Buckets speichern. Sie lösen das Problem aus Drill 5, verlangen aber Anpassungen im Code und beim Scrape. Für dieses Buch bleiben die klassischen Buckets.