Tag 3: PromQL und Recording Rules
Ziel: Du rechnest aus Countern Raten, aus Histogrammen Perzentile und legst häufige Abfragen als Recording Rules ab. · Dauer: ca. 60 min · Voraussetzung: Tag 2
Briefing
- PromQL ist die Abfragesprache von Prometheus. Ein
Name wie
notes_created_totalliefert einen Instant Vector: pro Zeitreihe den neuesten Wert. - Mit
[1m]dahinter wird daraus ein Range Vector: pro Zeitreihe alle Werte der letzten Minute. Funktionen wierate()machen daraus wieder eine Zahl pro Zeitreihe. - Aggregationen wie
sum by (method)fassen Zeitreihen zusammen und behalten nur die genannten Labels. - Eine Recording Rule rechnet eine Abfrage regelmäßig aus und speichert das Ergebnis als neue Zeitreihe. Dashboards und Alarme lesen dann das fertige Ergebnis.
notes_http_requests_total (Counter, 4 Zeitreihen pro Pod)
│ rate(...[5m]) Anfragen pro Sekunde
│ sum by (method) über alle Pods und Codes
▼
{method="GET"} 4 {method="POST"} 1
Drill 1: Range Vector
promtool query instant http://localhost:30090 'notes_created_total[1m]'Erwartet (gekürzt):
notes_created_total{..., pod="notes-api-57f4f47769-59ks2", ...} =>
247 @[1793866895.847]
257 @[1793866910.845]
263 @[1793866925.845]
271 @[1793866940.845]
...
- Vier Werte pro Pod, im Abstand von 15 Sekunden – das
intervalaus dem ServiceMonitor. - Ein Range Vector ist Rohmaterial. Prometheus kann ihn nicht als Kurve zeichnen, du brauchst eine Funktion, die daraus eine Zahl macht.
Fortschritt speichern? Kostenlos registrieren
Drill 2: rate()
promtool query instant http://localhost:30090 'rate(notes_created_total[5m])'Erwartet (gekürzt):
{..., pod="notes-api-57f4f47769-59ks2", ...} => 0.45614035087719296 @[...]
{..., pod="notes-api-57f4f47769-m66nj", ...} => 0.43859649122807015 @[...]
{..., pod="notes-api-57f4f47769-gg2rr", ...} => 0.09 @[...]
rate()nimmt die Werte der letzten fünf Minuten und rechnet aus, um wie viel der Counter pro Sekunde gewachsen ist. Jeder Pod legt knapp eine halbe Notiz pro Sekunde an.- Der dritte Pod ist der aus der Challenge von Tag 2. Er ist schon weg, liegt aber noch im Fenster der letzten fünf Minuten. Nach fünf Minuten verschwindet er.
- Startet ein Pod neu, fällt sein Counter auf 0.
rate()erkennt das und rechnet richtig weiter. Darum gehörtrate()an jeden Counter – nie die nackte Zahl. - Das Fenster sollte mindestens vier Scrapes umfassen. Bei 15 Sekunden
ist
[1m]die Untergrenze,[5m]glättet besser.
Der Metrikname fehlt in der Ausgabe: Nach einer Rechnung ist es keine
notes_created_total mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Aggregieren
promtool query instant http://localhost:30090 \
'sum by (method) (rate(notes_http_requests_total{path="/notes"}[5m]))'Erwartet:
{method="GET"} => 3.9719298245614034 @[...]
{method="POST"} => 0.983625730994152 @[...]
Vier Lesezugriffe und eine Notiz pro Sekunde – genau das, was der Lastgenerator schickt.
- Die Reihenfolge ist wichtig: erst
rate()pro Zeitreihe, dannsum. Andersherum würden sich die Neustarts einzelner Pods in der Summe verstecken. by (method)behält nur das Labelmethod.without (pod)wäre das Gegenstück: alle Labels behalten außerpod.{path="/notes"}ist ein Selektor.=~erlaubt reguläre Ausdrücke, etwacode=~"5.."für alle Serverfehler.
Fortschritt speichern? Kostenlos registrieren
Drill 4: increase()
promtool query instant http://localhost:30090 \
'sum(increase(notes_http_requests_total{method="POST"}[5m]))'Erwartet (ungefähr):
{} => 302.1052631578947 @[...]
increase() ist rate() mal Fensterlänge:
rund 300 neue Notizen in fünf Minuten. Dass keine glatte Zahl
herauskommt, liegt an der Hochrechnung bis zum Rand des Fensters.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Perzentile
Ein Durchschnitt versteckt Ausreißer. Wie lange warten die langsamsten fünf Prozent?
promtool query instant http://localhost:30090 \
'histogram_quantile(0.95, sum by (le) (rate(
notes_http_request_duration_seconds_bucket{path="/notes"}[5m])))'Erwartet (ungefähr):
{} => 0.009103579487633288 @[...]
histogram_quantile(0.95, …)sucht den Bucket, in dem die 95-Prozent-Marke liegt, und schätzt innerhalb davon linear. 95 Prozent der Anfragen sind schneller als rund 9 ms.sum by (le)ist Pflicht: Das Labellemit den Bucket-Grenzen muss erhalten bleiben, alles andere wird zusammengefasst.
Verlangsame notes-api wie an Tag 1:
kubectl -n app set env deploy/notes-api NOTES_DELAY=300ms
kubectl -n app rollout status deploy/notes-apiErwartet (letzte Zeile):
deployment "notes-api" successfully rolled out
Warte fünf Minuten – so lang ist das Fenster –, dann dieselbe Abfrage noch einmal:
promtool query instant http://localhost:30090 \
'histogram_quantile(0.95, sum by (le) (rate(
notes_http_request_duration_seconds_bucket{path="/notes"}[5m])))'Erwartet (ungefähr):
{} => 0.4875 @[...]
Jede Anfrage dauert gut 300 ms, das Ergebnis sagt fast 490 ms. Alle
Werte liegen im Bucket von 0,25 bis 0,5 s, und innerhalb davon tut
histogram_quantile so, als wären sie gleichmäßig verteilt.
Perzentile aus Histogrammen sind Schätzungen. Wie gut sie sind,
entscheiden die Bucket-Grenzen.
Verzögerung zurücknehmen:
kubectl -n app set env deploy/notes-api NOTES_DELAY-
kubectl -n app rollout status deploy/notes-apiErwartet (letzte Zeile):
deployment "notes-api" successfully rolled out
Fortschritt speichern? Kostenlos registrieren
Drill 6: Recording Rules
Die Abfrage aus Drill 5 ist lang, und jedes Dashboard würde sie bei jedem Aufruf neu rechnen. Eine Recording Rule rechnet sie einmal alle 30 Sekunden:
cd ~/obs-lab
cat > notes-rules.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: notes-api-records
namespace: app
spec:
groups:
- name: notes-api.records
interval: 30s
rules:
- record: job:notes_http_requests:rate5m
expr: sum by (job, method, code) (rate(notes_http_requests_total[5m]))
- record: job:notes_http_request_duration_seconds:p95_5m
expr: |
histogram_quantile(0.95, sum by (job, le) (
rate(notes_http_request_duration_seconds_bucket{path="/notes"}[5m])))
EOF
kubectl apply -f notes-rules.yamlErwartet:
prometheusrule.monitoring.coreos.com/notes-api-records created
- Der Name folgt der Konvention
Ebene:Metrik:Operation.job:sagt, dass über alle Pods eines Jobs zusammengefasst ist.:rate5mbeschreibt die Rechnung. by (job, …)behältjobbewusst. So bleibt erkennbar, woher die Zahl stammt, wenn später weitere Anwendungen dieselbe Regel bekommen.- Wie beim ServiceMonitor findet der Operator die Regel, schreibt sie
in eine Datei für Prometheus und lädt sie neu. Das hat
ruleSelectorNilUsesHelmValues: falsean Tag 2 möglich gemacht.
Bis der Operator die Regel an Prometheus übergeben hat, vergehen ein bis zwei Minuten. Dann:
promtool query instant http://localhost:30090 'job:notes_http_requests:rate5m'Erwartet (die Reihenfolge wechselt):
job:notes_http_requests:rate5m{code="200", job="notes-api", method="GET"} => 4.30...
job:notes_http_requests:rate5m{code="201", job="notes-api", method="POST"} => 1.00...
Die Regel ist jetzt eine ganz normale Zeitreihe mit eigenem Namen.
Dass GET über 4 liegt, hat einen Grund: Die Regel behält
das Label path nicht, also zählen /healthz und
/metrics mit.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
promtool query instant http://localhost:30090 \
'job:notes_http_request_duration_seconds:p95_5m < 0.1'Erwartet:
job:notes_http_request_duration_seconds:p95_5m{job="notes-api"} => 0.0096... @[...]
Ein Vergleich wie < 0.1 filtert: Die Zeitreihe bleibt
nur, wenn sie die Bedingung erfüllt. Taucht sie auf, ist die Verzögerung
weg. Nach dem Rollout dauert es fünf Minuten, bis das Fenster wieder
sauber ist.
kubectl -n app get prometheusruleErwartet:
NAME AGE
notes-api-records 61s
Challenge
Welcher Anteil aller Anfragen an notes-api ist ein POST?
Nutze die Recording Rule.
Hinweis: Zwei sum(...) und ein
/ dazwischen.
Lösung
promtool query instant http://localhost:30090 \
'sum(job:notes_http_requests:rate5m{method="POST"})
/ sum(job:notes_http_requests:rate5m)'Erwartet (ungefähr):
{} => 0.18902842035690678 @[...]
Eine von fünf Anfragen. Ganz genau 0,2 sind es nicht, weil
/healthz und /metrics im Nenner mitzählen. Mit
{path="/notes"} in der Regel ließe sich das ändern – die
Regel hat das Label path aber nicht behalten.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Rate vor Summe:
sum(rate(x[5m]))ist richtig,rate(sum(x)[5m])nicht. Die zweite Form hält jeden Neustart für einen Reset der Summe und meldet Spitzen, die es nicht gab. - Recording Rules für Dashboards: Ein Dashboard mit 20 Panels und zehn Nutzern feuert sonst 200 Abfragen pro Aktualisierung. Fertige Zeitreihen sind billig.
- Native Histogramme: Prometheus 3 kann Histogramme mit automatisch feinen Buckets speichern. Sie lösen das Problem aus Drill 5, verlangen aber Anpassungen im Code und beim Scrape. Für dieses Buch bleiben die klassischen Buckets.