Anhang A: Spickzettel
Alles Wichtige aus Tag 0–15 auf wenigen Seiten. Die Zahl in Klammern
ist der Tag, an dem du es geübt hast. Im Zweifel gelten
--help und die Dokumentation unter
prometheus.io/docs, grafana.com/docs und
opentelemetry.io/docs.
Adressen im Lab
| Dienst |
Adresse auf der VM |
Tag |
| notes-api |
localhost:30080 |
0 |
| Prometheus |
localhost:30090 |
2 |
| Alertmanager |
localhost:30093 |
4 |
| Grafana |
localhost:30300, admin /
lab-grafana-pw-123 |
5 |
| Loki |
localhost:30310 (LOKI_ADDR) |
7 |
| Tempo |
localhost:30320 |
10 |
| Collector |
otel-collector.monitoring:4317 (gRPC),
:4318 (HTTP) |
9 |
Werkzeuge
| Befehl |
Was er tut |
Tag |
promtool query instant <url> '<PromQL>' |
Abfrage zum jetzigen Zeitpunkt |
2 |
amtool alert / alert query name=wert |
aktive Alarme, gefiltert |
4 |
amtool alert query --silenced … |
stummgeschaltete Alarme |
4 |
amtool silence add name=wert --duration 30m --comment … |
Silence anlegen |
4 |
amtool silence query -q /
expire <ID> |
IDs / Silence beenden |
4 |
amtool config routes |
Routing-Baum |
4 |
logcli labels / labels <name> |
Labels / ihre Werte |
7 |
logcli query --quiet --limit N -o raw --since 5m '<LogQL>' |
Zeilen |
7 |
logcli instant-query --quiet '<LogQL>' |
Zahl aus Logs |
7 |
logcli series --analyze-labels '{…}' |
Kardinalität |
8 |
curl -G :30320/api/search --data-urlencode 'q=<TraceQL>' |
Traces suchen |
10 |
curl :30320/api/v2/traces/<ID> |
einen Trace holen |
10 |
curl -u admin:… :30300/api/datasources |
Datenquellen in Grafana |
5 |
curl -u admin:… ':30300/api/search?query=…' |
Dashboards suchen |
5 |
kubectl -n app set env deploy/notes-api X=wert /
X- |
setzen / löschen |
1 |
kubectl -n app port-forward <pod> 9081:8080 & |
einen Pod direkt ansprechen |
1 |
helm history <rel> /
helm rollback <rel> <rev> |
Revisionen / zurück |
14 |
Störungen in notes-api
| Variable |
Wirkung |
Tag |
NOTES_DELAY=300ms |
jede Anfrage an /notes wartet |
1 |
NOTES_ERROR_RATE=0.2 |
20 % der Anfragen an /notes enden mit 500 |
4 |
NOTES_LOG_FORMAT=json |
Logs als JSON statt Text |
8 |
NOTES_UPSTREAM=https://… |
Ziel von /upstream |
15 |
OTEL_EXPORTER_OTLP_ENDPOINT,
OTEL_SERVICE_NAME |
Ziel und Name der Traces |
10 |
PromQL
| Ausdruck |
Bedeutung |
Tag |
metrik{label="x", code=~"5.."} |
Selektor, =~ regulärer Ausdruck |
3 |
metrik[5m] |
Range Vector: alle Werte der letzten 5 Minuten |
3 |
rate(counter[5m]) |
Zuwachs pro Sekunde, robust gegen Neustarts |
3 |
increase(counter[1h]) |
Zuwachs im Fenster |
3 |
sum by (method) (…) / without (pod) |
aggregieren |
3 |
histogram_quantile(0.95, sum by (le) (rate(x_bucket[5m]))) |
Perzentil |
3 |
a / b, a > 0.05 |
rechnen, filtern |
3, 4 |
absent(up{job="x"} == 1) |
1, wenn nichts da ist |
4 |
(… ) or vector(0) |
0 statt leer |
12 |
topk(3, …) |
die drei größten |
13 |
max by (pod) (a) / max by (pod) (b) |
zwei Quellen paaren |
13 |
Recording Rules heißen Ebene:Metrik:Operation, etwa
job:notes_http_requests:rate5m (3).
LogQL
| Ausdruck |
Bedeutung |
Tag |
{app="notes-api", namespace="app"} |
Stream-Selektor, mindestens ein = |
7 |
\|= "text", != "text",
\|~ "regex" |
Zeilenfilter |
7 |
\| logfmt, \| json |
Felder zu Labels |
7, 8 |
\| status >= 500, \| level="ERROR" |
nach Feldern filtern |
7, 8 |
\| line_format "{{.method}} {{.path}}" |
Zeile neu bauen |
8 |
rate({…}[5m]),
count_over_time({…}[5m]) |
Zeilen pro Sekunde / im Fenster |
7 |
avg_over_time({…} \| json \| unwrap duration_ms [5m]) |
Wert eines Feldes |
8 |
absent_over_time({…}[2m]) |
1, wenn keine Zeile kam |
15 |
TraceQL
| Ausdruck |
Bedeutung |
Tag |
{ resource.service.name = "notes-api" } |
Resource Attribute |
10 |
{ span.http.response.status_code >= 500 } |
Span-Attribut |
10 |
{ duration > 150ms && … } |
Bedingungen an denselben Span |
10 |
{ name = "GET /upstream" } |
intrinsisch: Name |
10 |
{ status = error && kind = client } |
intrinsisch: Status, Art |
15 |
{ … } \| select(resource.k8s.pod.name) |
Attribute ins Ergebnis |
15 |
Ressourcen des Operators
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor # Tag 2, 14
spec:
selector: {matchLabels: {app.kubernetes.io/name: notes-api}}
sampleLimit: 500
endpoints:
- port: http # Name, nicht Nummer
interval: 15s
metricRelabelings:
- {sourceLabels: [__name__], regex: go_gc_.*, action: drop}
---
kind: PrometheusRule # Tag 3, 4, 12
spec:
groups:
- name: beispiel
rules:
- record: job:x:rate5m
expr: sum by (job) (rate(x_total[5m]))
- alert: XKaputt
expr: job:x:rate5m > 1
for: 2m
labels: {severity: warning}
annotations: {summary: "x bei {{ $value }}"}
Sidecars und Labels
| ConfigMap mit Label |
Wer liest sie |
Tag |
grafana_dashboard: "1" |
Grafana: Dashboard-JSON |
6 |
grafana_datasource: "1" |
Grafana: Provisioning-Datei für Datenquellen |
7 |
loki_rule: "1" |
Loki: Regeln für den Ruler |
8 |
Werte-Dateien im Lab
| Datei |
Chart |
Tag |
kps.yaml |
kube-prometheus-stack |
2, 4, 9, 11 |
loki.yaml |
loki (OCI) |
7, 8 |
alloy.yaml |
alloy |
7, 13 |
otel.yaml |
opentelemetry-collector |
9, 10 |
tempo.yaml |
tempo (OCI) |
10 |
Die wichtigsten Schalter in kps.yaml:
serviceMonitorSelectorNilUsesHelmValues: false (2),
alertmanager.config (4), enableOTLPReceiver
(9), enableFeatures: [exemplar-storage] (11).
SLO-Rechnung
| Größe |
Formel |
Beispiel 99,5 % |
| Fehlerbudget |
1 − Ziel |
0,005 |
| Burn Rate |
Fehlerquote ÷ Budget |
3,6 % ÷ 0,5 % = 7,2 |
| Pager |
> 14,4 in 1 h und 5 min |
Fehlerquote > 7,2 % |
| Ticket |
> 6 in 6 h und 30 min |
Fehlerquote > 3 % |