Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang A: Spickzettel

Alles Wichtige aus Tag 0–15 auf wenigen Seiten. Die Zahl in Klammern ist der Tag, an dem du es geübt hast. Im Zweifel gelten --help und die Dokumentation unter prometheus.io/docs, grafana.com/docs und opentelemetry.io/docs.

Adressen im Lab

Dienst Adresse auf der VM Tag
notes-api localhost:30080 0
Prometheus localhost:30090 2
Alertmanager localhost:30093 4
Grafana localhost:30300, admin / lab-grafana-pw-123 5
Loki localhost:30310 (LOKI_ADDR) 7
Tempo localhost:30320 10
Collector otel-collector.monitoring:4317 (gRPC), :4318 (HTTP) 9

Werkzeuge

Befehl Was er tut Tag
promtool query instant <url> '<PromQL>' Abfrage zum jetzigen Zeitpunkt 2
amtool alert / alert query name=wert aktive Alarme, gefiltert 4
amtool alert query --silenced … stummgeschaltete Alarme 4
amtool silence add name=wert --duration 30m --comment … Silence anlegen 4
amtool silence query -q / expire <ID> IDs / Silence beenden 4
amtool config routes Routing-Baum 4
logcli labels / labels <name> Labels / ihre Werte 7
logcli query --quiet --limit N -o raw --since 5m '<LogQL>' Zeilen 7
logcli instant-query --quiet '<LogQL>' Zahl aus Logs 7
logcli series --analyze-labels '{…}' Kardinalität 8
curl -G :30320/api/search --data-urlencode 'q=<TraceQL>' Traces suchen 10
curl :30320/api/v2/traces/<ID> einen Trace holen 10
curl -u admin:… :30300/api/datasources Datenquellen in Grafana 5
curl -u admin:… ':30300/api/search?query=…' Dashboards suchen 5
kubectl -n app set env deploy/notes-api X=wert / X- setzen / löschen 1
kubectl -n app port-forward <pod> 9081:8080 & einen Pod direkt ansprechen 1
helm history <rel> / helm rollback <rel> <rev> Revisionen / zurück 14

Störungen in notes-api

Variable Wirkung Tag
NOTES_DELAY=300ms jede Anfrage an /notes wartet 1
NOTES_ERROR_RATE=0.2 20 % der Anfragen an /notes enden mit 500 4
NOTES_LOG_FORMAT=json Logs als JSON statt Text 8
NOTES_UPSTREAM=https://… Ziel von /upstream 15
OTEL_EXPORTER_OTLP_ENDPOINT, OTEL_SERVICE_NAME Ziel und Name der Traces 10

PromQL

Ausdruck Bedeutung Tag
metrik{label="x", code=~"5.."} Selektor, =~ regulärer Ausdruck 3
metrik[5m] Range Vector: alle Werte der letzten 5 Minuten 3
rate(counter[5m]) Zuwachs pro Sekunde, robust gegen Neustarts 3
increase(counter[1h]) Zuwachs im Fenster 3
sum by (method) (…) / without (pod) aggregieren 3
histogram_quantile(0.95, sum by (le) (rate(x_bucket[5m]))) Perzentil 3
a / b, a > 0.05 rechnen, filtern 3, 4
absent(up{job="x"} == 1) 1, wenn nichts da ist 4
(… ) or vector(0) 0 statt leer 12
topk(3, …) die drei größten 13
max by (pod) (a) / max by (pod) (b) zwei Quellen paaren 13

Recording Rules heißen Ebene:Metrik:Operation, etwa job:notes_http_requests:rate5m (3).

LogQL

Ausdruck Bedeutung Tag
{app="notes-api", namespace="app"} Stream-Selektor, mindestens ein = 7
\|= "text", != "text", \|~ "regex" Zeilenfilter 7
\| logfmt, \| json Felder zu Labels 7, 8
\| status >= 500, \| level="ERROR" nach Feldern filtern 7, 8
\| line_format "{{.method}} {{.path}}" Zeile neu bauen 8
rate({…}[5m]), count_over_time({…}[5m]) Zeilen pro Sekunde / im Fenster 7
avg_over_time({…} \| json \| unwrap duration_ms [5m]) Wert eines Feldes 8
absent_over_time({…}[2m]) 1, wenn keine Zeile kam 15

TraceQL

Ausdruck Bedeutung Tag
{ resource.service.name = "notes-api" } Resource Attribute 10
{ span.http.response.status_code >= 500 } Span-Attribut 10
{ duration > 150ms && … } Bedingungen an denselben Span 10
{ name = "GET /upstream" } intrinsisch: Name 10
{ status = error && kind = client } intrinsisch: Status, Art 15
{ … } \| select(resource.k8s.pod.name) Attribute ins Ergebnis 15

Ressourcen des Operators

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor          # Tag 2, 14
spec:
  selector: {matchLabels: {app.kubernetes.io/name: notes-api}}
  sampleLimit: 500
  endpoints:
    - port: http              # Name, nicht Nummer
      interval: 15s
      metricRelabelings:
        - {sourceLabels: [__name__], regex: go_gc_.*, action: drop}
---
kind: PrometheusRule          # Tag 3, 4, 12
spec:
  groups:
    - name: beispiel
      rules:
        - record: job:x:rate5m
          expr: sum by (job) (rate(x_total[5m]))
        - alert: XKaputt
          expr: job:x:rate5m > 1
          for: 2m
          labels: {severity: warning}
          annotations: {summary: "x bei {{ $value }}"}

Sidecars und Labels

ConfigMap mit Label Wer liest sie Tag
grafana_dashboard: "1" Grafana: Dashboard-JSON 6
grafana_datasource: "1" Grafana: Provisioning-Datei für Datenquellen 7
loki_rule: "1" Loki: Regeln für den Ruler 8

Werte-Dateien im Lab

Datei Chart Tag
kps.yaml kube-prometheus-stack 2, 4, 9, 11
loki.yaml loki (OCI) 7, 8
alloy.yaml alloy 7, 13
otel.yaml opentelemetry-collector 9, 10
tempo.yaml tempo (OCI) 10

Die wichtigsten Schalter in kps.yaml: serviceMonitorSelectorNilUsesHelmValues: false (2), alertmanager.config (4), enableOTLPReceiver (9), enableFeatures: [exemplar-storage] (11).

SLO-Rechnung

Größe Formel Beispiel 99,5 %
Fehlerbudget 1 − Ziel 0,005
Burn Rate Fehlerquote ÷ Budget 3,6 % ÷ 0,5 % = 7,2
Pager > 14,4 in 1 h und 5 min Fehlerquote > 7,2 %
Ticket > 6 in 6 h und 30 min Fehlerquote > 3 %