Anhang B: Abschlussprüfung
Ziel: Ohne Anleitung zeigen, dass du Observability im Alltag beherrschst: ein Alarm, ein Dashboard als Code, ein Alarm aus Events und eine Änderung am Collector. · Dauer: ca. 90 min · Voraussetzung: Tag 15
Spielregeln
- Jede Übung beschreibt nur das Ziel. Den Weg findest du selbst; die Tage in Klammern helfen beim Nachschlagen.
- Jede Übung endet mit einem Prüfblock: einzelne Befehle mit dem, was sie zeigen müssen. Erst wenn alle stimmen, gilt die Übung.
- Alle Dateien liegen in
~/obs-lab.
cd ~/obs-labÜbung 1: Niemand schreibt mehr
Schreib einen Alarm NotesApiNoWrites (Severity
warning, Namespace app): Er feuert, wenn
notes-api drei Minuten lang keine einzige Notiz angelegt hat. Löse ihn
aus, indem du den Lastgenerator anhältst. (Tag 3, Tag 4)
Prüfblock (nach
kubectl -n app scale deploy/last --replicas 0 und fünf
Minuten):
amtool alert query alertname=NotesApiNoWritesErwartet:
Alertname Starts At Summary State
NotesApiNoWrites 2026-11-05 13:12:30 UTC notes-api legt keine Notizen an active
kubectl -n app scale deploy/last --replicas 1Danach muss der Alarm innerhalb von fünf Minuten erlöschen.
Lösung
cat > notes-nowrites.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: notes-api-nowrites
namespace: app
spec:
groups:
- name: notes-api.nowrites
rules:
- alert: NotesApiNoWrites
expr: sum(rate(notes_created_total[2m])) == 0
for: 3m
labels:
severity: warning
namespace: app
annotations:
summary: notes-api legt keine Notizen an
EOF
kubectl apply -f notes-nowrites.yamlrate(...) == 0 statt absent(): notes-api
läuft weiter und liefert den Counter, er wächst nur nicht mehr.
notes_created_total zählt nur gelungene Notizen – auch eine
kaputte Datenbank würde den Alarm auslösen.
Fortschritt speichern? Kostenlos registrieren
Übung 2: Logs im Dashboard
Leg ein zweites Dashboard als Code an: uid
notes-api-logs, Titel notes-api Logs, ein
Panel Logzeilen pro Sekunde nach Level (Zeitreihe,
Datenquelle Loki) und ein Panel Fehlerzeilen
(Logs-Darstellung, nur level ERROR). Es kommt
per Kustomize in denselben Ordner wie das Dashboard aus Tag 6. (Tag 6,
Tag 8)
Prüfblock (eine Minute nach
kubectl apply -k):
curl -s -u admin:lab-grafana-pw-123 localhost:30300/api/dashboards/uid/notes-api-logs \
| jq -c '[.dashboard.panels[] | {type, ds: .datasource.uid}]'Erwartet:
[{"type":"timeseries","ds":"loki"},{"type":"logs","ds":"loki"}]
kubectl -n app get configmap -l grafana_dashboard=1 -o nameErwartet:
configmap/notes-api-dashboard
configmap/notes-api-logs-dashboard
Lösung
cd ~/obs-lab/dashboards
cat > notes-api-logs.json <<'EOF'
{
"uid": "notes-api-logs",
"title": "notes-api Logs",
"tags": ["notes-api"],
"time": {"from": "now-30m", "to": "now"},
"schemaVersion": 41,
"panels": [
{
"id": 1, "type": "timeseries", "title": "Logzeilen pro Sekunde nach Level",
"gridPos": {"x": 0, "y": 0, "w": 24, "h": 7},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A", "legendFormat": "{{level}}",
"expr": "sum by (level) (rate({app=\"notes-api\"} | json [1m]))"}]
},
{
"id": 2, "type": "logs", "title": "Fehlerzeilen",
"gridPos": {"x": 0, "y": 7, "w": 24, "h": 10},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A",
"expr": "{app=\"notes-api\"} | json | level=\"ERROR\""}]
}
]
}
EOF
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: app
configMapGenerator:
- name: notes-api-dashboard
files:
- notes-api.json
options:
labels:
grafana_dashboard: "1"
disableNameSuffixHash: true
- name: notes-api-logs-dashboard
files:
- notes-api-logs.json
options:
labels:
grafana_dashboard: "1"
disableNameSuffixHash: true
EOF
kubectl apply -k .
cd ~/obs-labsum by (level) braucht | json davor – erst
der Parser macht level zu einem Label.
Fortschritt speichern? Kostenlos registrieren
Übung 3: Alarm aus Kubernetes-Events
Schreib eine Log-Regel PodBackOff (Severity
warning): Sie feuert, sobald im Namespace app
in den letzten fünf Minuten ein Event mit reason=BackOff
aufgetaucht ist. Löse sie mit dem Speicherfresser aus Tag 13 aus. (Tag
8, Tag 13)
Prüfblock (drei Minuten nach
kubectl apply -f speicherfresser.yaml):
amtool alert query alertname=PodBackOffErwartet:
Alertname Starts At Summary State
PodBackOff 2026-11-05 13:31:20 UTC Pod in app startet immer wieder active
kubectl -n app delete pod speicherfresserLösung
Die Regel kommt als zweite Datei in die ConfigMap aus Tag 8 – oder in
eine eigene ConfigMap mit dem Label loki_rule:
cat > events-rules.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
name: events-log-rules
namespace: monitoring
labels:
loki_rule: "1"
data:
events.yaml: |
groups:
- name: kubernetes.events
rules:
- alert: PodBackOff
expr: |
sum by (namespace) (count_over_time(
{job="kubernetes-events", namespace="app"}
|= "reason=BackOff" [5m])) > 0
labels:
severity: warning
annotations:
summary: Pod in {{ $labels.namespace }} startet immer wieder
EOF
kubectl apply -f events-rules.yaml
kubectl apply -f speicherfresser.yamlDer Sidecar legt jede Datei aus jeder ConfigMap in
/rules/fake ab. Zwei ConfigMaps, zwei Dateien, ein
Ruler.
Fortschritt speichern? Kostenlos registrieren
Übung 4: Umgebung an jedem Trace
Jeder Trace, der durch den Collector geht, soll das Resource
Attribute deployment.environment.name mit dem Wert
lab tragen – ohne Änderung an notes-api. (Tag 9, Tag
10)
Prüfblock (eine Minute nach dem
helm upgrade):
curl -s -G localhost:30320/api/search --data-urlencode limit=1 \
--data-urlencode 'q={ resource.deployment.environment.name = "lab" }' \
| jq -r '.traces[0].rootServiceName'Erwartet:
notes-api
Lösung
Ein Processor resource mit action: upsert
in der Pipeline traces. Hier die ganze
otel.yaml:
cat > otel.yaml <<'EOF'
mode: deployment
fullnameOverride: otel-collector
image:
repository: otel/opentelemetry-collector-k8s
presets:
kubernetesAttributes:
enabled: true
resources:
requests: {cpu: 20m, memory: 64Mi}
limits: {memory: 256Mi}
ports:
jaeger-compact: {enabled: false}
jaeger-thrift: {enabled: false}
jaeger-grpc: {enabled: false}
zipkin: {enabled: false}
metrics: {enabled: true}
serviceMonitor:
enabled: true
config:
receivers:
jaeger: null
zipkin: null
prometheus: null
processors:
resource/env:
attributes:
- key: deployment.environment.name
value: lab
action: upsert
exporters:
debug:
verbosity: basic
otlp_grpc/tempo:
endpoint: tempo:4317
tls:
insecure: true
otlp_http/loki:
endpoint: http://loki:3100/otlp
otlp_http/prometheus:
endpoint: http://kps-prometheus:9090/api/v1/otlp
service:
pipelines:
traces:
receivers: [otlp]
processors: [memory_limiter, k8s_attributes, resource/env, batch]
exporters: [debug, otlp_grpc/tempo]
logs:
receivers: [otlp]
processors: [memory_limiter, k8s_attributes, batch]
exporters: [otlp_http/loki]
metrics:
receivers: [otlp]
processors: [memory_limiter, k8s_attributes, batch]
exporters: [otlp_http/prometheus]
EOF
helm upgrade otel open-telemetry/opentelemetry-collector --version 0.178.2 \
-n monitoring -f otel.yaml --waitresourceändert Resource Attributes,attributes(ein anderer Processor) die Attribute einzelner Spans.- Die Reihenfolge zählt:
batchsteht immer am Ende, damit gebündelt wird, was fertig ist.
Fortschritt speichern? Kostenlos registrieren
Geschafft
Vier Prüfblöcke grün? Dann kannst du einen Beobachtungs-Stack auf Kubernetes aufbauen, erweitern und im Betrieb halten – und, wichtiger, ihn benutzen, wenn es brennt.
Aufräumen ist einfach: multipass delete --purge obs auf
dem Laptop.