Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang B: Abschlussprüfung

Ziel: Ohne Anleitung zeigen, dass du Observability im Alltag beherrschst: ein Alarm, ein Dashboard als Code, ein Alarm aus Events und eine Änderung am Collector. · Dauer: ca. 90 min · Voraussetzung: Tag 15

Spielregeln

  • Jede Übung beschreibt nur das Ziel. Den Weg findest du selbst; die Tage in Klammern helfen beim Nachschlagen.
  • Jede Übung endet mit einem Prüfblock: einzelne Befehle mit dem, was sie zeigen müssen. Erst wenn alle stimmen, gilt die Übung.
  • Alle Dateien liegen in ~/obs-lab.
cd ~/obs-lab

Übung 1: Niemand schreibt mehr

Schreib einen Alarm NotesApiNoWrites (Severity warning, Namespace app): Er feuert, wenn notes-api drei Minuten lang keine einzige Notiz angelegt hat. Löse ihn aus, indem du den Lastgenerator anhältst. (Tag 3, Tag 4)

Prüfblock (nach kubectl -n app scale deploy/last --replicas 0 und fünf Minuten):

amtool alert query alertname=NotesApiNoWrites

Erwartet:

Alertname         Starts At                Summary                         State
NotesApiNoWrites  2026-11-05 13:12:30 UTC  notes-api legt keine Notizen an  active
kubectl -n app scale deploy/last --replicas 1

Danach muss der Alarm innerhalb von fünf Minuten erlöschen.

Lösung

cat > notes-nowrites.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: notes-api-nowrites
  namespace: app
spec:
  groups:
    - name: notes-api.nowrites
      rules:
        - alert: NotesApiNoWrites
          expr: sum(rate(notes_created_total[2m])) == 0
          for: 3m
          labels:
            severity: warning
            namespace: app
          annotations:
            summary: notes-api legt keine Notizen an
EOF
kubectl apply -f notes-nowrites.yaml

rate(...) == 0 statt absent(): notes-api läuft weiter und liefert den Counter, er wächst nur nicht mehr. notes_created_total zählt nur gelungene Notizen – auch eine kaputte Datenbank würde den Alarm auslösen.

Fortschritt speichern? Kostenlos registrieren

Übung 2: Logs im Dashboard

Leg ein zweites Dashboard als Code an: uid notes-api-logs, Titel notes-api Logs, ein Panel Logzeilen pro Sekunde nach Level (Zeitreihe, Datenquelle Loki) und ein Panel Fehlerzeilen (Logs-Darstellung, nur level ERROR). Es kommt per Kustomize in denselben Ordner wie das Dashboard aus Tag 6. (Tag 6, Tag 8)

Prüfblock (eine Minute nach kubectl apply -k):

curl -s -u admin:lab-grafana-pw-123 localhost:30300/api/dashboards/uid/notes-api-logs \
  | jq -c '[.dashboard.panels[] | {type, ds: .datasource.uid}]'

Erwartet:

[{"type":"timeseries","ds":"loki"},{"type":"logs","ds":"loki"}]
kubectl -n app get configmap -l grafana_dashboard=1 -o name

Erwartet:

configmap/notes-api-dashboard
configmap/notes-api-logs-dashboard

Lösung

cd ~/obs-lab/dashboards
cat > notes-api-logs.json <<'EOF'
{
  "uid": "notes-api-logs",
  "title": "notes-api Logs",
  "tags": ["notes-api"],
  "time": {"from": "now-30m", "to": "now"},
  "schemaVersion": 41,
  "panels": [
    {
      "id": 1, "type": "timeseries", "title": "Logzeilen pro Sekunde nach Level",
      "gridPos": {"x": 0, "y": 0, "w": 24, "h": 7},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A", "legendFormat": "{{level}}",
        "expr": "sum by (level) (rate({app=\"notes-api\"} | json [1m]))"}]
    },
    {
      "id": 2, "type": "logs", "title": "Fehlerzeilen",
      "gridPos": {"x": 0, "y": 7, "w": 24, "h": 10},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A",
        "expr": "{app=\"notes-api\"} | json | level=\"ERROR\""}]
    }
  ]
}
EOF
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
namespace: app
configMapGenerator:
  - name: notes-api-dashboard
    files:
      - notes-api.json
    options:
      labels:
        grafana_dashboard: "1"
      disableNameSuffixHash: true
  - name: notes-api-logs-dashboard
    files:
      - notes-api-logs.json
    options:
      labels:
        grafana_dashboard: "1"
      disableNameSuffixHash: true
EOF
kubectl apply -k .
cd ~/obs-lab

sum by (level) braucht | json davor – erst der Parser macht level zu einem Label.

Fortschritt speichern? Kostenlos registrieren

Übung 3: Alarm aus Kubernetes-Events

Schreib eine Log-Regel PodBackOff (Severity warning): Sie feuert, sobald im Namespace app in den letzten fünf Minuten ein Event mit reason=BackOff aufgetaucht ist. Löse sie mit dem Speicherfresser aus Tag 13 aus. (Tag 8, Tag 13)

Prüfblock (drei Minuten nach kubectl apply -f speicherfresser.yaml):

amtool alert query alertname=PodBackOff

Erwartet:

Alertname   Starts At                Summary                           State
PodBackOff  2026-11-05 13:31:20 UTC  Pod in app startet immer wieder  active
kubectl -n app delete pod speicherfresser

Lösung

Die Regel kommt als zweite Datei in die ConfigMap aus Tag 8 – oder in eine eigene ConfigMap mit dem Label loki_rule:

cat > events-rules.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
  name: events-log-rules
  namespace: monitoring
  labels:
    loki_rule: "1"
data:
  events.yaml: |
    groups:
      - name: kubernetes.events
        rules:
          - alert: PodBackOff
            expr: |
              sum by (namespace) (count_over_time(
                {job="kubernetes-events", namespace="app"}
                  |= "reason=BackOff" [5m])) > 0
            labels:
              severity: warning
            annotations:
              summary: Pod in {{ $labels.namespace }} startet immer wieder
EOF
kubectl apply -f events-rules.yaml
kubectl apply -f speicherfresser.yaml

Der Sidecar legt jede Datei aus jeder ConfigMap in /rules/fake ab. Zwei ConfigMaps, zwei Dateien, ein Ruler.

Fortschritt speichern? Kostenlos registrieren

Übung 4: Umgebung an jedem Trace

Jeder Trace, der durch den Collector geht, soll das Resource Attribute deployment.environment.name mit dem Wert lab tragen – ohne Änderung an notes-api. (Tag 9, Tag 10)

Prüfblock (eine Minute nach dem helm upgrade):

curl -s -G localhost:30320/api/search --data-urlencode limit=1 \
  --data-urlencode 'q={ resource.deployment.environment.name = "lab" }' \
  | jq -r '.traces[0].rootServiceName'

Erwartet:

notes-api

Lösung

Ein Processor resource mit action: upsert in der Pipeline traces. Hier die ganze otel.yaml:

cat > otel.yaml <<'EOF'
mode: deployment
fullnameOverride: otel-collector

image:
  repository: otel/opentelemetry-collector-k8s

presets:
  kubernetesAttributes:
    enabled: true

resources:
  requests: {cpu: 20m, memory: 64Mi}
  limits: {memory: 256Mi}

ports:
  jaeger-compact: {enabled: false}
  jaeger-thrift: {enabled: false}
  jaeger-grpc: {enabled: false}
  zipkin: {enabled: false}
  metrics: {enabled: true}

serviceMonitor:
  enabled: true

config:
  receivers:
    jaeger: null
    zipkin: null
    prometheus: null
  processors:
    resource/env:
      attributes:
        - key: deployment.environment.name
          value: lab
          action: upsert
  exporters:
    debug:
      verbosity: basic
    otlp_grpc/tempo:
      endpoint: tempo:4317
      tls:
        insecure: true
    otlp_http/loki:
      endpoint: http://loki:3100/otlp
    otlp_http/prometheus:
      endpoint: http://kps-prometheus:9090/api/v1/otlp
  service:
    pipelines:
      traces:
        receivers: [otlp]
        processors: [memory_limiter, k8s_attributes, resource/env, batch]
        exporters: [debug, otlp_grpc/tempo]
      logs:
        receivers: [otlp]
        processors: [memory_limiter, k8s_attributes, batch]
        exporters: [otlp_http/loki]
      metrics:
        receivers: [otlp]
        processors: [memory_limiter, k8s_attributes, batch]
        exporters: [otlp_http/prometheus]
EOF
helm upgrade otel open-telemetry/opentelemetry-collector --version 0.178.2 \
  -n monitoring -f otel.yaml --wait
  • resource ändert Resource Attributes, attributes (ein anderer Processor) die Attribute einzelner Spans.
  • Die Reihenfolge zählt: batch steht immer am Ende, damit gebündelt wird, was fertig ist.

Fortschritt speichern? Kostenlos registrieren

Geschafft

Vier Prüfblöcke grün? Dann kannst du einen Beobachtungs-Stack auf Kubernetes aufbauen, erweitern und im Betrieb halten – und, wichtiger, ihn benutzen, wenn es brennt.

Aufräumen ist einfach: multipass delete --purge obs auf dem Laptop.