Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Betrieb – Audit, Metriken, Snapshots, Upgrades

Ziel: Du schaltest Audit und Metriken scharf, sicherst und restaurierst Raft und rollst den Cluster ohne Ausfall von 2.7.0 auf 2.7.1. · Dauer: ca. 120 min · Voraussetzung: Tag 11

Briefing

  • OpenBao verweigert bao audit enable per API (getestet mit v2.7.1). Audit-Devices stehen deklarativ in der Server-Konfiguration.
  • Das Chart kopiert die Konfiguration beim Container-Start. Jede Änderung wird also erst nach einem Pod-Neustart wirksam.
  • Die StatefulSet-Strategie ist OnDelete: Erst wenn du einen Pod löschst, startet er mit der neuen Spezifikation.
  • Die Reihenfolge ist immer gleich: erst die Standbys, dann step-down, den Leader zuletzt.

Drill 1: Audit per API – geht nicht

mkdir -p ~/bao-lab/tag12 && cd ~/bao-lab/tag12
kubectl -n openbao port-forward svc/openbao-active 8200:8200 >/dev/null 2>&1 &
export BAO_ADDR=https://127.0.0.1:8200 BAO_CACERT=~/bao-lab/tls/ca.crt
export BAO_TOKEN=$(jq -r .root_token ~/bao-lab/k8s/init.json)
bao audit enable file file_path=stdout

Erwartet:

Error enabling audit device: Error making API request.

URL: PUT https://127.0.0.1:8200/v1/sys/audit/file
Code: 400. Errors:

* cannot enable audit device via API; use declarative, config-based audit device
management instead

Warum? Per API eingeschaltete Audit-Devices waren ein Angriffsweg (Schreiben beliebiger Dateien). Die Server-Option unsafe_allow_api_audit_creation gibt es zwar, im Lab und in Produktion bleibt sie aus.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Audit, Telemetrie, Log-Level in values.yaml

Ergänze in ~/bao-lab/k8s/values.yaml unter server::

server:
  logLevel: info
  auditStorage:
    enabled: true          # PVC "audit", gemountet unter /openbao/audit

Und in server.ha.raft.config (bestehender Inhalt aus Tag 8/10 bleibt, inklusive seal "transit" und retry_join):

listener "tcp" {
  # ... bestehende TLS-Zeilen ...
  telemetry {
    unauthenticated_metrics_access = true
  }
}

telemetry {
  prometheus_retention_time = "30s"
  disable_hostname          = true
}

audit "file" "stdout" {
  description = "Audit nach stdout"
  options {
    file_path = "stdout"
  }
}

audit "file" "datei" {
  options {
    file_path = "/openbao/audit/audit.log"
    mode      = "0600"
  }
}

volumeClaimTemplates eines StatefulSets sind unveränderlich. Lösche daher nur das Objekt, die Pods laufen weiter:

kubectl -n openbao delete statefulset openbao --cascade=orphan
helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao \
  -f ~/bao-lab/k8s/values.yaml
kubectl -n openbao get pods

Erwartet (gekürzt, kann abweichen):

statefulset.apps "openbao" deleted
Release "openbao" has been upgraded. Happy Helming!
NAME        READY   STATUS    RESTARTS   AGE
openbao-0   1/1     Running   0          2d
openbao-1   1/1     Running   0          2d
openbao-2   1/1     Running   0          2d

Die Pods laufen noch mit der alten Konfiguration. Aktiv wird sie erst in Drill 3.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Rolling Restart nach OnDelete-Regel

cat > roll.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
NS=openbao
pf() {
  pkill -f "port-forward svc/openbao-active" || true
  kubectl -n $NS port-forward svc/openbao-active 8200:8200 >/dev/null 2>&1 &
  sleep 3
}
recreate() {
  kubectl -n $NS delete pod "$1"
  sleep 5
  kubectl -n $NS wait --for=condition=Ready pod/"$1" --timeout=300s
}
L=$(kubectl -n $NS get pod -l openbao-active=true -o name); L=${L#pod/}
echo "Leader: $L"
for p in openbao-0 openbao-1 openbao-2; do
  [ "$p" = "$L" ] || recreate "$p"
done
bao operator step-down
sleep 10
recreate "$L"
pf
bao operator raft autopilot state | head -4
EOF
chmod +x roll.sh && ./roll.sh

Erwartet (gekürzt, kann abweichen):

Leader: openbao-0
pod "openbao-1" deleted
pod/openbao-1 condition met
pod "openbao-2" deleted
pod/openbao-2 condition met
Success! Stepped down: https://127.0.0.1:8200
pod "openbao-0" deleted
pod/openbao-0 condition met
Healthy:                         true
Failure Tolerance:               1
Leader:                          openbao-1

Warum? Mit Auto-Unseal (Tag 10) ist jeder neue Pod sofort Ready. Der Leader wird erst gelöscht, wenn er kein Leader mehr ist – so wird genau einmal gewählt.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Audit-Log lesen

bao audit list
bao kv get -mount=secret webshop/config >/dev/null
L=$(kubectl -n openbao get pod -l openbao-active=true -o name)
kubectl -n openbao exec "$L" -- tail -n 1 /openbao/audit/audit.log \
  | jq -c '{type, path: .request.path, token: .auth.client_token}'
kubectl -n openbao logs "$L" --tail=50 | grep -c '"type":"request"'

Erwartet (gekürzt):

Path       Type    Description
----       ----    -----------
datei/     file    n/a
stdout/    file    Audit nach stdout
{"type":"response","path":"secret/data/webshop/config","token":"hmac-sha256:2174..."}
12

Warum? Tokens und Secret-Werte stehen nur als HMAC im Log. Den Inhalt kannst du nicht zurückrechnen, gleiche Werte erkennst du aber wieder.

Achtung: Kann kein Audit-Device schreiben (Platte voll), lehnt OpenBao Requests ab. Überwache den Füllstand des PVC audit.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Metriken

M='core_unsealed|core_active|autopilot_|expire_num_leases|audit_log_request_failure'
curl -s --cacert "$BAO_CACERT" "$BAO_ADDR/v1/sys/metrics?format=prometheus" \
  | grep -E "^vault_($M)"

Erwartet (gekürzt, kann abweichen):

vault_audit_log_request_failure 0
vault_autopilot_failure_tolerance 1
vault_autopilot_healthy 1
vault_core_active{cluster="vault-cluster-ed99f45b"} 1
vault_core_unsealed{cluster="vault-cluster-ed99f45b"} 1
vault_expire_num_leases 3

Kein Token nötig dank unauthenticated_metrics_access. Das Präfix heißt aus Kompatibilitätsgründen weiterhin vault_. Seit v2.7 meldet ein versiegelter Node vault_core_unsealed 0, statt die Metrik wegzulassen – der Alarm unten greift also zuverlässig.

Metrik Bedeutung Alarm wenn
vault_core_unsealed Node entsiegelt 0
vault_core_active Node ist Leader Summe über Pods ≠ 1
vault_autopilot_failure_tolerance verkraftbare Ausfälle < 1
vault_raft_storage_stats_applied_index Raft-Fortschritt je Node Abstand wächst
vault_expire_num_leases offene Leases sprunghafter Anstieg
vault_audit_log_request_failure Audit-Schreibfehler > 0

Für Prometheus Operator: serverTelemetry.serviceMonitor.enabled: true im Chart.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Health-Endpunkte

kubectl -n openbao port-forward svc/openbao-standby 8202:8200 >/dev/null 2>&1 &
sleep 2
H=v1/sys/health
for u in "$BAO_ADDR/$H" "https://127.0.0.1:8202/$H" \
         "https://127.0.0.1:8202/$H?standbyok=true" "$BAO_ADDR/$H?activecode=299"; do
  printf '%s -> ' "$u"
  curl -s -o /dev/null -w '%{http_code}\n' --cacert "$BAO_CACERT" "$u"
done

Erwartet:

https://127.0.0.1:8200/v1/sys/health -> 200
https://127.0.0.1:8202/v1/sys/health -> 429
https://127.0.0.1:8202/v1/sys/health?standbyok=true -> 200
https://127.0.0.1:8200/v1/sys/health?activecode=299 -> 299
Zustand Code Parameter zum Umbiegen
aktiv 200 activecode
Standby 429 standbyok=true, standbycode
versiegelt 503 sealedcode
nicht initialisiert 501 uninitcode

Warum? Load Balancer wollen „nur Leader“ (Default), Kubernetes-Probes eher „lebt“ (standbyok=true, sealedcode=200).

Fortschritt speichern? Kostenlos registrieren

Drill 7: Log-Level zur Laufzeit

bao write sys/loggers level=debug
bao read sys/loggers | head -5
bao delete sys/loggers

Erwartet (gekürzt):

Success! Data written to: sys/loggers
Key                                     Value
---                                     -----
audit                                   debug
core                                    debug
Success! Data deleted (if it existed) at: sys/loggers

Gilt nur für den Node hinter dem Port-Forward und bis zum Neustart. Dauerhaft: server.logLevel in values.yaml (setzt BAO_LOG_LEVEL).

Fortschritt speichern? Kostenlos registrieren

Drill 8: Raft-Snapshot sichern und zurückspielen

bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-vorher >/dev/null
bao operator raft snapshot save raft-$(date +%F).snap
ls -l raft-*.snap
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-nachher >/dev/null
bao operator raft snapshot restore raft-$(date +%F).snap
sleep 5
bao kv get -mount=secret -field=db_pass webshop/config

Erwartet:

-rw-------  1 thomas  staff  48213  8 Okt 10:12 raft-2026-10-08.snap
lab-vorher

save gibt bei Erfolg nichts aus. restore -force brauchst du nur, wenn der Snapshot aus einem Cluster mit anderen Schlüsseln stammt.

Sicherheit: Der Snapshot ist mit dem Root Key verschlüsselt, enthält aber alles. Ohne passenden Seal (Transit-Key autounseal) ist er wertlos – sichere beides getrennt.

Fortschritt speichern? Kostenlos registrieren

Drill 9: Backup als CronJob (Idee)

bao policy write snapshot - <<'EOF'
path "sys/storage/raft/snapshot" {
  capabilities = ["read"]
}
EOF
kubectl -n openbao create serviceaccount openbao-snapshot
bao write auth/kubernetes/role/snapshot \
  bound_service_account_names=openbao-snapshot \
  bound_service_account_namespaces=openbao \
  audience=openbao token_policies=snapshot token_ttl=10m
apiVersion: batch/v1
kind: CronJob
metadata:
  name: openbao-snapshot
  namespace: openbao
spec:
  schedule: "0 * * * *"
  concurrencyPolicy: Forbid
  jobTemplate:
    spec:
      template:
        spec:
          serviceAccountName: openbao-snapshot
          restartPolicy: OnFailure
          securityContext: { runAsUser: 100, runAsGroup: 1000, fsGroup: 1000 }
          containers:
            - name: snap
              image: quay.io/openbao/openbao:2.7.0   # Tag wie dein Cluster
              command: ["/bin/sh", "-ec"]
              args:
                - |
                  export BAO_ADDR=https://openbao.openbao.svc:8200
                  export BAO_CACERT=/tls/ca.crt
                  export BAO_TOKEN=$(bao write -field=token auth/kubernetes/login \
                    role=snapshot jwt=@/var/run/secrets/bao/token)
                  bao operator raft snapshot save /backup/raft-$(date +%Y%m%d-%H%M).snap
                  find /backup -name '*.snap' -mtime +7 -delete
              volumeMounts:
                - { name: backup, mountPath: /backup }
                - { name: tls, mountPath: /tls, readOnly: true }
                - { name: bao-token, mountPath: /var/run/secrets/bao, readOnly: true }
          volumes:
            - name: backup
              persistentVolumeClaim: { claimName: openbao-backup }
            - name: tls
              secret: { secretName: openbao-tls }
            - name: bao-token
              projected:
                sources:
                  - serviceAccountToken: { path: token, audience: openbao }

Speichere das als cronjob.yaml, lege vorher einen PVC openbao-backup an und teste sofort:

kubectl apply -f cronjob.yaml
kubectl -n openbao create job --from=cronjob/openbao-snapshot snap-test
kubectl -n openbao wait --for=condition=complete job/snap-test --timeout=120s

Erwartet (gekürzt, kann abweichen):

job.batch/snap-test created
job.batch/snap-test condition met

Produktionsreif: snapshotAgent.enabled: true im Chart. Er schreibt nach S3 und nutzt ebenfalls Kubernetes-Auth (Rolle snapshot).

Fortschritt speichern? Kostenlos registrieren

Drill 10: Rolling Upgrade 2.7.0 → 2.7.1

Patch-Release mit Security-Fixes (u. a. Kubernetes-Auth prüft das JWT jetzt auch beim Renew). Erst Lage und Zielversion klären:

helm repo update
helm search repo openbao/openbao --versions | head -3
helm -n openbao list
bao operator raft autopilot state -format=json \
  | jq -r '.Servers[] | "\(.ID) \(.Version)"'

Erwartet (gekürzt, kann abweichen):

NAME             CHART VERSION   APP VERSION   DESCRIPTION
openbao/openbao  0.30.2          v2.7.1        Official OpenBao Chart
openbao/openbao  0.30.1          v2.7.0        Official OpenBao Chart
NAME     NAMESPACE  REVISION  STATUS    CHART           APP VERSION
openbao  openbao    5         deployed  openbao-0.30.2  v2.7.1
openbao-0 2.7.0
openbao-1 2.7.0
openbao-2 2.7.0

Die Chart-Version bleibt 0.30.2 – du änderst nur den Image-Tag. Release Notes lesen, dann in ~/bao-lab/k8s/values.yaml:

server:
  image:
    tag: "2.7.1"
injector:
  agentImage:
    tag: "2.7.1"
bao operator raft snapshot save pre-upgrade-2.7.0.snap
helm template openbao openbao/openbao --version 0.30.2 -n openbao \
  -f ~/bao-lab/k8s/values.yaml | grep 'openbao/openbao:'
helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao \
  -f ~/bao-lab/k8s/values.yaml
kubectl -n openbao get pods \
  -o custom-columns=POD:.metadata.name,IMAGE:.spec.containers[0].image

Erwartet (gekürzt, kann abweichen):

              value: "quay.io/openbao/openbao:2.7.1"
          image: "quay.io/openbao/openbao:2.7.1"
      image: quay.io/openbao/openbao:2.7.1
Release "openbao" has been upgraded. Happy Helming!
POD                                      IMAGE
openbao-0                                quay.io/openbao/openbao:2.7.0
openbao-1                                quay.io/openbao/openbao:2.7.0
openbao-2                                quay.io/openbao/openbao:2.7.0
openbao-agent-injector-6c9f7d8b5-x2kqp   docker.io/hashicorp/vault-k8s:1.7.2

helm upgrade hat nur das StatefulSet geändert. Jetzt rollst du: Standbys zuerst, step-down, Leader zuletzt.

~/bao-lab/tag12/roll.sh
bao operator raft autopilot state -format=json \
  | jq -r '.Servers[] | "\(.ID) \(.Version) \(.Status)"'
bao status -field=version; echo

Erwartet (gekürzt, kann abweichen):

Leader: openbao-1
pod "openbao-0" deleted
pod/openbao-0 condition met
pod "openbao-2" deleted
pod/openbao-2 condition met
Success! Stepped down: https://127.0.0.1:8200
pod "openbao-1" deleted
pod/openbao-1 condition met
Healthy:                         true
Failure Tolerance:               1
Leader:                          openbao-0
openbao-0 2.7.1 leader
openbao-1 2.7.1 follower
openbao-2 2.7.1 follower
2.7.1

Warum diese Reihenfolge? Während des Rollens laufen 2.7.0 und 2.7.1 gemischt. Standbys leiten Schreibzugriffe an den Leader weiter. Wird der Leader zuletzt getauscht, gibt es genau eine Neuwahl, und ein bereits aktualisierter Node übernimmt.

Danach: Image im Snapshot-CronJob (Drill 9) auf 2.7.1 setzen. Neu injizierte Pods bekommen den Agent 2.7.1, laufende Pods erst nach ihrem Neustart.

Achtung: Teste das Upgrade erst in Staging. Offiziell vorgesehen ist ein Downgrade nicht. Geht es schief, spielst du pre-upgrade-2.7.0.snap in einen Cluster mit der alten Version (Tag 14).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

#!/usr/bin/env bash
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
bao audit list | grep -q '^datei/' && ok "Audit-Datei aktiv" || nok "Audit-Datei aktiv"
curl -sf --cacert "$BAO_CACERT" "$BAO_ADDR/v1/sys/metrics?format=prometheus" \
  | grep -q '^vault_core_unsealed' && ok "Metriken" || nok "Metriken"
[ "$(curl -s -o /dev/null -w '%{http_code}' --cacert "$BAO_CACERT" \
  "$BAO_ADDR/v1/sys/health")" = 200 ] && ok "Health aktiv" || nok "Health aktiv"
ls ~/bao-lab/tag12/*.snap >/dev/null 2>&1 \
  && ok "Snapshot vorhanden" || nok "Snapshot vorhanden"
bao operator raft autopilot state | grep -q 'Healthy: *true' \
  && ok "Raft gesund" || nok "Raft gesund"
[ "$(bao operator raft autopilot state -format=json \
  | jq -r '[.Servers[].Version] | unique | join(",")')" = 2.7.1 ] \
  && ok "Alle Nodes auf 2.7.1" || nok "Alle Nodes auf 2.7.1"

Challenge

Zähle im Audit-Log des Leaders, welche fünf Pfade am häufigsten angefragt wurden.

Hinweis: Nur Einträge mit "type":"request" zählen, dann mit jq, sort und uniq -c auswerten.

Lösung

L=$(kubectl -n openbao get pod -l openbao-active=true -o name)
kubectl -n openbao exec "$L" -- cat /openbao/audit/audit.log \
  | jq -r 'select(.type=="request") | .request.path' \
  | sort | uniq -c | sort -rn | head -5

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Mindestens zwei Audit-Devices (z. B. Datei und Socket/Syslog), Logs zentral in ein SIEM, Füllstand überwachen.
  • Metrics-Endpunkt nur mit Token oder per NetworkPolicy auf Prometheus begrenzen.
  • Snapshots verschlüsselt, versioniert und außerhalb des Clusters. Restore regelmäßig in einem Wegwerf-Cluster üben. Seal-Key (Transit oder HSM per Hersteller-Backup) und Seal-Konfiguration getrennt sichern, alte Keys behalten, solange Snapshots sie brauchen (Tag 14, Szenario 9).
  • Upgrades: Release Notes lesen (2.7: file-Storage entfernt, Cloud-Seals nur noch als Plugin), vorher Snapshot, erst in Staging, Chart-Version und Image-Tag immer pinnen.
  • PodDisruptionBudget (Chart legt openbao an) und Anti-Affinity verhindern, dass Node-Drains mehrere Pods gleichzeitig treffen.