Tag 12: Betrieb – Audit, Metriken, Snapshots, Upgrades
Ziel: Du schaltest Audit und Metriken scharf, sicherst und restaurierst Raft und rollst den Cluster ohne Ausfall von 2.7.0 auf 2.7.1. · Dauer: ca. 120 min · Voraussetzung: Tag 11
Briefing
- OpenBao verweigert
bao audit enableper API (getestet mit v2.7.1). Audit-Devices stehen deklarativ in der Server-Konfiguration. - Das Chart kopiert die Konfiguration beim Container-Start. Jede Änderung wird also erst nach einem Pod-Neustart wirksam.
- Die StatefulSet-Strategie ist
OnDelete: Erst wenn du einen Pod löschst, startet er mit der neuen Spezifikation. - Die Reihenfolge ist immer gleich: erst die Standbys, dann
step-down, den Leader zuletzt.
Drill 1: Audit per API – geht nicht
mkdir -p ~/bao-lab/tag12 && cd ~/bao-lab/tag12
kubectl -n openbao port-forward svc/openbao-active 8200:8200 >/dev/null 2>&1 &
export BAO_ADDR=https://127.0.0.1:8200 BAO_CACERT=~/bao-lab/tls/ca.crt
export BAO_TOKEN=$(jq -r .root_token ~/bao-lab/k8s/init.json)
bao audit enable file file_path=stdoutErwartet:
Error enabling audit device: Error making API request.
URL: PUT https://127.0.0.1:8200/v1/sys/audit/file
Code: 400. Errors:
* cannot enable audit device via API; use declarative, config-based audit device
management instead
Warum? Per API eingeschaltete Audit-Devices waren ein Angriffsweg
(Schreiben beliebiger Dateien). Die Server-Option
unsafe_allow_api_audit_creation gibt es zwar, im Lab und in
Produktion bleibt sie aus.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Audit, Telemetrie, Log-Level in values.yaml
Ergänze in ~/bao-lab/k8s/values.yaml unter
server::
server:
logLevel: info
auditStorage:
enabled: true # PVC "audit", gemountet unter /openbao/auditUnd in server.ha.raft.config (bestehender Inhalt aus Tag
8/10 bleibt, inklusive seal "transit" und
retry_join):
listener "tcp" {
# ... bestehende TLS-Zeilen ...
telemetry {
unauthenticated_metrics_access = true
}
}
telemetry {
prometheus_retention_time = "30s"
disable_hostname = true
}
audit "file" "stdout" {
description = "Audit nach stdout"
options {
file_path = "stdout"
}
}
audit "file" "datei" {
options {
file_path = "/openbao/audit/audit.log"
mode = "0600"
}
}
volumeClaimTemplates eines StatefulSets sind
unveränderlich. Lösche daher nur das Objekt, die Pods laufen weiter:
kubectl -n openbao delete statefulset openbao --cascade=orphan
helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao \
-f ~/bao-lab/k8s/values.yaml
kubectl -n openbao get podsErwartet (gekürzt, kann abweichen):
statefulset.apps "openbao" deleted
Release "openbao" has been upgraded. Happy Helming!
NAME READY STATUS RESTARTS AGE
openbao-0 1/1 Running 0 2d
openbao-1 1/1 Running 0 2d
openbao-2 1/1 Running 0 2d
Die Pods laufen noch mit der alten Konfiguration. Aktiv wird sie erst in Drill 3.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Rolling Restart nach OnDelete-Regel
cat > roll.sh <<'EOF'
#!/usr/bin/env bash
set -euo pipefail
NS=openbao
pf() {
pkill -f "port-forward svc/openbao-active" || true
kubectl -n $NS port-forward svc/openbao-active 8200:8200 >/dev/null 2>&1 &
sleep 3
}
recreate() {
kubectl -n $NS delete pod "$1"
sleep 5
kubectl -n $NS wait --for=condition=Ready pod/"$1" --timeout=300s
}
L=$(kubectl -n $NS get pod -l openbao-active=true -o name); L=${L#pod/}
echo "Leader: $L"
for p in openbao-0 openbao-1 openbao-2; do
[ "$p" = "$L" ] || recreate "$p"
done
bao operator step-down
sleep 10
recreate "$L"
pf
bao operator raft autopilot state | head -4
EOF
chmod +x roll.sh && ./roll.shErwartet (gekürzt, kann abweichen):
Leader: openbao-0
pod "openbao-1" deleted
pod/openbao-1 condition met
pod "openbao-2" deleted
pod/openbao-2 condition met
Success! Stepped down: https://127.0.0.1:8200
pod "openbao-0" deleted
pod/openbao-0 condition met
Healthy: true
Failure Tolerance: 1
Leader: openbao-1
Warum? Mit Auto-Unseal (Tag 10) ist jeder neue Pod sofort Ready. Der Leader wird erst gelöscht, wenn er kein Leader mehr ist – so wird genau einmal gewählt.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Audit-Log lesen
bao audit list
bao kv get -mount=secret webshop/config >/dev/null
L=$(kubectl -n openbao get pod -l openbao-active=true -o name)
kubectl -n openbao exec "$L" -- tail -n 1 /openbao/audit/audit.log \
| jq -c '{type, path: .request.path, token: .auth.client_token}'
kubectl -n openbao logs "$L" --tail=50 | grep -c '"type":"request"'Erwartet (gekürzt):
Path Type Description
---- ---- -----------
datei/ file n/a
stdout/ file Audit nach stdout
{"type":"response","path":"secret/data/webshop/config","token":"hmac-sha256:2174..."}
12
Warum? Tokens und Secret-Werte stehen nur als HMAC im Log. Den Inhalt kannst du nicht zurückrechnen, gleiche Werte erkennst du aber wieder.
Achtung: Kann kein Audit-Device schreiben (Platte voll), lehnt OpenBao Requests ab. Überwache den Füllstand des PVC
audit.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Metriken
M='core_unsealed|core_active|autopilot_|expire_num_leases|audit_log_request_failure'
curl -s --cacert "$BAO_CACERT" "$BAO_ADDR/v1/sys/metrics?format=prometheus" \
| grep -E "^vault_($M)"Erwartet (gekürzt, kann abweichen):
vault_audit_log_request_failure 0
vault_autopilot_failure_tolerance 1
vault_autopilot_healthy 1
vault_core_active{cluster="vault-cluster-ed99f45b"} 1
vault_core_unsealed{cluster="vault-cluster-ed99f45b"} 1
vault_expire_num_leases 3
Kein Token nötig dank unauthenticated_metrics_access.
Das Präfix heißt aus Kompatibilitätsgründen weiterhin
vault_. Seit v2.7 meldet ein versiegelter Node
vault_core_unsealed 0, statt die Metrik wegzulassen – der
Alarm unten greift also zuverlässig.
| Metrik | Bedeutung | Alarm wenn |
|---|---|---|
vault_core_unsealed |
Node entsiegelt | 0 |
vault_core_active |
Node ist Leader | Summe über Pods ≠ 1 |
vault_autopilot_failure_tolerance |
verkraftbare Ausfälle | < 1 |
vault_raft_storage_stats_applied_index |
Raft-Fortschritt je Node | Abstand wächst |
vault_expire_num_leases |
offene Leases | sprunghafter Anstieg |
vault_audit_log_request_failure |
Audit-Schreibfehler | > 0 |
Für Prometheus Operator:
serverTelemetry.serviceMonitor.enabled: true im Chart.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Health-Endpunkte
kubectl -n openbao port-forward svc/openbao-standby 8202:8200 >/dev/null 2>&1 &
sleep 2
H=v1/sys/health
for u in "$BAO_ADDR/$H" "https://127.0.0.1:8202/$H" \
"https://127.0.0.1:8202/$H?standbyok=true" "$BAO_ADDR/$H?activecode=299"; do
printf '%s -> ' "$u"
curl -s -o /dev/null -w '%{http_code}\n' --cacert "$BAO_CACERT" "$u"
doneErwartet:
https://127.0.0.1:8200/v1/sys/health -> 200
https://127.0.0.1:8202/v1/sys/health -> 429
https://127.0.0.1:8202/v1/sys/health?standbyok=true -> 200
https://127.0.0.1:8200/v1/sys/health?activecode=299 -> 299
| Zustand | Code | Parameter zum Umbiegen |
|---|---|---|
| aktiv | 200 | activecode |
| Standby | 429 | standbyok=true, standbycode |
| versiegelt | 503 | sealedcode |
| nicht initialisiert | 501 | uninitcode |
Warum? Load Balancer wollen „nur Leader“ (Default), Kubernetes-Probes
eher „lebt“ (standbyok=true,
sealedcode=200).
Fortschritt speichern? Kostenlos registrieren
Drill 7: Log-Level zur Laufzeit
bao write sys/loggers level=debug
bao read sys/loggers | head -5
bao delete sys/loggersErwartet (gekürzt):
Success! Data written to: sys/loggers
Key Value
--- -----
audit debug
core debug
Success! Data deleted (if it existed) at: sys/loggers
Gilt nur für den Node hinter dem Port-Forward und bis zum Neustart.
Dauerhaft: server.logLevel in values.yaml
(setzt BAO_LOG_LEVEL).
Fortschritt speichern? Kostenlos registrieren
Drill 8: Raft-Snapshot sichern und zurückspielen
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-vorher >/dev/null
bao operator raft snapshot save raft-$(date +%F).snap
ls -l raft-*.snap
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-nachher >/dev/null
bao operator raft snapshot restore raft-$(date +%F).snap
sleep 5
bao kv get -mount=secret -field=db_pass webshop/configErwartet:
-rw------- 1 thomas staff 48213 8 Okt 10:12 raft-2026-10-08.snap
lab-vorher
save gibt bei Erfolg nichts aus.
restore -force brauchst du nur, wenn der Snapshot aus einem
Cluster mit anderen Schlüsseln stammt.
Sicherheit: Der Snapshot ist mit dem Root Key verschlüsselt, enthält aber alles. Ohne passenden Seal (Transit-Key
autounseal) ist er wertlos – sichere beides getrennt.
Fortschritt speichern? Kostenlos registrieren
Drill 9: Backup als CronJob (Idee)
bao policy write snapshot - <<'EOF'
path "sys/storage/raft/snapshot" {
capabilities = ["read"]
}
EOF
kubectl -n openbao create serviceaccount openbao-snapshot
bao write auth/kubernetes/role/snapshot \
bound_service_account_names=openbao-snapshot \
bound_service_account_namespaces=openbao \
audience=openbao token_policies=snapshot token_ttl=10mapiVersion: batch/v1
kind: CronJob
metadata:
name: openbao-snapshot
namespace: openbao
spec:
schedule: "0 * * * *"
concurrencyPolicy: Forbid
jobTemplate:
spec:
template:
spec:
serviceAccountName: openbao-snapshot
restartPolicy: OnFailure
securityContext: { runAsUser: 100, runAsGroup: 1000, fsGroup: 1000 }
containers:
- name: snap
image: quay.io/openbao/openbao:2.7.0 # Tag wie dein Cluster
command: ["/bin/sh", "-ec"]
args:
- |
export BAO_ADDR=https://openbao.openbao.svc:8200
export BAO_CACERT=/tls/ca.crt
export BAO_TOKEN=$(bao write -field=token auth/kubernetes/login \
role=snapshot jwt=@/var/run/secrets/bao/token)
bao operator raft snapshot save /backup/raft-$(date +%Y%m%d-%H%M).snap
find /backup -name '*.snap' -mtime +7 -delete
volumeMounts:
- { name: backup, mountPath: /backup }
- { name: tls, mountPath: /tls, readOnly: true }
- { name: bao-token, mountPath: /var/run/secrets/bao, readOnly: true }
volumes:
- name: backup
persistentVolumeClaim: { claimName: openbao-backup }
- name: tls
secret: { secretName: openbao-tls }
- name: bao-token
projected:
sources:
- serviceAccountToken: { path: token, audience: openbao }Speichere das als cronjob.yaml, lege vorher einen PVC
openbao-backup an und teste sofort:
kubectl apply -f cronjob.yaml
kubectl -n openbao create job --from=cronjob/openbao-snapshot snap-test
kubectl -n openbao wait --for=condition=complete job/snap-test --timeout=120sErwartet (gekürzt, kann abweichen):
job.batch/snap-test created
job.batch/snap-test condition met
Produktionsreif: snapshotAgent.enabled: true im Chart.
Er schreibt nach S3 und nutzt ebenfalls Kubernetes-Auth (Rolle
snapshot).
Fortschritt speichern? Kostenlos registrieren
Drill 10: Rolling Upgrade 2.7.0 → 2.7.1
Patch-Release mit Security-Fixes (u. a. Kubernetes-Auth prüft das JWT jetzt auch beim Renew). Erst Lage und Zielversion klären:
helm repo update
helm search repo openbao/openbao --versions | head -3
helm -n openbao list
bao operator raft autopilot state -format=json \
| jq -r '.Servers[] | "\(.ID) \(.Version)"'Erwartet (gekürzt, kann abweichen):
NAME CHART VERSION APP VERSION DESCRIPTION
openbao/openbao 0.30.2 v2.7.1 Official OpenBao Chart
openbao/openbao 0.30.1 v2.7.0 Official OpenBao Chart
NAME NAMESPACE REVISION STATUS CHART APP VERSION
openbao openbao 5 deployed openbao-0.30.2 v2.7.1
openbao-0 2.7.0
openbao-1 2.7.0
openbao-2 2.7.0
Die Chart-Version bleibt 0.30.2 – du änderst nur den
Image-Tag. Release Notes lesen, dann in
~/bao-lab/k8s/values.yaml:
server:
image:
tag: "2.7.1"
injector:
agentImage:
tag: "2.7.1"bao operator raft snapshot save pre-upgrade-2.7.0.snap
helm template openbao openbao/openbao --version 0.30.2 -n openbao \
-f ~/bao-lab/k8s/values.yaml | grep 'openbao/openbao:'
helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao \
-f ~/bao-lab/k8s/values.yaml
kubectl -n openbao get pods \
-o custom-columns=POD:.metadata.name,IMAGE:.spec.containers[0].imageErwartet (gekürzt, kann abweichen):
value: "quay.io/openbao/openbao:2.7.1"
image: "quay.io/openbao/openbao:2.7.1"
image: quay.io/openbao/openbao:2.7.1
Release "openbao" has been upgraded. Happy Helming!
POD IMAGE
openbao-0 quay.io/openbao/openbao:2.7.0
openbao-1 quay.io/openbao/openbao:2.7.0
openbao-2 quay.io/openbao/openbao:2.7.0
openbao-agent-injector-6c9f7d8b5-x2kqp docker.io/hashicorp/vault-k8s:1.7.2
helm upgrade hat nur das StatefulSet geändert. Jetzt
rollst du: Standbys zuerst, step-down, Leader zuletzt.
~/bao-lab/tag12/roll.sh
bao operator raft autopilot state -format=json \
| jq -r '.Servers[] | "\(.ID) \(.Version) \(.Status)"'
bao status -field=version; echoErwartet (gekürzt, kann abweichen):
Leader: openbao-1
pod "openbao-0" deleted
pod/openbao-0 condition met
pod "openbao-2" deleted
pod/openbao-2 condition met
Success! Stepped down: https://127.0.0.1:8200
pod "openbao-1" deleted
pod/openbao-1 condition met
Healthy: true
Failure Tolerance: 1
Leader: openbao-0
openbao-0 2.7.1 leader
openbao-1 2.7.1 follower
openbao-2 2.7.1 follower
2.7.1
Warum diese Reihenfolge? Während des Rollens laufen 2.7.0 und 2.7.1 gemischt. Standbys leiten Schreibzugriffe an den Leader weiter. Wird der Leader zuletzt getauscht, gibt es genau eine Neuwahl, und ein bereits aktualisierter Node übernimmt.
Danach: Image im Snapshot-CronJob (Drill 9) auf 2.7.1
setzen. Neu injizierte Pods bekommen den Agent 2.7.1, laufende Pods erst
nach ihrem Neustart.
Achtung: Teste das Upgrade erst in Staging. Offiziell vorgesehen ist ein Downgrade nicht. Geht es schief, spielst du
pre-upgrade-2.7.0.snapin einen Cluster mit der alten Version (Tag 14).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
#!/usr/bin/env bash
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
bao audit list | grep -q '^datei/' && ok "Audit-Datei aktiv" || nok "Audit-Datei aktiv"
curl -sf --cacert "$BAO_CACERT" "$BAO_ADDR/v1/sys/metrics?format=prometheus" \
| grep -q '^vault_core_unsealed' && ok "Metriken" || nok "Metriken"
[ "$(curl -s -o /dev/null -w '%{http_code}' --cacert "$BAO_CACERT" \
"$BAO_ADDR/v1/sys/health")" = 200 ] && ok "Health aktiv" || nok "Health aktiv"
ls ~/bao-lab/tag12/*.snap >/dev/null 2>&1 \
&& ok "Snapshot vorhanden" || nok "Snapshot vorhanden"
bao operator raft autopilot state | grep -q 'Healthy: *true' \
&& ok "Raft gesund" || nok "Raft gesund"
[ "$(bao operator raft autopilot state -format=json \
| jq -r '[.Servers[].Version] | unique | join(",")')" = 2.7.1 ] \
&& ok "Alle Nodes auf 2.7.1" || nok "Alle Nodes auf 2.7.1"Challenge
Zähle im Audit-Log des Leaders, welche fünf Pfade am häufigsten angefragt wurden.
Hinweis: Nur Einträge mit
"type":"request" zählen, dann mit jq,
sort und uniq -c auswerten.
Lösung
L=$(kubectl -n openbao get pod -l openbao-active=true -o name)
kubectl -n openbao exec "$L" -- cat /openbao/audit/audit.log \
| jq -r 'select(.type=="request") | .request.path' \
| sort | uniq -c | sort -rn | head -5Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Mindestens zwei Audit-Devices (z. B. Datei und Socket/Syslog), Logs zentral in ein SIEM, Füllstand überwachen.
- Metrics-Endpunkt nur mit Token oder per NetworkPolicy auf Prometheus begrenzen.
- Snapshots verschlüsselt, versioniert und außerhalb des Clusters. Restore regelmäßig in einem Wegwerf-Cluster üben. Seal-Key (Transit oder HSM per Hersteller-Backup) und Seal-Konfiguration getrennt sichern, alte Keys behalten, solange Snapshots sie brauchen (Tag 14, Szenario 9).
- Upgrades: Release Notes lesen (2.7:
file-Storage entfernt, Cloud-Seals nur noch als Plugin), vorher Snapshot, erst in Staging, Chart-Version und Image-Tag immer pinnen. - PodDisruptionBudget (Chart legt
openbaoan) und Anti-Affinity verhindern, dass Node-Drains mehrere Pods gleichzeitig treffen.