Tag 9: Init, Unseal, Raft und Failover
Ziel: Der 3-Node-Raft-Cluster ist initialisiert, entsiegelt und übersteht den Verlust des Leaders. · Dauer: ca. 75 min · Voraussetzung: Tag 8
Briefing
operator initläuft genau einmal, aufopenbao-0. Die anderen Pods treten perretry_joinbei.- Mit Shamir muss jeder Pod nach jedem Neustart einzeln entsiegelt werden (3 von 5 Keys).
- Raft braucht ein Quorum (Mehrheit) für jede Schreiboperation und jede Leader-Wahl.
| Nodes | Quorum | Ausfälle tolerierbar |
|---|---|---|
| 1 | 1 | 0 |
| 3 | 2 | 1 |
| 5 | 3 | 2 |
Drill 1: Initialisieren
kubectl -n openbao exec openbao-0 -- bao operator init \
-key-shares=5 -key-threshold=3 -format=json > ~/bao-lab/k8s/init.json
chmod 600 ~/bao-lab/k8s/init.json
jq '{keys: (.unseal_keys_b64|length), threshold: .unseal_threshold}' \
~/bao-lab/k8s/init.jsonErwartet:
{
"keys": 5,
"threshold": 3
}Sicherheit:
init.jsonenthält alle Unseal-Keys und den Root-Token – nur im Lab so ablegen.
Fortschritt speichern? Kostenlos registrieren
Drill 2: openbao-0 entsiegeln
for i in 0 1 2; do
kubectl -n openbao exec openbao-0 -- bao operator unseal \
"$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
done
kubectl -n openbao exec openbao-0 -- bao statusErwartet (gekürzt, IDs weichen ab):
Key Value
--- -----
Seal Type shamir
Initialized true
Sealed false
Total Shares 5
Threshold 3
Version 2.7.0
Commit Date 2026-09-23T19:00:07Z
Storage Type raft
Cluster Name vault-cluster-adb1b81c
HA Enabled true
HA Cluster https://openbao-0.openbao-internal:8201
HA Mode active
Raft Committed Index 29
Raft Applied Index 29
Fortschritt speichern? Kostenlos registrieren
Drill 3: openbao-1 und openbao-2 beitreten lassen
kubectl -n openbao logs openbao-1 | grep -m1 'unseal keys'Erwartet (gekürzt):
... failed to retry join raft cluster: err="waiting for unseal keys to be supplied"
Warum? retry_join hat den Leader gefunden, braucht aber
die Unseal-Keys, um die Raft-Challenge zu entschlüsseln.
for pod in openbao-1 openbao-2; do
for i in 0 1 2; do
kubectl -n openbao exec "$pod" -- bao operator unseal \
"$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
done
done
sleep 10
kubectl -n openbao get pods -L openbao-activeErwartet (gekürzt, kann abweichen):
NAME READY STATUS RESTARTS AGE OPENBAO-ACTIVE
openbao-0 1/1 Running 0 12m true
openbao-1 1/1 Running 0 12m false
openbao-2 1/1 Running 0 12m false
Das Label setzt OpenBao selbst
(service_registration "kubernetes");
openbao-active selektiert genau darauf.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Vom Laptop zugreifen und einloggen
Terminal 2 (offen lassen):
kubectl -n openbao port-forward svc/openbao-active 8200:8200Terminal 1:
unset BAO_TOKEN
export BAO_ADDR=https://127.0.0.1:8200 BAO_CACERT=~/bao-lab/tls/ca.crt
bao login "$(jq -r .root_token ~/bao-lab/k8s/init.json)"Erwartet (gekürzt):
Success! You are now authenticated. The token information displayed below is
already stored in the token helper. You do NOT need to run "bao login" again.
Future OpenBao requests will automatically use this token.
Key Value
--- -----
token_policies ["root"]
Warum unset BAO_TOKEN? Ein noch gesetzter Dev-Token aus
Teil A hätte Vorrang vor dem Token-Helper.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Raft-Peers und Autopilot
bao operator raft list-peers
bao operator raft autopilot state | head -8Erwartet (gekürzt, kann abweichen):
Node Address State Voter
---- ------- ----- -----
openbao-0 openbao-0.openbao-internal:8201 leader true
openbao-1 openbao-1.openbao-internal:8201 follower true
openbao-2 openbao-2.openbao-internal:8201 follower true
Healthy: true
Failure Tolerance: 1
Leader: openbao-0
Voters:
openbao-0
openbao-1
openbao-2
Servers:
Direkt nach dem Join steht Voter einige Sekunden auf
false: Autopilot macht neue Nodes erst nach der
Server Stabilization Time (Default 10s) zu Votern.
Failure Tolerance: 1 ist die Quorum-Mathematik aus dem
Briefing.
Fortschritt speichern? Kostenlos registrieren
Drill 6: HA-Modus je Pod und Testdaten
for p in openbao-0 openbao-1 openbao-2; do
echo -n "$p: "
kubectl -n openbao exec "$p" -- bao status | grep 'HA Mode'
done
bao secrets enable -path=secret kv-v2
sleep 3
bao kv put -mount=secret failover-test wert=vor-dem-failoverErwartet:
openbao-0: HA Mode active
openbao-1: HA Mode standby
openbao-2: HA Mode standby
Success! Enabled the kv-v2 secrets engine at: secret/
====== Secret Path ======
secret/data/failover-test
...
Warum sleep 3? Direkt nach dem Aktivieren meldet KV v2
kurz Upgrading from non-versioned to versioned data.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Failover – Leader-Pod löschen
LEADER=$(kubectl -n openbao get pods -l openbao-active=true \
-o jsonpath='{.items[0].metadata.name}')
echo "Leader: $LEADER"
kubectl -n openbao delete pod "$LEADER"
kubectl -n openbao get pods -L openbao-activeErwartet (gekürzt, kann abweichen):
Leader: openbao-0
pod "openbao-0" deleted
NAME READY STATUS RESTARTS AGE OPENBAO-ACTIVE
openbao-0 0/1 Running 0 8s false
openbao-1 1/1 Running 0 20m true
openbao-2 1/1 Running 0 20m false
Der Port-Forward hing am alten Pod und ist jetzt abgerissen. In Terminal 2 neu starten:
kubectl -n openbao port-forward svc/openbao-active 8200:8200Terminal 1:
bao operator raft autopilot state | head -2
bao kv get -mount=secret -field=wert failover-testErwartet:
Healthy: false
Failure Tolerance: 0
vor-dem-failover
Daten sind da, aber Toleranz 0: Der neue Pod ist
versiegelt. Entsiegeln (das ist der Shamir-Schmerz, den Tag 10
beseitigt):
for i in 0 1 2; do
kubectl -n openbao exec "$LEADER" -- bao operator unseal \
"$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
done
sleep 12
bao operator raft autopilot state | head -2Erwartet:
Healthy: true
Failure Tolerance: 1
Fortschritt speichern? Kostenlos registrieren
Drill 8: Geplanter Wechsel mit step-down
bao operator step-down
sleep 3
bao operator raft list-peers
kubectl -n openbao get pods -L openbao-activeErwartet (gekürzt, kann abweichen):
Success! Stepped down: https://10.244.3.2:8200
Node Address State Voter
---- ------- ----- -----
openbao-0 openbao-0.openbao-internal:8201 leader true
openbao-1 openbao-1.openbao-internal:8201 follower true
openbao-2 openbao-2.openbao-internal:8201 follower true
...
Warum funktioniert list-peers weiter, obwohl der
Port-Forward jetzt an einem Standby hängt? Standbys leiten Anfragen an
den Active weiter. Die IP in Stepped down: ist die
BAO_API_ADDR des Pods (Pod-IP).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "3 Pods Ready" \
'[ "$(kubectl -n openbao get pods --no-headers | grep -c " 1/1 ")" -eq 3 ]'
check "genau 1 Active" \
'[ "$(kubectl -n openbao get pods -l openbao-active=true --no-headers | wc -l)" -eq 1 ]'
check "3 Voter" \
'[ "$(bao operator raft list-peers -format=json \
| jq "[.data.config.servers[]|select(.voter)]|length")" -eq 3 ]'
check "Autopilot healthy" \
'[ "$(bao operator raft autopilot state -format=json | jq .Healthy)" = true ]'
check "Testdaten lesbar" 'bao kv get -mount=secret failover-test'Challenge
Lösche zwei Pods gleichzeitig. Was meldet der verbleibende Pod, und
welche Schritte brauchst du, bis der Cluster wieder
Failure Tolerance: 1 hat?
Hinweis: Mit nur einem entsiegelten von drei Voters gibt es kein Quorum – kein Leader, keine Schreibzugriffe.
Lösung
kubectl -n openbao delete pod openbao-1 openbao-2
kubectl -n openbao exec openbao-0 -- bao status | grep -E 'Sealed|HA Mode'
for pod in openbao-1 openbao-2; do
for i in 0 1 2; do
kubectl -n openbao exec "$pod" -- bao operator unseal \
"$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
done
done
sleep 15
kubectl -n openbao get pods -L openbao-active
bao operator raft autopilot state | head -2Sobald der zweite Pod entsiegelt ist, gibt es wieder ein Quorum (2 von 3) und einen Leader. Port-Forward ggf. neu starten.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Init mit
-pgp-keys(und-root-token-pgp-key): jede Key-Holderin bekommt nur ihren verschlüsselten Share. - Root-Token nach dem Setup widerrufen, bei Bedarf per
operator generate-rootneu erzeugen (Tag 13). - 5 Voter über 3 Zonen, damit ein Zonenausfall das Quorum nicht kostet.
- Autopilot- und Raft-Metriken überwachen (Leader-Wechsel,
failure_tolerance), Tag 12. - Kein Port-Forward im Betrieb: Ingress/LoadBalancer auf
openbao-activemit TLS.