Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 9: Init, Unseal, Raft und Failover

Ziel: Der 3-Node-Raft-Cluster ist initialisiert, entsiegelt und übersteht den Verlust des Leaders. · Dauer: ca. 75 min · Voraussetzung: Tag 8

Briefing

  • operator init läuft genau einmal, auf openbao-0. Die anderen Pods treten per retry_join bei.
  • Mit Shamir muss jeder Pod nach jedem Neustart einzeln entsiegelt werden (3 von 5 Keys).
  • Raft braucht ein Quorum (Mehrheit) für jede Schreiboperation und jede Leader-Wahl.
Nodes Quorum Ausfälle tolerierbar
1 1 0
3 2 1
5 3 2

Drill 1: Initialisieren

kubectl -n openbao exec openbao-0 -- bao operator init \
  -key-shares=5 -key-threshold=3 -format=json > ~/bao-lab/k8s/init.json
chmod 600 ~/bao-lab/k8s/init.json
jq '{keys: (.unseal_keys_b64|length), threshold: .unseal_threshold}' \
  ~/bao-lab/k8s/init.json

Erwartet:

{
  "keys": 5,
  "threshold": 3
}

Sicherheit: init.json enthält alle Unseal-Keys und den Root-Token – nur im Lab so ablegen.

Fortschritt speichern? Kostenlos registrieren

Drill 2: openbao-0 entsiegeln

for i in 0 1 2; do
  kubectl -n openbao exec openbao-0 -- bao operator unseal \
    "$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
done
kubectl -n openbao exec openbao-0 -- bao status

Erwartet (gekürzt, IDs weichen ab):

Key                     Value
---                     -----
Seal Type               shamir
Initialized             true
Sealed                  false
Total Shares            5
Threshold               3
Version                 2.7.0
Commit Date             2026-09-23T19:00:07Z
Storage Type            raft
Cluster Name            vault-cluster-adb1b81c
HA Enabled              true
HA Cluster              https://openbao-0.openbao-internal:8201
HA Mode                 active
Raft Committed Index    29
Raft Applied Index      29

Fortschritt speichern? Kostenlos registrieren

Drill 3: openbao-1 und openbao-2 beitreten lassen

kubectl -n openbao logs openbao-1 | grep -m1 'unseal keys'

Erwartet (gekürzt):

... failed to retry join raft cluster: err="waiting for unseal keys to be supplied"

Warum? retry_join hat den Leader gefunden, braucht aber die Unseal-Keys, um die Raft-Challenge zu entschlüsseln.

for pod in openbao-1 openbao-2; do
  for i in 0 1 2; do
    kubectl -n openbao exec "$pod" -- bao operator unseal \
      "$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
  done
done
sleep 10
kubectl -n openbao get pods -L openbao-active

Erwartet (gekürzt, kann abweichen):

NAME        READY   STATUS    RESTARTS   AGE   OPENBAO-ACTIVE
openbao-0   1/1     Running   0          12m   true
openbao-1   1/1     Running   0          12m   false
openbao-2   1/1     Running   0          12m   false

Das Label setzt OpenBao selbst (service_registration "kubernetes"); openbao-active selektiert genau darauf.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Vom Laptop zugreifen und einloggen

Terminal 2 (offen lassen):

kubectl -n openbao port-forward svc/openbao-active 8200:8200

Terminal 1:

unset BAO_TOKEN
export BAO_ADDR=https://127.0.0.1:8200 BAO_CACERT=~/bao-lab/tls/ca.crt
bao login "$(jq -r .root_token ~/bao-lab/k8s/init.json)"

Erwartet (gekürzt):

Success! You are now authenticated. The token information displayed below is
already stored in the token helper. You do NOT need to run "bao login" again.
Future OpenBao requests will automatically use this token.

Key                  Value
---                  -----
token_policies       ["root"]

Warum unset BAO_TOKEN? Ein noch gesetzter Dev-Token aus Teil A hätte Vorrang vor dem Token-Helper.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Raft-Peers und Autopilot

bao operator raft list-peers
bao operator raft autopilot state | head -8

Erwartet (gekürzt, kann abweichen):

Node         Address                            State       Voter
----         -------                            -----       -----
openbao-0    openbao-0.openbao-internal:8201    leader      true
openbao-1    openbao-1.openbao-internal:8201    follower    true
openbao-2    openbao-2.openbao-internal:8201    follower    true
Healthy:                         true
Failure Tolerance:               1
Leader:                          openbao-0
Voters:
   openbao-0
   openbao-1
   openbao-2
Servers:

Direkt nach dem Join steht Voter einige Sekunden auf false: Autopilot macht neue Nodes erst nach der Server Stabilization Time (Default 10s) zu Votern. Failure Tolerance: 1 ist die Quorum-Mathematik aus dem Briefing.

Fortschritt speichern? Kostenlos registrieren

Drill 6: HA-Modus je Pod und Testdaten

for p in openbao-0 openbao-1 openbao-2; do
  echo -n "$p: "
  kubectl -n openbao exec "$p" -- bao status | grep 'HA Mode'
done
bao secrets enable -path=secret kv-v2
sleep 3
bao kv put -mount=secret failover-test wert=vor-dem-failover

Erwartet:

openbao-0: HA Mode                 active
openbao-1: HA Mode                 standby
openbao-2: HA Mode                 standby
Success! Enabled the kv-v2 secrets engine at: secret/
====== Secret Path ======
secret/data/failover-test
...

Warum sleep 3? Direkt nach dem Aktivieren meldet KV v2 kurz Upgrading from non-versioned to versioned data.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Failover – Leader-Pod löschen

LEADER=$(kubectl -n openbao get pods -l openbao-active=true \
  -o jsonpath='{.items[0].metadata.name}')
echo "Leader: $LEADER"
kubectl -n openbao delete pod "$LEADER"
kubectl -n openbao get pods -L openbao-active

Erwartet (gekürzt, kann abweichen):

Leader: openbao-0
pod "openbao-0" deleted
NAME        READY   STATUS    RESTARTS   AGE   OPENBAO-ACTIVE
openbao-0   0/1     Running   0          8s    false
openbao-1   1/1     Running   0          20m   true
openbao-2   1/1     Running   0          20m   false

Der Port-Forward hing am alten Pod und ist jetzt abgerissen. In Terminal 2 neu starten:

kubectl -n openbao port-forward svc/openbao-active 8200:8200

Terminal 1:

bao operator raft autopilot state | head -2
bao kv get -mount=secret -field=wert failover-test

Erwartet:

Healthy:                         false
Failure Tolerance:               0
vor-dem-failover

Daten sind da, aber Toleranz 0: Der neue Pod ist versiegelt. Entsiegeln (das ist der Shamir-Schmerz, den Tag 10 beseitigt):

for i in 0 1 2; do
  kubectl -n openbao exec "$LEADER" -- bao operator unseal \
    "$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
done
sleep 12
bao operator raft autopilot state | head -2

Erwartet:

Healthy:                         true
Failure Tolerance:               1

Fortschritt speichern? Kostenlos registrieren

Drill 8: Geplanter Wechsel mit step-down

bao operator step-down
sleep 3
bao operator raft list-peers
kubectl -n openbao get pods -L openbao-active

Erwartet (gekürzt, kann abweichen):

Success! Stepped down: https://10.244.3.2:8200
Node         Address                            State       Voter
----         -------                            -----       -----
openbao-0    openbao-0.openbao-internal:8201    leader      true
openbao-1    openbao-1.openbao-internal:8201    follower    true
openbao-2    openbao-2.openbao-internal:8201    follower    true
...

Warum funktioniert list-peers weiter, obwohl der Port-Forward jetzt an einem Standby hängt? Standbys leiten Anfragen an den Active weiter. Die IP in Stepped down: ist die BAO_API_ADDR des Pods (Pod-IP).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "3 Pods Ready" \
  '[ "$(kubectl -n openbao get pods --no-headers | grep -c " 1/1 ")" -eq 3 ]'
check "genau 1 Active" \
  '[ "$(kubectl -n openbao get pods -l openbao-active=true --no-headers | wc -l)" -eq 1 ]'
check "3 Voter" \
  '[ "$(bao operator raft list-peers -format=json \
     | jq "[.data.config.servers[]|select(.voter)]|length")" -eq 3 ]'
check "Autopilot healthy" \
  '[ "$(bao operator raft autopilot state -format=json | jq .Healthy)" = true ]'
check "Testdaten lesbar" 'bao kv get -mount=secret failover-test'

Challenge

Lösche zwei Pods gleichzeitig. Was meldet der verbleibende Pod, und welche Schritte brauchst du, bis der Cluster wieder Failure Tolerance: 1 hat?

Hinweis: Mit nur einem entsiegelten von drei Voters gibt es kein Quorum – kein Leader, keine Schreibzugriffe.

Lösung

kubectl -n openbao delete pod openbao-1 openbao-2
kubectl -n openbao exec openbao-0 -- bao status | grep -E 'Sealed|HA Mode'
for pod in openbao-1 openbao-2; do
  for i in 0 1 2; do
    kubectl -n openbao exec "$pod" -- bao operator unseal \
      "$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
  done
done
sleep 15
kubectl -n openbao get pods -L openbao-active
bao operator raft autopilot state | head -2

Sobald der zweite Pod entsiegelt ist, gibt es wieder ein Quorum (2 von 3) und einen Leader. Port-Forward ggf. neu starten.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Init mit -pgp-keys (und -root-token-pgp-key): jede Key-Holderin bekommt nur ihren verschlüsselten Share.
  • Root-Token nach dem Setup widerrufen, bei Bedarf per operator generate-root neu erzeugen (Tag 13).
  • 5 Voter über 3 Zonen, damit ein Zonenausfall das Quorum nicht kostet.
  • Autopilot- und Raft-Metriken überwachen (Leader-Wechsel, failure_tolerance), Tag 12.
  • Kein Port-Forward im Betrieb: Ingress/LoadBalancer auf openbao-active mit TLS.