Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: Auto-Unseal und Seal-Migration

Ziel: Der HA-Cluster entsiegelt sich nach jedem Neustart selbst über den Transit-Key einer zweiten OpenBao-Instanz. · Dauer: ca. 90 min · Voraussetzung: Tag 9

Briefing

  • Ein zweites Release bao-unsealer (Namespace unsealer) hält den Transit-Key autounseal.
  • Die Pods von openbao lassen ihren Root-Key beim Start von dort entschlüsseln – keine Unseal-Keys mehr nötig.
  • Die Umstellung von Shamir auf Transit heißt Seal-Migration; sie läuft Pod für Pod mit bao operator unseal -migrate.
  • Danach sind die 5 Shamir-Keys Recovery-Keys.
 Namespace unsealer              Namespace openbao
 +----------------+  encrypt/   +-----------+-----------+-----------+
 | bao-unsealer-0 |<-- decrypt -| openbao-0 | openbao-1 | openbao-2 |
 | transit/       |   (Token)   +-----------+-----------+-----------+
 | keys/autounseal|
 +----------------+

Drill 1: Unsealer installieren

cat > ~/bao-lab/k8s/unsealer-values.yaml <<'EOF'
fullnameOverride: bao-unsealer

injector:
  enabled: false

server:
  image:
    tag: "2.7.0"
  dataStorage:
    enabled: true
    size: 1Gi
  standalone:
    enabled: true
    config: |
      ui = true

      listener "tcp" {
        tls_disable     = 1          # Lab! Produktion: TLS
        address         = "[::]:8200"
        cluster_address = "[::]:8201"
      }

      storage "pebbledb" {
        path = "/openbao/data/pebbledb"
      }
EOF
helm template bao-unsealer openbao/openbao --version 0.30.2 -n unsealer \
  -f ~/bao-lab/k8s/unsealer-values.yaml | grep -E '^kind:|^  name:' | paste - -

Erwartet:

kind: ServiceAccount              name: bao-unsealer
kind: ConfigMap                   name: bao-unsealer-config
kind: ClusterRoleBinding          name: bao-unsealer-server-binding
  name: system:auth-delegator     name: bao-unsealer
kind: Service                     name: bao-unsealer-internal
kind: Service                     name: bao-unsealer
kind: StatefulSet                 name: bao-unsealer
kind: Pod                         name: bao-unsealer-server-test

Warum fullnameOverride? Ohne heißen alle Ressourcen bao-unsealer-openbao. So ist der Service bao-unsealer.unsealer.svc.

Warum pebbledb? Das file-Backend ist seit 2.7 entfernt (unknown storage type file). PebbleDB ist der Nachfolger für Single-Node ohne HA und auch der Chart-Default für standalone.

helm install bao-unsealer openbao/openbao --version 0.30.2 \
  -n unsealer --create-namespace -f ~/bao-lab/k8s/unsealer-values.yaml
kubectl -n unsealer get pods,pvc

Erwartet (gekürzt, kann abweichen):

NAME                 READY   STATUS    RESTARTS   AGE
pod/bao-unsealer-0   0/1     Running   0          30s
NAME                                        STATUS   CAPACITY   STORAGECLASS
persistentvolumeclaim/data-bao-unsealer-0   Bound    1Gi        standard

Fortschritt speichern? Kostenlos registrieren

Drill 2: Unsealer initialisieren und entsiegeln

kubectl -n unsealer exec bao-unsealer-0 -- bao operator init \
  -key-shares=1 -key-threshold=1 -format=json > ~/bao-lab/k8s/unsealer-init.json
chmod 600 ~/bao-lab/k8s/unsealer-init.json
kubectl -n unsealer exec bao-unsealer-0 -- bao operator unseal \
  "$(jq -r '.unseal_keys_b64[0]' ~/bao-lab/k8s/unsealer-init.json)" \
  | grep -E 'Sealed|Storage'

Erwartet:

Sealed          false
Storage Type    pebbledb

Achtung: Ein Key-Share ist reine Lab-Bequemlichkeit. Der Unsealer selbst bleibt Shamir-versiegelt und muss nach jedem eigenen Neustart von Hand entsiegelt werden.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Transit-Key anlegen

Terminal 3 (offen lassen):

kubectl -n unsealer port-forward svc/bao-unsealer 8210:8200

Terminal 1 – eine Hilfsfunktion, damit BAO_ADDR für openbao unberührt bleibt:

ub() {
  BAO_ADDR=http://127.0.0.1:8210 \
  BAO_TOKEN="$(jq -r .root_token ~/bao-lab/k8s/unsealer-init.json)" bao "$@"
}
ub secrets enable transit
ub write -f transit/keys/autounseal

Erwartet (gekürzt):

Success! Enabled the transit secrets engine at: transit/
Key                       Value
---                       -----
exportable                false
latest_version            1
name                      autounseal
type                      aes256-gcm96

Fortschritt speichern? Kostenlos registrieren

Drill 4: Policy und Token für Auto-Unseal

cat > ~/bao-lab/k8s/autounseal.hcl <<'EOF'
path "transit/encrypt/autounseal" {
  capabilities = ["update"]
}
path "transit/decrypt/autounseal" {
  capabilities = ["update"]
}
EOF
ub policy write autounseal ~/bao-lab/k8s/autounseal.hcl
ub token create -orphan -period=24h -policy=autounseal -format=json \
  > ~/bao-lab/k8s/unseal-token.json
chmod 600 ~/bao-lab/k8s/unseal-token.json
UT=$(jq -r .auth.client_token ~/bao-lab/k8s/unseal-token.json)
BAO_ADDR=http://127.0.0.1:8210 BAO_TOKEN=$UT bao token lookup \
  | grep -E '^(orphan|period|policies|renewable) '

Erwartet:

Success! Uploaded policy: autounseal
orphan              true
period              24h
policies            [autounseal default]
renewable           true

Warum -orphan und -period? Orphan: Der Token stirbt nicht mit seinem Parent (Root-Token). Periodic: OpenBao erneuert ihn selbst, er läuft nie endgültig ab, solange er alle 24h verlängert wird.

Minimalprinzip prüfen – Verschlüsseln geht, alles andere nicht:

BAO_ADDR=http://127.0.0.1:8210 BAO_TOKEN=$UT \
  bao write transit/encrypt/autounseal plaintext=$(echo -n test | base64)
BAO_ADDR=http://127.0.0.1:8210 BAO_TOKEN=$UT bao secrets list

Erwartet:

Key            Value
---            -----
ciphertext     vault:v1:elkStUiMBQIYRGJIOp1xuhBoXzXRFmU6wK1uf0Vli2g=
key_version    1
Error listing secrets engines: Error making API request.
...
Code: 403. Errors:

* 1 error occurred:
    * permission denied

Fortschritt speichern? Kostenlos registrieren

Drill 5: Token als Secret, Seal-Block in values.yaml

kubectl -n openbao create secret generic openbao-unseal-token \
  --from-literal=token="$(jq -r .auth.client_token ~/bao-lab/k8s/unseal-token.json)"

Ergänze ~/bao-lab/k8s/values.yaml an zwei Stellen. Unter server: (neben extraEnvironmentVars):

  extraSecretEnvironmentVars:
    - envName: TRANSIT_WRAPPER_TOKEN
      secretName: openbao-unseal-token
      secretKey: token

In server.ha.raft.config ans Ende, nach service_registration "kubernetes" {} (8 Leerzeichen Einrückung):

        seal "transit" {
          address    = "http://bao-unsealer.unsealer.svc:8200"
          key_name   = "autounseal"
          mount_path = "transit/"
        }

Warum TRANSIT_WRAPPER_TOKEN statt token = …? Die Config landet in einer ConfigMap – Secrets gehören dort nicht hin. Und nicht BAO_TOKEN: Das würde jedes kubectl exec … bao im Pod mit dem Unseal-Token ausführen.

cd ~/bao-lab/k8s
helm template openbao openbao/openbao --version 0.30.2 -n openbao -f values.yaml \
  | grep -E -A3 'TRANSIT_WRAPPER_TOKEN|seal "transit"'

Erwartet:

    seal "transit" {
      address    = "http://bao-unsealer.unsealer.svc:8200"
      key_name   = "autounseal"
      mount_path = "transit/"
--
            - name: TRANSIT_WRAPPER_TOKEN
              valueFrom:
               secretKeyRef:
                 name: openbao-unseal-token
helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao -f values.yaml
kubectl -n openbao get pods

Erwartet (gekürzt): alle drei Pods weiterhin 1/1 mit alter AGE. Das StatefulSet nutzt updateStrategy: OnDelete – neue Config greift erst, wenn du einen Pod löschst. Genau das brauchst du für die Migration.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Seal-Migration – erst die Standbys

LEADER=$(kubectl -n openbao get pods -l openbao-active=true \
  -o jsonpath='{.items[0].metadata.name}')
echo "Leader: $LEADER"
for pod in openbao-0 openbao-1 openbao-2; do
  [ "$pod" = "$LEADER" ] && continue
  kubectl -n openbao delete pod "$pod"
  sleep 5
  kubectl -n openbao wait --for=jsonpath='{.status.phase}'=Running \
    pod/"$pod" --timeout=120s
  sleep 5
  kubectl -n openbao exec "$pod" -- bao status | grep -E 'Seal Type|Migration'
  for i in 0 1 2; do
    kubectl -n openbao exec "$pod" -- bao operator unseal -migrate \
      "$(jq -r ".unseal_keys_b64[$i]" ~/bao-lab/k8s/init.json)" >/dev/null
  done
  sleep 3
  kubectl -n openbao logs "$pod" | grep -cE 'migration seal|vault is unsealed'
done
kubectl -n openbao get pods

Erwartet (gekürzt, je Standby):

pod "openbao-1" deleted
pod/openbao-1 condition met
Seal Type                     transit
Recovery Seal Type            shamir
Seal Migration in Progress    true
4

Danach (gekürzt, kann abweichen):

NAME        READY   STATUS    RESTARTS   AGE
openbao-0   1/1     Running   0          40m
openbao-1   0/1     Running   0          50s
openbao-2   0/1     Running   0          25s

Warum -migrate? Ein Pod mit neuem Seal-Block und altem Shamir-Barrier entsiegelt sich nicht automatisch. Die alten Keys beweisen, dass du die Migration wirklich willst.

Warum bleiben die Standbys 0/1? Sie sind entsiegelt (die 4 zählt drei unsealing using migration seal und ein vault is unsealed), aber bis der Leader migriert, antwortet bao status mit 500 … barrier seal type of "shamir" does not match loaded type of "transit" – die Readiness-Probe schlägt fehl. Drill 7 löst das auf.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Seal-Migration – Leader abschließen

kubectl -n openbao delete pod "$LEADER"
sleep 5
NEW=$(kubectl -n openbao get pods -l openbao-active=true \
  -o jsonpath='{.items[0].metadata.name}')
kubectl -n openbao logs "$NEW" | grep -E 'seal migration|migrating from shamir'
kubectl -n openbao wait --for=condition=Ready pod -l component=server --timeout=180s

Erwartet (gekürzt, kann abweichen):

... core: seal migration initiated
... core: migrating from shamir to auto-unseal: to=transit
... core: seal migration complete
pod/openbao-0 condition met
pod/openbao-1 condition met
pod/openbao-2 condition met

Ein migrierter Standby wird Leader und schreibt den Root-Key neu – jetzt Transit-verschlüsselt. Damit werden die Standbys Ready, und der alte Leader startet und entsiegelt sich ohne -migrate selbst.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Recovery-Keys verstehen

kubectl -n openbao exec openbao-0 -- bao status

Erwartet (gekürzt):

Seal Type                transit
Recovery Seal Type       shamir
Initialized              true
Sealed                   false
Total Recovery Shares    5
Threshold                3
HA Mode                  standby

Die 5 Keys in init.json entsiegeln nichts mehr. Als Recovery-Keys brauchst du sie für operator generate-root und das Rekeying der Recovery-Keys (Tag 13). Weg damit? Nein – sicher verwahren.

Fortschritt speichern? Kostenlos registrieren

Drill 9: Der Beweis – alle Pods löschen

kubectl -n openbao delete pod openbao-0 openbao-1 openbao-2
sleep 10
kubectl -n openbao wait --for=condition=Ready pod -l component=server --timeout=180s
kubectl -n openbao get pods -L openbao-active

Erwartet (gekürzt, kann abweichen):

pod/openbao-0 condition met
pod/openbao-1 condition met
pod/openbao-2 condition met
NAME        READY   STATUS    RESTARTS   AGE   OPENBAO-ACTIVE
openbao-0   1/1     Running   0          25s   false
openbao-1   1/1     Running   0          25s   true
openbao-2   1/1     Running   0          25s   false

Port-Forward in Terminal 2 neu starten, dann:

bao kv get -mount=secret -field=wert failover-test

Erwartet:

vor-dem-failover

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "Unsealer entsiegelt" \
  'kubectl -n unsealer exec bao-unsealer-0 -- bao status'
for p in openbao-0 openbao-1 openbao-2; do
  check "$p: transit + unsealed" \
    '[ "$(kubectl -n openbao exec '"$p"' -- bao status -format=json \
       | jq -r "[.type,.sealed]|join(\",\")")" = "transit,false" ]'
done
check "Keine Migration offen" \
  '[ "$(kubectl -n openbao exec openbao-0 -- bao status -format=json \
     | jq .migration)" = false ]'
check "Autopilot healthy" \
  '[ "$(bao operator raft autopilot state -format=json | jq .Healthy)" = true ]'

Challenge

Simuliere den Ausfall des Unsealers: Lösche bao-unsealer-0 und danach openbao-2. Beschreibe, was mit openbao-2 passiert, und bringe alles wieder auf Grün.

Hinweis: Laufende OpenBao-Pods halten den Root-Key im Speicher – nur neu startende brauchen den Unsealer.

Lösung

kubectl -n unsealer delete pod bao-unsealer-0
kubectl -n openbao delete pod openbao-2
sleep 30
kubectl -n openbao get pod openbao-2
kubectl -n openbao logs openbao-2 --previous | grep -A5 'Error configuring seal'
kubectl -n unsealer exec bao-unsealer-0 -- bao operator unseal \
  "$(jq -r '.unseal_keys_b64[0]' ~/bao-lab/k8s/unsealer-init.json)"
kubectl -n openbao delete pod openbao-2
kubectl -n openbao wait --for=condition=Ready pod/openbao-2 --timeout=180s

Erwartet (gekürzt, kann abweichen):

NAME        READY   STATUS             RESTARTS      AGE
openbao-2   0/1     CrashLoopBackOff   2 (15s ago)   30s
Error configuring seal "transit": Error making API request.

URL: PUT http://bao-unsealer.unsealer.svc:8200/v1/transit/encrypt/autounseal
Code: 503. Errors:

* Vault is sealed

Der Server beendet sich, wenn der Transit-Seal nicht erreichbar oder versiegelt ist. Nach dem Entsiegeln des Unsealers startet openbao-2 von selbst (oder per delete pod sofort).

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Statt eines eigenen Unsealers: Cloud-KMS (awskms, azurekeyvault, gcpckms) oder HSM per PKCS#11. Seit 2.7 nicht mehr eingebaut, sondern als KMS-Plugin aus openbao-plugins (plugin "kms" …); transit bleibt eingebaut.
  • Der Unsealer ist jetzt kritischste Abhängigkeit: selbst HA betreiben, eigenes Monitoring, eigener Unseal-Prozess, Backups.
  • Transit-Verbindung immer mit TLS (tls_ca_cert im Seal-Block); tls_disable ist hier nur Lab.
  • Unseal-Token regelmäßig rotieren: neuen Token anlegen, Secret tauschen, Pods nacheinander neu starten.
  • Recovery-Keys mit -recovery-pgp-keys an verschiedene Personen verteilen.