Tag 8: HA-Installation mit Helm – 3 Pods, Raft
Ziel: OpenBao läuft als StatefulSet mit 3 Pods, Raft-Storage und TLS – noch versiegelt. · Dauer: ca. 60 min · Voraussetzung: Tag 7
Briefing
- Das Chart erzeugt ein StatefulSet
openbaound vier Services:openbao,openbao-active,openbao-standby,openbao-internal(headless). - Jeder Pod bekommt ein eigenes PVC (
data-openbao-N) für Raft. retry_joinsorgt dafür, dass sich die Pods nach dem Entsiegeln selbst zum Cluster verbinden.- Ein versiegelter Pod ist absichtlich
0/1– die Readiness-Probe meldet erst nach dem Unseal Erfolg.
Drill 1: Helm-Repo einbinden
helm repo add openbao https://openbao.github.io/openbao-helm
helm repo update
helm search repo openbao/openbaoErwartet (kann je nach Version abweichen):
NAME CHART VERSION APP VERSION DESCRIPTION
openbao/openbao 0.30.2 v2.7.1 Official OpenBao Chart
Das Buch pinnt Chart 0.30.2 und bewusst Image
2.7.0 statt der App-Version 2.7.1 – das Update
übst du an Tag 12. Die CLI auf dem Laptop ist 2.7.1. Bei
anderer Chart-Version die Keys aus Drill 2 erneut prüfen.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Relevante Default-Werte ansehen
helm show values openbao/openbao --version 0.30.2 > ~/bao-lab/k8s/values-default.yaml
grep -nE '^ (tlsDisable|podManagementPolicy|updateStrategyType):' \
~/bao-lab/k8s/values-default.yaml
grep -nA2 '^ ha:' ~/bao-lab/k8s/values-default.yamlErwartet (Zeilennummern können abweichen):
21: tlsDisable: true
396: updateStrategyType: "OnDelete"
400: podManagementPolicy: "OrderedReady"
1007: ha:
1008- enabled: false
1009- replicas: 3
| Key | Default | Lab-Wert |
|---|---|---|
global.tlsDisable |
true |
false |
server.ha.enabled / raft.enabled |
false |
true |
server.podManagementPolicy |
OrderedReady |
Parallel |
server.extraVolumes |
[] |
Secret openbao-tls |
Warum Parallel? Mit OrderedReady startet
openbao-1 erst, wenn openbao-0 Ready ist – und
das ist er erst nach dem Unseal.
Fortschritt speichern? Kostenlos registrieren
Drill 3: values.yaml schreiben
cat > ~/bao-lab/k8s/values.yaml <<'EOF'
global:
tlsDisable: false # Chart setzt BAO_ADDR=https://…
injector:
enabled: false # kommt an Tag 11
server:
image:
tag: "2.7.0" # bewusst nicht 2.7.1: Upgrade an Tag 12
podManagementPolicy: Parallel # alle 3 Pods sofort, nicht erst nach Ready
resources:
requests:
cpu: 250m
memory: 256Mi
limits:
memory: 512Mi
extraEnvironmentVars:
BAO_CACERT: /openbao/userconfig/openbao-tls/ca.crt
extraVolumes:
- type: secret
name: openbao-tls # -> /openbao/userconfig/openbao-tls/
affinity: |
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels:
app.kubernetes.io/name: {{ template "openbao.name" . }}
app.kubernetes.io/instance: "{{ .Release.Name }}"
component: server
topologyKey: kubernetes.io/hostname
dataStorage:
enabled: true
size: 1Gi
standalone:
enabled: false
ha:
enabled: true
replicas: 3
raft:
enabled: true
setNodeId: true # Raft-Node-ID = Pod-Name
config: |
ui = true
listener "tcp" {
address = "[::]:8200"
cluster_address = "[::]:8201"
tls_cert_file = "/openbao/userconfig/openbao-tls/tls.crt"
tls_key_file = "/openbao/userconfig/openbao-tls/tls.key"
}
storage "raft" {
path = "/openbao/data"
retry_join {
leader_api_addr = "https://openbao-0.openbao-internal:8200"
leader_ca_cert_file = "/openbao/userconfig/openbao-tls/ca.crt"
leader_tls_servername = "openbao-0.openbao-internal"
}
retry_join {
leader_api_addr = "https://openbao-1.openbao-internal:8200"
leader_ca_cert_file = "/openbao/userconfig/openbao-tls/ca.crt"
leader_tls_servername = "openbao-1.openbao-internal"
}
retry_join {
leader_api_addr = "https://openbao-2.openbao-internal:8200"
leader_ca_cert_file = "/openbao/userconfig/openbao-tls/ca.crt"
leader_tls_servername = "openbao-2.openbao-internal"
}
}
service_registration "kubernetes" {}
EOFWarum so? service_registration "kubernetes" lässt jeden
Pod Labels wie openbao-active=true setzen – darauf
selektieren openbao-active und
openbao-standby. retry_join listet alle drei
Pods; ein Pod ignoriert den Eintrag, der auf ihn selbst zeigt.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Rendern und Namen prüfen
cd ~/bao-lab/k8s
helm template openbao openbao/openbao --version 0.30.2 -n openbao \
-f values.yaml > rendered.yaml
grep -E '^kind:|^ name:' rendered.yaml | paste - -Erwartet:
kind: PodDisruptionBudget name: openbao
kind: ServiceAccount name: openbao
kind: ConfigMap name: openbao-config
kind: ClusterRoleBinding name: openbao-server-binding
name: system:auth-delegator name: openbao
kind: Role name: openbao-discovery-role
kind: RoleBinding name: openbao-discovery-rolebinding
name: openbao-discovery-role name: openbao
kind: Service name: openbao-active
kind: Service name: openbao-standby
kind: Service name: openbao-internal
kind: Service name: openbao
kind: StatefulSet name: openbao
kind: Pod name: openbao-server-test
Mounts, Image und Umgebung des Containers:
grep -E 'image: |mountPath:|name: BAO_' rendered.yaml | sed 's/^ *//' | sort -uErwartet:
- name: BAO_ADDR
- name: BAO_API_ADDR
- name: BAO_CLUSTER_ADDR
- name: BAO_K8S_NAMESPACE
- name: BAO_K8S_POD_NAME
- name: BAO_RAFT_NODE_ID
image: "quay.io/openbao/openbao:2.7.0"
image: quay.io/openbao/openbao:2.7.0
mountPath: /home/openbao
mountPath: /openbao/config
mountPath: /openbao/data
mountPath: /openbao/userconfig/openbao-tls
grep -A1 -E 'name: (BAO_ADDR|BAO_API_ADDR|BAO_CLUSTER_ADDR|"BAO_CACERT")$' rendered.yaml \
| grep value | sed 's/^ *//' | sort -uErwartet:
value: "/openbao/userconfig/openbao-tls/ca.crt"
value: "https://$(HOSTNAME).openbao-internal:8201"
value: "https://$(POD_IP):8200"
value: "https://127.0.0.1:8200"
Warum? Im Pod zeigt bao per BAO_ADDR auf
127.0.0.1 – deshalb steht 127.0.0.1 als SAN im
Zertifikat (Tag 7). BAO_CACERT macht
kubectl exec … bao … ohne -tls-skip-verify
möglich.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Installieren
helm install openbao openbao/openbao --version 0.30.2 -n openbao \
-f ~/bao-lab/k8s/values.yaml
kubectl -n openbao get pods -o wideErwartet (gekürzt, kann abweichen):
NAME READY STATUS RESTARTS AGE IP NODE
openbao-0 0/1 Running 0 40s 10.244.2.2 bao-lab-worker
openbao-1 0/1 Running 0 40s 10.244.3.2 bao-lab-worker2
openbao-2 0/1 Running 0 40s 10.244.1.2 bao-lab-worker3
Jeder Pod auf einem eigenen Worker – das ist die Anti-Affinity.
kubectl -n openbao get pvc
kubectl -n openbao get svcErwartet (gekürzt, IPs weichen ab):
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS
data-openbao-0 Bound pvc-… 1Gi RWO standard
data-openbao-1 Bound pvc-… 1Gi RWO standard
data-openbao-2 Bound pvc-… 1Gi RWO standard
NAME TYPE CLUSTER-IP PORT(S)
openbao ClusterIP 10.96.12.34 8200/TCP,8201/TCP
openbao-active ClusterIP 10.96.45.67 8200/TCP,8201/TCP
openbao-internal ClusterIP None 8200/TCP,8201/TCP
openbao-standby ClusterIP 10.96.89.10 8200/TCP,8201/TCP
Fortschritt speichern? Kostenlos registrieren
Drill 6: Warum 0/1? Sealed = not ready
kubectl -n openbao exec openbao-0 -- bao status
echo "Exit-Code: $?"Erwartet:
Key Value
--- -----
Seal Type shamir
Initialized false
Sealed true
Total Shares 0
Threshold 0
Unseal Progress 0/0
Unseal Nonce n/a
Version 2.7.0
Commit Date 2026-09-23T19:00:07Z
Storage Type raft
HA Enabled true
command terminated with exit code 2
Exit-Code: 2
kubectl -n openbao get sts openbao \
-o jsonpath='{.spec.template.spec.containers[0].readinessProbe.exec.command}'; echoErwartet:
["/bin/sh","-ec","bao status -tls-skip-verify"]
Warum? bao status liefert 0 = entsiegelt,
1 = Fehler, 2 = versiegelt. Die Probe schlägt
fehl, solange der Pod sealed ist – Kubernetes schickt so keinen Traffic
an unbrauchbare Pods. Die Services haben
publishNotReadyAddresses: true, damit
retry_join die Pods trotzdem per DNS findet.
kubectl -n openbao logs openbao-1 | grep -m2 'retry join'Erwartet (gekürzt):
... core: failed to retry join raft cluster: retry=2s err="failed to get raft challenge"
Das ist normal: Noch ist kein Pod initialisiert, dem man beitreten könnte (Tag 9).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "3 Pods Running" \
'[ "$(kubectl -n openbao get pods --field-selector=status.phase=Running \
--no-headers | wc -l)" -eq 3 ]'
check "3 verschiedene Nodes" \
'[ "$(kubectl -n openbao get pods -o jsonpath="{.items[*].spec.nodeName}" \
| tr " " "\n" | sort -u | wc -l)" -eq 3 ]'
check "Services vorhanden" \
'kubectl -n openbao get svc openbao openbao-active openbao-standby openbao-internal'
check "TLS-Secret gemountet" \
'kubectl -n openbao exec openbao-0 -- ls /openbao/userconfig/openbao-tls/ca.crt'
check "openbao-0 sealed (Exit 2)" \
'[ "$(kubectl -n openbao exec openbao-0 -- bao status >/dev/null; echo $?)" = 2 ]'Challenge
Beweise, dass die Anti-Affinity hart greift: Skaliere das StatefulSet
kurz auf 4 Replicas und finde heraus, warum openbao-3 nicht
startet. Räume danach auf.
Hinweis: kubectl describe pod zeigt die
Scheduler-Events.
Lösung
kubectl -n openbao scale sts openbao --replicas=4
kubectl -n openbao get pod openbao-3
kubectl -n openbao describe pod openbao-3 | grep -A3 Events
kubectl -n openbao scale sts openbao --replicas=3
kubectl -n openbao delete pvc data-openbao-3 --ignore-not-foundErwartet (gekürzt, kann abweichen):
NAME READY STATUS RESTARTS AGE
openbao-3 0/1 Pending 0 5s
Warning FailedScheduling ... 0/4 nodes are available: 1 node(s) had untolerated
taint {node-role.kubernetes.io/control-plane: }, 3 node(s) didn't match pod
anti-affinity rules. ...
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- 5 Raft-Nodes über 3 Zonen; zusätzlich
topologySpreadConstraintsauftopology.kubernetes.io/zone. - StorageClass mit schnellen, replizierten Disks;
persistentVolumeClaimRetentionPolicybewusst setzen. - Image per Digest pinnen, Chart-Version pinnen, Upgrades nur über Review (Tag 12).
- NetworkPolicy: 8200 nur für Clients, 8201 nur zwischen OpenBao-Pods.
auditStorage.enabled: truefür persistente Audit-Logs (Tag 12).