Tag 11: Workloads anbinden – Kubernetes-Auth, External Secrets Operator, Agent Injector
Ziel: Ein Pod im Namespace
webshopbekommt sein Secret aus OpenBao – einmal per ESO, einmal per Agent Injector – ohne ein einziges statisches Token. · Dauer: ca. 120 min · Voraussetzung: Tag 10
Briefing
- Kubernetes-Auth: Der Pod schickt sein ServiceAccount-JWT, OpenBao lässt es per TokenReview-API vom Kubernetes-API-Server prüfen.
- OpenBao nutzt dafür das eigene Pod-Token (ServiceAccount
openbao). Dieses braucht die ClusterRolesystem:auth-delegator. - ESO kopiert Secrets in normale Kubernetes-Secrets. Der Injector rendert sie per Sidecar in eine Datei im Pod.
audience=openbaosorgt dafür, dass nur Tokens akzeptiert werden, die ausdrücklich für OpenBao ausgestellt wurden.
Pod (SA webshop) --JWT--> OpenBao --TokenReview--> kube-apiserver
^ |
+---- OpenBao-Token -+ (Policy webshop-read)
Drill 1: Lage herstellen
mkdir -p ~/bao-lab/tag11 && cd ~/bao-lab/tag11
kubectl -n openbao port-forward svc/openbao-active 8200:8200 >/dev/null 2>&1 &
export BAO_ADDR=https://127.0.0.1:8200 BAO_CACERT=~/bao-lab/tls/ca.crt
export BAO_TOKEN=$(jq -r .root_token ~/bao-lab/k8s/init.json) # Root nur bis Tag 13
kubectl create namespace webshop
kubectl -n webshop create serviceaccount webshop
bao secrets enable -path=secret kv-v2 # falls aus Tag 9 noch nicht vorhanden
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-db-pw-1 # Lab-WerteErwartet:
namespace/webshop created
serviceaccount/webshop created
Success! Enabled the kv-v2 secrets engine at: secret/
======= Secret Path =======
secret/data/webshop/config
...
version 1
Fortschritt speichern? Kostenlos registrieren
Drill 2: Token-Reviewer prüfen
Das Chart legt die Bindung selbst an
(server.authDelegator.enabled: true ist Default).
kubectl get clusterrolebinding openbao-server-binding \
-o jsonpath='{.roleRef.name} -> {.subjects[0].namespace}/{.subjects[0].name}{"\n"}'
kubectl auth can-i create tokenreviews.authentication.k8s.io \
--as=system:serviceaccount:openbao:openbaoErwartet:
system:auth-delegator -> openbao/openbao
yes
Fortschritt speichern? Kostenlos registrieren
Drill 3: Kubernetes-Auth aktivieren
kubectl -n openbao exec openbao-0 -- \
cat /var/run/secrets/kubernetes.io/serviceaccount/ca.crt > k8s-ca.crt
bao auth enable kubernetes
bao write auth/kubernetes/config \
kubernetes_host=https://kubernetes.default.svc:443 \
[email protected]
bao read auth/kubernetes/configErwartet (gekürzt):
Success! Enabled kubernetes auth method at: kubernetes/
Success! Data written to: auth/kubernetes/config
Key Value
--- -----
disable_iss_validation true
disable_local_ca_jwt false
issuer n/a
kubernetes_ca_cert -----BEGIN CERTIFICATE-----
...
kubernetes_host https://kubernetes.default.svc:443
pem_keys []
token_reviewer_jwt_set false
Warum? token_reviewer_jwt bleibt leer: OpenBao liest
dann sein eigenes, automatisch rotierendes Pod-Token. Die Adresse wird
vom Server-Pod aus aufgelöst, nicht vom Laptop.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Rolle webshop
und Test-Login
bao policy write webshop-read - <<'EOF'
path "secret/data/webshop/*" {
capabilities = ["read"]
}
EOF
bao write auth/kubernetes/role/webshop \
bound_service_account_names=webshop \
bound_service_account_namespaces=webshop \
audience=openbao \
token_policies=webshop-read \
token_ttl=1h
JWT=$(kubectl -n webshop create token webshop --audience=openbao --duration=10m)
bao write auth/kubernetes/login role=webshop jwt="$JWT"Erwartet (gekürzt, kann abweichen):
Success! Uploaded policy: webshop-read
Success! Data written to: auth/kubernetes/role/webshop
Key Value
--- -----
token s.Xb3...
token_duration 1h
token_policies ["default" "webshop-read"]
token_meta_role webshop
token_meta_service_account_name webshop
token_meta_service_account_namespace webshop
Seit v2.6 kennt die CLI auch
bao login -method=kubernetes role=webshop jwt="$JWT". Mit
-no-store landet das Token nicht in
~/.vault-token.
Gegenprobe ohne passende Audience:
bao write auth/kubernetes/login role=webshop \
jwt="$(kubectl -n webshop create token webshop)"Erwartet: Fehler mit Code: 403 (Wortlaut kann
abweichen).
Fortschritt speichern? Kostenlos registrieren
Drill 5: External Secrets Operator installieren
helm repo add external-secrets https://charts.external-secrets.io
helm repo update
helm upgrade --install external-secrets external-secrets/external-secrets \
-n external-secrets --create-namespace --wait
kubectl -n external-secrets get deployErwartet (gekürzt, kann abweichen):
NAME READY UP-TO-DATE AVAILABLE
external-secrets 1/1 1 1
external-secrets-cert-controller 1/1 1 1
external-secrets-webhook 1/1 1 1
Fortschritt speichern? Kostenlos registrieren
Drill 6: SecretStore und ExternalSecret
kubectl -n webshop create secret generic openbao-ca \
--from-file=ca.crt=$HOME/bao-lab/tls/ca.crt
cat > eso.yaml <<'EOF'
apiVersion: external-secrets.io/v1
kind: SecretStore
metadata:
name: openbao
namespace: webshop
spec:
provider:
vault:
server: https://openbao.openbao.svc:8200
path: secret
version: v2
caProvider:
type: Secret
name: openbao-ca
key: ca.crt
auth:
kubernetes:
mountPath: kubernetes
role: webshop
serviceAccountRef:
name: webshop
audiences:
- openbao
---
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
name: webshop-config
namespace: webshop
spec:
refreshInterval: 15s
secretStoreRef:
kind: SecretStore
name: openbao
target:
name: webshop-config
data:
- secretKey: DB_USER
remoteRef:
key: webshop/config
property: db_user
- secretKey: DB_PASS
remoteRef:
key: webshop/config
property: db_pass
EOF
kubectl apply -f eso.yaml
kubectl -n webshop get secretstore openbao
kubectl -n webshop get externalsecret webshop-configErwartet (gekürzt, kann abweichen):
NAME AGE STATUS CAPABILITIES READY
openbao 5s Valid ReadWrite True
NAME STORE REFRESH INTERVAL STATUS READY
webshop-config openbao 15s SecretSynced True
Achtung:
servermuss zu einem SAN deines Zertifikats passen.openbao.openbao.svcist enthalten (Tag 7),openbao-active.openbao.svcnicht. Willst du den Active-Service direkt treffen, ergänze den SAN und erneuereopenbao-tls. Standbys leiten Anfragen ohnehin an den Leader weiter.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Rotation beobachten
kubectl -n webshop get secret webshop-config \
-o jsonpath='{.data.DB_PASS}' | base64 -d; echo
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-db-pw-2
sleep 20
kubectl -n webshop get secret webshop-config \
-o jsonpath='{.data.DB_PASS}' | base64 -d; echoErwartet:
lab-db-pw-1
...
lab-db-pw-2
Nicht warten wollen:
kubectl -n webshop annotate externalsecret webshop-config \
force-sync=$(date +%s) --overwriteWarum? ESO aktualisiert nur das Kubernetes-Secret. Ob die App den neuen Wert sieht, hängt davon ab, wie sie ihn einbindet: Ein Volume wird nachgeladen, eine Env-Variable erst beim Pod-Neustart.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Agent Injector einschalten und Präfix klären
An Tag 8 blieb der Injector aus. Setze in
~/bao-lab/k8s/values.yaml:
injector:
enabled: true
agentImage:
tag: "2.7.0" # wie server.image.tag; Default wäre appVersion 2.7.1helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao \
-f ~/bao-lab/k8s/values.yaml
kubectl -n openbao rollout status deploy/openbao-agent-injector
kubectl -n openbao get deploy openbao-agent-injector \
-o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'
kubectl -n openbao get deploy openbao-agent-injector -o json \
| jq -r '.spec.template.spec.containers[0].env[]
| select(.name=="AGENT_INJECT_VAULT_IMAGE").value'
kubectl get mutatingwebhookconfiguration openbao-agent-injector-cfg \
-o jsonpath='{.webhooks[0].name}{"\n"}'Erwartet (gekürzt, kann je nach Chart-Version abweichen):
Release "openbao" has been upgraded. Happy Helming!
deployment "openbao-agent-injector" successfully rolled out
docker.io/hashicorp/vault-k8s:1.7.2
quay.io/openbao/openbao:2.7.0
vault.hashicorp.com
Warum? Das Chart (0.30.2) nutzt als Webhook weiterhin das Image
hashicorp/vault-k8s. Dieses versteht nur Annotationen mit
dem Präfix vault.hashicorp.com/. Als Agent startet es das
OpenBao-Image, das vault als Symlink auf bao
mitbringt. Die Server-Pods bleiben unberührt
(OnDelete).
Achtung: Die OpenBao-Doku zeigt teils
openbao.org/…. Das gilt für den Forkopenbao-k8s, nicht für das Default-Image des Charts. Mit falschem Präfix passiert nichts – ohne Fehlermeldung.
Fortschritt speichern? Kostenlos registrieren
Drill 9: Pod mit Template-Annotation
Die Rolle verlangt audience=openbao, daher bekommt der
Agent ein eigenes projiziertes Token.
cat > agent-pod.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: webshop-agent
namespace: webshop
annotations:
vault.hashicorp.com/agent-inject: "true"
vault.hashicorp.com/role: "webshop"
vault.hashicorp.com/tls-secret: "openbao-ca"
vault.hashicorp.com/ca-cert: "/vault/tls/ca.crt"
vault.hashicorp.com/agent-service-account-token-volume-name: "bao-token"
vault.hashicorp.com/agent-inject-secret-db.env: "secret/data/webshop/config"
vault.hashicorp.com/agent-inject-template-db.env: |
{{- with secret "secret/data/webshop/config" -}}
DB_USER={{ .Data.data.db_user }}
DB_PASS={{ .Data.data.db_pass }}
{{- end }}
spec:
serviceAccountName: webshop
volumes:
- name: bao-token
projected:
sources:
- serviceAccountToken:
path: token
audience: openbao
expirationSeconds: 3600
containers:
- name: app
image: busybox:1.36
command: ["sh", "-c", "while true; do cat /vault/secrets/db.env; sleep 30; done"]
EOF
kubectl apply -f agent-pod.yaml
kubectl -n webshop wait --for=condition=Ready pod/webshop-agent --timeout=120s
kubectl -n webshop get pod webshop-agent \
-o jsonpath='{.spec.initContainers[*].name} | {.spec.containers[*].name}{"\n"}'
kubectl -n webshop logs webshop-agent -c app --tail=2Erwartet (gekürzt, kann abweichen):
pod/webshop-agent condition met
vault-agent-init | app vault-agent
DB_USER=webshop
DB_PASS=lab-db-pw-2
Fehlersuche:
kubectl -n webshop logs webshop-agent -c vault-agent-init.
Fehlen die Agent-Container ganz, stimmt das Präfix nicht oder der
Webhook war nicht erreichbar (failurePolicy: Ignore).
Fortschritt speichern? Kostenlos registrieren
Drill 10: Welches Werkzeug wofür?
| Kriterium | ESO | Agent Injector | CSI-Provider |
|---|---|---|---|
| Ziel | K8s-Secret | Datei im Pod (tmpfs) | Datei im Pod (Volume) |
| Secret in etcd | ja | nein | nein (optional Sync) |
| Templates/Lease-Renewal | begrenzt | voll (Agent) | nein |
| Overhead | 1 Operator | Sidecar pro Pod | DaemonSet + CSI-Driver |
CSI im Chart: csi.enabled: true, setzt den separat
installierten secrets-store-csi-driver voraus.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
#!/usr/bin/env bash
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
JWT=$(kubectl -n webshop create token webshop --audience=openbao --duration=10m)
bao write -field=token auth/kubernetes/login role=webshop jwt="$JWT" >/dev/null 2>&1 \
&& ok "Kubernetes-Login" || nok "Kubernetes-Login"
[ "$(kubectl -n webshop get externalsecret webshop-config \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].status}')" = "True" ] \
&& ok "ExternalSecret synchron" || nok "ExternalSecret synchron"
kubectl -n webshop get secret webshop-config >/dev/null 2>&1 \
&& ok "K8s-Secret vorhanden" || nok "K8s-Secret vorhanden"
kubectl -n webshop exec webshop-agent -c app -- test -s /vault/secrets/db.env \
&& ok "Injector-Datei gerendert" || nok "Injector-Datei gerendert"Challenge
Hole mit einem zweiten ExternalSecret webshop-all den
kompletten Inhalt von secret/webshop/config in ein Secret,
ohne einzelne Keys aufzuzählen.
Hinweis: Suche im ExternalSecret nach
dataFrom mit extract.
Lösung
cat <<'EOF' | kubectl apply -f -
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
name: webshop-all
namespace: webshop
spec:
refreshInterval: 1m
secretStoreRef:
kind: SecretStore
name: openbao
target:
name: webshop-all
dataFrom:
- extract:
key: webshop/config
EOF
kubectl -n webshop get secret webshop-all -o json | jq -r '.data | keys[]'Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Pro Team ein eigener Auth-Mount oder eine eigene Rolle, nie
Wildcards bei
bound_service_account_*. - Externe Cluster:
token_reviewer_jwteines dedizierten Reviewer-SA pluskubernetes_ca_certsetzen und rotieren. - ESO:
ClusterSecretStorenur für Plattform-Teams. etcd-Verschlüsselung ist Pflicht, sobald Secrets dort landen. - Injector:
failurePolicy: Failund mehrere Replikas, sonst starten Pods unbemerkt ohne Secrets. - Webhook-Image und OpenBao-Version gemeinsam testen. Den Wechsel auf
openbao-k8s(Präfixopenbao.org/) plant ihr als Migration.