Tag 6: Secrets Store CSI Driver
Ziel: Secrets als Volume aus OpenBao mounten, bei Bedarf in ein Kubernetes-Secret spiegeln und die Rotation beobachten. · Dauer: ca. 75 min · Voraussetzung: Tag 2
Briefing
- Der Secrets Store CSI Driver (DaemonSet in
kube-system) mountet beim Pod-Start eintmpfsund fragt einen Provider nach dem Inhalt. - Der Provider für OpenBao kommt aus dem OpenBao-Chart
(
csi.enabled=true) und heißt in derSecretProviderClassexaktopenbao. - Der Provider meldet sich im Namen des Pods an: Er
holt per TokenRequest ein Token für dessen ServiceAccount, mit der
Audience aus der
SecretProviderClass. - Kein Templating, kein Sidecar. Optional spiegelt der Driver Dateien in ein Kubernetes-Secret, aber erst, wenn ein Pod das Volume mountet.
Pod shop-api ──volume csi──> kubelet ──> secrets-store-csi-driver (kube-system)
│ gRPC /provider/openbao.sock
▼
openbao-csi-provider (DaemonSet, ns openbao)
│ TokenRequest SA shop-api, aud=openbao
└─> login auth/kubernetes ──> read secret/data/shop/*
Drill 1: Driver und Provider installieren
mkdir -p ~/secrets-lab/tag06 && cd ~/secrets-lab/tag06
cp ~/secrets-lab/code/tag06/* .
kubectl -n shop delete deploy shop-api --ignore-not-found
sed -n '/helm upgrade --install/,$p' 00-install.sh
./00-install.shErwartet (gekürzt):
helm upgrade --install csi secrets-store-csi-driver/secrets-store-csi-driver \
-n kube-system --version 1.6.1 \
--set syncSecret.enabled=true \
--set enableSecretRotation=true \
--set rotationPollInterval=30s --wait
# CSI-Provider dauerhaft einschalten: jedes spätere helm upgrade (up.sh, Tag 14)
# nimmt die Werte-Datei mit
sed -i.bak '/^csi:/,/enabled:/s/enabled: false/enabled: true/' \
~/secrets-lab/setup/openbao-values.yaml
helm upgrade openbao openbao/openbao -n openbao --server-side=false \
-f ~/secrets-lab/setup/openbao-values.yaml --wait
kubectl -n openbao rollout status ds/openbao-csi-provider --timeout=120s
Release "csi" does not exist. Installing it now.
...
Release "openbao" has been upgraded. Happy Helming!
...
daemon set "openbao-csi-provider" successfully rolled out
syncSecret.enabled gibt dem Driver RBAC für
Kubernetes-Secrets (Drill 5), enableSecretRotation lässt
ihn alle 30 s neu fragen (Drill 6). Das Upgrade von openbao
fügt nur DaemonSet und RBAC hinzu. Der Server-Pod startet nicht neu, die
Dev-Daten bleiben erhalten.
Das sed setzt csi.enabled: true direkt in
~/secrets-lab/setup/openbao-values.yaml (Sicherung in
openbao-values.yaml.bak). So entfernt kein späteres
helm upgrade den Provider wieder.
--server-side=false kennst du aus Tag 0, Drill 3.
kubectl get csidriver secrets-store.csi.k8s.io \
-o custom-columns=NAME:.metadata.name,REPUBLISH:.spec.requiresRepublish
kubectl -n openbao get ds openbao-csi-provider \
-o jsonpath='{.spec.template.spec.containers[*].image}{"\n"}'
kubectl api-resources --api-group=secrets-store.csi.x-k8s.ioErwartet (gekürzt):
NAME REPUBLISH
secrets-store.csi.k8s.io true
quay.io/openbao/openbao-csi-provider:2.0.3 quay.io/openbao/openbao:2.7.1
NAME SHORTNAMES APIVERSION ...
secretproviderclasses secrets-store.csi.x-k8s.io/v1 ...
secretproviderclasspodstatuses secrets-store.csi.x-k8s.io/v1 ...
requiresRepublish: true heißt: Kubelet ruft den Driver
regelmäßig erneut auf. Darauf baut die Rotation auf.
Der zweite Container im Provider ist ein OpenBao-Agent als lokaler
Cache. Wir geben in der SecretProviderClass die Adresse
explizit an, dann ist klar, wohin der Provider spricht.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die SecretProviderClass
cat 10-spc.yaml
kubectl apply -f 10-spc.yamlErwartet:
# Tag 6: SecretProviderClass für den OpenBao-CSI-Provider (Lab-Werte)
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
name: shop-api-bao
namespace: shop
spec:
provider: openbao
parameters:
baoAddress: "http://openbao.openbao.svc:8200"
roleName: "shop-api"
audience: "openbao"
objects: |
- objectName: "db_password"
secretPath: "secret/data/shop/api"
secretKey: "db_password"
- objectName: "api_key"
secretPath: "secret/data/shop/api"
secretKey: "api_key"
- objectName: "stripe.json"
secretPath: "secret/data/shop/stripe"secretproviderclass.secrets-store.csi.x-k8s.io/shop-api-bao created
Die Parameter-Präfixe bao…, openbao… und
vault… sind gleichwertig (z. B. baoAddress,
openbaoAddress, vaultAddress).
roleName, audience und objects
haben kein Präfix. objectName wird der Dateiname, ohne
secretKey landet die ganze API-Antwort in der Datei.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Pod mit CSI-Volume
grep -A8 ' volumes:' 20-shop-api-csi.yaml
kubectl apply -f 20-shop-api-csi.yaml
kubectl -n shop rollout status deploy/shop-api --timeout=90s
kubectl -n shop exec deploy/shop-api -- ls /mnt/secrets
kubectl -n shop exec deploy/shop-api -- sh -c 'cat /mnt/secrets/db_password; echo'
kubectl -n shop exec deploy/shop-api -- df -h /mnt/secretsErwartet:
volumes:
- name: secrets
csi:
driver: secrets-store.csi.k8s.io
readOnly: true
volumeAttributes:
secretProviderClass: shop-api-baodeployment.apps/shop-api created
deployment "shop-api" successfully rolled out
api_key
db_password
stripe.json
lab-db-pw-123
Filesystem Size Used Available Use% Mounted on
tmpfs 3.9G 12.0K 3.9G 0% /mnt/secrets
Die Werte liegen im RAM des Nodes, nicht auf der Platte. Jetzt die
Datei ohne secretKey:
kubectl -n shop exec deploy/shop-api -- cat /mnt/secrets/stripe.json \
| jq -c '{keys: keys, data: .data.data}'Erwartet:
{"keys":["data","lease_duration","lease_id","renewable","request_id","warnings"],
"data":{"token":"lab-stripe-789"}}
Das ist die komplette Antwort inklusive Metadaten. Für Apps fast immer zu viel: Nimm lieber pro Key ein Objekt.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ohne Audience geht nichts
Was passiert, wenn audience fehlt? Der Provider fordert
dann ein Token mit der Standard-Audience des API-Servers an.
kubectl -n shop patch secretproviderclass shop-api-bao --type json \
-p '[{"op":"remove","path":"/spec/parameters/audience"}]'
kubectl -n shop rollout restart deploy/shop-api
sleep 20
kubectl -n shop get pod -l app=shop-api
kubectl -n shop get events --field-selector reason=FailedMount \
-o jsonpath='{.items[-1:].message}{"\n"}' | fold -w 88Erwartet:
secretproviderclass.secrets-store.csi.x-k8s.io/shop-api-bao patched
deployment.apps/shop-api restarted
NAME READY STATUS RESTARTS AGE
shop-api-6fb7854f7c-xdqjq 0/1 ContainerCreating 0 26s
shop-api-75c5946d4-4zxjh 1/1 Running 0 35s
MountVolume.SetUp failed for volume "secrets" : rpc error: code = Unknown desc = failed
to mount secrets store objects for pod shop/shop-api-6fb7854f7c-xdqjq, err: rpc error: c
ode = Unknown desc = error making mount request: couldn't read secret "db_password": fai
led to login: Error making API request.
URL: POST http://openbao.openbao.svc:8200/v1/auth/kubernetes/login
Code: 403. Errors:
* invalid audience (aud) claim: audience claim does not match any expected audience
Gleiche Ursache wie beim Injector (Tag 5), andere Stelle: Der Pod
hängt in ContainerCreating, die Wahrheit steht in den
Events. Zurück:
kubectl apply -f 10-spc.yaml
kubectl -n shop rollout restart deploy/shop-api
kubectl -n shop rollout status deploy/shop-api --timeout=90sFortschritt speichern? Kostenlos registrieren
Drill 5: Spiegeln in ein Kubernetes-Secret
Manche Apps (oder Ingress-Controller) wollen ein echtes Secret.
secretObjects übernimmt gemountete Objekte als Keys.
sed -n '/secretObjects/,/parameters/p' 30-spc-sync.yaml
kubectl apply -f 30-spc-sync.yaml -f 40-shop-api-csi-env.yaml
kubectl -n shop rollout status deploy/shop-api --timeout=90s
kubectl -n shop get secret shop-api-csi -o json \
| jq -c '{labels: .metadata.labels, keys: (.data | keys)}'
kubectl -n shop logs deploy/shop-apiErwartet:
secretObjects:
- secretName: shop-api-csi
type: Opaque
data:
- objectName: db_password
key: DB_PASSWORD
- objectName: api_key
key: API_KEY
parameters:secretproviderclass.secrets-store.csi.x-k8s.io/shop-api-bao configured
deployment.apps/shop-api configured
deployment "shop-api" successfully rolled out
{"labels":{"secrets-store.csi.k8s.io/managed":"true"},"keys":["API_KEY","DB_PASSWORD"]}
start mit API_KEY=lab-api-key-456
Das Volume bleibt Pflicht, auch wenn die App nur envFrom
nutzt: Erst der Mount löst die Synchronisation aus. Ab hier liegt der
Wert wieder in etcd, mit allen Folgen (RBAC auf Secrets, Verschlüsselung
at rest).
Fortschritt speichern? Kostenlos registrieren
Drill 6: Rotation beobachten
bao kv patch secret/shop/api api_key=lab-api-key-457 | tail -1
sleep 90
kubectl -n shop exec deploy/shop-api -- sh -c 'cat /mnt/secrets/api_key; echo'
kubectl -n shop get secret shop-api-csi -o jsonpath='{.data.API_KEY}' | base64 -d; echo
kubectl -n shop exec deploy/shop-api -- sh -c 'echo $API_KEY'
kubectl -n shop get secretproviderclasspodstatus -o json \
| jq -c '.items[].status.objects[] | select(.id | test("api_key"))'Erwartet:
version 4
lab-api-key-457
lab-api-key-457
lab-api-key-456
{"id":"api_key","version":"rGKJfhQz0647VQh9zoQ_eRn0MPveAogpm2s04gVewUY="}
Datei und gespiegeltes Secret sind neu. Im Test dauerte das zwischen
30 und 90 s, obwohl rotationPollInterval 30 s ist: Rechne
mit Intervall plus Kubelet-Takt. Die Env-Variable im laufenden Prozess
nicht: Dafür braucht es einen Neustart (Tag 9). Die version
ist ein HMAC über den Inhalt (Schlüssel im Secret
openbao-csi-provider-hmac-key), kein Klartext.
bao kv patch secret/shop/api api_key=lab-api-key-456 >/dev/nullFortschritt speichern? Kostenlos registrieren
Drill 7: Die Grenzen
Wem gehört das gespiegelte Secret?
kubectl -n shop get secret shop-api-csi -o json \
| jq -c '[.metadata.ownerReferences[] | {kind, name}]'
kubectl -n shop delete deploy shop-api
sleep 10
kubectl -n shop get secret shop-api-csi
kubectl -n shop run cron-like --image=busybox:1.37 --restart=Never \
--overrides='{"spec":{"containers":[{"name":"c","image":"busybox:1.37",
"command":["sh","-c","echo $API_KEY"],
"envFrom":[{"secretRef":{"name":"shop-api-csi"}}]}]}}'
sleep 8
kubectl -n shop get pod cron-like
kubectl -n shop delete pod cron-like
kubectl apply -f 40-shop-api-csi-env.yamlErwartet (gekürzt):
[{"kind":"ReplicaSet","name":"shop-api-747f67dd5"},
{"kind":"ReplicaSet","name":"shop-api-86779568dc"}]
deployment.apps "shop-api" deleted from shop namespace
Error from server (NotFound): secrets "shop-api-csi" not found
pod/cron-like created
NAME READY STATUS RESTARTS AGE
cron-like 0/1 CreateContainerConfigError 0 9s
pod "cron-like" deleted from shop namespace
deployment.apps/shop-api created
Das Secret hängt per ownerReferences an den ReplicaSets
der mountenden Pods. Ein scale --replicas=0 lässt es
stehen, ein gelöschtes Deployment räumt es weg. Ein CronJob, der es nur
„mitbenutzen” will, geht leer aus. Dazu: kein Templating (eine Datei pro
Key oder die rohe JSON-Antwort), Secrets kommen nur beim Mount und im
Rotations-Takt, und jeder Mount ist ein Login gegen OpenBao.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
kubectl -n shop rollout status deploy/shop-api --timeout=90s >/dev/null
P=$(kubectl -n shop get secretproviderclass shop-api-bao -o jsonpath='{.spec.provider}')
[ "$P" = openbao ] && ok "Provider openbao" || nok "Provider: $P"
kubectl -n shop exec deploy/shop-api -- cat /mnt/secrets/db_password \
| grep -q lab-db-pw-123 && ok "Datei gemountet" || nok "Datei fehlt"
kubectl -n shop get secret shop-api-csi >/dev/null 2>&1 \
&& ok "Secret gespiegelt" || nok "kein gespiegeltes Secret"
kubectl -n shop exec deploy/shop-api -- sh -c 'touch /mnt/secrets/x' 2>/dev/null \
&& nok "Volume beschreibbar" || ok "Volume read-only"Challenge
Lege secret/shop/stripe so ab, dass die App eine Datei
/mnt/secrets/stripe-token mit dem nackten Token und Rechten
0400 sieht, und spiegele ihn als Key
STRIPE_TOKEN in shop-api-csi.
Hinweis: Jedes Objekt in objects kennt
filePermission (dezimal oder oktal als YAML-Zahl).
Lösung
cat > 50-spc-stripe.yaml <<'EOF'
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
name: shop-api-bao
namespace: shop
spec:
provider: openbao
secretObjects:
- secretName: shop-api-csi
type: Opaque
data:
- {objectName: db_password, key: DB_PASSWORD}
- {objectName: api_key, key: API_KEY}
- {objectName: stripe-token, key: STRIPE_TOKEN}
parameters:
baoAddress: "http://openbao.openbao.svc:8200"
roleName: "shop-api"
audience: "openbao"
objects: |
- {objectName: db_password, secretPath: secret/data/shop/api,
secretKey: db_password}
- {objectName: api_key, secretPath: secret/data/shop/api, secretKey: api_key}
- {objectName: stripe-token, secretPath: secret/data/shop/stripe,
secretKey: token, filePermission: 0400}
EOF
kubectl apply -f 50-spc-stripe.yaml
kubectl -n shop rollout restart deploy/shop-api
kubectl -n shop rollout status deploy/shop-api --timeout=90s
kubectl -n shop exec deploy/shop-api -- ls -lL /mnt/secrets/stripe-token
kubectl -n shop get secret shop-api-csi -o jsonpath='{.data.STRIPE_TOKEN}' | base64 -dErwartet:
-r-------- 1 root root 14 Oct 12 10:23 /mnt/secrets/stripe-token
lab-stripe-789
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- CSI ist die Wahl, wenn Secrets nie in etcd landen sollen.
secretObjectshebelt genau das wieder aus, also bewusst und nur für Fälle wie TLS am Ingress einsetzen. - Jeder Pod-Start ist ein Login plus Reads. Bei großen Rollouts OpenBao-Rate-Limits und den Agent-Cache im Provider beachten.
- Rotation ist Polling.
rotationPollIntervalgegen Last auf OpenBao abwägen, die App muss Dateiänderungen selbst bemerken (inotify oder Reload, Tag 9). - Gegen OpenBao mit TLS:
baoCACertPathzeigt auf eine Datei im Provider-Pod. Die CA kommt percsi.volumes/csi.volumeMountsin den DaemonSet. - Distributionen mit abweichendem Kubelet-Verzeichnis brauchen
angepasste Pfade (
csi.daemonSet.kubeletRootDir,providersDir) in Driver- und OpenBao-Chart.