Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 6: Secrets Store CSI Driver

Ziel: Secrets als Volume aus OpenBao mounten, bei Bedarf in ein Kubernetes-Secret spiegeln und die Rotation beobachten. · Dauer: ca. 75 min · Voraussetzung: Tag 2

Briefing

  • Der Secrets Store CSI Driver (DaemonSet in kube-system) mountet beim Pod-Start ein tmpfs und fragt einen Provider nach dem Inhalt.
  • Der Provider für OpenBao kommt aus dem OpenBao-Chart (csi.enabled=true) und heißt in der SecretProviderClass exakt openbao.
  • Der Provider meldet sich im Namen des Pods an: Er holt per TokenRequest ein Token für dessen ServiceAccount, mit der Audience aus der SecretProviderClass.
  • Kein Templating, kein Sidecar. Optional spiegelt der Driver Dateien in ein Kubernetes-Secret, aber erst, wenn ein Pod das Volume mountet.
Pod shop-api ──volume csi──> kubelet ──> secrets-store-csi-driver (kube-system)
                                              │ gRPC /provider/openbao.sock
                                              ▼
                              openbao-csi-provider (DaemonSet, ns openbao)
                                │ TokenRequest SA shop-api, aud=openbao
                                └─> login auth/kubernetes ──> read secret/data/shop/*

Drill 1: Driver und Provider installieren

mkdir -p ~/secrets-lab/tag06 && cd ~/secrets-lab/tag06
cp ~/secrets-lab/code/tag06/* .
kubectl -n shop delete deploy shop-api --ignore-not-found
sed -n '/helm upgrade --install/,$p' 00-install.sh
./00-install.sh

Erwartet (gekürzt):

helm upgrade --install csi secrets-store-csi-driver/secrets-store-csi-driver \
  -n kube-system --version 1.6.1 \
  --set syncSecret.enabled=true \
  --set enableSecretRotation=true \
  --set rotationPollInterval=30s --wait
# CSI-Provider dauerhaft einschalten: jedes spätere helm upgrade (up.sh, Tag 14)
# nimmt die Werte-Datei mit
sed -i.bak '/^csi:/,/enabled:/s/enabled: false/enabled: true/' \
  ~/secrets-lab/setup/openbao-values.yaml
helm upgrade openbao openbao/openbao -n openbao --server-side=false \
  -f ~/secrets-lab/setup/openbao-values.yaml --wait
kubectl -n openbao rollout status ds/openbao-csi-provider --timeout=120s
Release "csi" does not exist. Installing it now.
...
Release "openbao" has been upgraded. Happy Helming!
...
daemon set "openbao-csi-provider" successfully rolled out

syncSecret.enabled gibt dem Driver RBAC für Kubernetes-Secrets (Drill 5), enableSecretRotation lässt ihn alle 30 s neu fragen (Drill 6). Das Upgrade von openbao fügt nur DaemonSet und RBAC hinzu. Der Server-Pod startet nicht neu, die Dev-Daten bleiben erhalten.

Das sed setzt csi.enabled: true direkt in ~/secrets-lab/setup/openbao-values.yaml (Sicherung in openbao-values.yaml.bak). So entfernt kein späteres helm upgrade den Provider wieder. --server-side=false kennst du aus Tag 0, Drill 3.

kubectl get csidriver secrets-store.csi.k8s.io \
  -o custom-columns=NAME:.metadata.name,REPUBLISH:.spec.requiresRepublish
kubectl -n openbao get ds openbao-csi-provider \
  -o jsonpath='{.spec.template.spec.containers[*].image}{"\n"}'
kubectl api-resources --api-group=secrets-store.csi.x-k8s.io

Erwartet (gekürzt):

NAME                       REPUBLISH
secrets-store.csi.k8s.io   true
quay.io/openbao/openbao-csi-provider:2.0.3 quay.io/openbao/openbao:2.7.1
NAME                             SHORTNAMES   APIVERSION                      ...
secretproviderclasses                         secrets-store.csi.x-k8s.io/v1   ...
secretproviderclasspodstatuses                secrets-store.csi.x-k8s.io/v1   ...

requiresRepublish: true heißt: Kubelet ruft den Driver regelmäßig erneut auf. Darauf baut die Rotation auf.

Der zweite Container im Provider ist ein OpenBao-Agent als lokaler Cache. Wir geben in der SecretProviderClass die Adresse explizit an, dann ist klar, wohin der Provider spricht.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die SecretProviderClass

cat 10-spc.yaml
kubectl apply -f 10-spc.yaml

Erwartet:

# Tag 6: SecretProviderClass für den OpenBao-CSI-Provider (Lab-Werte)
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
  name: shop-api-bao
  namespace: shop
spec:
  provider: openbao
  parameters:
    baoAddress: "http://openbao.openbao.svc:8200"
    roleName: "shop-api"
    audience: "openbao"
    objects: |
      - objectName: "db_password"
        secretPath: "secret/data/shop/api"
        secretKey: "db_password"
      - objectName: "api_key"
        secretPath: "secret/data/shop/api"
        secretKey: "api_key"
      - objectName: "stripe.json"
        secretPath: "secret/data/shop/stripe"
secretproviderclass.secrets-store.csi.x-k8s.io/shop-api-bao created

Die Parameter-Präfixe bao…, openbao… und vault… sind gleichwertig (z. B. baoAddress, openbaoAddress, vaultAddress). roleName, audience und objects haben kein Präfix. objectName wird der Dateiname, ohne secretKey landet die ganze API-Antwort in der Datei.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Pod mit CSI-Volume

grep -A8 '  volumes:' 20-shop-api-csi.yaml
kubectl apply -f 20-shop-api-csi.yaml
kubectl -n shop rollout status deploy/shop-api --timeout=90s
kubectl -n shop exec deploy/shop-api -- ls /mnt/secrets
kubectl -n shop exec deploy/shop-api -- sh -c 'cat /mnt/secrets/db_password; echo'
kubectl -n shop exec deploy/shop-api -- df -h /mnt/secrets

Erwartet:

      volumes:
        - name: secrets
          csi:
            driver: secrets-store.csi.k8s.io
            readOnly: true
            volumeAttributes:
              secretProviderClass: shop-api-bao
deployment.apps/shop-api created
deployment "shop-api" successfully rolled out
api_key
db_password
stripe.json
lab-db-pw-123
Filesystem                Size      Used Available Use% Mounted on
tmpfs                     3.9G     12.0K      3.9G   0% /mnt/secrets

Die Werte liegen im RAM des Nodes, nicht auf der Platte. Jetzt die Datei ohne secretKey:

kubectl -n shop exec deploy/shop-api -- cat /mnt/secrets/stripe.json \
  | jq -c '{keys: keys, data: .data.data}'

Erwartet:

{"keys":["data","lease_duration","lease_id","renewable","request_id","warnings"],
"data":{"token":"lab-stripe-789"}}

Das ist die komplette Antwort inklusive Metadaten. Für Apps fast immer zu viel: Nimm lieber pro Key ein Objekt.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ohne Audience geht nichts

Was passiert, wenn audience fehlt? Der Provider fordert dann ein Token mit der Standard-Audience des API-Servers an.

kubectl -n shop patch secretproviderclass shop-api-bao --type json \
  -p '[{"op":"remove","path":"/spec/parameters/audience"}]'
kubectl -n shop rollout restart deploy/shop-api
sleep 20
kubectl -n shop get pod -l app=shop-api
kubectl -n shop get events --field-selector reason=FailedMount \
  -o jsonpath='{.items[-1:].message}{"\n"}' | fold -w 88

Erwartet:

secretproviderclass.secrets-store.csi.x-k8s.io/shop-api-bao patched
deployment.apps/shop-api restarted
NAME                        READY   STATUS              RESTARTS   AGE
shop-api-6fb7854f7c-xdqjq   0/1     ContainerCreating   0          26s
shop-api-75c5946d4-4zxjh    1/1     Running             0          35s
MountVolume.SetUp failed for volume "secrets" : rpc error: code = Unknown desc = failed
to mount secrets store objects for pod shop/shop-api-6fb7854f7c-xdqjq, err: rpc error: c
ode = Unknown desc = error making mount request: couldn't read secret "db_password": fai
led to login: Error making API request.

URL: POST http://openbao.openbao.svc:8200/v1/auth/kubernetes/login
Code: 403. Errors:

* invalid audience (aud) claim: audience claim does not match any expected audience

Gleiche Ursache wie beim Injector (Tag 5), andere Stelle: Der Pod hängt in ContainerCreating, die Wahrheit steht in den Events. Zurück:

kubectl apply -f 10-spc.yaml
kubectl -n shop rollout restart deploy/shop-api
kubectl -n shop rollout status deploy/shop-api --timeout=90s

Fortschritt speichern? Kostenlos registrieren

Drill 5: Spiegeln in ein Kubernetes-Secret

Manche Apps (oder Ingress-Controller) wollen ein echtes Secret. secretObjects übernimmt gemountete Objekte als Keys.

sed -n '/secretObjects/,/parameters/p' 30-spc-sync.yaml
kubectl apply -f 30-spc-sync.yaml -f 40-shop-api-csi-env.yaml
kubectl -n shop rollout status deploy/shop-api --timeout=90s
kubectl -n shop get secret shop-api-csi -o json \
  | jq -c '{labels: .metadata.labels, keys: (.data | keys)}'
kubectl -n shop logs deploy/shop-api

Erwartet:

  secretObjects:
    - secretName: shop-api-csi
      type: Opaque
      data:
        - objectName: db_password
          key: DB_PASSWORD
        - objectName: api_key
          key: API_KEY
  parameters:
secretproviderclass.secrets-store.csi.x-k8s.io/shop-api-bao configured
deployment.apps/shop-api configured
deployment "shop-api" successfully rolled out
{"labels":{"secrets-store.csi.k8s.io/managed":"true"},"keys":["API_KEY","DB_PASSWORD"]}
start mit API_KEY=lab-api-key-456

Das Volume bleibt Pflicht, auch wenn die App nur envFrom nutzt: Erst der Mount löst die Synchronisation aus. Ab hier liegt der Wert wieder in etcd, mit allen Folgen (RBAC auf Secrets, Verschlüsselung at rest).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Rotation beobachten

bao kv patch secret/shop/api api_key=lab-api-key-457 | tail -1
sleep 90
kubectl -n shop exec deploy/shop-api -- sh -c 'cat /mnt/secrets/api_key; echo'
kubectl -n shop get secret shop-api-csi -o jsonpath='{.data.API_KEY}' | base64 -d; echo
kubectl -n shop exec deploy/shop-api -- sh -c 'echo $API_KEY'
kubectl -n shop get secretproviderclasspodstatus -o json \
  | jq -c '.items[].status.objects[] | select(.id | test("api_key"))'

Erwartet:

version            4
lab-api-key-457
lab-api-key-457
lab-api-key-456
{"id":"api_key","version":"rGKJfhQz0647VQh9zoQ_eRn0MPveAogpm2s04gVewUY="}

Datei und gespiegeltes Secret sind neu. Im Test dauerte das zwischen 30 und 90 s, obwohl rotationPollInterval 30 s ist: Rechne mit Intervall plus Kubelet-Takt. Die Env-Variable im laufenden Prozess nicht: Dafür braucht es einen Neustart (Tag 9). Die version ist ein HMAC über den Inhalt (Schlüssel im Secret openbao-csi-provider-hmac-key), kein Klartext.

bao kv patch secret/shop/api api_key=lab-api-key-456 >/dev/null

Fortschritt speichern? Kostenlos registrieren

Drill 7: Die Grenzen

Wem gehört das gespiegelte Secret?

kubectl -n shop get secret shop-api-csi -o json \
  | jq -c '[.metadata.ownerReferences[] | {kind, name}]'
kubectl -n shop delete deploy shop-api
sleep 10
kubectl -n shop get secret shop-api-csi
kubectl -n shop run cron-like --image=busybox:1.37 --restart=Never \
  --overrides='{"spec":{"containers":[{"name":"c","image":"busybox:1.37",
  "command":["sh","-c","echo $API_KEY"],
  "envFrom":[{"secretRef":{"name":"shop-api-csi"}}]}]}}'
sleep 8
kubectl -n shop get pod cron-like
kubectl -n shop delete pod cron-like
kubectl apply -f 40-shop-api-csi-env.yaml

Erwartet (gekürzt):

[{"kind":"ReplicaSet","name":"shop-api-747f67dd5"},
{"kind":"ReplicaSet","name":"shop-api-86779568dc"}]
deployment.apps "shop-api" deleted from shop namespace
Error from server (NotFound): secrets "shop-api-csi" not found
pod/cron-like created
NAME        READY   STATUS                       RESTARTS   AGE
cron-like   0/1     CreateContainerConfigError   0          9s
pod "cron-like" deleted from shop namespace
deployment.apps/shop-api created

Das Secret hängt per ownerReferences an den ReplicaSets der mountenden Pods. Ein scale --replicas=0 lässt es stehen, ein gelöschtes Deployment räumt es weg. Ein CronJob, der es nur „mitbenutzen” will, geht leer aus. Dazu: kein Templating (eine Datei pro Key oder die rohe JSON-Antwort), Secrets kommen nur beim Mount und im Rotations-Takt, und jeder Mount ist ein Login gegen OpenBao.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
kubectl -n shop rollout status deploy/shop-api --timeout=90s >/dev/null
P=$(kubectl -n shop get secretproviderclass shop-api-bao -o jsonpath='{.spec.provider}')
[ "$P" = openbao ] && ok "Provider openbao" || nok "Provider: $P"
kubectl -n shop exec deploy/shop-api -- cat /mnt/secrets/db_password \
  | grep -q lab-db-pw-123 && ok "Datei gemountet" || nok "Datei fehlt"
kubectl -n shop get secret shop-api-csi >/dev/null 2>&1 \
  && ok "Secret gespiegelt" || nok "kein gespiegeltes Secret"
kubectl -n shop exec deploy/shop-api -- sh -c 'touch /mnt/secrets/x' 2>/dev/null \
  && nok "Volume beschreibbar" || ok "Volume read-only"

Challenge

Lege secret/shop/stripe so ab, dass die App eine Datei /mnt/secrets/stripe-token mit dem nackten Token und Rechten 0400 sieht, und spiegele ihn als Key STRIPE_TOKEN in shop-api-csi.

Hinweis: Jedes Objekt in objects kennt filePermission (dezimal oder oktal als YAML-Zahl).

Lösung

cat > 50-spc-stripe.yaml <<'EOF'
apiVersion: secrets-store.csi.x-k8s.io/v1
kind: SecretProviderClass
metadata:
  name: shop-api-bao
  namespace: shop
spec:
  provider: openbao
  secretObjects:
    - secretName: shop-api-csi
      type: Opaque
      data:
        - {objectName: db_password, key: DB_PASSWORD}
        - {objectName: api_key, key: API_KEY}
        - {objectName: stripe-token, key: STRIPE_TOKEN}
  parameters:
    baoAddress: "http://openbao.openbao.svc:8200"
    roleName: "shop-api"
    audience: "openbao"
    objects: |
      - {objectName: db_password, secretPath: secret/data/shop/api,
         secretKey: db_password}
      - {objectName: api_key, secretPath: secret/data/shop/api, secretKey: api_key}
      - {objectName: stripe-token, secretPath: secret/data/shop/stripe,
         secretKey: token, filePermission: 0400}
EOF
kubectl apply -f 50-spc-stripe.yaml
kubectl -n shop rollout restart deploy/shop-api
kubectl -n shop rollout status deploy/shop-api --timeout=90s
kubectl -n shop exec deploy/shop-api -- ls -lL /mnt/secrets/stripe-token
kubectl -n shop get secret shop-api-csi -o jsonpath='{.data.STRIPE_TOKEN}' | base64 -d

Erwartet:

-r--------    1 root     root            14 Oct 12 10:23 /mnt/secrets/stripe-token
lab-stripe-789

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • CSI ist die Wahl, wenn Secrets nie in etcd landen sollen. secretObjects hebelt genau das wieder aus, also bewusst und nur für Fälle wie TLS am Ingress einsetzen.
  • Jeder Pod-Start ist ein Login plus Reads. Bei großen Rollouts OpenBao-Rate-Limits und den Agent-Cache im Provider beachten.
  • Rotation ist Polling. rotationPollInterval gegen Last auf OpenBao abwägen, die App muss Dateiänderungen selbst bemerken (inotify oder Reload, Tag 9).
  • Gegen OpenBao mit TLS: baoCACertPath zeigt auf eine Datei im Provider-Pod. Die CA kommt per csi.volumes/csi.volumeMounts in den DaemonSet.
  • Distributionen mit abweichendem Kubelet-Verzeichnis brauchen angepasste Pfade (csi.daemonSet.kubeletRootDir, providersDir) in Driver- und OpenBao-Chart.