Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 11: Workloads anbinden – Kubernetes-Auth, External Secrets Operator, Agent Injector

Ziel: Ein Pod im Namespace webshop bekommt sein Secret aus OpenBao – einmal per ESO, einmal per Agent Injector – ohne ein einziges statisches Token. · Dauer: ca. 120 min · Voraussetzung: Tag 10

Briefing

  • Kubernetes-Auth: Der Pod schickt sein ServiceAccount-JWT, OpenBao lässt es per TokenReview-API vom Kubernetes-API-Server prüfen.
  • OpenBao nutzt dafür das eigene Pod-Token (ServiceAccount openbao). Dieses braucht die ClusterRole system:auth-delegator.
  • ESO kopiert Secrets in normale Kubernetes-Secrets. Der Injector rendert sie per Sidecar in eine Datei im Pod.
  • audience=openbao sorgt dafür, dass nur Tokens akzeptiert werden, die ausdrücklich für OpenBao ausgestellt wurden.
Pod (SA webshop) --JWT--> OpenBao --TokenReview--> kube-apiserver
        ^                    |
        +---- OpenBao-Token -+  (Policy webshop-read)

Drill 1: Lage herstellen

mkdir -p ~/bao-lab/tag11 && cd ~/bao-lab/tag11
kubectl -n openbao port-forward svc/openbao-active 8200:8200 >/dev/null 2>&1 &
export BAO_ADDR=https://127.0.0.1:8200 BAO_CACERT=~/bao-lab/tls/ca.crt
export BAO_TOKEN=$(jq -r .root_token ~/bao-lab/k8s/init.json)   # Root nur bis Tag 13
kubectl create namespace webshop
kubectl -n webshop create serviceaccount webshop
bao secrets enable -path=secret kv-v2          # falls aus Tag 9 noch nicht vorhanden
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-db-pw-1  # Lab-Werte

Erwartet:

namespace/webshop created
serviceaccount/webshop created
Success! Enabled the kv-v2 secrets engine at: secret/
======= Secret Path =======
secret/data/webshop/config
...
version            1

Fortschritt speichern? Kostenlos registrieren

Drill 2: Token-Reviewer prüfen

Das Chart legt die Bindung selbst an (server.authDelegator.enabled: true ist Default).

kubectl get clusterrolebinding openbao-server-binding \
  -o jsonpath='{.roleRef.name} -> {.subjects[0].namespace}/{.subjects[0].name}{"\n"}'
kubectl auth can-i create tokenreviews.authentication.k8s.io \
  --as=system:serviceaccount:openbao:openbao

Erwartet:

system:auth-delegator -> openbao/openbao
yes

Fortschritt speichern? Kostenlos registrieren

Drill 3: Kubernetes-Auth aktivieren

kubectl -n openbao exec openbao-0 -- \
  cat /var/run/secrets/kubernetes.io/serviceaccount/ca.crt > k8s-ca.crt
bao auth enable kubernetes
bao write auth/kubernetes/config \
  kubernetes_host=https://kubernetes.default.svc:443 \
  [email protected]
bao read auth/kubernetes/config

Erwartet (gekürzt):

Success! Enabled kubernetes auth method at: kubernetes/
Success! Data written to: auth/kubernetes/config
Key                       Value
---                       -----
disable_iss_validation    true
disable_local_ca_jwt      false
issuer                    n/a
kubernetes_ca_cert        -----BEGIN CERTIFICATE-----
...
kubernetes_host           https://kubernetes.default.svc:443
pem_keys                  []
token_reviewer_jwt_set    false

Warum? token_reviewer_jwt bleibt leer: OpenBao liest dann sein eigenes, automatisch rotierendes Pod-Token. Die Adresse wird vom Server-Pod aus aufgelöst, nicht vom Laptop.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Rolle webshop und Test-Login

bao policy write webshop-read - <<'EOF'
path "secret/data/webshop/*" {
  capabilities = ["read"]
}
EOF
bao write auth/kubernetes/role/webshop \
  bound_service_account_names=webshop \
  bound_service_account_namespaces=webshop \
  audience=openbao \
  token_policies=webshop-read \
  token_ttl=1h
JWT=$(kubectl -n webshop create token webshop --audience=openbao --duration=10m)
bao write auth/kubernetes/login role=webshop jwt="$JWT"

Erwartet (gekürzt, kann abweichen):

Success! Uploaded policy: webshop-read
Success! Data written to: auth/kubernetes/role/webshop
Key                                       Value
---                                       -----
token                                     s.Xb3...
token_duration                            1h
token_policies                            ["default" "webshop-read"]
token_meta_role                           webshop
token_meta_service_account_name           webshop
token_meta_service_account_namespace      webshop

Seit v2.6 kennt die CLI auch bao login -method=kubernetes role=webshop jwt="$JWT". Mit -no-store landet das Token nicht in ~/.vault-token.

Gegenprobe ohne passende Audience:

bao write auth/kubernetes/login role=webshop \
  jwt="$(kubectl -n webshop create token webshop)"

Erwartet: Fehler mit Code: 403 (Wortlaut kann abweichen).

Fortschritt speichern? Kostenlos registrieren

Drill 5: External Secrets Operator installieren

helm repo add external-secrets https://charts.external-secrets.io
helm repo update
helm upgrade --install external-secrets external-secrets/external-secrets \
  -n external-secrets --create-namespace --wait
kubectl -n external-secrets get deploy

Erwartet (gekürzt, kann abweichen):

NAME                               READY   UP-TO-DATE   AVAILABLE
external-secrets                   1/1     1            1
external-secrets-cert-controller   1/1     1            1
external-secrets-webhook           1/1     1            1

Fortschritt speichern? Kostenlos registrieren

Drill 6: SecretStore und ExternalSecret

kubectl -n webshop create secret generic openbao-ca \
  --from-file=ca.crt=$HOME/bao-lab/tls/ca.crt
cat > eso.yaml <<'EOF'
apiVersion: external-secrets.io/v1
kind: SecretStore
metadata:
  name: openbao
  namespace: webshop
spec:
  provider:
    vault:
      server: https://openbao.openbao.svc:8200
      path: secret
      version: v2
      caProvider:
        type: Secret
        name: openbao-ca
        key: ca.crt
      auth:
        kubernetes:
          mountPath: kubernetes
          role: webshop
          serviceAccountRef:
            name: webshop
            audiences:
              - openbao
---
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
  name: webshop-config
  namespace: webshop
spec:
  refreshInterval: 15s
  secretStoreRef:
    kind: SecretStore
    name: openbao
  target:
    name: webshop-config
  data:
    - secretKey: DB_USER
      remoteRef:
        key: webshop/config
        property: db_user
    - secretKey: DB_PASS
      remoteRef:
        key: webshop/config
        property: db_pass
EOF
kubectl apply -f eso.yaml
kubectl -n webshop get secretstore openbao
kubectl -n webshop get externalsecret webshop-config

Erwartet (gekürzt, kann abweichen):

NAME      AGE   STATUS   CAPABILITIES   READY
openbao   5s    Valid    ReadWrite      True
NAME             STORE     REFRESH INTERVAL   STATUS         READY
webshop-config   openbao   15s                SecretSynced   True

Achtung: server muss zu einem SAN deines Zertifikats passen. openbao.openbao.svc ist enthalten (Tag 7), openbao-active.openbao.svc nicht. Willst du den Active-Service direkt treffen, ergänze den SAN und erneuere openbao-tls. Standbys leiten Anfragen ohnehin an den Leader weiter.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Rotation beobachten

kubectl -n webshop get secret webshop-config \
  -o jsonpath='{.data.DB_PASS}' | base64 -d; echo
bao kv put -mount=secret webshop/config db_user=webshop db_pass=lab-db-pw-2
sleep 20
kubectl -n webshop get secret webshop-config \
  -o jsonpath='{.data.DB_PASS}' | base64 -d; echo

Erwartet:

lab-db-pw-1
...
lab-db-pw-2

Nicht warten wollen:

kubectl -n webshop annotate externalsecret webshop-config \
  force-sync=$(date +%s) --overwrite

Warum? ESO aktualisiert nur das Kubernetes-Secret. Ob die App den neuen Wert sieht, hängt davon ab, wie sie ihn einbindet: Ein Volume wird nachgeladen, eine Env-Variable erst beim Pod-Neustart.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Agent Injector einschalten und Präfix klären

An Tag 8 blieb der Injector aus. Setze in ~/bao-lab/k8s/values.yaml:

injector:
  enabled: true
  agentImage:
    tag: "2.7.0"        # wie server.image.tag; Default wäre appVersion 2.7.1
helm upgrade openbao openbao/openbao --version 0.30.2 -n openbao \
  -f ~/bao-lab/k8s/values.yaml
kubectl -n openbao rollout status deploy/openbao-agent-injector
kubectl -n openbao get deploy openbao-agent-injector \
  -o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'
kubectl -n openbao get deploy openbao-agent-injector -o json \
  | jq -r '.spec.template.spec.containers[0].env[]
      | select(.name=="AGENT_INJECT_VAULT_IMAGE").value'
kubectl get mutatingwebhookconfiguration openbao-agent-injector-cfg \
  -o jsonpath='{.webhooks[0].name}{"\n"}'

Erwartet (gekürzt, kann je nach Chart-Version abweichen):

Release "openbao" has been upgraded. Happy Helming!
deployment "openbao-agent-injector" successfully rolled out
docker.io/hashicorp/vault-k8s:1.7.2
quay.io/openbao/openbao:2.7.0
vault.hashicorp.com

Warum? Das Chart (0.30.2) nutzt als Webhook weiterhin das Image hashicorp/vault-k8s. Dieses versteht nur Annotationen mit dem Präfix vault.hashicorp.com/. Als Agent startet es das OpenBao-Image, das vault als Symlink auf bao mitbringt. Die Server-Pods bleiben unberührt (OnDelete).

Achtung: Die OpenBao-Doku zeigt teils openbao.org/…. Das gilt für den Fork openbao-k8s, nicht für das Default-Image des Charts. Mit falschem Präfix passiert nichts – ohne Fehlermeldung.

Fortschritt speichern? Kostenlos registrieren

Drill 9: Pod mit Template-Annotation

Die Rolle verlangt audience=openbao, daher bekommt der Agent ein eigenes projiziertes Token.

cat > agent-pod.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: webshop-agent
  namespace: webshop
  annotations:
    vault.hashicorp.com/agent-inject: "true"
    vault.hashicorp.com/role: "webshop"
    vault.hashicorp.com/tls-secret: "openbao-ca"
    vault.hashicorp.com/ca-cert: "/vault/tls/ca.crt"
    vault.hashicorp.com/agent-service-account-token-volume-name: "bao-token"
    vault.hashicorp.com/agent-inject-secret-db.env: "secret/data/webshop/config"
    vault.hashicorp.com/agent-inject-template-db.env: |
      {{- with secret "secret/data/webshop/config" -}}
      DB_USER={{ .Data.data.db_user }}
      DB_PASS={{ .Data.data.db_pass }}
      {{- end }}
spec:
  serviceAccountName: webshop
  volumes:
    - name: bao-token
      projected:
        sources:
          - serviceAccountToken:
              path: token
              audience: openbao
              expirationSeconds: 3600
  containers:
    - name: app
      image: busybox:1.36
      command: ["sh", "-c", "while true; do cat /vault/secrets/db.env; sleep 30; done"]
EOF
kubectl apply -f agent-pod.yaml
kubectl -n webshop wait --for=condition=Ready pod/webshop-agent --timeout=120s
kubectl -n webshop get pod webshop-agent \
  -o jsonpath='{.spec.initContainers[*].name} | {.spec.containers[*].name}{"\n"}'
kubectl -n webshop logs webshop-agent -c app --tail=2

Erwartet (gekürzt, kann abweichen):

pod/webshop-agent condition met
vault-agent-init | app vault-agent
DB_USER=webshop
DB_PASS=lab-db-pw-2

Fehlersuche: kubectl -n webshop logs webshop-agent -c vault-agent-init. Fehlen die Agent-Container ganz, stimmt das Präfix nicht oder der Webhook war nicht erreichbar (failurePolicy: Ignore).

Fortschritt speichern? Kostenlos registrieren

Drill 10: Welches Werkzeug wofür?

Kriterium ESO Agent Injector CSI-Provider
Ziel K8s-Secret Datei im Pod (tmpfs) Datei im Pod (Volume)
Secret in etcd ja nein nein (optional Sync)
Templates/Lease-Renewal begrenzt voll (Agent) nein
Overhead 1 Operator Sidecar pro Pod DaemonSet + CSI-Driver

CSI im Chart: csi.enabled: true, setzt den separat installierten secrets-store-csi-driver voraus.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

#!/usr/bin/env bash
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
JWT=$(kubectl -n webshop create token webshop --audience=openbao --duration=10m)
bao write -field=token auth/kubernetes/login role=webshop jwt="$JWT" >/dev/null 2>&1 \
  && ok "Kubernetes-Login" || nok "Kubernetes-Login"
[ "$(kubectl -n webshop get externalsecret webshop-config \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].status}')" = "True" ] \
  && ok "ExternalSecret synchron" || nok "ExternalSecret synchron"
kubectl -n webshop get secret webshop-config >/dev/null 2>&1 \
  && ok "K8s-Secret vorhanden" || nok "K8s-Secret vorhanden"
kubectl -n webshop exec webshop-agent -c app -- test -s /vault/secrets/db.env \
  && ok "Injector-Datei gerendert" || nok "Injector-Datei gerendert"

Challenge

Hole mit einem zweiten ExternalSecret webshop-all den kompletten Inhalt von secret/webshop/config in ein Secret, ohne einzelne Keys aufzuzählen.

Hinweis: Suche im ExternalSecret nach dataFrom mit extract.

Lösung

cat <<'EOF' | kubectl apply -f -
apiVersion: external-secrets.io/v1
kind: ExternalSecret
metadata:
  name: webshop-all
  namespace: webshop
spec:
  refreshInterval: 1m
  secretStoreRef:
    kind: SecretStore
    name: openbao
  target:
    name: webshop-all
  dataFrom:
    - extract:
        key: webshop/config
EOF
kubectl -n webshop get secret webshop-all -o json | jq -r '.data | keys[]'

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Pro Team ein eigener Auth-Mount oder eine eigene Rolle, nie Wildcards bei bound_service_account_*.
  • Externe Cluster: token_reviewer_jwt eines dedizierten Reviewer-SA plus kubernetes_ca_cert setzen und rotieren.
  • ESO: ClusterSecretStore nur für Plattform-Teams. etcd-Verschlüsselung ist Pflicht, sobald Secrets dort landen.
  • Injector: failurePolicy: Fail und mehrere Replikas, sonst starten Pods unbemerkt ohne Secrets.
  • Webhook-Image und OpenBao-Version gemeinsam testen. Den Wechsel auf openbao-k8s (Präfix openbao.org/) plant ihr als Migration.