Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 7: Dynamische Secrets und Zertifikate in Pods

Ziel: Kurzlebige DB-Credentials per Agent in den Pod bringen, ihre Leases beobachten und widerrufen, und mit cert-manager Zertifikate aus der OpenBao-PKI ziehen. · Dauer: ca. 120 min · Voraussetzung: Tag 4, Tag 5

Briefing

  • Dynamische Secrets entstehen erst beim Lesen: OpenBao legt für jeden Read einen eigenen DB-User an und hängt eine Lease mit TTL daran.
  • Der Agent-Sidecar erneuert die Lease. Ist max_ttl erreicht, holt er neue Credentials und rendert die Datei neu. Die App muss das mitbekommen.
  • Revoke löscht den DB-User sofort. Der Agent merkt das erst bei der nächsten Erneuerung.
  • Für Zertifikate ist cert-manager mit dem Issuer-Typ vault der Standard. Er meldet sich per Kubernetes-Auth an und ruft pki/sign/<rolle> auf.
shop-api-pg ── vault-agent ──read──> database/creds/shop-ro-short ──> Postgres
                 │  renew (Lease)         └── Lease 2m, max 6m
                 └─ /vault/secrets/db (neu bei neuer Lease)
Certificate ─> cert-manager ─(SA shop-issuer, aud openbao)─> pki/sign/shop-svc
              └─> Secret shop-api-tls (tls.crt, tls.key, ca.crt)

Drill 1: Postgres aus Tag 4

Postgres im Namespace shop (Datenbank shop) und der Mount database/ mit der Verbindung shop-pg stehen seit Tag 4, Drill 6. kubectl apply mit derselben Datei ist idempotent. Falls du Tag 4 übersprungen hast, legt es Postgres hier an.

mkdir -p ~/secrets-lab/tag07 && cd ~/secrets-lab/tag07
cp ~/secrets-lab/code/tag07/* .
kubectl apply -f ~/secrets-lab/code/tag04/postgres.yaml
kubectl -n shop rollout status deploy/postgres --timeout=120s
kubectl -n shop exec deploy/postgres -- psql -U postgres -d shop -tAc \
  'select version()' | cut -c1-40

Erwartet (gekürzt, kann je nach Version abweichen):

deployment.apps/postgres unchanged
service/postgres unchanged
deployment "postgres" successfully rolled out
PostgreSQL 16.10 on aarch64-unknown-linu

Das Passwort lab-pg-pw ist ein Lab-Wert und steht nur in der Pod-Spec, weil das hier die „Altlast” ist, die OpenBao verwaltet.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Kurzlebige DB-Rolle shop-ro-short

shop-ro aus Tag 4 (10 min, maximal 1 h) bleibt für den ESO-Generator. Für die Renewal-Demo kommt eine eigene Rolle mit kurzen TTLs dazu.

sed -n '/secrets list/,$p' 20-database.sh
./20-database.sh
bao read database/creds/shop-ro-short

Erwartet:

bao secrets list -format=json | jq -e '."database/"' >/dev/null \
  || bao secrets enable database
bao write database/config/shop-pg \
  plugin_name=postgresql-database-plugin \
  connection_url="postgresql://{{username}}:{{password}}@$PG/shop?sslmode=disable" \
  username=postgres password=lab-pg-pw \
  allowed_roles=shop-ro,shop-ro-short
bao write database/roles/shop-ro-short db_name=shop-pg \
  creation_statements="CREATE ROLE \"{{name}}\" WITH LOGIN PASSWORD '{{password}}' \
VALID UNTIL '{{expiration}}'; GRANT pg_read_all_data TO \"{{name}}\";" \
  default_ttl=2m max_ttl=6m
bao policy write shop-api-db - <<'HCL'
path "database/creds/shop-ro-short" {
  capabilities = ["read"]
}
HCL
# Eigene Rolle: shop-api (Tag 0/3) bleibt unverändert
bao write auth/kubernetes/role/shop-api-db \
  bound_service_account_names=shop-api \
  bound_service_account_namespaces=shop \
  audience=openbao \
  token_policies=shop-api-db token_ttl=15m token_max_ttl=1h
Success! Data written to: database/config/shop-pg
Success! Data written to: database/roles/shop-ro-short
Success! Uploaded policy: shop-api-db
Success! Data written to: auth/kubernetes/role/shop-api-db
Key                Value
---                -----
lease_id           database/creds/shop-ro-short/LS1knfoBUZhIwhOclycC1wNN
lease_duration     2m
lease_renewable    true
password           6SPm1K6Q-iNeaNLFbd0W
username           v-token-shop-ro--LZziabv0ZWMkqY39ndlQ-1791803201

Die kurzen TTLs (2 min, maximal 6 min) sind nur fürs Labor, damit du alles in Minuten siehst. Die Verbindung shop-pg wird mit denselben Werten wie an Tag 4 neu geschrieben, nur allowed_roles wächst. Fehlt database/ (Tag 4 übersprungen), legt das Skript den Mount an. Die eigene Kubernetes-Rolle shop-api-db lässt shop-api mit ihren Policies aus Tag 0 und Tag 3 unangetastet. Im Benutzernamen kürzt OpenBao den Rollennamen auf acht Zeichen, daher shop-ro--.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Agent-Template für DB-Credentials

sed -n '/inject-secret-db/,/end/p' 30-shop-api-pg.yaml
kubectl apply -f 30-shop-api-pg.yaml
kubectl -n shop rollout status deploy/shop-api-pg --timeout=120s
kubectl -n shop exec deploy/shop-api-pg -c app -- cat /vault/secrets/db
kubectl -n shop logs deploy/shop-api-pg -c app
bao list sys/leases/lookup/database/creds/shop-ro-short

Erwartet (gekürzt):

        vault.hashicorp.com/agent-inject-secret-db: "database/creds/shop-ro-short"
        vault.hashicorp.com/agent-inject-template-db: |
          {{- with secret "database/creds/shop-ro-short" -}}
          export PGUSER="{{ .Data.username }}"
          export PGPASSWORD="{{ .Data.password }}"
          {{- end }}
deployment.apps/shop-api-pg created
deployment "shop-api-pg" successfully rolled out
export PGUSER="v-kubernet-shop-ro--wFsWHSnA7FsJIUIO08pD-1791800780"
export PGPASSWORD="IWUbaP5T0-YenRlQtPvs"
10:26:20 v-kubernet-shop-ro--XR1r7hYNAt9UiKAtG2lx-1791800777
Keys
----
LS1knfoBUZhIwhOclycC1wNN
GewSdj0VgHYzQK19H2t6p6ds
uD9z5mhPVTzFMf9dfeOBL8rN

Bei dynamischen Secrets liegen die Werte direkt unter .Data, nicht unter .Data.data wie bei KV v2. Und schau genau hin: Die App hat sich als …XR1r… angemeldet, in der Datei steht aber schon …wFsW…. Init-Container und Sidecar holen je eigene Credentials. Drei Leases: deine aus Drill 2, eine vom Init, eine vom Sidecar. Die Init-Lease läuft einfach aus.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Lease-Erneuerung und Re-Render

Der Sidecar verlängert die Lease, bis max_ttl erreicht ist. Danach muss er neue Credentials holen. Warte gut sechs Minuten:

sleep 400
kubectl -n shop logs deploy/shop-api-pg -c app | awk '{print $2}' | uniq -c
kubectl -n shop logs deploy/shop-api-pg -c vault-agent | grep -E 'WARN|rendered' \
  | cut -c26- | cut -c1-84

Erwartet:

   1 v-kubernet-shop-ro--XR1r7hYNAt9UiKAtG2lx-1791800777
  22 v-kubernet-shop-ro--wFsWHSnA7FsJIUIO08pD-1791800780
   6 v-kubernet-shop-ro--OTsJebpsDEkgcYFoDgoY-1791801111
[INFO]  agent: (runner) rendered "(dynamic)" => "/vault/secrets/db"
[WARN]  agent: vault.read(database/creds/shop-ro-short): TTL of "2m" exceeded the eff
[WARN]  agent: vault.read(database/creds/shop-ro-short): TTL of "2m" exceeded the eff
[WARN]  agent: vault.read(database/creds/shop-ro-short): renewer done (maybe the leas
[INFO]  agent: (runner) rendered "(dynamic)" => "/vault/secrets/db"

Die Warnungen sind harmlos: Die Erneuerung wird auf die Rest-max_ttl gekappt. Nach rund fünfeinhalb Minuten rendert der Agent neue Credentials, die Schleife der App liest die Datei bei jedem Durchlauf neu und nutzt sie sofort. Eine App, die nur beim Start liest, würde mit dem alten User weiterlaufen, bis Postgres ihn per VALID UNTIL aussperrt.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Leases ansehen

R=database/creds/shop-ro-short
bao list sys/leases/lookup/$R
L=$(bao list -format=json sys/leases/lookup/$R | jq -r '.[0]')
bao lease lookup $R/$L | grep -E 'issue_time|last_renewal|ttl'
kubectl -n shop exec deploy/postgres -- psql -U postgres -tAc \
  "select rolname from pg_roles where rolname like 'v-%-shop-ro--%'"

Erwartet:

Keys
----
wMUY4DSLW8yPQWG416eZHz31
issue_time      2026-10-12T10:31:51.504677624Z
last_renewal    2026-10-12T10:33:19.411461179Z
ttl             1m34s
v-kubernet-shop-ro--OTsJebpsDEkgcYFoDgoY-1791801111

Nur noch ein User in Postgres: Abgelaufene Leases räumt OpenBao selbst auf, inklusive DROP ROLE. last_renewal zeigt die Arbeit des Sidecars. Die Lease-ID ist auch der Schlüssel für gezielten Widerruf (bao lease revoke database/creds/shop-ro-short/<id>).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Revoke – der Notfallknopf

Ein DB-User ist kompromittiert. Alle Credentials der Rolle sofort weg:

date +%T
bao lease revoke -prefix database/creds/shop-ro-short
kubectl -n shop exec deploy/postgres -- psql -U postgres -tAc \
  "select count(*) from pg_roles where rolname like 'v-%-shop-ro--%'"
sleep 90
kubectl -n shop logs deploy/shop-api-pg -c vault-agent | grep -B5 'lease not found' \
  | grep -E 'WARN|Code|\*'
kubectl -n shop logs deploy/shop-api-pg -c app --tail=6

Erwartet (gekürzt, kann je nach Version abweichen):

12:33:45
All revocation operations queued successfully!
0
2026-10-12T10:34:47.308Z [WARN]  agent: vault.read(database/creds/shop-ro-short): faile
Code: 400. Errors:
* lease not found
10:34:05 psql: error: connection to server at "postgres.shop.svc" (…), port 5432 failed
10:34:20 psql: error: connection to server at "postgres.shop.svc" (…), port 5432 failed
10:34:35 psql: error: connection to server at "postgres.shop.svc" (…), port 5432 failed
10:34:50 v-kubernet-shop-ro--Z17XMA3kFlonlM1EXq5l-1791801287

Die Uhr des Laptops (12:33:45, CEST) und die Log-Zeiten (UTC) unterscheiden sich um zwei Stunden. Zwischen Revoke und neuem Render lag rund eine Minute, in der die App mit gelöschten Credentials arbeitete. Der Agent bemerkt den Widerruf erst beim nächsten Renew-Versuch („lease not found”), holt dann neue Credentials und rendert neu.

Achtung: Revoke ist sofort, die Heilung nicht. Plane Retries in der App ein, oder starte die betroffenen Pods nach einem Revoke gezielt neu.

Fortschritt speichern? Kostenlos registrieren

Drill 7: PKI und cert-manager

./40-pki.sh
openssl x509 -in shop-lab-ca.crt -noout -subject -enddate
helm repo add jetstack https://charts.jetstack.io >/dev/null
helm upgrade --install cert-manager jetstack/cert-manager -n cert-manager \
  --create-namespace --version v1.21.2 \
  --set crds.enabled=true --set startupapicheck.enabled=false --wait >/dev/null
kubectl -n cert-manager get pod

Erwartet:

Success! Enabled the pki secrets engine at: pki/
Success! Tuned the secrets engine at: pki/
Success! Uploaded policy: cert-manager-shop
Success! Data written to: auth/kubernetes/role/cert-manager-shop
subject=CN=Secrets-Lab Root CA
notAfter=Oct  9 06:55:17 2036 GMT
NAME                                       READY   STATUS    RESTARTS   AGE
cert-manager-54b7dc69c4-bt9s8              1/1     Running   0          13s
cert-manager-cainjector-8677bbdb7f-p9d82   1/1     Running   0          13s
cert-manager-webhook-55b94f85b4-ldns9      1/1     Running   0          13s

Die Rolle cert-manager-shop bindet den ServiceAccount shop-issuer im Namespace shop, verlangt Audience openbao und darf nur pki/sign/shop-svc. cert-manager selbst bekommt keine OpenBao-Rechte, er leiht sich die Identität von shop-issuer.

sed -n '/kind: Issuer/,$p' 50-issuer.yaml
kubectl apply -f 50-issuer.yaml
sleep 5
kubectl -n shop get issuer openbao

Erwartet:

kind: Issuer
metadata:
  name: openbao
  namespace: shop
spec:
  vault:
    server: http://openbao.openbao.svc:8200
    path: pki/sign/shop-svc
    auth:
      kubernetes:
        role: cert-manager-shop
        mountPath: /v1/auth/kubernetes
        serviceAccountRef:
          name: shop-issuer
          audiences: ["openbao"]
serviceaccount/shop-issuer created
role.rbac.authorization.k8s.io/shop-issuer-token created
rolebinding.rbac.authorization.k8s.io/cert-manager-shop-issuer-token created
issuer.cert-manager.io/openbao created
NAME      READY   AGE
openbao   True    5s

mountPath braucht das Präfix /v1/. Das Token, das cert-manager für shop-issuer anfordert, trägt immer die Audiences vault://shop/openbao und die Server-URL, mit audiences kommt openbao dazu. Die Role und RoleBinding erlauben cert-manager genau eins: serviceaccounts/token für shop-issuer erzeugen.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Zertifikat für api.shop.svc

kubectl apply -f 60-certificate.yaml
sleep 8
kubectl -n shop get certificate,certificaterequest
kubectl -n shop get secret shop-api-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
  | openssl x509 -noout -subject -issuer -ext subjectAltName -enddate
kubectl -n shop get certificate shop-api-tls -o jsonpath='{.status.renewalTime}{"\n"}'

Erwartet (gekürzt):

certificate.cert-manager.io/shop-api-tls created
NAME                                       READY   SECRET         AGE
certificate.cert-manager.io/shop-api-tls   True    shop-api-tls   8s

NAME                                                APPROVED   DENIED   READY   ...
certificaterequest.cert-manager.io/shop-api-tls-1   True                True    ...
subject=CN=api.shop.svc
issuer=CN=Secrets-Lab Root CA
X509v3 Subject Alternative Name:
    DNS:api.shop.svc
notAfter=Oct 13 10:27:05 2026 GMT
2026-10-13T02:27:05Z

Der private Schlüssel entsteht in cert-manager und verlässt den Cluster nie, OpenBao signiert nur den CSR. Erneuert wird 8 h vor Ablauf (renewBefore). Und die Leitplanke der PKI-Rolle greift:

cat <<'EOF' | kubectl apply -f -
apiVersion: cert-manager.io/v1
kind: Certificate
metadata: {name: evil, namespace: shop}
spec:
  secretName: evil-tls
  commonName: api.example.com
  dnsNames: [api.example.com]
  issuerRef: {name: openbao, kind: Issuer}
EOF
sleep 8
kubectl -n shop get certificaterequest evil-1 \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}' | fold -w 88
kubectl -n shop delete certificate evil

Erwartet:

certificate.cert-manager.io/evil created
Vault failed to sign certificate: failed to sign certificate by vault: Error making API
request.

URL: POST http://openbao.openbao.svc:8200/v1/pki/sign/shop-svc
Code: 400. Errors:

* common name api.example.com not allowed by this role
certificate.cert-manager.io "evil" deleted from shop namespace

Fortschritt speichern? Kostenlos registrieren

Drill 9: Fehlerbilder am Issuer

Ohne audiences und ohne RBAC – zwei Fehler, die du beim Kunden sicher siehst:

kubectl -n shop patch issuer openbao --type json -p '[{"op":"remove",
  "path":"/spec/vault/auth/kubernetes/serviceAccountRef/audiences"}]'
sleep 8
kubectl -n shop get issuer openbao \
  -o jsonpath='{.status.conditions[0].message}{"\n"}' | fold -w 88
kubectl apply -f 50-issuer.yaml >/dev/null
kubectl -n shop delete rolebinding cert-manager-shop-issuer-token
kubectl -n shop delete issuer openbao
awk 'BEGIN{RS="---\n"} !/kind: RoleBinding/ {printf "%s---\n", $0}' 50-issuer.yaml \
  | kubectl apply -f - >/dev/null
sleep 8
kubectl -n shop get issuer openbao \
  -o jsonpath='{.status.conditions[0].message}{"\n"}' | fold -w 88
kubectl apply -f 50-issuer.yaml >/dev/null

Erwartet:

issuer.cert-manager.io/openbao patched
Failed to initialize Vault client: while requesting a Vault token using the Kubernetes a
uth: error calling Vault server: Error making API request.

URL: POST http://openbao.openbao.svc:8200/v1/auth/kubernetes/login
Code: 403. Errors:

* invalid audience (aud) claim: audience claim does not match any expected audience
rolebinding.rbac.authorization.k8s.io "cert-manager-shop-issuer-token" deleted from shop
namespace
issuer.cert-manager.io "openbao" deleted from shop namespace
Failed to initialize Vault client: while requesting a Vault token using the Kubernetes a
uth: while requesting a token for the service account shop/shop-issuer: serviceaccounts
"shop-issuer" is forbidden: User "system:serviceaccount:cert-manager:cert-manager" canno
t create resource "serviceaccounts/token" in API group "" in the namespace "shop"

Erster Fehler: kommt von OpenBao (403, Audience). Zweiter: kommt vom API-Server, OpenBao wurde gar nicht gefragt. Die Meldung sagt dir also schon, auf welcher Seite du suchst.

Fortschritt speichern? Kostenlos registrieren

Drill 10: Wann was?

Bedarf Agent Injector ESO-Generator cert-manager
DB-Credentials Lease-Renewal, Re-Render VaultDynamicSecret (Tag 4) –
Wo landet es? Datei im Pod (emptyDir) Kubernetes-Secret (etcd) Kubernetes-Secret
Erneuerung Sidecar, pro Pod eigene Lease Refresh-Intervall renewBefore
Zertifikate pki/issue per Template möglich, unüblich Standard, CSR-basiert

Faustregel: Zertifikate mit cert-manager, weil Ingress, Gateway und Service-Mesh Kubernetes-Secrets erwarten. DB-Credentials pro Pod mit dem Agent, wenn die App Dateien neu lesen kann. Der ESO-Generator, wenn die App nur Env-Variablen versteht und ein Rollout bei Rotation ohnehin passiert (Tag 9).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
kubectl -n shop exec deploy/shop-api-pg -c app -- \
  grep -q 'PGUSER="v-kubernet-shop-ro--' /vault/secrets/db \
  && ok "DB-Creds gerendert" || nok "keine DB-Creds"
N=$(bao list -format=json sys/leases/lookup/database/creds/shop-ro-short | jq length)
[ "$N" -ge 1 ] && ok "$N aktive Lease(s)" || nok "keine Lease"
[ "$(kubectl -n shop get issuer openbao -o jsonpath='{.status.conditions[0].status}')" \
  = True ] && ok "Issuer bereit" || nok "Issuer nicht bereit"
kubectl -n shop get secret shop-api-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
  | openssl x509 -noout -issuer | grep -q 'Secrets-Lab Root CA' \
  && ok "Zertifikat aus OpenBao-PKI" || nok "Zertifikat fehlt"

Challenge

Stell für postgres.shop.svc ein Zertifikat aus, wieder über den Issuer openbao. Probier es zuerst ohne commonName, nur mit dnsNames.

Hinweis: Die PKI-Rolle hat require_cn=true.

Lösung

Ohne commonName lehnt OpenBao ab:

* the common_name field is required, or must be provided in a CSR with "use_csr_common_n
ame" set to true, unless "require_cn" is set to false

Mit commonName klappt es:

cat 70-certificate-pg.yaml | grep -A3 commonName
kubectl apply -f 70-certificate-pg.yaml
sleep 8
kubectl -n shop get certificate postgres-tls

Erwartet (gekürzt, kann je nach Version abweichen):

  commonName: postgres.shop.svc
  dnsNames:
    - postgres.shop.svc
  duration: 24h
certificate.cert-manager.io/postgres-tls created
NAME           READY   SECRET         AGE
postgres-tls   True    postgres-tls   8s

Alternative: die Rolle lockern mit bao patch pki/roles/shop-svc require_cn=false. patch ändert nur dieses Feld, ein bao write auf die Rolle würde alle nicht genannten Felder auf Defaults zurücksetzen.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • max_ttl für DB-Credentials an die Neustart- bzw. Reconnect-Fähigkeit der App koppeln. Connection-Pools halten alte Verbindungen offen, auch wenn der User weg ist.
  • Revoke-Prozess vorher üben: Wer darf lease revoke -prefix, und welche Pods werden danach neu gestartet? Ein Runbook spart im Ernstfall die entscheidende Stunde.
  • Den Root-User der Datenbank nach dem Einrichten mit bao write -f database/rotate-root/shop-pg rotieren. Dann kennt nur noch OpenBao das Passwort.
  • PKI: Root-CA offline, in OpenBao nur eine Intermediate. Rollen pro Mandant mit eng gefassten allowed_domains, ClusterIssuer nur für Plattform-Zertifikate.
  • Bei hunderten Pods mit eigener DB-Lease: Lease-Anzahl und max_connections der Datenbank im Blick behalten. Jeder Pod ist ein eigener DB-User.