Tag 7: Dynamische Secrets und Zertifikate in Pods
Ziel: Kurzlebige DB-Credentials per Agent in den Pod bringen, ihre Leases beobachten und widerrufen, und mit cert-manager Zertifikate aus der OpenBao-PKI ziehen. · Dauer: ca. 120 min · Voraussetzung: Tag 4, Tag 5
Briefing
- Dynamische Secrets entstehen erst beim Lesen: OpenBao legt für jeden Read einen eigenen DB-User an und hängt eine Lease mit TTL daran.
- Der Agent-Sidecar erneuert die Lease. Ist
max_ttlerreicht, holt er neue Credentials und rendert die Datei neu. Die App muss das mitbekommen. - Revoke löscht den DB-User sofort. Der Agent merkt das erst bei der nächsten Erneuerung.
- Für Zertifikate ist cert-manager mit dem Issuer-Typ
vaultder Standard. Er meldet sich per Kubernetes-Auth an und ruftpki/sign/<rolle>auf.
shop-api-pg ── vault-agent ──read──> database/creds/shop-ro-short ──> Postgres
│ renew (Lease) └── Lease 2m, max 6m
└─ /vault/secrets/db (neu bei neuer Lease)
Certificate ─> cert-manager ─(SA shop-issuer, aud openbao)─> pki/sign/shop-svc
└─> Secret shop-api-tls (tls.crt, tls.key, ca.crt)
Drill 1: Postgres aus Tag 4
Postgres im Namespace shop (Datenbank shop)
und der Mount database/ mit der Verbindung
shop-pg stehen seit Tag 4, Drill 6.
kubectl apply mit derselben Datei ist idempotent. Falls du
Tag 4 übersprungen hast, legt es Postgres hier an.
mkdir -p ~/secrets-lab/tag07 && cd ~/secrets-lab/tag07
cp ~/secrets-lab/code/tag07/* .
kubectl apply -f ~/secrets-lab/code/tag04/postgres.yaml
kubectl -n shop rollout status deploy/postgres --timeout=120s
kubectl -n shop exec deploy/postgres -- psql -U postgres -d shop -tAc \
'select version()' | cut -c1-40Erwartet (gekürzt, kann je nach Version abweichen):
deployment.apps/postgres unchanged
service/postgres unchanged
deployment "postgres" successfully rolled out
PostgreSQL 16.10 on aarch64-unknown-linu
Das Passwort lab-pg-pw ist ein Lab-Wert und steht nur in
der Pod-Spec, weil das hier die „Altlast” ist, die OpenBao
verwaltet.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Kurzlebige DB-Rolle shop-ro-short
shop-ro aus Tag 4 (10 min, maximal 1 h) bleibt für den
ESO-Generator. Für die Renewal-Demo kommt eine eigene Rolle mit kurzen
TTLs dazu.
sed -n '/secrets list/,$p' 20-database.sh
./20-database.sh
bao read database/creds/shop-ro-shortErwartet:
bao secrets list -format=json | jq -e '."database/"' >/dev/null \
|| bao secrets enable database
bao write database/config/shop-pg \
plugin_name=postgresql-database-plugin \
connection_url="postgresql://{{username}}:{{password}}@$PG/shop?sslmode=disable" \
username=postgres password=lab-pg-pw \
allowed_roles=shop-ro,shop-ro-short
bao write database/roles/shop-ro-short db_name=shop-pg \
creation_statements="CREATE ROLE \"{{name}}\" WITH LOGIN PASSWORD '{{password}}' \
VALID UNTIL '{{expiration}}'; GRANT pg_read_all_data TO \"{{name}}\";" \
default_ttl=2m max_ttl=6m
bao policy write shop-api-db - <<'HCL'
path "database/creds/shop-ro-short" {
capabilities = ["read"]
}
HCL
# Eigene Rolle: shop-api (Tag 0/3) bleibt unverändert
bao write auth/kubernetes/role/shop-api-db \
bound_service_account_names=shop-api \
bound_service_account_namespaces=shop \
audience=openbao \
token_policies=shop-api-db token_ttl=15m token_max_ttl=1hSuccess! Data written to: database/config/shop-pg
Success! Data written to: database/roles/shop-ro-short
Success! Uploaded policy: shop-api-db
Success! Data written to: auth/kubernetes/role/shop-api-db
Key Value
--- -----
lease_id database/creds/shop-ro-short/LS1knfoBUZhIwhOclycC1wNN
lease_duration 2m
lease_renewable true
password 6SPm1K6Q-iNeaNLFbd0W
username v-token-shop-ro--LZziabv0ZWMkqY39ndlQ-1791803201
Die kurzen TTLs (2 min, maximal 6 min) sind nur fürs Labor, damit du
alles in Minuten siehst. Die Verbindung shop-pg wird mit
denselben Werten wie an Tag 4 neu geschrieben, nur
allowed_roles wächst. Fehlt database/ (Tag 4
übersprungen), legt das Skript den Mount an. Die eigene Kubernetes-Rolle
shop-api-db lässt shop-api mit ihren Policies
aus Tag 0 und Tag 3 unangetastet. Im Benutzernamen kürzt OpenBao den
Rollennamen auf acht Zeichen, daher shop-ro--.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Agent-Template für DB-Credentials
sed -n '/inject-secret-db/,/end/p' 30-shop-api-pg.yaml
kubectl apply -f 30-shop-api-pg.yaml
kubectl -n shop rollout status deploy/shop-api-pg --timeout=120s
kubectl -n shop exec deploy/shop-api-pg -c app -- cat /vault/secrets/db
kubectl -n shop logs deploy/shop-api-pg -c app
bao list sys/leases/lookup/database/creds/shop-ro-shortErwartet (gekürzt):
vault.hashicorp.com/agent-inject-secret-db: "database/creds/shop-ro-short"
vault.hashicorp.com/agent-inject-template-db: |
{{- with secret "database/creds/shop-ro-short" -}}
export PGUSER="{{ .Data.username }}"
export PGPASSWORD="{{ .Data.password }}"
{{- end }}deployment.apps/shop-api-pg created
deployment "shop-api-pg" successfully rolled out
export PGUSER="v-kubernet-shop-ro--wFsWHSnA7FsJIUIO08pD-1791800780"
export PGPASSWORD="IWUbaP5T0-YenRlQtPvs"
10:26:20 v-kubernet-shop-ro--XR1r7hYNAt9UiKAtG2lx-1791800777
Keys
----
LS1knfoBUZhIwhOclycC1wNN
GewSdj0VgHYzQK19H2t6p6ds
uD9z5mhPVTzFMf9dfeOBL8rN
Bei dynamischen Secrets liegen die Werte direkt unter
.Data, nicht unter .Data.data wie bei KV v2.
Und schau genau hin: Die App hat sich als …XR1r…
angemeldet, in der Datei steht aber schon …wFsW….
Init-Container und Sidecar holen je eigene Credentials.
Drei Leases: deine aus Drill 2, eine vom Init, eine vom Sidecar. Die
Init-Lease läuft einfach aus.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Lease-Erneuerung und Re-Render
Der Sidecar verlängert die Lease, bis max_ttl erreicht
ist. Danach muss er neue Credentials holen. Warte gut sechs Minuten:
sleep 400
kubectl -n shop logs deploy/shop-api-pg -c app | awk '{print $2}' | uniq -c
kubectl -n shop logs deploy/shop-api-pg -c vault-agent | grep -E 'WARN|rendered' \
| cut -c26- | cut -c1-84Erwartet:
1 v-kubernet-shop-ro--XR1r7hYNAt9UiKAtG2lx-1791800777
22 v-kubernet-shop-ro--wFsWHSnA7FsJIUIO08pD-1791800780
6 v-kubernet-shop-ro--OTsJebpsDEkgcYFoDgoY-1791801111
[INFO] agent: (runner) rendered "(dynamic)" => "/vault/secrets/db"
[WARN] agent: vault.read(database/creds/shop-ro-short): TTL of "2m" exceeded the eff
[WARN] agent: vault.read(database/creds/shop-ro-short): TTL of "2m" exceeded the eff
[WARN] agent: vault.read(database/creds/shop-ro-short): renewer done (maybe the leas
[INFO] agent: (runner) rendered "(dynamic)" => "/vault/secrets/db"
Die Warnungen sind harmlos: Die Erneuerung wird auf die
Rest-max_ttl gekappt. Nach rund fünfeinhalb Minuten rendert
der Agent neue Credentials, die Schleife der App liest die Datei bei
jedem Durchlauf neu und nutzt sie sofort. Eine App, die nur beim Start
liest, würde mit dem alten User weiterlaufen, bis Postgres ihn per
VALID UNTIL aussperrt.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Leases ansehen
R=database/creds/shop-ro-short
bao list sys/leases/lookup/$R
L=$(bao list -format=json sys/leases/lookup/$R | jq -r '.[0]')
bao lease lookup $R/$L | grep -E 'issue_time|last_renewal|ttl'
kubectl -n shop exec deploy/postgres -- psql -U postgres -tAc \
"select rolname from pg_roles where rolname like 'v-%-shop-ro--%'"Erwartet:
Keys
----
wMUY4DSLW8yPQWG416eZHz31
issue_time 2026-10-12T10:31:51.504677624Z
last_renewal 2026-10-12T10:33:19.411461179Z
ttl 1m34s
v-kubernet-shop-ro--OTsJebpsDEkgcYFoDgoY-1791801111
Nur noch ein User in Postgres: Abgelaufene Leases räumt OpenBao
selbst auf, inklusive DROP ROLE. last_renewal
zeigt die Arbeit des Sidecars. Die Lease-ID ist auch der Schlüssel für
gezielten Widerruf
(bao lease revoke database/creds/shop-ro-short/<id>).
Fortschritt speichern? Kostenlos registrieren
Drill 6: Revoke – der Notfallknopf
Ein DB-User ist kompromittiert. Alle Credentials der Rolle sofort weg:
date +%T
bao lease revoke -prefix database/creds/shop-ro-short
kubectl -n shop exec deploy/postgres -- psql -U postgres -tAc \
"select count(*) from pg_roles where rolname like 'v-%-shop-ro--%'"
sleep 90
kubectl -n shop logs deploy/shop-api-pg -c vault-agent | grep -B5 'lease not found' \
| grep -E 'WARN|Code|\*'
kubectl -n shop logs deploy/shop-api-pg -c app --tail=6Erwartet (gekürzt, kann je nach Version abweichen):
12:33:45
All revocation operations queued successfully!
0
2026-10-12T10:34:47.308Z [WARN] agent: vault.read(database/creds/shop-ro-short): faile
Code: 400. Errors:
* lease not found
10:34:05 psql: error: connection to server at "postgres.shop.svc" (…), port 5432 failed
10:34:20 psql: error: connection to server at "postgres.shop.svc" (…), port 5432 failed
10:34:35 psql: error: connection to server at "postgres.shop.svc" (…), port 5432 failed
10:34:50 v-kubernet-shop-ro--Z17XMA3kFlonlM1EXq5l-1791801287
Die Uhr des Laptops (12:33:45, CEST) und die Log-Zeiten
(UTC) unterscheiden sich um zwei Stunden. Zwischen Revoke und neuem
Render lag rund eine Minute, in der die App mit gelöschten Credentials
arbeitete. Der Agent bemerkt den Widerruf erst beim nächsten
Renew-Versuch („lease not found”), holt dann neue Credentials und
rendert neu.
Achtung: Revoke ist sofort, die Heilung nicht. Plane Retries in der App ein, oder starte die betroffenen Pods nach einem Revoke gezielt neu.
Fortschritt speichern? Kostenlos registrieren
Drill 7: PKI und cert-manager
./40-pki.sh
openssl x509 -in shop-lab-ca.crt -noout -subject -enddate
helm repo add jetstack https://charts.jetstack.io >/dev/null
helm upgrade --install cert-manager jetstack/cert-manager -n cert-manager \
--create-namespace --version v1.21.2 \
--set crds.enabled=true --set startupapicheck.enabled=false --wait >/dev/null
kubectl -n cert-manager get podErwartet:
Success! Enabled the pki secrets engine at: pki/
Success! Tuned the secrets engine at: pki/
Success! Uploaded policy: cert-manager-shop
Success! Data written to: auth/kubernetes/role/cert-manager-shop
subject=CN=Secrets-Lab Root CA
notAfter=Oct 9 06:55:17 2036 GMT
NAME READY STATUS RESTARTS AGE
cert-manager-54b7dc69c4-bt9s8 1/1 Running 0 13s
cert-manager-cainjector-8677bbdb7f-p9d82 1/1 Running 0 13s
cert-manager-webhook-55b94f85b4-ldns9 1/1 Running 0 13s
Die Rolle cert-manager-shop bindet den ServiceAccount
shop-issuer im Namespace shop, verlangt
Audience openbao und darf nur
pki/sign/shop-svc. cert-manager selbst bekommt keine
OpenBao-Rechte, er leiht sich die Identität von
shop-issuer.
sed -n '/kind: Issuer/,$p' 50-issuer.yaml
kubectl apply -f 50-issuer.yaml
sleep 5
kubectl -n shop get issuer openbaoErwartet:
kind: Issuer
metadata:
name: openbao
namespace: shop
spec:
vault:
server: http://openbao.openbao.svc:8200
path: pki/sign/shop-svc
auth:
kubernetes:
role: cert-manager-shop
mountPath: /v1/auth/kubernetes
serviceAccountRef:
name: shop-issuer
audiences: ["openbao"]serviceaccount/shop-issuer created
role.rbac.authorization.k8s.io/shop-issuer-token created
rolebinding.rbac.authorization.k8s.io/cert-manager-shop-issuer-token created
issuer.cert-manager.io/openbao created
NAME READY AGE
openbao True 5s
mountPath braucht das Präfix /v1/. Das
Token, das cert-manager für shop-issuer anfordert, trägt
immer die Audiences vault://shop/openbao und die
Server-URL, mit audiences kommt openbao dazu.
Die Role und RoleBinding erlauben cert-manager genau eins:
serviceaccounts/token für shop-issuer
erzeugen.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Zertifikat für api.shop.svc
kubectl apply -f 60-certificate.yaml
sleep 8
kubectl -n shop get certificate,certificaterequest
kubectl -n shop get secret shop-api-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
| openssl x509 -noout -subject -issuer -ext subjectAltName -enddate
kubectl -n shop get certificate shop-api-tls -o jsonpath='{.status.renewalTime}{"\n"}'Erwartet (gekürzt):
certificate.cert-manager.io/shop-api-tls created
NAME READY SECRET AGE
certificate.cert-manager.io/shop-api-tls True shop-api-tls 8s
NAME APPROVED DENIED READY ...
certificaterequest.cert-manager.io/shop-api-tls-1 True True ...
subject=CN=api.shop.svc
issuer=CN=Secrets-Lab Root CA
X509v3 Subject Alternative Name:
DNS:api.shop.svc
notAfter=Oct 13 10:27:05 2026 GMT
2026-10-13T02:27:05Z
Der private Schlüssel entsteht in cert-manager und verlässt den
Cluster nie, OpenBao signiert nur den CSR. Erneuert wird 8 h vor Ablauf
(renewBefore). Und die Leitplanke der PKI-Rolle greift:
cat <<'EOF' | kubectl apply -f -
apiVersion: cert-manager.io/v1
kind: Certificate
metadata: {name: evil, namespace: shop}
spec:
secretName: evil-tls
commonName: api.example.com
dnsNames: [api.example.com]
issuerRef: {name: openbao, kind: Issuer}
EOF
sleep 8
kubectl -n shop get certificaterequest evil-1 \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}' | fold -w 88
kubectl -n shop delete certificate evilErwartet:
certificate.cert-manager.io/evil created
Vault failed to sign certificate: failed to sign certificate by vault: Error making API
request.
URL: POST http://openbao.openbao.svc:8200/v1/pki/sign/shop-svc
Code: 400. Errors:
* common name api.example.com not allowed by this role
certificate.cert-manager.io "evil" deleted from shop namespace
Fortschritt speichern? Kostenlos registrieren
Drill 9: Fehlerbilder am Issuer
Ohne audiences und ohne RBAC – zwei Fehler, die du beim
Kunden sicher siehst:
kubectl -n shop patch issuer openbao --type json -p '[{"op":"remove",
"path":"/spec/vault/auth/kubernetes/serviceAccountRef/audiences"}]'
sleep 8
kubectl -n shop get issuer openbao \
-o jsonpath='{.status.conditions[0].message}{"\n"}' | fold -w 88
kubectl apply -f 50-issuer.yaml >/dev/null
kubectl -n shop delete rolebinding cert-manager-shop-issuer-token
kubectl -n shop delete issuer openbao
awk 'BEGIN{RS="---\n"} !/kind: RoleBinding/ {printf "%s---\n", $0}' 50-issuer.yaml \
| kubectl apply -f - >/dev/null
sleep 8
kubectl -n shop get issuer openbao \
-o jsonpath='{.status.conditions[0].message}{"\n"}' | fold -w 88
kubectl apply -f 50-issuer.yaml >/dev/nullErwartet:
issuer.cert-manager.io/openbao patched
Failed to initialize Vault client: while requesting a Vault token using the Kubernetes a
uth: error calling Vault server: Error making API request.
URL: POST http://openbao.openbao.svc:8200/v1/auth/kubernetes/login
Code: 403. Errors:
* invalid audience (aud) claim: audience claim does not match any expected audience
rolebinding.rbac.authorization.k8s.io "cert-manager-shop-issuer-token" deleted from shop
namespace
issuer.cert-manager.io "openbao" deleted from shop namespace
Failed to initialize Vault client: while requesting a Vault token using the Kubernetes a
uth: while requesting a token for the service account shop/shop-issuer: serviceaccounts
"shop-issuer" is forbidden: User "system:serviceaccount:cert-manager:cert-manager" canno
t create resource "serviceaccounts/token" in API group "" in the namespace "shop"
Erster Fehler: kommt von OpenBao (403, Audience). Zweiter: kommt vom API-Server, OpenBao wurde gar nicht gefragt. Die Meldung sagt dir also schon, auf welcher Seite du suchst.
Fortschritt speichern? Kostenlos registrieren
Drill 10: Wann was?
| Bedarf | Agent Injector | ESO-Generator | cert-manager |
|---|---|---|---|
| DB-Credentials | Lease-Renewal, Re-Render | VaultDynamicSecret (Tag 4) |
– |
| Wo landet es? | Datei im Pod (emptyDir) | Kubernetes-Secret (etcd) | Kubernetes-Secret |
| Erneuerung | Sidecar, pro Pod eigene Lease | Refresh-Intervall | renewBefore |
| Zertifikate | pki/issue per Template |
möglich, unüblich | Standard, CSR-basiert |
Faustregel: Zertifikate mit cert-manager, weil Ingress, Gateway und Service-Mesh Kubernetes-Secrets erwarten. DB-Credentials pro Pod mit dem Agent, wenn die App Dateien neu lesen kann. Der ESO-Generator, wenn die App nur Env-Variablen versteht und ein Rollout bei Rotation ohnehin passiert (Tag 9).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
kubectl -n shop exec deploy/shop-api-pg -c app -- \
grep -q 'PGUSER="v-kubernet-shop-ro--' /vault/secrets/db \
&& ok "DB-Creds gerendert" || nok "keine DB-Creds"
N=$(bao list -format=json sys/leases/lookup/database/creds/shop-ro-short | jq length)
[ "$N" -ge 1 ] && ok "$N aktive Lease(s)" || nok "keine Lease"
[ "$(kubectl -n shop get issuer openbao -o jsonpath='{.status.conditions[0].status}')" \
= True ] && ok "Issuer bereit" || nok "Issuer nicht bereit"
kubectl -n shop get secret shop-api-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
| openssl x509 -noout -issuer | grep -q 'Secrets-Lab Root CA' \
&& ok "Zertifikat aus OpenBao-PKI" || nok "Zertifikat fehlt"Challenge
Stell für postgres.shop.svc ein Zertifikat aus, wieder
über den Issuer openbao. Probier es zuerst ohne
commonName, nur mit dnsNames.
Hinweis: Die PKI-Rolle hat
require_cn=true.
Lösung
Ohne commonName lehnt OpenBao ab:
* the common_name field is required, or must be provided in a CSR with "use_csr_common_n
ame" set to true, unless "require_cn" is set to false
Mit commonName klappt es:
cat 70-certificate-pg.yaml | grep -A3 commonName
kubectl apply -f 70-certificate-pg.yaml
sleep 8
kubectl -n shop get certificate postgres-tlsErwartet (gekürzt, kann je nach Version abweichen):
commonName: postgres.shop.svc
dnsNames:
- postgres.shop.svc
duration: 24h
certificate.cert-manager.io/postgres-tls created
NAME READY SECRET AGE
postgres-tls True postgres-tls 8s
Alternative: die Rolle lockern mit
bao patch pki/roles/shop-svc require_cn=false.
patch ändert nur dieses Feld, ein bao write
auf die Rolle würde alle nicht genannten Felder auf Defaults
zurücksetzen.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
max_ttlfür DB-Credentials an die Neustart- bzw. Reconnect-Fähigkeit der App koppeln. Connection-Pools halten alte Verbindungen offen, auch wenn der User weg ist.- Revoke-Prozess vorher üben: Wer darf
lease revoke -prefix, und welche Pods werden danach neu gestartet? Ein Runbook spart im Ernstfall die entscheidende Stunde. - Den Root-User der Datenbank nach dem Einrichten mit
bao write -f database/rotate-root/shop-pgrotieren. Dann kennt nur noch OpenBao das Passwort. - PKI: Root-CA offline, in OpenBao nur eine Intermediate. Rollen pro
Mandant mit eng gefassten
allowed_domains, ClusterIssuer nur für Plattform-Zertifikate. - Bei hunderten Pods mit eigener DB-Lease: Lease-Anzahl und
max_connectionsder Datenbank im Blick behalten. Jeder Pod ist ein eigener DB-User.