Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang B: Abschlussprüfung

Ziel: Nachweisen, dass du eine neue Anwendung allein end-to-end an OpenBao anbindest: Pfad, Policy, Identität, Zustellung im Cluster, Pipeline, Rotation und Audit-Nachweis. · Dauer: 120 min Praxis + 20 min Fragen · Voraussetzung: Tag 15

Regeln

  • Gelände im Zustand nach dem Kontrollpunkt von Tag 15 (alles ✔): OpenBao 2.7.1 im Dev-Modus mit Audit-Device stdout/, Injector, ESO 2.12.0, Reloader, jwt-ci/ mit dem Lab-Issuer aus Tag 10 (~/secrets-lab/tag10/mint-jwt.sh).
  • Erlaubt: -help, kubectl explain, Anhang A, openbao.org und external-secrets.io. Nicht erlaubt: Lösungen aus den Kapiteln kopieren. Tippen, nicht kopieren.
  • Root-Token nur für Admin-Schritte (Policies, Rollen, Mounts). Die Anwendung selbst bekommt nie einen Token von dir.
  • Kein Neustart von openbao-0 während der Prüfung, sonst ist das Audit-Log aus Aufgabe 8 weg.
  • Alle Dateien liegen in ~/secrets-lab/pruefung. Das Prüfskript vergibt die Punkte, nicht dein Gefühl.
  • Bestanden: mindestens 70 von 100 Punkten und Aufgabe 2 (Least Privilege) voll gelöst.
mkdir -p ~/secrets-lab/pruefung && cd ~/secrets-lab/pruefung
export BAO_ADDR=http://127.0.0.1:8200 BAO_TOKEN=root
~/secrets-lab/setup/check.sh | grep ✘ || echo "Gelände ok"

Die neue Anwendung heißt billing: Namespace billing, ServiceAccount billing, eine API (billing-api), ein Worker (billing-worker) und das Repo acme/billing mit der repository_id 200002.

Teil 1: Praktische Prüfung

Aufgabe 1: KV-Pfad mit Metadaten (10 Punkte)

Lege secret/billing/app mit db_password=lab-billing-pw-1 und api_key=lab-billing-key-1 an. Der Pfad hält höchstens 5 Versionen und trägt die Metadaten owner=team-billing (Tag 1).

bao kv metadata get -format=json secret/billing/app \
  | jq -c '.data | {max_versions, custom_metadata}'

Erwartet (live getestet):

{"max_versions":5,"custom_metadata":{"owner":"team-billing"}}

Aufgabe 2: Least-Privilege-Policy (15 Punkte, Pflicht)

Policy billing-read: Sie liest genau secret/billing/app, sonst nichts. Kein *, kein metadata/, kein Zugriff auf shop (Tag 1, Tag 14).

T=$(bao token create -policy=billing-read -ttl=5m -field=token)
for p in secret/data/billing/app secret/data/billing/other \
         secret/metadata/billing/app secret/data/shop/api; do
  printf '%-30s %s\n' "$p" "$(bao token capabilities "$T" "$p")"
done

Erwartet (live getestet):

secret/data/billing/app        read
secret/data/billing/other      deny
secret/metadata/billing/app    deny
secret/data/shop/api           deny

Aufgabe 3: Kubernetes-Auth-Rolle (15 Punkte)

Namespace billing mit ServiceAccount billing. Rolle kubernetes/role/billing: nur dieser ServiceAccount in diesem Namespace, Audience openbao, nur billing-read, token_ttl 15 min, token_max_ttl höchstens 1 h (Tag 2).

bao read -format=json auth/kubernetes/role/billing | jq -c '.data | {audience,
  bound_service_account_names, token_policies, token_max_ttl}'
bao write -field=token_policies auth/kubernetes/login role=billing \
  jwt="$(kubectl -n billing create token billing --audience openbao)"; echo
bao write auth/kubernetes/login role=billing \
  jwt="$(kubectl -n billing create token default --audience openbao)" 2>&1 | tail -1

Erwartet (erste Zeile live getestet, Rest gekürzt, kann je nach Version abweichen):

{"audience":"openbao","bound_service_account_names":["billing"],"token_policies":
["billing-read"],"token_max_ttl":3600}
[billing-read default]
* service account name not authorized

Aufgabe 4: ESO-Sync (15 Punkte)

Ein eigener SecretStore openbao im Namespace billing mit der Rolle billing und ein ExternalSecret billing-db, das db_password als Key DB_PASSWORD in das Secret billing-db schreibt, Refresh alle 30 s (Tag 3, Tag 4, Drill 4).

kubectl -n billing get ss,es
kubectl -n billing get secret billing-db -o jsonpath='{.data.DB_PASSWORD}' \
  | base64 -d; echo

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                                      AGE   STATUS   CAPABILITIES   READY
secretstore.external-secrets.io/openbao   1m    Valid    ReadWrite      True
NAME                                            STORETYPE     STORE     ...   READY
externalsecret.external-secrets.io/billing-db   SecretStore   openbao   ...   True
lab-billing-pw-1

Aufgabe 5: Injector-Template (15 Punkte)

Deployment billing-api (Image busybox:1.37, ServiceAccount billing). Der Agent rendert /vault/secrets/env mit genau der Zeile export API_KEY="<wert>", Rechte 0400, und meldet sich mit einem projizierten Token mit Audience openbao an. Die App startet mit . /vault/secrets/env && exec sleep 3600. In der Pod-Spec steht kein Secret (Tag 5).

kubectl -n billing rollout status deploy/billing-api --timeout=120s
kubectl -n billing exec deploy/billing-api -c app -- cat /vault/secrets/env
kubectl -n billing get deploy billing-api -o yaml | grep -c lab-billing

Erwartet (gekürzt, kann je nach Version abweichen):

deployment "billing-api" successfully rolled out
export API_KEY="lab-billing-key-1"
0

Aufgabe 6: CI-Rolle für Repo und Branch (10 Punkte)

Policy billing-ci liest secret/ci/billing (registry_password=lab-billing-reg). Rolle jwt-ci/role/billing-deploy: nur repository_id 200002 auf refs/heads/main, Token 5 min, Repo-Name und run_id als Metadaten (Tag 10, Tag 15, Drill 6).

cd ~/secrets-lab/pruefung
mint() { KEY=~/secrets-lab/tag10/ci-issuer.key ~/secrets-lab/tag10/mint-jwt.sh \
  repository=acme/billing repository_id=200002 \
  sub=repo:acme/billing:ref:refs/heads/main "$@"; }
BAO_TOKEN= bao write -field=token_policies auth/jwt-ci/login role=billing-deploy \
  jwt="$(mint)"; echo
BAO_TOKEN= bao write auth/jwt-ci/login role=billing-deploy \
  jwt="$(mint ref=refs/heads/feature)" 2>&1 | tail -1
BAO_TOKEN= bao write auth/jwt-ci/login role=billing-deploy \
  jwt="$(mint repository_id=200003)" 2>&1 | tail -1

Erwartet (live getestet):

[billing-ci default]
* error validating claims: claim "ref" does not match any associated bound claim values
* error validating claims: claim "repository_id" does not match any associated bound
claim values

Aufgabe 7: Rotation mit Reloader (10 Punkte)

Deployment billing-worker (Image busybox:1.37, kein ServiceAccount-Bezug nötig) liest DB_PASSWORD per secretKeyRef aus billing-db. Es startet mit genau diesem Befehl, damit das Prüfskript den Wert erkennt:

command: ["sh", "-c"]
args: ["echo \"start ***${DB_PASSWORD#lab-billing-}\"; sleep 3600"]

Reloader soll den Worker nur bei Änderungen an billing-db neu starten (Tag 9). Rotiere danach in OpenBao auf lab-billing-pw-2, ohne kubectl anzufassen.

bao kv patch secret/billing/app db_password=lab-billing-pw-2 | grep version
sleep 90; kubectl -n billing logs deploy/billing-worker --tail=1

Erwartet (gekürzt, kann je nach Version abweichen):

version            2
start ***pw-2

Aufgabe 8: Audit-Nachweis (10 Punkte)

Die Revision fragt: Wer hat das ursprüngliche Passwort lab-billing-pw-1 gelesen? Lege audit-nachweis.txt an. Erste Zeile: der HMAC dieses Werts aus dem Audit-Device stdout/. Darunter je Treffer im Audit-Log eine Zeile mit Zeit, Typ und display_name (Tag 14, Drill 4).

head -1 audit-nachweis.txt | cut -c1-40
tail -n +2 audit-nachweis.txt | cut -f3 | sort -u

Erwartet (gekürzt, kann je nach Version abweichen; der HMAC ist bei dir anders):

hmac-sha256:f1a7bfa9d12800fea743bf9d3faa
kubernetes-billing-billing
token

token ist der Root-Token, der den Wert in Aufgabe 1 geschrieben hat. Auch Schreibanfragen tragen den Wert als HMAC.

Punkte

Aufgabe Punkte erreicht
1 KV-Pfad mit Metadaten 10
2 Least-Privilege-Policy (Pflicht) 15
3 Kubernetes-Auth-Rolle 15
4 ESO-Sync 15
5 Injector-Template 15
6 CI-Rolle für Repo und Branch 10
7 Rotation mit Reloader 10
8 Audit-Nachweis 10
Summe 100

Prüfskript

Das Skript liegt auch unter ~/secrets-lab/code/pruefung/pruefung-check.sh.

cat > ~/secrets-lab/pruefung/pruefung-check.sh <<'EOF'
#!/usr/bin/env bash
# pruefung-check.sh – wertet die praktische Abschlussprüfung aus (Anhang B)
# Voraussetzung: Port-Forward auf 8200, Lab-Issuer aus Tag 10
cd ~/secrets-lab/pruefung || exit 2
export BAO_ADDR="${BAO_ADDR:-http://127.0.0.1:8200}" BAO_TOKEN="${BAO_TOKEN:-root}"
sum=0
pt() {  # pt <aufgabe> <punkte> <text> <befehl...>
  local a=$1 p=$2 t=$3; shift 3
  if "$@" >/dev/null 2>&1; then
    echo "✔ A$a $t (+$p)"; sum=$((sum + p))
  else
    echo "✘ A$a $t (0 von $p)"
  fi
}
K=secret/billing/app
PW=$(bao kv get -field=db_password "$K" 2>/dev/null)
APIKEY=$(bao kv get -field=api_key "$K" 2>/dev/null)
meta() { [ "$(bao kv metadata get -format=json "$K" | jq -r "$1")" = "$2" ]; }
pol() { bao policy read billing-read; }
APP=$(bao token create -policy=billing-read -ttl=5m -field=token 2>/dev/null)
cap() { [ "$(bao token capabilities "$APP" "$1")" = "$2" ]; }
role() { [ "$(bao read -field="$1" auth/kubernetes/role/billing)" = "$2" ]; }
maxttl() { [ "$(bao read -format=json auth/kubernetes/role/billing \
  | jq '.data.token_max_ttl')" -le 3600 ]; }
login() { bao write auth/kubernetes/login role=billing \
  jwt="$(kubectl -n billing create token "$1" --audience openbao)"; }
nologin() { bao read auth/kubernetes/role/billing && ! login "$@"; }
ready() { [ "$(kubectl -n billing get "$1" \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].status}')" = True ]; }
k8sval() { [ "$(kubectl -n billing get secret billing-db \
  -o jsonpath='{.data.DB_PASSWORD}' | base64 -d)" = "$PW" ]; }
injected() { [ "$(kubectl -n billing get pod -l app=billing-api -o jsonpath=\
'{.items[0].metadata.annotations.vault\.hashicorp\.com/agent-inject-status}')" \
  = injected ]; }
envfile() { kubectl -n billing exec deploy/billing-api -c app -- \
  cat /vault/secrets/env | grep -q "export API_KEY=\"$APIKEY\""; }
noenv() { injected && ! kubectl -n billing exec deploy/billing-api -c app -- env \
  | grep -q -- "$APIKEY"; }
mint() { KEY=~/secrets-lab/tag10/ci-issuer.key ~/secrets-lab/tag10/mint-jwt.sh \
  repository=acme/billing repository_id=200002 \
  sub=repo:acme/billing:ref:refs/heads/main "$@"; }
ci() { local t; t=$(BAO_TOKEN= bao write -field=token auth/jwt-ci/login \
  role=billing-deploy jwt="$(mint "$@")") || return 1
  BAO_TOKEN=$t bao kv get -field=registry_password secret/ci/billing; }
noci() { bao read auth/jwt-ci/role/billing-deploy && ! ci "$@"; }
reload() { kubectl -n billing get deploy billing-worker -o jsonpath=\
'{.metadata.annotations.secret\.reloader\.stakater\.com/reload}' \
  | grep -qx billing-db; }
rotated() { [ "$PW" != lab-billing-pw-1 ] && [ "$(kubectl -n billing logs \
  deploy/billing-worker --tail=1)" = "start ***${PW#lab-billing-}" ]; }
H=$(bao write -field=hash sys/audit-hash/stdout input=lab-billing-pw-1 2>/dev/null)
nachweis() { grep -q kubernetes-billing-billing audit-nachweis.txt; }
hmac() { [ -n "$H" ] && grep -qF "$H" audit-nachweis.txt; }

pt 1 4 "secret/billing/app mit db_password und api_key" \
  test -n "$PW" -a -n "$APIKEY"
pt 1 3 "Metadaten owner=team-billing" meta .data.custom_metadata.owner team-billing
pt 1 3 "max_versions=5" meta .data.max_versions 5
pt 2 3 "Policy billing-read vorhanden" pol
pt 2 4 "billing-read liest secret/billing/app" cap secret/data/billing/app read
pt 2 3 "billing-read: andere billing-Pfade deny" cap secret/data/billing/x deny
pt 2 3 "billing-read: metadata deny" cap secret/metadata/billing/app deny
pt 2 2 "billing-read: shop deny" cap secret/data/shop/api deny
pt 3 3 "Rolle billing verlangt Audience openbao" role audience openbao
pt 3 3 "Rolle billing nur mit billing-read" role token_policies "[billing-read]"
pt 3 2 "token_max_ttl <= 1h" maxttl
pt 3 4 "Login als billing/billing" login billing
pt 3 3 "Login als billing/default abgewiesen" nologin default
pt 4 5 "SecretStore billing/openbao Ready" ready secretstore/openbao
pt 4 5 "ExternalSecret billing-db synchron" ready externalsecret/billing-db
pt 4 5 "Secret billing-db = aktueller Wert" k8sval
pt 5 5 "billing-api injiziert" injected
pt 5 5 "/vault/secrets/env mit API_KEY" envfile
pt 5 5 "kein Secret in der Container-Env" noenv
pt 6 4 "billing-deploy: main liest secret/ci/billing" ci
pt 6 3 "billing-deploy: Feature-Branch abgewiesen" noci ref=refs/heads/feature
pt 6 3 "billing-deploy: fremde repository_id abgewiesen" noci repository_id=200003
pt 7 3 "billing-worker mit Reloader-Annotation" reload
pt 7 7 "Rotation im Worker angekommen" rotated
pt 8 5 "Audit-Nachweis nennt kubernetes-billing-billing" nachweis
pt 8 5 "Audit-Nachweis enthält HMAC von lab-billing-pw-1" hmac
echo "Summe: $sum von 100"
EOF
chmod +x ~/secrets-lab/pruefung/pruefung-check.sh
~/secrets-lab/pruefung/pruefung-check.sh

Erwartet bei voller Lösung (gekürzt; A1, A2, A6 und die Rollenprüfungen aus A3 live gegen OpenBao 2.7.1 getestet, der Rest kann je nach Version abweichen):

✔ A1 secret/billing/app mit db_password und api_key (+4)
✔ A1 Metadaten owner=team-billing (+3)
...
✔ A8 Audit-Nachweis enthält HMAC von lab-billing-pw-1 (+5)
Summe: 100 von 100

pt zählt nur bei Exit-Code 0. Negativtests (nologin, noci, noenv) prüfen vorher, dass es das geprüfte Objekt überhaupt gibt. Sonst gäbe eine fehlende Rolle Punkte.

Lösungsskizze

Erst nach der Prüfung lesen. Die vollständigen Dateien liegen unter ~/secrets-lab/code/pruefung/loesung/.

  • A1: bao kv put secret/billing/app …, dann bao kv metadata put -max-versions=5 -custom-metadata=owner=team-billing secret/billing/app.
  • A2: genau eine Regel path "secret/data/billing/app" { capabilities = ["read"] }.
  • A3: kubectl create namespace billing, kubectl -n billing create serviceaccount billing, Rolle wie shop-api in seed.sh, nur mit billing.
  • A4: SecretStore wie in Tag 3, Drill 3 mit role: billing und serviceAccountRef.name: billing, dazu audiences: [openbao].
  • A5: Annotationen wie in Tag 5, Drill 4 mit role: "billing", agent-inject-secret-env auf secret/data/billing/app und einem Template mit .Data.data.api_key.
  • A6: Rolle wie deploy-main nach Tag 15, Drill 6, mit repository_id 200002.
  • A7: Annotation secret.reloader.stakater.com/reload: billing-db am Deployment, im Manifest und nicht per kubectl annotate (Tag 15, Drill 7).
  • A8: HMAC und Treffer wie in Tag 14, Drill 4:
H=$(bao write -field=hash sys/audit-hash/stdout input=lab-billing-pw-1)
kubectl -n openbao logs openbao-0 | grep '^{' > audit.jsonl
{ echo "$H"; grep "$H" audit.jsonl \
    | jq -r '[.time, .type, .auth.display_name] | @tsv'; } > audit-nachweis.txt

Zum Nachspielen der Lösung (Admin-Teil, dann die Manifeste):

L=~/secrets-lab/code/pruefung/loesung
$L/00-openbao.sh
kubectl apply -f $L/10-billing-eso.yaml -f $L/20-billing-api.yaml \
  -f $L/30-billing-worker.yaml

Teil 2: Wissensfragen

Beantworte jede Frage in ein bis zwei Sätzen, ohne Unterlagen. Mindestens 8 von 12 sollten sitzen.

  1. Warum steht in einer Policy secret/data/shop/api, während die CLI bao kv get secret/shop/api akzeptiert?
  2. Was ist der Unterschied zwischen bao kv put und bao kv patch, und wie kommst du nach einem falschen put zurück?
  3. Wozu dient Response Wrapping, und was bedeutet es, wenn der Empfänger wrapping token is not valid or does not exist sieht?
  4. Warum lehnt die Rolle shop-api ein mit kubectl create token shop-api erzeugtes Token ohne --audience ab, und warum solltest du die Audience nicht einfach aus der Rolle entfernen?
  5. Ein Pod wird gelöscht. Warum ist sein projizierter Token bei kubernetes/ sofort wertlos, bei jwt-k8s/ aber nicht?
  6. Ein SecretStore ist Valid, das ExternalSecret steht auf SecretSyncedError mit
    1. Wo suchst du zuerst, und warum nicht beim Login?
  7. Ein Pod mit Injector-Annotationen hängt in Init:0/1. Wo steht die Fehlermeldung, und was bedeutet 0/1 statt 0/2 bei einem Pod ohne agent-pre-populate-only?
  8. Warum kommt eine Rotation bei einer Env-Variable oder einem subPath-Mount nie an, bei einem normalen Secret-Volume aber schon?
  9. Was passiert, wenn ein Token token_max_ttl erreicht, und was muss eine Anwendung dann tun?
  10. Warum bindest du eine CI-Rolle an repository_id bzw. project_id statt an den Repo-Namen, und welche Rolle spielt claim_mappings?
  11. Was verhindert workflow_ref in einer GitHub-Rolle mit bound_subject auf environment:production?
  12. Wie findest du im Audit-Log heraus, wer einen bestimmten Secret-Wert gelesen hat, obwohl dort keine Werte im Klartext stehen?

Lösungsschlüssel

  1. Policies regeln API-Pfade. KV v2 liest über secret/data/… und verwaltet über secret/metadata/…, die CLI setzt data/ selbst ein (Tag 1).
  2. put schreibt eine neue Version mit nur den angegebenen Keys, patch ändert einzelne Keys. Zurück mit bao kv rollback -version=<n>, das die alte Version als neue anlegt.
  3. Ein einmal einlösbarer Token mit kurzer TTL statt des Secrets selbst. Die Meldung heißt: schon ausgepackt oder abgelaufen, also Alarm, nicht erneut versuchen.
  4. Ohne --audience trägt das Token die Audience des API-Servers. Ohne Audience in der Rolle akzeptiert OpenBao jedes Token des ServiceAccounts, auch eines für einen ganz anderen Empfänger.
  5. kubernetes/ fragt per TokenReview beim API-Server nach, der den gelöschten Pod kennt. jwt-k8s/ prüft nur Signatur und exp offline.
  6. In der URL der Event-Meldung und in der Policy (bao token capabilities). Valid heißt, der Login klappt; 403 beim Lesen ist Policy oder Pfad (z. B. version: v1).
  7. Im Container vault-agent-init. 0/1 heißt: kein Sidecar, der Injector hat den Pod nicht verändert (Webhook weg oder agent-inject fehlt).
  8. Env-Variablen werden nur beim Start gesetzt, subPath zeigt auf die alte Datei. Ein Volume tauscht der kubelet atomar über den Symlink ..data.
  9. Renewal verlängert nur noch bis zur Grenze, danach ist der Token ungültig (403). Die App muss sich mit ihrer Identität neu anmelden (JWT-Datei neu lesen).
  10. IDs ändern sich bei Umbenennung nicht und werden nicht neu vergeben, Namen schon. claim_mappings hält den Namen trotzdem als Metadatum für Audit-Log und Templates.
  11. Dass jemand mit Schreibrecht im Repo einen eigenen Workflow mit environment: production schreibt und so an Produktions-Secrets kommt (Tag 11).
  12. Per bao write sys/audit-hash/<device> input=<wert> den HMAC berechnen und im Audit-Log nach diesem HMAC suchen; display_name zeigt die Identität.

Teil 3: Selbsteinschätzung

Thema kann ich im Lab gemacht
KV v2, Policies, Wrapping (Tag 1) [ ] [ ]
Kubernetes-Auth, JWT-Auth, Templating (Tag 2) [ ] [ ]
ESO Grundlagen und fortgeschritten (Tag 3, 4) [ ] [ ]
Agent Injector (Tag 5) [ ] [ ]
Secrets Store CSI Driver (Tag 6) [ ] [ ]
Dynamische Secrets und Zertifikate (Tag 7) [ ] [ ]
hvac, Go-Client, bao agent (Tag 8) [ ] [ ]
Rotation, Reloader, Methodenwahl (Tag 9) [ ] [ ]
JWT/OIDC und AppRole für Pipelines (Tag 10) [ ] [ ]
GitHub Actions, GitLab CI, Jenkins (Tag 11, 12) [ ] [ ]
GitOps und OpenTofu (Tag 13) [ ] [ ]
Leitplanken und Audit-Log (Tag 14) [ ] [ ]
Desaster-Drills unter Zeitdruck (Tag 15) [ ] [ ]

Jede Zeile ohne zwei Kreuze: das Kapitel noch einmal durcharbeiten.