Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: Flux entschlüsselt

Ziel: Flux holt die verschlüsselten Dateien aus Forgejo, entschlüsselt sie im Cluster – dev und prod mit getrennten age-Schlüsseln, plattform nur über ein OpenBao-Token – und du liest Entschlüsselungsfehler direkt aus flux get. · Dauer: ca. 75 min · Voraussetzung: Tag 9

Briefing

  • Der kustomize-controller von Flux kann sops-Dateien selbst entschlüsseln. Er braucht dafür in jeder Kustomization einen Block decryption mit einem Secret, in dem die Schlüssel liegen.
  • Im Secret entscheidet die Endung des Schlüssels: *.agekey für age, sops.vault-token für OpenBao/Vault Transit. Mehrere Einträge sind erlaubt.
  • Ein Secret pro Umgebung: Die dev-Kustomization bekommt den prod-Schlüssel nie zu sehen.
  • Klartext entsteht nur im Speicher des Controllers und im Kubernetes-Secret. Im Git, im Artefakt des source-controllers und im Flux-Objekt bleibt alles verschlüsselt.
  • Grundlagen (Bootstrap, Kustomization, erster SOPS-Weg) stehen in „Flux zum Anfassen“, Tag 8. Hier: ohne Bootstrap, mehrere Schlüssel, Transit, Fehlerbilder.
 Forgejo lab/secrets ──► source-controller (GitRepository secrets)
                              │ Artefakt: Dateien mit ENC[…]
                              ▼
                         kustomize-controller
   Kustomization dev        ── decryption: sops-age  (ich.agekey)
   Kustomization prod       ── decryption: sops-prod (prod.agekey)
   Kustomization plattform  ── decryption: sops-bao  (sops.vault-token)
                              ▼
          Secrets in notes-dev, notes-prod, monitoring (Klartext)

Drill 1: Flux installieren

Ohne Bootstrap: flux install legt nur die Controller an. Für diesen Tag reichen zwei.

# auf argo
mkdir -p ~/sops/tag10 && cd ~/sops/tag10
ARCH=$(dpkg --print-architecture)
F=https://github.com/fluxcd/flux2/releases/download/v2.10.0
curl -fsSLO $F/flux_2.10.0_linux_$ARCH.tar.gz
curl -fsSLO $F/flux_2.10.0_checksums.txt
grep " flux_2.10.0_linux_$ARCH.tar.gz$" flux_2.10.0_checksums.txt | sha256sum -c
tar -xzf flux_2.10.0_linux_$ARCH.tar.gz flux
sudo install -m 0755 flux /usr/local/bin/flux
flux version --client
flux install --components=source-controller,kustomize-controller 2>&1 | tail -3
kubectl -n flux-system get deploy

Erwartet:

flux_2.10.0_linux_amd64.tar.gz: OK
flux: v2.10.0
✔ kustomize-controller: deployment ready
✔ source-controller: deployment ready
✔ install finished
NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
kustomize-controller   1/1     1            1           26s
source-controller      1/1     1            1           26s

flux check --pre meldet zusätzlich, dass v2.10.1 erschienen ist. Das Buch bleibt bei v2.10.0, wie „Flux zum Anfassen“.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Forgejo als Quelle

Flux klont clusterintern über den Service von Forgejo, mit Benutzer und Passwort aus einem Secret.

# auf argo
U=http://forgejo-http.forgejo.svc:3000/lab/secrets.git
flux create secret git forgejo --url=$U --username=lab --password=lab-forgejo-123
flux create source git secrets --url=$U --branch=main --secret-ref=forgejo \
  --interval=1m 2>&1 | tail -1
flux get sources git | cut -c1-60

Erwartet:

► git secret 'forgejo' created in 'flux-system' namespace
✔ fetched revision: main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
NAME    REVISION                SUSPENDED       READY   MESSAGE
secrets main@sha1:a33ac4b2      False           True    stored artifact for…

Der source-controller speichert das Repo als Artefakt – mit ENC[…]-Werten, so wie sie in Forgejo liegen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Ohne Schlüssel

Einbauen: Eine Kustomization für ./dev, ohne decryption. --export schreibt das Objekt als YAML, statt es anzulegen und auf das Ergebnis zu warten.

# auf argo
cd ~/sops/tag10
kubectl create namespace notes-dev
flux create kustomization dev --source=GitRepository/secrets --path=./dev \
  --prune=true --interval=1m --export > ks-dev.yaml
kubectl apply -f ks-dev.yaml
sleep 20

Symptom und Untersuchen:

# auf argo
flux get kustomizations dev | cut -c1-100
kubectl -n notes-dev get secret

Erwartet:

NAME    REVISION        SUSPENDED       READY   MESSAGE
dev                     False           False   Secret/notes-dev/neu is SOPS encry…
No resources found in notes-dev namespace.

Ursache: Die volle Meldung lautet „Secret/notes-dev/neu is SOPS encrypted, configuring decryption is required for this secret to be reconciled“. Flux erkennt den Block sops: und wendet die Datei gar nicht erst an – statt Secrets mit ENC[…]-Werten anzulegen, bleibt die ganze Kustomization stehen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Der Schlüssel als Secret

Fix: Dein age-Schlüssel aus keys.txt wird ein Secret in flux-system, der Eintrag heißt ich.agekey. Die Kustomization bekommt decryption.

Achtung: Ab jetzt liegt dein privater Schlüssel auch im Cluster. Wer Secrets in flux-system lesen darf, kann alles entschlüsseln, was für diesen Schlüssel verschlüsselt ist. Im Betrieb bekommt Flux eigene Schlüssel (Drill 5, Enterprise-Notiz).

# auf argo
cd ~/sops/tag10
kubectl -n flux-system create secret generic sops-age \
  --from-file=ich.agekey=$HOME/.config/sops/age/keys.txt
flux create kustomization dev --source=GitRepository/secrets --path=./dev \
  --prune=true --interval=1m --decryption-provider=sops \
  --decryption-secret=sops-age --export > ks-dev.yaml
grep -A3 decryption ks-dev.yaml
kubectl apply -f ks-dev.yaml >/dev/null 2>&1
flux reconcile kustomization dev 2>&1 | tail -1

Erwartet:

  decryption:
    provider: sops
    secretRef:
      name: sops-age
✔ applied revision main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c

Nachweis:

# auf argo
kubectl -n notes-dev get secret
kubectl -n notes-dev get secret notes-db -o jsonpath='{.data.password}' \
  | base64 -d; echo
kubectl -n notes-dev get secret notes-db -o yaml | grep -c ENC

Erwartet:

NAME       TYPE     DATA   AGE
neu        Opaque   1      2s
notes-db   Opaque   1      2s
lab-db-dev-456
0

Im Cluster steht der Klartext (wie bei jedem Kubernetes-Secret base64-kodiert), kein ENC mehr. dev/app.env ignoriert Flux: Es ist kein Kubernetes-Manifest.

Fortschritt speichern? Kostenlos registrieren

Drill 5: prod mit eigenem Schlüssel

Einbauen: Die prod-Kustomization nimmt aus Bequemlichkeit dasselbe Secret.

# auf argo
cd ~/sops/tag10
kubectl create namespace notes-prod
flux create kustomization prod --source=GitRepository/secrets --path=./prod \
  --prune=true --interval=1m --decryption-provider=sops \
  --decryption-secret=sops-age --export > ks-prod.yaml
kubectl apply -f ks-prod.yaml
sleep 30

Symptom und Untersuchen: Die Meldung ist lang. Die Zeilen mit FAILED und Code reichen.

# auf argo
kubectl -n flux-system get kustomization prod \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}' \
  | grep -E 'FAILED|Code'

Erwartet (gekürzt):

Group 0: FAILED
  age1r025nv6kv083tjhqa7xpslvkc0m8qm2jljd0aqn55nzr859xqe7q4798ks: FAILED
  http://172.16.0.182:30820/v1/transit/keys/sops: FAILED
      | Code: 403. Errors:

Ursache: prod/notes-db.yaml ist für den prod-Schlüssel und für Transit verschlüsselt (Tag 7). sops-age enthält keinen von beiden, und ohne Token sagt OpenBao 403. sops probiert alle Schlüssel einer Gruppe und listet jeden Versuch – so liest du ab, welche Schlüssel die Datei kennt.

Fix und Nachweis:

# auf argo
cd ~/sops/tag10
kubectl -n flux-system create secret generic sops-prod \
  --from-file=prod.agekey=$HOME/sops/tag04/prod.key
sed -i 's/name: sops-age/name: sops-prod/' ks-prod.yaml
kubectl apply -f ks-prod.yaml
flux reconcile kustomization prod 2>&1 | tail -1
kubectl -n notes-prod get secret notes-db -o jsonpath='{.data.password}' \
  | base64 -d; echo

Erwartet:

kustomization.kustomize.toolkit.fluxcd.io/prod configured
✔ applied revision main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
lab-db-prod-123

Fortschritt speichern? Kostenlos registrieren

Drill 6: plattform nur über OpenBao

plattform/grafana-admin.yaml kennt zwei Wege: Transit und deinen age-Schlüssel. Flux bekommt nur das Token aus Tag 7 – Policy sops, also nur ver- und entschlüsseln.

# auf argo
cd ~/sops/tag10
source ~/sops/tag07/bao.env
bao token lookup -format=json | jq -r '.data.policies | join(",")'
kubectl create namespace monitoring
kubectl -n flux-system create secret generic sops-bao \
  --from-file=sops.vault-token=$HOME/sops/tag07/sops.token
flux create kustomization plattform --source=GitRepository/secrets \
  --path=./plattform --prune=true --interval=1m --decryption-provider=sops \
  --decryption-secret=sops-bao --export > ks-plattform.yaml
kubectl apply -f ks-plattform.yaml
flux reconcile kustomization plattform 2>&1 | tail -1
kubectl -n monitoring get secret grafana-admin -o jsonpath='{.data.password}' \
  | base64 -d; echo

Erwartet:

default,sops
namespace/monitoring created
secret/sops-bao created
kustomization.kustomize.toolkit.fluxcd.io/plattform created
✔ applied revision main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
lab-grafana-123

Die Adresse von OpenBao steht in der Datei selbst (hc_vault.vault_address), das Secret liefert nur das Token. Der Controller erreicht OpenBao über die Node-IP und den NodePort – genau die Adresse, mit der du in Tag 7 verschlüsselt hast.

Tipp: Das Token läuft nach 8 Stunden ab (Tag 7). Im Betrieb meldet sich der Controller selbst an (Kubernetes-Auth-Methode von OpenBao) – das beschreiben die OpenBao-Bücher der Reihe.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Ändern und ausrollen

Der Alltag: Wert in Git ändern, pushen, Flux zieht nach.

# auf argo
cd ~/sops/repo
sops set dev/notes-db.yaml '["data"]["password"]' \
  "\"$(printf lab-db-dev-789 | base64)\""
git add dev/notes-db.yaml && git commit -q -m "tag10: dev-Passwort gewechselt"
git push -q && git log --oneline | head -1
flux reconcile kustomization dev --with-source 2>&1 | tail -1
kubectl -n notes-dev get secret notes-db -o jsonpath='{.data.password}' \
  | base64 -d; echo

Erwartet:

bcce904 tag10: dev-Passwort gewechselt
✔ applied revision main@sha1:bcce904321afcd45e055cf482ada5e9526fe3a07
lab-db-dev-789

Der Hook aus Tag 9 lässt den Commit durch, weil die Datei verschlüsselt bleibt. --with-source holt zuerst den neuen Stand aus Forgejo, statt auf das Intervall von einer Minute zu warten.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig alle drei Kustomizations mit ihrem Zustand. Zeitziel: 10 s
  2. Zeig, welches Secret die Kustomization prod zum Entschlüsseln nutzt. Zeitziel: 20 s
  3. Zeig die Schlüsselnamen (nicht die Werte) im Secret sops-bao. Zeitziel: 20 s

Lösung

# auf argo
flux get kustomizations | cut -c1-40
kubectl -n flux-system get kustomization prod \
  -o jsonpath='{.spec.decryption.secretRef.name}'; echo
kubectl -n flux-system get secret sops-bao -o jsonpath='{.data}' | jq -r 'keys[]'

Erwartet:

NAME            REVISION                SUSPENDED
dev             main@sha1:bcce9043      False
plattform       main@sha1:bcce9043      False
prod            main@sha1:bcce9043      False
sops-prod
sops.vault-token

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf argo
flux get kustomizations | grep -c True
kubectl -n notes-prod get secret notes-db -o jsonpath='{.data.password}' \
  | base64 -d; echo
kubectl -n flux-system get secret sops-age -o jsonpath='{.data}' | jq -r 'keys[]'

Erwartet:

3
lab-db-prod-123
ich.agekey

Challenge

Entzieh Flux den Zugriff auf plattform/, ohne die Datei oder .sops.yaml anzufassen. Was passiert mit dem Secret grafana-admin, das schon im Cluster liegt? Stell den Zugriff danach mit einem neuen Token wieder her.

Hinweis: Ein Token lässt sich mit dem Root-Token widerrufen (bao token revoke).

Lösung

# auf argo
source ~/sops/tag07/bao.env
VAULT_TOKEN=lab-bao-123 bao token revoke "$(cat ~/sops/tag07/sops.token)"
flux reconcile kustomization plattform --timeout=30s 2>&1 | tail -1
kubectl -n flux-system get kustomization plattform \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}' \
  | grep -E 'Code|denied'
kubectl -n monitoring get secret grafana-admin -o jsonpath='{.data.password}' \
  | base64 -d; echo

Erwartet:

Success! Revoked token (if it existed)
✗ context deadline exceeded
      | Code: 403. Errors:
      | * permission denied
lab-grafana-123

Flux kann nicht mehr entschlüsseln, die Kustomization wird False – aber das vorhandene Secret bleibt mit dem alten Wert stehen. Flux löscht nichts, was es nicht neu bauen kann. Entziehen heißt also: Keine neuen Stände mehr; das Geheimnis selbst wechselst du, wenn es verbrannt ist.

Wiederherstellen:

# auf argo
source ~/sops/tag07/bao.env
VAULT_TOKEN=lab-bao-123 bao token create -policy=sops -ttl=8h -field=token \
  > ~/sops/tag07/sops.token
kubectl -n flux-system create secret generic sops-bao \
  --from-file=sops.vault-token=$HOME/sops/tag07/sops.token \
  --dry-run=client -o yaml | kubectl apply -f - 2>/dev/null
flux reconcile kustomization plattform 2>&1 | tail -1

Erwartet:

secret/sops-bao configured
✔ applied revision main@sha1:bcce904321afcd45e055cf482ada5e9526fe3a07

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Flux geht wieder vom Cluster, damit sich Tag 11 (Argo CD) und Flux nicht um dieselben Secrets streiten. flux uninstall entfernt die Finalizer, bevor es die Objekte löscht – die angewendeten Secrets bleiben also stehen. Die Namespaces räumst du selbst weg.

# auf argo
flux uninstall --silent 2>&1 | tail -1
kubectl delete namespace notes-dev notes-prod monitoring
rm ~/sops/tag10/flux_2.10.0_linux_*.tar.gz
kubectl get ns | grep -cE 'flux|notes|monitoring'

Erwartet:

✔ uninstall finished
namespace "notes-dev" deleted
namespace "notes-prod" deleted
namespace "monitoring" deleted
0

Für spätere Tage bleiben: das flux-Binary, ~/sops/tag10/ks-*.yaml, das neue OpenBao-Token und der Commit tag10: dev-Passwort gewechselt (dev-Passwort jetzt lab-db-dev-789).

Interview-Notiz

  • Wie entschlüsselt Flux sops-Dateien? Der kustomize-controller entschlüsselt beim Anwenden, mit Schlüsseln aus dem Secret, das spec.decryption.secretRef nennt (*.agekey, sops.vault-token).
  • Was passiert, wenn Flux nicht entschlüsseln kann? Die Kustomization bleibt False mit der sops-Meldung; nichts wird angewendet, Bestehendes bleibt stehen.
  • Warum ein Secret pro Umgebung? Damit ein Leck in dev nicht prod öffnet.

Enterprise-Notiz

  • Flux bekommt eigene age-Schlüssel pro Cluster und Umgebung, nie den eines Menschen. Der öffentliche Teil steht in .sops.yaml.
  • Der Schlüssel im Cluster ist das Kronjuwel: RBAC auf flux-system eng halten, etcd-Verschlüsselung einschalten („Kubernetes angreifen und absichern zum Anfassen“, Tag 10).
  • Mit Cloud-KMS oder OpenBao muss kein Schlüssel im Cluster liegen: Workload Identity bzw. Kubernetes-Auth statt statischem Token.
  • Entschlüsselungsfehler gehören in die Alarmierung (notification-controller, „Flux zum Anfassen“, Tag 11) – sonst merkt niemand, dass neue Stände nicht mehr ankommen.
  • Mit Bootstrap legst du das Secret einmal per Hand an (oder per Terraform/OpenTofu); es gehört nicht ins selbe Repo.