Tag 10: Flux entschlüsselt
Ziel: Flux holt die verschlüsselten Dateien aus Forgejo, entschlüsselt sie im Cluster – dev und prod mit getrennten age-Schlüsseln, plattform nur über ein OpenBao-Token – und du liest Entschlüsselungsfehler direkt aus
flux get. · Dauer: ca. 75 min · Voraussetzung: Tag 9
Briefing
- Der kustomize-controller von Flux kann sops-Dateien
selbst entschlüsseln. Er braucht dafür in jeder Kustomization einen
Block
decryptionmit einem Secret, in dem die Schlüssel liegen. - Im Secret entscheidet die Endung des Schlüssels:
*.agekeyfür age,sops.vault-tokenfür OpenBao/Vault Transit. Mehrere Einträge sind erlaubt. - Ein Secret pro Umgebung: Die dev-Kustomization bekommt den prod-Schlüssel nie zu sehen.
- Klartext entsteht nur im Speicher des Controllers und im Kubernetes-Secret. Im Git, im Artefakt des source-controllers und im Flux-Objekt bleibt alles verschlüsselt.
- Grundlagen (Bootstrap, Kustomization, erster SOPS-Weg) stehen in „Flux zum Anfassen“, Tag 8. Hier: ohne Bootstrap, mehrere Schlüssel, Transit, Fehlerbilder.
Forgejo lab/secrets ──► source-controller (GitRepository secrets)
│ Artefakt: Dateien mit ENC[…]
▼
kustomize-controller
Kustomization dev ── decryption: sops-age (ich.agekey)
Kustomization prod ── decryption: sops-prod (prod.agekey)
Kustomization plattform ── decryption: sops-bao (sops.vault-token)
▼
Secrets in notes-dev, notes-prod, monitoring (Klartext)
Drill 1: Flux installieren
Ohne Bootstrap: flux install legt nur die Controller an.
Für diesen Tag reichen zwei.
# auf argo
mkdir -p ~/sops/tag10 && cd ~/sops/tag10
ARCH=$(dpkg --print-architecture)
F=https://github.com/fluxcd/flux2/releases/download/v2.10.0
curl -fsSLO $F/flux_2.10.0_linux_$ARCH.tar.gz
curl -fsSLO $F/flux_2.10.0_checksums.txt
grep " flux_2.10.0_linux_$ARCH.tar.gz$" flux_2.10.0_checksums.txt | sha256sum -c
tar -xzf flux_2.10.0_linux_$ARCH.tar.gz flux
sudo install -m 0755 flux /usr/local/bin/flux
flux version --client
flux install --components=source-controller,kustomize-controller 2>&1 | tail -3
kubectl -n flux-system get deployErwartet:
flux_2.10.0_linux_amd64.tar.gz: OK
flux: v2.10.0
✔ kustomize-controller: deployment ready
✔ source-controller: deployment ready
✔ install finished
NAME READY UP-TO-DATE AVAILABLE AGE
kustomize-controller 1/1 1 1 26s
source-controller 1/1 1 1 26s
flux check --pre meldet zusätzlich, dass v2.10.1
erschienen ist. Das Buch bleibt bei v2.10.0, wie „Flux zum
Anfassen“.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Forgejo als Quelle
Flux klont clusterintern über den Service von Forgejo, mit Benutzer und Passwort aus einem Secret.
# auf argo
U=http://forgejo-http.forgejo.svc:3000/lab/secrets.git
flux create secret git forgejo --url=$U --username=lab --password=lab-forgejo-123
flux create source git secrets --url=$U --branch=main --secret-ref=forgejo \
--interval=1m 2>&1 | tail -1
flux get sources git | cut -c1-60Erwartet:
► git secret 'forgejo' created in 'flux-system' namespace
✔ fetched revision: main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
NAME REVISION SUSPENDED READY MESSAGE
secrets main@sha1:a33ac4b2 False True stored artifact for…
Der source-controller speichert das Repo als Artefakt – mit
ENC[…]-Werten, so wie sie in Forgejo liegen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Ohne Schlüssel
Einbauen: Eine Kustomization für ./dev,
ohne decryption. --export schreibt das Objekt
als YAML, statt es anzulegen und auf das Ergebnis zu warten.
# auf argo
cd ~/sops/tag10
kubectl create namespace notes-dev
flux create kustomization dev --source=GitRepository/secrets --path=./dev \
--prune=true --interval=1m --export > ks-dev.yaml
kubectl apply -f ks-dev.yaml
sleep 20Symptom und Untersuchen:
# auf argo
flux get kustomizations dev | cut -c1-100
kubectl -n notes-dev get secretErwartet:
NAME REVISION SUSPENDED READY MESSAGE
dev False False Secret/notes-dev/neu is SOPS encry…
No resources found in notes-dev namespace.
Ursache: Die volle Meldung lautet
„Secret/notes-dev/neu is SOPS encrypted, configuring decryption is
required for this secret to be reconciled“. Flux erkennt den Block
sops: und wendet die Datei gar nicht erst an – statt
Secrets mit ENC[…]-Werten anzulegen, bleibt die ganze
Kustomization stehen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Der Schlüssel als Secret
Fix: Dein age-Schlüssel aus keys.txt
wird ein Secret in flux-system, der Eintrag heißt
ich.agekey. Die Kustomization bekommt
decryption.
Achtung: Ab jetzt liegt dein privater Schlüssel auch im Cluster. Wer Secrets in
flux-systemlesen darf, kann alles entschlüsseln, was für diesen Schlüssel verschlüsselt ist. Im Betrieb bekommt Flux eigene Schlüssel (Drill 5, Enterprise-Notiz).
# auf argo
cd ~/sops/tag10
kubectl -n flux-system create secret generic sops-age \
--from-file=ich.agekey=$HOME/.config/sops/age/keys.txt
flux create kustomization dev --source=GitRepository/secrets --path=./dev \
--prune=true --interval=1m --decryption-provider=sops \
--decryption-secret=sops-age --export > ks-dev.yaml
grep -A3 decryption ks-dev.yaml
kubectl apply -f ks-dev.yaml >/dev/null 2>&1
flux reconcile kustomization dev 2>&1 | tail -1Erwartet:
decryption:
provider: sops
secretRef:
name: sops-age
✔ applied revision main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
Nachweis:
# auf argo
kubectl -n notes-dev get secret
kubectl -n notes-dev get secret notes-db -o jsonpath='{.data.password}' \
| base64 -d; echo
kubectl -n notes-dev get secret notes-db -o yaml | grep -c ENCErwartet:
NAME TYPE DATA AGE
neu Opaque 1 2s
notes-db Opaque 1 2s
lab-db-dev-456
0
Im Cluster steht der Klartext (wie bei jedem Kubernetes-Secret
base64-kodiert), kein ENC mehr. dev/app.env
ignoriert Flux: Es ist kein Kubernetes-Manifest.
Fortschritt speichern? Kostenlos registrieren
Drill 5: prod mit eigenem Schlüssel
Einbauen: Die prod-Kustomization nimmt aus Bequemlichkeit dasselbe Secret.
# auf argo
cd ~/sops/tag10
kubectl create namespace notes-prod
flux create kustomization prod --source=GitRepository/secrets --path=./prod \
--prune=true --interval=1m --decryption-provider=sops \
--decryption-secret=sops-age --export > ks-prod.yaml
kubectl apply -f ks-prod.yaml
sleep 30Symptom und Untersuchen: Die Meldung ist lang. Die
Zeilen mit FAILED und Code reichen.
# auf argo
kubectl -n flux-system get kustomization prod \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].message}' \
| grep -E 'FAILED|Code'Erwartet (gekürzt):
Group 0: FAILED
age1r025nv6kv083tjhqa7xpslvkc0m8qm2jljd0aqn55nzr859xqe7q4798ks: FAILED
http://172.16.0.182:30820/v1/transit/keys/sops: FAILED
| Code: 403. Errors:
Ursache: prod/notes-db.yaml ist für den
prod-Schlüssel und für Transit verschlüsselt (Tag 7).
sops-age enthält keinen von beiden, und ohne Token sagt
OpenBao 403. sops probiert alle Schlüssel einer Gruppe und
listet jeden Versuch – so liest du ab, welche Schlüssel die Datei
kennt.
Fix und Nachweis:
# auf argo
cd ~/sops/tag10
kubectl -n flux-system create secret generic sops-prod \
--from-file=prod.agekey=$HOME/sops/tag04/prod.key
sed -i 's/name: sops-age/name: sops-prod/' ks-prod.yaml
kubectl apply -f ks-prod.yaml
flux reconcile kustomization prod 2>&1 | tail -1
kubectl -n notes-prod get secret notes-db -o jsonpath='{.data.password}' \
| base64 -d; echoErwartet:
kustomization.kustomize.toolkit.fluxcd.io/prod configured
✔ applied revision main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
lab-db-prod-123
Fortschritt speichern? Kostenlos registrieren
Drill 6: plattform nur über OpenBao
plattform/grafana-admin.yaml kennt zwei Wege: Transit
und deinen age-Schlüssel. Flux bekommt nur das Token aus Tag 7 – Policy
sops, also nur ver- und entschlüsseln.
# auf argo
cd ~/sops/tag10
source ~/sops/tag07/bao.env
bao token lookup -format=json | jq -r '.data.policies | join(",")'
kubectl create namespace monitoring
kubectl -n flux-system create secret generic sops-bao \
--from-file=sops.vault-token=$HOME/sops/tag07/sops.token
flux create kustomization plattform --source=GitRepository/secrets \
--path=./plattform --prune=true --interval=1m --decryption-provider=sops \
--decryption-secret=sops-bao --export > ks-plattform.yaml
kubectl apply -f ks-plattform.yaml
flux reconcile kustomization plattform 2>&1 | tail -1
kubectl -n monitoring get secret grafana-admin -o jsonpath='{.data.password}' \
| base64 -d; echoErwartet:
default,sops
namespace/monitoring created
secret/sops-bao created
kustomization.kustomize.toolkit.fluxcd.io/plattform created
✔ applied revision main@sha1:a33ac4b25273a17c1194c65a13794af2f936251c
lab-grafana-123
Die Adresse von OpenBao steht in der Datei selbst
(hc_vault.vault_address), das Secret liefert nur das Token.
Der Controller erreicht OpenBao über die Node-IP und den NodePort –
genau die Adresse, mit der du in Tag 7 verschlüsselt hast.
Tipp: Das Token läuft nach 8 Stunden ab (Tag 7). Im Betrieb meldet sich der Controller selbst an (Kubernetes-Auth-Methode von OpenBao) – das beschreiben die OpenBao-Bücher der Reihe.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Ändern und ausrollen
Der Alltag: Wert in Git ändern, pushen, Flux zieht nach.
# auf argo
cd ~/sops/repo
sops set dev/notes-db.yaml '["data"]["password"]' \
"\"$(printf lab-db-dev-789 | base64)\""
git add dev/notes-db.yaml && git commit -q -m "tag10: dev-Passwort gewechselt"
git push -q && git log --oneline | head -1
flux reconcile kustomization dev --with-source 2>&1 | tail -1
kubectl -n notes-dev get secret notes-db -o jsonpath='{.data.password}' \
| base64 -d; echoErwartet:
bcce904 tag10: dev-Passwort gewechselt
✔ applied revision main@sha1:bcce904321afcd45e055cf482ada5e9526fe3a07
lab-db-dev-789
Der Hook aus Tag 9 lässt den Commit durch, weil die Datei
verschlüsselt bleibt. --with-source holt zuerst den neuen
Stand aus Forgejo, statt auf das Intervall von einer Minute zu
warten.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig alle drei Kustomizations mit ihrem Zustand. Zeitziel: 10 s
- Zeig, welches Secret die Kustomization
prodzum Entschlüsseln nutzt. Zeitziel: 20 s - Zeig die Schlüsselnamen (nicht die Werte) im Secret
sops-bao. Zeitziel: 20 s
Lösung
# auf argo
flux get kustomizations | cut -c1-40
kubectl -n flux-system get kustomization prod \
-o jsonpath='{.spec.decryption.secretRef.name}'; echo
kubectl -n flux-system get secret sops-bao -o jsonpath='{.data}' | jq -r 'keys[]'Erwartet:
NAME REVISION SUSPENDED
dev main@sha1:bcce9043 False
plattform main@sha1:bcce9043 False
prod main@sha1:bcce9043 False
sops-prod
sops.vault-token
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf argo
flux get kustomizations | grep -c True
kubectl -n notes-prod get secret notes-db -o jsonpath='{.data.password}' \
| base64 -d; echo
kubectl -n flux-system get secret sops-age -o jsonpath='{.data}' | jq -r 'keys[]'Erwartet:
3
lab-db-prod-123
ich.agekey
Challenge
Entzieh Flux den Zugriff auf plattform/, ohne die Datei
oder .sops.yaml anzufassen. Was passiert mit dem Secret
grafana-admin, das schon im Cluster liegt? Stell den
Zugriff danach mit einem neuen Token wieder her.
Hinweis: Ein Token lässt sich mit dem Root-Token
widerrufen (bao token revoke).
Lösung
# auf argo
source ~/sops/tag07/bao.env
VAULT_TOKEN=lab-bao-123 bao token revoke "$(cat ~/sops/tag07/sops.token)"
flux reconcile kustomization plattform --timeout=30s 2>&1 | tail -1
kubectl -n flux-system get kustomization plattform \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].message}' \
| grep -E 'Code|denied'
kubectl -n monitoring get secret grafana-admin -o jsonpath='{.data.password}' \
| base64 -d; echoErwartet:
Success! Revoked token (if it existed)
✗ context deadline exceeded
| Code: 403. Errors:
| * permission denied
lab-grafana-123
Flux kann nicht mehr entschlüsseln, die Kustomization wird
False – aber das vorhandene Secret bleibt mit dem alten
Wert stehen. Flux löscht nichts, was es nicht neu bauen kann. Entziehen
heißt also: Keine neuen Stände mehr; das Geheimnis
selbst wechselst du, wenn es verbrannt ist.
Wiederherstellen:
# auf argo
source ~/sops/tag07/bao.env
VAULT_TOKEN=lab-bao-123 bao token create -policy=sops -ttl=8h -field=token \
> ~/sops/tag07/sops.token
kubectl -n flux-system create secret generic sops-bao \
--from-file=sops.vault-token=$HOME/sops/tag07/sops.token \
--dry-run=client -o yaml | kubectl apply -f - 2>/dev/null
flux reconcile kustomization plattform 2>&1 | tail -1Erwartet:
secret/sops-bao configured
✔ applied revision main@sha1:bcce904321afcd45e055cf482ada5e9526fe3a07
Fortschritt speichern? Kostenlos registrieren
Aufräumen
Flux geht wieder vom Cluster, damit sich Tag 11 (Argo CD) und Flux
nicht um dieselben Secrets streiten. flux uninstall
entfernt die Finalizer, bevor es die Objekte löscht – die angewendeten
Secrets bleiben also stehen. Die Namespaces räumst du selbst weg.
# auf argo
flux uninstall --silent 2>&1 | tail -1
kubectl delete namespace notes-dev notes-prod monitoring
rm ~/sops/tag10/flux_2.10.0_linux_*.tar.gz
kubectl get ns | grep -cE 'flux|notes|monitoring'Erwartet:
✔ uninstall finished
namespace "notes-dev" deleted
namespace "notes-prod" deleted
namespace "monitoring" deleted
0
Für spätere Tage bleiben: das flux-Binary,
~/sops/tag10/ks-*.yaml, das neue OpenBao-Token und der
Commit tag10: dev-Passwort gewechselt (dev-Passwort jetzt
lab-db-dev-789).
Interview-Notiz
- Wie entschlüsselt Flux sops-Dateien? Der
kustomize-controller entschlüsselt beim Anwenden, mit Schlüsseln aus dem
Secret, das
spec.decryption.secretRefnennt (*.agekey,sops.vault-token). - Was passiert, wenn Flux nicht entschlüsseln kann? Die
Kustomization bleibt
Falsemit der sops-Meldung; nichts wird angewendet, Bestehendes bleibt stehen. - Warum ein Secret pro Umgebung? Damit ein Leck in dev nicht prod öffnet.
Enterprise-Notiz
- Flux bekommt eigene age-Schlüssel pro Cluster und Umgebung, nie den
eines Menschen. Der öffentliche Teil steht in
.sops.yaml. - Der Schlüssel im Cluster ist das Kronjuwel: RBAC auf
flux-systemeng halten, etcd-Verschlüsselung einschalten („Kubernetes angreifen und absichern zum Anfassen“, Tag 10). - Mit Cloud-KMS oder OpenBao muss kein Schlüssel im Cluster liegen: Workload Identity bzw. Kubernetes-Auth statt statischem Token.
- Entschlüsselungsfehler gehören in die Alarmierung (notification-controller, „Flux zum Anfassen“, Tag 11) – sonst merkt niemand, dass neue Stände nicht mehr ankommen.
- Mit Bootstrap legst du das Secret einmal per Hand an (oder per Terraform/OpenTofu); es gehört nicht ins selbe Repo.