Tag 15: Wettkampf
Ziel: Fünf Störungen finden und beheben, jede so passiert beim Testen dieses Buchs. · Dauer: ca. 120 min · Voraussetzung: Tag 0–14
Spielregeln
- Jede Runde beginnt mit einer Lage: Was ist passiert, was meldet das Team?
- Du findest die Ursache mit den Werkzeugen aus dem Buch:
flux get,flux events,flux tree,flux logs,kubectl. Erst dann reparierst du, wie immer über Git. - Die Dateien für die Runden liegen in
~/flux-lab/code/wettkampf/. - Für jede Runde gibt es einen Hinweis. Lies ihn erst, wenn du zehn Minuten nicht weiterkommst.
- Zähl die Runden, die du ohne Hinweis schaffst. Fünf von fünf ist ein Sieg.
cd ~/flux-lab/fleet
git pullRunde 1: Die Wartungsmeldung
Lage: Das Team will in notes eine ConfigMap
motd mit einem Wartungshinweis. Du legst die Datei in den
Cluster-Ordner und pushst:
cp ~/flux-lab/code/wettkampf/runde1/motd.yaml clusters/lab/
git add -A
git commit -m "Runde 1: motd"
git push
flux reconcile kustomization flux-system --with-source
kubectl -n notes get configmap motdErwartet (gekürzt):
✔ applied revision main@sha1:e180e60b8b578a979e3077575e1ec71fbe58b694
Error from server (NotFound): configmaps "motd" not found
flux-system meldet applied, keine
Fehlermeldung, nirgends. Wo ist die ConfigMap?
Hinweis: Frag Flux, welche Objekte
flux-system verwaltet. Und erinnere dich, was seit Tag 12
in clusters/lab anders ist.
Lösung
flux tree kustomization flux-system | grep -c motdErwartet:
0
Flux kennt die Datei nicht. Seit Tag 12 hat clusters/lab
eine kustomization.yaml, und Flux liest nur die Dateien
unter resources:
sed -i 's/ - kro-apis.yaml/ - kro-apis.yaml\n - motd.yaml/' clusters/lab/kustomization.yaml
git commit -am "Runde 1: motd eintragen"
git push
flux reconcile kustomization flux-system --with-source
kubectl -n notes get configmap motd -o jsonpath='{.data.text}{"\n"}'Erwartet (gekürzt):
Wartung am Samstag ab 8 Uhr
Vorbeugen: Der CI-Workflow aus Tag 13 merkt das
nicht, denn eine nicht eingetragene Datei ist gültiges YAML. Hilfreich
ist ein Schritt, der jede Datei in clusters/lab mit den
Einträgen unter resources vergleicht.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Das SMTP-Passwort
Lage: notes bekommt ein SMTP-Passwort, natürlich
verschlüsselt. Das Plattform-Team legt dafür eine neue Kustomization
geheim an:
export SOPS_AGE_KEY_FILE=~/flux-lab/age-2027.agekey
mkdir -p infrastructure/geheim
cp ~/flux-lab/code/wettkampf/runde2/secret.yaml infrastructure/geheim/
sops --encrypt --in-place infrastructure/geheim/secret.yaml
cp ~/flux-lab/code/wettkampf/runde2/geheim.yaml clusters/lab/
sed -i 's/ - echo.yaml/ - echo.yaml\n - geheim.yaml/' clusters/lab/kustomization.yaml
git add -A
git commit -m "Runde 2: SMTP-Passwort"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization geheim
flux get kustomization geheimErwartet (gekürzt):
NAME REVISION SUSPENDED READY MESSAGE
geheim main@sha1:171da6cf False True Applied revision: main@sha1:171da6cf
Alles grün. Am nächsten Tag meldet der Mail-Server: falsches Passwort.
Hinweis: Schau dir an, was im Cluster im Secret steht, nicht in Git.
Lösung
kubectl -n notes get secret smtp -o jsonpath='{.data.password}' | base64 -d | cut -c1-30; echoErwartet:
ENC[AES256_GCM,data:v68fWEKTKQ
Der Fall aus Tag 8: Der neuen Kustomization fehlt
decryption, also hat Flux den verschlüsselten Text als Wert
angewendet. Kein Fehler, kein Hinweis.
sed -i 's/^ name: flux-system$/ name: flux-system\n decryption:\n provider: sops\n secretRef:\n name: sops-age/' \
clusters/lab/geheim.yaml
git commit -am "Runde 2: entschlüsseln"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization geheim
kubectl -n notes get secret smtp -o jsonpath='{.data.password}' | base64 -d; echoErwartet (gekürzt):
smtp-pass-123
Vorbeugen: Ein Patch wie in Tag 12, der
decryption an jede Kustomization in
flux-system hängt. Dann kann es keiner mehr vergessen.
Fortschritt speichern? Kostenlos registrieren
Runde 3: Team grün steht
Lage: Ein Kollege hat die Synchronisation von Team grün „aufgeräumt“ und neu geschrieben:
cp ~/flux-lab/code/wettkampf/runde3/sync.yaml tenants/team-gruen/sync.yaml
git commit -am "Runde 3: team-gruen neu"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization tenantsTeam grün meldet: Neue Versionen kommen nicht mehr an.
Hinweis:
flux get kustomizations -n team-gruen. Und welcher Benutzer
steht in der Meldung?
Lösung
flux get kustomizations -n team-gruenErwartet (gekürzt):
NAME REVISION SUSPENDED READY MESSAGE
apps 1.0.0@sha256:57c8e47c False False Deployment/team-gruen/notes dry-run failed (Forbidden): deployments.apps "notes" is forbidden: User "system:serviceaccount:team-gruen:default" cannot patch resource "deployments" …
team-gruen:default statt
team-gruen:team-gruen. Der neuen Datei fehlt
serviceAccountName, und der Lockdown aus Tag 12 setzt dann
den rechtlosen ServiceAccount default ein. Die gute
Nachricht: Ohne Lockdown hätte die Kustomization mit den Rechten des
Controllers gearbeitet, und niemand hätte es bemerkt.
git checkout HEAD~1 -- tenants/team-gruen/sync.yaml
git commit -am "Runde 3: ServiceAccount zurück"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization tenants
flux reconcile kustomization apps -n team-gruen
flux get kustomizations -n team-gruenErwartet (gekürzt):
NAME REVISION SUSPENDED READY MESSAGE
apps 1.0.0@sha256:57c8e47c False True Applied revision: 1.0.0@sha256:57c8e47c
Fortschritt speichern? Kostenlos registrieren
Runde 4: Der stille Bot
Lage: dev soll den neuesten Release-Kandidaten
fahren. Jemand hat dev von Hand auf 0.6.0-rc.2 gestellt,
und irgendwo liegt noch ein alter Branch der Automation herum. Bau die
Lage nach:
git push origin HEAD~3:refs/heads/flux/notes-updates
sed -i 's/NOTES_VERSION: 0.6.0-rc.4/NOTES_VERSION: 0.6.0-rc.2/' clusters/lab/notes-dev.yaml
git commit -am "Runde 4: dev auf rc.2"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile image update notesErwartet (gekürzt):
...
✔ repository up-to-date
Die Policy notes-api-rc steht auf
0.6.0-rc.4, in Git steht rc.2, und die
Automation meint, alles sei aktuell.
Hinweis: Auf welchem Branch arbeitet die Automation, wenn ihr Push-Branch schon existiert?
Lösung
git fetch
git log --oneline -1 origin/flux/notes-updatesErwartet (gekürzt):
171da6c Runde 2: SMTP-Passwort
Die Automation baut auf dem vorhandenen Branch
flux/notes-updates auf. Der ist alt, dort steht dev noch
auf rc.4, also gibt es nichts zu tun. Der Fall aus Tag
10:
git push origin --delete flux/notes-updates
flux reconcile image update notes
git fetch -p
git log --oneline -1 origin/flux/notes-updatesErwartet (gekürzt):
e7d1a5a 0.6.0-rc.2 -> 0.6.0-rc.4
git merge --no-edit origin/flux/notes-updates
git push
git push origin --delete flux/notes-updates
flux reconcile kustomization flux-system --with-sourceVorbeugen: Auf GitHub Automatically delete head branches einschalten.
Fortschritt speichern? Kostenlos registrieren
Runde 5: Der taube Receiver
Lage: Ein Kollege hat das Webhook-Geheimnis aus Sicherheitsgründen gewechselt:
cd ~/flux-lab
head -c 24 /dev/urandom | base64 > webhook.token
kubectl -n flux-system create secret generic webhook-token \
--from-file=token=webhook.token --dry-run=client -o yaml | kubectl replace -f -Seitdem landet jeder Webhook von GitHub bei 400. Spiel
GitHub wie in Tag 11:
P=$(kubectl -n flux-system get receiver github-fleet -o jsonpath='{.status.webhookPath}')
BODY='{"ref":"refs/heads/main"}'
SIG=$(printf '%s' "$BODY" | openssl dgst -sha256 -hmac "$(cat webhook.token)" | cut -d' ' -f2)
curl -s -w '%{http_code}\n' -H "X-GitHub-Event: push" \
-H "X-Hub-Signature-256: sha256=$SIG" -d "$BODY" localhost:30900$PErwartet:
400
Hinweis: Der notification-controller schreibt den
Grund ins Log. Und vergleich, was in der Datei steht, mit dem, was
$(cat …) daraus macht.
Lösung
kubectl -n flux-system logs deploy/notification-controller --since=1m \
| grep -o '"error":"[^"]*"' | tail -1Erwartet:
"error":"the GitHub signature header is invalid, err: payload signature check failed"
base64 hängt einen Zeilenumbruch an. Der steckt im
Secret, aber nicht in $(cat webhook.token), denn die Shell
entfernt ihn. Zwei verschiedene Geheimnisse, also passt keine
Signatur:
tr -d '\n' < webhook.token > webhook.tmp && mv webhook.tmp webhook.token
kubectl -n flux-system create secret generic webhook-token \
--from-file=token=webhook.token --dry-run=client -o yaml | kubectl replace -f -
P=$(kubectl -n flux-system get receiver github-fleet -o jsonpath='{.status.webhookPath}')
SIG=$(printf '%s' "$BODY" | openssl dgst -sha256 -hmac "$(cat webhook.token)" | cut -d' ' -f2)
curl -s -w '%{http_code}\n' -H "X-GitHub-Event: push" \
-H "X-Hub-Signature-256: sha256=$SIG" -d "$BODY" localhost:30900$PErwartet (gekürzt):
secret/webhook-token replaced
200
P musst du neu holen: Der Pfad des Receivers ist ein
Hash, in den das Geheimnis eingeht. Ein neues Geheimnis heißt auch eine
neue URL, und die muss auf GitHub im Webhook nachgetragen werden.
Fortschritt speichern? Kostenlos registrieren
Auswertung
| Runden ohne Hinweis | Urteil |
|---|---|
| 5 | Du kannst Flux betreiben. |
| 3–4 | Solide. Lies die Tage zu den verpatzten Runden noch einmal. |
| 0–2 | Mach Tag 4, 8, 10, 11 und 12 noch einmal, sie liefern alle fünf Fehlerbilder. |
Alle fünf Fehler haben eines gemeinsam: Flux meldete entweder gar nichts oder nur an einer Stelle, an der niemand von selbst nachsieht. Das ist der eigentliche Lehrstoff dieses Tages. Bei GitOps geht selten etwas laut kaputt. Häufiger passiert still nicht das, was du erwartest.