Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Wettkampf

Ziel: Fünf Störungen finden und beheben, jede so passiert beim Testen dieses Buchs. · Dauer: ca. 120 min · Voraussetzung: Tag 0–14

Spielregeln

  • Jede Runde beginnt mit einer Lage: Was ist passiert, was meldet das Team?
  • Du findest die Ursache mit den Werkzeugen aus dem Buch: flux get, flux events, flux tree, flux logs, kubectl. Erst dann reparierst du, wie immer über Git.
  • Die Dateien für die Runden liegen in ~/flux-lab/code/wettkampf/.
  • Für jede Runde gibt es einen Hinweis. Lies ihn erst, wenn du zehn Minuten nicht weiterkommst.
  • Zähl die Runden, die du ohne Hinweis schaffst. Fünf von fünf ist ein Sieg.
cd ~/flux-lab/fleet
git pull

Runde 1: Die Wartungsmeldung

Lage: Das Team will in notes eine ConfigMap motd mit einem Wartungshinweis. Du legst die Datei in den Cluster-Ordner und pushst:

cp ~/flux-lab/code/wettkampf/runde1/motd.yaml clusters/lab/
git add -A
git commit -m "Runde 1: motd"
git push
flux reconcile kustomization flux-system --with-source
kubectl -n notes get configmap motd

Erwartet (gekürzt):

✔ applied revision main@sha1:e180e60b8b578a979e3077575e1ec71fbe58b694
Error from server (NotFound): configmaps "motd" not found

flux-system meldet applied, keine Fehlermeldung, nirgends. Wo ist die ConfigMap?

Hinweis: Frag Flux, welche Objekte flux-system verwaltet. Und erinnere dich, was seit Tag 12 in clusters/lab anders ist.

Lösung

flux tree kustomization flux-system | grep -c motd

Erwartet:

0

Flux kennt die Datei nicht. Seit Tag 12 hat clusters/lab eine kustomization.yaml, und Flux liest nur die Dateien unter resources:

sed -i 's/  - kro-apis.yaml/  - kro-apis.yaml\n  - motd.yaml/' clusters/lab/kustomization.yaml
git commit -am "Runde 1: motd eintragen"
git push
flux reconcile kustomization flux-system --with-source
kubectl -n notes get configmap motd -o jsonpath='{.data.text}{"\n"}'

Erwartet (gekürzt):

Wartung am Samstag ab 8 Uhr

Vorbeugen: Der CI-Workflow aus Tag 13 merkt das nicht, denn eine nicht eingetragene Datei ist gültiges YAML. Hilfreich ist ein Schritt, der jede Datei in clusters/lab mit den Einträgen unter resources vergleicht.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Das SMTP-Passwort

Lage: notes bekommt ein SMTP-Passwort, natürlich verschlüsselt. Das Plattform-Team legt dafür eine neue Kustomization geheim an:

export SOPS_AGE_KEY_FILE=~/flux-lab/age-2027.agekey
mkdir -p infrastructure/geheim
cp ~/flux-lab/code/wettkampf/runde2/secret.yaml infrastructure/geheim/
sops --encrypt --in-place infrastructure/geheim/secret.yaml
cp ~/flux-lab/code/wettkampf/runde2/geheim.yaml clusters/lab/
sed -i 's/  - echo.yaml/  - echo.yaml\n  - geheim.yaml/' clusters/lab/kustomization.yaml
git add -A
git commit -m "Runde 2: SMTP-Passwort"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization geheim
flux get kustomization geheim

Erwartet (gekürzt):

NAME    REVISION            SUSPENDED   READY   MESSAGE
geheim  main@sha1:171da6cf  False       True    Applied revision: main@sha1:171da6cf

Alles grün. Am nächsten Tag meldet der Mail-Server: falsches Passwort.

Hinweis: Schau dir an, was im Cluster im Secret steht, nicht in Git.

Lösung

kubectl -n notes get secret smtp -o jsonpath='{.data.password}' | base64 -d | cut -c1-30; echo

Erwartet:

ENC[AES256_GCM,data:v68fWEKTKQ

Der Fall aus Tag 8: Der neuen Kustomization fehlt decryption, also hat Flux den verschlüsselten Text als Wert angewendet. Kein Fehler, kein Hinweis.

sed -i 's/^    name: flux-system$/    name: flux-system\n  decryption:\n    provider: sops\n    secretRef:\n      name: sops-age/' \
  clusters/lab/geheim.yaml
git commit -am "Runde 2: entschlüsseln"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization geheim
kubectl -n notes get secret smtp -o jsonpath='{.data.password}' | base64 -d; echo

Erwartet (gekürzt):

smtp-pass-123

Vorbeugen: Ein Patch wie in Tag 12, der decryption an jede Kustomization in flux-system hängt. Dann kann es keiner mehr vergessen.

Fortschritt speichern? Kostenlos registrieren

Runde 3: Team grün steht

Lage: Ein Kollege hat die Synchronisation von Team grün „aufgeräumt“ und neu geschrieben:

cp ~/flux-lab/code/wettkampf/runde3/sync.yaml tenants/team-gruen/sync.yaml
git commit -am "Runde 3: team-gruen neu"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization tenants

Team grün meldet: Neue Versionen kommen nicht mehr an.

Hinweis: flux get kustomizations -n team-gruen. Und welcher Benutzer steht in der Meldung?

Lösung

flux get kustomizations -n team-gruen

Erwartet (gekürzt):

NAME    REVISION                SUSPENDED   READY   MESSAGE
apps    1.0.0@sha256:57c8e47c   False       False   Deployment/team-gruen/notes dry-run failed (Forbidden): deployments.apps "notes" is forbidden: User "system:serviceaccount:team-gruen:default" cannot patch resource "deployments" …

team-gruen:default statt team-gruen:team-gruen. Der neuen Datei fehlt serviceAccountName, und der Lockdown aus Tag 12 setzt dann den rechtlosen ServiceAccount default ein. Die gute Nachricht: Ohne Lockdown hätte die Kustomization mit den Rechten des Controllers gearbeitet, und niemand hätte es bemerkt.

git checkout HEAD~1 -- tenants/team-gruen/sync.yaml
git commit -am "Runde 3: ServiceAccount zurück"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization tenants
flux reconcile kustomization apps -n team-gruen
flux get kustomizations -n team-gruen

Erwartet (gekürzt):

NAME    REVISION                SUSPENDED   READY   MESSAGE
apps    1.0.0@sha256:57c8e47c   False       True    Applied revision: 1.0.0@sha256:57c8e47c

Fortschritt speichern? Kostenlos registrieren

Runde 4: Der stille Bot

Lage: dev soll den neuesten Release-Kandidaten fahren. Jemand hat dev von Hand auf 0.6.0-rc.2 gestellt, und irgendwo liegt noch ein alter Branch der Automation herum. Bau die Lage nach:

git push origin HEAD~3:refs/heads/flux/notes-updates
sed -i 's/NOTES_VERSION: 0.6.0-rc.4/NOTES_VERSION: 0.6.0-rc.2/' clusters/lab/notes-dev.yaml
git commit -am "Runde 4: dev auf rc.2"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile image update notes

Erwartet (gekürzt):

...
✔ repository up-to-date

Die Policy notes-api-rc steht auf 0.6.0-rc.4, in Git steht rc.2, und die Automation meint, alles sei aktuell.

Hinweis: Auf welchem Branch arbeitet die Automation, wenn ihr Push-Branch schon existiert?

Lösung

git fetch
git log --oneline -1 origin/flux/notes-updates

Erwartet (gekürzt):

171da6c Runde 2: SMTP-Passwort

Die Automation baut auf dem vorhandenen Branch flux/notes-updates auf. Der ist alt, dort steht dev noch auf rc.4, also gibt es nichts zu tun. Der Fall aus Tag 10:

git push origin --delete flux/notes-updates
flux reconcile image update notes
git fetch -p
git log --oneline -1 origin/flux/notes-updates

Erwartet (gekürzt):

e7d1a5a 0.6.0-rc.2 -> 0.6.0-rc.4
git merge --no-edit origin/flux/notes-updates
git push
git push origin --delete flux/notes-updates
flux reconcile kustomization flux-system --with-source

Vorbeugen: Auf GitHub Automatically delete head branches einschalten.

Fortschritt speichern? Kostenlos registrieren

Runde 5: Der taube Receiver

Lage: Ein Kollege hat das Webhook-Geheimnis aus Sicherheitsgründen gewechselt:

cd ~/flux-lab
head -c 24 /dev/urandom | base64 > webhook.token
kubectl -n flux-system create secret generic webhook-token \
  --from-file=token=webhook.token --dry-run=client -o yaml | kubectl replace -f -

Seitdem landet jeder Webhook von GitHub bei 400. Spiel GitHub wie in Tag 11:

P=$(kubectl -n flux-system get receiver github-fleet -o jsonpath='{.status.webhookPath}')
BODY='{"ref":"refs/heads/main"}'
SIG=$(printf '%s' "$BODY" | openssl dgst -sha256 -hmac "$(cat webhook.token)" | cut -d' ' -f2)
curl -s -w '%{http_code}\n' -H "X-GitHub-Event: push" \
  -H "X-Hub-Signature-256: sha256=$SIG" -d "$BODY" localhost:30900$P

Erwartet:

400

Hinweis: Der notification-controller schreibt den Grund ins Log. Und vergleich, was in der Datei steht, mit dem, was $(cat …) daraus macht.

Lösung

kubectl -n flux-system logs deploy/notification-controller --since=1m \
  | grep -o '"error":"[^"]*"' | tail -1

Erwartet:

"error":"the GitHub signature header is invalid, err: payload signature check failed"

base64 hängt einen Zeilenumbruch an. Der steckt im Secret, aber nicht in $(cat webhook.token), denn die Shell entfernt ihn. Zwei verschiedene Geheimnisse, also passt keine Signatur:

tr -d '\n' < webhook.token > webhook.tmp && mv webhook.tmp webhook.token
kubectl -n flux-system create secret generic webhook-token \
  --from-file=token=webhook.token --dry-run=client -o yaml | kubectl replace -f -
P=$(kubectl -n flux-system get receiver github-fleet -o jsonpath='{.status.webhookPath}')
SIG=$(printf '%s' "$BODY" | openssl dgst -sha256 -hmac "$(cat webhook.token)" | cut -d' ' -f2)
curl -s -w '%{http_code}\n' -H "X-GitHub-Event: push" \
  -H "X-Hub-Signature-256: sha256=$SIG" -d "$BODY" localhost:30900$P

Erwartet (gekürzt):

secret/webhook-token replaced
200

P musst du neu holen: Der Pfad des Receivers ist ein Hash, in den das Geheimnis eingeht. Ein neues Geheimnis heißt auch eine neue URL, und die muss auf GitHub im Webhook nachgetragen werden.

Fortschritt speichern? Kostenlos registrieren

Auswertung

Runden ohne Hinweis Urteil
5 Du kannst Flux betreiben.
3–4 Solide. Lies die Tage zu den verpatzten Runden noch einmal.
0–2 Mach Tag 4, 8, 10, 11 und 12 noch einmal, sie liefern alle fünf Fehlerbilder.

Alle fünf Fehler haben eines gemeinsam: Flux meldete entweder gar nichts oder nur an einer Stelle, an der niemand von selbst nachsieht. Das ist der eigentliche Lehrstoff dieses Tages. Bei GitOps geht selten etwas laut kaputt. Häufiger passiert still nicht das, was du erwartest.