Tag 4: Kustomization vertieft
Ziel: notes-api eine Datenbank geben und die Reihenfolge, das Warten, Variablen und das Anhalten von Kustomizations beherrschen. · Dauer: ca. 90 min · Voraussetzung: Tag 3
Briefing
Die Kustomization hat mehr Felder als path und
prune. Heute kommen die wichtigsten dazu:
| Feld | Wirkung |
|---|---|
wait: true |
erst Ready, wenn alle angelegten Objekte bereit
sind |
timeout |
so lange warten, dann Ready=False (Standard: wie
interval) |
dependsOn |
erst anwenden, wenn eine andere Kustomization Ready
ist |
postBuild.substitute |
Variablen ${NAME} in den Manifesten ersetzen |
postBuild.substituteFrom |
Variablen aus einer ConfigMap oder einem Secret holen |
suspend: true |
Abgleich anhalten (setzt flux suspend für dich) |
Der rote Faden: notes-api bekommt Postgres. Die Datenbank ist eine
eigene Kustomization notes-db, und notes
startet erst, wenn sie bereit ist.
Kustomization notes-db (wait) ──Ready──► Kustomization notes (dependsOn, wait)
Namespace notes Secret notes-api
Secret notes-db, PVC Deployment notes (+ migrate)
Deployment + Service notes-db Service notes :30080
Drill 1: Postgres
cd ~/flux-lab/fleet
mkdir -p apps/notes-db
cd apps/notes-db
cat > secret.yaml <<'EOF'
apiVersion: v1
kind: Secret
metadata:
name: notes-db
namespace: notes
stringData:
password: lab-db-pass-123
EOF
cat > pvc.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: notes-db
namespace: notes
spec:
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 1Gi
EOF
cat > deployment.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
name: notes-db
namespace: notes
spec:
replicas: 1
strategy:
type: Recreate
selector:
matchLabels:
app: notes-db
template:
metadata:
labels:
app: notes-db
spec:
containers:
- name: postgres
image: postgres:18.6-alpine
env:
- name: POSTGRES_USER
value: notes
- name: POSTGRES_DB
value: notes
- name: POSTGRES_PASSWORD
valueFrom:
secretKeyRef:
name: notes-db
key: password
- name: PGDATA
value: /var/lib/postgresql/data/pgdata
ports:
- containerPort: 5432
readinessProbe:
exec:
command: ["pg_isready", "-U", "notes", "-d", "notes"]
volumeMounts:
- name: data
mountPath: /var/lib/postgresql/data
volumes:
- name: data
persistentVolumeClaim:
claimName: notes-db
EOF
cat > service.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
name: notes-db
namespace: notes
spec:
selector:
app: notes-db
ports:
- port: 5432
EOF
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- secret.yaml
- pvc.yaml
- deployment.yaml
- service.yaml
EOF
cd ~/flux-lab/fleetstrategy: Recreate: Zwei Postgres-Pods dürfen nie gleichzeitig auf dasselbe Volume schreiben. Bei einem Update stoppt Kubernetes erst den alten Pod.- Das Passwort steht im Klartext in Git, wie der API-Key. Tag 8 verschlüsselt beides.
Die Kustomization dazu, mit --wait:
flux create kustomization notes-db --source=GitRepository/flux-system \
--path=./apps/notes-db --prune=true --interval=10m --wait=true \
--export > clusters/lab/notes-db.yaml
grep -A1 -E 'timeout|wait' clusters/lab/notes-db.yamlErwartet:
timeout: 2m0s
wait: true
flux create setzt bei --wait von selbst
einen Timeout von zwei Minuten.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein Namespace zieht um
Der Namespace notes steht noch in
apps/notes. Auf einem frischen Cluster käme
notes-db zuerst und fände keinen Namespace. Er muss also zu
notes-db.
Ein Objekt von einer Kustomization in eine andere zu verschieben, ist
bei Flux gefährlich. Die alte Kustomization sieht, dass der Namespace
aus ihrem Ordner verschwunden ist, und räumt ihn per prune
ab. Mit einem Namespace verschwindet alles, was darin liegt.
Ausprobiert: Ein schlichtes Verschieben in einem einzigen Commit hat im Lab den Namespace
notesgelöscht und neu angelegt. notes-api war eine Minute lang weg, und mit dem Namespace verschwanden auch das Volume und alle Daten. Mach es deshalb in zwei Schritten.
Schritt 1: Der Namespace bekommt eine Annotation,
die ihn vor prune schützt.
cat > apps/notes/namespace.yaml <<'EOF'
apiVersion: v1
kind: Namespace
metadata:
name: notes
annotations:
kustomize.toolkit.fluxcd.io/prune: disabled
EOF
git add -A
git commit -m "Postgres für notes, Namespace notes nie prunen"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notesErwartet (gekürzt):
✔ applied revision main@sha1:a10caaee769338dafa03c28963848786c0f2ea5a
...
✔ applied revision main@sha1:a10caaee769338dafa03c28963848786c0f2ea5a
Erst wenn die Annotation im Cluster am Namespace steht, ist er geschützt.
Schritt 2: Jetzt der Umzug.
git mv apps/notes/namespace.yaml apps/notes-db/namespace.yaml
sed -i '/namespace.yaml/d' apps/notes/kustomization.yaml
sed -i 's/^resources:/resources:\n - namespace.yaml/' apps/notes-db/kustomization.yaml
git commit -am "Namespace notes gehört jetzt notes-db"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes-db
kubectl get ns notes -o jsonpath='{.metadata.labels.kustomize\.toolkit\.fluxcd\.io/name}{"\n"}'Erwartet (gekürzt):
✔ applied revision main@sha1:8e28df7feaa7b27c26ebfa4bf242bd9257a15682
...
notes-db
Das Label kustomize.toolkit.fluxcd.io/name nennt die
Kustomization, der ein Objekt gehört. Der Namespace gehört jetzt
notes-db und ist nicht neu angelegt worden:
kubectl -n notes get podsErwartet (gekürzt): Die Pods von notes-api sind älter als die letzten
Minuten, und notes-db läuft.
Fortschritt speichern? Kostenlos registrieren
Drill 3: notes-api an die Datenbank
notes-api braucht zwei neue Umgebungsvariablen und einen
Init-Container, der vor dem Start das Datenbankschema anlegt
(migrate). Ersetze
apps/notes/deployment.yaml:
cat > apps/notes/deployment.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
name: notes
namespace: notes
spec:
replicas: 2
selector:
matchLabels:
app: notes
template:
metadata:
labels:
app: notes
spec:
initContainers:
- name: migrate
image: ghcr.io/thomaszachmann/notes-api:0.5.3
args: ["migrate"]
env:
- name: DB_PASSWORD
valueFrom:
secretKeyRef:
name: notes-db
key: password
- name: NOTES_DB_URL
value: postgres://notes:$(DB_PASSWORD)@notes-db:5432/notes?sslmode=disable
containers:
- name: api
image: ghcr.io/thomaszachmann/notes-api:0.5.3
ports:
- containerPort: 8080
env:
- name: NOTES_API_KEY
valueFrom:
secretKeyRef:
name: notes-api
key: apiKey
- name: DB_PASSWORD
valueFrom:
secretKeyRef:
name: notes-db
key: password
- name: NOTES_DB_URL
value: postgres://notes:$(DB_PASSWORD)@notes-db:5432/notes?sslmode=disable
readinessProbe:
httpGet:
path: /healthz
port: 8080
EOF$(DB_PASSWORD) ist keine Shell-Variable, sondern eine
Kubernetes-Schreibweise: Sie setzt eine vorher definierte
Umgebungsvariable ein.
Die Kustomization notes bekommt dependsOn,
wait und einen Timeout:
flux create kustomization notes --source=GitRepository/flux-system \
--path=./apps/notes --prune=true --interval=5m --wait=true --timeout=2m \
--depends-on=notes-db --export > clusters/lab/notes.yaml
git commit -am "notes-api mit Postgres"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes
flux get kustomizationsErwartet (gekürzt):
NAME REVISION SUSPENDED READY MESSAGE
flux-system main@sha1:60742105 False True Applied revision: main@sha1:60742105
notes main@sha1:60742105 False True Applied revision: main@sha1:60742105
notes-db main@sha1:60742105 False True Applied revision: main@sha1:60742105
podinfo 6.17.0@sha256:3a5e82b1 False True Applied revision: 6.17.0@sha256:3a5e82b1
registry main@sha1:60742105 False True Applied revision: main@sha1:60742105
Jetzt überlebt eine Notiz einen Neustart:
curl -s -H "X-API-Key: lab-api-key-123" -d '{"text":"Hallo Flux"}' localhost:30080/notes
kubectl -n notes rollout restart deploy/notes
kubectl -n notes rollout status deploy/notes
curl -s localhost:30080/notesErwartet (gekürzt, die ID weicht ab):
{"id":"ec17fa30-3215-4493-841d-8e7dbb16dae7","text":"Hallo Flux"}
...
[{"id":"ec17fa30-3215-4493-841d-8e7dbb16dae7","text":"Hallo Flux"}]
Fortschritt speichern? Kostenlos registrieren
Drill 4: Was wait bringt
Ohne wait meldet eine Kustomization Ready,
sobald der API-Server die Objekte angenommen hat, egal ob die Pods je
starten. Probier eine Version, die es nicht gibt:
sed -i 's/notes-api:0.5.3/notes-api:0.9.99/g' apps/notes/deployment.yaml
git commit -am "notes-api 0.9.99"
git push
flux reconcile source git flux-system
flux reconcile kustomization notesDie CLI wartet jetzt. Nach gut drei Minuten (zwei Minuten Timeout plus Nachlauf):
flux get kustomization notesErwartet:
NAME REVISION SUSPENDED READY MESSAGE
notes main@sha1:60742105 False False health check failed after 2m0.122046047s: timeout waiting for: [Deployment/notes/notes status: 'InProgress']
kubectl -n notes get pods
curl -s localhost:30080/versionErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
notes-79c46dfb9c-zkq6d 0/1 Init:ErrImagePull 0 3m20s
notes-86b7bffdbb-4h7pf 1/1 Running 0 3m44s
notes-86b7bffdbb-nh9qc 1/1 Running 0 3m40s
...
0.5.3
- Die alten Pods laufen weiter, das erledigt der Rolling Update von Kubernetes.
- Flux hat das neue Manifest durchaus angewendet.
REVISIONzeigt trotzdem den alten Commit, denn als „angewendet“ zählt eine Revision erst, wenn die Health-Checks bestanden sind. READY=Falseist das Signal, auf das du später Alarme hängst (Tag 11).
git revert --no-edit HEAD
git push
flux reconcile source git flux-system
flux reconcile kustomization notesErwartet (gekürzt):
[main 39634fa] Revert "notes-api 0.9.99"
...
✔ applied revision main@sha1:39634fad5a6246cad3a6348f4a7d2439b4adba6c
Fortschritt speichern? Kostenlos registrieren
Drill 5: Was dependsOn
bringt
Jetzt geht die Datenbank kaputt:
sed -i 's/postgres:18.6-alpine/postgres:99-alpine/' apps/notes-db/deployment.yaml
git commit -am "Postgres 99"
git push
flux reconcile source git flux-system
flux get kustomizations notes notes-dbErwartet (nach ein paar Sekunden):
NAME REVISION SUSPENDED READY MESSAGE
notes main@sha1:39634fad False False dependency 'flux-system/notes-db' revision is not up to date
notes-db main@sha1:39634fad False Unknown Reconciliation in progress
notes wartet, bis notes-db die neue
Revision gesund angewendet hat. Ein Update von notes-api würde jetzt
nicht ausgerollt. Schützen kann dependsOn die laufende
Datenbank aber nicht:
kubectl -n notes get podsErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
notes-78cd6c995-khnw2 0/1 Running 0 105s
notes-78cd6c995-qfd2h 0/1 Running 0 101s
notes-db-784b5556cd-27kqw 0/1 ImagePullBackOff 0 76s
Recreate hat den alten Postgres gestoppt, bevor der neue
lief. Ohne Datenbank fallen die Readiness-Probes von notes-api durch,
die API ist nicht erreichbar. Zurück:
git revert --no-edit HEAD
git push
flux reconcile source git flux-system
flux reconcile kustomization notes-db
flux reconcile kustomization notes
curl -s localhost:30080/notesErwartet (gekürzt):
...
[{"id":"ec17fa30-3215-4493-841d-8e7dbb16dae7","text":"Hallo Flux"}]
Die Notiz ist noch da, sie liegt auf dem Volume.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Variablen
Die Version von notes-api steht zweimal im Deployment, und jeder
Cluster soll eine eigene Zahl von Replicas haben können. Dafür ersetzt
Flux nach dem Kustomize-Build Variablen der Form
${NAME}:
sed -i 's/notes-api:0.5.3/notes-api:${NOTES_VERSION}/g' apps/notes/deployment.yaml
sed -i 's/replicas: 2/replicas: ${NOTES_REPLICAS:=1}/' apps/notes/deployment.yaml
grep -n -E 'image|replicas' apps/notes/deployment.yamlErwartet:
7: replicas: ${NOTES_REPLICAS:=1}
18: image: ghcr.io/thomaszachmann/notes-api:${NOTES_VERSION}
30: image: ghcr.io/thomaszachmann/notes-api:${NOTES_VERSION}
${NOTES_REPLICAS:=1} hat einen Standardwert,
${NOTES_VERSION} nicht. Die Werte kommen aus zwei Quellen:
einer ConfigMap, die für den ganzen Cluster gilt, und direkt aus der
Kustomization.
cat > clusters/lab/cluster-vars.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
name: cluster-vars
namespace: flux-system
data:
CLUSTER_NAME: lab
NOTES_VERSION: 0.5.3
EOF
cat >> clusters/lab/notes.yaml <<'EOF'
postBuild:
substitute:
NOTES_REPLICAS: "2"
substituteFrom:
- kind: ConfigMap
name: cluster-vars
EOFBevor du pushst, siehst du dir das Ergebnis an.
flux build baut die Manifeste lokal, mit den Variablen aus
dem Cluster:
flux build kustomization notes --path ./apps/notes | grep -E 'replicas|image:'Erwartet:
replicas: 2
image: ghcr.io/thomaszachmann/notes-api:0.5.3
image: ghcr.io/thomaszachmann/notes-api:0.5.3
git add -A
git commit -m "notes: Version und Replicas als Variablen"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes
kubectl -n notes get deploy notes \
-o jsonpath='{.spec.replicas} {.spec.template.spec.containers[0].image}{"\n"}'Erwartet (gekürzt):
✔ applied revision main@sha1:d8043e69aaae6c67bf7369fb241be0e27680f2f2
2 ghcr.io/thomaszachmann/notes-api:0.5.3
Was eine Änderung bewirken würde, zeigt flux diff,
wieder ohne Push. Stell testweise drei Replicas ein:
sed -i 's/NOTES_REPLICAS: "2"/NOTES_REPLICAS: "3"/' clusters/lab/notes.yaml
flux diff kustomization notes --path ./apps/notes \
--kustomization-file clusters/lab/notes.yamlErwartet:
► Deployment/notes/notes drifted
metadata.generation
± value change
- 5
+ 6
spec.replicas
± value change
- 2
+ 3
⚠️ identified at least one change, exiting with non-zero exit code
git checkout clusters/lab/notes.yamlDas verwirft die Änderung wieder. flux diff ist das
Werkzeug für Pull Requests: Es zeigt vor dem Merge, was im Cluster
passieren würde (Tag 13).
Fortschritt speichern? Kostenlos registrieren
Drill 7: Anhalten
Im Störfall will jemand von Hand eingreifen, ohne dass Flux es zurückdreht:
flux suspend kustomization notes
kubectl -n notes scale deploy notes --replicas=4
flux reconcile kustomization notes
flux get kustomization notesErwartet:
► suspending kustomization notes in flux-system namespace
✔ kustomization suspended
deployment.apps/notes scaled
✗ resource is suspended
NAME REVISION SUSPENDED READY MESSAGE
notes main@sha1:d8043e69 True True Applied revision: main@sha1:d8043e69
Die vier Replicas bleiben. Nach dem Störfall:
flux resume kustomization notes
kubectl -n notes get deploy notesErwartet (gekürzt):
✔ applied revision main@sha1:d8043e69aaae6c67bf7369fb241be0e27680f2f2
NAME READY UP-TO-DATE AVAILABLE AGE
notes 2/2 2 2 11m
resume gleicht sofort ab und stellt den Stand aus Git
wieder her.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
flux get kustomizationsErwartet: fünf Kustomizations, alle READY
True.
flux get kustomization notesErwartet: SUSPENDED False.
curl -s localhost:30080/notesErwartet: deine Notiz „Hallo Flux“.
diff -r ~/flux-lab/fleet/apps ~/flux-lab/code/loesung/tag04/appsErwartet: keine Ausgabe.
Challenge
Jemand vertippt sich in der ConfigMap:
sed -i 's/ NOTES_VERSION:/ NOTES_VERSON:/' clusters/lab/cluster-vars.yaml
git commit -am "Tippfehler"
git push
flux reconcile kustomization flux-system --with-sourceWas passiert mit notes-api? Wird das Image zu notes-api:
ohne Version?
Lösung
flux get kustomization notesErwartet:
NAME REVISION SUSPENDED READY MESSAGE
notes main@sha1:d8043e69 False False post build failed for 'Deployment.v1.apps/notes': envsubst error: variable substitution failed: variable not set (strict mode): "NOTES_VERSION"
Flux ersetzt Variablen im Strict Mode: Fehlt eine Variable ohne Standardwert, bricht der Build ab, und nichts wird angewendet. notes-api läuft unverändert weiter.
git revert --no-edit HEAD
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notesErwartet (gekürzt):
...
✔ applied revision main@sha1:c1eb001d3263eb43ffb4e4ed64d3aaefddced91e
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Datenbanken gehören nicht in ein Deployment. Im Betrieb nimmst du einen Postgres-Operator wie CloudNativePG oder eine Cloud-Datenbank. Ein Fehler wie Drill 5 beendet dann nicht die einzige Instanz.
- Gefährliche Objekte schützen: Namespaces, PVCs und
CRDs mit Daten bekommen
kustomize.toolkit.fluxcd.io/prune: disabled. Ein versehentlich gelöschter Ordner in Git löscht dann nicht die Produktionsdaten. - Variablen sparsam:
postBuildist praktisch für wenige Werte pro Cluster. Unterschiede zwischen Umgebungen löst du besser mit Kustomize-Overlays (Tag 5). Dort siehst du jede Datei so, wie sie angewendet wird.