Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 4: Kustomization vertieft

Ziel: notes-api eine Datenbank geben und die Reihenfolge, das Warten, Variablen und das Anhalten von Kustomizations beherrschen. · Dauer: ca. 90 min · Voraussetzung: Tag 3

Briefing

Die Kustomization hat mehr Felder als path und prune. Heute kommen die wichtigsten dazu:

Feld Wirkung
wait: true erst Ready, wenn alle angelegten Objekte bereit sind
timeout so lange warten, dann Ready=False (Standard: wie interval)
dependsOn erst anwenden, wenn eine andere Kustomization Ready ist
postBuild.substitute Variablen ${NAME} in den Manifesten ersetzen
postBuild.substituteFrom Variablen aus einer ConfigMap oder einem Secret holen
suspend: true Abgleich anhalten (setzt flux suspend für dich)

Der rote Faden: notes-api bekommt Postgres. Die Datenbank ist eine eigene Kustomization notes-db, und notes startet erst, wenn sie bereit ist.

 Kustomization notes-db (wait)  ──Ready──►  Kustomization notes (dependsOn, wait)
   Namespace notes                            Secret notes-api
   Secret notes-db, PVC                       Deployment notes (+ migrate)
   Deployment + Service notes-db              Service notes :30080

Drill 1: Postgres

cd ~/flux-lab/fleet
mkdir -p apps/notes-db
cd apps/notes-db
cat > secret.yaml <<'EOF'
apiVersion: v1
kind: Secret
metadata:
  name: notes-db
  namespace: notes
stringData:
  password: lab-db-pass-123
EOF
cat > pvc.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: notes-db
  namespace: notes
spec:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 1Gi
EOF
cat > deployment.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes-db
  namespace: notes
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: notes-db
  template:
    metadata:
      labels:
        app: notes-db
    spec:
      containers:
        - name: postgres
          image: postgres:18.6-alpine
          env:
            - name: POSTGRES_USER
              value: notes
            - name: POSTGRES_DB
              value: notes
            - name: POSTGRES_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: notes-db
                  key: password
            - name: PGDATA
              value: /var/lib/postgresql/data/pgdata
          ports:
            - containerPort: 5432
          readinessProbe:
            exec:
              command: ["pg_isready", "-U", "notes", "-d", "notes"]
          volumeMounts:
            - name: data
              mountPath: /var/lib/postgresql/data
      volumes:
        - name: data
          persistentVolumeClaim:
            claimName: notes-db
EOF
cat > service.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
  name: notes-db
  namespace: notes
spec:
  selector:
    app: notes-db
  ports:
    - port: 5432
EOF
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - secret.yaml
  - pvc.yaml
  - deployment.yaml
  - service.yaml
EOF
cd ~/flux-lab/fleet
  • strategy: Recreate: Zwei Postgres-Pods dürfen nie gleichzeitig auf dasselbe Volume schreiben. Bei einem Update stoppt Kubernetes erst den alten Pod.
  • Das Passwort steht im Klartext in Git, wie der API-Key. Tag 8 verschlüsselt beides.

Die Kustomization dazu, mit --wait:

flux create kustomization notes-db --source=GitRepository/flux-system \
  --path=./apps/notes-db --prune=true --interval=10m --wait=true \
  --export > clusters/lab/notes-db.yaml
grep -A1 -E 'timeout|wait' clusters/lab/notes-db.yaml

Erwartet:

  timeout: 2m0s
  wait: true

flux create setzt bei --wait von selbst einen Timeout von zwei Minuten.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein Namespace zieht um

Der Namespace notes steht noch in apps/notes. Auf einem frischen Cluster käme notes-db zuerst und fände keinen Namespace. Er muss also zu notes-db.

Ein Objekt von einer Kustomization in eine andere zu verschieben, ist bei Flux gefährlich. Die alte Kustomization sieht, dass der Namespace aus ihrem Ordner verschwunden ist, und räumt ihn per prune ab. Mit einem Namespace verschwindet alles, was darin liegt.

Ausprobiert: Ein schlichtes Verschieben in einem einzigen Commit hat im Lab den Namespace notes gelöscht und neu angelegt. notes-api war eine Minute lang weg, und mit dem Namespace verschwanden auch das Volume und alle Daten. Mach es deshalb in zwei Schritten.

Schritt 1: Der Namespace bekommt eine Annotation, die ihn vor prune schützt.

cat > apps/notes/namespace.yaml <<'EOF'
apiVersion: v1
kind: Namespace
metadata:
  name: notes
  annotations:
    kustomize.toolkit.fluxcd.io/prune: disabled
EOF
git add -A
git commit -m "Postgres für notes, Namespace notes nie prunen"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes

Erwartet (gekürzt):

✔ applied revision main@sha1:a10caaee769338dafa03c28963848786c0f2ea5a
...
✔ applied revision main@sha1:a10caaee769338dafa03c28963848786c0f2ea5a

Erst wenn die Annotation im Cluster am Namespace steht, ist er geschützt.

Schritt 2: Jetzt der Umzug.

git mv apps/notes/namespace.yaml apps/notes-db/namespace.yaml
sed -i '/namespace.yaml/d' apps/notes/kustomization.yaml
sed -i 's/^resources:/resources:\n  - namespace.yaml/' apps/notes-db/kustomization.yaml
git commit -am "Namespace notes gehört jetzt notes-db"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes-db
kubectl get ns notes -o jsonpath='{.metadata.labels.kustomize\.toolkit\.fluxcd\.io/name}{"\n"}'

Erwartet (gekürzt):

✔ applied revision main@sha1:8e28df7feaa7b27c26ebfa4bf242bd9257a15682
...
notes-db

Das Label kustomize.toolkit.fluxcd.io/name nennt die Kustomization, der ein Objekt gehört. Der Namespace gehört jetzt notes-db und ist nicht neu angelegt worden:

kubectl -n notes get pods

Erwartet (gekürzt): Die Pods von notes-api sind älter als die letzten Minuten, und notes-db läuft.

Fortschritt speichern? Kostenlos registrieren

Drill 3: notes-api an die Datenbank

notes-api braucht zwei neue Umgebungsvariablen und einen Init-Container, der vor dem Start das Datenbankschema anlegt (migrate). Ersetze apps/notes/deployment.yaml:

cat > apps/notes/deployment.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes
  namespace: notes
spec:
  replicas: 2
  selector:
    matchLabels:
      app: notes
  template:
    metadata:
      labels:
        app: notes
    spec:
      initContainers:
        - name: migrate
          image: ghcr.io/thomaszachmann/notes-api:0.5.3
          args: ["migrate"]
          env:
            - name: DB_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: notes-db
                  key: password
            - name: NOTES_DB_URL
              value: postgres://notes:$(DB_PASSWORD)@notes-db:5432/notes?sslmode=disable
      containers:
        - name: api
          image: ghcr.io/thomaszachmann/notes-api:0.5.3
          ports:
            - containerPort: 8080
          env:
            - name: NOTES_API_KEY
              valueFrom:
                secretKeyRef:
                  name: notes-api
                  key: apiKey
            - name: DB_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: notes-db
                  key: password
            - name: NOTES_DB_URL
              value: postgres://notes:$(DB_PASSWORD)@notes-db:5432/notes?sslmode=disable
          readinessProbe:
            httpGet:
              path: /healthz
              port: 8080
EOF

$(DB_PASSWORD) ist keine Shell-Variable, sondern eine Kubernetes-Schreibweise: Sie setzt eine vorher definierte Umgebungsvariable ein.

Die Kustomization notes bekommt dependsOn, wait und einen Timeout:

flux create kustomization notes --source=GitRepository/flux-system \
  --path=./apps/notes --prune=true --interval=5m --wait=true --timeout=2m \
  --depends-on=notes-db --export > clusters/lab/notes.yaml
git commit -am "notes-api mit Postgres"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes
flux get kustomizations

Erwartet (gekürzt):

NAME        REVISION                SUSPENDED   READY   MESSAGE
flux-system main@sha1:60742105      False       True    Applied revision: main@sha1:60742105
notes       main@sha1:60742105      False       True    Applied revision: main@sha1:60742105
notes-db    main@sha1:60742105      False       True    Applied revision: main@sha1:60742105
podinfo     6.17.0@sha256:3a5e82b1  False       True    Applied revision: 6.17.0@sha256:3a5e82b1
registry    main@sha1:60742105      False       True    Applied revision: main@sha1:60742105

Jetzt überlebt eine Notiz einen Neustart:

curl -s -H "X-API-Key: lab-api-key-123" -d '{"text":"Hallo Flux"}' localhost:30080/notes
kubectl -n notes rollout restart deploy/notes
kubectl -n notes rollout status deploy/notes
curl -s localhost:30080/notes

Erwartet (gekürzt, die ID weicht ab):

{"id":"ec17fa30-3215-4493-841d-8e7dbb16dae7","text":"Hallo Flux"}
...
[{"id":"ec17fa30-3215-4493-841d-8e7dbb16dae7","text":"Hallo Flux"}]

Fortschritt speichern? Kostenlos registrieren

Drill 4: Was wait bringt

Ohne wait meldet eine Kustomization Ready, sobald der API-Server die Objekte angenommen hat, egal ob die Pods je starten. Probier eine Version, die es nicht gibt:

sed -i 's/notes-api:0.5.3/notes-api:0.9.99/g' apps/notes/deployment.yaml
git commit -am "notes-api 0.9.99"
git push
flux reconcile source git flux-system
flux reconcile kustomization notes

Die CLI wartet jetzt. Nach gut drei Minuten (zwei Minuten Timeout plus Nachlauf):

flux get kustomization notes

Erwartet:

NAME    REVISION            SUSPENDED   READY   MESSAGE
notes   main@sha1:60742105  False       False   health check failed after 2m0.122046047s: timeout waiting for: [Deployment/notes/notes status: 'InProgress']
kubectl -n notes get pods
curl -s localhost:30080/version

Erwartet (gekürzt):

NAME                        READY   STATUS              RESTARTS   AGE
notes-79c46dfb9c-zkq6d      0/1     Init:ErrImagePull   0          3m20s
notes-86b7bffdbb-4h7pf      1/1     Running             0          3m44s
notes-86b7bffdbb-nh9qc      1/1     Running             0          3m40s
...
0.5.3
  • Die alten Pods laufen weiter, das erledigt der Rolling Update von Kubernetes.
  • Flux hat das neue Manifest durchaus angewendet. REVISION zeigt trotzdem den alten Commit, denn als „angewendet“ zählt eine Revision erst, wenn die Health-Checks bestanden sind.
  • READY=False ist das Signal, auf das du später Alarme hängst (Tag 11).
git revert --no-edit HEAD
git push
flux reconcile source git flux-system
flux reconcile kustomization notes

Erwartet (gekürzt):

[main 39634fa] Revert "notes-api 0.9.99"
...
✔ applied revision main@sha1:39634fad5a6246cad3a6348f4a7d2439b4adba6c

Fortschritt speichern? Kostenlos registrieren

Drill 5: Was dependsOn bringt

Jetzt geht die Datenbank kaputt:

sed -i 's/postgres:18.6-alpine/postgres:99-alpine/' apps/notes-db/deployment.yaml
git commit -am "Postgres 99"
git push
flux reconcile source git flux-system
flux get kustomizations notes notes-db

Erwartet (nach ein paar Sekunden):

NAME        REVISION            SUSPENDED   READY   MESSAGE
notes       main@sha1:39634fad  False       False   dependency 'flux-system/notes-db' revision is not up to date
notes-db    main@sha1:39634fad  False       Unknown Reconciliation in progress

notes wartet, bis notes-db die neue Revision gesund angewendet hat. Ein Update von notes-api würde jetzt nicht ausgerollt. Schützen kann dependsOn die laufende Datenbank aber nicht:

kubectl -n notes get pods

Erwartet (gekürzt):

NAME                        READY   STATUS             RESTARTS   AGE
notes-78cd6c995-khnw2       0/1     Running            0          105s
notes-78cd6c995-qfd2h       0/1     Running            0          101s
notes-db-784b5556cd-27kqw   0/1     ImagePullBackOff   0          76s

Recreate hat den alten Postgres gestoppt, bevor der neue lief. Ohne Datenbank fallen die Readiness-Probes von notes-api durch, die API ist nicht erreichbar. Zurück:

git revert --no-edit HEAD
git push
flux reconcile source git flux-system
flux reconcile kustomization notes-db
flux reconcile kustomization notes
curl -s localhost:30080/notes

Erwartet (gekürzt):

...
[{"id":"ec17fa30-3215-4493-841d-8e7dbb16dae7","text":"Hallo Flux"}]

Die Notiz ist noch da, sie liegt auf dem Volume.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Variablen

Die Version von notes-api steht zweimal im Deployment, und jeder Cluster soll eine eigene Zahl von Replicas haben können. Dafür ersetzt Flux nach dem Kustomize-Build Variablen der Form ${NAME}:

sed -i 's/notes-api:0.5.3/notes-api:${NOTES_VERSION}/g' apps/notes/deployment.yaml
sed -i 's/replicas: 2/replicas: ${NOTES_REPLICAS:=1}/' apps/notes/deployment.yaml
grep -n -E 'image|replicas' apps/notes/deployment.yaml

Erwartet:

7:  replicas: ${NOTES_REPLICAS:=1}
18:          image: ghcr.io/thomaszachmann/notes-api:${NOTES_VERSION}
30:          image: ghcr.io/thomaszachmann/notes-api:${NOTES_VERSION}

${NOTES_REPLICAS:=1} hat einen Standardwert, ${NOTES_VERSION} nicht. Die Werte kommen aus zwei Quellen: einer ConfigMap, die für den ganzen Cluster gilt, und direkt aus der Kustomization.

cat > clusters/lab/cluster-vars.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-vars
  namespace: flux-system
data:
  CLUSTER_NAME: lab
  NOTES_VERSION: 0.5.3
EOF
cat >> clusters/lab/notes.yaml <<'EOF'
  postBuild:
    substitute:
      NOTES_REPLICAS: "2"
    substituteFrom:
      - kind: ConfigMap
        name: cluster-vars
EOF

Bevor du pushst, siehst du dir das Ergebnis an. flux build baut die Manifeste lokal, mit den Variablen aus dem Cluster:

flux build kustomization notes --path ./apps/notes | grep -E 'replicas|image:'

Erwartet:

  replicas: 2
        image: ghcr.io/thomaszachmann/notes-api:0.5.3
        image: ghcr.io/thomaszachmann/notes-api:0.5.3
git add -A
git commit -m "notes: Version und Replicas als Variablen"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes
kubectl -n notes get deploy notes \
  -o jsonpath='{.spec.replicas} {.spec.template.spec.containers[0].image}{"\n"}'

Erwartet (gekürzt):

✔ applied revision main@sha1:d8043e69aaae6c67bf7369fb241be0e27680f2f2
2 ghcr.io/thomaszachmann/notes-api:0.5.3

Was eine Änderung bewirken würde, zeigt flux diff, wieder ohne Push. Stell testweise drei Replicas ein:

sed -i 's/NOTES_REPLICAS: "2"/NOTES_REPLICAS: "3"/' clusters/lab/notes.yaml
flux diff kustomization notes --path ./apps/notes \
  --kustomization-file clusters/lab/notes.yaml

Erwartet:

► Deployment/notes/notes drifted

metadata.generation
± value change
- 5
+ 6

spec.replicas
± value change
- 2
+ 3

⚠️ identified at least one change, exiting with non-zero exit code
git checkout clusters/lab/notes.yaml

Das verwirft die Änderung wieder. flux diff ist das Werkzeug für Pull Requests: Es zeigt vor dem Merge, was im Cluster passieren würde (Tag 13).

Fortschritt speichern? Kostenlos registrieren

Drill 7: Anhalten

Im Störfall will jemand von Hand eingreifen, ohne dass Flux es zurückdreht:

flux suspend kustomization notes
kubectl -n notes scale deploy notes --replicas=4
flux reconcile kustomization notes
flux get kustomization notes

Erwartet:

► suspending kustomization notes in flux-system namespace
✔ kustomization suspended
deployment.apps/notes scaled
✗ resource is suspended
NAME    REVISION            SUSPENDED   READY   MESSAGE
notes   main@sha1:d8043e69  True        True    Applied revision: main@sha1:d8043e69

Die vier Replicas bleiben. Nach dem Störfall:

flux resume kustomization notes
kubectl -n notes get deploy notes

Erwartet (gekürzt):

✔ applied revision main@sha1:d8043e69aaae6c67bf7369fb241be0e27680f2f2
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
notes   2/2     2            2           11m

resume gleicht sofort ab und stellt den Stand aus Git wieder her.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

flux get kustomizations

Erwartet: fünf Kustomizations, alle READY True.

flux get kustomization notes

Erwartet: SUSPENDED False.

curl -s localhost:30080/notes

Erwartet: deine Notiz „Hallo Flux“.

diff -r ~/flux-lab/fleet/apps ~/flux-lab/code/loesung/tag04/apps

Erwartet: keine Ausgabe.

Challenge

Jemand vertippt sich in der ConfigMap:

sed -i 's/  NOTES_VERSION:/  NOTES_VERSON:/' clusters/lab/cluster-vars.yaml
git commit -am "Tippfehler"
git push
flux reconcile kustomization flux-system --with-source

Was passiert mit notes-api? Wird das Image zu notes-api: ohne Version?

Lösung

flux get kustomization notes

Erwartet:

NAME    REVISION            SUSPENDED   READY   MESSAGE
notes   main@sha1:d8043e69  False       False   post build failed for 'Deployment.v1.apps/notes': envsubst error: variable substitution failed: variable not set (strict mode): "NOTES_VERSION"

Flux ersetzt Variablen im Strict Mode: Fehlt eine Variable ohne Standardwert, bricht der Build ab, und nichts wird angewendet. notes-api läuft unverändert weiter.

git revert --no-edit HEAD
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes

Erwartet (gekürzt):

...
✔ applied revision main@sha1:c1eb001d3263eb43ffb4e4ed64d3aaefddced91e

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Datenbanken gehören nicht in ein Deployment. Im Betrieb nimmst du einen Postgres-Operator wie CloudNativePG oder eine Cloud-Datenbank. Ein Fehler wie Drill 5 beendet dann nicht die einzige Instanz.
  • Gefährliche Objekte schützen: Namespaces, PVCs und CRDs mit Daten bekommen kustomize.toolkit.fluxcd.io/prune: disabled. Ein versehentlich gelöschter Ordner in Git löscht dann nicht die Produktionsdaten.
  • Variablen sparsam: postBuild ist praktisch für wenige Werte pro Cluster. Unterschiede zwischen Umgebungen löst du besser mit Kustomize-Overlays (Tag 5). Dort siehst du jede Datei so, wie sie angewendet wird.