Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 7: Helm vertieft

Ziel: Ein kaputtes Chart automatisch zurückrollen, Helm-Tests nach jedem Upgrade laufen lassen und Charts aus einem klassischen Helm-Repo und direkt aus Git installieren. · Dauer: ca. 75 min · Voraussetzung: Tag 6

Briefing

  • Ein Helm-Upgrade kann scheitern: Das Image fehlt, die Pods werden nicht bereit, ein Hook bricht ab. Ohne Vorkehrung bleibt der Release dann im Zustand failed stehen.
  • Der HelmRelease regelt das mit Remediation: Er versucht es eine bestimmte Zahl von Malen und rollt danach auf die letzte funktionierende Version zurück.
  • Helm-Tests sind Pods im Chart mit der Annotation helm.sh/hook: test. Flux kann sie nach jedem Install oder Upgrade starten. Scheitert ein Test, gilt das Upgrade als gescheitert.
  • Charts kommen aus drei Arten von Quellen:
Quelle Feld im HelmRelease Beispiel heute
OCIRepository chartRef notes-helm (Tag 6)
HelmRepository (HTTPS, index.yaml) chart.spec.sourceRef podinfo-helm
GitRepository chart.spec.sourceRef + Pfad notes-git

Bei den beiden letzten legt Flux selbst ein Zwischenobjekt HelmChart an. Das holt bzw. verpackt das Chart.

Drill 1: Ein kaputtes Chart

Zuerst bekommt der HelmRelease von notes-helm Regeln für den Fehlerfall:

cd ~/flux-lab/fleet
cat >> apps/notes-helm/release.yaml <<'EOF'
  timeout: 1m
  upgrade:
    remediation:
      retries: 1
      remediateLastFailure: true
EOF
git commit -am "notes-helm: Upgrade-Fehler zurückrollen"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes-helm
Feld Bedeutung
timeout: 1m so lange auf bereite Pods warten (Standard: 5 min)
retries: 1 nach einem Fehlschlag noch einmal versuchen
remediateLastFailure: true auch nach dem letzten Versuch zurückrollen, nicht im Fehler stehen bleiben

Jetzt veröffentlichst du ein Chart mit einer notes-api-Version, die es nicht gibt:

cd ~/flux-lab/charts
sed -i 's/^version: 0.2.0/version: 0.3.0/; s/^appVersion: "0.7.1"/appVersion: "0.9.99"/' \
  notes/Chart.yaml
helm package notes
helm push notes-0.3.0.tgz oci://localhost:30500/charts --plain-http
flux reconcile source oci notes-chart -n notes-helm

Erwartet (gekürzt):

Pushed: localhost:30500/charts/notes:0.3.0
...
✔ fetched revision 0.3.0@sha256:9c0f25a69df743349d4ae4b2c49a359e1acb51b40c157795cb7e640a2d530dfe

Beobachte den HelmRelease ein paar Minuten lang:

flux get helmreleases -n notes-helm --watch

Erwartet: Die Spalte MESSAGE wechselt über gut drei Minuten so:

Running 'upgrade' action with timeout of 1m0s
Helm rollback to previous release notes-helm/notes.v5 with chart [email protected]+a8d3ddcf1a01 succeeded
Running 'upgrade' action with timeout of 1m0s
Helm upgrade failed for release notes-helm/notes with chart [email protected]+9c0f25a69df7: timeout waiting for: [Deployment/notes-helm/notes status: 'InProgress']
Helm rollback to previous release notes-helm/notes.v7 with chart [email protected]+a8d3ddcf1a01 succeeded

Ctrl+C beendet --watch. Die Geschichte steht in Helm:

helm -n notes-helm history notes

Erwartet (gekürzt):

REVISION    STATUS      CHART                       APP VERSION DESCRIPTION
5           superseded  notes-0.2.0+a8d3ddcf1a01    0.7.1       Upgrade complete
6           failed      notes-0.3.0+9c0f25a69df7    0.9.99      Upgrade "notes" failed: timeout waiting for: [Deployment/notes-helm/notes status: 'InProgress']
7           superseded  notes-0.2.0+a8d3ddcf1a01    0.7.1       Rollback to 5
8           failed      notes-0.3.0+9c0f25a69df7    0.9.99      Upgrade "notes" failed: timeout waiting for: [Deployment/notes-helm/notes status: 'InProgress']
9           deployed    notes-0.2.0+a8d3ddcf1a01    0.7.1       Rollback to 7

Zwei Versuche, zwei Rollbacks. Danach gibt Flux auf:

kubectl -n notes-helm get hr notes \
  -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.reason}{"\n"}{end}'

Erwartet:

Stalled=True RetriesExceeded
Ready=False RollbackSucceeded
Drifted=False NoDriftDetected
Released=False UpgradeFailed
Remediated=True RollbackSucceeded

Stalled heißt: Flux versucht es mit diesem Chart nicht mehr. notes-api läuft weiter auf 0.7.1, aber der HelmRelease meldet Ready=False, bis sich etwas ändert. Die Lösung ist ein neues Chart:

sed -i 's/^version: 0.3.0/version: 0.3.1/; s/^appVersion: "0.9.99"/appVersion: "0.7.1"/' \
  notes/Chart.yaml
helm package notes
helm push notes-0.3.1.tgz oci://localhost:30500/charts --plain-http
flux reconcile source oci notes-chart -n notes-helm

Nach einer halben Minute:

flux get helmreleases -n notes-helm

Erwartet:

NAME    REVISION            SUSPENDED   READY   MESSAGE
notes   0.3.1+ed4815b6aafb  False       True    Helm upgrade succeeded for release notes-helm/notes.v10 with chart [email protected]+ed4815b6aafb

Eine neue Chart-Version setzt die Zahl der Versuche zurück.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Helm-Tests

Ein Rollout ist erst dann gut, wenn die Anwendung antwortet. Das Chart bekommt einen Test, der /version abfragt und mit der erwarteten Version vergleicht:

mkdir -p notes/templates/tests
cat > notes/templates/tests/version.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: {{ .Release.Name }}-test-version
  annotations:
    helm.sh/hook: test
    helm.sh/hook-delete-policy: before-hook-creation
spec:
  restartPolicy: Never
  containers:
    - name: curl
      image: curlimages/curl:8.23.0
      command: ["sh", "-c"]
      args:
        - test "$(curl -s http://{{ .Release.Name }}/version)" = "{{ .Values.image.tag | default .Chart.AppVersion }}"
EOF
sed -i 's/^version: 0.3.1/version: 0.4.0/' notes/Chart.yaml
helm package notes
helm push notes-0.4.0.tgz oci://localhost:30500/charts --plain-http

before-hook-creation löscht den alten Test-Pod erst vor dem nächsten Test. So kannst du dir sein Ergebnis danach noch ansehen.

Der HelmRelease schaltet die Tests ein:

cd ~/flux-lab/fleet
cat >> apps/notes-helm/release.yaml <<'EOF'
  test:
    enable: true
EOF
git commit -am "notes-helm: Helm-Tests"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile source oci notes-chart -n notes-helm

Nach einer halben Minute:

flux get helmreleases -n notes-helm
kubectl -n notes-helm get pods

Erwartet:

NAME    REVISION            SUSPENDED   READY   MESSAGE
notes   0.4.0+5de96b4085b8  False       True    Helm test succeeded for release notes-helm/notes.v11 with chart [email protected]+5de96b4085b8: 1 test hook completed successfully
NAME                     READY   STATUS      RESTARTS   AGE
notes-857b588478-4fwcx   1/1     Running     0          8m7s
notes-857b588478-6tq9j   1/1     Running     0          8m5s
notes-test-version       0/1     Completed   0          41s

Scheitert ein Test, behandelt Flux das wie ein gescheitertes Upgrade, mit allen Regeln aus Drill 1.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Ein klassisches Helm-Repo

Viele Charts liegen noch in klassischen Helm-Repos, einer Webseite mit einer index.yaml. podinfo gibt es auch so:

mkdir -p apps/podinfo-helm
cd apps/podinfo-helm
printf 'apiVersion: v1\nkind: Namespace\nmetadata:\n  name: podinfo-helm\n' > namespace.yaml
flux create source helm podinfo --namespace=podinfo-helm \
  --url=https://stefanprodan.github.io/podinfo --interval=1h --export > source.yaml
printf 'replicaCount: 1\nui:\n  message: Hallo aus Flux\n' > /tmp/werte.yaml
flux create helmrelease podinfo --namespace=podinfo-helm \
  --source=HelmRepository/podinfo --chart=podinfo --chart-version="6.17.x" \
  --values=/tmp/werte.yaml --interval=10m --export > release.yaml
rm /tmp/werte.yaml
cat release.yaml

Erwartet:

---
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
  name: podinfo
  namespace: podinfo-helm
spec:
  chart:
    spec:
      chart: podinfo
      reconcileStrategy: ChartVersion
      sourceRef:
        kind: HelmRepository
        name: podinfo
      version: 6.17.x
  interval: 10m0s
  values:
    replicaCount: 1
    ui:
      message: Hallo aus Flux

Statt chartRef steht hier chart.spec: Name und Version des Charts im Repo.

cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - namespace.yaml
  - source.yaml
  - release.yaml
EOF
cd ~/flux-lab/fleet
flux create kustomization podinfo-helm --source=GitRepository/flux-system \
  --path=./apps/podinfo-helm --prune=true --interval=10m --wait=true \
  --export > clusters/lab/podinfo-helm.yaml
git add -A
git commit -m "podinfo per Helm-Repo"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization podinfo-helm
flux get sources chart -A

Erwartet:

NAMESPACE       NAME                    REVISION    SUSPENDED   READY   MESSAGE
podinfo-helm    podinfo-helm-podinfo    6.17.0      False       True    pulled 'podinfo' chart with version '6.17.0'

Das ist das Zwischenobjekt HelmChart. Flux hat es aus chart.spec angelegt, der Name ist <namespace>-<helmrelease>.

kubectl get --raw /api/v1/namespaces/podinfo-helm/services/podinfo:9898/proxy/ \
  | grep -o '"message": *"[^"]*"'

Erwartet:

"message": "Hallo aus Flux"

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ein Chart aus Git

Manche Teams versionieren ihr Chart im selben Repo wie den Rest. Flux kann ein Chart direkt aus einem Git-Ordner verpacken. Du kopierst das Chart ins Fleet-Repo:

mkdir -p charts
cp -r ~/flux-lab/charts/notes charts/
mkdir -p apps/notes-git
cd apps/notes-git
printf 'apiVersion: v1\nkind: Namespace\nmetadata:\n  name: notes-git\n' > namespace.yaml
printf 'apiKey: lab-api-key-123\nnodePort: 30091\n' > /tmp/werte.yaml
flux create helmrelease notes --namespace=notes-git \
  --source=GitRepository/flux-system.flux-system --chart=./charts/notes \
  --reconcile-strategy=Revision --values=/tmp/werte.yaml --interval=10m \
  --export > release.yaml
rm /tmp/werte.yaml
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - namespace.yaml
  - release.yaml
EOF
cd ~/flux-lab/fleet
flux create kustomization notes-git --source=GitRepository/flux-system \
  --path=./apps/notes-git --prune=true --interval=10m --wait=true \
  --export > clusters/lab/notes-git.yaml
git add -A
git commit -m "notes-Chart aus Git"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes-git
flux get sources chart -A
curl -s localhost:30091/version

Erwartet (gekürzt):

NAMESPACE       NAME                    REVISION            SUSPENDED   READY   MESSAGE
flux-system     notes-git-notes         0.4.0+cd4a957ca7f0  False       True    packaged 'notes' chart with version '0.4.0+cd4a957ca7f0'
podinfo-helm    podinfo-helm-podinfo    6.17.0              False       True    pulled 'podinfo' chart with version '6.17.0'
0.7.1
  • Der HelmChart liegt im Namespace der Quelle, also in flux-system.
  • reconcileStrategy: Revision hängt den Commit an die Chart-Version (0.4.0+cd4a957ca7f0). Jede Änderung am Chart-Ordner wird so ausgerollt, auch ohne neue Versionsnummer.

Die Kehrseite merkst du beim nächsten Commit, egal welchem.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

flux get helmreleases -A

Erwartet: notes (notes-helm), notes (notes-git) und podinfo (podinfo-helm), alle READY True.

helm -n notes-helm history notes | tail -1

Erwartet: Revision 11, deployed, Chart notes-0.4.0+….

diff -r ~/flux-lab/fleet/apps ~/flux-lab/code/loesung/tag07/apps

Erwartet: keine Ausgabe.

Challenge

Das podinfo-Team will wissen, ob jemand an seinem Deployment dreht. Korrigieren soll Flux aber noch nichts, nur melden. Richte das ein, skaliere podinfo in podinfo-helm von Hand auf drei Replicas und finde die Meldung.

Und dann: Wie oft ist notes-git inzwischen installiert worden, obwohl du an seinem Chart nichts mehr geändert hast?

Lösung

cat >> apps/podinfo-helm/release.yaml <<'EOF'
  driftDetection:
    mode: warn
EOF
git commit -am "podinfo-helm: Drift melden"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization podinfo-helm
kubectl -n podinfo-helm scale deploy podinfo --replicas=3
flux reconcile helmrelease podinfo -n podinfo-helm
flux events --for HelmRelease/podinfo -n podinfo-helm | grep -A1 DriftDetected

Erwartet (gekürzt):

Warning  DriftDetected  HelmRelease/podinfo  Cluster state of release podinfo-helm/podinfo.v1 has drifted from the desired state:
                                             Deployment/podinfo-helm/podinfo changed (0 additions, 1 changes, 0 removals)

Die drei Replicas bleiben stehen, und READY bleibt True. Die Meldung ist ein Warning-Event, auf das du in Tag 11 einen Alarm hängst.

helm -n notes-git history notes

Erwartet (gekürzt):

REVISION    UPDATED                     STATUS      CHART                       APP VERSION DESCRIPTION
1           Thu Nov 12 16:36:14 2026    superseded  notes-0.4.0+cd4a957ca7f0    0.7.1       Install complete
2           Thu Nov 12 16:36:42 2026    deployed    notes-0.4.0+0e6817c13fa1    0.7.1       Upgrade complete

Der Commit für podinfo-helm hat auch notes-git aktualisiert. Mit reconcileStrategy: Revision gilt jeder Commit im Fleet-Repo als neue Chart-Version. Für Charts in einem großen Repo nimmst du deshalb den Standard ChartVersion und erhöhst die Version in Chart.yaml bei jeder Änderung.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Remediation ist Pflicht. Ohne upgrade.remediation bleibt ein gescheitertes Upgrade im Zustand failed, und jedes weitere Upgrade muss Helm erst daran vorbeiführen. Mindestens retries und remediateLastFailure gehören in jede Vorlage.
  • Helm-Tests sind billige Smoke-Tests. Sie prüfen den Rollout dort, wo er passiert, im Cluster, mit echtem Netz und echten Secrets. Für ein Plattform-Team sind sie die einfachste Art, Charts der Teams mit einem Mindestmaß an Qualität zu versehen.
  • HelmRepository oder OCI? Viele Projekte veröffentlichen Charts inzwischen nur noch als OCI. Für eine HelmRepository muss Flux die ganze index.yaml laden, bei großen Repos mehrere Megabyte, und das auf jedem Cluster.