Tag 7: Helm vertieft
Ziel: Ein kaputtes Chart automatisch zurückrollen, Helm-Tests nach jedem Upgrade laufen lassen und Charts aus einem klassischen Helm-Repo und direkt aus Git installieren. · Dauer: ca. 75 min · Voraussetzung: Tag 6
Briefing
- Ein Helm-Upgrade kann scheitern: Das Image fehlt, die Pods werden
nicht bereit, ein Hook bricht ab. Ohne Vorkehrung bleibt der Release
dann im Zustand
failedstehen. - Der HelmRelease regelt das mit Remediation: Er versucht es eine bestimmte Zahl von Malen und rollt danach auf die letzte funktionierende Version zurück.
- Helm-Tests sind Pods im Chart mit der Annotation
helm.sh/hook: test. Flux kann sie nach jedem Install oder Upgrade starten. Scheitert ein Test, gilt das Upgrade als gescheitert. - Charts kommen aus drei Arten von Quellen:
| Quelle | Feld im HelmRelease | Beispiel heute |
|---|---|---|
OCIRepository |
chartRef |
notes-helm (Tag 6) |
HelmRepository (HTTPS, index.yaml) |
chart.spec.sourceRef |
podinfo-helm |
GitRepository |
chart.spec.sourceRef + Pfad |
notes-git |
Bei den beiden letzten legt Flux selbst ein Zwischenobjekt
HelmChart an. Das holt bzw. verpackt das Chart.
Drill 1: Ein kaputtes Chart
Zuerst bekommt der HelmRelease von notes-helm Regeln für den Fehlerfall:
cd ~/flux-lab/fleet
cat >> apps/notes-helm/release.yaml <<'EOF'
timeout: 1m
upgrade:
remediation:
retries: 1
remediateLastFailure: true
EOF
git commit -am "notes-helm: Upgrade-Fehler zurückrollen"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes-helm| Feld | Bedeutung |
|---|---|
timeout: 1m |
so lange auf bereite Pods warten (Standard: 5 min) |
retries: 1 |
nach einem Fehlschlag noch einmal versuchen |
remediateLastFailure: true |
auch nach dem letzten Versuch zurückrollen, nicht im Fehler stehen bleiben |
Jetzt veröffentlichst du ein Chart mit einer notes-api-Version, die es nicht gibt:
cd ~/flux-lab/charts
sed -i 's/^version: 0.2.0/version: 0.3.0/; s/^appVersion: "0.7.1"/appVersion: "0.9.99"/' \
notes/Chart.yaml
helm package notes
helm push notes-0.3.0.tgz oci://localhost:30500/charts --plain-http
flux reconcile source oci notes-chart -n notes-helmErwartet (gekürzt):
Pushed: localhost:30500/charts/notes:0.3.0
...
✔ fetched revision 0.3.0@sha256:9c0f25a69df743349d4ae4b2c49a359e1acb51b40c157795cb7e640a2d530dfe
Beobachte den HelmRelease ein paar Minuten lang:
flux get helmreleases -n notes-helm --watchErwartet: Die Spalte MESSAGE wechselt über gut drei
Minuten so:
Running 'upgrade' action with timeout of 1m0s
Helm rollback to previous release notes-helm/notes.v5 with chart [email protected]+a8d3ddcf1a01 succeeded
Running 'upgrade' action with timeout of 1m0s
Helm upgrade failed for release notes-helm/notes with chart [email protected]+9c0f25a69df7: timeout waiting for: [Deployment/notes-helm/notes status: 'InProgress']
Helm rollback to previous release notes-helm/notes.v7 with chart [email protected]+a8d3ddcf1a01 succeeded
Ctrl+C beendet --watch. Die Geschichte steht in
Helm:
helm -n notes-helm history notesErwartet (gekürzt):
REVISION STATUS CHART APP VERSION DESCRIPTION
5 superseded notes-0.2.0+a8d3ddcf1a01 0.7.1 Upgrade complete
6 failed notes-0.3.0+9c0f25a69df7 0.9.99 Upgrade "notes" failed: timeout waiting for: [Deployment/notes-helm/notes status: 'InProgress']
7 superseded notes-0.2.0+a8d3ddcf1a01 0.7.1 Rollback to 5
8 failed notes-0.3.0+9c0f25a69df7 0.9.99 Upgrade "notes" failed: timeout waiting for: [Deployment/notes-helm/notes status: 'InProgress']
9 deployed notes-0.2.0+a8d3ddcf1a01 0.7.1 Rollback to 7
Zwei Versuche, zwei Rollbacks. Danach gibt Flux auf:
kubectl -n notes-helm get hr notes \
-o jsonpath='{range .status.conditions[*]}{.type}={.status} {.reason}{"\n"}{end}'Erwartet:
Stalled=True RetriesExceeded
Ready=False RollbackSucceeded
Drifted=False NoDriftDetected
Released=False UpgradeFailed
Remediated=True RollbackSucceeded
Stalled heißt: Flux versucht es mit
diesem Chart nicht mehr. notes-api läuft weiter auf 0.7.1, aber der
HelmRelease meldet Ready=False, bis sich etwas ändert. Die
Lösung ist ein neues Chart:
sed -i 's/^version: 0.3.0/version: 0.3.1/; s/^appVersion: "0.9.99"/appVersion: "0.7.1"/' \
notes/Chart.yaml
helm package notes
helm push notes-0.3.1.tgz oci://localhost:30500/charts --plain-http
flux reconcile source oci notes-chart -n notes-helmNach einer halben Minute:
flux get helmreleases -n notes-helmErwartet:
NAME REVISION SUSPENDED READY MESSAGE
notes 0.3.1+ed4815b6aafb False True Helm upgrade succeeded for release notes-helm/notes.v10 with chart [email protected]+ed4815b6aafb
Eine neue Chart-Version setzt die Zahl der Versuche zurück.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Helm-Tests
Ein Rollout ist erst dann gut, wenn die Anwendung antwortet. Das
Chart bekommt einen Test, der /version abfragt und mit der
erwarteten Version vergleicht:
mkdir -p notes/templates/tests
cat > notes/templates/tests/version.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: {{ .Release.Name }}-test-version
annotations:
helm.sh/hook: test
helm.sh/hook-delete-policy: before-hook-creation
spec:
restartPolicy: Never
containers:
- name: curl
image: curlimages/curl:8.23.0
command: ["sh", "-c"]
args:
- test "$(curl -s http://{{ .Release.Name }}/version)" = "{{ .Values.image.tag | default .Chart.AppVersion }}"
EOF
sed -i 's/^version: 0.3.1/version: 0.4.0/' notes/Chart.yaml
helm package notes
helm push notes-0.4.0.tgz oci://localhost:30500/charts --plain-httpbefore-hook-creation löscht den alten Test-Pod erst vor
dem nächsten Test. So kannst du dir sein Ergebnis danach noch
ansehen.
Der HelmRelease schaltet die Tests ein:
cd ~/flux-lab/fleet
cat >> apps/notes-helm/release.yaml <<'EOF'
test:
enable: true
EOF
git commit -am "notes-helm: Helm-Tests"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile source oci notes-chart -n notes-helmNach einer halben Minute:
flux get helmreleases -n notes-helm
kubectl -n notes-helm get podsErwartet:
NAME REVISION SUSPENDED READY MESSAGE
notes 0.4.0+5de96b4085b8 False True Helm test succeeded for release notes-helm/notes.v11 with chart [email protected]+5de96b4085b8: 1 test hook completed successfully
NAME READY STATUS RESTARTS AGE
notes-857b588478-4fwcx 1/1 Running 0 8m7s
notes-857b588478-6tq9j 1/1 Running 0 8m5s
notes-test-version 0/1 Completed 0 41s
Scheitert ein Test, behandelt Flux das wie ein gescheitertes Upgrade, mit allen Regeln aus Drill 1.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Ein klassisches Helm-Repo
Viele Charts liegen noch in klassischen Helm-Repos, einer Webseite
mit einer index.yaml. podinfo gibt es auch so:
mkdir -p apps/podinfo-helm
cd apps/podinfo-helm
printf 'apiVersion: v1\nkind: Namespace\nmetadata:\n name: podinfo-helm\n' > namespace.yaml
flux create source helm podinfo --namespace=podinfo-helm \
--url=https://stefanprodan.github.io/podinfo --interval=1h --export > source.yaml
printf 'replicaCount: 1\nui:\n message: Hallo aus Flux\n' > /tmp/werte.yaml
flux create helmrelease podinfo --namespace=podinfo-helm \
--source=HelmRepository/podinfo --chart=podinfo --chart-version="6.17.x" \
--values=/tmp/werte.yaml --interval=10m --export > release.yaml
rm /tmp/werte.yaml
cat release.yamlErwartet:
---
apiVersion: helm.toolkit.fluxcd.io/v2
kind: HelmRelease
metadata:
name: podinfo
namespace: podinfo-helm
spec:
chart:
spec:
chart: podinfo
reconcileStrategy: ChartVersion
sourceRef:
kind: HelmRepository
name: podinfo
version: 6.17.x
interval: 10m0s
values:
replicaCount: 1
ui:
message: Hallo aus Flux
Statt chartRef steht hier chart.spec: Name
und Version des Charts im Repo.
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- namespace.yaml
- source.yaml
- release.yaml
EOF
cd ~/flux-lab/fleet
flux create kustomization podinfo-helm --source=GitRepository/flux-system \
--path=./apps/podinfo-helm --prune=true --interval=10m --wait=true \
--export > clusters/lab/podinfo-helm.yaml
git add -A
git commit -m "podinfo per Helm-Repo"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization podinfo-helm
flux get sources chart -AErwartet:
NAMESPACE NAME REVISION SUSPENDED READY MESSAGE
podinfo-helm podinfo-helm-podinfo 6.17.0 False True pulled 'podinfo' chart with version '6.17.0'
Das ist das Zwischenobjekt HelmChart. Flux hat es aus
chart.spec angelegt, der Name ist
<namespace>-<helmrelease>.
kubectl get --raw /api/v1/namespaces/podinfo-helm/services/podinfo:9898/proxy/ \
| grep -o '"message": *"[^"]*"'Erwartet:
"message": "Hallo aus Flux"
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ein Chart aus Git
Manche Teams versionieren ihr Chart im selben Repo wie den Rest. Flux kann ein Chart direkt aus einem Git-Ordner verpacken. Du kopierst das Chart ins Fleet-Repo:
mkdir -p charts
cp -r ~/flux-lab/charts/notes charts/
mkdir -p apps/notes-git
cd apps/notes-git
printf 'apiVersion: v1\nkind: Namespace\nmetadata:\n name: notes-git\n' > namespace.yaml
printf 'apiKey: lab-api-key-123\nnodePort: 30091\n' > /tmp/werte.yaml
flux create helmrelease notes --namespace=notes-git \
--source=GitRepository/flux-system.flux-system --chart=./charts/notes \
--reconcile-strategy=Revision --values=/tmp/werte.yaml --interval=10m \
--export > release.yaml
rm /tmp/werte.yaml
cat > kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- namespace.yaml
- release.yaml
EOF
cd ~/flux-lab/fleet
flux create kustomization notes-git --source=GitRepository/flux-system \
--path=./apps/notes-git --prune=true --interval=10m --wait=true \
--export > clusters/lab/notes-git.yaml
git add -A
git commit -m "notes-Chart aus Git"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization notes-git
flux get sources chart -A
curl -s localhost:30091/versionErwartet (gekürzt):
NAMESPACE NAME REVISION SUSPENDED READY MESSAGE
flux-system notes-git-notes 0.4.0+cd4a957ca7f0 False True packaged 'notes' chart with version '0.4.0+cd4a957ca7f0'
podinfo-helm podinfo-helm-podinfo 6.17.0 False True pulled 'podinfo' chart with version '6.17.0'
0.7.1
- Der
HelmChartliegt im Namespace der Quelle, also influx-system. reconcileStrategy: Revisionhängt den Commit an die Chart-Version (0.4.0+cd4a957ca7f0). Jede Änderung am Chart-Ordner wird so ausgerollt, auch ohne neue Versionsnummer.
Die Kehrseite merkst du beim nächsten Commit, egal welchem.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
flux get helmreleases -AErwartet: notes (notes-helm), notes
(notes-git) und podinfo (podinfo-helm), alle
READY True.
helm -n notes-helm history notes | tail -1Erwartet: Revision 11, deployed, Chart
notes-0.4.0+….
diff -r ~/flux-lab/fleet/apps ~/flux-lab/code/loesung/tag07/appsErwartet: keine Ausgabe.
Challenge
Das podinfo-Team will wissen, ob jemand an seinem Deployment dreht.
Korrigieren soll Flux aber noch nichts, nur melden. Richte das ein,
skaliere podinfo in podinfo-helm von Hand auf drei Replicas
und finde die Meldung.
Und dann: Wie oft ist notes-git inzwischen installiert worden, obwohl du an seinem Chart nichts mehr geändert hast?
Lösung
cat >> apps/podinfo-helm/release.yaml <<'EOF'
driftDetection:
mode: warn
EOF
git commit -am "podinfo-helm: Drift melden"
git push
flux reconcile kustomization flux-system --with-source
flux reconcile kustomization podinfo-helm
kubectl -n podinfo-helm scale deploy podinfo --replicas=3
flux reconcile helmrelease podinfo -n podinfo-helm
flux events --for HelmRelease/podinfo -n podinfo-helm | grep -A1 DriftDetectedErwartet (gekürzt):
Warning DriftDetected HelmRelease/podinfo Cluster state of release podinfo-helm/podinfo.v1 has drifted from the desired state:
Deployment/podinfo-helm/podinfo changed (0 additions, 1 changes, 0 removals)
Die drei Replicas bleiben stehen, und READY bleibt
True. Die Meldung ist ein Warning-Event, auf das du in Tag
11 einen Alarm hängst.
helm -n notes-git history notesErwartet (gekürzt):
REVISION UPDATED STATUS CHART APP VERSION DESCRIPTION
1 Thu Nov 12 16:36:14 2026 superseded notes-0.4.0+cd4a957ca7f0 0.7.1 Install complete
2 Thu Nov 12 16:36:42 2026 deployed notes-0.4.0+0e6817c13fa1 0.7.1 Upgrade complete
Der Commit für podinfo-helm hat auch notes-git aktualisiert. Mit
reconcileStrategy: Revision gilt jeder Commit im Fleet-Repo
als neue Chart-Version. Für Charts in einem großen Repo nimmst du
deshalb den Standard ChartVersion und erhöhst die Version
in Chart.yaml bei jeder Änderung.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Remediation ist Pflicht. Ohne
upgrade.remediationbleibt ein gescheitertes Upgrade im Zustandfailed, und jedes weitere Upgrade muss Helm erst daran vorbeiführen. MindestensretriesundremediateLastFailuregehören in jede Vorlage. - Helm-Tests sind billige Smoke-Tests. Sie prüfen den Rollout dort, wo er passiert, im Cluster, mit echtem Netz und echten Secrets. Für ein Plattform-Team sind sie die einfachste Art, Charts der Teams mit einem Mindestmaß an Qualität zu versehen.
- HelmRepository oder OCI? Viele Projekte
veröffentlichen Charts inzwischen nur noch als OCI. Für eine
HelmRepositorymuss Flux die ganzeindex.yamlladen, bei großen Repos mehrere Megabyte, und das auf jedem Cluster.