Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 20: Wettkampf – das kaputte Chart

Ziel: Du findest und behebst in acht Runden eingebaute Chart- und Release-Fehler quer durch das Buch – gegen die Uhr, mit Nachweis vorher und nachher. · Dauer: ca. 120 min · Voraussetzung: Tag 0–19

Briefing

  • Du baust dir in tag20 einen eigenen Release w aus einer Kopie von notes: mit Datenbank-Subchart, Migrations-Hook, Ingress und Chart-Test.
  • Acht Runden, alle Schichten: Rendern, Schema, Hooks, Sperren, unveränderliche Felder, Werte-Vorrang und Lieferkette. Die Runden bauen aufeinander auf: der Reihe nach spielen.
  • Werkzeuge: helm template --debug, helm history/get/status, kubectl get/describe, Events, diff gegen den Stand im Git, cosign verify.
  • Jede Runde endet mit einem Beweis-Befehl: kaputt vorher, heil nachher.
Runde  Symptom                                         Zeitziel
1      upgrade: YAML parse error                       3 min
2      upgrade: can't evaluate field Values            3 min
3      upgrade: additional properties not allowed      3 min
4      Pipeline: context deadline exceeded             5 min
5      upgrade: another operation is in progress       4 min
6      notes antwortet 503                             5 min
7      neue Chart-Version, alte Seitengröße            4 min
8      Ticket: „bitte aus tag20/notes ausrollen“       5 min

Spielregeln

  • Pro Runde führt der Schiedsrichter die Schiedsrichter-Befehle aus – ein Kollege oder du selbst, ohne hinzusehen: Block kopieren, in ein zweites Terminal einfügen, Fenster schließen. Dann die Uhr starten.
  • Ursache finden, beheben, mit einem Befehl beweisen. Erst dann Uhr stoppen.
  • Repariere die Ursache, nicht das Symptom: Wer den Release deinstalliert, Schema oder Hook abschaltet, Release-Secrets löscht, obwohl ein Rollback geht, oder eine unsignierte Quelle trotzdem ausrollt, bekommt null Punkte. Die Notiz „Wettkampf“ in der Datenbank muss am Ende noch da sein.
  • Den Hinweis erst lesen, wenn das Zeitziel abgelaufen ist.
  • Die Ausgaben stammen aus einem Durchlauf ohne Zusatzversuche. Jeder weitere gescheiterte Upgrade-Versuch verschiebt bei dir die Revisionsnummern.
  • Das Ziel jeder Runde ist ein sauberer Endzustand. Der Befehl dafür heißt im Folgenden kurz Messung:
# auf prod
helm status w -n tag20 -o json | jq -r .info.status
helm test w -n tag20 | grep Phase
curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: w.tag20.lab' localhost/healthz

Spielfeld

# auf prod
mkdir -p ~/helm/tag20 && cd ~/helm/tag20
cp -r ~/helm/charts/notes .
kubectl create namespace tag20
kubectl -n tag20 create secret generic notes-db --from-literal=password=lab-db-123
kubectl -n tag20 create secret generic notes-api-key --from-literal=api-key=lab-key-123
cat > w.yaml <<'EOF'
# ~/helm/tag20/w.yaml – Stand Tag 20
replicaCount: 1
apiKey:
  existingSecret: notes-api-key
global:
  dbSecret: notes-db
postgres:
  enabled: true
ingress:
  enabled: true
  hosts:
    - "{{ .Release.Name }}.tag20.lab"
EOF
helm install w ./notes -n tag20 -f w.yaml --wait --timeout 4m \
  | grep -E '^(STATUS|REVISION)'
kubectl -n tag20 get pods
helm test w -n tag20 | grep Phase
helm unittest notes | grep '^Tests:'
curl -s -H 'Host: w.tag20.lab' localhost/healthz; echo
curl -s -H 'Host: w.tag20.lab' -H 'X-API-Key: lab-key-123' localhost/notes \
  -d '{"text":"Wettkampf"}'; echo

Erwartet (gekürzt):

namespace/tag20 created
secret/notes-db created
secret/notes-api-key created
STATUS: deployed
REVISION: 1
NAME                       READY   STATUS      RESTARTS      AGE
w-notes-785cdffb86-h97dg   1/1     Running     2 (20s ago)   26s
w-notes-migrate-lcllj      0/1     Completed   0             5s
w-postgres-0               1/1     Running     0             25s
Phase:          Succeeded
Tests:       15 passed, 15 total
ok
{"id":"847fdb6f-…","text":"Wettkampf"}

Das ist das gesunde Spielfeld: deployed, Test grün, Unit-Tests grün, eine Notiz in Postgres. Das Chart in ~/helm/tag20/notes ist eine Kopie – der Vergleich mit ~/helm/charts/notes ist erlaubt und oft der schnellste Weg.

Runde 1: Die Einrückung

Lage: Ein Kollege hat „nur aufgeräumt“. Jetzt scheitert jedes Upgrade, noch bevor etwas im Cluster passiert.

Schiedsrichter-Befehle:

# auf prod
cd ~/helm/tag20
sed -i 's/notes.labels" . | nindent 4/notes.labels" . | indent 4/' \
  notes/templates/service.yaml

Zeitziel: 3 min

Hinweis: Lass dir das kaputte YAML zeigen und schau auf die Zeile mit labels:.

Lösung Runde 1

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait 2>&1 | tail -1 | fold -w 88
helm template w ./notes -f w.yaml -s templates/service.yaml --debug 2>/dev/null \
  | sed -n 1,10p

Erwartet:

Error: UPGRADE FAILED: YAML parse error on notes/templates/service.yaml: error convertin
g YAML to JSON: yaml: line 5: mapping values are not allowed in this context
---
# Source: notes/templates/service.yaml

apiVersion: v1
kind: Service
metadata:
  name: w-notes
  labels:    app.kubernetes.io/name: notes
    app.kubernetes.io/instance: w
    app.kubernetes.io/version: "0.7.1"

Schicht Rendern (Tag 19): Datei und Zeile stehen im Fehler, --debug gibt das kaputte YAML trotzdem aus. indent fügt keinen Zeilenumbruch ein, die erste Label-Zeile klebt hinter labels: (Tag 5). Reparieren und beweisen:

# auf prod
sed -i 's/notes.labels" . | indent 4/notes.labels" . | nindent 4/' \
  notes/templates/service.yaml
helm upgrade w ./notes -n tag20 -f w.yaml --wait | grep -E '^(STATUS|REVISION)'

Erwartet:

STATUS: deployed
REVISION: 2

Kein Upgrade ist bis zum Cluster gekommen – die gescheiterten Versuche haben keine Revision erzeugt.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Der Punkt in der Schleife

Lage: „Ich habe nur einheitlich . statt $ geschrieben, das ist doch dasselbe.“

Schiedsrichter-Befehle:

# auf prod
sed -i 's/include "notes.fullname" \$ }}/include "notes.fullname" . }}/' \
  notes/templates/ingress.yaml

Zeitziel: 3 min

Hinweis: Lies den Fehler von unten nach oben bis zur ersten Zeile mit ingress.yaml.

Lösung Runde 2

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait 2>&1 | fold -w 88

Erwartet:

Error: UPGRADE FAILED: notes/templates/ingress.yaml:26:25
  executing "notes/templates/ingress.yaml" at <include "notes.fullname" .>:
    error calling include:
notes/templates/_helpers.tpl:5:34
  executing "notes.fullname" at <include "plattform.fullname" .>:
    error calling include:
notes/charts/plattform/templates/_namen.tpl:7:14
  executing "plattform.fullname" at <.Values.fullnameOverride>:
    can't evaluate field Values in type string

Zeile 26 liegt im range über die Hosts: Dort ist . der Hostname (ein String), nicht der Wurzel-Kontext (Tag 5). Zeile 6 (außerhalb der Schleife) ist mit . richtig – nur die Zeile hinter service: braucht $:

# auf prod
sed -i '/service:$/{n;s/fullname" \. }}/fullname" $ }}/}' notes/templates/ingress.yaml
diff ~/helm/charts/notes/templates/ingress.yaml notes/templates/ingress.yaml \
  && echo "wie im Git"
helm upgrade w ./notes -n tag20 -f w.yaml --wait | grep -E '^(STATUS|REVISION)'

Erwartet:

wie im Git
STATUS: deployed
REVISION: 3

Fortschritt speichern? Kostenlos registrieren

Runde 3: Das strenge Schema

Lage: Jemand hat das Schema „aufgeräumt“, weil postgres doch gar nicht zum Chart gehöre.

Schiedsrichter-Befehle:

# auf prod
jq 'del(.properties.postgres)' notes/values.schema.json > s.json \
  && mv s.json notes/values.schema.json

Zeitziel: 3 min

Hinweis: "additionalProperties": false gilt auch für die Werte der Subcharts.

Lösung Runde 3

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait 2>&1 | fold -w 88
helm lint notes -f w.yaml 2>&1 | grep -E 'ERROR|linted' | fold -w 88

Erwartet:

Error: UPGRADE FAILED: values don't meet the specifications of the schema(s) in the foll
owing chart(s):
notes:
- at '': additional properties 'postgres' not allowed

[ERROR] values.yaml: - at '': additional properties 'postgres' not allowed
[ERROR] templates/: values don't meet the specifications of the schema(s) in the followi
ng chart(s):
Error: 1 chart(s) linted, 1 chart(s) failed

Die Werte des Subcharts stehen unter seinem Namen in den Eltern-Werten – das Schema des Eltern-Charts muss den Schlüssel erlauben (Tag 9). Zurück wie im Git:

# auf prod
P='{"type":"object","properties":{"enabled":{"type":"boolean"}}}'
jq --argjson p "$P" '.properties.postgres = $p' notes/values.schema.json > s.json \
  && mv s.json notes/values.schema.json
diff <(jq -S . ~/helm/charts/notes/values.schema.json) \
  <(jq -S . notes/values.schema.json) && echo "wie im Git"
helm upgrade w ./notes -n tag20 -f w.yaml --wait | grep -E '^(STATUS|REVISION)'

Erwartet:

wie im Git
STATUS: deployed
REVISION: 4

Fortschritt speichern? Kostenlos registrieren

Runde 4: Der hängende Hook

Lage: Die Pipeline meldet nach einer Minute context deadline exceeded. Das Team sagt: „Wir haben nur das DB-Secret umbenannt.“ Die Anwendung läuft angeblich weiter.

Schiedsrichter-Befehle:

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --set global.dbSecret=notes-db-neu \
  --wait --timeout 60s >/dev/null 2>&1

Zeitziel: 5 min

Hinweis: Welche Pods sind neu? Und wer läuft vor dem Upgrade?

Lösung Runde 4

# auf prod
helm history w -n tag20 --max 2 -o json \
  | jq -r '.[] | "\(.revision) \(.status) \(.description)"' | cut -c1-88
kubectl -n tag20 get pods
kubectl -n tag20 get events --field-selector reason=Failed \
  -o custom-columns=MELDUNG:.message | tail -1
helm get values w -n tag20 | grep -A1 global

Erwartet (gekürzt):

4 deployed Upgrade complete
5 failed Upgrade "w" failed: pre-upgrade hooks failed: resource Job/tag20/w-notes-migrat
context deadline exceeded
NAME                       READY   STATUS                       RESTARTS       AGE
w-notes-785cdffb86-h97dg   1/1     Running                      2 (111s ago)   117s
w-notes-migrate-4gz9j      0/1     CreateContainerConfigError   0              61s
w-notes-test               0/1     Completed                    0              90s
w-postgres-0               1/1     Running                      0              116s
Error: secret "notes-db-neu" not found
global:
  dbSecret: notes-db-neu

Der pre-upgrade-Hook (Tag 11) wartet auf ein Secret, das es nicht gibt; Helm wartet auf den Hook, bis das Timeout abläuft. Weil der Hook vor allem anderen läuft, hat sich an der Anwendung nichts geändert – der alte Pod läuft. get values zeigt die Werte der gescheiterten Revision. Reparieren mit den Werten aus Git:

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait --timeout 2m | grep -E '^STATUS'
helm get values w -n tag20 | grep -A1 global
kubectl -n tag20 get jobs

Erwartet:

STATUS: deployed
global:
  dbSecret: notes-db
NAME              STATUS     COMPLETIONS   DURATION   AGE
w-notes-migrate   Complete   1/1           4s         5s

before-hook-creation hat den hängenden Job ersetzt. Gegenprobe: Ein Upgrade ganz ohne Werte hätte hier ebenfalls notes-db genommen – Helm übernimmt die Werte der letzten deployed-Revision. Nur wenn es keine gibt, sind es die der gescheiterten (Tag 19, Drill 4).

Fortschritt speichern? Kostenlos registrieren

Runde 5: Die Sperre

Lage: Ein CI-Runner ist mitten im Deployment abgestürzt. Seitdem lehnt Helm jedes Upgrade ab.

Schiedsrichter-Befehle:

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --set image.tag=0.7.99 --wait --timeout 5m \
  >/dev/null 2>&1 &
sleep 6; kill -9 $!

Zeitziel: 4 min

Hinweis: Erst prüfen, ob wirklich niemand mehr deployt – dann der saubere Weg aus Tag 19, Drill 3.

Lösung Runde 5

# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml 2>&1 | tail -1
helm history w -n tag20 --max 2 -o json \
  | jq -r '.[] | "\(.revision) \(.status) \(.description)"'
kubectl -n tag20 get pods -l app.kubernetes.io/name=notes
pgrep -a helm || echo "kein helm-Prozess"
D=$(helm history w -n tag20 -o json \
  | jq -r '[.[] | select(.status=="deployed")][-1].revision'); echo $D
helm rollback w $D -n tag20 --wait --description "pending-upgrade nach kill aufgelöst"
helm history w -n tag20 --max 3 -o json | jq -r '.[] | "\(.revision) \(.status)"'
kubectl -n tag20 get deploy w-notes \
  -o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'

Erwartet (gekürzt):

Error: UPGRADE FAILED: another operation (install/upgrade/rollback) is in progress
6 deployed Upgrade complete
7 pending-upgrade Preparing upgrade
NAME                       READY   STATUS      RESTARTS       AGE
w-notes-785cdffb86-h97dg   1/1     Running     2 (2m7s ago)   2m13s
w-notes-test               0/1     Completed   0              106s
kein helm-Prozess
6
Rollback was a success! Happy Helming!
6 superseded
7 pending-upgrade
8 deployed
ghcr.io/thomaszachmann/notes-api:0.7.1

Diesmal starb Helm noch im Hook – das kaputte Image hat das Deployment nie erreicht. Der Rollback auf die letzte deployed-Revision löst die Sperre, ohne ein Secret anzufassen. Kein Punkt, wer das pending-upgrade-Secret gelöscht hat.

Fortschritt speichern? Kostenlos registrieren

Runde 6: Der Ausfall

Lage: Das Monitoring meldet: w.tag20.lab antwortet 503. Kurz vorher ist ein Upgrade gescheitert, „aber gescheitert heißt ja, dass nichts passiert ist“.

Schiedsrichter-Befehle:

# auf prod
L='app.kubernetes.io\/component: api'
sed -i "s/^\({{ include \"plattform.selectorLabels\" . }}\)\({{- end }}\)$/\1\n$L\2/" \
  notes/templates/_helpers.tpl
helm upgrade w ./notes -n tag20 -f w.yaml --wait --timeout 2m >/dev/null 2>&1

Zeitziel: 5 min

Hinweis: Zwei Objekte benutzen dieselben Selektor-Labels. Eines davon darfst du ändern.

Lösung Runde 6

# auf prod
curl -s -o /dev/null -w "%{http_code}\n" -H 'Host: w.tag20.lab' localhost/healthz
helm history w -n tag20 --max 1 -o json | jq -r '.[] | "\(.revision) \(.status)"'
kubectl -n tag20 get svc w-notes -o jsonpath='{.spec.selector}{"\n"}' | fold -w 88
kubectl -n tag20 get endpointslices -l kubernetes.io/service-name=w-notes \
  -o jsonpath='{.items[0].endpoints}{"\n"}'
diff ~/helm/charts/notes/templates/_helpers.tpl notes/templates/_helpers.tpl

Erwartet:

503
9 failed
{"app.kubernetes.io/component":"api","app.kubernetes.io/instance":"w","app.kubernetes.io
/name":"notes"}
null
7c7,8
< {{ include "plattform.selectorLabels" . }}{{- end }}
---
> {{ include "plattform.selectorLabels" . }}
> app.kubernetes.io/component: api{{- end }}

Das Upgrade scheiterte am Deployment (spec.selector … field is immutable, Tag 6 und 19) – aber den Service hatte Helm da schon mit dem neuen Selektor angewendet. Er findet keinen Pod mehr (endpoints ist null), Traefik antwortet 503. „Failed“ heißt nicht „nichts passiert“. Und Vorsicht: helm get manifest ohne --revision zeigt jetzt das Manifest der gescheiterten Revision. Selektor zurück:

# auf prod
cp ~/helm/charts/notes/templates/_helpers.tpl notes/templates/_helpers.tpl
helm upgrade w ./notes -n tag20 -f w.yaml --wait --timeout 2m | grep -E '^STATUS'
kubectl -n tag20 get svc w-notes -o jsonpath='{.spec.selector}{"\n"}'
sleep 2
curl -s -o /dev/null -w "%{http_code}\n" -H 'Host: w.tag20.lab' localhost/healthz

Erwartet:

STATUS: deployed
{"app.kubernetes.io/instance":"w","app.kubernetes.io/name":"notes"}
200

Wer den Selektor wirklich ändern muss, plant es wie in Tag 19, Drill 5: Deployment mit --cascade=orphan löschen oder unter neuem Namen parallel aufbauen – nie als normales Upgrade.

Fortschritt speichern? Kostenlos registrieren

Runde 7: Die neue Version

Lage: Chart 0.12.2 setzt die Seitengröße standardmäßig auf 25. Der Kollege hat ausgerollt – die API liefert weiter 50 pro Seite.

Schiedsrichter-Befehle:

# auf prod
sed -i 's/^  NOTES_PAGE_SIZE: "50"/  NOTES_PAGE_SIZE: "25"/' notes/values.yaml
sed -i 's/^version: 0.12.1/version: 0.12.2/' notes/Chart.yaml
helm upgrade w ./notes -n tag20 --reuse-values --wait >/dev/null

Zeitziel: 4 min

Hinweis: Woher kommen die Standardwerte bei einem Upgrade mit --reuse-values?

Lösung Runde 7

# auf prod
helm list -n tag20 -o json | jq -r '.[0].chart'
kubectl -n tag20 get cm w-notes-config -o jsonpath='{.data.NOTES_PAGE_SIZE}{"\n"}'
helm get values w -n tag20 --all -o json | jq -r .env.NOTES_PAGE_SIZE
helm show values ./notes | grep NOTES_PAGE_SIZE
helm upgrade w ./notes -n tag20 --reset-then-reuse-values --wait | grep -E '^STATUS'
kubectl -n tag20 get cm w-notes-config -o jsonpath='{.data.NOTES_PAGE_SIZE}{"\n"}'
helm get values w -n tag20 | head -3

Erwartet:

notes-0.12.2
50
50
  NOTES_PAGE_SIZE: "25"
STATUS: deployed
25
USER-SUPPLIED VALUES:
apiKey:
  existingSecret: notes-api-key

Die neue Chart-Version ist installiert, aber --reuse-values nimmt die berechneten Werte der letzten Revision – samt alter Standards (Tag 3). --reset-then-reuse-values nimmt die neuen Standards und legt nur die eigenen Werte darüber. -f w.yaml wäre ebenso richtig.

Fortschritt speichern? Kostenlos registrieren

Runde 8: Die fremde Quelle

Lage: Ticket: „Bitte notes 0.12.1 aus oci://localhost:30500/tag20/notes ausrollen, liegt alles bereit.“ Regel im Haus: nur signierte Charts, nur per Digest.

Schiedsrichter-Befehle:

# auf prod
cd ~/helm/tag20 && mkdir -p fremd
helm pull oci://localhost:30500/charts/notes --version 0.12.1 --plain-http -d fremd \
  --untar >/dev/null 2>&1
sed -i 's#ghcr.io/thomaszachmann/notes-api#ghcr.io/angreifer/notes-api#' \
  fremd/notes/values.yaml
helm package fremd/notes -d fremd >/dev/null
helm push fremd/notes-0.12.1.tgz oci://localhost:30500/tag20 --plain-http \
  >/dev/null 2>&1

Zeitziel: 5 min

Hinweis: Die Prüfung aus Tag 16 kommt vor jedem helm upgrade. Gibt es dieselbe Version an einem Ort, dem du traust?

Lösung Runde 8

# auf prod
K=~/helm/tag16
cosign verify --key $K/cosign.pub --allow-http-registry --insecure-ignore-tlog \
  localhost:30500/tag20/notes:0.12.1 2>&1 | tail -1
helm show values oci://localhost:30500/tag20/notes --version 0.12.1 --plain-http \
  2>/dev/null | grep -A2 '^image:'
D=$(helm show chart oci://localhost:30500/charts/notes --version 0.12.1 --plain-http \
  2>&1 >/dev/null | awk '/^Digest/{print $2}')
cosign verify --key $K/cosign.pub --allow-http-registry --insecure-ignore-tlog \
  localhost:30500/charts/notes@$D >/dev/null 2>&1 \
  && echo "charts/notes 0.12.1 signiert: ${D:0:19}…"
helm upgrade w oci://localhost:30500/charts/notes@$D -n tag20 -f w.yaml --plain-http \
  --wait | grep -E '^STATUS'
helm list -n tag20 -o json | jq -r '.[0].chart'
kubectl -n tag20 get deploy w-notes \
  -o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'

Erwartet:

error during command execution: no signatures found
image:
  # -- Image ohne Tag
  repository: ghcr.io/angreifer/notes-api
charts/notes 0.12.1 signiert: sha256:4f9a83f635ad…
STATUS: deployed
notes-0.12.1
ghcr.io/thomaszachmann/notes-api:0.7.1

Gleicher Name, gleiche Version, anderer Inhalt: Ein Tag sagt nichts über den Inhalt (Tag 15). Die unsignierte Quelle fällt am Tor durch; ausgerollt wird die signierte Version per Digest. Der Weg zurück von 0.12.2 auf 0.12.1 ist ein normales Upgrade.

Fortschritt speichern? Kostenlos registrieren

Wertung

Runde Fehler Zeitziel Punkte
1 indent statt nindent bei den Labels des Service 3 min 2
2 . statt $ im range des Ingress 3 min 2
3 Schema verbietet Subchart-Werte postgres 3 min 2
4 pre-upgrade-Hook hängt an fehlendem Secret 5 min 3
5 pending-upgrade nach kill -9 4 min 2
6 Selektor geändert, Service ohne Endpunkte 5 min 3
7 --reuse-values verschluckt neuen Standard 4 min 2
8 unsigniertes, manipuliertes Chart gleicher Version 5 min 2

Volle Punkte nur innerhalb des Zeitziels, ohne Hinweis und mit Beweis-Befehl; sonst die Hälfte (abrunden). Wer statt der Ursache das Symptom beseitigt (Release neu installieren, Schema löschen, migration.enabled=false, Release-Secret löschen statt Rollback, Service von Hand patchen, unsigniert ausrollen), bekommt für die Runde 0. Am Ende muss die Messung deployed, Succeeded und 200 zeigen und helm unittest notes grün sein. Gesamtzeitziel: 32 min, Maximum: 18 Punkte.

Punkte Einschätzung
15–18 bereit für die Abschlussprüfung (Anhang B)
10–14 gut; die Tage der verpassten Runden wiederholen
0–9 Tag 5, 9, 11, 13, 16 und 19 noch einmal durcharbeiten

Die Endmessung:

# auf prod
helm status w -n tag20 -o json | jq -r .info.status
helm test w -n tag20 | grep Phase
helm unittest notes | grep '^Tests:'
curl -s -H 'Host: w.tag20.lab' localhost/notes | jq -r '.[].text'
helm list -A --failed --pending | wc -l

Erwartet:

deployed
Phase:          Succeeded
Tests:       15 passed, 15 total
Wettkampf
1

Die Notiz vom Anfang hat alle acht Runden überlebt. Die 1 der letzten Zeile ist nur die Kopfzeile – kein Release hängt oder ist gescheitert.

Challenge

Finde nur mit Helm-Befehlen heraus, was das letzte gescheiterte Upgrade von w gegenüber der Revision danach geändert hat – Manifest und Werte.

Hinweis: helm get manifest und helm get values kennen --revision, helm history -o json liefert die Nummern.

Lösung

# auf prod
F=$(helm history w -n tag20 -o json \
  | jq -r '[.[] | select(.status=="failed")][-1].revision')
G=$((F+1)); echo "gescheitert: $F, danach: $G"
diff <(helm get manifest w -n tag20 --revision $F) \
  <(helm get manifest w -n tag20 --revision $G)
diff <(helm get values w -n tag20 --revision $F) \
  <(helm get values w -n tag20 --revision $G) && echo "Werte gleich"

Erwartet (Nummern hängen von deinen Versuchen ab):

gescheitert: 9, danach: 10
32c32
<   revision: "9"
---
>   revision: "10"
101d100
<     app.kubernetes.io/component: api
125d123
<       app.kubernetes.io/component: api
Werte gleich

Gleiche Werte, anderes Manifest – der Fehler steckte im Chart, nicht in der Konfiguration (Runde 6). Revision 1 bis 3 sind schon weg: --history-max hält zehn.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf prod
helm uninstall w -n tag20
kubectl delete namespace tag20
A=lab-zot-user:lab-zot-123
D=$(curl -s -u $A -I -H 'Accept: application/vnd.oci.image.manifest.v1+json' \
  localhost:30500/v2/tag20/notes/manifests/0.12.1 \
  | awk -F': ' 'tolower($1)=="docker-content-digest"{print $2}' | tr -d '\r')
curl -s -o /dev/null -w "%{http_code}\n" -u $A -X DELETE \
  localhost:30500/v2/tag20/notes/manifests/$D
curl -s -u $A localhost:30500/v2/_catalog; echo

Erwartet:

release "w" uninstalled
namespace "tag20" deleted
202
{"repositories":["charts/helper","charts/notes","charts/plattform","charts/postgres","ch
arts/probe","mirror/zot"]}

Das manipulierte Chart ist aus zot entfernt (Tag 15: löschen nur per Registry-API). Die Dateien in ~/helm/tag20 bleiben als Vorlage für die Abschlussprüfung.

Kontrollpunkt

# auf prod
kubectl get ns | grep -c tag20

Erwartet: 0

# auf prod
helm list -n notes --filter '^notes$' -o json | jq -r '.[0] | "\(.chart) \(.status)"'

Erwartet: notes-0.12.1 deployed – notes hast du heute nicht angefasst.

# auf prod
systemctl is-active rustfs postgresql@18-main k3s

Erwartet: dreimal active.

Interview-Notiz

  • Ein Upgrade ist gescheitert – ist dann alles wie vorher? Nein. Helm wendet Objekte nacheinander an; was vor dem Fehler kam, ist geändert (Service-Selektor in Runde 6). Mit --rollback-on-failure oder einem Rollback zurück auf einen konsistenten Stand.
  • Wie gehst du bei context deadline exceeded vor? Nicht Helm debuggen, sondern das, worauf Helm gewartet hat: Hook-Jobs, Pods, Events, PVCs. helm history nennt die Ressource.
  • Woran erkennst du, dass ein Chart aus der Registry das richtige ist? Am Digest und an der Signatur mit einem eigenen, vertrauenswürdigen Schlüssel – nie am Tag.

Enterprise-Notiz

  • Game Days wie diesen mit dem Bereitschaftsteam spielen; aus den Lösungen werden Runbooks (pending-upgrade, hängender Hook, Selektor-Änderung).
  • --rollback-on-failure in jeder Pipeline: Runde 6 hätte nur einen kurzen statt eines dauerhaften Ausfalls gehabt.
  • Selektor-Labels im Library Chart einfrieren und per Unit-Test absichern (Tag 17) – eine Änderung daran ist ein Breaking Change mit neuer Major-Version.
  • Schema-Änderungen und Standardwerte im Changelog des Charts; Pipelines rollen mit Werte-Dateien aus Git aus, nie mit --reuse-values.
  • Nur aus signierten Quellen per Digest ausrollen, das Tor im GitOps-Werkzeug (Tag 18) statt im Kopf der Person, die das Ticket bearbeitet.