Tag 20: Wettkampf – das kaputte Chart
Ziel: Du findest und behebst in acht Runden eingebaute Chart- und Release-Fehler quer durch das Buch – gegen die Uhr, mit Nachweis vorher und nachher. · Dauer: ca. 120 min · Voraussetzung: Tag 0–19
Briefing
- Du baust dir in
tag20einen eigenen Releasewaus einer Kopie vonnotes: mit Datenbank-Subchart, Migrations-Hook, Ingress und Chart-Test. - Acht Runden, alle Schichten: Rendern, Schema, Hooks, Sperren, unveränderliche Felder, Werte-Vorrang und Lieferkette. Die Runden bauen aufeinander auf: der Reihe nach spielen.
- Werkzeuge:
helm template --debug,helm history/get/status,kubectl get/describe, Events,diffgegen den Stand im Git,cosign verify. - Jede Runde endet mit einem Beweis-Befehl: kaputt vorher, heil nachher.
Runde Symptom Zeitziel
1 upgrade: YAML parse error 3 min
2 upgrade: can't evaluate field Values 3 min
3 upgrade: additional properties not allowed 3 min
4 Pipeline: context deadline exceeded 5 min
5 upgrade: another operation is in progress 4 min
6 notes antwortet 503 5 min
7 neue Chart-Version, alte Seitengröße 4 min
8 Ticket: „bitte aus tag20/notes ausrollen“ 5 min
Spielregeln
- Pro Runde führt der Schiedsrichter die Schiedsrichter-Befehle aus – ein Kollege oder du selbst, ohne hinzusehen: Block kopieren, in ein zweites Terminal einfügen, Fenster schließen. Dann die Uhr starten.
- Ursache finden, beheben, mit einem Befehl beweisen. Erst dann Uhr stoppen.
- Repariere die Ursache, nicht das Symptom: Wer den Release deinstalliert, Schema oder Hook abschaltet, Release-Secrets löscht, obwohl ein Rollback geht, oder eine unsignierte Quelle trotzdem ausrollt, bekommt null Punkte. Die Notiz „Wettkampf“ in der Datenbank muss am Ende noch da sein.
- Den Hinweis erst lesen, wenn das Zeitziel abgelaufen ist.
- Die Ausgaben stammen aus einem Durchlauf ohne Zusatzversuche. Jeder weitere gescheiterte Upgrade-Versuch verschiebt bei dir die Revisionsnummern.
- Das Ziel jeder Runde ist ein sauberer Endzustand. Der Befehl dafür heißt im Folgenden kurz Messung:
# auf prod
helm status w -n tag20 -o json | jq -r .info.status
helm test w -n tag20 | grep Phase
curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: w.tag20.lab' localhost/healthzSpielfeld
# auf prod
mkdir -p ~/helm/tag20 && cd ~/helm/tag20
cp -r ~/helm/charts/notes .
kubectl create namespace tag20
kubectl -n tag20 create secret generic notes-db --from-literal=password=lab-db-123
kubectl -n tag20 create secret generic notes-api-key --from-literal=api-key=lab-key-123
cat > w.yaml <<'EOF'
# ~/helm/tag20/w.yaml – Stand Tag 20
replicaCount: 1
apiKey:
existingSecret: notes-api-key
global:
dbSecret: notes-db
postgres:
enabled: true
ingress:
enabled: true
hosts:
- "{{ .Release.Name }}.tag20.lab"
EOF
helm install w ./notes -n tag20 -f w.yaml --wait --timeout 4m \
| grep -E '^(STATUS|REVISION)'
kubectl -n tag20 get pods
helm test w -n tag20 | grep Phase
helm unittest notes | grep '^Tests:'
curl -s -H 'Host: w.tag20.lab' localhost/healthz; echo
curl -s -H 'Host: w.tag20.lab' -H 'X-API-Key: lab-key-123' localhost/notes \
-d '{"text":"Wettkampf"}'; echoErwartet (gekürzt):
namespace/tag20 created
secret/notes-db created
secret/notes-api-key created
STATUS: deployed
REVISION: 1
NAME READY STATUS RESTARTS AGE
w-notes-785cdffb86-h97dg 1/1 Running 2 (20s ago) 26s
w-notes-migrate-lcllj 0/1 Completed 0 5s
w-postgres-0 1/1 Running 0 25s
Phase: Succeeded
Tests: 15 passed, 15 total
ok
{"id":"847fdb6f-…","text":"Wettkampf"}
Das ist das gesunde Spielfeld: deployed, Test grün,
Unit-Tests grün, eine Notiz in Postgres. Das Chart in
~/helm/tag20/notes ist eine Kopie – der Vergleich mit
~/helm/charts/notes ist erlaubt und oft der schnellste
Weg.
Runde 1: Die Einrückung
Lage: Ein Kollege hat „nur aufgeräumt“. Jetzt scheitert jedes Upgrade, noch bevor etwas im Cluster passiert.
Schiedsrichter-Befehle:
# auf prod
cd ~/helm/tag20
sed -i 's/notes.labels" . | nindent 4/notes.labels" . | indent 4/' \
notes/templates/service.yamlZeitziel: 3 min
Hinweis: Lass dir das kaputte YAML zeigen und schau
auf die Zeile mit labels:.
Lösung Runde 1
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait 2>&1 | tail -1 | fold -w 88
helm template w ./notes -f w.yaml -s templates/service.yaml --debug 2>/dev/null \
| sed -n 1,10pErwartet:
Error: UPGRADE FAILED: YAML parse error on notes/templates/service.yaml: error convertin
g YAML to JSON: yaml: line 5: mapping values are not allowed in this context
---
# Source: notes/templates/service.yaml
apiVersion: v1
kind: Service
metadata:
name: w-notes
labels: app.kubernetes.io/name: notes
app.kubernetes.io/instance: w
app.kubernetes.io/version: "0.7.1"
Schicht Rendern (Tag 19): Datei und Zeile stehen im Fehler,
--debug gibt das kaputte YAML trotzdem aus.
indent fügt keinen Zeilenumbruch ein, die erste Label-Zeile
klebt hinter labels: (Tag 5). Reparieren und beweisen:
# auf prod
sed -i 's/notes.labels" . | indent 4/notes.labels" . | nindent 4/' \
notes/templates/service.yaml
helm upgrade w ./notes -n tag20 -f w.yaml --wait | grep -E '^(STATUS|REVISION)'Erwartet:
STATUS: deployed
REVISION: 2
Kein Upgrade ist bis zum Cluster gekommen – die gescheiterten Versuche haben keine Revision erzeugt.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Der Punkt in der Schleife
Lage: „Ich habe nur einheitlich . statt
$ geschrieben, das ist doch dasselbe.“
Schiedsrichter-Befehle:
# auf prod
sed -i 's/include "notes.fullname" \$ }}/include "notes.fullname" . }}/' \
notes/templates/ingress.yamlZeitziel: 3 min
Hinweis: Lies den Fehler von unten nach oben bis zur
ersten Zeile mit ingress.yaml.
Lösung Runde 2
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait 2>&1 | fold -w 88Erwartet:
Error: UPGRADE FAILED: notes/templates/ingress.yaml:26:25
executing "notes/templates/ingress.yaml" at <include "notes.fullname" .>:
error calling include:
notes/templates/_helpers.tpl:5:34
executing "notes.fullname" at <include "plattform.fullname" .>:
error calling include:
notes/charts/plattform/templates/_namen.tpl:7:14
executing "plattform.fullname" at <.Values.fullnameOverride>:
can't evaluate field Values in type string
Zeile 26 liegt im range über die Hosts: Dort ist
. der Hostname (ein String), nicht der Wurzel-Kontext (Tag
5). Zeile 6 (außerhalb der Schleife) ist mit . richtig –
nur die Zeile hinter service: braucht $:
# auf prod
sed -i '/service:$/{n;s/fullname" \. }}/fullname" $ }}/}' notes/templates/ingress.yaml
diff ~/helm/charts/notes/templates/ingress.yaml notes/templates/ingress.yaml \
&& echo "wie im Git"
helm upgrade w ./notes -n tag20 -f w.yaml --wait | grep -E '^(STATUS|REVISION)'Erwartet:
wie im Git
STATUS: deployed
REVISION: 3
Fortschritt speichern? Kostenlos registrieren
Runde 3: Das strenge Schema
Lage: Jemand hat das Schema „aufgeräumt“, weil
postgres doch gar nicht zum Chart gehöre.
Schiedsrichter-Befehle:
# auf prod
jq 'del(.properties.postgres)' notes/values.schema.json > s.json \
&& mv s.json notes/values.schema.jsonZeitziel: 3 min
Hinweis: "additionalProperties": false
gilt auch für die Werte der Subcharts.
Lösung Runde 3
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait 2>&1 | fold -w 88
helm lint notes -f w.yaml 2>&1 | grep -E 'ERROR|linted' | fold -w 88Erwartet:
Error: UPGRADE FAILED: values don't meet the specifications of the schema(s) in the foll
owing chart(s):
notes:
- at '': additional properties 'postgres' not allowed
[ERROR] values.yaml: - at '': additional properties 'postgres' not allowed
[ERROR] templates/: values don't meet the specifications of the schema(s) in the followi
ng chart(s):
Error: 1 chart(s) linted, 1 chart(s) failed
Die Werte des Subcharts stehen unter seinem Namen in den Eltern-Werten – das Schema des Eltern-Charts muss den Schlüssel erlauben (Tag 9). Zurück wie im Git:
# auf prod
P='{"type":"object","properties":{"enabled":{"type":"boolean"}}}'
jq --argjson p "$P" '.properties.postgres = $p' notes/values.schema.json > s.json \
&& mv s.json notes/values.schema.json
diff <(jq -S . ~/helm/charts/notes/values.schema.json) \
<(jq -S . notes/values.schema.json) && echo "wie im Git"
helm upgrade w ./notes -n tag20 -f w.yaml --wait | grep -E '^(STATUS|REVISION)'Erwartet:
wie im Git
STATUS: deployed
REVISION: 4
Fortschritt speichern? Kostenlos registrieren
Runde 4: Der hängende Hook
Lage: Die Pipeline meldet nach einer Minute
context deadline exceeded. Das Team sagt: „Wir haben nur
das DB-Secret umbenannt.“ Die Anwendung läuft angeblich weiter.
Schiedsrichter-Befehle:
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --set global.dbSecret=notes-db-neu \
--wait --timeout 60s >/dev/null 2>&1Zeitziel: 5 min
Hinweis: Welche Pods sind neu? Und wer läuft vor dem Upgrade?
Lösung Runde 4
# auf prod
helm history w -n tag20 --max 2 -o json \
| jq -r '.[] | "\(.revision) \(.status) \(.description)"' | cut -c1-88
kubectl -n tag20 get pods
kubectl -n tag20 get events --field-selector reason=Failed \
-o custom-columns=MELDUNG:.message | tail -1
helm get values w -n tag20 | grep -A1 globalErwartet (gekürzt):
4 deployed Upgrade complete
5 failed Upgrade "w" failed: pre-upgrade hooks failed: resource Job/tag20/w-notes-migrat
context deadline exceeded
NAME READY STATUS RESTARTS AGE
w-notes-785cdffb86-h97dg 1/1 Running 2 (111s ago) 117s
w-notes-migrate-4gz9j 0/1 CreateContainerConfigError 0 61s
w-notes-test 0/1 Completed 0 90s
w-postgres-0 1/1 Running 0 116s
Error: secret "notes-db-neu" not found
global:
dbSecret: notes-db-neu
Der pre-upgrade-Hook (Tag 11) wartet auf ein Secret, das
es nicht gibt; Helm wartet auf den Hook, bis das Timeout abläuft. Weil
der Hook vor allem anderen läuft, hat sich an der Anwendung nichts
geändert – der alte Pod läuft. get values zeigt die Werte
der gescheiterten Revision. Reparieren mit den Werten
aus Git:
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --wait --timeout 2m | grep -E '^STATUS'
helm get values w -n tag20 | grep -A1 global
kubectl -n tag20 get jobsErwartet:
STATUS: deployed
global:
dbSecret: notes-db
NAME STATUS COMPLETIONS DURATION AGE
w-notes-migrate Complete 1/1 4s 5s
before-hook-creation hat den hängenden Job ersetzt.
Gegenprobe: Ein Upgrade ganz ohne Werte hätte hier ebenfalls
notes-db genommen – Helm übernimmt die Werte der letzten
deployed-Revision. Nur wenn es keine gibt, sind es die
der gescheiterten (Tag 19, Drill 4).
Fortschritt speichern? Kostenlos registrieren
Runde 5: Die Sperre
Lage: Ein CI-Runner ist mitten im Deployment abgestürzt. Seitdem lehnt Helm jedes Upgrade ab.
Schiedsrichter-Befehle:
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml --set image.tag=0.7.99 --wait --timeout 5m \
>/dev/null 2>&1 &
sleep 6; kill -9 $!Zeitziel: 4 min
Hinweis: Erst prüfen, ob wirklich niemand mehr deployt – dann der saubere Weg aus Tag 19, Drill 3.
Lösung Runde 5
# auf prod
helm upgrade w ./notes -n tag20 -f w.yaml 2>&1 | tail -1
helm history w -n tag20 --max 2 -o json \
| jq -r '.[] | "\(.revision) \(.status) \(.description)"'
kubectl -n tag20 get pods -l app.kubernetes.io/name=notes
pgrep -a helm || echo "kein helm-Prozess"
D=$(helm history w -n tag20 -o json \
| jq -r '[.[] | select(.status=="deployed")][-1].revision'); echo $D
helm rollback w $D -n tag20 --wait --description "pending-upgrade nach kill aufgelöst"
helm history w -n tag20 --max 3 -o json | jq -r '.[] | "\(.revision) \(.status)"'
kubectl -n tag20 get deploy w-notes \
-o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'Erwartet (gekürzt):
Error: UPGRADE FAILED: another operation (install/upgrade/rollback) is in progress
6 deployed Upgrade complete
7 pending-upgrade Preparing upgrade
NAME READY STATUS RESTARTS AGE
w-notes-785cdffb86-h97dg 1/1 Running 2 (2m7s ago) 2m13s
w-notes-test 0/1 Completed 0 106s
kein helm-Prozess
6
Rollback was a success! Happy Helming!
6 superseded
7 pending-upgrade
8 deployed
ghcr.io/thomaszachmann/notes-api:0.7.1
Diesmal starb Helm noch im Hook – das kaputte Image hat das
Deployment nie erreicht. Der Rollback auf die letzte
deployed-Revision löst die Sperre, ohne ein Secret
anzufassen. Kein Punkt, wer das pending-upgrade-Secret
gelöscht hat.
Fortschritt speichern? Kostenlos registrieren
Runde 6: Der Ausfall
Lage: Das Monitoring meldet:
w.tag20.lab antwortet 503. Kurz vorher ist ein
Upgrade gescheitert, „aber gescheitert heißt ja, dass nichts passiert
ist“.
Schiedsrichter-Befehle:
# auf prod
L='app.kubernetes.io\/component: api'
sed -i "s/^\({{ include \"plattform.selectorLabels\" . }}\)\({{- end }}\)$/\1\n$L\2/" \
notes/templates/_helpers.tpl
helm upgrade w ./notes -n tag20 -f w.yaml --wait --timeout 2m >/dev/null 2>&1Zeitziel: 5 min
Hinweis: Zwei Objekte benutzen dieselben Selektor-Labels. Eines davon darfst du ändern.
Lösung Runde 6
# auf prod
curl -s -o /dev/null -w "%{http_code}\n" -H 'Host: w.tag20.lab' localhost/healthz
helm history w -n tag20 --max 1 -o json | jq -r '.[] | "\(.revision) \(.status)"'
kubectl -n tag20 get svc w-notes -o jsonpath='{.spec.selector}{"\n"}' | fold -w 88
kubectl -n tag20 get endpointslices -l kubernetes.io/service-name=w-notes \
-o jsonpath='{.items[0].endpoints}{"\n"}'
diff ~/helm/charts/notes/templates/_helpers.tpl notes/templates/_helpers.tplErwartet:
503
9 failed
{"app.kubernetes.io/component":"api","app.kubernetes.io/instance":"w","app.kubernetes.io
/name":"notes"}
null
7c7,8
< {{ include "plattform.selectorLabels" . }}{{- end }}
---
> {{ include "plattform.selectorLabels" . }}
> app.kubernetes.io/component: api{{- end }}
Das Upgrade scheiterte am Deployment
(spec.selector … field is immutable, Tag 6 und 19) – aber
den Service hatte Helm da schon mit dem neuen Selektor
angewendet. Er findet keinen Pod mehr (endpoints ist
null), Traefik antwortet 503. „Failed“ heißt
nicht „nichts passiert“. Und Vorsicht: helm get manifest
ohne --revision zeigt jetzt das Manifest der gescheiterten
Revision. Selektor zurück:
# auf prod
cp ~/helm/charts/notes/templates/_helpers.tpl notes/templates/_helpers.tpl
helm upgrade w ./notes -n tag20 -f w.yaml --wait --timeout 2m | grep -E '^STATUS'
kubectl -n tag20 get svc w-notes -o jsonpath='{.spec.selector}{"\n"}'
sleep 2
curl -s -o /dev/null -w "%{http_code}\n" -H 'Host: w.tag20.lab' localhost/healthzErwartet:
STATUS: deployed
{"app.kubernetes.io/instance":"w","app.kubernetes.io/name":"notes"}
200
Wer den Selektor wirklich ändern muss, plant es wie in Tag 19, Drill
5: Deployment mit --cascade=orphan löschen oder unter neuem
Namen parallel aufbauen – nie als normales Upgrade.
Fortschritt speichern? Kostenlos registrieren
Runde 7: Die neue Version
Lage: Chart 0.12.2 setzt die Seitengröße standardmäßig auf 25. Der Kollege hat ausgerollt – die API liefert weiter 50 pro Seite.
Schiedsrichter-Befehle:
# auf prod
sed -i 's/^ NOTES_PAGE_SIZE: "50"/ NOTES_PAGE_SIZE: "25"/' notes/values.yaml
sed -i 's/^version: 0.12.1/version: 0.12.2/' notes/Chart.yaml
helm upgrade w ./notes -n tag20 --reuse-values --wait >/dev/nullZeitziel: 4 min
Hinweis: Woher kommen die Standardwerte bei einem
Upgrade mit --reuse-values?
Lösung Runde 7
# auf prod
helm list -n tag20 -o json | jq -r '.[0].chart'
kubectl -n tag20 get cm w-notes-config -o jsonpath='{.data.NOTES_PAGE_SIZE}{"\n"}'
helm get values w -n tag20 --all -o json | jq -r .env.NOTES_PAGE_SIZE
helm show values ./notes | grep NOTES_PAGE_SIZE
helm upgrade w ./notes -n tag20 --reset-then-reuse-values --wait | grep -E '^STATUS'
kubectl -n tag20 get cm w-notes-config -o jsonpath='{.data.NOTES_PAGE_SIZE}{"\n"}'
helm get values w -n tag20 | head -3Erwartet:
notes-0.12.2
50
50
NOTES_PAGE_SIZE: "25"
STATUS: deployed
25
USER-SUPPLIED VALUES:
apiKey:
existingSecret: notes-api-key
Die neue Chart-Version ist installiert, aber
--reuse-values nimmt die berechneten Werte
der letzten Revision – samt alter Standards (Tag 3).
--reset-then-reuse-values nimmt die neuen Standards und
legt nur die eigenen Werte darüber. -f w.yaml wäre ebenso
richtig.
Fortschritt speichern? Kostenlos registrieren
Runde 8: Die fremde Quelle
Lage: Ticket: „Bitte notes 0.12.1 aus
oci://localhost:30500/tag20/notes ausrollen, liegt alles
bereit.“ Regel im Haus: nur signierte Charts, nur per Digest.
Schiedsrichter-Befehle:
# auf prod
cd ~/helm/tag20 && mkdir -p fremd
helm pull oci://localhost:30500/charts/notes --version 0.12.1 --plain-http -d fremd \
--untar >/dev/null 2>&1
sed -i 's#ghcr.io/thomaszachmann/notes-api#ghcr.io/angreifer/notes-api#' \
fremd/notes/values.yaml
helm package fremd/notes -d fremd >/dev/null
helm push fremd/notes-0.12.1.tgz oci://localhost:30500/tag20 --plain-http \
>/dev/null 2>&1Zeitziel: 5 min
Hinweis: Die Prüfung aus Tag 16 kommt vor jedem
helm upgrade. Gibt es dieselbe Version an einem Ort, dem du
traust?
Lösung Runde 8
# auf prod
K=~/helm/tag16
cosign verify --key $K/cosign.pub --allow-http-registry --insecure-ignore-tlog \
localhost:30500/tag20/notes:0.12.1 2>&1 | tail -1
helm show values oci://localhost:30500/tag20/notes --version 0.12.1 --plain-http \
2>/dev/null | grep -A2 '^image:'
D=$(helm show chart oci://localhost:30500/charts/notes --version 0.12.1 --plain-http \
2>&1 >/dev/null | awk '/^Digest/{print $2}')
cosign verify --key $K/cosign.pub --allow-http-registry --insecure-ignore-tlog \
localhost:30500/charts/notes@$D >/dev/null 2>&1 \
&& echo "charts/notes 0.12.1 signiert: ${D:0:19}…"
helm upgrade w oci://localhost:30500/charts/notes@$D -n tag20 -f w.yaml --plain-http \
--wait | grep -E '^STATUS'
helm list -n tag20 -o json | jq -r '.[0].chart'
kubectl -n tag20 get deploy w-notes \
-o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'Erwartet:
error during command execution: no signatures found
image:
# -- Image ohne Tag
repository: ghcr.io/angreifer/notes-api
charts/notes 0.12.1 signiert: sha256:4f9a83f635ad…
STATUS: deployed
notes-0.12.1
ghcr.io/thomaszachmann/notes-api:0.7.1
Gleicher Name, gleiche Version, anderer Inhalt: Ein Tag sagt nichts über den Inhalt (Tag 15). Die unsignierte Quelle fällt am Tor durch; ausgerollt wird die signierte Version per Digest. Der Weg zurück von 0.12.2 auf 0.12.1 ist ein normales Upgrade.
Fortschritt speichern? Kostenlos registrieren
Wertung
| Runde | Fehler | Zeitziel | Punkte |
|---|---|---|---|
| 1 | indent statt nindent bei den Labels des
Service |
3 min | 2 |
| 2 | . statt $ im range des
Ingress |
3 min | 2 |
| 3 | Schema verbietet Subchart-Werte postgres |
3 min | 2 |
| 4 | pre-upgrade-Hook hängt an fehlendem Secret | 5 min | 3 |
| 5 | pending-upgrade nach kill -9 |
4 min | 2 |
| 6 | Selektor geändert, Service ohne Endpunkte | 5 min | 3 |
| 7 | --reuse-values verschluckt neuen Standard |
4 min | 2 |
| 8 | unsigniertes, manipuliertes Chart gleicher Version | 5 min | 2 |
Volle Punkte nur innerhalb des Zeitziels, ohne Hinweis
und mit Beweis-Befehl; sonst die Hälfte (abrunden). Wer
statt der Ursache das Symptom beseitigt (Release neu installieren,
Schema löschen, migration.enabled=false, Release-Secret
löschen statt Rollback, Service von Hand patchen, unsigniert ausrollen),
bekommt für die Runde 0. Am Ende muss die Messung deployed,
Succeeded und 200 zeigen und
helm unittest notes grün sein. Gesamtzeitziel: 32 min,
Maximum: 18 Punkte.
| Punkte | Einschätzung |
|---|---|
| 15–18 | bereit für die Abschlussprüfung (Anhang B) |
| 10–14 | gut; die Tage der verpassten Runden wiederholen |
| 0–9 | Tag 5, 9, 11, 13, 16 und 19 noch einmal durcharbeiten |
Die Endmessung:
# auf prod
helm status w -n tag20 -o json | jq -r .info.status
helm test w -n tag20 | grep Phase
helm unittest notes | grep '^Tests:'
curl -s -H 'Host: w.tag20.lab' localhost/notes | jq -r '.[].text'
helm list -A --failed --pending | wc -lErwartet:
deployed
Phase: Succeeded
Tests: 15 passed, 15 total
Wettkampf
1
Die Notiz vom Anfang hat alle acht Runden überlebt. Die
1 der letzten Zeile ist nur die Kopfzeile – kein Release
hängt oder ist gescheitert.
Challenge
Finde nur mit Helm-Befehlen heraus, was das letzte gescheiterte
Upgrade von w gegenüber der Revision danach geändert hat –
Manifest und Werte.
Hinweis: helm get manifest und
helm get values kennen --revision,
helm history -o json liefert die Nummern.
Lösung
# auf prod
F=$(helm history w -n tag20 -o json \
| jq -r '[.[] | select(.status=="failed")][-1].revision')
G=$((F+1)); echo "gescheitert: $F, danach: $G"
diff <(helm get manifest w -n tag20 --revision $F) \
<(helm get manifest w -n tag20 --revision $G)
diff <(helm get values w -n tag20 --revision $F) \
<(helm get values w -n tag20 --revision $G) && echo "Werte gleich"Erwartet (Nummern hängen von deinen Versuchen ab):
gescheitert: 9, danach: 10
32c32
< revision: "9"
---
> revision: "10"
101d100
< app.kubernetes.io/component: api
125d123
< app.kubernetes.io/component: api
Werte gleich
Gleiche Werte, anderes Manifest – der Fehler steckte im Chart, nicht
in der Konfiguration (Runde 6). Revision 1 bis 3 sind schon weg:
--history-max hält zehn.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf prod
helm uninstall w -n tag20
kubectl delete namespace tag20
A=lab-zot-user:lab-zot-123
D=$(curl -s -u $A -I -H 'Accept: application/vnd.oci.image.manifest.v1+json' \
localhost:30500/v2/tag20/notes/manifests/0.12.1 \
| awk -F': ' 'tolower($1)=="docker-content-digest"{print $2}' | tr -d '\r')
curl -s -o /dev/null -w "%{http_code}\n" -u $A -X DELETE \
localhost:30500/v2/tag20/notes/manifests/$D
curl -s -u $A localhost:30500/v2/_catalog; echoErwartet:
release "w" uninstalled
namespace "tag20" deleted
202
{"repositories":["charts/helper","charts/notes","charts/plattform","charts/postgres","ch
arts/probe","mirror/zot"]}
Das manipulierte Chart ist aus zot entfernt (Tag 15: löschen nur per
Registry-API). Die Dateien in ~/helm/tag20 bleiben als
Vorlage für die Abschlussprüfung.
Kontrollpunkt
# auf prod
kubectl get ns | grep -c tag20Erwartet: 0
# auf prod
helm list -n notes --filter '^notes$' -o json | jq -r '.[0] | "\(.chart) \(.status)"'Erwartet: notes-0.12.1 deployed –
notes hast du heute nicht angefasst.
# auf prod
systemctl is-active rustfs postgresql@18-main k3sErwartet: dreimal active.
Interview-Notiz
- Ein Upgrade ist gescheitert – ist dann alles wie vorher?
Nein. Helm wendet Objekte nacheinander an; was vor dem Fehler kam, ist
geändert (Service-Selektor in Runde 6). Mit
--rollback-on-failureoder einem Rollback zurück auf einen konsistenten Stand. - Wie gehst du bei
context deadline exceededvor? Nicht Helm debuggen, sondern das, worauf Helm gewartet hat: Hook-Jobs, Pods, Events, PVCs.helm historynennt die Ressource. - Woran erkennst du, dass ein Chart aus der Registry das richtige ist? Am Digest und an der Signatur mit einem eigenen, vertrauenswürdigen Schlüssel – nie am Tag.
Enterprise-Notiz
- Game Days wie diesen mit dem Bereitschaftsteam spielen; aus den
Lösungen werden Runbooks (
pending-upgrade, hängender Hook, Selektor-Änderung). --rollback-on-failurein jeder Pipeline: Runde 6 hätte nur einen kurzen statt eines dauerhaften Ausfalls gehabt.- Selektor-Labels im Library Chart einfrieren und per Unit-Test absichern (Tag 17) – eine Änderung daran ist ein Breaking Change mit neuer Major-Version.
- Schema-Änderungen und Standardwerte im Changelog des Charts;
Pipelines rollen mit Werte-Dateien aus Git aus, nie mit
--reuse-values. - Nur aus signierten Quellen per Digest ausrollen, das Tor im GitOps-Werkzeug (Tag 18) statt im Kopf der Person, die das Ticket bearbeitet.