Tag 19: Fehlersuche
Ziel: Jeden Helm-Fehler einer Schicht zuordnen, hängende und gescheiterte Releases sauber lösen und die typischen API-Fehler beheben, ohne Daten zu verlieren. · Dauer: ca. 90 min · Voraussetzung: Tag 18
Briefing
- Drei Schichten: Rendern (Fehler mit Datei und Zeile, ohne Cluster), API (der Server lehnt ab), Laufzeit (alles angenommen, aber Pods laufen nicht).
- Die erste Minute ändert nichts:
status,history,get values,get manifest, Events. - Helm sperrt einen Release über die Revision mit Status
pending-*. Stirbt Helm hart, bleibt die Sperre stehen. - Viele Helm-Fehler sind Kubernetes-Fehler: unveränderliche Felder, fremde Objekte, Field-Manager-Konflikte, entfernte APIs.
- Erst sichern, dann reparieren – vor allem Release-Secrets.
Drill 1: Drei Schichten
Alle Experimente laufen in tag19, mit
helper und kleinen Wegwerf-Charts.
# auf prod
mkdir -p ~/helm/tag19 && cd ~/helm/charts
kubectl create namespace tag19
helm template t ./notes 2>&1 | head -1
helm install a ./helper -n tag19 --set port=abc 2>&1 | cut -c1-80
helm list -n tag19 --failed -q
kubectl -n tag19 get svc,deploy -l app.kubernetes.io/instance=a -o name
helm template a ./helper --set port=abc | kubectl apply --dry-run=server -f - 2>&1 \
| cut -c1-80
helm install l ./helper -n tag19 --set image.tag=2.99.0 | grep STATUS
sleep 10
kubectl -n tag19 get pods -l app.kubernetes.io/instance=lErwartet (gekürzt):
namespace/tag19 created
Error: execution error at (notes/templates/deployment.yaml:35:27): apiKey.existingSe…
Error: INSTALLATION FAILED: server-side apply failed for object tag19/a-helper a
a
service/a-helper
service/a-helper created (server dry run)
Error from server (BadRequest): error when creating "STDIN": Deployment in versi
STATUS: deployed
NAME READY STATUS RESTARTS AGE
l-helper-8bcc4b48c-r4qz4 0/1 ErrImagePull 0 10s
| Schicht | Merkmal | Werkzeug |
|---|---|---|
| Rendern | execution error at (datei:zeile) |
helm template --debug |
| API | apply failed, invalid,
conflict |
kubectl apply --dry-run=server |
| Laufzeit | deployed, aber Pods nicht bereit |
kubectl get/describe, Events, Logs |
Die gescheiterte Installation a hinterlässt einen
failed-Release und einen Service – Helm
räumt halb angelegte Objekte nicht auf.
helm install --dry-run=server hätte den Fehler nicht
gefunden (Tag 4), kubectl apply --dry-run=server schon.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die erste Minute
Release l meldet deployed und läuft
trotzdem nicht. Fünf Quellen, keine Änderung:
# auf prod
helm status l -n tag19 | grep -E '^(STATUS|REVISION|DESCRIPTION)'
helm status l -n tag19 | grep -A2 'v1/Pod'
helm history l -n tag19
helm get values l -n tag19
helm get values l -n tag19 --all | head -4
helm get manifest l -n tag19 | grep 'image:'
kubectl -n tag19 get events --field-selector reason=Failed \
-o jsonpath='{.items[0].message}' | fold -w 88; echoErwartet (gekürzt):
STATUS: deployed
REVISION: 1
DESCRIPTION: Install complete
==> v1/Pod(related)
NAME READY STATUS RESTARTS AGE
l-helper-8bcc4b48c-r4qz4 0/1 ErrImagePull 0 11s
REVISION UPDATED STATUS CHART ... DESCRIPTION
1 Fri Nov 20 07:25:52 2026 deployed helper-0.2.1 ... Install complete
USER-SUPPLIED VALUES:
image:
tag: 2.99.0
COMPUTED VALUES:
image:
repository: ghcr.io/mccutchen/go-httpbin
tag: 2.99.0
image: "ghcr.io/mccutchen/go-httpbin:2.99.0"
Failed to pull image "ghcr.io/mccutchen/go-httpbin:2.99.0": rpc error: code = NotFound d
esc = failed to pull and unpack image "ghcr.io/mccutchen/go-httpbin:2.99.0": failed to r
esolve reference "ghcr.io/mccutchen/go-httpbin:2.99.0": ghcr.io/mccutchen/go-httpbin:2.9
9.0: not found
status zeigt in Helm 4 auch die Pods.
history nennt die letzte gute Revision und in
DESCRIPTION oft schon den Grund. get values
ohne --all zeigt nur, was jemand gesetzt hat – hier ein
Tag, den es nicht gibt. Das ist ein Laufzeitfehler: Helm hat alles
richtig gemacht.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Hängendes Upgrade – pending-upgrade
Erst reparieren, dann ein Upgrade mit --wait starten und
Helm hart töten – wie ein CI-Runner, der mit SIGKILL endet:
# auf prod
helm upgrade l ./helper -n tag19 --set image.tag=2.26.0 --wait | grep REVISION
helm upgrade l ./helper -n tag19 --set image.tag=2.98.0 --wait --timeout 5m \
>/dev/null 2>&1 &
sleep 4; kill -9 $!
helm history l -n tag19 --max 2
helm upgrade l ./helper -n tag19 --set image.tag=2.26.0 2>&1 | tail -1
pgrep -a helm || echo "kein helm-Prozess"
kubectl -n tag19 get deploy l-helper \
-o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'Erwartet (gekürzt):
REVISION: 2
REVISION UPDATED STATUS ... DESCRIPTION
2 Fri Nov 20 07:26:19 2026 deployed ... Upgrade complete
3 Fri Nov 20 07:26:23 2026 pending-upgrade ... Preparing upgrade
Error: UPGRADE FAILED: another operation (install/upgrade/rollback) is in progress
kein helm-Prozess
ghcr.io/mccutchen/go-httpbin:2.98.0
Revision 3 ist die verwaiste Sperre. Der Cluster hat das kaputte
Image schon übernommen. Reihenfolge wie im Betrieb: Läuft wirklich kein
Helm mehr (auch nicht in einer anderen Pipeline)? Wie geht es der
Anwendung? Dann der saubere Weg – Rollback auf die letzte
deployed-Revision:
# auf prod
helm rollback l 2 -n tag19 --wait --description "pending-upgrade aufgelöst"
helm history l -n tag19 --max 3
helm upgrade l ./helper -n tag19 --set image.tag=2.26.0 --wait | grep REVISIONErwartet (gekürzt):
Rollback was a success! Happy Helming!
REVISION ... STATUS ... DESCRIPTION
2 ... superseded ... Upgrade complete
3 ... pending-upgrade ... Preparing upgrade
4 ... deployed ... pending-upgrade aufgelöst
REVISION: 5
Helm 4 erlaubt den Rollback trotz Sperre; Revision 3 bleibt als
pending-upgrade in der Historie stehen, stört aber nicht
mehr. Der letzte Ausweg, falls der Rollback nicht geht: genau das Secret
der hängenden Revision löschen.
Achtung: Nur das neueste
pending-*-Secret löschen und vorher sichern. Der Label-Filter findet auch die alte, harmlose Revision 3 – darum sortieren und den Namen doppelt prüfen. Wer alle Release-Secrets löscht, löscht Helms Gedächtnis: Der Release ist danach unbekannt, die Objekte laufen herrenlos weiter.
# auf prod
helm upgrade l ./helper -n tag19 --set image.tag=2.98.0 --wait --timeout 5m \
>/dev/null 2>&1 &
sleep 4; kill -9 $!
kubectl -n tag19 get secret -l owner=helm,name=l,status=pending-upgrade \
--sort-by=.metadata.creationTimestamp -o name
kubectl -n tag19 get secret sh.helm.release.v1.l.v6 -o yaml > ~/helm/tag19/l-v6.yaml
kubectl -n tag19 delete secret sh.helm.release.v1.l.v6
helm history l -n tag19 --max 1
kubectl -n tag19 get deploy l-helper \
-o jsonpath='{.spec.template.spec.containers[0].image}{"\n"}'
helm upgrade l ./helper -n tag19 --set image.tag=2.26.0 --wait | grep REVISIONErwartet (gekürzt):
secret/sh.helm.release.v1.l.v3
secret/sh.helm.release.v1.l.v6
secret "sh.helm.release.v1.l.v6" deleted from tag19 namespace
REVISION ... STATUS ... DESCRIPTION
5 ... deployed ... Upgrade complete
ghcr.io/mccutchen/go-httpbin:2.98.0
REVISION: 6
Das Löschen des Secrets ändert nichts im Cluster – das Deployment
steht weiter auf 2.98.0, erst das nächste Upgrade repariert es.
Vorbeugen: pro Release nur eine Pipeline gleichzeitig,
--timeout kürzer als das Job-Timeout des CI.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Gescheiterte Erstinstallation
Derselbe harte Abbruch, diesmal bei der Installation:
# auf prod
helm install pi ./helper -n tag19 --set image.tag=2.98.0 --wait --timeout 5m \
>/dev/null 2>&1 &
sleep 4; kill -9 $!
helm history pi -n tag19
helm upgrade --install pi ./helper -n tag19 2>&1 | tail -1
helm rollback pi -n tag19 2>&1 | tail -1
helm uninstall pi -n tag19Erwartet (gekürzt):
REVISION UPDATED STATUS ... DESCRIPTION
1 Fri Nov 20 07:26:39 2026 pending-install ... Initial install underway
Error: UPGRADE FAILED: another operation (install/upgrade/rollback) is in progress
Error: release has no 0 version
release "pi" uninstalled
Es gibt keine gute Revision, zu der ein Rollback führen könnte –
uninstall und neu installieren (vorher prüfen, ob Daten
betroffen sind). Anders der Release a aus Drill 1, dessen
einzige Revision failed ist:
# auf prod
helm history a -n tag19 | cut -c1-88
helm upgrade a ./helper -n tag19 2>&1 | grep -o 'containerPort="abc"' | head -1
helm get values a -n tag19
helm upgrade a ./helper -n tag19 --reset-values --wait | grep -E '^(STATUS|REVISION)'
helm history a -n tag19 -o json | jq -r '.[] | "\(.revision) \(.status)"'Erwartet:
REVISION UPDATED STATUS CHART ... DESCRIPTION
1 Fri Nov 20 07:25:50 2026 failed helper-0.2.1 ... Release "a" failed: se
containerPort="abc"
USER-SUPPLIED VALUES:
port: abc
STATUS: deployed
REVISION: 3
1 failed
2 superseded
3 deployed
Die Meldung has no deployed releases aus Helm-3-Zeiten
tritt in Helm 4.3.2 hier nicht auf: Ein Upgrade auf einen nur
gescheiterten Release ist erlaubt. Die Falle steckt woanders: Ein
Upgrade ohne Werte übernimmt die Werte der letzten
deployed-Revision (Tag 3) – gibt es keine, die der
gescheiterten (Tag 20, Runde 4). Der kaputte Port kommt wieder mit, erst
--reset-values hilft.
Fortschritt speichern? Kostenlos registrieren
Drill 5: field is immutable
Ein StatefulSet mit Daten, dann soll das PVC größer werden:
# auf prod
kubectl -n tag19 create secret generic pg-db --from-literal=password=lab-db-123
helm install pg ./postgres -n tag19 --set auth.existingSecret=pg-db --wait | grep STATUS
kubectl -n tag19 exec pg-postgres-0 -- psql -U notes -qc \
'create table t (x int); insert into t values (19)'
helm upgrade pg ./postgres -n tag19 --reuse-values --set storage=2Gi 2>&1 \
| grep -o 'spec.volumeClaimTemplates: Invalid value\|field is immutable' | sort -uErwartet:
secret/pg-db created
STATUS: deployed
field is immutable
spec.volumeClaimTemplates: Invalid value
volumeClaimTemplates, selector und
serviceName eines StatefulSets sind unveränderlich. Der
Ausweg: das StatefulSet löschen, aber Pods und PVCs stehen lassen.
Achtung:
kubectl delete statefulset --cascade=orphanlässt Pods und PVCs laufen. Ohne--cascade=orphanlöscht Kubernetes die Pods – die Datenbank ist weg, bis das Upgrade sie neu startet.
# auf prod
kubectl -n tag19 delete statefulset pg-postgres --cascade=orphan
kubectl -n tag19 get pods -l app.kubernetes.io/instance=pg
helm upgrade pg ./postgres -n tag19 --reuse-values --set storage=2Gi --wait \
| grep REVISION
kubectl -n tag19 get pods -l app.kubernetes.io/instance=pg
kubectl -n tag19 get sts pg-postgres \
-o jsonpath='{.spec.volumeClaimTemplates[0].spec.resources.requests.storage}{"\n"}'
kubectl -n tag19 get pvc data-pg-postgres-0 \
-o jsonpath='{.status.capacity.storage}{"\n"}'
kubectl -n tag19 exec pg-postgres-0 -- psql -U notes -tAc 'select x from t'Erwartet:
statefulset.apps "pg-postgres" deleted from tag19 namespace
NAME READY STATUS RESTARTS AGE
pg-postgres-0 1/1 Running 0 22s
REVISION: 3
NAME READY STATUS RESTARTS AGE
pg-postgres-0 1/1 Running 0 24s
2Gi
1Gi
19
Das neue StatefulSet adoptiert den laufenden Pod (gleiches Alter,
kein Neustart), die Daten bleiben. Aber: Das vorhandene PVC bleibt 1Gi –
volumeClaimTemplates gilt nur für neue PVCs. Vergrößern
geht nur am PVC selbst und nur, wenn die StorageClass
allowVolumeExpansion kann (local-path kann es nicht).
Zweiter Klassiker: ein Job als normales Objekt, dessen Befehl sich ändert.
Achtung:
--force-replaceist kein normales Upgrade-Flag. Es überschreibt Objekte vollständig (auch Felder, die Controller gesetzt haben) und schaltet den Release auf client-side apply (Tag 14).
# auf prod
cd ~/helm/tag19 && mkdir -p jobchart/templates
printf 'apiVersion: v2\nname: jobchart\nversion: 0.1.0\n' > jobchart/Chart.yaml
printf 'sekunden: "1"\n' > jobchart/values.yaml
cat > jobchart/templates/job.yaml <<'EOF'
apiVersion: batch/v1
kind: Job
metadata:
name: {{ .Release.Name }}-einmal
spec:
template:
spec:
restartPolicy: Never
containers:
- name: schlafe
image: curlimages/curl:8.23.0
command: ["sleep", {{ .Values.sekunden | quote }}]
EOF
helm install j ./jobchart -n tag19 --wait --wait-for-jobs | grep STATUS
helm upgrade j ./jobchart -n tag19 --set-string sekunden=2 2>&1 | tail -1 | cut -c1-88
helm upgrade j ./jobchart -n tag19 --set-string sekunden=2 --force-replace 2>&1 \
| tail -1
helm upgrade j ./jobchart -n tag19 --set-string sekunden=2 --force-replace \
--server-side=false 2>&1 | tail -1 | cut -c1-88
kubectl -n tag19 delete job j-einmal
helm upgrade j ./jobchart -n tag19 --set-string sekunden=2 --wait --wait-for-jobs \
| grep REVISION
helm get metadata j -n tag19 | grep APPLY_METHOD
helm upgrade j ./jobchart -n tag19 --server-side=true --reuse-values | grep REVISION
helm get metadata j -n tag19 | grep APPLY_METHODErwartet:
STATUS: deployed
Error: UPGRADE FAILED: server-side apply failed for object tag19/j-einmal batch/v1, Kind
Error: UPGRADE FAILED: invalid operation: cannot use server-side apply and force replace
together
Error: UPGRADE FAILED: failed to replace object: Job.batch "j-einmal" is invalid: [spec.
job.batch "j-einmal" deleted from tag19 namespace
REVISION: 5
APPLY_METHOD: client-side apply
REVISION: 6
APPLY_METHOD: server-side apply
Drei Befunde. --force-replace (früher
--force) verträgt sich nicht mit Server-Side Apply. Mit
--server-side=false ersetzt Helm das Objekt per PUT – es
löscht und erzeugt nicht neu, unveränderliche Felder
bleiben unveränderlich. Und: Der gescheiterte Versuch mit
--server-side=false hat den Release auf client-side
umgestellt, weil auto die Methode der vorigen Revision
übernimmt; erst --server-side=true stellt zurück. Für Jobs
ist die saubere Lösung ein Hook mit before-hook-creation
(Tag 11) oder ein Name mit Revision.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Wem gehört das Objekt?
Ein Chart mit festen Namen – wie viele Charts aus dem Internet:
# auf prod
cd ~/helm/tag19 && mkdir -p besitz/templates
printf 'apiVersion: v2\nname: besitz\nversion: 0.1.0\n' > besitz/Chart.yaml
cat > besitz/templates/objekte.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
name: gemeinsam
data:
von: {{ .Release.Name }}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: notes-leser
rules:
- apiGroups: [""]
resources: [configmaps]
verbs: [get, list]
EOF
kubectl -n tag19 create configmap gemeinsam --from-literal=von=hand
helm install b1 ./besitz -n tag19 2>&1 | fold -w 88
helm list -n tag19 -q | grep -c b1Erwartet:
configmap/gemeinsam created
Error: INSTALLATION FAILED: unable to continue with install: ConfigMap "gemeinsam" in na
mespace "tag19" exists and cannot be imported into the current release: invalid ownershi
p metadata; label validation error: missing key "app.kubernetes.io/managed-by": must be
set to "Helm"; annotation validation error: missing key "meta.helm.sh/release-name": mus
t be set to "b1"; annotation validation error: missing key "meta.helm.sh/release-namespa
ce": must be set to "tag19"
0
Helm übernimmt nur Objekte mit Label
app.kubernetes.io/managed-by: Helm und den Annotationen
meta.helm.sh/release-name und -namespace. Die
Prüfung läuft vorher – es entsteht nicht einmal ein Release.
--take-ownership überspringt sie:
# auf prod
helm install b1 ./besitz -n tag19 --take-ownership 2>&1 | tail -1 | fold -w 88
kubectl -n tag19 get cm gemeinsam --show-managed-fields -o json \
| jq -c '.metadata.managedFields[] | {manager, operation, fields: .fieldsV1}'
helm upgrade b1 ./besitz -n tag19 --take-ownership --force-conflicts | grep REVISION
kubectl -n tag19 get cm gemeinsam -o jsonpath='{.data.von}{"\n"}'
kubectl -n tag19 get cm gemeinsam --show-managed-fields -o json \
| jq -r '.metadata.managedFields[].manager'Erwartet:
Error: INSTALLATION FAILED: conflict occurred while applying object tag19/gemeinsam /v1,
Kind=ConfigMap: Apply failed with 1 conflict: conflict with "kubectl-create" using v1:
.data.von
{"manager":"kubectl-create","operation":"Update","fields":{"f:data":{".":{},"f:von":…
REVISION: 2
b1
helm
kubectl-create
Die Eigentumsprüfung ist weg, jetzt meldet sich Server-Side Apply
(Tag 14): Das Feld data.von gehört dem Field Manager
kubectl-create, und Helm will einen anderen Wert. Wem was
gehört, steht in managedFields.
--force-conflicts nimmt Helm das Feld. Bei globalen
Objekten trifft es zwei Releases:
# auf prod
kubectl create namespace tag19b
helm install b2 ./besitz -n tag19b 2>&1 | grep -o 'ClusterRole.*current value is "b1"' \
| fold -w 88
sed -i 's/name: notes-leser/name: {{ .Release.Name }}-notes-leser/' \
besitz/templates/objekte.yaml
kubectl -n tag19b create configmap gemeinsam --from-literal=von=b2
kubectl -n tag19b label configmap gemeinsam app.kubernetes.io/managed-by=Helm
kubectl -n tag19b annotate configmap gemeinsam meta.helm.sh/release-name=b2 \
meta.helm.sh/release-namespace=tag19b
helm install b2 ./besitz -n tag19b | grep STATUS
kubectl get clusterrole -l app.kubernetes.io/managed-by=Helm -o name | grep leserErwartet:
namespace/tag19b created
ClusterRole "notes-leser" in namespace "" exists and cannot be imported into the current
release: invalid ownership metadata; annotation validation error: key "meta.helm.sh/rel
ease-name" must equal "b2": current value is "b1"
configmap/gemeinsam created
configmap/gemeinsam labeled
configmap/gemeinsam annotated
STATUS: deployed
clusterrole.rbac.authorization.k8s.io/b2-notes-leser
clusterrole.rbac.authorization.k8s.io/notes-leser
Die richtige Reparatur steckt im Chart: Cluster-weite Objekte
bekommen den Release-Namen. Die von Hand angelegte ConfigMap in
tag19b übernimmt Helm nach label und
annotate ohne Konflikt – sie hat schon den Wert, den das
Chart setzt.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Konflikt nach kubectl scale
Jemand skaliert in der Nacht von Hand. Am Morgen kommt das nächste Upgrade – ohne jede Änderung:
# auf prod
cd ~/helm/charts
kubectl -n tag19 scale deployment l-helper --replicas=3
helm upgrade l ./helper -n tag19 --reuse-values 2>&1 | tail -1 | fold -w 88
kubectl -n tag19 get deploy l-helper --show-managed-fields -o json \
| jq -r '.metadata.managedFields[]
| select(.fieldsV1."f:spec"."f:replicas") | [.manager, .subresource] | @tsv'
helm upgrade l ./helper -n tag19 --reuse-values --set replicaCount=2 --force-conflicts \
--wait | grep REVISION
kubectl -n tag19 get deploy l-helper -o jsonpath='{.spec.replicas}{"\n"}'
kubectl -n tag19 get deploy l-helper --show-managed-fields -o json \
| jq -r '.metadata.managedFields[]
| select(.fieldsV1."f:spec"."f:replicas") | [.manager, .operation] | @tsv'Erwartet:
deployment.apps/l-helper scaled
Error: UPGRADE FAILED: conflict occurred while applying object tag19/l-helper apps/v1, K
ind=Deployment: Apply failed with 1 conflict: conflict with "kubectl" with subresource "
scale" using apps/v1: .spec.replicas
kubectl scale
REVISION: 8
2
helm Apply
Mit Server-Side Apply (Standard bei Neuinstallationen in Helm 4, Tag
14) gehört spec.replicas nach kubectl scale
dem Manager kubectl. Das Chart rendert immer
replicas, also scheitert jedes Upgrade. Entweder Helm holt
sich das Feld mit --force-conflicts zurück, oder das Chart
lässt replicas weg, wenn ein HPA oder Mensch skaliert –
beim Umstellen mit Besitzwechsel, sonst fällt das Deployment kurz auf
einen Pod (Tag 14, Drill 5). Wer es nicht weiß, sieht nur eine Pipeline,
die plötzlich rot ist. helm diff upgrade --three-way-merge
(Tag 14) hätte die Drift vorher gezeigt.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Entfernte API im gespeicherten Release
Nach einem Kubernetes-Upgrade kann das gespeicherte
Manifest eine API enthalten, die der Cluster nicht mehr kennt. Auf k3s
1.37 lässt sich das nur nachstellen, indem du das Release-Secret
manipulierst (policy/v1beta1 gibt es seit 1.25 nicht
mehr):
# auf prod
cd ~/helm/tag19 && mkdir -p altapi/templates
printf 'apiVersion: v2\nname: altapi\nversion: 0.1.0\n' > altapi/Chart.yaml
cat > altapi/templates/pdb.yaml <<'EOF'
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: {{ .Release.Name }}-pdb
spec:
maxUnavailable: 1
selector:
matchLabels:
app.kubernetes.io/instance: {{ .Release.Name }}
EOF
helm install alt ./altapi -n tag19 | grep STATUS
S=sh.helm.release.v1.alt.v1
kubectl -n tag19 get secret $S -o jsonpath='{.data.release}' \
| base64 -d | base64 -d | gzip -d \
| jq '.manifest |= sub("policy/v1"; "policy/v1beta1")' \
| gzip -c | base64 -w0 | base64 -w0 > kaputt.b64
printf '{"data":{"release":"%s"}}' "$(cat kaputt.b64)" > kaputt.json
kubectl -n tag19 patch secret $S --type merge --patch-file kaputt.json
helm get manifest alt -n tag19 | grep apiVersion
helm upgrade alt ./altapi -n tag19 2>&1 | fold -w 88
helm history alt -n tag19 -o json | jq -r '.[] | "\(.revision) \(.status)"'Erwartet:
STATUS: deployed
secret/sh.helm.release.v1.alt.v1 patched
apiVersion: policy/v1beta1
Error: UPGRADE FAILED: unable to build kubernetes objects from current release manifest:
resource mapping not found for name: "alt-pdb" namespace: "" from "": no matches for ki
nd "PodDisruptionBudget" in version "policy/v1beta1"
ensure CRDs are installed first
1 deployed
Das Chart ist in Ordnung, Helm scheitert schon beim Lesen des alten
Stands – und legt nicht einmal eine failed-Revision an. Das
Plugin helm-mapkubeapis schreibt solche Manifeste automatisch um; es ist
im Labor nicht installiert, und ob Version 0.6.1 mit Helm 4 zuverlässig
läuft, ist nicht belegt. Finden lassen sich solche Releases vorher mit
pluto detect-helm (Tag 17). Von Hand ist es derselbe Weg
rückwärts:
Achtung: Ein Release-Secret von Hand umzuschreiben ist eine Operation am offenen Herzen. Vorher sichern (
-o yaml), nur die letzte Revision anfassen, die doppelte Base64-Kodierung und gzip genau einhalten. Ein Patch-File statt-pvermeidet zu lange Kommandozeilen bei großen Releases.
# auf prod
kubectl -n tag19 get secret $S -o yaml > alt-v1-sicherung.yaml
kubectl -n tag19 get secret $S -o jsonpath='{.data.release}' \
| base64 -d | base64 -d | gzip -d \
| jq '.manifest |= gsub("policy/v1beta1"; "policy/v1")' \
| gzip -c | base64 -w0 | base64 -w0 > repariert.b64
printf '{"data":{"release":"%s"}}' "$(cat repariert.b64)" > repariert.json
kubectl -n tag19 patch secret $S --type merge --patch-file repariert.json
helm get manifest alt -n tag19 | grep apiVersion
helm upgrade alt ./altapi -n tag19 | grep -E '^(STATUS|REVISION)'Erwartet:
secret/sh.helm.release.v1.alt.v1 patched
apiVersion: policy/v1
STATUS: deployed
REVISION: 2
Vorbeugen ist billiger: Vor jedem Kubernetes-Upgrade die Charts mit
helm template --kube-version gegen die neue Version rendern
(Tag 4) und die Releases mit einem Upgrade auf aktuelle APIs bringen,
solange der alte Cluster noch läuft.
| Meldung | Ursache | Drill |
|---|---|---|
another operation … is in progress |
verwaiste pending-*-Revision |
3, 4 |
release has no 0 version |
Rollback ohne gute Revision | 4 |
field is immutable |
Selektor, volumeClaimTemplates, Job-Template |
5 |
invalid ownership metadata |
Objekt gehört keinem/einem anderen Release | 6 |
conflict with "…" using … |
anderer Field Manager besitzt das Feld | 6, 7 |
unable to build kubernetes objects … |
entfernte API im gespeicherten Release | 8 |
context deadline exceeded |
Image, Probe, Hook-Job, PVC | Challenge |
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige alle Releases im Cluster, deren aktuelle Revision
failedoderpending-*ist. Zeitziel: 15 s - Finde alle Release-Secrets im Cluster mit Status
pending-upgrade. Zeitziel: 20 s - Welche Revision von
list zuletzt gescheitert, und mit welchen Werten? Zeitziel: 45 s - Welchem Release gehört die ConfigMap
gemeinsamintag19? Zeitziel: 20 s
Lösung
# auf prod
helm list -A --failed --pending
kubectl get secret -A -l owner=helm,status=pending-upgrade -o name
helm history l -n tag19 -o json | jq -r '[.[] | select(.status=="failed")][-1].revision'
helm get values l -n tag19 --revision 7
kubectl -n tag19 get cm gemeinsam -o jsonpath='{.metadata.annotations}{"\n"}'Erwartet:
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
secret/sh.helm.release.v1.l.v3
7
USER-SUPPLIED VALUES:
image:
tag: 2.26.0
{"meta.helm.sh/release-name":"b1","meta.helm.sh/release-namespace":"tag19"}
helm list filtert nach dem Status der
aktuellen Revision – alle Releases sind repariert, die
Liste ist leer. Das Secret l.v3 dagegen ist die alte Sperre
aus Drill 3: harmlos, aber ein Alarm auf „pending-Secrets gibt es“ würde
hier fälschlich anschlagen. Revision 7 war das Upgrade ohne Änderung,
das am kubectl scale scheiterte.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf prod
helm list -A --failed --pending | wc -lErwartet: 1 (nur die Kopfzeile).
# auf prod
helm list -n tag19 -o json | jq -r '.[] | "\(.name) \(.status)"' | sort | tr '\n' ' 'Erwartet:
a deployed alt deployed b1 deployed j deployed l deployed pg deployed
(nach der Challenge zusätzlich c deployed).
# auf prod
helm status notes -n notes | grep -E '^STATUS'Erwartet: STATUS: deployed – der
Prod-Release hat von alldem nichts gemerkt.
Challenge
Ein Kollege hat diesen Befehl abgeschickt, die Pipeline meldet
context deadline exceeded. Finde die Ursache, ohne in den
Befehl zu schauen, und bringe c auf
deployed.
# auf prod
cd ~/helm/charts
helm upgrade --install c ./helper -n tag19 --set probePath=/status/503 \
--wait --timeout 30s 2>&1 | tail -2Erwartet:
Error: resource Deployment/tag19/c-helper not ready. status: InProgress, message: Ava…
context deadline exceeded
Hinweis: context deadline exceeded
heißt nur „Helm hat gewartet“ – die Antwort steht in den Pods und ihren
Events.
Lösung
# auf prod
helm status c -n tag19 | grep -E '^STATUS'
kubectl -n tag19 get pods -l app.kubernetes.io/instance=c
kubectl -n tag19 describe pod -l app.kubernetes.io/instance=c | grep -m1 'statuscode'
helm get values c -n tag19
helm upgrade c ./helper -n tag19 --reset-values --wait --timeout 60s | grep REVISION
helm history c -n tag19 -o json | jq -r '.[] | "\(.revision) \(.status)"'Erwartet (gekürzt):
STATUS: failed
NAME READY STATUS RESTARTS AGE
c-helper-7bd5bf5496-rbsm2 0/1 Running 0 31s
Warning Unhealthy 8s (x5 over 30s) kubelet spec.containers{helper}: Readiness
probe failed: HTTP probe failed with statuscode: 503
USER-SUPPLIED VALUES:
probePath: /status/503
REVISION: 2
1 superseded
2 deployed
Der Pod läuft, ist aber nie bereit: Die readinessProbe fragt
/status/503. Die Ursache stand in get values,
der Beweis in den Events. --reset-values verwirft den
falschen Wert (ein Upgrade ohne Werte hätte ihn aus der gescheiterten
Revision übernommen, Drill 4). Die übrigen Kandidaten für denselben
Fehler: Image nicht ladbar (ErrImagePull, Drill 2),
Hook-Job hängt (kubectl get jobs, Tag 11), PVC
Pending (kubectl get pvc, Events des PVC).
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf prod
helm uninstall -n tag19 $(helm list -n tag19 -q)
helm uninstall b2 -n tag19b
kubectl delete namespace tag19 tag19b
kubectl get clusterrole -o name | grep -c notes-leserErwartet (gekürzt):
release "a" uninstalled
…
release "pg" uninstalled
release "b2" uninstalled
namespace "tag19" deleted
namespace "tag19b" deleted
0
Das PVC data-pg-postgres-0 überlebt
helm uninstall (Tag 9) und verschwindet erst mit dem
Namespace. Am Chart notes hat sich heute nichts geändert,
es gibt keinen Commit.
Interview-Notiz
- Ein Helm-Upgrade schlägt fehl. Wie gehst du vor? Schicht
bestimmen (Rendern, API, Laufzeit), dann
status,history,get values,get manifest, Events und Logs – noch ohne etwas zu ändern. Erst sichern, dann zurückrollen oder reparieren. another operation is in progress– was tust du? Prüfen, dass wirklich kein Lauf aktiv ist, Zustand der Anwendung prüfen, Rollback auf die letztedeployed-Revision. Nur wenn das nicht geht: das Secret der neuestenpending-Revision sichern und löschen. Danach die Ursache im CI abstellen (Sperre, Timeouts, kein SIGKILL).invalid ownership metadatabzw. ein SSA-Konflikt? Das Objekt gehört nicht diesem Release bzw. ein Feld einem anderen Field Manager.managedFieldszeigt wem; übernehmen per Label/Annotation oder--take-ownership, Feld per--force-conflicts– oder das Chart so ändern, dass es das Feld nicht mehr setzt.
Enterprise-Notiz
- CI-Pipelines pro Release serialisieren (Concurrency-Gruppe, Lock)
und Helms
--timeoutkürzer als das Job-Timeout setzen, damit Helm selbst aufgibt undfailedschreibt stattpending-upgradezu hinterlassen. - Bevor jemand Release-Secrets anfasst: Sicherung aller
sh.helm.release.v1.*-Secrets des Namespaces (z. B. per Backup-Werkzeug), Vier-Augen-Prinzip, Ticket. - Manuelles Skalieren und
kubectl editan Helm-Objekten per RBAC oder Policy verhindern; wo ein HPA skaliert, rendert das Chart keinreplicas. - Kubernetes-Upgrades mit einer Liste entfernter APIs vorbereiten und alle Releases vorher auf neue APIs heben – das Umschreiben von Release-Secrets bleibt Notfall.
- Monitoring auf Release-Status: Alarm, wenn die
aktuelle Revision eines Releases länger als das Timeout
pending-*oderfailedist – nicht auf alte Secrets.