Tag 1: Die Methode
Ziel: Du grenzt einen Fehler mit festen Fragen in fester Reihenfolge ein, statt zu raten. · Dauer: ca. 45 min · Voraussetzung: Tag 0
Briefing
- Jeder Fehler in diesem Buch folgt demselben Muster: einbauen → Symptom → eingrenzen → Ursache → Fix → Nachweis. Der Nachweis wiederholt die Prüfung vom Symptom.
- Eingrenzen heißt: von außen nach innen, jede Frage schließt eine Schicht aus.
STATUSinkubectl get podsist eine Zusammenfassung aus Phase, Container-State und Reason – drei verschiedene Felder.
| Schicht | Typisches Symptom | Wo die Antwort steht |
|---|---|---|
| Scheduling | Pending |
Events am Pod (Tag 3) |
| Image, Runtime | ImagePullBackOff |
Events, crictl (Tag 4) |
| Workload | CrashLoopBackOff |
Last State, Logs (Tag 5) |
| Netzwerk | Timeout, refused |
EndpointSlice, DNS (Tag 7–9) |
| Admission | Forbidden, denied |
Meldung, Events am Controller (Tag 11–12) |
| Knoten, Control Plane | NotReady, API hängt |
Journal, crictl (Tag 14–16) |
Drill 1: Erst der Cluster, dann der Pod
Bevor du einen einzelnen Pod untersuchst, schließt du die unterste Schicht aus: Ist der API-Server gesund, und gibt es Warnungen, die gar nicht zu deinem Problem gehören?
# auf cp1
mkdir -p ~/debug/tag01 && cd ~/debug/tag01
kubectl get --raw='/readyz?verbose' | grep -E 'etcd|passed'
kubectl events -A --types=Warning | tail -4 | cut -c1-88Erwartet (gekürzt):
[+]etcd ok
[+]etcd-readiness ok
readyz check passed
kube-system 4m45s Warning NodeNotReady Pod/kube-proxy-worke
kube-system 4m45s Warning NodeNotReady Pod/rke2-canal-rwlsg
kube-system 4m45s Warning NodeNotReady Pod/rke2-traefik-j8d
local-path-storage 4m45s Warning NodeNotReady Pod/local-path-provi
Die NodeNotReady-Warnungen stammen aus der Challenge von
Tag 0. Warum? Events leben standardmäßig eine Stunde. Was du hier
siehst, ist frisch – ein Fehler von gestern hat heute keine Events
mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Einen Fehler einbauen
Eine Anwendung erwartet die Variable DB_HOST und bricht
ohne sie ab.
Einbauen:
# auf cp1
kubectl create namespace tag01
cat > app.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: app, namespace: tag01}
spec:
replicas: 1
selector: {matchLabels: {app: app}}
template:
metadata: {labels: {app: app}}
spec:
containers:
- name: app
image: busybox:1.37
command:
- sh
- -c
- |
if [ -z "$DB_HOST" ]; then
echo "FEHLER: DB_HOST ist nicht gesetzt" >&2
exit 1
fi
echo "verbinde mit $DB_HOST"
sleep 3600
EOF
kubectl apply -f app.yamlSymptom (nach etwa einer Minute):
# auf cp1
kubectl -n tag01 get pods -o wide | cut -c1-88Erwartet:
NAME READY STATUS RESTARTS AGE IP NODE NOMINA
app-7967b54879-q2hrx 0/1 Error 3 (33s ago) 50s 10.42.1.7 worker1 <none>
-o wide zeigt den Knoten. Stehen alle kaputten Pods auf
demselben Knoten, liegt die Ursache eher am Knoten als an der Anwendung.
Hier ist es ein einzelner Pod.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Phase, State und Reason
# auf cp1
kubectl -n tag01 get pod -l app=app -o jsonpath='{.items[0].status.phase}{"\n"}'
kubectl -n tag01 get pod -l app=app \
-o jsonpath='{.items[0].status.containerStatuses[0].state}{"\n"}' | cut -c1-88Erwartet (zwei Momentaufnahmen im Abstand von einer Minute):
Running
{"terminated":{"containerID":"containerd://8d2a14d0807af6a8a08a2d30394cbf15ba49cbee
Running
{"waiting":{"message":"back-off 1m20s restarting failed container=app pod=app-7967b5
Warum? Die Phase bleibt Running, solange der Pod einem
Knoten zugewiesen ist und das kubelet den Container neu startet. Der
Container wechselt zwischen terminated (direkt nach dem
Absturz, STATUS zeigt Error) und
waiting mit Reason CrashLoopBackOff. Die
Wartezeit verdoppelt sich ab 10 s bis höchstens 5 min.
Fortschritt speichern? Kostenlos registrieren
Drill 4: describe und events
Untersuchen:
# auf cp1
kubectl -n tag01 describe pod -l app=app | sed -n '/Last State:/,/Exit Code/p'
kubectl -n tag01 events --for $(kubectl -n tag01 get pod -l app=app -o name) \
| cut -c1-88Erwartet (gekürzt):
Last State: Terminated
Reason: Error
Exit Code: 1
LAST SEEN TYPE REASON OBJECT MESSAGE
60s Normal Scheduled Pod/app-7967b54879-q2hrx Successfully assign
21s (x4 over 59s) Normal Pulled Pod/app-7967b54879-q2hrx Container image "bu
21s (x4 over 59s) Normal Started Pod/app-7967b54879-q2hrx Container started
21s (x4 over 57s) Warning BackOff Pod/app-7967b54879-q2hrx Back-off restarting
Exit-Code 1, Reason Error, kein
OOMKilled. Das Image ist da, der Container startet. Damit
sind Scheduling, Image und Runtime ausgeschlossen: Der Prozess selbst
gibt auf. kubectl events sortiert nach Zeit, das neueste
unten; --for filtert auf ein Objekt.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Logs, Ursache, Fix, Nachweis
# auf cp1
kubectl -n tag01 logs deploy/app --previous
kubectl -n tag01 logs deploy/appErwartet, solange STATUS auf
Error steht (Zeile umbrochen):
unable to retrieve container logs for
containerd://09acf7e00de6e88b3580a62c2c24eadfdc29047d8264fa22736db6ffade8c97c
FEHLER: DB_HOST ist nicht gesetzt
Warum? --previous meint den Lauf vor
dem aktuellen Container. Steht der aktuelle selbst auf
terminated, ist dessen Log das richtige, und der vorletzte
ist schon aufgeräumt. Steht der Pod auf CrashLoopBackOff,
liefert --previous die Meldung. Probier im Zweifel
beide.
Ursache: Das Deployment setzt DB_HOST
nicht, die Anwendung endet mit Exit-Code 1, und
restartPolicy: Always startet sie immer wieder.
Fix:
# auf cp1
kubectl -n tag01 set env deploy/app DB_HOST=db.tag01.svc.cluster.local
kubectl -n tag01 rollout status deploy/appNachweis:
# auf cp1
kubectl -n tag01 get pods
kubectl -n tag01 logs deploy/appErwartet:
NAME READY STATUS RESTARTS AGE
app-64cb96f58d-xp86h 1/1 Running 0 5s
app-7967b54879-q2hrx 0/1 Terminating 4 (66s ago) 2m30s
Found 2 pods, using pod/app-64cb96f58d-xp86h
verbinde mit db.tag01.svc.cluster.local
Tipp:
set envist der schnelle Fix im Labor. In Produktion gehört die Variable ins Manifest bzw. ins Git-Repo, sonst überschreibt der nächste Deploy deinen Fix.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Exit-Codes lesen
Endet ein Prozess durch ein Signal, meldet die Runtime 128 plus
Signalnummer. Mit --restart=Never bleibt der Container nach
dem Ende stehen, und du liest den Code in Ruhe.
# auf cp1
kubectl -n tag01 run code127 --image=busybox:1.37 --restart=Never -- sh -c 'slep 1'
kubectl -n tag01 run code126 --image=busybox:1.37 --restart=Never -- \
sh -c '/etc/passwd'
kubectl -n tag01 run code128 --image=busybox:1.37 --restart=Never --command \
-- /bin/slep
kubectl -n tag01 run code137 --image=busybox:1.37 --restart=Never -- \
sh -c 'sleep 600 & kill -9 $!; wait $!'
kubectl -n tag01 get pods -o custom-columns=NAME:.metadata.name,\
PHASE:.status.phase,\
REASON:.status.containerStatuses[0].state.terminated.reason,\
EXIT:.status.containerStatuses[0].state.terminated.exitCodeErwartet:
NAME PHASE REASON EXIT
app-64cb96f58d-xp86h Running <none> <none>
code126 Failed Error 126
code127 Failed Error 127
code128 Failed StartError 128
code137 Failed Error 137
# auf cp1
kubectl -n tag01 logs code127
kubectl -n tag01 logs code126
kubectl -n tag01 get pod code128 \
-o jsonpath='{.status.containerStatuses[0].state.terminated.message}{"\n"}'Erwartet (letzte Zeile umbrochen):
sh: slep: not found
sh: /etc/passwd: Permission denied
failed to create containerd task: failed to create shim task: OCI runtime create
failed: runc create failed: unable to start container process: error during
container init: exec: "/bin/slep": stat /bin/slep: no such file or directory
| Code | Bedeutung | Typische Ursache |
|---|---|---|
| 1 | Anwendung bricht ab | Meldung im Log |
| 126 / 127 | nicht ausführbar / nicht gefunden | Rechte, Tippfehler im command |
128 + StartError |
Programm fehlt, keine Shell davor | Pfad im command falsch |
| 137 / 143 | SIGKILL / SIGTERM | OOM oder Liveness (Tag 5) / normales Beenden |
Warum? Mit --restart=Never ist die Phase
Failed, nicht Running. Eine Shell davor macht
aus „Programm fehlt“ den Code 127; ohne Shell scheitert schon runc, und
das kubelet meldet StartError mit 128.
Fortschritt speichern? Kostenlos registrieren
Drill 7: explain und auth can-i
# auf cp1
kubectl explain pod.spec.restartPolicy | head -8
kubectl auth whoami | head -3 | cut -c1-88
kubectl auth can-i list pods -n tag01 --as=system:serviceaccount:tag01:defaultErwartet:
KIND: Pod
VERSION: v1
FIELD: restartPolicy <string>
ENUM:
Always
Never
OnFailure
ATTRIBUTE VALUE
Username system:admin
Groups [system:masters system:authenticated
no
explain liest das Schema aus dem API-Server, passend zur
Version des Clusters und auch für CRDs. auth can-i --as
beantwortet Rechtefragen, ohne dass du dich als jemand anderes anmelden
musst (Tag 11). Du selbst bist system:admin in
system:masters – dich hält kein RBAC auf.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig nur die Warnungen in
tag01. Zeitziel: 15 s - Gib die Phase des
app-Pods aus, ohne seinen Namen abzutippen. Zeitziel: 30 s - Darf der ServiceAccount
defaultintag01Secrets lesen? Zeitziel: 20 s - Zeig die erlaubten Werte von
pod.spec.containers.imagePullPolicy. Zeitziel: 20 s
Lösung
# auf cp1
kubectl -n tag01 events --types=Warning
kubectl -n tag01 get pod -l app=app -o jsonpath='{.items[0].status.phase}{"\n"}'
kubectl auth can-i get secrets -n tag01 --as=system:serviceaccount:tag01:default
kubectl explain pod.spec.containers.imagePullPolicyErwartet (gekürzt):
LAST SEEN TYPE REASON OBJECT MESSAGE
2m21s (x6 over 4m17s) Warning BackOff Pod/app-7967b54879-q2hrx Back-off resta
92s Warning Failed Pod/code128 Error: failed
Running
no
FIELD: imagePullPolicy <string>
ENUM:
Always
IfNotPresent
Never
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf cp1
kubectl -n tag01 get deploy appErwartet:
NAME READY UP-TO-DATE AVAILABLE AGE
app 1/1 1 1 4m
# auf cp1
kubectl -n tag01 get pods -l app=app -o custom-columns=NAME:.metadata.name,\
RESTARTS:.status.containerStatuses[0].restartCountErwartet: ein Pod mit 0 Neustarts.
Challenge
Leg mit
kubectl -n tag01 create deployment rechner --image=busybox:1.37 -- sh -c 'echo $((100/0))'
ein Deployment an. Finde mit einem
kubectl get Neustarts, Reason und Exit-Code des letzten
Laufs aller Pods im Namespace, danach die Meldung des Prozesses.
Hinweis: lastState.terminated steht
neben state im containerStatuses-Eintrag.
Lösung
# auf cp1
kubectl -n tag01 create deployment rechner --image=busybox:1.37 \
-- sh -c 'echo $((100/0))'
kubectl -n tag01 get pods -o custom-columns=NAME:.metadata.name,\
RESTARTS:.status.containerStatuses[0].restartCount,\
REASON:.status.containerStatuses[0].lastState.terminated.reason,\
EXIT:.status.containerStatuses[0].lastState.terminated.exitCode
kubectl -n tag01 logs deploy/rechnerErwartet (gekürzt, ohne die code…-Pods
aus Drill 6):
NAME RESTARTS REASON EXIT
app-64cb96f58d-xp86h 0 <none> <none>
rechner-6d689cd4f-4bzk2 3 Error 2
sh: divide by zero
Exit-Code 2 setzt hier die Shell selbst. Auch er gehört in die Gruppe „Anwendung bricht ab, Antwort im Log“.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf cp1
kubectl delete namespace tag01
kubectl get namespace tag01Erwartet:
namespace "tag01" deleted
Error from server (NotFound): namespaces "tag01" not found
Interview-Notiz
- Ein Pod steht auf
CrashLoopBackOff– was tust du?describefürLast Stateund Exit-Code, dannlogs --previous(oder ohne, wenn der Container geradeterminatedist). Nie zuerst den Pod löschen. - Was bedeutet Exit-Code 137? SIGKILL; mit Reason
OOMKilleddas Speicherlimit, ohne meist ein Kill nach gescheiterter Liveness-Probe. - Warum ist ein abstürzender Pod
Running? Die Phase beschreibt den Pod, nicht den Container; er ist zugewiesen und wird neu gestartet.
Enterprise-Notiz
- Events verschwinden nach einer Stunde. Ein Event-Exporter oder zentrales Logging hält sie für die Nachanalyse fest.
logs --previoushält genau einen alten Lauf. Für mehr brauchst du Log-Sammlung auf den Knoten (Fluent Bit, Vector, Promtail-Nachfolger).- Schreib bei jeder Fehlersuche mit, was du geprüft hast – das Ticket ist danach schon halb dokumentiert.
- Fixes per
kubectl set/editsind Notfallmaßnahmen; GitOps-Werkzeuge setzen sie sonst beim nächsten Abgleich zurück.