Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 1: Die Methode

Ziel: Du grenzt einen Fehler mit festen Fragen in fester Reihenfolge ein, statt zu raten. · Dauer: ca. 45 min · Voraussetzung: Tag 0

Briefing

  • Jeder Fehler in diesem Buch folgt demselben Muster: einbauen → Symptom → eingrenzen → Ursache → Fix → Nachweis. Der Nachweis wiederholt die Prüfung vom Symptom.
  • Eingrenzen heißt: von außen nach innen, jede Frage schließt eine Schicht aus.
  • STATUS in kubectl get pods ist eine Zusammenfassung aus Phase, Container-State und Reason – drei verschiedene Felder.
Schicht Typisches Symptom Wo die Antwort steht
Scheduling Pending Events am Pod (Tag 3)
Image, Runtime ImagePullBackOff Events, crictl (Tag 4)
Workload CrashLoopBackOff Last State, Logs (Tag 5)
Netzwerk Timeout, refused EndpointSlice, DNS (Tag 7–9)
Admission Forbidden, denied Meldung, Events am Controller (Tag 11–12)
Knoten, Control Plane NotReady, API hängt Journal, crictl (Tag 14–16)

Drill 1: Erst der Cluster, dann der Pod

Bevor du einen einzelnen Pod untersuchst, schließt du die unterste Schicht aus: Ist der API-Server gesund, und gibt es Warnungen, die gar nicht zu deinem Problem gehören?

# auf cp1
mkdir -p ~/debug/tag01 && cd ~/debug/tag01
kubectl get --raw='/readyz?verbose' | grep -E 'etcd|passed'
kubectl events -A --types=Warning | tail -4 | cut -c1-88

Erwartet (gekürzt):

[+]etcd ok
[+]etcd-readiness ok
readyz check passed
kube-system          4m45s       Warning   NodeNotReady             Pod/kube-proxy-worke
kube-system          4m45s       Warning   NodeNotReady             Pod/rke2-canal-rwlsg
kube-system          4m45s       Warning   NodeNotReady             Pod/rke2-traefik-j8d
local-path-storage   4m45s       Warning   NodeNotReady             Pod/local-path-provi

Die NodeNotReady-Warnungen stammen aus der Challenge von Tag 0. Warum? Events leben standardmäßig eine Stunde. Was du hier siehst, ist frisch – ein Fehler von gestern hat heute keine Events mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Einen Fehler einbauen

Eine Anwendung erwartet die Variable DB_HOST und bricht ohne sie ab.

Einbauen:

# auf cp1
kubectl create namespace tag01
cat > app.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: app, namespace: tag01}
spec:
  replicas: 1
  selector: {matchLabels: {app: app}}
  template:
    metadata: {labels: {app: app}}
    spec:
      containers:
      - name: app
        image: busybox:1.37
        command:
        - sh
        - -c
        - |
          if [ -z "$DB_HOST" ]; then
            echo "FEHLER: DB_HOST ist nicht gesetzt" >&2
            exit 1
          fi
          echo "verbinde mit $DB_HOST"
          sleep 3600
EOF
kubectl apply -f app.yaml

Symptom (nach etwa einer Minute):

# auf cp1
kubectl -n tag01 get pods -o wide | cut -c1-88

Erwartet:

NAME                   READY   STATUS   RESTARTS      AGE   IP          NODE      NOMINA
app-7967b54879-q2hrx   0/1     Error    3 (33s ago)   50s   10.42.1.7   worker1   <none>

-o wide zeigt den Knoten. Stehen alle kaputten Pods auf demselben Knoten, liegt die Ursache eher am Knoten als an der Anwendung. Hier ist es ein einzelner Pod.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Phase, State und Reason

# auf cp1
kubectl -n tag01 get pod -l app=app -o jsonpath='{.items[0].status.phase}{"\n"}'
kubectl -n tag01 get pod -l app=app \
  -o jsonpath='{.items[0].status.containerStatuses[0].state}{"\n"}' | cut -c1-88

Erwartet (zwei Momentaufnahmen im Abstand von einer Minute):

Running
{"terminated":{"containerID":"containerd://8d2a14d0807af6a8a08a2d30394cbf15ba49cbee
Running
{"waiting":{"message":"back-off 1m20s restarting failed container=app pod=app-7967b5

Warum? Die Phase bleibt Running, solange der Pod einem Knoten zugewiesen ist und das kubelet den Container neu startet. Der Container wechselt zwischen terminated (direkt nach dem Absturz, STATUS zeigt Error) und waiting mit Reason CrashLoopBackOff. Die Wartezeit verdoppelt sich ab 10 s bis höchstens 5 min.

Fortschritt speichern? Kostenlos registrieren

Drill 4: describe und events

Untersuchen:

# auf cp1
kubectl -n tag01 describe pod -l app=app | sed -n '/Last State:/,/Exit Code/p'
kubectl -n tag01 events --for $(kubectl -n tag01 get pod -l app=app -o name) \
  | cut -c1-88

Erwartet (gekürzt):

    Last State:     Terminated
      Reason:       Error
      Exit Code:    1
LAST SEEN           TYPE      REASON      OBJECT                     MESSAGE
60s                 Normal    Scheduled   Pod/app-7967b54879-q2hrx   Successfully assign
21s (x4 over 59s)   Normal    Pulled      Pod/app-7967b54879-q2hrx   Container image "bu
21s (x4 over 59s)   Normal    Started     Pod/app-7967b54879-q2hrx   Container started
21s (x4 over 57s)   Warning   BackOff     Pod/app-7967b54879-q2hrx   Back-off restarting

Exit-Code 1, Reason Error, kein OOMKilled. Das Image ist da, der Container startet. Damit sind Scheduling, Image und Runtime ausgeschlossen: Der Prozess selbst gibt auf. kubectl events sortiert nach Zeit, das neueste unten; --for filtert auf ein Objekt.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Logs, Ursache, Fix, Nachweis

# auf cp1
kubectl -n tag01 logs deploy/app --previous
kubectl -n tag01 logs deploy/app

Erwartet, solange STATUS auf Error steht (Zeile umbrochen):

unable to retrieve container logs for
  containerd://09acf7e00de6e88b3580a62c2c24eadfdc29047d8264fa22736db6ffade8c97c
FEHLER: DB_HOST ist nicht gesetzt

Warum? --previous meint den Lauf vor dem aktuellen Container. Steht der aktuelle selbst auf terminated, ist dessen Log das richtige, und der vorletzte ist schon aufgeräumt. Steht der Pod auf CrashLoopBackOff, liefert --previous die Meldung. Probier im Zweifel beide.

Ursache: Das Deployment setzt DB_HOST nicht, die Anwendung endet mit Exit-Code 1, und restartPolicy: Always startet sie immer wieder.

Fix:

# auf cp1
kubectl -n tag01 set env deploy/app DB_HOST=db.tag01.svc.cluster.local
kubectl -n tag01 rollout status deploy/app

Nachweis:

# auf cp1
kubectl -n tag01 get pods
kubectl -n tag01 logs deploy/app

Erwartet:

NAME                   READY   STATUS        RESTARTS      AGE
app-64cb96f58d-xp86h   1/1     Running       0             5s
app-7967b54879-q2hrx   0/1     Terminating   4 (66s ago)   2m30s
Found 2 pods, using pod/app-64cb96f58d-xp86h
verbinde mit db.tag01.svc.cluster.local

Tipp: set env ist der schnelle Fix im Labor. In Produktion gehört die Variable ins Manifest bzw. ins Git-Repo, sonst überschreibt der nächste Deploy deinen Fix.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Exit-Codes lesen

Endet ein Prozess durch ein Signal, meldet die Runtime 128 plus Signalnummer. Mit --restart=Never bleibt der Container nach dem Ende stehen, und du liest den Code in Ruhe.

# auf cp1
kubectl -n tag01 run code127 --image=busybox:1.37 --restart=Never -- sh -c 'slep 1'
kubectl -n tag01 run code126 --image=busybox:1.37 --restart=Never -- \
  sh -c '/etc/passwd'
kubectl -n tag01 run code128 --image=busybox:1.37 --restart=Never --command \
  -- /bin/slep
kubectl -n tag01 run code137 --image=busybox:1.37 --restart=Never -- \
  sh -c 'sleep 600 & kill -9 $!; wait $!'
kubectl -n tag01 get pods -o custom-columns=NAME:.metadata.name,\
PHASE:.status.phase,\
REASON:.status.containerStatuses[0].state.terminated.reason,\
EXIT:.status.containerStatuses[0].state.terminated.exitCode

Erwartet:

NAME                   PHASE     REASON       EXIT
app-64cb96f58d-xp86h   Running   <none>       <none>
code126                Failed    Error        126
code127                Failed    Error        127
code128                Failed    StartError   128
code137                Failed    Error        137
# auf cp1
kubectl -n tag01 logs code127
kubectl -n tag01 logs code126
kubectl -n tag01 get pod code128 \
  -o jsonpath='{.status.containerStatuses[0].state.terminated.message}{"\n"}'

Erwartet (letzte Zeile umbrochen):

sh: slep: not found
sh: /etc/passwd: Permission denied
failed to create containerd task: failed to create shim task: OCI runtime create
  failed: runc create failed: unable to start container process: error during
  container init: exec: "/bin/slep": stat /bin/slep: no such file or directory
Code Bedeutung Typische Ursache
1 Anwendung bricht ab Meldung im Log
126 / 127 nicht ausführbar / nicht gefunden Rechte, Tippfehler im command
128 + StartError Programm fehlt, keine Shell davor Pfad im command falsch
137 / 143 SIGKILL / SIGTERM OOM oder Liveness (Tag 5) / normales Beenden

Warum? Mit --restart=Never ist die Phase Failed, nicht Running. Eine Shell davor macht aus „Programm fehlt“ den Code 127; ohne Shell scheitert schon runc, und das kubelet meldet StartError mit 128.

Fortschritt speichern? Kostenlos registrieren

Drill 7: explain und auth can-i

# auf cp1
kubectl explain pod.spec.restartPolicy | head -8
kubectl auth whoami | head -3 | cut -c1-88
kubectl auth can-i list pods -n tag01 --as=system:serviceaccount:tag01:default

Erwartet:

KIND:       Pod
VERSION:    v1

FIELD: restartPolicy <string>
ENUM:
    Always
    Never
    OnFailure
ATTRIBUTE                                           VALUE
Username                                            system:admin
Groups                                              [system:masters system:authenticated
no

explain liest das Schema aus dem API-Server, passend zur Version des Clusters und auch für CRDs. auth can-i --as beantwortet Rechtefragen, ohne dass du dich als jemand anderes anmelden musst (Tag 11). Du selbst bist system:admin in system:masters – dich hält kein RBAC auf.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig nur die Warnungen in tag01. Zeitziel: 15 s
  2. Gib die Phase des app-Pods aus, ohne seinen Namen abzutippen. Zeitziel: 30 s
  3. Darf der ServiceAccount default in tag01 Secrets lesen? Zeitziel: 20 s
  4. Zeig die erlaubten Werte von pod.spec.containers.imagePullPolicy. Zeitziel: 20 s

Lösung

# auf cp1
kubectl -n tag01 events --types=Warning
kubectl -n tag01 get pod -l app=app -o jsonpath='{.items[0].status.phase}{"\n"}'
kubectl auth can-i get secrets -n tag01 --as=system:serviceaccount:tag01:default
kubectl explain pod.spec.containers.imagePullPolicy

Erwartet (gekürzt):

LAST SEEN               TYPE      REASON    OBJECT                        MESSAGE
2m21s (x6 over 4m17s)   Warning   BackOff   Pod/app-7967b54879-q2hrx      Back-off resta
92s                     Warning   Failed    Pod/code128                   Error: failed
Running
no
FIELD: imagePullPolicy <string>
ENUM:
    Always
    IfNotPresent
    Never

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf cp1
kubectl -n tag01 get deploy app

Erwartet:

NAME   READY   UP-TO-DATE   AVAILABLE   AGE
app    1/1     1            1           4m
# auf cp1
kubectl -n tag01 get pods -l app=app -o custom-columns=NAME:.metadata.name,\
RESTARTS:.status.containerStatuses[0].restartCount

Erwartet: ein Pod mit 0 Neustarts.

Challenge

Leg mit kubectl -n tag01 create deployment rechner --image=busybox:1.37 -- sh -c 'echo $((100/0))' ein Deployment an. Finde mit einem kubectl get Neustarts, Reason und Exit-Code des letzten Laufs aller Pods im Namespace, danach die Meldung des Prozesses.

Hinweis: lastState.terminated steht neben state im containerStatuses-Eintrag.

Lösung

# auf cp1
kubectl -n tag01 create deployment rechner --image=busybox:1.37 \
  -- sh -c 'echo $((100/0))'
kubectl -n tag01 get pods -o custom-columns=NAME:.metadata.name,\
RESTARTS:.status.containerStatuses[0].restartCount,\
REASON:.status.containerStatuses[0].lastState.terminated.reason,\
EXIT:.status.containerStatuses[0].lastState.terminated.exitCode
kubectl -n tag01 logs deploy/rechner

Erwartet (gekürzt, ohne die code…-Pods aus Drill 6):

NAME                      RESTARTS   REASON   EXIT
app-64cb96f58d-xp86h      0          <none>   <none>
rechner-6d689cd4f-4bzk2   3          Error    2
sh: divide by zero

Exit-Code 2 setzt hier die Shell selbst. Auch er gehört in die Gruppe „Anwendung bricht ab, Antwort im Log“.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf cp1
kubectl delete namespace tag01
kubectl get namespace tag01

Erwartet:

namespace "tag01" deleted
Error from server (NotFound): namespaces "tag01" not found

Interview-Notiz

  • Ein Pod steht auf CrashLoopBackOff – was tust du? describe für Last State und Exit-Code, dann logs --previous (oder ohne, wenn der Container gerade terminated ist). Nie zuerst den Pod löschen.
  • Was bedeutet Exit-Code 137? SIGKILL; mit Reason OOMKilled das Speicherlimit, ohne meist ein Kill nach gescheiterter Liveness-Probe.
  • Warum ist ein abstürzender Pod Running? Die Phase beschreibt den Pod, nicht den Container; er ist zugewiesen und wird neu gestartet.

Enterprise-Notiz

  • Events verschwinden nach einer Stunde. Ein Event-Exporter oder zentrales Logging hält sie für die Nachanalyse fest.
  • logs --previous hält genau einen alten Lauf. Für mehr brauchst du Log-Sammlung auf den Knoten (Fluent Bit, Vector, Promtail-Nachfolger).
  • Schreib bei jeder Fehlersuche mit, was du geprüft hast – das Ticket ist danach schon halb dokumentiert.
  • Fixes per kubectl set/edit sind Notfallmaßnahmen; GitOps-Werkzeuge setzen sie sonst beim nächsten Abgleich zurück.