Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Beobachten, Debuggen und API-Deprecations

Ziel: Du liest Status, Events und Logs, schaust mit exec, debug, port-forward und cp in laufende Pods und erkennst veraltete APIs, bevor sie dich treffen. · Dauer: ca. 75 min · Voraussetzung: Tag 14

Briefing

CKAD: Application Observability and Maintenance (15 %) – „Use built-in CLI tools to monitor Kubernetes applications”, „Utilize container logs”, „Debugging in Kubernetes”, „Understand API deprecations”.

Status Ursache meistens Erster Blick
ErrImagePull, ImagePullBackOff Name, Tag, Registry k describe pod
CrashLoopBackOff, Error App bricht ab k logs
CreateContainerConfigError Secret/ConfigMap fehlt k describe pod
Pending kein Node passt k describe pod
mkdir -p ~/ckad/tag15 && cd ~/ckad/tag15
k create ns tag15
k config set-context --current --namespace=tag15

Drill 1: Vier kaputte Pods

k run pull --image=172.16.0.126:30500/notes-api:9.9
k run crash --image=172.16.0.126:30500/notes-api:1.0
cat > broken.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: cfg
spec:
  containers:
  - name: notes-api
    image: 172.16.0.126:30500/notes-api:1.0
    env:
    - name: NOTES_API_KEY
      valueFrom:
        secretKeyRef:
          name: notes-key
          key: NOTES_API_KEY
---
apiVersion: v1
kind: Pod
metadata:
  name: greedy
spec:
  containers:
  - name: notes-api
    image: 172.16.0.126:30500/notes-api:1.0
    env:
    - name: NOTES_API_KEY
      value: lab-key-123
    resources:
      requests:
        cpu: "8"
EOF
k apply -f broken.yaml
sleep 30
k get pods

Erwartet:

NAME     READY   STATUS                       RESTARTS      AGE
cfg      0/1     CreateContainerConfigError   0             30s
crash    0/1     Error                        2 (28s ago)   31s
greedy   0/1     Pending                      0             30s
pull     0/1     ErrImagePull                 0             31s

ErrImagePull wird nach dem zweiten Versuch zu ImagePullBackOff, Error wechselt mit CrashLoopBackOff ab – der kubelet wartet zwischen den Versuchen immer länger.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ursachen lesen

k describe pod pull | grep Failed | tail -2
k logs crash
k describe pod cfg | grep Warning | tail -1
k describe pod greedy | grep FailedScheduling

Erwartet (gekürzt):

  Warning  Failed  16s (x2 over 30s)  kubelet  spec.containers{pull}: Failed to pull
image "172.16.0.126:30500/notes-api:9.9": rpc error: code = NotFound ... not found
  Warning  Failed  4s (x3 over 29s)  kubelet  spec.containers{pull}: Error:
ImagePullBackOff
time=2026-11-18T15:43:51.978Z level=ERROR msg="start abgebrochen" err="NOTES_API_KEY
oder NOTES_API_KEY_FILE fehlt"
  Warning  Failed  2s (x5 over 30s)  kubelet  spec.containers{notes-api}: Error: secret
"notes-key" not found
  Warning  FailedScheduling  6s (x9 over 31s)  default-scheduler  0/3 nodes are
available: 1 node(s) had untolerated taint(s), 2 Insufficient cpu. ...

Alle Ereignisse des Namespace chronologisch:

k get events --sort-by=.lastTimestamp | tail -4

Erwartet (gekürzt):

4s   Normal    BackOff   pod/pull   Back-off pulling image "172.16.0.126:30500/notes-...
4s   Warning   Failed    pod/pull   Error: ImagePullBackOff
2s   Normal    Pulled    pod/cfg    Container image "172.16.0.126:30500/notes-api:1.0"…
2s   Warning   Failed    pod/cfg    Error: secret "notes-key" not found

Bei cfg fehlt nur das Secret. Der kubelet versucht es weiter – Secret anlegen genügt:

k create secret generic notes-key --from-literal=NOTES_API_KEY=lab-key-123
sleep 15
k get pod cfg
k delete pod pull crash greedy --now

Erwartet:

secret/notes-key created
NAME   READY   STATUS    RESTARTS   AGE
cfg    1/1     Running   0          3m30s

lab-key-123 ist ein reiner Lab-Wert.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Logs mehrerer Container

cat > notes.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes
spec:
  replicas: 2
  selector:
    matchLabels:
      app: notes
  template:
    metadata:
      labels:
        app: notes
    spec:
      containers:
      - name: notes-api
        image: 172.16.0.126:30500/notes-api:1.0
        envFrom:
        - secretRef:
            name: notes-key
      - name: poller
        image: busybox:1.37
        command: ["sh", "-c", "while true; do
          echo $(date +%T) $(wget -qO- localhost:8080/healthz); sleep 5; done"]
EOF
k apply -f notes.yaml
k rollout status deployment notes
sleep 10
k logs deploy/notes
k logs deploy/notes -c poller --tail=2
k logs -l app=notes --all-containers --prefix --since=6s

Erwartet (gekürzt):

Found 2 pods, using pod/notes-647dddd895-djlkh
Defaulted container "notes-api" out of: notes-api, poller
time=2026-11-18T15:47:45.466Z level=INFO msg="api key loaded" source=env
time=2026-11-18T15:47:45.466Z level=INFO msg="store ready" store=memory
time=2026-11-18T15:47:45.468Z level=INFO msg=listening addr=:8080 version=1.0 pid=1
Found 2 pods, using pod/notes-647dddd895-djlkh
15:47:50 ok
15:47:55 ok
[pod/notes-647dddd895-djlkh/poller] 15:47:55 ok
[pod/notes-647dddd895-rwmkp/poller] 15:47:56 ok

deploy/notes nimmt einen beliebigen Pod, -l alle. --prefix sagt, woher die Zeile stammt. Mitlesen wie tail -f, Abbruch mit Strg+C:

k logs -f deploy/notes -c poller --tail=1

Erwartet: alle fünf Sekunden eine neue Zeile 15:48:00 ok.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Logs des vorigen Laufs

cat > once.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: once
spec:
  containers:
  - name: app
    image: busybox:1.37
    command: ["sh", "-c", "if [ -f /data/ok ]; then echo zweiter Lauf; sleep 3600;
      else touch /data/ok; echo erster Lauf; exit 1; fi"]
    volumeMounts:
    - name: data
      mountPath: /data
  volumes:
  - name: data
    emptyDir: {}
EOF
k apply -f once.yaml
sleep 20
k get pod once
k logs once
k logs once --previous

Erwartet:

NAME   READY   STATUS    RESTARTS      AGE
once   1/1     Running   1 (17s ago)   20s
zweiter Lauf
erster Lauf

--previous zeigt, warum der letzte Container gestorben ist. Bei einem Pod in Dauer-CrashLoopBackOff antwortete der Befehl im Labor (containerd 2.4.2) dagegen mit unable to retrieve container logs for containerd://… – dann liefert k logs ohne --previous den letzten beendeten Lauf.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Ressourcen beobachten

k top node
k top pod --containers

Erwartet (gekürzt):

NAME      CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)
cp1       1515m        37%      1705Mi          14%
worker1   1613m        80%      970Mi           25%
worker2   850m         42%      846Mi           22%
POD                      NAME        CPU(cores)   MEMORY(bytes)
cfg                      notes-api   1m           1Mi
notes-647dddd895-djlkh   notes-api   6m           1Mi
notes-647dddd895-djlkh   poller      4m           0Mi
...

Die Werte kommen vom metrics-server und hinken etwa 15 s hinterher. k top pod --sort-by=memory sortiert.

Fortschritt speichern? Kostenlos registrieren

Drill 6: In den Pod schauen – exec und debug

k exec cfg -- ps
k debug cfg --image=busybox:1.37 --target=notes-api -c dbg -- sleep 600
sleep 5
k exec cfg -c dbg -- ps

Erwartet (gekürzt):

PID   USER     TIME  COMMAND
    1 65532     0:00 notes-api
   11 65532     0:00 ps
Targeting container "notes-api". If you don't see processes from this container it
may be because the container runtime doesn't support this feature.
PID   USER     TIME  COMMAND
    1 65532     0:00 notes-api
   30 root      0:00 sleep 600
   36 root      0:00 ps

k debug hängt einen Ephemeral Container an den laufenden Pod; --target teilt den Prozess-Namespace mit notes-api. Bei Images ohne Shell (distroless) ist das der einzige Weg hinein. Ephemeral Container lassen sich nicht entfernen – sie bleiben bis zum Ende des Pods in spec.ephemeralContainers. Interaktiv geht es mit k debug cfg -it --image=busybox:1.37 --target=notes-api -- sh.

Den Node selbst schaust du dir mit einem Debug-Pod an; das Dateisystem des Nodes liegt unter /host:

k debug node/worker1 --image=busybox:1.37 -- \
  sh -c 'grep PRETTY /host/etc/os-release; ls /host/var/log/pods | grep tag15'
sleep 8
k logs $(k get pods -o name | grep node-debugger)
k delete $(k get pods -o name | grep node-debugger)

Erwartet (gekürzt):

Creating debugging pod node-debugger-worker1-cs7bm with container debugger on node
worker1.
PRETTY_NAME="Ubuntu 24.04.5 LTS"
tag15_cfg_911cf529-7459-47cc-9cfd-0d342bf20b77
tag15_notes-647dddd895-rwmkp_0d9088c3-20a4-4b9f-8658-b911a5de16d8
pod "node-debugger-worker1-cs7bm" deleted from tag15 namespace

Fortschritt speichern? Kostenlos registrieren

Drill 7: port-forward und cp

k port-forward deploy/notes 8080:8080 > pf.log 2>&1 &
sleep 3
curl -s localhost:8080/version
curl -s -H 'X-API-Key: lab-key-123' -d '{"text":"hallo"}' localhost:8080/notes; echo
kill %1

Erwartet:

1.0
{"id":"66609f3f-296c-45d8-b06f-e8fb766ee333","text":"hallo"}

port-forward tunnelt über den API-Server – ganz ohne Service oder Ingress. Dateien kopieren:

echo test > hallo.txt
k cp hallo.txt cfg:/tmp/hallo.txt
k cp cfg:/tmp/hallo.txt zurueck.txt
cat zurueck.txt

Erwartet: zweimal Defaulted container "notes-api" out of: notes-api, dbg (ephem), dann test. k cp braucht tar im Container und folgt keinen Symlinks (k cp cfg:/etc/os-release … scheitert mit skipping symlink).

Fortschritt speichern? Kostenlos registrieren

Drill 8: API-Versionen und Deprecations

k api-versions | grep -E '^(apps|autoscaling|batch|networking)'
k api-resources --api-group=autoscaling
k explain hpa --api-version=autoscaling/v1 | head -3
k explain hpa --api-version=autoscaling/v2beta2

Erwartet:

apps/v1
autoscaling/v1
autoscaling/v2
batch/v1
networking.k8s.io/v1
NAME                       SHORTNAMES   APIVERSION       NAMESPACED   KIND
horizontalpodautoscalers   hpa          autoscaling/v2   true    HorizontalPodAutoscaler
GROUP:      autoscaling
KIND:       HorizontalPodAutoscaler
VERSION:    v1
error: couldn't find resource for "autoscaling/v2beta2,
Resource=horizontalpodautoscalers"

autoscaling/v2beta2 wurde in 1.26 entfernt. Eine API, die noch da, aber veraltet ist, meldet der API-Server bei jeder Nutzung als Warnung:

k expose deployment notes --port=80 --target-port=8080
k get endpoints notes
k get --raw /metrics | grep '^apiserver_requested_deprecated_apis'

Erwartet (gekürzt):

service/notes exposed
Warning: v1 Endpoints is deprecated in v1.33+; use discovery.k8s.io/v1 EndpointSlice
NAME    ENDPOINTS                                   AGE
notes   192.168.189.113:8080,192.168.235.150:8080   0s
apiserver_requested_deprecated_apis{group="",removed_release="",resource="endpoints",
subresource="",version="v1"} 1

Die Metrik zählt, welche veralteten APIs im Cluster benutzt werden; removed_release nennt die Version, in der sie verschwinden (leer = noch nicht geplant).

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige die letzten 3 Zeilen des Containers poller aller notes-Pods mit Podnamen. Zeitziel: 20 s
  2. Welcher Container im Namespace braucht am meisten Speicher? Zeitziel: 20 s
  3. Zeige nur die Warnungen im Namespace. Zeitziel: 15 s

Lösung

k logs -l app=notes -c poller --tail=3 --prefix
k top pod --containers --sort-by=memory | head -2
k get events --field-selector type=Warning

Erwartet (gekürzt):

[pod/notes-647dddd895-pvxfh/poller] 15:53:06 ok
...
[pod/notes-647dddd895-swdz9/poller] 15:53:16 ok
POD                      NAME        CPU(cores)   MEMORY(bytes)
notes-647dddd895-swdz9   notes-api   1m           1Mi
LAST SEEN   TYPE      REASON             OBJECT       MESSAGE
86s         Warning   Failed             pod/cfg      Error: secret "notes-key" ...
77s         Warning   BackOff            pod/crash    Back-off restarting failed ...
70s         Warning   FailedScheduling   pod/greedy   0/3 nodes are available: ...
...

Events bleiben eine Stunde erhalten – auch für längst gelöschte Pods.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get pods

Erwartet: cfg, once und zwei notes-Pods (2/2), alle Running.

k get pod cfg -o jsonpath='{.spec.ephemeralContainers[*].name}{"\n"}'

Erwartet: dbg

Challenge

Ein altes Manifest mit networking.k8s.io/v1beta1 lässt sich nicht mehr anwenden. Mache es mit dem Plugin kubectl-convert lauffähig.

cat > old-ingress.yaml <<'EOF'
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  name: notes
spec:
  rules:
  - host: notes.tag15.example
    http:
      paths:
      - path: /
        backend:
          serviceName: notes
          servicePort: 80
EOF
k apply -f old-ingress.yaml

Hinweis: Das Plugin gibt es pro Kubernetes-Version unter dl.k8s.io.

Lösung

ARCH=$(dpkg --print-architecture)
curl -sLO https://dl.k8s.io/release/v1.37.2/bin/linux/${ARCH}/kubectl-convert
curl -sLO https://dl.k8s.io/release/v1.37.2/bin/linux/${ARCH}/kubectl-convert.sha256
echo "$(cat kubectl-convert.sha256)  kubectl-convert" | sha256sum --check
sudo install -m 755 kubectl-convert /usr/local/bin/
k convert -f old-ingress.yaml --output-version networking.k8s.io/v1 > ingress.yaml
cat ingress.yaml
k apply -f ingress.yaml

Erwartet (gekürzt):

error: resource mapping not found for name: "notes" namespace: "" from
"old-ingress.yaml": no matches for kind "Ingress" in version "networking.k8s.io/v1beta1"
kubectl-convert: OK
apiVersion: networking.k8s.io/v1
kind: Ingress
...
      - backend:
          service:
            name: notes
            port:
              number: 80
        path: /
        pathType: ImplementationSpecific
ingress.networking.k8s.io/notes created

k convert funktioniert, weil kubectl Programme namens kubectl-* im PATH als Plugin aufruft.

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag15

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Reihenfolge: k get pods → k describe pod (Events unten) → k logs (ggf. -c, --previous).
  • Antworten auf „schreibe die Logs nach /opt/…” mit k logs … > datei – und Datei prüfen.
  • Doku-Seite „Deprecated API Migration Guide” listet, was in welcher Version verschwindet.

Enterprise-Notiz

  • Logs zentral sammeln (Loki, Elasticsearch); auf dem Node rotieren sie weg.
  • Vor jedem Cluster-Upgrade apiserver_requested_deprecated_apis und Werkzeuge wie pluto oder kubent über Git-Repos und Helm-Releases laufen lassen.
  • k debug mit Ephemeral Containern per RBAC (pods/ephemeralcontainers) nur ausgewählten Teams erlauben.