Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Probes

Ziel: Du gibst notes-api Liveness-, Readiness- und Startup-Probes, erkennst kaputte Probes an Restarts und leeren Endpoints und reparierst sie. · Dauer: ca. 60 min · Voraussetzung: Tag 11

Briefing

CKAD: Application Observability and Maintenance (15 %) – „Implement probes and health checks”.

Probe Frage Wenn sie scheitert
startupProbe Ist die App schon hochgefahren? Neustart; bis Erfolg ruhen die anderen
livenessProbe Lebt die App noch? Container wird neu gestartet
readinessProbe Darf sie Verkehr bekommen? Pod fliegt aus dem Service

Prüfarten: httpGet, tcpSocket, exec, grpc.

mkdir -p ~/ckad/tag14 && cd ~/ckad/tag14
k create ns tag14
k config set-context --current --namespace=tag14
k create secret generic notes-key --from-literal=NOTES_API_KEY=lab-key-123

lab-key-123 ist ein reiner Lab-Wert.

Drill 1: Liveness und Readiness per HTTP

Es gibt keinen imperativen Schalter für Probes – sie kommen immer ins YAML:

cat > notes.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes
spec:
  replicas: 2
  selector:
    matchLabels:
      app: notes
  template:
    metadata:
      labels:
        app: notes
    spec:
      containers:
      - name: notes-api
        image: 172.16.0.126:30500/notes-api:1.0
        ports:
        - name: http
          containerPort: 8080
        envFrom:
        - secretRef:
            name: notes-key
        livenessProbe:
          httpGet:
            path: /healthz
            port: http
          initialDelaySeconds: 3
          periodSeconds: 10
          timeoutSeconds: 1
          failureThreshold: 3
        readinessProbe:
          httpGet:
            path: /healthz
            port: http
          periodSeconds: 5
EOF
k apply -f notes.yaml
k expose deployment notes --port=80 --target-port=http
k rollout status deployment notes
k describe pod -l app=notes | grep -E 'Liveness|Readiness' | head -2

Erwartet:

deployment "notes" successfully rolled out
    Liveness:   http-get http://:http/healthz delay=3s timeout=1s period=10s
successThreshold=1 failureThreshold=3
    Readiness:  http-get http://:http/healthz delay=0s timeout=1s period=5s
successThreshold=1 failureThreshold=3

Die Parameter: initialDelaySeconds wartet vor der ersten Prüfung, periodSeconds ist der Takt, timeoutSeconds die Geduld pro Prüfung, failureThreshold die Zahl der Fehlschläge in Folge bis zur Reaktion. Ein benannter Port (http) überlebt Portwechsel.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Liveness auf dem falschen Pfad

cat > broken-live.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: broken-live
spec:
  containers:
  - name: notes-api
    image: 172.16.0.126:30500/notes-api:1.0
    env:
    - name: NOTES_API_KEY
      value: lab-key-123
    livenessProbe:
      httpGet:
        path: /health
        port: 8080
      periodSeconds: 3
      failureThreshold: 2
EOF
k apply -f broken-live.yaml
sleep 40
k get pod broken-live
k describe pod broken-live | grep -E 'Liveness probe|Killing' | tail -2

Erwartet (gekürzt):

NAME          READY   STATUS    RESTARTS     AGE
broken-live   1/1     Running   4 (1s ago)   40s
  Warning  Unhealthy  1s (x8 over 37s)  kubelet  spec.containers{notes-api}: Liveness
probe failed: HTTP probe failed with statuscode: 404
  Normal   Killing    1s (x4 over 34s)  kubelet  spec.containers{notes-api}: Container
notes-api failed liveness probe, will be restarted

Die App ist gesund, nur die Probe fragt falsch – und Kubernetes startet sie alle sechs Sekunden neu. Probes in einem Pod sind unveränderlich, also ersetzen:

sed -i 's|path: /health$|path: /healthz|' broken-live.yaml
k replace --force -f broken-live.yaml
sleep 15
k get pod broken-live

Erwartet:

pod "broken-live" deleted from tag14 namespace
pod/broken-live replaced
NAME          READY   STATUS    RESTARTS   AGE
broken-live   1/1     Running   0          15s

Fortschritt speichern? Kostenlos registrieren

Drill 3: Readiness schützt den Rollout

Ein Update mit falschem Readiness-Port:

k patch deployment notes --type=json -p='[{"op":"replace",
  "path":"/spec/template/spec/containers/0/readinessProbe/httpGet/port","value":8081}]'
sleep 20
k get pods -l app=notes
k get endpointslices -l kubernetes.io/service-name=notes -o jsonpath=\
'{range .items[0].endpoints[*]}{.addresses[0]} ready={.conditions.ready}{"\n"}{end}'
k get events --field-selector reason=Unhealthy --sort-by=.lastTimestamp | tail -1

Erwartet (gekürzt):

NAME                     READY   STATUS    RESTARTS   AGE
notes-7b8d676995-vcpjc   0/1     Running   0          20s
notes-d95bbb4ff-d8kk5    1/1     Running   0          2m40s
notes-d95bbb4ff-sw5dw    1/1     Running   0          2m40s
192.168.235.176 ready=true
192.168.189.86 ready=true
192.168.235.180 ready=false
3s   Warning   Unhealthy   pod/notes-7b8d676995-vcpjc   Readiness probe failed: Get
"http://192.168.235.180:8081/healthz": dial tcp 192.168.235.180:8081: connect:
connection refused

Der neue Pod läuft, wird aber nie bereit: Er bekommt keinen Verkehr, und der Rollout bleibt stehen, statt die alten Pods abzubauen. k get endpointslices zeigt in der Spalte ENDPOINTS auch nicht bereite Adressen – erst conditions.ready verrät den Zustand.

k rollout undo deployment notes
k rollout status deployment notes

Erwartet (gekürzt):

deployment.apps/notes rolled back
deployment "notes" successfully rolled out

Fortschritt speichern? Kostenlos registrieren

Drill 4: exec-Probe – Pod aus dem Service nehmen

notes-api bringt mit notes-api healthcheck einen eigenen Prüfbefehl mit (Exit-Code 0 = gesund). Zusätzlich soll eine Datei /tmp/down den Pod aus dem Verkehr nehmen:

k patch deployment notes --type=json -p='[{"op":"replace",
  "path":"/spec/template/spec/containers/0/readinessProbe",
  "value":{"periodSeconds":3,"exec":{"command":["sh","-c",
  "test ! -f /tmp/down && notes-api healthcheck"]}}}]'
k rollout status deployment notes
POD=$(k get pods -l app=notes -o jsonpath='{.items[0].metadata.name}')
k exec $POD -- touch /tmp/down
sleep 12
k get pods -l app=notes
k get endpointslices -l kubernetes.io/service-name=notes -o jsonpath=\
'{range .items[0].endpoints[*]}{.targetRef.name} ready={.conditions.ready}{"\n"}{end}'

Erwartet (gekürzt):

deployment "notes" successfully rolled out
NAME                     READY   STATUS    RESTARTS   AGE
notes-5b478d48bf-6w6k2   0/1     Running   0          18s
notes-5b478d48bf-kbh6g   1/1     Running   0          16s
notes-5b478d48bf-6w6k2 ready=false
notes-5b478d48bf-kbh6g ready=true

Kein Neustart (RESTARTS 0) – Readiness nimmt den Pod nur aus dem Service. Datei löschen, und er ist zurück:

k exec $POD -- rm /tmp/down
sleep 5
k get pods -l app=notes

Erwartet: beide Pods 1/1 Running.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Startup-Probe mit tcpSocket

Eine App, die 20 Sekunden zum Start braucht. Die strenge Liveness-Probe (failureThreshold: 1) würde sie sofort töten – die Startup-Probe hält sie zurück, bis der Port offen ist:

cat > slow.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: slow
spec:
  containers:
  - name: notes-api
    image: 172.16.0.126:30500/notes-api:1.0
    command: ["sh", "-c", "sleep 20; exec notes-api"]
    env:
    - name: NOTES_API_KEY
      value: lab-key-123
    startupProbe:
      tcpSocket:
        port: 8080
      periodSeconds: 5
      failureThreshold: 6
    livenessProbe:
      httpGet:
        path: /healthz
        port: 8080
      periodSeconds: 5
      failureThreshold: 1
EOF
k apply -f slow.yaml
sleep 10
k get pod slow -o jsonpath='{.status.containerStatuses[0].started}{"\n"}'
sleep 20
k get pod slow
k get events --field-selector involvedObject.name=slow,reason=Unhealthy

Erwartet (gekürzt):

false
NAME   READY   STATUS    RESTARTS   AGE
slow   1/1     Running   0          31s
LAST SEEN   TYPE      REASON      OBJECT     MESSAGE
11s         Warning   Unhealthy   pod/slow   Startup probe failed: dial tcp
192.168.189.101:8080: connect: connection refused

Das Startbudget ist failureThreshold × periodSeconds = 30 s. Zu knapp bemessen:

sed -i 's/failureThreshold: 6/failureThreshold: 2/' slow.yaml
k replace --force -f slow.yaml
sleep 70
k get pod slow
k get events --field-selector involvedObject.name=slow,reason=Killing | tail -1

Erwartet (gekürzt):

NAME   READY   STATUS    RESTARTS      AGE
slow   0/1     Running   1 (30s ago)   70s
20s    Normal   Killing   pod/slow   Container notes-api failed startup probe, will be
restarted

Nach 10 s gilt der Start als gescheitert. Dass der Neustart weitere 30 s dauert, liegt an sh als PID 1: Es ignoriert SIGTERM, der kubelet wartet die terminationGracePeriodSeconds ab. Die App kommt so nie hoch – eine Endlosschleife.

Fortschritt speichern? Kostenlos registrieren

Drill 6: gRPC-Probes nachschlagen

notes-api spricht kein gRPC; in der Prüfung reicht es, das Feld zu kennen:

k explain pod.spec.containers.livenessProbe.grpc | grep -E '^  [a-z]'

Erwartet:

  mode  <string>
  enum: Plaintext, TLS
  port  <integer> -required-
  service   <string>

Eine gRPC-Probe ruft den Standard-Health-Service der App auf, etwa grpc: {port: 9090}. mode (Plaintext oder TLS) ist in 1.37 neu.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Lege den Pod ping mit Image 172.16.0.126:30500/notes-api:1.0, Umgebungsvariable NOTES_API_KEY=lab-key-123 und einer Liveness-Probe an, die alle 5 s notes-api healthcheck ausführt. Zeitziel: 90 s
  2. Zeige die Readiness-Probe des Deployments notes als JSON. Zeitziel: 20 s
  3. Finde alle Probe-Fehlschläge im Namespace. Zeitziel: 15 s

Lösung

k run ping --image=172.16.0.126:30500/notes-api:1.0 \
  --env=NOTES_API_KEY=lab-key-123 $do > ping.yaml
vi ping.yaml

Im Container-Block (gleiche Einrückung wie image:) ergänzen:

    livenessProbe:
      exec:
        command: ["notes-api", "healthcheck"]
      periodSeconds: 5
k apply -f ping.yaml
k get deploy notes \
  -o jsonpath='{.spec.template.spec.containers[0].readinessProbe}{"\n"}'
k get events --field-selector reason=Unhealthy

Erwartet (gekürzt):

pod/ping created
{"exec":{"command":["sh","-c","test ! -f /tmp/down \u0026\u0026 notes-api
healthcheck"]},
"failureThreshold":3,"periodSeconds":3,"successThreshold":1,"timeoutSeconds":1}
LAST SEEN   TYPE      REASON      OBJECT                       MESSAGE
2m52s       Warning   Unhealthy   pod/broken-live              Liveness probe failed:…
2m10s       Warning   Unhealthy   pod/notes-7b8d676995-cm8w4   Readiness probe failed…
21s         Warning   Unhealthy   pod/slow                     Startup probe failed: …

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get pod ping -o jsonpath='{.spec.containers[0].livenessProbe.exec.command}{"\n"}'

Erwartet: ["notes-api","healthcheck"]

k get pod ping broken-live

Erwartet: beide 1/1 Running, RESTARTS 0.

k get deploy notes

Erwartet: READY 2/2.

Challenge

Das Deployment shop läuft, alle Pods sind Running – aber der Service antwortet nicht.

cat > shop.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: shop
spec:
  replicas: 2
  selector:
    matchLabels:
      app: shop
  template:
    metadata:
      labels:
        app: shop
    spec:
      containers:
      - name: notes-api
        image: 172.16.0.126:30500/notes-api:1.0
        envFrom:
        - secretRef:
            name: notes-key
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8081
EOF
k apply -f shop.yaml
k expose deployment shop --port=80 --target-port=8080
k run client --image=busybox:1.37 -- sleep 3600
k wait --for=condition=Ready pod/client

Hinweis: Prüfe, ob der Service überhaupt bereite Endpoints hat.

Lösung

k exec client -- wget -qO- -T3 shop/healthz
k get pods -l app=shop
k get events --field-selector reason=Unhealthy | tail -1
k patch deployment shop --type=json -p='[{"op":"replace",
  "path":"/spec/template/spec/containers/0/readinessProbe/httpGet/port","value":8080}]'
k rollout status deployment shop
k exec client -- wget -qO- -T3 shop/healthz; echo

Erwartet (gekürzt):

wget: can't connect to remote host (10.104.183.169): Connection refused
command terminated with exit code 1
NAME                    READY   STATUS    RESTARTS   AGE
shop-5cb5d49f96-2bzsm   0/1     Running   0          24s
shop-5cb5d49f96-h5gz5   0/1     Running   0          24s
8s   Warning   Unhealthy   pod/shop-5cb5d49f96-h5gz5   Readiness probe failed: Get
"http://192.168.235.175:8081/healthz": dial tcp 192.168.235.175:8081: connect:
connection refused
deployment "shop" successfully rolled out
ok

Ohne bereite Pods hat der Service kein Ziel: Connection refused, obwohl alles Running ist.

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag14

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Probes kopierst du am schnellsten aus der Doku-Seite „Configure Liveness, Readiness and Startup Probes” und passt Pfad und Port an.
  • Restarts ohne Fehler in den Logs? Liveness-Probe prüfen. 0/1 Running? Readiness-Probe.
  • Probe-Felder in einem laufenden Pod lassen sich nicht ändern – k replace --force -f.

Enterprise-Notiz

  • Liveness prüft nur den Prozess selbst, nie Datenbank oder Nachbardienste – sonst startet ein Datenbankausfall alle Pods neu.
  • Readiness darf Abhängigkeiten prüfen; so nimmt sich ein Pod bei Problemen selbst aus dem Verkehr.
  • Langsame Starts (JVM, Migrationen) mit startupProbe abfangen statt mit riesigem initialDelaySeconds.