Tag 14: Probes
Ziel: Du gibst notes-api Liveness-, Readiness- und Startup-Probes, erkennst kaputte Probes an Restarts und leeren Endpoints und reparierst sie. · Dauer: ca. 60 min · Voraussetzung: Tag 11
Briefing
CKAD: Application Observability and Maintenance (15 %) – „Implement probes and health checks”.
| Probe | Frage | Wenn sie scheitert |
|---|---|---|
startupProbe |
Ist die App schon hochgefahren? | Neustart; bis Erfolg ruhen die anderen |
livenessProbe |
Lebt die App noch? | Container wird neu gestartet |
readinessProbe |
Darf sie Verkehr bekommen? | Pod fliegt aus dem Service |
Prüfarten: httpGet, tcpSocket,
exec, grpc.
mkdir -p ~/ckad/tag14 && cd ~/ckad/tag14
k create ns tag14
k config set-context --current --namespace=tag14
k create secret generic notes-key --from-literal=NOTES_API_KEY=lab-key-123lab-key-123 ist ein reiner Lab-Wert.
Drill 1: Liveness und Readiness per HTTP
Es gibt keinen imperativen Schalter für Probes – sie kommen immer ins YAML:
cat > notes.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
name: notes
spec:
replicas: 2
selector:
matchLabels:
app: notes
template:
metadata:
labels:
app: notes
spec:
containers:
- name: notes-api
image: 172.16.0.126:30500/notes-api:1.0
ports:
- name: http
containerPort: 8080
envFrom:
- secretRef:
name: notes-key
livenessProbe:
httpGet:
path: /healthz
port: http
initialDelaySeconds: 3
periodSeconds: 10
timeoutSeconds: 1
failureThreshold: 3
readinessProbe:
httpGet:
path: /healthz
port: http
periodSeconds: 5
EOF
k apply -f notes.yaml
k expose deployment notes --port=80 --target-port=http
k rollout status deployment notes
k describe pod -l app=notes | grep -E 'Liveness|Readiness' | head -2Erwartet:
deployment "notes" successfully rolled out
Liveness: http-get http://:http/healthz delay=3s timeout=1s period=10s
successThreshold=1 failureThreshold=3
Readiness: http-get http://:http/healthz delay=0s timeout=1s period=5s
successThreshold=1 failureThreshold=3
Die Parameter: initialDelaySeconds wartet vor der ersten
Prüfung, periodSeconds ist der Takt,
timeoutSeconds die Geduld pro Prüfung,
failureThreshold die Zahl der Fehlschläge in Folge bis zur
Reaktion. Ein benannter Port (http) überlebt
Portwechsel.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Liveness auf dem falschen Pfad
cat > broken-live.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: broken-live
spec:
containers:
- name: notes-api
image: 172.16.0.126:30500/notes-api:1.0
env:
- name: NOTES_API_KEY
value: lab-key-123
livenessProbe:
httpGet:
path: /health
port: 8080
periodSeconds: 3
failureThreshold: 2
EOF
k apply -f broken-live.yaml
sleep 40
k get pod broken-live
k describe pod broken-live | grep -E 'Liveness probe|Killing' | tail -2Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
broken-live 1/1 Running 4 (1s ago) 40s
Warning Unhealthy 1s (x8 over 37s) kubelet spec.containers{notes-api}: Liveness
probe failed: HTTP probe failed with statuscode: 404
Normal Killing 1s (x4 over 34s) kubelet spec.containers{notes-api}: Container
notes-api failed liveness probe, will be restarted
Die App ist gesund, nur die Probe fragt falsch – und Kubernetes startet sie alle sechs Sekunden neu. Probes in einem Pod sind unveränderlich, also ersetzen:
sed -i 's|path: /health$|path: /healthz|' broken-live.yaml
k replace --force -f broken-live.yaml
sleep 15
k get pod broken-liveErwartet:
pod "broken-live" deleted from tag14 namespace
pod/broken-live replaced
NAME READY STATUS RESTARTS AGE
broken-live 1/1 Running 0 15s
Fortschritt speichern? Kostenlos registrieren
Drill 3: Readiness schützt den Rollout
Ein Update mit falschem Readiness-Port:
k patch deployment notes --type=json -p='[{"op":"replace",
"path":"/spec/template/spec/containers/0/readinessProbe/httpGet/port","value":8081}]'
sleep 20
k get pods -l app=notes
k get endpointslices -l kubernetes.io/service-name=notes -o jsonpath=\
'{range .items[0].endpoints[*]}{.addresses[0]} ready={.conditions.ready}{"\n"}{end}'
k get events --field-selector reason=Unhealthy --sort-by=.lastTimestamp | tail -1Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
notes-7b8d676995-vcpjc 0/1 Running 0 20s
notes-d95bbb4ff-d8kk5 1/1 Running 0 2m40s
notes-d95bbb4ff-sw5dw 1/1 Running 0 2m40s
192.168.235.176 ready=true
192.168.189.86 ready=true
192.168.235.180 ready=false
3s Warning Unhealthy pod/notes-7b8d676995-vcpjc Readiness probe failed: Get
"http://192.168.235.180:8081/healthz": dial tcp 192.168.235.180:8081: connect:
connection refused
Der neue Pod läuft, wird aber nie bereit: Er bekommt keinen Verkehr,
und der Rollout bleibt stehen, statt die alten Pods abzubauen.
k get endpointslices zeigt in der Spalte
ENDPOINTS auch nicht bereite Adressen – erst
conditions.ready verrät den Zustand.
k rollout undo deployment notes
k rollout status deployment notesErwartet (gekürzt):
deployment.apps/notes rolled back
deployment "notes" successfully rolled out
Fortschritt speichern? Kostenlos registrieren
Drill 4: exec-Probe – Pod aus dem Service nehmen
notes-api bringt mit notes-api healthcheck einen eigenen
Prüfbefehl mit (Exit-Code 0 = gesund). Zusätzlich soll eine Datei
/tmp/down den Pod aus dem Verkehr nehmen:
k patch deployment notes --type=json -p='[{"op":"replace",
"path":"/spec/template/spec/containers/0/readinessProbe",
"value":{"periodSeconds":3,"exec":{"command":["sh","-c",
"test ! -f /tmp/down && notes-api healthcheck"]}}}]'
k rollout status deployment notes
POD=$(k get pods -l app=notes -o jsonpath='{.items[0].metadata.name}')
k exec $POD -- touch /tmp/down
sleep 12
k get pods -l app=notes
k get endpointslices -l kubernetes.io/service-name=notes -o jsonpath=\
'{range .items[0].endpoints[*]}{.targetRef.name} ready={.conditions.ready}{"\n"}{end}'Erwartet (gekürzt):
deployment "notes" successfully rolled out
NAME READY STATUS RESTARTS AGE
notes-5b478d48bf-6w6k2 0/1 Running 0 18s
notes-5b478d48bf-kbh6g 1/1 Running 0 16s
notes-5b478d48bf-6w6k2 ready=false
notes-5b478d48bf-kbh6g ready=true
Kein Neustart (RESTARTS 0) – Readiness nimmt den Pod nur
aus dem Service. Datei löschen, und er ist zurück:
k exec $POD -- rm /tmp/down
sleep 5
k get pods -l app=notesErwartet: beide Pods 1/1 Running.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Startup-Probe mit tcpSocket
Eine App, die 20 Sekunden zum Start braucht. Die strenge
Liveness-Probe (failureThreshold: 1) würde sie sofort töten
– die Startup-Probe hält sie zurück, bis der Port offen ist:
cat > slow.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: slow
spec:
containers:
- name: notes-api
image: 172.16.0.126:30500/notes-api:1.0
command: ["sh", "-c", "sleep 20; exec notes-api"]
env:
- name: NOTES_API_KEY
value: lab-key-123
startupProbe:
tcpSocket:
port: 8080
periodSeconds: 5
failureThreshold: 6
livenessProbe:
httpGet:
path: /healthz
port: 8080
periodSeconds: 5
failureThreshold: 1
EOF
k apply -f slow.yaml
sleep 10
k get pod slow -o jsonpath='{.status.containerStatuses[0].started}{"\n"}'
sleep 20
k get pod slow
k get events --field-selector involvedObject.name=slow,reason=UnhealthyErwartet (gekürzt):
false
NAME READY STATUS RESTARTS AGE
slow 1/1 Running 0 31s
LAST SEEN TYPE REASON OBJECT MESSAGE
11s Warning Unhealthy pod/slow Startup probe failed: dial tcp
192.168.189.101:8080: connect: connection refused
Das Startbudget ist failureThreshold × periodSeconds =
30 s. Zu knapp bemessen:
sed -i 's/failureThreshold: 6/failureThreshold: 2/' slow.yaml
k replace --force -f slow.yaml
sleep 70
k get pod slow
k get events --field-selector involvedObject.name=slow,reason=Killing | tail -1Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
slow 0/1 Running 1 (30s ago) 70s
20s Normal Killing pod/slow Container notes-api failed startup probe, will be
restarted
Nach 10 s gilt der Start als gescheitert. Dass der Neustart weitere
30 s dauert, liegt an sh als PID 1: Es ignoriert SIGTERM,
der kubelet wartet die terminationGracePeriodSeconds ab.
Die App kommt so nie hoch – eine Endlosschleife.
Fortschritt speichern? Kostenlos registrieren
Drill 6: gRPC-Probes nachschlagen
notes-api spricht kein gRPC; in der Prüfung reicht es, das Feld zu kennen:
k explain pod.spec.containers.livenessProbe.grpc | grep -E '^ [a-z]'Erwartet:
mode <string>
enum: Plaintext, TLS
port <integer> -required-
service <string>
Eine gRPC-Probe ruft den Standard-Health-Service der App auf, etwa
grpc: {port: 9090}. mode
(Plaintext oder TLS) ist in 1.37 neu.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Lege den Pod
pingmit Image172.16.0.126:30500/notes-api:1.0, UmgebungsvariableNOTES_API_KEY=lab-key-123und einer Liveness-Probe an, die alle 5 snotes-api healthcheckausführt. Zeitziel: 90 s - Zeige die Readiness-Probe des Deployments
notesals JSON. Zeitziel: 20 s - Finde alle Probe-Fehlschläge im Namespace. Zeitziel: 15 s
Lösung
k run ping --image=172.16.0.126:30500/notes-api:1.0 \
--env=NOTES_API_KEY=lab-key-123 $do > ping.yaml
vi ping.yamlIm Container-Block (gleiche Einrückung wie image:)
ergänzen:
livenessProbe:
exec:
command: ["notes-api", "healthcheck"]
periodSeconds: 5k apply -f ping.yaml
k get deploy notes \
-o jsonpath='{.spec.template.spec.containers[0].readinessProbe}{"\n"}'
k get events --field-selector reason=UnhealthyErwartet (gekürzt):
pod/ping created
{"exec":{"command":["sh","-c","test ! -f /tmp/down \u0026\u0026 notes-api
healthcheck"]},
"failureThreshold":3,"periodSeconds":3,"successThreshold":1,"timeoutSeconds":1}
LAST SEEN TYPE REASON OBJECT MESSAGE
2m52s Warning Unhealthy pod/broken-live Liveness probe failed:…
2m10s Warning Unhealthy pod/notes-7b8d676995-cm8w4 Readiness probe failed…
21s Warning Unhealthy pod/slow Startup probe failed: …
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k get pod ping -o jsonpath='{.spec.containers[0].livenessProbe.exec.command}{"\n"}'Erwartet:
["notes-api","healthcheck"]
k get pod ping broken-liveErwartet: beide 1/1 Running,
RESTARTS 0.
k get deploy notesErwartet: READY 2/2.
Challenge
Das Deployment shop läuft, alle Pods sind
Running – aber der Service antwortet nicht.
cat > shop.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
name: shop
spec:
replicas: 2
selector:
matchLabels:
app: shop
template:
metadata:
labels:
app: shop
spec:
containers:
- name: notes-api
image: 172.16.0.126:30500/notes-api:1.0
envFrom:
- secretRef:
name: notes-key
readinessProbe:
httpGet:
path: /healthz
port: 8081
EOF
k apply -f shop.yaml
k expose deployment shop --port=80 --target-port=8080
k run client --image=busybox:1.37 -- sleep 3600
k wait --for=condition=Ready pod/clientHinweis: Prüfe, ob der Service überhaupt bereite Endpoints hat.
Lösung
k exec client -- wget -qO- -T3 shop/healthz
k get pods -l app=shop
k get events --field-selector reason=Unhealthy | tail -1
k patch deployment shop --type=json -p='[{"op":"replace",
"path":"/spec/template/spec/containers/0/readinessProbe/httpGet/port","value":8080}]'
k rollout status deployment shop
k exec client -- wget -qO- -T3 shop/healthz; echoErwartet (gekürzt):
wget: can't connect to remote host (10.104.183.169): Connection refused
command terminated with exit code 1
NAME READY STATUS RESTARTS AGE
shop-5cb5d49f96-2bzsm 0/1 Running 0 24s
shop-5cb5d49f96-h5gz5 0/1 Running 0 24s
8s Warning Unhealthy pod/shop-5cb5d49f96-h5gz5 Readiness probe failed: Get
"http://192.168.235.175:8081/healthz": dial tcp 192.168.235.175:8081: connect:
connection refused
deployment "shop" successfully rolled out
ok
Ohne bereite Pods hat der Service kein Ziel:
Connection refused, obwohl alles Running
ist.
Aufräumen:
k config set-context --current --namespace=default
k delete ns tag14Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Probes kopierst du am schnellsten aus der Doku-Seite „Configure Liveness, Readiness and Startup Probes” und passt Pfad und Port an.
- Restarts ohne Fehler in den Logs? Liveness-Probe prüfen.
0/1 Running? Readiness-Probe. - Probe-Felder in einem laufenden Pod lassen sich nicht ändern –
k replace --force -f.
Enterprise-Notiz
- Liveness prüft nur den Prozess selbst, nie Datenbank oder Nachbardienste – sonst startet ein Datenbankausfall alle Pods neu.
- Readiness darf Abhängigkeiten prüfen; so nimmt sich ein Pod bei Problemen selbst aus dem Verkehr.
- Langsame Starts (JVM, Migrationen) mit
startupProbeabfangen statt mit riesigeminitialDelaySeconds.