Tag 2: Deployments
Ziel: den einzelnen Pod durch ein Deployment mit drei Repliken ersetzen, die Selbstheilung beobachten, notes-api 0.2.0 ohne Ausfall ausrollen und wieder zurückrollen. · Dauer: ca. 75 min · Voraussetzung: Tag 1
Briefing
- Ein Deployment beschreibt das Soll: welches Pod-Template, wie viele Repliken, welche Update-Strategie. Pods legt es nicht selbst an.
- Dafür erzeugt es pro Template-Version ein ReplicaSet, und das hält die Zahl der Pods. Fehlt einer, legt es einen neuen an – das ist die Selbstheilung.
- Wer zu wem gehört, entscheiden Labels und Selektoren, nicht Namen.
- Ein neues Image heißt neues ReplicaSet: Das Deployment fährt das neue hoch und das alte herunter (Rolling Update). Das alte bleibt für ein Rollback liegen.
Deployment api Soll: 3 × notes-api:0.2.0, maxSurge 1, maxUnavailable 0
├── ReplicaSet api-5cbdddf87 (0.1.0) 0 Pods – bleibt für Rollback
└── ReplicaSet api-9cb44cd5b (0.2.0) 3 Pods
├── Pod api-9cb44cd5b-vbqfv
├── Pod api-9cb44cd5b-6fw7j
└── Pod api-9cb44cd5b-59nzw
Drill 1: Tagesstart, Pod ablösen
source ~/k8s-lab/setup/env.sh
mkdir -p ~/k8s-lab/tag02 && cd ~/k8s-lab/tag02
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag01/notes/." .
kubectl delete -f k8s/api-pod.yaml
rm k8s/api-pod.yaml
ls k8sErwartet (gekürzt):
pod "api" deleted from notes namespace
namespace.yaml
kubectl delete -f löscht genau die Objekte, die in der
Datei stehen. Die Datei api-pod.yaml brauchst du ab heute
nicht mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Das Deployment
Zuerst mit der Version, die schon läuft – 0.2.0 kommt in Drill 7:
cat > k8s/api.yaml <<'EOF'
# k8s/api.yaml – Stand Ende Tag 2
apiVersion: apps/v1
kind: Deployment
metadata:
name: api
labels:
app.kubernetes.io/name: api
app.kubernetes.io/part-of: notes
spec:
replicas: 3
revisionHistoryLimit: 5
strategy:
type: RollingUpdate
rollingUpdate:
maxSurge: 1
maxUnavailable: 0
selector:
matchLabels:
app.kubernetes.io/name: api
template:
metadata:
labels:
app.kubernetes.io/name: api
app.kubernetes.io/part-of: notes
spec:
containers:
- name: api
image: notes-api:0.1.0
env:
- name: NOTES_API_KEY
value: lab-api-key-123
ports:
- containerPort: 8080
EOF
kubectl apply --dry-run=server -f k8s/api.yaml
kubectl apply -f k8s/api.yaml
kubectl rollout status deploy/apiErwartet:
deployment.apps/api created (server dry run)
deployment.apps/api created
Waiting for deployment "api" rollout to finish: 0 out of 3 new replicas have been upd…
Waiting for deployment "api" rollout to finish: 0 of 3 updated replicas are available...
Waiting for deployment "api" rollout to finish: 1 of 3 updated replicas are available...
Waiting for deployment "api" rollout to finish: 2 of 3 updated replicas are available...
deployment "api" successfully rolled out
templateist ein Pod-Manifest ohneapiVersionundkind– dein Pod von gestern, eingerückt.selector.matchLabelsmuss zu den Labels im Template passen, sonst lehnt der API-Server das Deployment ab. Nach dem Anlegen ist der Selektor unveränderlich.revisionHistoryLimit: 5hält fünf alte ReplicaSets für Rollbacks vor.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Deployment, ReplicaSet, Pod
kubectl get deploy,rs,pods
kubectl get pods -o wide
POD=$(kubectl get pods -l app.kubernetes.io/name=api -o name | head -1)
RS=$(kubectl get rs -o name | head -1)
O='.metadata.ownerReferences[0]'
kubectl get "$POD" "$RS" -o custom-columns="NAME:.metadata.name,OWNER:$O.kind,:$O.name"Erwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/api 3/3 3 3 4s
NAME DESIRED CURRENT READY AGE
replicaset.apps/api-5cbdddf87 3 3 3 4s
NAME READY STATUS RESTARTS AGE
pod/api-5cbdddf87-7fjcd 1/1 Running 0 4s
pod/api-5cbdddf87-rg9q5 1/1 Running 0 4s
pod/api-5cbdddf87-thwdg 1/1 Running 0 4s
NAME READY STATUS RESTARTS AGE IP NODE …
api-5cbdddf87-7fjcd 1/1 Running 0 4s 10.244.2.4 lab-worker2 …
api-5cbdddf87-rg9q5 1/1 Running 0 4s 10.244.1.3 lab-worker …
api-5cbdddf87-thwdg 1/1 Running 0 4s 10.244.1.4 lab-worker …
NAME OWNER
api-5cbdddf87-7fjcd ReplicaSet api-5cbdddf87
api-5cbdddf87 Deployment api
Die Namen erzählen die Kette: Deployment api, ReplicaSet
api-<hash>, Pod
api-<hash>-<zufall>. Die
ownerReferences sagen dasselbe maschinenlesbar – damit
räumt Kubernetes beim Löschen eines Deployments alles darunter mit ab.
Die Pods verteilen sich auf beide Worker; wie viele wohin, entscheidet
der Scheduler.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Selbstheilung
kubectl delete "$POD"
kubectl get pods
kubectl describe "$RS" | sed -n '/^Events:/,$p'Erwartet (gekürzt):
pod "api-5cbdddf87-7fjcd" deleted from notes namespace
NAME READY STATUS RESTARTS AGE
api-5cbdddf87-rg9q5 1/1 Running 0 15s
api-5cbdddf87-thwdg 1/1 Running 0 15s
api-5cbdddf87-v8g2l 0/1 ContainerCreating 0 1s
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal SuccessfulCreate 16s replicaset-controller Created pod: api-5cbdddf87-rg9q5
Normal SuccessfulCreate 15s replicaset-controller Created pod: api-5cbdddf87-7fjcd
Normal SuccessfulCreate 15s replicaset-controller Created pod: api-5cbdddf87-thwdg
Normal SuccessfulCreate 2s replicaset-controller Created pod: api-5cbdddf87-v8g2l
Das ist der Kern von Kubernetes: Ein Controller vergleicht ständig Soll (3) und Ist (2) und handelt. Gestern war der Pod nach dem Löschen weg, heute ist eine Sekunde später ein neuer da – mit neuem Namen und neuer IP.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Labels und Selektoren
kubectl get pods --show-labels
POD=$(kubectl get pods -l app.kubernetes.io/name=api -o name | head -1)
kubectl label "$POD" app.kubernetes.io/name=quarantaene --overwrite
sleep 2
kubectl get pods -L app.kubernetes.io/name
kubectl get "$POD" -o jsonpath='Besitzer: {.metadata.ownerReferences}'; echoErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE LABELS
api-5cbdddf87-rg9q5 1/1 Running 0 16s app.kubernetes.io/name=api,app…
api-5cbdddf87-thwdg 1/1 Running 0 16s app.kubernetes.io/name=api,app…
api-5cbdddf87-v8g2l 1/1 Running 0 2s app.kubernetes.io/name=api,app…
pod/api-5cbdddf87-rg9q5 labeled
NAME READY STATUS RESTARTS AGE NAME
api-5cbdddf87-7dfzn 1/1 Running 0 2s api
api-5cbdddf87-rg9q5 1/1 Running 0 19s quarantaene
api-5cbdddf87-thwdg 1/1 Running 0 19s api
api-5cbdddf87-v8g2l 1/1 Running 0 5s api
Besitzer:
Das ReplicaSet zählt nur Pods, auf die sein Selektor passt
(app.kubernetes.io/name=api,pod-template-hash=5cbdddf87).
Mit geändertem Label fällt der Pod heraus, verliert seinen Besitzer und
läuft allein weiter; das ReplicaSet legt sofort Ersatz an. So nimmst du
einen auffälligen Pod zur Untersuchung aus dem Verkehr. Aufräumen:
kubectl delete pods -l app.kubernetes.io/name=quarantaeneErwartet (gekürzt):
pod "api-5cbdddf87-rg9q5" deleted from notes namespace
Fortschritt speichern? Kostenlos registrieren
Drill 6: Skalieren und Drift
kubectl scale deploy api --replicas 5
kubectl rollout status deploy/api
kubectl get deploy api
kubectl diff -f k8s/api.yaml | grep -E '^[-+] 'Erwartet (gekürzt):
deployment.apps/api scaled
…
deployment "api" successfully rolled out
NAME READY UP-TO-DATE AVAILABLE AGE
api 5/5 5 5 29s
- generation: 2
+ generation: 3
- replicas: 5
+ replicas: 3
kubectl scale ändert das Cluster, nicht deine Datei.
kubectl diff zeigt, was ein apply ändern würde
– hier die Repliken zurück auf 3. Genau so:
kubectl apply -f k8s/api.yaml
sleep 2
kubectl get deploy apiErwartet (gekürzt):
deployment.apps/api configured
NAME READY UP-TO-DATE AVAILABLE AGE
api 3/3 3 3 33s
Die Datei ist die Wahrheit. Was du imperativ änderst, überschreibt
das nächste apply.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Rolling Update auf 0.2.0
Version 0.2.0 bauen und in alle Nodes laden:
for app in api worker web; do
docker build -q --build-arg VERSION=0.2.0 -t "notes-$app:0.2.0" "$NOTES/notes-$app"
kind load docker-image "notes-$app:0.2.0" --name lab
doneErwartet (gekürzt, IDs weichen ab):
sha256:9c6b9f375ac7…
Image: "notes-api:0.2.0" with ID "sha256:9c6b9f375ac7…" not yet present on node
"lab-worker2", loading...
…
sha256:4e834dcf7ad7…
…
Öffne ein zweites Terminal und beobachte dort die Pods:
kubectl get pods -l app.kubernetes.io/name=api -wIm ersten Terminal das Image in der Datei anheben und anwenden:
sed -i.bak 's/notes-api:0.1.0/notes-api:0.2.0/' k8s/api.yaml && rm k8s/api.yaml.bak
grep 'image:' k8s/api.yaml
kubectl apply -f k8s/api.yaml
kubectl rollout status deploy/apiErwartet im ersten Terminal (gekürzt):
image: notes-api:0.2.0
deployment.apps/api configured
Waiting for deployment "api" rollout to finish: 1 out of 3 new replicas have been upd…
Waiting for deployment "api" rollout to finish: 2 out of 3 new replicas have been upd…
Waiting for deployment "api" rollout to finish: 1 old replicas are pending terminati…
deployment "api" successfully rolled out
Erwartet im zweiten Terminal (gekürzt, mit Ctrl-C
beenden):
api-9cb44cd5b-vbqfv 0/1 Pending 0 0s
api-9cb44cd5b-vbqfv 0/1 ContainerCreating 0 0s
api-9cb44cd5b-vbqfv 1/1 Running 0 1s
api-5cbdddf87-thwdg 1/1 Terminating 0 115s
api-9cb44cd5b-6fw7j 0/1 Pending 0 0s
api-9cb44cd5b-6fw7j 1/1 Running 0 1s
api-5cbdddf87-tw9mq 1/1 Terminating 0 92s
api-9cb44cd5b-59nzw 0/1 Pending 0 0s
api-9cb44cd5b-59nzw 1/1 Running 0 1s
api-5cbdddf87-7dfzn 1/1 Terminating 0 103s
Immer erst ein neuer Pod, dann ein alter weg. Das legt die Strategie fest:
| Einstellung | Bedeutung | Hier |
|---|---|---|
maxSurge: 1 |
höchstens 1 Pod über replicas |
nie mehr als 4 Pods |
maxUnavailable: 0 |
kein Pod unter replicas |
immer 3 bereite Pods |
Standard wäre je 25 %, bei 3 Repliken also 1 Pod mehr und – abgerundet – 0 weniger. Mit festen Zahlen steht es eindeutig in der Datei.
kubectl get rs
kubectl logs deploy/api | grep listeningErwartet (gekürzt):
NAME DESIRED CURRENT READY AGE
api-5cbdddf87 0 0 0 2m2s
api-9cb44cd5b 3 3 3 8s
Found 3 pods, using pod/api-9cb44cd5b-vbqfv
time=… level=INFO msg=listening addr=:8080 version=0.2.0 pid=1
Das alte ReplicaSet steht mit 0 Pods bereit.
Achtung: Ein Rollout startet nur, wenn sich das Pod-Template ändert. Baust du ein Image unter demselben Tag neu und lädst es, merkt das Deployment nichts – noch ein Grund für eine neue Versionsnummer bei jedem Build.
Fortschritt speichern? Kostenlos registrieren
Drill 8: History und Rollback
kubectl rollout history deploy/api
kubectl rollout history deploy/api --revision 1 | grep Image
kubectl rollout undo deploy/api
kubectl rollout status deploy/api
kubectl get rsErwartet (gekürzt):
deployment.apps/api
REVISION CHANGE-CAUSE
1 <none>
2 <none>
Image: notes-api:0.1.0
Warning: resource deployments/api was previously managed with 'kubectl apply'. Rolling
back will not update the kubectl.kubernetes.io/last-applied-configuration annotation,
which may cause unexpected behavior on future 'kubectl apply' operations. Consider using
'kubectl apply' with your previous configuration file instead.
deployment.apps/api rolled back
…
deployment "api" successfully rolled out
NAME DESIRED CURRENT READY AGE
api-5cbdddf87 3 3 3 2m15s
api-9cb44cd5b 0 0 0 21s
Der Rollback ist ein Rolling Update zurück auf das alte ReplicaSet – schnell, weil das Image schon in den Nodes liegt. Die Warnung trifft den Punkt: Deine Datei sagt jetzt etwas anderes als das Cluster.
kubectl rollout history deploy/api
kubectl diff -f k8s/api.yaml | grep -E '^[-+] 'Erwartet (gekürzt):
REVISION CHANGE-CAUSE
2 <none>
3 <none>
- generation: 5
+ generation: 6
- image: notes-api:0.1.0
+ image: notes-api:0.2.0
Aus Revision 1 wurde Revision 3 – ein Rollback ist eine neue Revision. Im Ernstfall rollst du so in Sekunden zurück und korrigierst danach die Datei. Hier war 0.2.0 in Ordnung, also zurück zum Stand der Datei:
kubectl apply -f k8s/api.yaml
kubectl rollout status deploy/api
kubectl rollout history deploy/api
kubectl diff -f k8s/api.yaml; echo "diff-Exit: $?"Erwartet (gekürzt):
deployment.apps/api configured
…
deployment "api" successfully rolled out
deployment.apps/api
REVISION CHANGE-CAUSE
3 <none>
4 <none>
diff-Exit: 0
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl get deploy api -o wideErwartet: 3/3 bereit, Image
notes-api:0.2.0.
NAME READY UP-TO-DATE AVAILABLE AGE CONTAINERS IMAGES SELECTOR
api 3/3 3 3 7s api notes-api:0.2.0 app.kuber…
kubectl describe deploy api | grep RollingUpdateStrategyErwartet: höchstens ein Pod zusätzlich, keiner weniger.
RollingUpdateStrategy: 0 max unavailable, 1 max surge
kubectl get rsErwartet: genau ein ReplicaSet mit DESIRED 3, ältere
stehen auf 0.
NAME DESIRED CURRENT READY AGE
api-5cbdddf87 0 0 0 7s
api-9cb44cd5b 3 3 3 5s
kubectl get pod apiErwartet: Der einzelne Pod aus Tag 1 ist weg.
Error from server (NotFound): pods "api" not found
kubectl diff -f k8s/api.yamlErwartet: keine Ausgabe. Das Cluster entspricht der Datei.
Challenge
Rolle absichtlich eine kaputte Version notes-api:0.3.0
aus (gibt es nicht). Zeige, dass die api währenddessen mit drei Pods
weiterläuft, und hol dich zurück auf den Stand der Datei – ohne die
Datei anzufassen.
Hinweis: kubectl set image ändert nur
das Cluster; rollout status wartet mit
--timeout nicht ewig.
Lösung
kubectl set image deploy/api api=notes-api:0.3.0
kubectl rollout status deploy/api --timeout 30s; echo "Exit: $?"
kubectl get deploy api
kubectl get pods
kubectl rollout undo deploy/api
kubectl rollout status deploy/api
kubectl diff -f k8s/api.yaml; echo "diff-Exit: $?"Erwartet (gekürzt):
deployment.apps/api image updated
Waiting for deployment "api" rollout to finish: 1 out of 3 new replicas have been upd…
error: timed out waiting for the condition
Exit: 1
NAME READY UP-TO-DATE AVAILABLE AGE
api 3/3 1 3 3m
NAME READY STATUS RESTARTS AGE
api-6768975f45-nfpvf 0/1 ErrImagePull 0 31s
api-9cb44cd5b-8wq98 1/1 Running 0 43s
api-9cb44cd5b-g9qfn 1/1 Running 0 40s
api-9cb44cd5b-twrzx 1/1 Running 0 45s
…
deployment.apps/api rolled back
…
deployment "api" successfully rolled out
diff-Exit: 0
Mit maxUnavailable: 0 darf das Deployment keinen alten
Pod abbauen, bevor ein neuer bereit ist. Der eine neue Pod hängt in
ErrImagePull, die drei alten bedienen weiter. Ohne Eingriff
bleibt das so; nach progressDeadlineSeconds (Standard 600
s) meldet das Deployment ProgressDeadlineExceeded, rollt
aber nicht selbst zurück. undo geht auf die vorige
Revision, also 0.2.0 – das passt wieder zur Datei.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- In Produktion ändert niemand Images per
kubectl set image. Das Image steht in Git, ein Werkzeug wie Argo CD oder Flux wendet an und meldet Drift. rollout undoist der Notschalter; der dauerhafte Fix ist ein Commit, der die Datei auf die gute Version setzt.- Rolling Updates brauchen Readiness-Probes, sonst gilt ein Pod als bereit, sobald der Prozess läuft – auch wenn er noch nicht antwortet (Tag 5).
- Für Canary- und Blue-Green-Rollouts mit Metrik-Prüfung gibt es Argo Rollouts oder Flagger; das Deployment selbst kennt nur Rolling Update und Recreate.
revisionHistoryLimitbegrenzt die alten ReplicaSets. Sie kosten wenig, aber in großen Clustern mit vielen Deployments summiert es sich.