Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 11: Rolling Updates

Ziel: Du rollst neue Versionen von notes-api ohne Ausfall aus, steuerst das Tempo, erkennst ein hängendes Rollout und gehst gezielt zu einer alten Revision zurück. · Dauer: ca. 60 min · Voraussetzung: Tag 10

Briefing

CKAD: „Understand Deployments and how to perform rolling updates” (Application Deployment, 20 %).

  Deployment notes ──> ReplicaSet rev 1 (1.0)   4 -> 3 -> 2 -> 1 -> 0
                  └──> ReplicaSet rev 2 (1.1)   0 -> 1 -> 2 -> 3 -> 4
  maxSurge:       wie viele Pods ÜBER replicas erlaubt sind
  maxUnavailable: wie viele Pods UNTER replicas fehlen dürfen
  • Jede Änderung am Pod-Template (spec.template) erzeugt eine neue Revision, also einen neuen ReplicaSet. replicas ändern erzeugt keine.
mkdir -p ~/ckad/tag11 && cd ~/ckad/tag11
k create ns tag11
k config set-context --current --namespace=tag11

Drill 1: Das Ausgangs-Deployment

Gerüst erzeugen, dann env, Probe und Annotation ergänzen:

k create deploy notes --image=172.16.0.126:30500/notes-api:1.0 --replicas=4 \
  --port=8080 $do > notes.yaml

So sieht notes.yaml nach dem Bearbeiten aus:

cat > notes.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes
  labels:
    app: notes
  annotations:
    kubernetes.io/change-cause: "notes-api 1.0"
spec:
  replicas: 4
  selector:
    matchLabels:
      app: notes
  template:
    metadata:
      labels:
        app: notes
    spec:
      containers:
      - name: notes-api
        image: 172.16.0.126:30500/notes-api:1.0
        ports:
        - containerPort: 8080
        env:
        - name: NOTES_API_KEY
          value: lab-key-123
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8080
EOF
k apply -f notes.yaml
k rollout status deploy/notes
k get deploy notes -o jsonpath='{.spec.strategy}{"\n"}'

Erwartet (gekürzt):

deployment.apps/notes created
Waiting for deployment "notes" rollout to finish: 0 of 4 updated replicas are ...
deployment "notes" successfully rolled out
{"rollingUpdate":{"maxSurge":"25%","maxUnavailable":"25%"},"type":"RollingUpdate"}

Ohne Angabe gilt RollingUpdate mit je 25 %. lab-key-123 ist ein reiner Lab-Wert – ohne NOTES_API_KEY bricht notes-api beim Start ab.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Neue Version ausrollen

Das Image notes-api:1.1 hast du in Tag 2 gepusht. Die Registry speichert in einem emptyDir – fehlt der Tag nach einem Neustart, baust du ihn auf cp1 neu:

curl -s 172.16.0.126:30500/v2/notes-api/tags/list
cd ~/ckad/notes-api
podman build --build-arg VERSION=1.1 -t 172.16.0.126:30500/notes-api:1.1 . | tail -1
podman push --tls-verify=false 172.16.0.126:30500/notes-api:1.1
cd ~/ckad/tag11

Erwartet (gekürzt):

{"name":"notes-api","tags":["1.0","1.1"]}
08ee432421531471091915463e3a6725254b49bece2108cb6cbe808c6538e1f3
Getting image source signatures
Writing manifest to image destination
k exec deploy/notes -- wget -qO- localhost:8080/version
k set image deploy/notes notes-api=172.16.0.126:30500/notes-api:1.1
k annotate deploy notes kubernetes.io/change-cause="notes-api 1.1"
k rollout status deploy/notes
k get rs
k exec deploy/notes -- wget -qO- localhost:8080/version

Erwartet (gekürzt):

1.0
deployment.apps/notes image updated
deployment.apps/notes annotated
Waiting for deployment "notes" rollout to finish: 2 out of 4 new replicas have ...
Waiting for deployment "notes" rollout to finish: 1 old replicas are pending ...
deployment "notes" successfully rolled out
NAME               DESIRED   CURRENT   READY   AGE
notes-69cd648579   0         0         0       9s
notes-ddcd7b784    4         4         4       5s
1.1

Der alte ReplicaSet bleibt mit 0 Pods stehen – er ist die Rückfahrkarte für undo.

Achtung: --record ist veraltet. Den Grund einer Änderung schreibst du in die Annotation kubernetes.io/change-cause; rollout history zeigt sie an.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Das Tempo steuern

Keine Kapazität verlieren, höchstens einen Pod zusätzlich:

k patch deploy notes -p \
  '{"spec":{"strategy":{"rollingUpdate":{"maxSurge":1,"maxUnavailable":0}}}}'
k rollout restart deploy/notes
k get rs -w

Erwartet (gekürzt, Strg+C beendet):

deployment.apps/notes patched
deployment.apps/notes restarted
NAME               DESIRED   CURRENT   READY   AGE
notes-69cd648579   0         0         0       11s
notes-ddcd7b784    4         4         4       7s
notes-fd4fcc568    1         1         0       1s
notes-fd4fcc568    1         1         1       3s
notes-ddcd7b784    3         3         3       9s
notes-fd4fcc568    2         2         1       3s
notes-fd4fcc568    2         2         2       6s
notes-ddcd7b784    2         2         2       12s
...
notes-fd4fcc568    4         4         4       11s
notes-ddcd7b784    0         0         0       17s

Neuer und alter ReplicaSet zusammen nie mehr als 5 Pods, nie weniger als 4 bereit. rollout restart ändert nur eine Annotation im Template – praktisch, um Pods neu zu starten (z. B. nach geänderter ConfigMap).

Fortschritt speichern? Kostenlos registrieren

Drill 4: History und Rollback

k rollout history deploy/notes
k rollout history deploy/notes --revision=1 | grep -E 'Image|change-cause'

Erwartet:

deployment.apps/notes
REVISION  CHANGE-CAUSE
1         notes-api 1.0
2         notes-api 1.1
3         notes-api 1.1

  Annotations:  kubernetes.io/change-cause: notes-api 1.0
    Image:      172.16.0.126:30500/notes-api:1.0

Revision 3 ist der rollout restart aus Drill 3: Er erbt die Annotation des Deployments, die noch „notes-api 1.1” sagt.

Gezielt zurück auf Revision 1:

k rollout undo deploy/notes --to-revision=1
k rollout status deploy/notes
k rollout history deploy/notes
k exec deploy/notes -- wget -qO- localhost:8080/version

Erwartet (gekürzt):

Warning: resource deployments/notes was previously managed with 'kubectl apply'.
Rolling back will not update the kubectl.kubernetes.io/last-applied-configuration
annotation, ...
deployment.apps/notes rolled back
deployment "notes" successfully rolled out
REVISION  CHANGE-CAUSE
2         notes-api 1.1
3         notes-api 1.1
4         notes-api 1.0
1.0

Revision 1 verschwindet und taucht als neue, höchste Revision wieder auf – samt ihrer alten Change-Cause. Ohne --to-revision geht undo genau eine Revision zurück. Die Warnung erinnert daran, dass notes.yaml jetzt nicht mehr dem Cluster entspricht.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Mehrere Änderungen, ein Rollout

k rollout pause deploy/notes
k set resources deploy/notes -c notes-api --requests=cpu=50m,memory=32Mi
k set image deploy/notes notes-api=172.16.0.126:30500/notes-api:1.1
k annotate deploy notes kubernetes.io/change-cause="1.1 mit Requests" --overwrite
k get rs

Erwartet:

deployment.apps/notes paused
deployment.apps/notes resource requirements updated
deployment.apps/notes image updated
deployment.apps/notes annotated
NAME               DESIRED   CURRENT   READY   AGE
notes-69cd648579   4         4         4       53s
notes-ddcd7b784    0         0         0       49s
notes-fd4fcc568    0         0         0       43s

Pausiert: Das Template ist geändert, aber kein neuer ReplicaSet entsteht.

Achtung: Die Reihenfolge zählt. Mit set image zuerst passt das Zwischen-Template (1.1 ohne Requests) genau zum ReplicaSet von Revision 2. Der Controller übernimmt ihn auch im Pausenzustand als neue Revision – mit der alten Change-Cause.

k rollout resume deploy/notes
k rollout status deploy/notes
k rollout history deploy/notes

Erwartet (gekürzt):

deployment.apps/notes resumed
deployment "notes" successfully rolled out
REVISION  CHANGE-CAUSE
2         notes-api 1.1
3         notes-api 1.1
4         notes-api 1.0
5         1.1 mit Requests

Zwei Änderungen, eine Revision.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Ein hängendes Rollout

Ein Tippfehler im Tag – und die Frist bis zur Fehlermeldung auf 30 Sekunden verkürzt:

k patch deploy notes -p '{"spec":{"progressDeadlineSeconds":30}}'
k set image deploy/notes notes-api=172.16.0.126:30500/notes-api:1.11
k rollout status deploy/notes

Erwartet (nach etwa 30 s, gekürzt):

deployment.apps/notes patched
deployment.apps/notes image updated
Waiting for deployment "notes" rollout to finish: 1 out of 4 new replicas have been ...
error: deployment "notes" exceeded its progress deadline
k get pods
k get deploy notes \
  -o jsonpath='{.status.conditions[?(@.type=="Progressing")].reason}{"\n"}'

Erwartet (gekürzt):

NAME                     READY   STATUS             RESTARTS   AGE
notes-5876dc8f69-9q8hh   0/1     ImagePullBackOff   0          31s
notes-869b66479b-9cnfs   1/1     Running            0          43s
notes-869b66479b-b575x   1/1     Running            0          45s
notes-869b66479b-nchzx   1/1     Running            0          41s
notes-869b66479b-qr48w   1/1     Running            0          47s
ProgressDeadlineExceeded

Dank maxUnavailable: 0 laufen alle vier alten Pods weiter – Nutzer merken nichts. Kubernetes rollt nicht selbst zurück; das machst du:

k rollout undo deploy/notes
k rollout status deploy/notes

Erwartet (Warnung zu last-applied-configuration gekürzt):

deployment.apps/notes rolled back
deployment "notes" successfully rolled out

Der Pod mit dem falschen Tag verschwindet, die vier alten liefen ununterbrochen.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Recreate

Manche Anwendungen vertragen keine zwei Versionen gleichzeitig (z. B. Schema-Migration). Dann erst alles stoppen, dann neu starten:

k patch deploy notes --type=merge \
  -p '{"spec":{"strategy":{"type":"Recreate","rollingUpdate":null}}}'
k set image deploy/notes notes-api=172.16.0.126:30500/notes-api:1.0
k get pods -w

Erwartet (gekürzt, Strg+C beendet):

NAME                     READY   STATUS              RESTARTS   AGE
notes-869b66479b-9cnfs   1/1     Terminating         0          49s
notes-869b66479b-b575x   1/1     Terminating         0          51s
...
notes-869b66479b-9cnfs   0/1     Completed           0          50s
notes-869b66479b-b575x   0/1     Completed           0          52s
...
notes-7cd9765ffc-zrq7n   0/1     Pending             0          0s
notes-7cd9765ffc-zrq7n   0/1     ContainerCreating   0          0s
...
notes-7cd9765ffc-dmtkd   1/1     Running             0          2s
notes-7cd9765ffc-zrq7n   1/1     Running             0          2s

Erst sind alle alten Pods weg, dann starten die neuen. rollingUpdate: null ist Pflicht – ohne lehnt der API-Server mit spec.strategy.rollingUpdate: Forbidden ab. Dafür gibt es eine kurze Ausfallzeit.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Stelle notes auf Image notes-api:1.1 um und dokumentiere den Grund „Speed-Drill”. Zeitziel: 30 s
  2. Zeige, welches Image Revision 2 hatte. Zeitziel: 20 s
  3. Starte alle Pods von notes neu, ohne etwas zu ändern. Zeitziel: 10 s

Lösung

k set image deploy/notes notes-api=172.16.0.126:30500/notes-api:1.1
k annotate deploy notes kubernetes.io/change-cause="Speed-Drill" --overwrite
k rollout history deploy/notes --revision=2 | grep Image
k rollout restart deploy/notes

Erwartet:

deployment.apps/notes image updated
deployment.apps/notes annotated
    Image:      172.16.0.126:30500/notes-api:1.1
deployment.apps/notes restarted

Mit Recreate startet der Neustart alle Pods auf einmal neu – vor dem Kontrollpunkt k rollout status deploy/notes abwarten.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get deploy notes -o jsonpath='{.spec.strategy.type}{"\n"}'

Erwartet: Recreate

k exec deploy/notes -- wget -qO- localhost:8080/version

Erwartet: 1.1

Challenge

Stelle notes wieder auf RollingUpdate (maxSurge 1, maxUnavailable 0) um. Ein neuer Pod soll erst nach 15 Sekunden fehlerfreiem Lauf als verfügbar gelten.

Hinweis: Das Feld dafür steht direkt unter spec des Deployments.

Lösung

k explain deploy.spec.minReadySeconds | grep -A3 DESCRIPTION
k patch deploy notes --type=merge -p '{"spec":{"minReadySeconds":15,"strategy":
  {"type":"RollingUpdate","rollingUpdate":{"maxSurge":1,"maxUnavailable":0}}}}'
k rollout restart deploy/notes
k get deploy notes -w

Erwartet (gekürzt, Strg+C beendet):

DESCRIPTION:
    Minimum number of seconds for which a newly created pod should be ready
    without any of its container crashing, for it to be considered available.
    Defaults to 0 (pod will be considered available as soon as it is ready)
deployment.apps/notes patched
deployment.apps/notes restarted
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
notes   4/4     1            4           2m54s
notes   5/4     1            4           2m56s
notes   5/4     1            5           3m11s
notes   4/4     2            4           3m11s
notes   5/4     2            4           3m13s
notes   5/4     2            5           3m28s
...
notes   4/4     4            4           4m3s

Der Restart macht die Regel sichtbar: Jeder neue Pod ist nach 2 s bereit, zählt aber erst 15 s später als AVAILABLE – erst dann geht der nächste alte Pod.

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag11

Das Image notes-api:1.1 bleibt in der Registry – Tag 12 braucht es.

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Rollout-Befehle auswendig: k set image, k rollout status|history|undo|pause|resume| restart. --to-revision nur mit Nummer aus history.
  • Der Containername in k set image ist der aus dem Template (notes-api), nicht der Deployment-Name. Nachschauen: k get deploy notes -o jsonpath='{..containers[*].name}'.
  • Hängt k rollout status, sofort k get pods und k describe pod – meist Image-Tag oder fehlende Variable.

Enterprise-Notiz

  • Rollbacks per undo sind Notfallwerkzeug; die Wahrheit liegt in Git (GitOps mit Argo CD oder Flux), sonst überschreibt der nächste Sync den Rollback.
  • Images per Digest (@sha256:…) statt Tag deployen – ein Tag kann sich ändern.
  • progressDeadlineSeconds plus Alarm auf ProgressDeadlineExceeded erkennt hängende Deployments; automatische Rollbacks liefern Argo Rollouts oder Flagger.
  • Ohne readinessProbe gilt ein Pod sofort als bereit – Rolling Updates schützen dann nur scheinbar (mehr an Tag 14).