Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 2: Deployments

Ziel: den einzelnen Pod durch ein Deployment mit drei Repliken ersetzen, die Selbstheilung beobachten, notes-api 0.2.0 ohne Ausfall ausrollen und wieder zurückrollen. · Dauer: ca. 75 min · Voraussetzung: Tag 1

Briefing

  • Ein Deployment beschreibt das Soll: welches Pod-Template, wie viele Repliken, welche Update-Strategie. Pods legt es nicht selbst an.
  • Dafür erzeugt es pro Template-Version ein ReplicaSet, und das hält die Zahl der Pods. Fehlt einer, legt es einen neuen an – das ist die Selbstheilung.
  • Wer zu wem gehört, entscheiden Labels und Selektoren, nicht Namen.
  • Ein neues Image heißt neues ReplicaSet: Das Deployment fährt das neue hoch und das alte herunter (Rolling Update). Das alte bleibt für ein Rollback liegen.
 Deployment api          Soll: 3 × notes-api:0.2.0, maxSurge 1, maxUnavailable 0
   ├── ReplicaSet api-5cbdddf87   (0.1.0)  0 Pods – bleibt für Rollback
   └── ReplicaSet api-9cb44cd5b   (0.2.0)  3 Pods
         ├── Pod api-9cb44cd5b-vbqfv
         ├── Pod api-9cb44cd5b-6fw7j
         └── Pod api-9cb44cd5b-59nzw

Drill 1: Tagesstart, Pod ablösen

source ~/k8s-lab/setup/env.sh
mkdir -p ~/k8s-lab/tag02 && cd ~/k8s-lab/tag02
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag01/notes/." .
kubectl delete -f k8s/api-pod.yaml
rm k8s/api-pod.yaml
ls k8s

Erwartet (gekürzt):

pod "api" deleted from notes namespace
namespace.yaml

kubectl delete -f löscht genau die Objekte, die in der Datei stehen. Die Datei api-pod.yaml brauchst du ab heute nicht mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Das Deployment

Zuerst mit der Version, die schon läuft – 0.2.0 kommt in Drill 7:

cat > k8s/api.yaml <<'EOF'
# k8s/api.yaml – Stand Ende Tag 2
apiVersion: apps/v1
kind: Deployment
metadata:
  name: api
  labels:
    app.kubernetes.io/name: api
    app.kubernetes.io/part-of: notes
spec:
  replicas: 3
  revisionHistoryLimit: 5
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  selector:
    matchLabels:
      app.kubernetes.io/name: api
  template:
    metadata:
      labels:
        app.kubernetes.io/name: api
        app.kubernetes.io/part-of: notes
    spec:
      containers:
        - name: api
          image: notes-api:0.1.0
          env:
            - name: NOTES_API_KEY
              value: lab-api-key-123
          ports:
            - containerPort: 8080
EOF
kubectl apply --dry-run=server -f k8s/api.yaml
kubectl apply -f k8s/api.yaml
kubectl rollout status deploy/api

Erwartet:

deployment.apps/api created (server dry run)
deployment.apps/api created
Waiting for deployment "api" rollout to finish: 0 out of 3 new replicas have been upd…
Waiting for deployment "api" rollout to finish: 0 of 3 updated replicas are available...
Waiting for deployment "api" rollout to finish: 1 of 3 updated replicas are available...
Waiting for deployment "api" rollout to finish: 2 of 3 updated replicas are available...
deployment "api" successfully rolled out
  • template ist ein Pod-Manifest ohne apiVersion und kind – dein Pod von gestern, eingerückt.
  • selector.matchLabels muss zu den Labels im Template passen, sonst lehnt der API-Server das Deployment ab. Nach dem Anlegen ist der Selektor unveränderlich.
  • revisionHistoryLimit: 5 hält fünf alte ReplicaSets für Rollbacks vor.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Deployment, ReplicaSet, Pod

kubectl get deploy,rs,pods
kubectl get pods -o wide
POD=$(kubectl get pods -l app.kubernetes.io/name=api -o name | head -1)
RS=$(kubectl get rs -o name | head -1)
O='.metadata.ownerReferences[0]'
kubectl get "$POD" "$RS" -o custom-columns="NAME:.metadata.name,OWNER:$O.kind,:$O.name"

Erwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):

NAME                  READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/api   3/3     3            3           4s

NAME                            DESIRED   CURRENT   READY   AGE
replicaset.apps/api-5cbdddf87   3         3         3       4s

NAME                      READY   STATUS    RESTARTS   AGE
pod/api-5cbdddf87-7fjcd   1/1     Running   0          4s
pod/api-5cbdddf87-rg9q5   1/1     Running   0          4s
pod/api-5cbdddf87-thwdg   1/1     Running   0          4s
NAME                  READY   STATUS    RESTARTS   AGE   IP           NODE          …
api-5cbdddf87-7fjcd   1/1     Running   0          4s    10.244.2.4   lab-worker2   …
api-5cbdddf87-rg9q5   1/1     Running   0          4s    10.244.1.3   lab-worker    …
api-5cbdddf87-thwdg   1/1     Running   0          4s    10.244.1.4   lab-worker    …
NAME                  OWNER
api-5cbdddf87-7fjcd   ReplicaSet   api-5cbdddf87
api-5cbdddf87         Deployment   api

Die Namen erzählen die Kette: Deployment api, ReplicaSet api-<hash>, Pod api-<hash>-<zufall>. Die ownerReferences sagen dasselbe maschinenlesbar – damit räumt Kubernetes beim Löschen eines Deployments alles darunter mit ab. Die Pods verteilen sich auf beide Worker; wie viele wohin, entscheidet der Scheduler.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Selbstheilung

kubectl delete "$POD"
kubectl get pods
kubectl describe "$RS" | sed -n '/^Events:/,$p'

Erwartet (gekürzt):

pod "api-5cbdddf87-7fjcd" deleted from notes namespace
NAME                  READY   STATUS              RESTARTS   AGE
api-5cbdddf87-rg9q5   1/1     Running             0          15s
api-5cbdddf87-thwdg   1/1     Running             0          15s
api-5cbdddf87-v8g2l   0/1     ContainerCreating   0          1s
Events:
  Type    Reason            Age  From                   Message
  ----    ------            ---- ----                   -------
  Normal  SuccessfulCreate  16s  replicaset-controller  Created pod: api-5cbdddf87-rg9q5
  Normal  SuccessfulCreate  15s  replicaset-controller  Created pod: api-5cbdddf87-7fjcd
  Normal  SuccessfulCreate  15s  replicaset-controller  Created pod: api-5cbdddf87-thwdg
  Normal  SuccessfulCreate  2s   replicaset-controller  Created pod: api-5cbdddf87-v8g2l

Das ist der Kern von Kubernetes: Ein Controller vergleicht ständig Soll (3) und Ist (2) und handelt. Gestern war der Pod nach dem Löschen weg, heute ist eine Sekunde später ein neuer da – mit neuem Namen und neuer IP.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Labels und Selektoren

kubectl get pods --show-labels
POD=$(kubectl get pods -l app.kubernetes.io/name=api -o name | head -1)
kubectl label "$POD" app.kubernetes.io/name=quarantaene --overwrite
sleep 2
kubectl get pods -L app.kubernetes.io/name
kubectl get "$POD" -o jsonpath='Besitzer: {.metadata.ownerReferences}'; echo

Erwartet (gekürzt):

NAME                  READY   STATUS    RESTARTS   AGE   LABELS
api-5cbdddf87-rg9q5   1/1     Running   0          16s   app.kubernetes.io/name=api,app…
api-5cbdddf87-thwdg   1/1     Running   0          16s   app.kubernetes.io/name=api,app…
api-5cbdddf87-v8g2l   1/1     Running   0          2s    app.kubernetes.io/name=api,app…
pod/api-5cbdddf87-rg9q5 labeled
NAME                  READY   STATUS    RESTARTS   AGE   NAME
api-5cbdddf87-7dfzn   1/1     Running   0          2s    api
api-5cbdddf87-rg9q5   1/1     Running   0          19s   quarantaene
api-5cbdddf87-thwdg   1/1     Running   0          19s   api
api-5cbdddf87-v8g2l   1/1     Running   0          5s    api
Besitzer:

Das ReplicaSet zählt nur Pods, auf die sein Selektor passt (app.kubernetes.io/name=api,pod-template-hash=5cbdddf87). Mit geändertem Label fällt der Pod heraus, verliert seinen Besitzer und läuft allein weiter; das ReplicaSet legt sofort Ersatz an. So nimmst du einen auffälligen Pod zur Untersuchung aus dem Verkehr. Aufräumen:

kubectl delete pods -l app.kubernetes.io/name=quarantaene

Erwartet (gekürzt):

pod "api-5cbdddf87-rg9q5" deleted from notes namespace

Fortschritt speichern? Kostenlos registrieren

Drill 6: Skalieren und Drift

kubectl scale deploy api --replicas 5
kubectl rollout status deploy/api
kubectl get deploy api
kubectl diff -f k8s/api.yaml | grep -E '^[-+] '

Erwartet (gekürzt):

deployment.apps/api scaled
…
deployment "api" successfully rolled out
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    5/5     5            5           29s
-  generation: 2
+  generation: 3
-  replicas: 5
+  replicas: 3

kubectl scale ändert das Cluster, nicht deine Datei. kubectl diff zeigt, was ein apply ändern würde – hier die Repliken zurück auf 3. Genau so:

kubectl apply -f k8s/api.yaml
sleep 2
kubectl get deploy api

Erwartet (gekürzt):

deployment.apps/api configured
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    3/3     3            3           33s

Die Datei ist die Wahrheit. Was du imperativ änderst, überschreibt das nächste apply.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Rolling Update auf 0.2.0

Version 0.2.0 bauen und in alle Nodes laden:

for app in api worker web; do
  docker build -q --build-arg VERSION=0.2.0 -t "notes-$app:0.2.0" "$NOTES/notes-$app"
  kind load docker-image "notes-$app:0.2.0" --name lab
done

Erwartet (gekürzt, IDs weichen ab):

sha256:9c6b9f375ac7…
Image: "notes-api:0.2.0" with ID "sha256:9c6b9f375ac7…" not yet present on node
"lab-worker2", loading...
…
sha256:4e834dcf7ad7…
…

Öffne ein zweites Terminal und beobachte dort die Pods:

kubectl get pods -l app.kubernetes.io/name=api -w

Im ersten Terminal das Image in der Datei anheben und anwenden:

sed -i.bak 's/notes-api:0.1.0/notes-api:0.2.0/' k8s/api.yaml && rm k8s/api.yaml.bak
grep 'image:' k8s/api.yaml
kubectl apply -f k8s/api.yaml
kubectl rollout status deploy/api

Erwartet im ersten Terminal (gekürzt):

          image: notes-api:0.2.0
deployment.apps/api configured
Waiting for deployment "api" rollout to finish: 1 out of 3 new replicas have been upd…
Waiting for deployment "api" rollout to finish: 2 out of 3 new replicas have been upd…
Waiting for deployment "api" rollout to finish: 1 old replicas are pending terminati…
deployment "api" successfully rolled out

Erwartet im zweiten Terminal (gekürzt, mit Ctrl-C beenden):

api-9cb44cd5b-vbqfv   0/1     Pending             0          0s
api-9cb44cd5b-vbqfv   0/1     ContainerCreating   0          0s
api-9cb44cd5b-vbqfv   1/1     Running             0          1s
api-5cbdddf87-thwdg   1/1     Terminating         0          115s
api-9cb44cd5b-6fw7j   0/1     Pending             0          0s
api-9cb44cd5b-6fw7j   1/1     Running             0          1s
api-5cbdddf87-tw9mq   1/1     Terminating         0          92s
api-9cb44cd5b-59nzw   0/1     Pending             0          0s
api-9cb44cd5b-59nzw   1/1     Running             0          1s
api-5cbdddf87-7dfzn   1/1     Terminating         0          103s

Immer erst ein neuer Pod, dann ein alter weg. Das legt die Strategie fest:

Einstellung Bedeutung Hier
maxSurge: 1 höchstens 1 Pod über replicas nie mehr als 4 Pods
maxUnavailable: 0 kein Pod unter replicas immer 3 bereite Pods

Standard wäre je 25 %, bei 3 Repliken also 1 Pod mehr und – abgerundet – 0 weniger. Mit festen Zahlen steht es eindeutig in der Datei.

kubectl get rs
kubectl logs deploy/api | grep listening

Erwartet (gekürzt):

NAME            DESIRED   CURRENT   READY   AGE
api-5cbdddf87   0         0         0       2m2s
api-9cb44cd5b   3         3         3       8s
Found 3 pods, using pod/api-9cb44cd5b-vbqfv
time=… level=INFO msg=listening addr=:8080 version=0.2.0 pid=1

Das alte ReplicaSet steht mit 0 Pods bereit.

Achtung: Ein Rollout startet nur, wenn sich das Pod-Template ändert. Baust du ein Image unter demselben Tag neu und lädst es, merkt das Deployment nichts – noch ein Grund für eine neue Versionsnummer bei jedem Build.

Fortschritt speichern? Kostenlos registrieren

Drill 8: History und Rollback

kubectl rollout history deploy/api
kubectl rollout history deploy/api --revision 1 | grep Image
kubectl rollout undo deploy/api
kubectl rollout status deploy/api
kubectl get rs

Erwartet (gekürzt):

deployment.apps/api
REVISION  CHANGE-CAUSE
1         <none>
2         <none>

    Image:  notes-api:0.1.0
Warning: resource deployments/api was previously managed with 'kubectl apply'. Rolling
back will not update the kubectl.kubernetes.io/last-applied-configuration annotation,
which may cause unexpected behavior on future 'kubectl apply' operations. Consider using
'kubectl apply' with your previous configuration file instead.
deployment.apps/api rolled back
…
deployment "api" successfully rolled out
NAME            DESIRED   CURRENT   READY   AGE
api-5cbdddf87   3         3         3       2m15s
api-9cb44cd5b   0         0         0       21s

Der Rollback ist ein Rolling Update zurück auf das alte ReplicaSet – schnell, weil das Image schon in den Nodes liegt. Die Warnung trifft den Punkt: Deine Datei sagt jetzt etwas anderes als das Cluster.

kubectl rollout history deploy/api
kubectl diff -f k8s/api.yaml | grep -E '^[-+] '

Erwartet (gekürzt):

REVISION  CHANGE-CAUSE
2         <none>
3         <none>

-  generation: 5
+  generation: 6
-        image: notes-api:0.1.0
+        image: notes-api:0.2.0

Aus Revision 1 wurde Revision 3 – ein Rollback ist eine neue Revision. Im Ernstfall rollst du so in Sekunden zurück und korrigierst danach die Datei. Hier war 0.2.0 in Ordnung, also zurück zum Stand der Datei:

kubectl apply -f k8s/api.yaml
kubectl rollout status deploy/api
kubectl rollout history deploy/api
kubectl diff -f k8s/api.yaml; echo "diff-Exit: $?"

Erwartet (gekürzt):

deployment.apps/api configured
…
deployment "api" successfully rolled out
deployment.apps/api
REVISION  CHANGE-CAUSE
3         <none>
4         <none>

diff-Exit: 0

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get deploy api -o wide

Erwartet: 3/3 bereit, Image notes-api:0.2.0.

NAME   READY   UP-TO-DATE   AVAILABLE   AGE   CONTAINERS   IMAGES            SELECTOR
api    3/3     3            3           7s    api          notes-api:0.2.0   app.kuber…
kubectl describe deploy api | grep RollingUpdateStrategy

Erwartet: höchstens ein Pod zusätzlich, keiner weniger.

RollingUpdateStrategy:  0 max unavailable, 1 max surge
kubectl get rs

Erwartet: genau ein ReplicaSet mit DESIRED 3, ältere stehen auf 0.

NAME            DESIRED   CURRENT   READY   AGE
api-5cbdddf87   0         0         0       7s
api-9cb44cd5b   3         3         3       5s
kubectl get pod api

Erwartet: Der einzelne Pod aus Tag 1 ist weg.

Error from server (NotFound): pods "api" not found
kubectl diff -f k8s/api.yaml

Erwartet: keine Ausgabe. Das Cluster entspricht der Datei.

Challenge

Rolle absichtlich eine kaputte Version notes-api:0.3.0 aus (gibt es nicht). Zeige, dass die api währenddessen mit drei Pods weiterläuft, und hol dich zurück auf den Stand der Datei – ohne die Datei anzufassen.

Hinweis: kubectl set image ändert nur das Cluster; rollout status wartet mit --timeout nicht ewig.

Lösung

kubectl set image deploy/api api=notes-api:0.3.0
kubectl rollout status deploy/api --timeout 30s; echo "Exit: $?"
kubectl get deploy api
kubectl get pods
kubectl rollout undo deploy/api
kubectl rollout status deploy/api
kubectl diff -f k8s/api.yaml; echo "diff-Exit: $?"

Erwartet (gekürzt):

deployment.apps/api image updated
Waiting for deployment "api" rollout to finish: 1 out of 3 new replicas have been upd…
error: timed out waiting for the condition
Exit: 1
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    3/3     1            3           3m
NAME                   READY   STATUS         RESTARTS   AGE
api-6768975f45-nfpvf   0/1     ErrImagePull   0          31s
api-9cb44cd5b-8wq98    1/1     Running        0          43s
api-9cb44cd5b-g9qfn    1/1     Running        0          40s
api-9cb44cd5b-twrzx    1/1     Running        0          45s
…
deployment.apps/api rolled back
…
deployment "api" successfully rolled out
diff-Exit: 0

Mit maxUnavailable: 0 darf das Deployment keinen alten Pod abbauen, bevor ein neuer bereit ist. Der eine neue Pod hängt in ErrImagePull, die drei alten bedienen weiter. Ohne Eingriff bleibt das so; nach progressDeadlineSeconds (Standard 600 s) meldet das Deployment ProgressDeadlineExceeded, rollt aber nicht selbst zurück. undo geht auf die vorige Revision, also 0.2.0 – das passt wieder zur Datei.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • In Produktion ändert niemand Images per kubectl set image. Das Image steht in Git, ein Werkzeug wie Argo CD oder Flux wendet an und meldet Drift.
  • rollout undo ist der Notschalter; der dauerhafte Fix ist ein Commit, der die Datei auf die gute Version setzt.
  • Rolling Updates brauchen Readiness-Probes, sonst gilt ein Pod als bereit, sobald der Prozess läuft – auch wenn er noch nicht antwortet (Tag 5).
  • Für Canary- und Blue-Green-Rollouts mit Metrik-Prüfung gibt es Argo Rollouts oder Flagger; das Deployment selbst kennt nur Rolling Update und Recreate.
  • revisionHistoryLimit begrenzt die alten ReplicaSets. Sie kosten wenig, aber in großen Clustern mit vielen Deployments summiert es sich.