Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Blue/Green und Canary

Ziel: Du schaltest notes-api per Service-Selector von einer Version auf die andere um und schickst einen kleinen Teil der Anfragen an eine neue Version. · Dauer: ca. 60 min · Voraussetzung: Tag 11

Briefing

CKAD: „Use Kubernetes primitives to implement common deployment strategies (e.g. blue/green or canary)” (Application Deployment, 20 %).

  Blue/Green                          Canary
  Service selector version=blue       Service selector app=notes-c
     |                                   |
     +--> notes-blue  (1.0) x2           +--> notes-stable (1.0) x4  ~80 %
          notes-green (1.1) x2 wartet    +--> notes-canary (1.1) x1  ~20 %
  Umschalten = Selector ändern        Verhältnis = Replica-Anzahl
  • Werkzeuge: zwei Deployments, ein Service, Labels. Kein Zusatzprodukt nötig.
  • Images aus Tag 11: notes-api:1.0 und notes-api:1.1; /version zeigt, wer antwortet.
mkdir -p ~/ckad/tag12 && cd ~/ckad/tag12
k create ns tag12
k config set-context --current --namespace=tag12

Drill 1: Blue und Green bereitstellen

Gerüst mit k create deploy notes-blue … $do, dann Labels und env ergänzen:

cat > blue.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes-blue
spec:
  replicas: 2
  selector:
    matchLabels:
      app: notes
      version: blue
  template:
    metadata:
      labels:
        app: notes
        version: blue
    spec:
      containers:
      - name: notes-api
        image: 172.16.0.126:30500/notes-api:1.0
        env:
        - name: NOTES_API_KEY
          value: lab-key-123
EOF
sed -e 's/blue/green/g' -e 's/notes-api:1.0/notes-api:1.1/' blue.yaml > green.yaml
k apply -f blue.yaml -f green.yaml
k rollout status deploy/notes-blue
k rollout status deploy/notes-green
k get pods -L version

Erwartet (gekürzt):

deployment.apps/notes-blue created
deployment.apps/notes-green created
deployment "notes-blue" successfully rolled out
deployment "notes-green" successfully rolled out
NAME                           READY   STATUS    RESTARTS   AGE   VERSION
notes-blue-556bc89579-mrqmw    1/1     Running   0          3s    blue
notes-blue-556bc89579-xsfwn    1/1     Running   0          3s    blue
notes-green-78dbc96979-l29ks   1/1     Running   0          3s    green
notes-green-78dbc96979-sr4bf   1/1     Running   0          3s    green

lab-key-123 ist ein reiner Lab-Wert. Green läuft schon, bekommt aber noch keinen Verkehr – du kannst die neue Version vorher in Ruhe testen.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Der Service zeigt auf Blue

k expose übernimmt den Selector des Deployments – also app=notes,version=blue:

k expose deploy notes-blue --name=notes --port=80 --target-port=8080
k get svc notes -o jsonpath='{.spec.selector}{"\n"}'
IP=$(k get svc notes -o jsonpath='{.spec.clusterIP}')
for i in $(seq 20); do curl -s $IP/version; done | sort | uniq -c

Erwartet:

service/notes exposed
{"app":"notes","version":"blue"}
     20 1.0

Die Schleife ist ein einzelner Befehl: 20 Anfragen, gezählt nach Antwort. Von cp1 aus ist die ClusterIP direkt erreichbar. Bleibt die Ausgabe direkt nach expose leer, hat kube-proxy die Regeln noch nicht gesetzt – eine Sekunde warten und wiederholen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Umschalten auf Green

k patch svc notes -p '{"spec":{"selector":{"version":"green"}}}'
for i in $(seq 20); do curl -s $IP/version; done | sort | uniq -c

Erwartet:

service/notes patched
     20 1.1

Ein Befehl, und nach etwa einer Sekunde (kube-proxy aktualisiert seine Regeln) gehen alle Anfragen an Green. patch mischt: app=notes bleibt, nur version ändert sich.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Zurück auf Blue

Etwas stimmt mit 1.1 nicht? Der Rollback ist genauso schnell – Blue läuft ja noch:

k set selector svc notes 'app=notes,version=blue'
k get svc notes -o jsonpath='{.spec.selector}{"\n"}'
for i in $(seq 20); do curl -s $IP/version; done | sort | uniq -c

Erwartet:

service/notes selector updated
{"app":"notes","version":"blue"}
     20 1.0

k set selector ersetzt den ganzen Selector – deshalb beide Labels angeben. Der Preis von Blue/Green: Beide Versionen belegen gleichzeitig volle Ressourcen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Canary mit 4:1

Für Canary wählt der Service beide Deployments über ein gemeinsames Label aus. Das Verhältnis der Replicas bestimmt den Anteil:

sed -e 's/notes-blue/notes-stable/' -e 's/app: notes$/app: notes-c/' \
  -e 's/version: blue/track: stable/' -e 's/replicas: 2/replicas: 4/' blue.yaml \
  > stable.yaml
sed -e 's/stable/canary/g' -e 's/replicas: 4/replicas: 1/' \
  -e 's/notes-api:1.0/notes-api:1.1/' stable.yaml > canary.yaml
grep -A3 'labels:' canary.yaml
k apply -f stable.yaml -f canary.yaml
k create service clusterip notes-c --tcp=80:8080
k get svc notes-c -o jsonpath='{.spec.selector}{"\n"}'

Erwartet:

      labels:
        app: notes-c
        track: canary
    spec:
deployment.apps/notes-stable created
deployment.apps/notes-canary created
service/notes-c created
{"app":"notes-c"}

k create service setzt den Selector app=<name> – hier also genau app=notes-c, das gemeinsame Label.

k rollout status deploy/notes-stable
k get pods -l app=notes-c -L track
CIP=$(k get svc notes-c -o jsonpath='{.spec.clusterIP}')
for i in $(seq 20); do curl -s $CIP/version; done | sort | uniq -c

Erwartet (Verteilung schwankt):

deployment "notes-stable" successfully rolled out
NAME                            READY   STATUS    RESTARTS   AGE   TRACK
notes-canary-7f7f7f88f9-9mxnj   1/1     Running   0          4s    canary
notes-stable-d4746df97-4l7f6    1/1     Running   0          4s    stable
notes-stable-d4746df97-b5l9k    1/1     Running   0          4s    stable
notes-stable-d4746df97-nrmrj    1/1     Running   0          4s    stable
notes-stable-d4746df97-qz9ld    1/1     Running   0          4s    stable
     18 1.0
      2 1.1

kube-proxy verteilt zufällig, nicht reihum. Bei 20 Anfragen sind 1 bis 7 Treffer auf 1.1 normal; mit seq 200 wird das Verhältnis deutlicher (im Test 152 zu 48).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Canary ausbauen oder abbrechen

Die Canary läuft gut – auf 50 %:

k scale deploy notes-stable --replicas=2
k scale deploy notes-canary --replicas=2
for i in $(seq 20); do curl -s $CIP/version; done | sort | uniq -c

Erwartet (Verteilung schwankt):

deployment.apps/notes-stable scaled
deployment.apps/notes-canary scaled
     12 1.0
      8 1.1

Und der Rollback, falls 1.1 Fehler wirft – sofort, ohne Neustart der stabilen Pods:

k scale deploy notes-canary --replicas=0
k scale deploy notes-stable --replicas=4
for i in $(seq 20); do curl -s $CIP/version; done | sort | uniq -c

Erwartet:

deployment.apps/notes-canary scaled
deployment.apps/notes-stable scaled
     20 1.0

Für den vollständigen Umstieg setzt du am Ende notes-stable per k set image auf 1.1 (Rolling Update, Tag 11) und skalierst die Canary auf 0.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Wer steckt hinter dem Service?

k get endpointslices -l kubernetes.io/service-name=notes-c
k get pods -l app=notes-c -o wide | awk '{print $1, $6}'

Erwartet (gekürzt):

NAME            ADDRESSTYPE   PORTS   ENDPOINTS
notes-c-lfm76   IPv4          8080    192.168.189.80,192.168.189.108,... + 1 more...
NAME IP
notes-stable-d4746df97-b5l9k 192.168.189.80
notes-stable-d4746df97-m5bmf 192.168.235.158
notes-stable-d4746df97-qz9ld 192.168.189.108
notes-stable-d4746df97-rg5mz 192.168.235.184

Die EndpointSlice zeigt die Pod-IPs, an die der Service gerade verteilt. Stimmt hier etwas nicht, passen Selector und Pod-Labels nicht zusammen – der häufigste Fehler bei beiden Strategien.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Schalte den Service notes auf Green. Zeitziel: 20 s
  2. Starte erneut eine Canary mit 1 von 5 Pods auf 1.1. Zeitziel: 20 s
  3. Zeige die Labels aller Pods mit app=notes. Zeitziel: 15 s

Lösung

k set selector svc notes 'app=notes,version=green'
k scale deploy notes-canary --replicas=1
k get pods -l app=notes --show-labels

Erwartet (gekürzt):

service/notes selector updated
deployment.apps/notes-canary scaled
NAME                           ...  LABELS
notes-blue-556bc89579-mrqmw    ...  app=notes,pod-template-hash=556bc89579,version=blue
notes-blue-556bc89579-xsfwn    ...  app=notes,pod-template-hash=556bc89579,version=blue
notes-green-78dbc96979-l29ks   ...  app=notes,pod-template-hash=78dbc96979,version=green
notes-green-78dbc96979-sr4bf   ...  app=notes,pod-template-hash=78dbc96979,version=green

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get svc notes -o jsonpath='{.spec.selector.version}{"\n"}'

Erwartet: green

k get deploy notes-stable notes-canary

Erwartet:

NAME           READY   UP-TO-DATE   AVAILABLE   AGE
notes-stable   4/4     4            4           39s
notes-canary   1/1     1            1           39s

Challenge

Mache den Blue/Green-Service notes über Traefik unter dem Host notes.tag12.lab erreichbar und schalte von außen sichtbar zurück auf Blue.

Hinweis: Traefik ist die Default-IngressClass und lauscht auf NodePort 30080.

Lösung

k create ingress notes --rule='notes.tag12.lab/*=notes:80'
curl -s -H 'Host: notes.tag12.lab' http://172.16.0.126:30080/version
k set selector svc notes 'app=notes,version=blue'
curl -s -H 'Host: notes.tag12.lab' http://172.16.0.126:30080/version

Erwartet:

ingress.networking.k8s.io/notes created
1.1
service/notes selector updated
1.0

Der Ingress ändert sich nicht – umgeschaltet wird weiterhin am Service. Traefik übernimmt die neuen Endpoints nach ein bis zwei Sekunden; kommt direkt danach noch 1.1, den letzten curl einfach wiederholen.

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag12

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Blue/Green = Selector des Service ändern (k set selector, k patch svc, k edit svc). Canary = gemeinsames Label im Service-Selector, Anteil über replicas.
  • Prüfen, ob Labels von Pods und Selector passen: k get pods --show-labels, k get endpointslices -l kubernetes.io/service-name=<svc>.
  • Labels im Template ändern, nicht nur im Deployment-metadata – und selector.matchLabels eines Deployments ist nach dem Anlegen unveränderlich.

Enterprise-Notiz

  • Canary über Replica-Anzahl ist grob (1 von 5 = 20 %). Feinere Gewichte liefert der Ingress-Controller: Traefik mit einem TraefikService vom Typ weighted, Gateway API mit backendRefs[].weight.
  • Argo Rollouts und Flagger automatisieren Canary-Stufen und brechen bei schlechten Metriken selbst ab.
  • Bei Blue/Green Datenbank-Schemata abwärtskompatibel halten – sonst gibt es kein Zurück.
  • Sitzungen (Sticky Sessions, Caches) beim Umschalten bedenken.