Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Upgrade und Rollback

Ziel: west läuft per Helm auf edge-26.11.2, das Upgrade lief ohne einen fehlgeschlagenen Request, und du hast die Control Plane einmal zurück- und wieder vorgerollt. · Dauer: ca. 75 min · Voraussetzung: Tag 14

Briefing

  • Die Reihenfolge ist fest: CLI → CRDs → Control Plane → Datenebene → Extensions. Jeder Schritt verträgt den alten Stand des nächsten.
  • Die Control Plane aktualisiert Helm. Die Proxys wechseln erst, wenn ihre Pods neu starten – dafür bist du zuständig, per rollout restart.
  • Vorher liest du die Release Notes und vergleichst die gerenderten Manifeste. Was du dort nicht findest, sollte auch im Cluster nicht passieren.
  • helm rollback setzt die Control Plane auf eine frühere Revision zurück. CRDs und Proxys bleiben, wie sie sind.
 CLI 26.11.2 ─> linkerd-crds 2026.11.2 ─> linkerd-control-plane 2026.11.2
   ─> rollout restart (Proxys 26.11.2) ─> linkerd-multicluster 2026.11.2
 währenddessen: last ─> helper in tag15, jeder Request mitgeschrieben

Drill 1: Ausgangslage und Messung

Die App aus Tag 14 dient als Messobjekt, mit höherem Takt (Pause 0,2 statt 0,5 s):

mkdir -p ~/linkerd/tag15 && cd ~/linkerd/tag15
sed -e 's/tag14/tag15/g' -e 's/sleep 0.5/sleep 0.2/' ../tag14/app.yaml > app.yaml
kubectl --context west apply -f app.yaml
kubectl --context west -n tag15 rollout status deploy --timeout=180s

Erwartet (gekürzt):

namespace/tag15 created
...
deployment "helper" successfully rolled out
deployment "last" successfully rolled out

Schritt 1 des Upgrades ist die CLI. Sie liegt als edge-26.11.2 seit Tag 1 in /usr/local/bin. Ab jetzt nutzt du für west wieder linkerd statt ./linkerd-edge-26.11.1. Was sieht die neue CLI?

linkerd --context west version
linkerd --context west check 2>&1 | grep -A1 '^‼ control plane and cli'
linkerd --context west check --proxy -n tag15 2>&1 | grep -A3 '^‼ data plane is'

Erwartet:

Client version: edge-26.11.2
Server version: edge-26.11.1
‼ control plane and cli versions match
    control plane running edge-26.11.1 but cli running edge-26.11.2
‼ data plane is up-to-date
    some proxies are not running the current version:
    * helper-79d57fbbbb-bvxls (edge-26.11.1)
    * helper-79d57fbbbb-zg98l (edge-26.11.1)

Eine neuere CLI gegen eine ältere Control Plane ist erlaubt und gewollt – umgekehrt nicht. check warnt nur (‼), endet aber mit √.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Release Notes lesen

curl -fsSL https://api.github.com/repos/linkerd/linkerd2/releases/tags/edge-26.11.2 \
  | jq -r '.published_at, .body' | grep -vE '^\* (ci|build|chore)' | head -5

Erwartet (gekürzt):

2026-11-13T23:50:48Z
## What's Changed
* fix(inject): inherit beta native sidecar annotation from namespace by @spicyshar…
* proxy: v2.373.0 by @l5d-bot in https://github.com/linkerd/linkerd2/pull/15768
* proxy: v2.374.0 by @l5d-bot in https://github.com/linkerd/linkerd2/pull/15781

Worauf du achtest:

  • Verhaltensänderungen, die dich betreffen. Hier: Der Injector erbt config.beta.linkerd.io/proxy-enable-native-sidecar jetzt auch vom Namespace. Wer die Annotation am Namespace setzt (Tag 2 hat sie am Pod gezeigt), bekommt nach dem Neustart andere Pods.
  • Proxy-Versionen: Zwei Sprünge des Proxys stecken in einer Edge-Version.
  • CRDs, Values, entfernte Funktionen, Hinweise wie „breaking“ oder „action required“. Überspringst du Versionen, liest du die Notes aller dazwischen. Die monatliche „Edge Release Roundup“ im Linkerd-Blog fasst sie zusammen.

Dann prüfst du, was sich an den Charts ändert:

diff <(helm show values linkerd-edge/linkerd-control-plane --version 2026.11.1) \
  <(helm show values linkerd-edge/linkerd-control-plane --version 2026.11.2)
diff <(helm template x linkerd-edge/linkerd-crds --version 2026.11.1 \
  | grep -v helm.sh/chart) \
  <(helm template x linkerd-edge/linkerd-crds --version 2026.11.2 \
  | grep -v helm.sh/chart) && echo crds-gleich

Erwartet:

23c23
< linkerdVersion: edge-26.11.1
---
> linkerdVersion: edge-26.11.2
crds-gleich

Nur die Version ändert sich, die CRDs sind bis auf das Chart-Label identisch. Ein kleiner Schritt – genau so sollen Upgrades aussehen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Vorschau auf das Manifest

helm --kube-context west get manifest linkerd-control-plane -n linkerd > alt.yaml
helm template linkerd-control-plane linkerd-edge/linkerd-control-plane \
  --version 2026.11.2 -n linkerd \
  -f ../tag14/values-ha.yaml -f ../tag14/values-west.yaml > neu.yaml
diff alt.yaml neu.yaml | grep -E '^[<>] .*image:' | sort | uniq -c

Erwartet:

      1 <             image: cr.l5d.io/linkerd/controller:edge-26.11.1
      5 <         image: cr.l5d.io/linkerd/controller:edge-26.11.1
      6 <         image: cr.l5d.io/linkerd/proxy:edge-26.11.1
      1 >             image: cr.l5d.io/linkerd/controller:edge-26.11.2
      5 >         image: cr.l5d.io/linkerd/controller:edge-26.11.2
      6 >         image: cr.l5d.io/linkerd/proxy:edge-26.11.2

Neue Images für die Controller (inklusive Heartbeat-CronJob) und für linkerd-init und linkerd-proxy in den drei Deployments der Control Plane – beide nutzen das Proxy-Image. Der restliche Diff besteht aus Versionslabels und den Webhook-Zertifikaten, die jedes Rendern neu erzeugt.

Achtung: Kein --reuse-values. Damit übernimmt Helm deine alten Werte, ignoriert aber neue Vorgaben des Charts. Übergib bei jedem Upgrade dieselben Values-Dateien.

Fortschritt speichern? Kostenlos registrieren

Drill 4: CRDs, dann Control Plane

Startzeit merken, dann beide Releases nacheinander:

date -u +%FT%TZ > start.txt
helm --kube-context west upgrade linkerd-crds linkerd-edge/linkerd-crds \
  --version 2026.11.2 -n linkerd
helm --kube-context west upgrade linkerd-control-plane \
  linkerd-edge/linkerd-control-plane --version 2026.11.2 -n linkerd \
  -f ../tag14/values-ha.yaml -f ../tag14/values-west.yaml
kubectl --context west -n linkerd rollout status deploy --timeout=300s
kubectl --context west -n linkerd get pods

Erwartet (gekürzt):

STATUS: deployed
REVISION: 2
...
STATUS: deployed
REVISION: 3
Waiting for deployment "linkerd-destination" rollout to finish: 1 old replicas are …
deployment "linkerd-destination" successfully rolled out
deployment "linkerd-identity" successfully rolled out
deployment "linkerd-proxy-injector" successfully rolled out
NAME                                      READY   STATUS        RESTARTS   AGE
linkerd-destination-6fccb5879-k944c       4/4     Running       0          11s
linkerd-destination-6fccb5879-lvqmp       4/4     Running       0          12s
linkerd-destination-755db578f5-62kmw      4/4     Terminating   0          4m14s
linkerd-identity-74946cc965-6sh5z         2/2     Running       0          11s
...

Rund 20 Sekunden für alle drei Deployments. maxUnavailable: 1 aus den HA-Werten lässt immer eine Replika stehen. Und der Verkehr?

sleep 20
kubectl --context west -n tag15 logs deploy/last -c last \
  --since-time=$(cat start.txt) \
  | awk '{print $2, $3}' | sort | uniq -c

Erwartet:

    188 /get 200

Kein einziger Fehler. Die Proxys halten ihre Verbindungen und Endpunkte, auch während destination wechselt.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Die Datenebene nachziehen

linkerd --context west version --short
linkerd --context west check --proxy -n tag15 2>&1 | grep -E '^‼|^\s+\*'

Erwartet:

edge-26.11.2
edge-26.11.2
‼ data plane is up-to-date
    * helper-79d57fbbbb-bvxls (edge-26.11.1)
    * helper-79d57fbbbb-zg98l (edge-26.11.1)
    * last-55f7c55d84-lg69g (edge-26.11.1)
‼ data plane and cli versions match

Die Control Plane ist neu, die Proxys sind alt. Der Injector setzt die neue Version erst in neue Pods. Erst der Server, damit last dabei weitermisst:

date -u +%FT%TZ > start2.txt
kubectl --context west -n tag15 rollout restart deploy/helper
kubectl --context west -n tag15 rollout status deploy/helper
sleep 20
kubectl --context west -n tag15 logs deploy/last -c last \
  --since-time=$(cat start2.txt) \
  | awk '{print $2, $3}' | sort | uniq -c

Erwartet (gekürzt):

deployment.apps/helper restarted
...
deployment "helper" successfully rolled out
    128 /get 200

Dann der Client selbst. Sein Log beginnt danach neu:

kubectl --context west -n tag15 rollout restart deploy/last
kubectl --context west -n tag15 rollout status deploy/last
sleep 30
kubectl --context west -n tag15 get pods -o \
  custom-columns=NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version
linkerd --context west check --proxy -n tag15 2>&1 | grep -E 'data plane is|Status'

Erwartet:

deployment.apps/last restarted
deployment "last" successfully rolled out
NAME                      PROXY
helper-5d777bbb87-7bwcn   edge-26.11.2
helper-5d777bbb87-nn2dn   edge-26.11.2
last-79f6974c-gjpnz       edge-26.11.2
√ data plane is up-to-date
Status check results are √

Tipp: Direkt nach dem Rollout meldet check --proxy noch den alten last-Pod. Die curl-Schleife reagiert nicht auf SIGTERM und wird erst nach 30 Sekunden (terminationGracePeriodSeconds) beendet.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Rollback der Control Plane

Angenommen, die neue Version macht Ärger. Helm kennt jede Revision:

date -u +%FT%TZ > start3.txt
helm --kube-context west history linkerd-control-plane -n linkerd
helm --kube-context west rollback linkerd-control-plane 2 -n linkerd
kubectl --context west -n linkerd rollout status deploy --timeout=300s | tail -1
helm --kube-context west history linkerd-control-plane -n linkerd | tail -2
linkerd --context west version --short

Erwartet (gekürzt):

REVISION    UPDATED                     STATUS      CHART                 … DESCRIPTION
1           Thu Nov 19 20:04:09 2026    superseded  linkerd-control-plane…  Install complete
2           Thu Nov 19 20:08:41 2026    superseded  linkerd-control-plane…  Upgrade complete
3           Thu Nov 19 20:19:16 2026    deployed    linkerd-control-plane…  Upgrade complete
Rollback was a success! Happy Helming!
deployment "linkerd-proxy-injector" successfully rolled out
3           Thu Nov 19 20:19:16 2026    superseded  … edge-26.11.2  Upgrade complete
4           Thu Nov 19 20:21:32 2026    deployed    … edge-26.11.1  Rollback to 2
edge-26.11.2
edge-26.11.1

Revision 2 ist der Stand vor dem Upgrade (Tag 14 nach der Anti-Affinity-Korrektur). Der Rollback überschreibt keine Geschichte, er legt Revision 4 als Kopie von 2 an.

sleep 10
kubectl --context west -n tag15 logs deploy/last -c last \
  --since-time=$(cat start3.txt) \
  | awk '{print $2, $3}' | sort | uniq -c
linkerd --context west check --proxy -n tag15 2>&1 | grep -E '^‼'

Erwartet:

    164 /get 200
‼ control plane proxies are up-to-date
‼ control plane proxies and cli versions match

Wieder kein Fehler. Interessant ist, was nicht gemeldet wird: Die App-Proxys laufen jetzt mit edge-26.11.2 gegen eine Control Plane edge-26.11.1. check vergleicht nur mit CLI und neuester Version, nicht Proxy mit Control Plane. Bei einem Schritt geht das gut; bei größeren Abständen startest du die Datenebene nach dem Rollback ebenfalls neu. Die CRDs bleiben auf 2026.11.2 – ein eigenes Release, und CRDs rollt man nicht leichtfertig zurück: Ältere Schemas können Felder neuerer Objekte verwerfen.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Wieder vor

Vorwärts geht es mit demselben Befehl wie in Drill 4, nicht mit rollback 3. So bleibt die Values-Datei die einzige Wahrheit:

date -u +%FT%TZ > start4.txt
helm --kube-context west upgrade linkerd-control-plane \
  linkerd-edge/linkerd-control-plane --version 2026.11.2 -n linkerd \
  -f ../tag14/values-ha.yaml -f ../tag14/values-west.yaml
kubectl --context west -n linkerd rollout status deploy --timeout=300s | tail -1
helm --kube-context west list -n linkerd
sleep 15
kubectl --context west -n tag15 logs deploy/last -c last \
  --since-time=$(cat start4.txt) \
  | awk '{print $2, $3}' | sort | uniq -c
linkerd --context west check --proxy -n tag15 2>&1 | tail -1

Erwartet (gekürzt):

REVISION: 5
deployment "linkerd-proxy-injector" successfully rolled out
NAME                    NAMESPACE   REVISION    … CHART                             APP VERSION
linkerd-control-plane   linkerd     5           … linkerd-control-plane-2026.11.2   edge-26.11.2
linkerd-crds            linkerd     2           … linkerd-crds-2026.11.2
    150 /get 200
Status check results are √

Upgrade, Neustart der Datenebene, Rollback und erneutes Upgrade: in den gemessenen Fenstern rund 630 Requests, null Fehler. Das ist der Lohn von zwei Replikas, PDB und maxUnavailable: 1.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Die Multicluster-Extension per Helm

Extensions kommen nach der Control Plane, in derselben Version. Der Probe-Port bekommt einen festen Platz in den Werten. Tag 12 hat gezeigt, warum: Der Link der Gegenseite und der Probe-Service müssen denselben Port nennen.

cat > mc-values.yaml <<'EOF'
gateway:
  serviceType: LoadBalancer   # k3s-ServiceLB gibt die IP der VM
  probe:
    port: 4191                # Gegenseite prüft diesen Port (Tag 12)
EOF
helm --kube-context west install linkerd-multicluster \
  linkerd-edge/linkerd-multicluster --version 2026.11.2 \
  -n linkerd-multicluster --create-namespace -f mc-values.yaml
kubectl --context west -n linkerd-multicluster rollout status deploy --timeout=180s
kubectl --context west get ns linkerd-multicluster --show-labels
kubectl --context west -n linkerd-multicluster get svc linkerd-gateway

Erwartet (gekürzt):

STATUS: deployed
REVISION: 1
deployment "linkerd-gateway" successfully rolled out
deployment "linkerd-local-service-mirror" successfully rolled out
NAME                   STATUS   AGE   LABELS
linkerd-multicluster   Active   11s   …,linkerd.io/extension=multicluster,…
NAME              TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)
linkerd-gateway   LoadBalancer   10.43.97.226   172.16.0.182   4143:31923/TCP,4191:32…

Hier reicht --create-namespace: Ein Job des Charts (Hook post-install) setzt das Label linkerd.io/extension=multicluster, an dem linkerd check die Extension erkennt. Die Link-CRD steckt im selben Chart. Damit ost wie in Tag 12 west lesen kann, ist auf west nichts weiter nötig. Soll west später ost lesen, kommt ein Eintrag unter controllers mit gateway.probe.port: 30980 (NodePort auf ost) dazu – vor dem Link.

linkerd --context west multicluster check 2>&1 | tail -5
linkerd --context west check 2>&1 | tail -1

Erwartet:

√ multicluster extension proxies are healthy
√ multicluster extension proxies are up-to-date
√ multicluster extension proxies and cli versions match

Status check results are √
Status check results are √

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig für jeden Pod in tag15 die Proxy-Version. Zeitziel: 30 s
  2. Finde die Chartversion zu edge-26.10.2. Zeitziel: 20 s
  3. Zeig alle Pods auf west, deren Proxy nicht edge-26.11.2 ist. Zeitziel: 60 s
  4. Zeig, welche Revision der Control Plane gerade aktiv ist. Zeitziel: 15 s

Lösung

kubectl --context west -n tag15 get pods -o \
  custom-columns=NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version
helm search repo linkerd-edge/linkerd-control-plane --versions | grep edge-26.10.2
kubectl --context west get pods -A -l linkerd.io/control-plane-ns=linkerd -o \
  custom-columns=NS:.metadata.namespace,NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version | grep -v edge-26.11.2
helm --kube-context west history linkerd-control-plane -n linkerd | grep deployed

Erwartet (gekürzt, Aufgabe 3 während der Challenge):

NAME                      PROXY
helper-5d777bbb87-7bwcn   edge-26.11.2
...
linkerd-edge/linkerd-control-plane  2026.10.2       edge-26.10.2    Linkerd gives you…
NS        NAME                                      PROXY
tag15     last-748d866d8c-8h9px                     edge-26.11.1
5           Thu Nov 19 20:22:22 2026    deployed    linkerd-control-plane-2026.11.2 …

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

helm --kube-context west list -A -o json | jq -r '.[] | .name + " " + .chart'

Erwartet:

gateway-api-crd gateway-api-crd-1.6.301
linkerd-control-plane linkerd-control-plane-2026.11.2
linkerd-crds linkerd-crds-2026.11.2
linkerd-multicluster linkerd-multicluster-2026.11.2
linkerd --context west check 2>&1 | tail -1
linkerd --context west multicluster check 2>&1 | tail -1

Erwartet: zweimal Status check results are √.

kubectl --context west get ns

Erwartet: nach dem Aufräumen kein tag14 und kein tag15, dafür linkerd und linkerd-multicluster.

Challenge

Du willst die neue Proxy-Version zuerst nur an einem Workload sehen – oder einen Workload vorübergehend auf der alten halten. Pinne last auf edge-26.11.1, zeig die gemischte Datenebene und hebe den Pin wieder auf.

Hinweis: Die Proxy-Version lässt sich pro Pod-Template per Annotation wählen.

Lösung

kubectl --context west -n tag15 patch deploy last -p \
  '{"spec":{"template":{"metadata":{"annotations":{
  "config.linkerd.io/proxy-version":"edge-26.11.1"}}}}}'
kubectl --context west -n tag15 rollout status deploy/last
sleep 40
kubectl --context west -n tag15 get pods -o \
  custom-columns=NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version
kubectl --context west -n tag15 logs deploy/last -c last --since=30s \
  | awk '{print $2, $3}' | sort | uniq -c

Erwartet:

deployment.apps/last patched
deployment "last" successfully rolled out
NAME                      PROXY
helper-5d777bbb87-7bwcn   edge-26.11.2
helper-5d777bbb87-nn2dn   edge-26.11.2
last-748d866d8c-8h9px     edge-26.11.1
    125 /get 200

Alter Client, neuer Server, keine Fehler. Pin aufheben (~1 steht im JSON-Pfad für /):

kubectl --context west -n tag15 patch deploy last --type=json -p '[{"op":"remove",
  "path":"/spec/template/metadata/annotations/config.linkerd.io~1proxy-version"}]'
kubectl --context west -n tag15 rollout status deploy/last

Erwartet:

deployment.apps/last patched
deployment "last" successfully rolled out

Dasselbe Prinzip trägt die Produktionsstrategie: Nach dem Upgrade der Control Plane startest du zuerst einen Kanarienvogel-Namespace neu und beobachtest ihn, bevor der Rest folgt. Die Annotation am Namespace hält Teams, die noch nicht so weit sind, für eine Weile auf der alten Version.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

kubectl --context west delete namespace tag15
rm -f ../tag14/linkerd-edge-26.11.1 alt.yaml neu.yaml start*.txt
kubectl --context west get ns

Erwartet:

namespace "tag15" deleted
NAME                   STATUS   AGE
default                Active   5h4m
kube-node-lease        Active   5h4m
kube-public            Active   5h4m
kube-system            Active   5h4m
linkerd                Active   22m
linkerd-multicluster   Active   71s

west läuft jetzt dauerhaft per Helm mit edge-26.11.2. Für einen neuen Link ost → west installierst du auf ost den Controller wie in Tag 12, Drill 5, aber mit ../tag12/mc-ost-gw.yaml (sonst verschwindet das NodePort-Gateway), und erzeugst den Link wie in Drill 6 – link-gen läuft unverändert per CLI. Die Extension auf west änderst du nur noch per helm upgrade mit mc-values.yaml.

Interview-Notiz

  • In welcher Reihenfolge upgradest du Linkerd? CLI, CRDs, Control Plane, dann die Datenebene per Neustart, zuletzt die Extensions. Vorher Release Notes und Diff.
  • Was macht helm rollback – und was nicht? Es spielt eine frühere Revision der Control Plane als neue Revision ein. CRDs (eigenes Release) und laufende Proxys bleiben unverändert.
  • Wie merkst du, dass Proxys veraltet sind? linkerd check --proxy und die Annotation linkerd.io/proxy-version an jedem Pod.

Enterprise-Notiz

  • Edge regelmäßig nachziehen, in kleinen Schritten. Stabile Linien von Anbietern nur Minor für Minor (2.19 → 2.20); bei übersprungenen Edge-Versionen alle Release Notes lesen.
  • Erst eine Staging-Umgebung, dann in Produktion ein Kanarienvogel-Namespace mit Lastgenerator und SLO-Dashboard, erst danach der Rest der Datenebene.
  • Proxys nicht über mehrere Upgrades hinweg alt lassen. Getestet wird vor allem eine neue Control Plane mit Proxys der direkten Vorversion.
  • Neustarts der Datenebene staffeln (Namespace für Namespace) und an PDBs der Apps denken: Einzel-Replikas wie Datenbanken fallen bei jedem Upgrade kurz aus.
  • Upgrades per GitOps: Chartversion im Git hochsetzen ist der Change, Zurücksetzen der Rollback. helm rollback von Hand erzeugt sonst Drift zum Git-Stand.