Tag 15: Upgrade und Rollback
Ziel:
westläuft per Helm aufedge-26.11.2, das Upgrade lief ohne einen fehlgeschlagenen Request, und du hast die Control Plane einmal zurück- und wieder vorgerollt. · Dauer: ca. 75 min · Voraussetzung: Tag 14
Briefing
- Die Reihenfolge ist fest: CLI → CRDs → Control Plane → Datenebene → Extensions. Jeder Schritt verträgt den alten Stand des nächsten.
- Die Control Plane aktualisiert Helm. Die Proxys
wechseln erst, wenn ihre Pods neu starten – dafür bist du zuständig, per
rollout restart. - Vorher liest du die Release Notes und vergleichst die gerenderten Manifeste. Was du dort nicht findest, sollte auch im Cluster nicht passieren.
helm rollbacksetzt die Control Plane auf eine frühere Revision zurück. CRDs und Proxys bleiben, wie sie sind.
CLI 26.11.2 ─> linkerd-crds 2026.11.2 ─> linkerd-control-plane 2026.11.2
─> rollout restart (Proxys 26.11.2) ─> linkerd-multicluster 2026.11.2
währenddessen: last ─> helper in tag15, jeder Request mitgeschrieben
Drill 1: Ausgangslage und Messung
Die App aus Tag 14 dient als Messobjekt, mit höherem Takt (Pause 0,2 statt 0,5 s):
mkdir -p ~/linkerd/tag15 && cd ~/linkerd/tag15
sed -e 's/tag14/tag15/g' -e 's/sleep 0.5/sleep 0.2/' ../tag14/app.yaml > app.yaml
kubectl --context west apply -f app.yaml
kubectl --context west -n tag15 rollout status deploy --timeout=180sErwartet (gekürzt):
namespace/tag15 created
...
deployment "helper" successfully rolled out
deployment "last" successfully rolled out
Schritt 1 des Upgrades ist die CLI. Sie liegt als
edge-26.11.2 seit Tag 1 in /usr/local/bin. Ab
jetzt nutzt du für west wieder linkerd statt
./linkerd-edge-26.11.1. Was sieht die neue CLI?
linkerd --context west version
linkerd --context west check 2>&1 | grep -A1 '^‼ control plane and cli'
linkerd --context west check --proxy -n tag15 2>&1 | grep -A3 '^‼ data plane is'Erwartet:
Client version: edge-26.11.2
Server version: edge-26.11.1
‼ control plane and cli versions match
control plane running edge-26.11.1 but cli running edge-26.11.2
‼ data plane is up-to-date
some proxies are not running the current version:
* helper-79d57fbbbb-bvxls (edge-26.11.1)
* helper-79d57fbbbb-zg98l (edge-26.11.1)
Eine neuere CLI gegen eine ältere Control Plane ist erlaubt und
gewollt – umgekehrt nicht. check warnt nur
(‼), endet aber mit √.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Release Notes lesen
curl -fsSL https://api.github.com/repos/linkerd/linkerd2/releases/tags/edge-26.11.2 \
| jq -r '.published_at, .body' | grep -vE '^\* (ci|build|chore)' | head -5Erwartet (gekürzt):
2026-11-13T23:50:48Z
## What's Changed
* fix(inject): inherit beta native sidecar annotation from namespace by @spicyshar…
* proxy: v2.373.0 by @l5d-bot in https://github.com/linkerd/linkerd2/pull/15768
* proxy: v2.374.0 by @l5d-bot in https://github.com/linkerd/linkerd2/pull/15781
Worauf du achtest:
- Verhaltensänderungen, die dich betreffen. Hier: Der
Injector erbt
config.beta.linkerd.io/proxy-enable-native-sidecarjetzt auch vom Namespace. Wer die Annotation am Namespace setzt (Tag 2 hat sie am Pod gezeigt), bekommt nach dem Neustart andere Pods. - Proxy-Versionen: Zwei Sprünge des Proxys stecken in einer Edge-Version.
- CRDs, Values, entfernte Funktionen, Hinweise wie „breaking“ oder „action required“. Überspringst du Versionen, liest du die Notes aller dazwischen. Die monatliche „Edge Release Roundup“ im Linkerd-Blog fasst sie zusammen.
Dann prüfst du, was sich an den Charts ändert:
diff <(helm show values linkerd-edge/linkerd-control-plane --version 2026.11.1) \
<(helm show values linkerd-edge/linkerd-control-plane --version 2026.11.2)
diff <(helm template x linkerd-edge/linkerd-crds --version 2026.11.1 \
| grep -v helm.sh/chart) \
<(helm template x linkerd-edge/linkerd-crds --version 2026.11.2 \
| grep -v helm.sh/chart) && echo crds-gleichErwartet:
23c23
< linkerdVersion: edge-26.11.1
---
> linkerdVersion: edge-26.11.2
crds-gleich
Nur die Version ändert sich, die CRDs sind bis auf das Chart-Label identisch. Ein kleiner Schritt – genau so sollen Upgrades aussehen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Vorschau auf das Manifest
helm --kube-context west get manifest linkerd-control-plane -n linkerd > alt.yaml
helm template linkerd-control-plane linkerd-edge/linkerd-control-plane \
--version 2026.11.2 -n linkerd \
-f ../tag14/values-ha.yaml -f ../tag14/values-west.yaml > neu.yaml
diff alt.yaml neu.yaml | grep -E '^[<>] .*image:' | sort | uniq -cErwartet:
1 < image: cr.l5d.io/linkerd/controller:edge-26.11.1
5 < image: cr.l5d.io/linkerd/controller:edge-26.11.1
6 < image: cr.l5d.io/linkerd/proxy:edge-26.11.1
1 > image: cr.l5d.io/linkerd/controller:edge-26.11.2
5 > image: cr.l5d.io/linkerd/controller:edge-26.11.2
6 > image: cr.l5d.io/linkerd/proxy:edge-26.11.2
Neue Images für die Controller (inklusive Heartbeat-CronJob) und für
linkerd-init und linkerd-proxy in den drei
Deployments der Control Plane – beide nutzen das Proxy-Image. Der
restliche Diff besteht aus Versionslabels und den Webhook-Zertifikaten,
die jedes Rendern neu erzeugt.
Achtung: Kein
--reuse-values. Damit übernimmt Helm deine alten Werte, ignoriert aber neue Vorgaben des Charts. Übergib bei jedem Upgrade dieselben Values-Dateien.
Fortschritt speichern? Kostenlos registrieren
Drill 4: CRDs, dann Control Plane
Startzeit merken, dann beide Releases nacheinander:
date -u +%FT%TZ > start.txt
helm --kube-context west upgrade linkerd-crds linkerd-edge/linkerd-crds \
--version 2026.11.2 -n linkerd
helm --kube-context west upgrade linkerd-control-plane \
linkerd-edge/linkerd-control-plane --version 2026.11.2 -n linkerd \
-f ../tag14/values-ha.yaml -f ../tag14/values-west.yaml
kubectl --context west -n linkerd rollout status deploy --timeout=300s
kubectl --context west -n linkerd get podsErwartet (gekürzt):
STATUS: deployed
REVISION: 2
...
STATUS: deployed
REVISION: 3
Waiting for deployment "linkerd-destination" rollout to finish: 1 old replicas are …
deployment "linkerd-destination" successfully rolled out
deployment "linkerd-identity" successfully rolled out
deployment "linkerd-proxy-injector" successfully rolled out
NAME READY STATUS RESTARTS AGE
linkerd-destination-6fccb5879-k944c 4/4 Running 0 11s
linkerd-destination-6fccb5879-lvqmp 4/4 Running 0 12s
linkerd-destination-755db578f5-62kmw 4/4 Terminating 0 4m14s
linkerd-identity-74946cc965-6sh5z 2/2 Running 0 11s
...
Rund 20 Sekunden für alle drei Deployments.
maxUnavailable: 1 aus den HA-Werten lässt immer eine
Replika stehen. Und der Verkehr?
sleep 20
kubectl --context west -n tag15 logs deploy/last -c last \
--since-time=$(cat start.txt) \
| awk '{print $2, $3}' | sort | uniq -cErwartet:
188 /get 200
Kein einziger Fehler. Die Proxys halten ihre Verbindungen und
Endpunkte, auch während destination wechselt.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Die Datenebene nachziehen
linkerd --context west version --short
linkerd --context west check --proxy -n tag15 2>&1 | grep -E '^‼|^\s+\*'Erwartet:
edge-26.11.2
edge-26.11.2
‼ data plane is up-to-date
* helper-79d57fbbbb-bvxls (edge-26.11.1)
* helper-79d57fbbbb-zg98l (edge-26.11.1)
* last-55f7c55d84-lg69g (edge-26.11.1)
‼ data plane and cli versions match
Die Control Plane ist neu, die Proxys sind alt. Der Injector setzt
die neue Version erst in neue Pods. Erst der Server,
damit last dabei weitermisst:
date -u +%FT%TZ > start2.txt
kubectl --context west -n tag15 rollout restart deploy/helper
kubectl --context west -n tag15 rollout status deploy/helper
sleep 20
kubectl --context west -n tag15 logs deploy/last -c last \
--since-time=$(cat start2.txt) \
| awk '{print $2, $3}' | sort | uniq -cErwartet (gekürzt):
deployment.apps/helper restarted
...
deployment "helper" successfully rolled out
128 /get 200
Dann der Client selbst. Sein Log beginnt danach neu:
kubectl --context west -n tag15 rollout restart deploy/last
kubectl --context west -n tag15 rollout status deploy/last
sleep 30
kubectl --context west -n tag15 get pods -o \
custom-columns=NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version
linkerd --context west check --proxy -n tag15 2>&1 | grep -E 'data plane is|Status'Erwartet:
deployment.apps/last restarted
deployment "last" successfully rolled out
NAME PROXY
helper-5d777bbb87-7bwcn edge-26.11.2
helper-5d777bbb87-nn2dn edge-26.11.2
last-79f6974c-gjpnz edge-26.11.2
√ data plane is up-to-date
Status check results are √
Tipp: Direkt nach dem Rollout meldet
check --proxynoch den altenlast-Pod. Die curl-Schleife reagiert nicht auf SIGTERM und wird erst nach 30 Sekunden (terminationGracePeriodSeconds) beendet.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Rollback der Control Plane
Angenommen, die neue Version macht Ärger. Helm kennt jede Revision:
date -u +%FT%TZ > start3.txt
helm --kube-context west history linkerd-control-plane -n linkerd
helm --kube-context west rollback linkerd-control-plane 2 -n linkerd
kubectl --context west -n linkerd rollout status deploy --timeout=300s | tail -1
helm --kube-context west history linkerd-control-plane -n linkerd | tail -2
linkerd --context west version --shortErwartet (gekürzt):
REVISION UPDATED STATUS CHART … DESCRIPTION
1 Thu Nov 19 20:04:09 2026 superseded linkerd-control-plane… Install complete
2 Thu Nov 19 20:08:41 2026 superseded linkerd-control-plane… Upgrade complete
3 Thu Nov 19 20:19:16 2026 deployed linkerd-control-plane… Upgrade complete
Rollback was a success! Happy Helming!
deployment "linkerd-proxy-injector" successfully rolled out
3 Thu Nov 19 20:19:16 2026 superseded … edge-26.11.2 Upgrade complete
4 Thu Nov 19 20:21:32 2026 deployed … edge-26.11.1 Rollback to 2
edge-26.11.2
edge-26.11.1
Revision 2 ist der Stand vor dem Upgrade (Tag 14 nach der Anti-Affinity-Korrektur). Der Rollback überschreibt keine Geschichte, er legt Revision 4 als Kopie von 2 an.
sleep 10
kubectl --context west -n tag15 logs deploy/last -c last \
--since-time=$(cat start3.txt) \
| awk '{print $2, $3}' | sort | uniq -c
linkerd --context west check --proxy -n tag15 2>&1 | grep -E '^‼'Erwartet:
164 /get 200
‼ control plane proxies are up-to-date
‼ control plane proxies and cli versions match
Wieder kein Fehler. Interessant ist, was nicht
gemeldet wird: Die App-Proxys laufen jetzt mit edge-26.11.2
gegen eine Control Plane edge-26.11.1. check
vergleicht nur mit CLI und neuester Version, nicht Proxy mit Control
Plane. Bei einem Schritt geht das gut; bei größeren Abständen startest
du die Datenebene nach dem Rollback ebenfalls neu. Die CRDs bleiben auf
2026.11.2 – ein eigenes Release, und CRDs rollt man nicht leichtfertig
zurück: Ältere Schemas können Felder neuerer Objekte verwerfen.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Wieder vor
Vorwärts geht es mit demselben Befehl wie in Drill 4, nicht mit
rollback 3. So bleibt die Values-Datei die einzige
Wahrheit:
date -u +%FT%TZ > start4.txt
helm --kube-context west upgrade linkerd-control-plane \
linkerd-edge/linkerd-control-plane --version 2026.11.2 -n linkerd \
-f ../tag14/values-ha.yaml -f ../tag14/values-west.yaml
kubectl --context west -n linkerd rollout status deploy --timeout=300s | tail -1
helm --kube-context west list -n linkerd
sleep 15
kubectl --context west -n tag15 logs deploy/last -c last \
--since-time=$(cat start4.txt) \
| awk '{print $2, $3}' | sort | uniq -c
linkerd --context west check --proxy -n tag15 2>&1 | tail -1Erwartet (gekürzt):
REVISION: 5
deployment "linkerd-proxy-injector" successfully rolled out
NAME NAMESPACE REVISION … CHART APP VERSION
linkerd-control-plane linkerd 5 … linkerd-control-plane-2026.11.2 edge-26.11.2
linkerd-crds linkerd 2 … linkerd-crds-2026.11.2
150 /get 200
Status check results are √
Upgrade, Neustart der Datenebene, Rollback und erneutes Upgrade: in
den gemessenen Fenstern rund 630 Requests, null Fehler.
Das ist der Lohn von zwei Replikas, PDB und
maxUnavailable: 1.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Die Multicluster-Extension per Helm
Extensions kommen nach der Control Plane, in derselben Version. Der Probe-Port bekommt einen festen Platz in den Werten. Tag 12 hat gezeigt, warum: Der Link der Gegenseite und der Probe-Service müssen denselben Port nennen.
cat > mc-values.yaml <<'EOF'
gateway:
serviceType: LoadBalancer # k3s-ServiceLB gibt die IP der VM
probe:
port: 4191 # Gegenseite prüft diesen Port (Tag 12)
EOF
helm --kube-context west install linkerd-multicluster \
linkerd-edge/linkerd-multicluster --version 2026.11.2 \
-n linkerd-multicluster --create-namespace -f mc-values.yaml
kubectl --context west -n linkerd-multicluster rollout status deploy --timeout=180s
kubectl --context west get ns linkerd-multicluster --show-labels
kubectl --context west -n linkerd-multicluster get svc linkerd-gatewayErwartet (gekürzt):
STATUS: deployed
REVISION: 1
deployment "linkerd-gateway" successfully rolled out
deployment "linkerd-local-service-mirror" successfully rolled out
NAME STATUS AGE LABELS
linkerd-multicluster Active 11s …,linkerd.io/extension=multicluster,…
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S)
linkerd-gateway LoadBalancer 10.43.97.226 172.16.0.182 4143:31923/TCP,4191:32…
Hier reicht --create-namespace: Ein Job des Charts (Hook
post-install) setzt das Label
linkerd.io/extension=multicluster, an dem
linkerd check die Extension erkennt. Die Link-CRD steckt im
selben Chart. Damit ost wie in Tag 12 west
lesen kann, ist auf west nichts weiter nötig. Soll
west später ost lesen, kommt ein Eintrag unter
controllers mit gateway.probe.port: 30980
(NodePort auf ost) dazu – vor dem
Link.
linkerd --context west multicluster check 2>&1 | tail -5
linkerd --context west check 2>&1 | tail -1Erwartet:
√ multicluster extension proxies are healthy
√ multicluster extension proxies are up-to-date
√ multicluster extension proxies and cli versions match
Status check results are √
Status check results are √
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig für jeden Pod in
tag15die Proxy-Version. Zeitziel: 30 s - Finde die Chartversion zu
edge-26.10.2. Zeitziel: 20 s - Zeig alle Pods auf
west, deren Proxy nichtedge-26.11.2ist. Zeitziel: 60 s - Zeig, welche Revision der Control Plane gerade aktiv ist. Zeitziel: 15 s
Lösung
kubectl --context west -n tag15 get pods -o \
custom-columns=NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version
helm search repo linkerd-edge/linkerd-control-plane --versions | grep edge-26.10.2
kubectl --context west get pods -A -l linkerd.io/control-plane-ns=linkerd -o \
custom-columns=NS:.metadata.namespace,NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version | grep -v edge-26.11.2
helm --kube-context west history linkerd-control-plane -n linkerd | grep deployedErwartet (gekürzt, Aufgabe 3 während der Challenge):
NAME PROXY
helper-5d777bbb87-7bwcn edge-26.11.2
...
linkerd-edge/linkerd-control-plane 2026.10.2 edge-26.10.2 Linkerd gives you…
NS NAME PROXY
tag15 last-748d866d8c-8h9px edge-26.11.1
5 Thu Nov 19 20:22:22 2026 deployed linkerd-control-plane-2026.11.2 …
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
helm --kube-context west list -A -o json | jq -r '.[] | .name + " " + .chart'Erwartet:
gateway-api-crd gateway-api-crd-1.6.301
linkerd-control-plane linkerd-control-plane-2026.11.2
linkerd-crds linkerd-crds-2026.11.2
linkerd-multicluster linkerd-multicluster-2026.11.2
linkerd --context west check 2>&1 | tail -1
linkerd --context west multicluster check 2>&1 | tail -1Erwartet: zweimal
Status check results are √.
kubectl --context west get nsErwartet: nach dem Aufräumen kein tag14
und kein tag15, dafür linkerd und
linkerd-multicluster.
Challenge
Du willst die neue Proxy-Version zuerst nur an einem Workload sehen –
oder einen Workload vorübergehend auf der alten halten. Pinne
last auf edge-26.11.1, zeig die gemischte
Datenebene und hebe den Pin wieder auf.
Hinweis: Die Proxy-Version lässt sich pro Pod-Template per Annotation wählen.
Lösung
kubectl --context west -n tag15 patch deploy last -p \
'{"spec":{"template":{"metadata":{"annotations":{
"config.linkerd.io/proxy-version":"edge-26.11.1"}}}}}'
kubectl --context west -n tag15 rollout status deploy/last
sleep 40
kubectl --context west -n tag15 get pods -o \
custom-columns=NAME:.metadata.name,\
PROXY:.metadata.annotations.linkerd\\.io/proxy-version
kubectl --context west -n tag15 logs deploy/last -c last --since=30s \
| awk '{print $2, $3}' | sort | uniq -cErwartet:
deployment.apps/last patched
deployment "last" successfully rolled out
NAME PROXY
helper-5d777bbb87-7bwcn edge-26.11.2
helper-5d777bbb87-nn2dn edge-26.11.2
last-748d866d8c-8h9px edge-26.11.1
125 /get 200
Alter Client, neuer Server, keine Fehler. Pin aufheben
(~1 steht im JSON-Pfad für /):
kubectl --context west -n tag15 patch deploy last --type=json -p '[{"op":"remove",
"path":"/spec/template/metadata/annotations/config.linkerd.io~1proxy-version"}]'
kubectl --context west -n tag15 rollout status deploy/lastErwartet:
deployment.apps/last patched
deployment "last" successfully rolled out
Dasselbe Prinzip trägt die Produktionsstrategie: Nach dem Upgrade der Control Plane startest du zuerst einen Kanarienvogel-Namespace neu und beobachtest ihn, bevor der Rest folgt. Die Annotation am Namespace hält Teams, die noch nicht so weit sind, für eine Weile auf der alten Version.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
kubectl --context west delete namespace tag15
rm -f ../tag14/linkerd-edge-26.11.1 alt.yaml neu.yaml start*.txt
kubectl --context west get nsErwartet:
namespace "tag15" deleted
NAME STATUS AGE
default Active 5h4m
kube-node-lease Active 5h4m
kube-public Active 5h4m
kube-system Active 5h4m
linkerd Active 22m
linkerd-multicluster Active 71s
west läuft jetzt dauerhaft per Helm mit
edge-26.11.2. Für einen neuen Link ost → west
installierst du auf ost den Controller wie in Tag 12, Drill
5, aber mit ../tag12/mc-ost-gw.yaml (sonst verschwindet das
NodePort-Gateway), und erzeugst den Link wie in Drill 6 –
link-gen läuft unverändert per CLI. Die Extension auf
west änderst du nur noch per helm upgrade mit
mc-values.yaml.
Interview-Notiz
- In welcher Reihenfolge upgradest du Linkerd? CLI, CRDs, Control Plane, dann die Datenebene per Neustart, zuletzt die Extensions. Vorher Release Notes und Diff.
- Was macht
helm rollback– und was nicht? Es spielt eine frühere Revision der Control Plane als neue Revision ein. CRDs (eigenes Release) und laufende Proxys bleiben unverändert. - Wie merkst du, dass Proxys veraltet sind?
linkerd check --proxyund die Annotationlinkerd.io/proxy-versionan jedem Pod.
Enterprise-Notiz
- Edge regelmäßig nachziehen, in kleinen Schritten. Stabile Linien von Anbietern nur Minor für Minor (2.19 → 2.20); bei übersprungenen Edge-Versionen alle Release Notes lesen.
- Erst eine Staging-Umgebung, dann in Produktion ein Kanarienvogel-Namespace mit Lastgenerator und SLO-Dashboard, erst danach der Rest der Datenebene.
- Proxys nicht über mehrere Upgrades hinweg alt lassen. Getestet wird vor allem eine neue Control Plane mit Proxys der direkten Vorversion.
- Neustarts der Datenebene staffeln (Namespace für Namespace) und an PDBs der Apps denken: Einzel-Replikas wie Datenbanken fallen bei jedem Upgrade kurz aus.
- Upgrades per GitOps: Chartversion im Git hochsetzen ist der Change,
Zurücksetzen der Rollback.
helm rollbackvon Hand erzeugt sonst Drift zum Git-Stand.