Tag 13: Cluster-Lebenszyklus
Ziel: Du sicherst etcd und spielst es zurück, rüstest den Cluster von 1.36 auf 1.37 auf und erneuerst Zertifikate – ohne die Workloads zu verlieren. · Dauer: ca. 90 min · Voraussetzung: Tag 1
Briefing
CKA: „Manage the lifecycle of Kubernetes clusters” (Teil der 25 %). etcd-Backup und Upgrade sind Klassiker in jeder Prüfung.
Upgrade-Reihenfolge (immer nur eine Minor-Version):
1. kubeadm auf cp1 2. kubeadm upgrade apply 3. kubelet+kubectl auf cp1
4. je Worker: drain -> kubeadm upgrade node -> kubelet -> uncordon
- etcd enthält den gesamten Clusterzustand. Ohne Backup kein Zurück.
kubeadmrüstet die Control-Plane auf, das kubelet rüstest du auf jedem Node selbst auf.
Drill 1: etcdctl besorgen
Auf cp1. Welche etcd-Version läuft?
k get pod etcd-cp1 -n kube-system -o jsonpath='{.spec.containers[0].image}{"\n"}'Erwartet:
registry.k8s.io/etcd:3.6.8-0
Die passenden Werkzeuge vom etcd-Projekt:
cd /tmp
E=3.6.8
U=https://github.com/etcd-io/etcd/releases/download/v$E
curl -sSLO $U/etcd-v$E-linux-amd64.tar.gz
curl -sSL $U/SHA256SUMS | grep "etcd-v$E-linux-amd64.tar.gz$" | sha256sum -c
tar xzf etcd-v$E-linux-amd64.tar.gz
sudo install -m 755 etcd-v$E-linux-amd64/etcdctl etcd-v$E-linux-amd64/etcdutl \
/usr/local/bin/
etcdctl version
cd ~/ckaErwartet:
etcd-v3.6.8-linux-amd64.tar.gz: OK
etcdctl version: 3.6.8
API version: 3.6
etcdctl spricht mit dem laufenden etcd,
etcdutl arbeitet offline mit Dateien.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Snapshot erstellen
Erst einen Zustand schaffen, den wir wiedererkennen:
k create ns vorher
k create configmap marker -n vorher --from-literal=zeit="$(date +%H:%M)"Die Zertifikate für etcdctl stehen im etcd-Manifest
(--cert-file, --key-file,
--trusted-ca-file):
sudo etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
snapshot save /var/lib/etcd-backup.db
sudo etcdutl snapshot status /var/lib/etcd-backup.db -w tableErwartet:
Snapshot saved at /var/lib/etcd-backup.db
+----------+----------+------------+------------+---------+
| HASH | REVISION | TOTAL KEYS | TOTAL SIZE | VERSION |
+----------+----------+------------+------------+---------+
| 7c9f621d | 16769 | 902 | 19 MB | 3.6.0 |
+----------+----------+------------+------------+---------+
Jetzt „passiert etwas”:
k create ns nachher
k delete ns vorherFortschritt speichern? Kostenlos registrieren
Drill 3: Snapshot zurückspielen
In ein neues Verzeichnis wiederherstellen und etcd darauf umbiegen:
sudo etcdutl snapshot restore /var/lib/etcd-backup.db --data-dir /var/lib/etcd-restore
sudo cp /etc/kubernetes/manifests/etcd.yaml /root/etcd.yaml.bak
sudo sed -i 's#path: /var/lib/etcd$#path: /var/lib/etcd-restore#' \
/etc/kubernetes/manifests/etcd.yaml
sudo grep -n '/var/lib/etcd' /etc/kubernetes/manifests/etcd.yamlErwartet:
... restored snapshot {"path": "/var/lib/etcd-backup.db", ...
"data-dir": "/var/lib/etcd-restore", ...}
18: - --data-dir=/var/lib/etcd
75: - mountPath: /var/lib/etcd
91: path: /var/lib/etcd-restore
Nur der hostPath (Zeile 91) ändert sich: Im Container
bleibt der Pfad gleich, auf dem Node zeigt er auf die
wiederhergestellten Daten. Die Sicherung des Manifests liegt bewusst
außerhalb von manifests – sonst würde das
kubelet sie als zweiten Pod starten.
Das kubelet startet etcd neu, der API-Server ist eine bis zwei Minuten weg. Dann:
k get ns vorher nachher
k get cm marker -n vorher -o jsonpath='{.data.zeit}{"\n"}'Erwartet:
NAME STATUS AGE
vorher Active 106s
Error from server (NotFound): namespaces "nachher" not found
22:25
Der Cluster ist auf dem Stand des Snapshots.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Falle vor dem Upgrade
kubeadm upgrade erzeugt das etcd-Manifest neu – aus der
Konfiguration in kubeadm-config:
k get cm kubeadm-config -n kube-system -o jsonpath='{.data.ClusterConfiguration}' \
| grep -A2 'etcd:'Erwartet:
etcd:
local:
dataDir: /var/lib/etcd
Nach dem Upgrade zeigte etcd wieder auf /var/lib/etcd –
auf die alten Daten vor dem Restore. Deshalb die
wiederhergestellten Daten an den Standardort verschieben. etcd dazu
anhalten, indem das Manifest kurz verschwindet:
sudo mv /etc/kubernetes/manifests/etcd.yaml /root/etcd-restore.yaml
sudo crictl ps --name '^etcd$'Erwartet: keine Containerzeile mehr (eventuell ein paar Sekunden warten).
sudo mv /var/lib/etcd /var/lib/etcd-alt
sudo mv /var/lib/etcd-restore /var/lib/etcd
sudo cp /root/etcd.yaml.bak /etc/kubernetes/manifests/etcd.yamlNach ein bis zwei Minuten:
k get ns vorherErwartet: vorher ist
Active – jetzt mit den Daten am Standardort.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Control-Plane aufrüsten
Paketquelle auf 1.37 umstellen und kubeadm aufrüsten:
sudo sed -i 's/v1.36/v1.37/g' /etc/apt/sources.list.d/kubernetes.list
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key \
| sudo gpg --yes --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
sudo apt-get update
sudo apt-mark unhold kubeadm
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo apt-mark hold kubeadm
sudo kubeadm upgrade planErwartet (gekürzt):
[upgrade/versions] Cluster version: 1.36.6
[upgrade/versions] kubeadm version: v1.37.2
COMPONENT NODE CURRENT TARGET
kube-apiserver cp1 v1.36.6 v1.37.2
kube-controller-manager cp1 v1.36.6 v1.37.2
kube-scheduler cp1 v1.36.6 v1.37.2
kube-proxy 1.36.6 v1.37.2
CoreDNS v1.14.2 v1.14.6
etcd cp1 3.6.8-0 3.7.0-0
You can now apply the upgrade by executing the following command:
kubeadm upgrade apply v1.37.2
sudo kubeadm upgrade apply v1.37.2 -yErwartet (letzte Zeilen):
[upgrade] SUCCESS! A control plane node of your cluster was upgraded to "v1.37.2".
[upgrade] Now please proceed with upgrading the rest of the nodes by following the right
order.
Jetzt das kubelet auf cp1:
k drain cp1 --ignore-daemonsets --delete-emptydir-data
sudo apt-mark unhold kubelet kubectl
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubeletDer Neustart des kubelets startet die Static Pods neu – der
API-Server ist kurz weg (connection refused). Nach etwa
einer Minute:
k uncordon cp1
k get nodesErwartet:
NAME STATUS ROLES AGE VERSION
cp1 Ready control-plane 82m v1.37.2
worker1 Ready <none> 81m v1.36.6
worker2 Ready <none> 81m v1.36.6
Fortschritt speichern? Kostenlos registrieren
Drill 6: Worker aufrüsten
Auf cp1:
k drain worker1 --ignore-daemonsets --delete-emptydir-dataErwartet (letzte Zeile):
node/worker1 drained
Ohne --delete-emptydir-data bricht drain
ab, weil metrics-server und Traefik ein emptyDir nutzen.
Auf worker1:
sudo sed -i 's/v1.36/v1.37/g' /etc/apt/sources.list.d/kubernetes.list
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key \
| sudo gpg --yes --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
sudo apt-get update
sudo apt-mark unhold kubeadm kubelet kubectl
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo kubeadm upgrade node
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubeadm kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubeletErwartet (aus kubeadm upgrade node,
gekürzt):
[upgrade/addon] Skipping the addon/coredns phase. Not a control plane node.
[upgrade/addon] Skipping the addon/kube-proxy phase. Not a control plane node.
Zurück auf cp1:
k uncordon worker1Dasselbe für worker2. Danach:
k get nodesErwartet:
NAME STATUS ROLES AGE VERSION
cp1 Ready control-plane 86m v1.37.2
worker1 Ready <none> 85m v1.37.2
worker2 Ready <none> 85m v1.37.2
Fortschritt speichern? Kostenlos registrieren
Drill 7: Zertifikate erneuern
sudo kubeadm certs check-expirationErwartet (gekürzt):
CERTIFICATE EXPIRES RESIDUAL TIME CERTIFICATE AUTH...
admin.conf Nov 17, 2027 22:29 UTC 364d ca
apiserver Nov 17, 2027 22:29 UTC 364d ca
...
CERTIFICATE AUTHORITY EXPIRES RESIDUAL TIME EXTERNALLY MANAGED
ca Nov 14, 2036 21:11 UTC 9y no
Alle Zertifikate laufen wieder ein Jahr:
kubeadm upgrade apply erneuert sie automatisch. Wer
jährlich aufrüstet, muss sie nie von Hand erneuern. Die CAs halten zehn
Jahre. Von Hand geht es so:
sudo kubeadm certs renew allErwartet (letzte Zeilen):
certificate embedded in the kubeconfig file for the super-admin renewed
Done renewing certificates. You must restart the kube-apiserver,
kube-controller-manager, kube-scheduler and etcd, so that they can use the new
certificates.
Die Komponenten lesen ihre Zertifikate nur beim Start. Static Pods startest du neu, indem du ihr Manifest kurz entfernst – hier Scheduler und Controller-Manager:
sudo mv /etc/kubernetes/manifests/kube-scheduler.yaml /tmp/
sudo mv /etc/kubernetes/manifests/kube-controller-manager.yaml /tmp/
sudo crictl ps --name 'kube-(scheduler|controller-manager)' -q | wc -lErwartet (nach etwa 20 Sekunden): 0
sudo mv /tmp/kube-scheduler.yaml /tmp/kube-controller-manager.yaml \
/etc/kubernetes/manifests/Genauso mit kube-apiserver.yaml und
etcd.yaml. Zum Schluss die erneuerte Admin-kubeconfig
übernehmen:
sudo cp /etc/kubernetes/admin.conf ~/.kube/config
sudo chown $(id -u):$(id -g) ~/.kube/config
k get pods -n kube-system -l tier=control-planeErwartet: vier Pods, alle Running.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige, ob etcd gesund ist. Zeitziel: 45 s
- Zeige die kubelet-Version aller Nodes in einer Zeile. Zeitziel: 20 s
- Prüfe, ob
drain worker1ohne weitere Flags durchliefe – ohne den Node wirklich zu leeren. Zeitziel: 30 s
Lösung
sudo etcdctl --endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key endpoint health -w table
k get nodes -o jsonpath='{.items[*].status.nodeInfo.kubeletVersion}{"\n"}'
k drain worker1 --ignore-daemonsets --dry-run=clientErwartet (gekürzt):
+------------------------+--------+-------------+-------+
| ENDPOINT | HEALTH | TOOK | ERROR |
+------------------------+--------+-------------+-------+
| https://127.0.0.1:2379 | true | 33.755384ms | |
+------------------------+--------+-------------+-------+
v1.37.2 v1.37.2 v1.37.2
node/worker1 cordoned (dry run)
error: unable to drain node "worker1" due to error: cannot delete Pods with local
storage (use --delete-emptydir-data to override): ...
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k version | tail -1Erwartet: Server Version: v1.37.2
k get pod etcd-cp1 -n kube-system -o jsonpath='{.spec.containers[0].image}{"\n"}'Erwartet:
registry.k8s.io/etcd:3.7.0-0
sudo ls -lh /var/lib/etcd-backup.dbErwartet: eine Datei von rund 18 MB
(18M).
Challenge
Nach dem Upgrade läuft etcd 3.7. Ist dein Snapshot von vorhin noch brauchbar? Prüfe ihn mit der neuen etcd-Version, ohne den Cluster anzufassen.
Hinweis: etcdutl arbeitet offline und
braucht kein laufendes etcd.
Lösung
cd /tmp
E=3.7.0
U=https://github.com/etcd-io/etcd/releases/download/v$E
curl -sSLO $U/etcd-v$E-linux-amd64.tar.gz
tar xzf etcd-v$E-linux-amd64.tar.gz
sudo ./etcd-v$E-linux-amd64/etcdutl snapshot status /var/lib/etcd-backup.db -w tableErwartet:
┌──────────┬──────────┬────────────┬────────────┬─────────┐
│ HASH │ REVISION │ TOTAL KEYS │ TOTAL SIZE │ VERSION │
├──────────┼──────────┼────────────┼────────────┼─────────┤
│ 7c9f621d │ 16769 │ 902 │ 19 MB │ 3.6.0 │
└──────────┴──────────┴────────────┴────────────┴─────────┘
Dieselben Werte wie in Drill 2, nur mit neuem Tabellenrahmen. Für neue Snapshots ab jetzt die etcdctl-Version des laufenden etcd verwenden.
Aufräumen:
k delete ns vorher
sudo rm -rf /var/lib/etcd-altFortschritt speichern? Kostenlos registrieren
Prüfungstipp
- etcd-Aufgaben: Endpunkt und Zertifikatspfade aus dem
etcd-Manifest abschreiben, nicht raten.
sudo grep -E 'cert|key|trusted|listen-client' /etc/kubernetes/manifests/etcd.yaml. - Restore in der Prüfung: neues
--data-dir, dann denhostPathim Manifest umstellen. Warten, bis der API-Server zurück ist. - Upgrade: Die Doku-Seite „Upgrading kubeadm clusters” hat alle Befehle zum Kopieren. Nur die Versionsnummern anpassen.
Enterprise-Notiz
- etcd-Snapshots automatisiert (CronJob oder systemd-Timer), verschlüsselt und außerhalb des Clusters speichern; den Restore regelmäßig üben.
- Upgrades erst in einer Staging-Umgebung, vorher die
Deprecation-Liste prüfen (
kubectl deprecations, Pluto). - Mit drei Control-Planes läuft das Upgrade ohne Ausfall der API (Tag 16).