Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 13: Cluster-Lebenszyklus

Ziel: Du sicherst etcd und spielst es zurück, rüstest den Cluster von 1.36 auf 1.37 auf und erneuerst Zertifikate – ohne die Workloads zu verlieren. · Dauer: ca. 90 min · Voraussetzung: Tag 1

Briefing

CKA: „Manage the lifecycle of Kubernetes clusters” (Teil der 25 %). etcd-Backup und Upgrade sind Klassiker in jeder Prüfung.

  Upgrade-Reihenfolge (immer nur eine Minor-Version):
  1. kubeadm auf cp1      2. kubeadm upgrade apply    3. kubelet+kubectl auf cp1
  4. je Worker: drain -> kubeadm upgrade node -> kubelet -> uncordon
  • etcd enthält den gesamten Clusterzustand. Ohne Backup kein Zurück.
  • kubeadm rüstet die Control-Plane auf, das kubelet rüstest du auf jedem Node selbst auf.

Drill 1: etcdctl besorgen

Auf cp1. Welche etcd-Version läuft?

k get pod etcd-cp1 -n kube-system -o jsonpath='{.spec.containers[0].image}{"\n"}'

Erwartet: registry.k8s.io/etcd:3.6.8-0

Die passenden Werkzeuge vom etcd-Projekt:

cd /tmp
E=3.6.8
U=https://github.com/etcd-io/etcd/releases/download/v$E
curl -sSLO $U/etcd-v$E-linux-amd64.tar.gz
curl -sSL $U/SHA256SUMS | grep "etcd-v$E-linux-amd64.tar.gz$" | sha256sum -c
tar xzf etcd-v$E-linux-amd64.tar.gz
sudo install -m 755 etcd-v$E-linux-amd64/etcdctl etcd-v$E-linux-amd64/etcdutl \
  /usr/local/bin/
etcdctl version
cd ~/cka

Erwartet:

etcd-v3.6.8-linux-amd64.tar.gz: OK
etcdctl version: 3.6.8
API version: 3.6

etcdctl spricht mit dem laufenden etcd, etcdutl arbeitet offline mit Dateien.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Snapshot erstellen

Erst einen Zustand schaffen, den wir wiedererkennen:

k create ns vorher
k create configmap marker -n vorher --from-literal=zeit="$(date +%H:%M)"

Die Zertifikate für etcdctl stehen im etcd-Manifest (--cert-file, --key-file, --trusted-ca-file):

sudo etcdctl --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /var/lib/etcd-backup.db
sudo etcdutl snapshot status /var/lib/etcd-backup.db -w table

Erwartet:

Snapshot saved at /var/lib/etcd-backup.db
+----------+----------+------------+------------+---------+
|   HASH   | REVISION | TOTAL KEYS | TOTAL SIZE | VERSION |
+----------+----------+------------+------------+---------+
| 7c9f621d |    16769 |        902 |      19 MB |   3.6.0 |
+----------+----------+------------+------------+---------+

Jetzt „passiert etwas”:

k create ns nachher
k delete ns vorher

Fortschritt speichern? Kostenlos registrieren

Drill 3: Snapshot zurückspielen

In ein neues Verzeichnis wiederherstellen und etcd darauf umbiegen:

sudo etcdutl snapshot restore /var/lib/etcd-backup.db --data-dir /var/lib/etcd-restore
sudo cp /etc/kubernetes/manifests/etcd.yaml /root/etcd.yaml.bak
sudo sed -i 's#path: /var/lib/etcd$#path: /var/lib/etcd-restore#' \
  /etc/kubernetes/manifests/etcd.yaml
sudo grep -n '/var/lib/etcd' /etc/kubernetes/manifests/etcd.yaml

Erwartet:

... restored snapshot {"path": "/var/lib/etcd-backup.db", ...
  "data-dir": "/var/lib/etcd-restore", ...}
18:    - --data-dir=/var/lib/etcd
75:    - mountPath: /var/lib/etcd
91:      path: /var/lib/etcd-restore

Nur der hostPath (Zeile 91) ändert sich: Im Container bleibt der Pfad gleich, auf dem Node zeigt er auf die wiederhergestellten Daten. Die Sicherung des Manifests liegt bewusst außerhalb von manifests – sonst würde das kubelet sie als zweiten Pod starten.

Das kubelet startet etcd neu, der API-Server ist eine bis zwei Minuten weg. Dann:

k get ns vorher nachher
k get cm marker -n vorher -o jsonpath='{.data.zeit}{"\n"}'

Erwartet:

NAME     STATUS   AGE
vorher   Active   106s
Error from server (NotFound): namespaces "nachher" not found
22:25

Der Cluster ist auf dem Stand des Snapshots.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die Falle vor dem Upgrade

kubeadm upgrade erzeugt das etcd-Manifest neu – aus der Konfiguration in kubeadm-config:

k get cm kubeadm-config -n kube-system -o jsonpath='{.data.ClusterConfiguration}' \
  | grep -A2 'etcd:'

Erwartet:

etcd:
  local:
    dataDir: /var/lib/etcd

Nach dem Upgrade zeigte etcd wieder auf /var/lib/etcd – auf die alten Daten vor dem Restore. Deshalb die wiederhergestellten Daten an den Standardort verschieben. etcd dazu anhalten, indem das Manifest kurz verschwindet:

sudo mv /etc/kubernetes/manifests/etcd.yaml /root/etcd-restore.yaml
sudo crictl ps --name '^etcd$'

Erwartet: keine Containerzeile mehr (eventuell ein paar Sekunden warten).

sudo mv /var/lib/etcd /var/lib/etcd-alt
sudo mv /var/lib/etcd-restore /var/lib/etcd
sudo cp /root/etcd.yaml.bak /etc/kubernetes/manifests/etcd.yaml

Nach ein bis zwei Minuten:

k get ns vorher

Erwartet: vorher ist Active – jetzt mit den Daten am Standardort.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Control-Plane aufrüsten

Paketquelle auf 1.37 umstellen und kubeadm aufrüsten:

sudo sed -i 's/v1.36/v1.37/g' /etc/apt/sources.list.d/kubernetes.list
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key \
  | sudo gpg --yes --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
sudo apt-get update
sudo apt-mark unhold kubeadm
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo apt-mark hold kubeadm
sudo kubeadm upgrade plan

Erwartet (gekürzt):

[upgrade/versions] Cluster version: 1.36.6
[upgrade/versions] kubeadm version: v1.37.2
COMPONENT                 NODE      CURRENT   TARGET
kube-apiserver            cp1       v1.36.6   v1.37.2
kube-controller-manager   cp1       v1.36.6   v1.37.2
kube-scheduler            cp1       v1.36.6   v1.37.2
kube-proxy                          1.36.6    v1.37.2
CoreDNS                             v1.14.2   v1.14.6
etcd                      cp1       3.6.8-0   3.7.0-0

You can now apply the upgrade by executing the following command:

    kubeadm upgrade apply v1.37.2
sudo kubeadm upgrade apply v1.37.2 -y

Erwartet (letzte Zeilen):

[upgrade] SUCCESS! A control plane node of your cluster was upgraded to "v1.37.2".

[upgrade] Now please proceed with upgrading the rest of the nodes by following the right
order.

Jetzt das kubelet auf cp1:

k drain cp1 --ignore-daemonsets --delete-emptydir-data
sudo apt-mark unhold kubelet kubectl
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet

Der Neustart des kubelets startet die Static Pods neu – der API-Server ist kurz weg (connection refused). Nach etwa einer Minute:

k uncordon cp1
k get nodes

Erwartet:

NAME      STATUS   ROLES           AGE   VERSION
cp1       Ready    control-plane   82m   v1.37.2
worker1   Ready    <none>          81m   v1.36.6
worker2   Ready    <none>          81m   v1.36.6

Fortschritt speichern? Kostenlos registrieren

Drill 6: Worker aufrüsten

Auf cp1:

k drain worker1 --ignore-daemonsets --delete-emptydir-data

Erwartet (letzte Zeile): node/worker1 drained

Ohne --delete-emptydir-data bricht drain ab, weil metrics-server und Traefik ein emptyDir nutzen. Auf worker1:

sudo sed -i 's/v1.36/v1.37/g' /etc/apt/sources.list.d/kubernetes.list
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key \
  | sudo gpg --yes --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
sudo apt-get update
sudo apt-mark unhold kubeadm kubelet kubectl
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo kubeadm upgrade node
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubeadm kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet

Erwartet (aus kubeadm upgrade node, gekürzt):

[upgrade/addon] Skipping the addon/coredns phase. Not a control plane node.
[upgrade/addon] Skipping the addon/kube-proxy phase. Not a control plane node.

Zurück auf cp1:

k uncordon worker1

Dasselbe für worker2. Danach:

k get nodes

Erwartet:

NAME      STATUS   ROLES           AGE   VERSION
cp1       Ready    control-plane   86m   v1.37.2
worker1   Ready    <none>          85m   v1.37.2
worker2   Ready    <none>          85m   v1.37.2

Fortschritt speichern? Kostenlos registrieren

Drill 7: Zertifikate erneuern

sudo kubeadm certs check-expiration

Erwartet (gekürzt):

CERTIFICATE                EXPIRES                  RESIDUAL TIME   CERTIFICATE AUTH...
admin.conf                 Nov 17, 2027 22:29 UTC   364d            ca
apiserver                  Nov 17, 2027 22:29 UTC   364d            ca
...
CERTIFICATE AUTHORITY   EXPIRES                  RESIDUAL TIME   EXTERNALLY MANAGED
ca                      Nov 14, 2036 21:11 UTC   9y              no

Alle Zertifikate laufen wieder ein Jahr: kubeadm upgrade apply erneuert sie automatisch. Wer jährlich aufrüstet, muss sie nie von Hand erneuern. Die CAs halten zehn Jahre. Von Hand geht es so:

sudo kubeadm certs renew all

Erwartet (letzte Zeilen):

certificate embedded in the kubeconfig file for the super-admin renewed

Done renewing certificates. You must restart the kube-apiserver,
kube-controller-manager, kube-scheduler and etcd, so that they can use the new
certificates.

Die Komponenten lesen ihre Zertifikate nur beim Start. Static Pods startest du neu, indem du ihr Manifest kurz entfernst – hier Scheduler und Controller-Manager:

sudo mv /etc/kubernetes/manifests/kube-scheduler.yaml /tmp/
sudo mv /etc/kubernetes/manifests/kube-controller-manager.yaml /tmp/
sudo crictl ps --name 'kube-(scheduler|controller-manager)' -q | wc -l

Erwartet (nach etwa 20 Sekunden): 0

sudo mv /tmp/kube-scheduler.yaml /tmp/kube-controller-manager.yaml \
  /etc/kubernetes/manifests/

Genauso mit kube-apiserver.yaml und etcd.yaml. Zum Schluss die erneuerte Admin-kubeconfig übernehmen:

sudo cp /etc/kubernetes/admin.conf ~/.kube/config
sudo chown $(id -u):$(id -g) ~/.kube/config
k get pods -n kube-system -l tier=control-plane

Erwartet: vier Pods, alle Running.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige, ob etcd gesund ist. Zeitziel: 45 s
  2. Zeige die kubelet-Version aller Nodes in einer Zeile. Zeitziel: 20 s
  3. Prüfe, ob drain worker1 ohne weitere Flags durchliefe – ohne den Node wirklich zu leeren. Zeitziel: 30 s

Lösung

sudo etcdctl --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key endpoint health -w table
k get nodes -o jsonpath='{.items[*].status.nodeInfo.kubeletVersion}{"\n"}'
k drain worker1 --ignore-daemonsets --dry-run=client

Erwartet (gekürzt):

+------------------------+--------+-------------+-------+
|        ENDPOINT        | HEALTH |    TOOK     | ERROR |
+------------------------+--------+-------------+-------+
| https://127.0.0.1:2379 |   true | 33.755384ms |       |
+------------------------+--------+-------------+-------+
v1.37.2 v1.37.2 v1.37.2
node/worker1 cordoned (dry run)
error: unable to drain node "worker1" due to error: cannot delete Pods with local
storage (use --delete-emptydir-data to override): ...

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k version | tail -1

Erwartet: Server Version: v1.37.2

k get pod etcd-cp1 -n kube-system -o jsonpath='{.spec.containers[0].image}{"\n"}'

Erwartet: registry.k8s.io/etcd:3.7.0-0

sudo ls -lh /var/lib/etcd-backup.db

Erwartet: eine Datei von rund 18 MB (18M).

Challenge

Nach dem Upgrade läuft etcd 3.7. Ist dein Snapshot von vorhin noch brauchbar? Prüfe ihn mit der neuen etcd-Version, ohne den Cluster anzufassen.

Hinweis: etcdutl arbeitet offline und braucht kein laufendes etcd.

Lösung

cd /tmp
E=3.7.0
U=https://github.com/etcd-io/etcd/releases/download/v$E
curl -sSLO $U/etcd-v$E-linux-amd64.tar.gz
tar xzf etcd-v$E-linux-amd64.tar.gz
sudo ./etcd-v$E-linux-amd64/etcdutl snapshot status /var/lib/etcd-backup.db -w table

Erwartet:

┌──────────┬──────────┬────────────┬────────────┬─────────┐
│   HASH   │ REVISION │ TOTAL KEYS │ TOTAL SIZE │ VERSION │
├──────────┼──────────┼────────────┼────────────┼─────────┤
│ 7c9f621d │    16769 │        902 │      19 MB │   3.6.0 │
└──────────┴──────────┴────────────┴────────────┴─────────┘

Dieselben Werte wie in Drill 2, nur mit neuem Tabellenrahmen. Für neue Snapshots ab jetzt die etcdctl-Version des laufenden etcd verwenden.

Aufräumen:

k delete ns vorher
sudo rm -rf /var/lib/etcd-alt

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • etcd-Aufgaben: Endpunkt und Zertifikatspfade aus dem etcd-Manifest abschreiben, nicht raten. sudo grep -E 'cert|key|trusted|listen-client' /etc/kubernetes/manifests/etcd.yaml.
  • Restore in der Prüfung: neues --data-dir, dann den hostPath im Manifest umstellen. Warten, bis der API-Server zurück ist.
  • Upgrade: Die Doku-Seite „Upgrading kubeadm clusters” hat alle Befehle zum Kopieren. Nur die Versionsnummern anpassen.

Enterprise-Notiz

  • etcd-Snapshots automatisiert (CronJob oder systemd-Timer), verschlüsselt und außerhalb des Clusters speichern; den Restore regelmäßig üben.
  • Upgrades erst in einer Staging-Umgebung, vorher die Deprecation-Liste prüfen (kubectl deprecations, Pluto).
  • Mit drei Control-Planes läuft das Upgrade ohne Ausfall der API (Tag 16).