Tag 14: Betrieb – Drain, Ausfall, Upgrade, etcd-Snapshot
Ziel: Nodes für Wartung leeren, ohne die App zu stören, einen harten Node-Ausfall messen und entschärfen, etcd sichern und zurückspielen und das Cluster auf Kubernetes 1.37 heben. · Dauer: ca. 120 min · Voraussetzung: Tag 13
Briefing
- Drain sperrt einen Node für neue Pods
(
cordon) und räumt die laufenden ab. Ein PodDisruptionBudget (PDB) legt fest, wie viele Pods dabei mindestens laufen. - Ein Ausfall ist kein Drain: Kubernetes wartet erst,
bis der Node als
NotReadygilt, und räumt seine Pods noch einmal fünf Minuten später ab (Tag 12). - etcd hält den gesamten Zustand des Clusters. RKE2
sichert es mit
rke2 etcd-snapshotund spielt es mit--cluster-resetzurück. - Ein Upgrade geht Node für Node: erst der Server,
dann jeder Agent mit Drain, Installer, Neustart und
uncordon.
Drain Ausfall
cordon ─► evict (PDB) ─► Node schweigt ─► ~40 s NotReady ─► +5 min evict
Pods starten woanders Pods auf dem Node gelten so lange als Running
Für diesen Tag brauchst du ein zweites Terminal. Darin läuft eine Messschleife, die jede Sekunde notes abfragt und den HTTP-Status zeigt. So siehst du jede Störung sofort.
Drill 1: Tagesstart und Messschleife
source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
mkdir -p "$LAB/tag14" && cd "$LAB/tag14"
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag11/notes/." .
cp -R "$LAB/code/tag13/notes/." . && cp -R "$LAB/code/tag14/notes/." .
sed -i '' "s/SERVER_IP/$SERVER/" values-rke2.yaml
kubectl get pods -o wideErwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):
NAME READY STATUS RESTARTS AGE IP NODE
api-7dd6f4bd7f-4lbf8 1/1 Running 3 (1h ago) 1h … rke2-server
…
db-0 1/1 Running 0 1h … rke2-agent2
…
Merk dir den Node von db-0; im Buch ist es
rke2-agent2. Im zweiten Terminal startest du die
Messschleife und lässt sie den ganzen Tag laufen:
source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
while true; do
printf '%s %s\n' "$(date +%T)" "$(curl -s -o /dev/null -m 2 -w '%{http_code}' \
--resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes)"
sleep 1
doneErwartet:
10:24:55 200
10:24:56 200
10:24:57 200
000 heißt: keine Antwort innerhalb von 2 Sekunden.
500 und 503 kommen aus web oder Envoy.
Fortschritt speichern? Kostenlos registrieren
Drill 2: PodDisruptionBudgets
Chart 0.3.0 bringt ein neues Template pdb.yaml. Für api
und web legt es fest, wie viele Pods ein Drain mindestens stehen lassen
muss:
{{/* chart/notes/templates/pdb.yaml – Stand Ende Tag 14 */}}
{{- if .Values.pdb.enabled }}
{{- range $name := list "api" "web" }}
---
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
name: {{ $name }}
labels:
{{- include "notes.labels" (dict "ctx" $ "name" $name) | nindent 4 }}
spec:
minAvailable: {{ (index $.Values.pdb $name).minAvailable }}
selector:
matchLabels:
{{- include "notes.selector" $name | nindent 6 }}
{{- end }}
{{- end }}Dazu in values.yaml (vollständig im Begleitcode
code/tag14/notes/):
# Ab Tag 14: so viele Pods müssen bei einem Drain mindestens weiterlaufen.
# db hat bewusst kein Budget: eine Replik, ein Volume auf einem Node (Tag 14, Drill 4).
pdb:
enabled: true
api: {minAvailable: 2}
web: {minAvailable: 1}helm lint chart/notes -f values-rke2.yaml | tail -1
helm upgrade notes chart/notes -f values-rke2.yaml --wait --timeout 5m \
| grep -E '^(STATUS|REVISION):'
kubectl get pdbErwartet (gekürzt):
1 chart(s) linted, 0 chart(s) failed
STATUS: deployed
REVISION: …
NAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS AGE
api 2 N/A 1 58s
web 1 N/A 1 58s
Das Upgrade dauert etwa eine Minute, denn die neue Chart-Version
rollt alle Pods neu (Tag 11). ALLOWED DISRUPTIONS 1: Von
drei api-Pods darf einer gleichzeitig weg. Ohne
--reuse-values gilt wieder die api-Version aus dem Chart
(0.2.0).
Fortschritt speichern? Kostenlos registrieren
Drill 3: Drain ohne Datenbank
Leere den Agent, auf dem nicht db-0
läuft (im Buch rke2-agent1):
kubectl drain rke2-agent1 --ignore-daemonsets --delete-emptydir-data
kubectl get nodes
kubectl get pods -o wideErwartet (gekürzt):
node/rke2-agent1 cordoned
Warning: ignoring DaemonSet-managed Pods: kube-system/rke2-canal-kmpdq
evicting pod notes/worker-d54b9d4df-jwv62
evicting pod notes/api-69c4fc7c84-8749n
evicting pod envoy-gateway-system/envoy-gateway-666cb7f75f-2tx5j
…
pod/api-69c4fc7c84-8749n evicted
…
node/rke2-agent1 drained
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready,SchedulingDisabled <none> 31m v1.36.5+rke2r1
rke2-agent2 Ready <none> 31m v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 34m v1.36.5+rke2r1
NAME READY STATUS RESTARTS AGE IP NODE
api-69c4fc7c84-7kcqd 1/1 Running 0 12s … rke2-server
api-69c4fc7c84-bgwtk 1/1 Running 0 1m … rke2-agent2
api-69c4fc7c84-n9jgk 1/1 Running 0 1m … rke2-server
db-0 1/1 Running 0 1m … rke2-agent2
web-5bcd78bdd9-mj5x8 1/1 Running 0 12s … rke2-agent2
web-5bcd78bdd9-n94xv 1/1 Running 0 1m … rke2-server
worker-d54b9d4df-drzhr 1/1 Running 0 12s … rke2-server
Der Drain dauert etwa 15 Sekunden, die Messschleife bleibt bei
200. Das PDB sorgt dafür, dass immer zwei api-Pods laufen.
DaemonSets wie rke2-canal bleiben, denn sie gehören zu
jedem Node. Gib den Node wieder frei:
kubectl uncordon rke2-agent1Erwartet:
node/rke2-agent1 uncordoned
Die Pods wandern nicht von allein zurück. Erst neue Pods landen
wieder auf rke2-agent1.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Drain mit Datenbank
Jetzt der Agent mit db-0. Schau dabei auf die
Messschleife:
kubectl drain rke2-agent2 --ignore-daemonsets --delete-emptydir-data
kubectl get pods
kubectl get events --field-selector involvedObject.name=db-0,reason=FailedScheduling \
-o custom-columns=MSG:.message | tail -1Erwartet (gekürzt):
node/rke2-agent2 cordoned
…
pod/db-0 evicted
…
node/rke2-agent2 drained
NAME READY STATUS RESTARTS AGE
api-69c4fc7c84-7kcqd 0/1 Running 0 3m
api-69c4fc7c84-hjtwt 0/1 CrashLoopBackOff 2 24s
api-69c4fc7c84-n9jgk 0/1 Running 0 3m
db-0 0/1 Pending 0 10s
web-5bcd78bdd9-6z5hh 1/1 Running 0 24s
web-5bcd78bdd9-n94xv 1/1 Running 0 3m
worker-d54b9d4df-drzhr 1/1 Running 0 2m
0/3 nodes are available: 1 node(s) were unschedulable, 2 node(s) didn't match
PersistentVolume's node affinity. …
In der Messschleife:
10:24:59 500
10:25:00 500
…
Das Volume von local-path liegt auf rke2-agent2 (Tag
12). Der Scheduler darf db-0 nur dort starten, und genau
dort darf gerade nichts hin. Ohne Datenbank meldet die api
/healthz mit 503, fällt aus dem Service und startet neu
(Tag 7). web antwortet mit 500. Hol den Node zurück:
kubectl uncordon rke2-agent2
kubectl wait --for=condition=Ready pod/db-0 --timeout=180s
kubectl wait --for=condition=Ready pod -l app.kubernetes.io/name=api --timeout=180s
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echoErwartet (gekürzt):
node/rke2-agent2 uncordoned
pod/db-0 condition met
pod/api-69c4fc7c84-7kcqd condition met
…
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Etwa 40 Sekunden nach uncordon liefert die Schleife
wieder 200, die Daten sind noch da. Ein PDB hätte hier
nicht geholfen: Mit maxUnavailable: 0 für db
bliebe der Drain einfach hängen. Eine Datenbank mit einer Replik auf
lokalem Speicher braucht ein Wartungsfenster.
Achtung: Im Test lief auf
rke2-agent2auch der einzige Envoy-Pod. Der Drain warf ihn mit ab, und die Schleife zeigte ein paar Sekunden lang000. Drill 6 behebt das.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Harter Ausfall
Ein Drain ist höflich. Ein abgestürzter Node meldet sich einfach
nicht mehr. Such den Node, auf dem Envoy läuft, und schalte dort alles
ab: rke2-killall.sh beendet den Dienst und alle Container,
als wäre der Strom weg.
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoy
multipass exec rke2-agent1 -- sudo systemctl stop rke2-agent
multipass exec rke2-agent1 -- sudo rke2-killall.sh > /dev/null
kubectl wait --for=condition=Ready=Unknown node/rke2-agent1 --timeout=120s
kubectl get pods -o wideErwartet (gekürzt, bei dir eventuell ein anderer Agent):
NAME READY STATUS … NODE
envoy-notes-notes-3aa9e90e-d4bdf7b8b-6hxtn 2/2 Running … rke2-agent1
node/rke2-agent1 condition met
NAME READY STATUS RESTARTS AGE IP NODE
api-69c4fc7c84-hjtwt 1/1 Running 0 3m … rke2-agent1
…
web-5bcd78bdd9-6z5hh 1/1 Running 0 3m … rke2-agent1
…
Der Node ist nach etwa 45 Sekunden NotReady, seine Pods
stehen aber weiter auf Running: Der kubelet, der es besser
wüsste, ist tot. Die Schleife zeigt nur noch 000. Warte gut
fünf Minuten:
kubectl get pods -o wide
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoyErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE IP NODE
api-69c4fc7c84-9569q 0/1 ContainerCreating 0 2s … rke2-agent2
api-69c4fc7c84-hjtwt 1/1 Terminating 0 8m … rke2-agent1
…
web-5bcd78bdd9-6z5hh 1/1 Terminating 0 8m … rke2-agent1
web-5bcd78bdd9-sf9n6 0/1 ContainerCreating 0 2s … rke2-agent2
…
NAME READY STATUS … NODE
envoy-notes-notes-3aa9e90e-d4bdf7b8b-6hxtn 2/2 Terminating … rke2-agent1
envoy-notes-notes-3aa9e90e-d4bdf7b8b-rsq5l 0/2 ContainerCreating … rke2-agent2
Erst jetzt greift der Taint NoExecute aus Tag 12, und
die Pods ziehen um. Im Test war notes fast sechs Minuten weg (10:27:01
bis 10:32:59), weil das ganze Gateway an einem Pod hing. Die alten Pods
bleiben auf Terminating, bis der Node zurück ist:
multipass exec rke2-agent1 -- sudo systemctl start rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent1 --timeout=180s
kubectl get podsErwartet (gekürzt):
node/rke2-agent1 condition met
NAME READY STATUS RESTARTS AGE
api-69c4fc7c84-7kcqd 1/1 Running 0 14m
api-69c4fc7c84-9569q 1/1 Running 0 6m
…
Fortschritt speichern? Kostenlos registrieren
Drill 6: Envoy doppelt
Die Plattform-Datei k8s/gateway.yaml bekommt zwei
Envoy-Pods, verteilt auf verschiedene Nodes. Neu ist nur der Block
envoyDeployment:
# k8s/gateway.yaml (Ausschnitt) – Stand Ende Tag 14
spec:
provider:
type: Kubernetes
kubernetes:
# Ab Tag 14: zwei Envoy-Pods auf verschiedenen Nodes, ein Ausfall legt
# das Gateway nicht mehr lahm.
envoyDeployment:
replicas: 2
pod:
topologySpreadConstraints:
- maxSkew: 1
topologyKey: kubernetes.io/hostname
whenUnsatisfiable: DoNotSchedule
labelSelector:
matchLabels:
app.kubernetes.io/name: envoy
matchLabelKeys: [pod-template-hash]topologySpreadConstraints mit
kubernetes.io/hostname verbietet, dass beide Pods auf
demselben Node landen. matchLabelKeys zählt nur die Pods
derselben Revision, so blockiert sich der Rollout nicht selbst.
kubectl apply --dry-run=server -f k8s/gateway.yaml
kubectl apply -f k8s/gateway.yaml
kubectl -n envoy-gateway-system rollout status deploy \
-l gateway.envoyproxy.io/owning-gateway-name=notes
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoyErwartet (gekürzt):
envoyproxy.gateway.envoyproxy.io/nodeport configured (server dry run)
gatewayclass.gateway.networking.k8s.io/eg unchanged (server dry run)
envoyproxy.gateway.envoyproxy.io/nodeport configured
gatewayclass.gateway.networking.k8s.io/eg unchanged
…
deployment "envoy-notes-notes-3aa9e90e" successfully rolled out
NAME READY STATUS … NODE
envoy-notes-notes-3aa9e90e-789cbc89d8-twnsx 2/2 Running … rke2-agent1
envoy-notes-notes-3aa9e90e-789cbc89d8-zd94d 2/2 Running … rke2-agent2
Wiederhole den Ausfall aus Drill 5 auf einem der beiden Envoy-Nodes und schau auf die Schleife:
multipass exec rke2-agent1 -- sudo systemctl stop rke2-agent
multipass exec rke2-agent1 -- sudo rke2-killall.sh > /dev/nullErwartet in der Messschleife (gekürzt):
10:52:16 200
10:52:18 000
…
10:53:01 503
10:53:03 200
10:53:04 200
Etwa 45 Sekunden Störung statt sechs Minuten. Sobald der Node
NotReady ist, nimmt Kubernetes seine Pods aus den Services,
und der zweite Envoy übernimmt. Node zurück:
multipass exec rke2-agent1 -- sudo systemctl start rke2-agent
kubectl wait --for=condition=Ready node --all --timeout=180sErwartet:
node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met
Fortschritt speichern? Kostenlos registrieren
Drill 7: etcd sichern und zurückspielen
Ein Snapshot sichert alle Kubernetes-Objekte, nicht die Daten in den Volumes. Auf dem Server als root:
multipass shell rke2-serverIn der VM:
sudo -i
rke2 etcd-snapshot save --name vor-dem-unfall 2>&1 | grep saved
rke2 etcd-snapshot ls 2>/dev/nullErwartet (gekürzt):
time="…" level=info msg="Snapshot vor-dem-unfall-rke2-server-1793442998 saved."
Name Location …
vor-dem-unfall-rke2-server-1793442998 file:///var/lib/rancher/rke2/server/db/snap…
Der Befehl warnt außerdem
Unknown flag --ingress-controller found in config.yaml. Das
ist harmlos: Der Snapshot-Befehl liest dieselbe Konfiguration wie der
Server, braucht die Option aber nicht. Jetzt der Unfall, in einem
weiteren Terminal auf dem Mac; die Messschleife läuft daneben
weiter:
kubectl delete deployment web workerErwartet:
deployment.apps "web" deleted from notes namespace
deployment.apps "worker" deleted from notes namespace
Die Schleife zeigt 503. Zurück in der Root-Shell auf dem
Server: Dienst stoppen, etcd auf den Snapshot zurücksetzen, Dienst
starten.
systemctl stop rke2-server
S=$(ls -t /var/lib/rancher/rke2/server/db/snapshots | head -1)
echo "$S"
rke2 server --cluster-reset \
--cluster-reset-restore-path="/var/lib/rancher/rke2/server/db/snapshots/$S" \
2>&1 | grep -o 'Managed etcd cluster membership has been reset[^.]*'
systemctl start rke2-server
exit
exitErwartet (gekürzt):
vor-dem-unfall-rke2-server-1793442998
Managed etcd cluster membership has been reset, restart without --cluster-reset flag now
Der Reset dauert etwa eine Minute, der Start noch einmal so lange. Auf dem Mac:
kubectl wait --for=condition=Ready node --all --timeout=300s
kubectl get deployErwartet:
node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met
NAME READY UP-TO-DATE AVAILABLE AGE
api 3/3 3 3 26m
web 2/2 2 2 26m
worker 1/1 1 1 26m
web und worker sind zurück. Schau trotzdem auf die Messschleife: Im
Test lieferte das Gateway danach noch fünf Minuten 503. Der
Controller von Envoy Gateway arbeitete mit dem Stand von vor dem Restore
und kannte die neuen Pod-Adressen nicht. Die Kubernetes-Doku empfiehlt
nach einem Restore deshalb, Controller neu zu starten:
kubectl -n envoy-gateway-system rollout restart deploy/envoy-gateway
kubectl -n envoy-gateway-system rollout status deploy/envoy-gateway
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echoErwartet (gekürzt):
deployment.apps/envoy-gateway restarted
…
deployment "envoy-gateway" successfully rolled out
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Die Notiz kam nie aus etcd, sondern aus Postgres. Wer Daten sichern will, braucht zusätzlich ein Datenbank-Backup (Challenge Tag 15).
Fortschritt speichern? Kostenlos registrieren
Drill 8: Upgrade auf 1.37
Erst ein frischer Snapshot, dann der Server. Der Installer ersetzt nur die Dateien, der Neustart des Dienstes bringt die neue Version:
multipass exec rke2-server -- sudo rke2 etcd-snapshot save --name vor-upgrade \
2>&1 | grep saved
multipass exec rke2-server -- bash -c \
'curl -sfL https://get.rke2.io | sudo INSTALL_RKE2_VERSION=v1.37.1+rke2r1 sh -'
multipass exec rke2-server -- sudo systemctl restart rke2-server
kubectl get nodes
kubectl version | tail -1Erwartet (gekürzt):
time="…" level=info msg="Snapshot vor-upgrade-rke2-server-1793443177 saved."
[INFO] unpacking tarball file to /usr/local
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 50m v1.36.5+rke2r1
rke2-agent2 Ready <none> 50m v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 53m v1.37.1+rke2r1
Server Version: v1.37.1+rke2r1
Der Neustart dauerte im Test knapp vier Minuten. Erschrick nicht,
wenn kubectl get pods -n kube-system danach kurz
CrashLoopBackOff für kube-controller-manager
und cloud-controller-manager zeigt. Die Static Pods werden
nacheinander ersetzt; nach weiteren ein, zwei Minuten läuft alles. Ein
kubelet darf älter sein als der API-Server (bis zu drei
Minor-Versionen), aber nie neuer. Darum kommt der Server zuerst. Jetzt
die Agents, einer nach dem anderen:
for n in rke2-agent1 rke2-agent2; do
kubectl drain "$n" --ignore-daemonsets --delete-emptydir-data | tail -1
multipass exec "$n" -- bash -c 'curl -sfL https://get.rke2.io \
| sudo INSTALL_RKE2_VERSION=v1.37.1+rke2r1 INSTALL_RKE2_TYPE=agent sh -'
multipass exec "$n" -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready "node/$n" --timeout=300s
kubectl uncordon "$n"
done
kubectl get nodesErwartet (gekürzt):
node/rke2-agent1 drained
[INFO] unpacking tarball file to /usr/local
node/rke2-agent1 condition met
node/rke2-agent1 uncordoned
node/rke2-agent2 drained
…
node/rke2-agent2 uncordoned
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 54m v1.37.1+rke2r1
rke2-agent2 Ready <none> 54m v1.37.1+rke2r1
rke2-server Ready control-plane,etcd 57m v1.37.1+rke2r1
Jeder Agent braucht etwa eine halbe Minute. Beim Agent mit
db-0 siehst du in der Schleife wieder 500 wie
in Drill 4 – dieses Mal geplant.
Ein neues Release bringt manchmal neue Bestandteile mit. Schau nach dem Upgrade, was RKE2 jetzt selbst installiert:
kubectl get helmcharts -n kube-system rke2-gateway-api-crd
c='{.metadata.annotations.meta\.helm\.sh/release-name} '
c+='{.metadata.annotations.gateway\.networking\.k8s\.io/channel}'
kubectl get crd gateways.gateway.networking.k8s.io -o jsonpath="$c"; echo
kubectl get gatewayclass egErwartet (gekürzt):
NAME REPO CHART VERSION TARGETNAMESPACE BOOTSTRAP FAILED
rke2-gateway-api-crd false False
rke2-gateway-api-crd standard
NAME CONTROLLER ACCEPTED AGE
eg gateway.envoyproxy.io/gatewayclass-controller True 2h
Achtung: RKE2 1.37 liefert die Gateway-API-CRDs selbst aus und übernimmt die vorhandenen von Envoy Gateway (Tag 11), dabei vom Kanal
experimentalaufstandard. notes läuft weiter, weil es nur Gateway und HTTPRoute nutzt. Wer experimentelle Routen braucht, muss das vor dem Upgrade klären. Lies vor jedem Upgrade die Release Notes von RKE2.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl get nodesErwartet: alle drei Ready mit
v1.37.1+rke2r1, keiner mit
SchedulingDisabled.
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 54m v1.37.1+rke2r1
rke2-agent2 Ready <none> 54m v1.37.1+rke2r1
rke2-server Ready control-plane,etcd 57m v1.37.1+rke2r1
kubectl get pdbErwartet: api mit MIN AVAILABLE 2, web mit 1.
NAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS AGE
api 2 N/A 1 30m
web 1 N/A 1 30m
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoyErwartet: zwei Envoy-Pods 2/2, auf zwei verschiedenen
Nodes.
NAME READY STATUS … NODE
envoy-notes-notes-3aa9e90e-789cbc89d8-twnsx 2/2 Running … rke2-agent1
envoy-notes-notes-3aa9e90e-789cbc89d8-zd94d 2/2 Running … rke2-agent2
multipass exec rke2-server -- sudo rke2 etcd-snapshot ls 2>/dev/nullErwartet: die Snapshots vor-dem-unfall und
vor-upgrade.
Name Location …
vor-dem-unfall-rke2-server-1793442998 file:///… …
vor-upgrade-rke2-server-1793443177 file:///… …
Challenge
RKE2 sichert etcd von selbst, standardmäßig um 0 und 12 Uhr, und hebt fünf Snapshots auf. Stell das für das Labor auf alle fünf Minuten und drei Snapshots um und beweise, dass ein automatischer Snapshot entsteht.
Hinweis: Die Optionen heißen wie die Flags von
rke2 server ohne die zwei Striche und gehören in
/etc/rancher/rke2/config.yaml.
Lösung
multipass exec rke2-server -- sudo tee -a /etc/rancher/rke2/config.yaml <<'EOF'
etcd-snapshot-schedule-cron: "*/5 * * * *"
etcd-snapshot-retention: 3
EOF
multipass exec rke2-server -- sudo systemctl restart rke2-serverNach spätestens fünf Minuten:
multipass exec rke2-server -- sudo rke2 etcd-snapshot ls 2>/dev/nullErwartet (gekürzt):
Name Location …
vor-dem-unfall-rke2-server-1793442998 file:///… …
vor-upgrade-rke2-server-1793443177 file:///… …
etcd-snapshot-rke2-server-1793444405 file:///… …
Automatische Snapshots heißen
etcd-snapshot-<node>-<zeit>. Die Aufbewahrung
gilt nur für sie; deine benannten Snapshots bleiben, bis du sie mit
rke2 etcd-snapshot delete entfernst.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Datenbank: Eine Postgres-Replik auf lokalem Speicher braucht Wartungsfenster. Ein Operator wie CloudNativePG betreibt Primary und Standbys auf verschiedenen Nodes und schaltet beim Drain um („Kubernetes-Operatoren zum Anfassen”).
- Gateway und Ingress: Jede Komponente im Datenpfad läuft mindestens doppelt, verteilt über Nodes oder Zonen, mit PDB.
- Ausfallzeiten: Die fünf Minuten bis zum Umzug
lassen sich pro Pod mit
tolerationsfürnode.kubernetes.io/unreachableund kürzeremtolerationSecondsverkürzen, aber nicht auf null. - Snapshots: In Produktion gehen sie per S3-Optionen
(
etcd-s3) aus dem Cluster hinaus. Ein Snapshot nur auf dem Server, der gerade ausgefallen ist, hilft nicht. - Upgrades: Der system-upgrade-controller von Rancher
automatisiert die Schritte aus Drill 8 mit
Plan-Objekten. Rancher Manager steuert Upgrades für viele Cluster.