Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Betrieb – Drain, Ausfall, Upgrade, etcd-Snapshot

Ziel: Nodes für Wartung leeren, ohne die App zu stören, einen harten Node-Ausfall messen und entschärfen, etcd sichern und zurückspielen und das Cluster auf Kubernetes 1.37 heben. · Dauer: ca. 120 min · Voraussetzung: Tag 13

Briefing

  • Drain sperrt einen Node für neue Pods (cordon) und räumt die laufenden ab. Ein PodDisruptionBudget (PDB) legt fest, wie viele Pods dabei mindestens laufen.
  • Ein Ausfall ist kein Drain: Kubernetes wartet erst, bis der Node als NotReady gilt, und räumt seine Pods noch einmal fünf Minuten später ab (Tag 12).
  • etcd hält den gesamten Zustand des Clusters. RKE2 sichert es mit rke2 etcd-snapshot und spielt es mit --cluster-reset zurück.
  • Ein Upgrade geht Node für Node: erst der Server, dann jeder Agent mit Drain, Installer, Neustart und uncordon.
 Drain                       Ausfall
 cordon ─► evict (PDB) ─►    Node schweigt ─► ~40 s NotReady ─► +5 min evict
 Pods starten woanders       Pods auf dem Node gelten so lange als Running

Für diesen Tag brauchst du ein zweites Terminal. Darin läuft eine Messschleife, die jede Sekunde notes abfragt und den HTTP-Status zeigt. So siehst du jede Störung sofort.

Drill 1: Tagesstart und Messschleife

source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
mkdir -p "$LAB/tag14" && cd "$LAB/tag14"
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag11/notes/." .
cp -R "$LAB/code/tag13/notes/." . && cp -R "$LAB/code/tag14/notes/." .
sed -i '' "s/SERVER_IP/$SERVER/" values-rke2.yaml
kubectl get pods -o wide

Erwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):

NAME                      READY   STATUS      RESTARTS      AGE   IP    NODE
api-7dd6f4bd7f-4lbf8      1/1     Running     3 (1h ago)    1h    …     rke2-server
…
db-0                      1/1     Running     0             1h    …     rke2-agent2
…

Merk dir den Node von db-0; im Buch ist es rke2-agent2. Im zweiten Terminal startest du die Messschleife und lässt sie den ganzen Tag laufen:

source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
while true; do
  printf '%s %s\n' "$(date +%T)" "$(curl -s -o /dev/null -m 2 -w '%{http_code}' \
    --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes)"
  sleep 1
done

Erwartet:

10:24:55 200
10:24:56 200
10:24:57 200

000 heißt: keine Antwort innerhalb von 2 Sekunden. 500 und 503 kommen aus web oder Envoy.

Fortschritt speichern? Kostenlos registrieren

Drill 2: PodDisruptionBudgets

Chart 0.3.0 bringt ein neues Template pdb.yaml. Für api und web legt es fest, wie viele Pods ein Drain mindestens stehen lassen muss:

{{/* chart/notes/templates/pdb.yaml – Stand Ende Tag 14 */}}
{{- if .Values.pdb.enabled }}
{{- range $name := list "api" "web" }}
---
apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: {{ $name }}
  labels:
    {{- include "notes.labels" (dict "ctx" $ "name" $name) | nindent 4 }}
spec:
  minAvailable: {{ (index $.Values.pdb $name).minAvailable }}
  selector:
    matchLabels:
      {{- include "notes.selector" $name | nindent 6 }}
{{- end }}
{{- end }}

Dazu in values.yaml (vollständig im Begleitcode code/tag14/notes/):

# Ab Tag 14: so viele Pods müssen bei einem Drain mindestens weiterlaufen.
# db hat bewusst kein Budget: eine Replik, ein Volume auf einem Node (Tag 14, Drill 4).
pdb:
  enabled: true
  api: {minAvailable: 2}
  web: {minAvailable: 1}
helm lint chart/notes -f values-rke2.yaml | tail -1
helm upgrade notes chart/notes -f values-rke2.yaml --wait --timeout 5m \
  | grep -E '^(STATUS|REVISION):'
kubectl get pdb

Erwartet (gekürzt):

1 chart(s) linted, 0 chart(s) failed
STATUS: deployed
REVISION: …
NAME   MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
api    2               N/A               1                     58s
web    1               N/A               1                     58s

Das Upgrade dauert etwa eine Minute, denn die neue Chart-Version rollt alle Pods neu (Tag 11). ALLOWED DISRUPTIONS 1: Von drei api-Pods darf einer gleichzeitig weg. Ohne --reuse-values gilt wieder die api-Version aus dem Chart (0.2.0).

Fortschritt speichern? Kostenlos registrieren

Drill 3: Drain ohne Datenbank

Leere den Agent, auf dem nicht db-0 läuft (im Buch rke2-agent1):

kubectl drain rke2-agent1 --ignore-daemonsets --delete-emptydir-data
kubectl get nodes
kubectl get pods -o wide

Erwartet (gekürzt):

node/rke2-agent1 cordoned
Warning: ignoring DaemonSet-managed Pods: kube-system/rke2-canal-kmpdq
evicting pod notes/worker-d54b9d4df-jwv62
evicting pod notes/api-69c4fc7c84-8749n
evicting pod envoy-gateway-system/envoy-gateway-666cb7f75f-2tx5j
…
pod/api-69c4fc7c84-8749n evicted
…
node/rke2-agent1 drained
NAME          STATUS                     ROLES                AGE   VERSION
rke2-agent1   Ready,SchedulingDisabled   <none>               31m   v1.36.5+rke2r1
rke2-agent2   Ready                      <none>               31m   v1.36.5+rke2r1
rke2-server   Ready                      control-plane,etcd   34m   v1.36.5+rke2r1
NAME                     READY   STATUS    RESTARTS   AGE   IP   NODE
api-69c4fc7c84-7kcqd     1/1     Running   0          12s   …    rke2-server
api-69c4fc7c84-bgwtk     1/1     Running   0          1m    …    rke2-agent2
api-69c4fc7c84-n9jgk     1/1     Running   0          1m    …    rke2-server
db-0                     1/1     Running   0          1m    …    rke2-agent2
web-5bcd78bdd9-mj5x8     1/1     Running   0          12s   …    rke2-agent2
web-5bcd78bdd9-n94xv     1/1     Running   0          1m    …    rke2-server
worker-d54b9d4df-drzhr   1/1     Running   0          12s   …    rke2-server

Der Drain dauert etwa 15 Sekunden, die Messschleife bleibt bei 200. Das PDB sorgt dafür, dass immer zwei api-Pods laufen. DaemonSets wie rke2-canal bleiben, denn sie gehören zu jedem Node. Gib den Node wieder frei:

kubectl uncordon rke2-agent1

Erwartet:

node/rke2-agent1 uncordoned

Die Pods wandern nicht von allein zurück. Erst neue Pods landen wieder auf rke2-agent1.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Drain mit Datenbank

Jetzt der Agent mit db-0. Schau dabei auf die Messschleife:

kubectl drain rke2-agent2 --ignore-daemonsets --delete-emptydir-data
kubectl get pods
kubectl get events --field-selector involvedObject.name=db-0,reason=FailedScheduling \
  -o custom-columns=MSG:.message | tail -1

Erwartet (gekürzt):

node/rke2-agent2 cordoned
…
pod/db-0 evicted
…
node/rke2-agent2 drained
NAME                     READY   STATUS             RESTARTS   AGE
api-69c4fc7c84-7kcqd     0/1     Running            0          3m
api-69c4fc7c84-hjtwt     0/1     CrashLoopBackOff   2          24s
api-69c4fc7c84-n9jgk     0/1     Running            0          3m
db-0                     0/1     Pending            0          10s
web-5bcd78bdd9-6z5hh     1/1     Running            0          24s
web-5bcd78bdd9-n94xv     1/1     Running            0          3m
worker-d54b9d4df-drzhr   1/1     Running            0          2m
0/3 nodes are available: 1 node(s) were unschedulable, 2 node(s) didn't match
PersistentVolume's node affinity. …

In der Messschleife:

10:24:59 500
10:25:00 500
…

Das Volume von local-path liegt auf rke2-agent2 (Tag 12). Der Scheduler darf db-0 nur dort starten, und genau dort darf gerade nichts hin. Ohne Datenbank meldet die api /healthz mit 503, fällt aus dem Service und startet neu (Tag 7). web antwortet mit 500. Hol den Node zurück:

kubectl uncordon rke2-agent2
kubectl wait --for=condition=Ready pod/db-0 --timeout=180s
kubectl wait --for=condition=Ready pod -l app.kubernetes.io/name=api --timeout=180s
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo

Erwartet (gekürzt):

node/rke2-agent2 uncordoned
pod/db-0 condition met
pod/api-69c4fc7c84-7kcqd condition met
…
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Etwa 40 Sekunden nach uncordon liefert die Schleife wieder 200, die Daten sind noch da. Ein PDB hätte hier nicht geholfen: Mit maxUnavailable: 0 für db bliebe der Drain einfach hängen. Eine Datenbank mit einer Replik auf lokalem Speicher braucht ein Wartungsfenster.

Achtung: Im Test lief auf rke2-agent2 auch der einzige Envoy-Pod. Der Drain warf ihn mit ab, und die Schleife zeigte ein paar Sekunden lang 000. Drill 6 behebt das.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Harter Ausfall

Ein Drain ist höflich. Ein abgestürzter Node meldet sich einfach nicht mehr. Such den Node, auf dem Envoy läuft, und schalte dort alles ab: rke2-killall.sh beendet den Dienst und alle Container, als wäre der Strom weg.

kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoy
multipass exec rke2-agent1 -- sudo systemctl stop rke2-agent
multipass exec rke2-agent1 -- sudo rke2-killall.sh > /dev/null
kubectl wait --for=condition=Ready=Unknown node/rke2-agent1 --timeout=120s
kubectl get pods -o wide

Erwartet (gekürzt, bei dir eventuell ein anderer Agent):

NAME                                         READY   STATUS    …   NODE
envoy-notes-notes-3aa9e90e-d4bdf7b8b-6hxtn   2/2     Running   …   rke2-agent1
node/rke2-agent1 condition met
NAME                     READY   STATUS    RESTARTS   AGE   IP   NODE
api-69c4fc7c84-hjtwt     1/1     Running   0          3m    …    rke2-agent1
…
web-5bcd78bdd9-6z5hh     1/1     Running   0          3m    …    rke2-agent1
…

Der Node ist nach etwa 45 Sekunden NotReady, seine Pods stehen aber weiter auf Running: Der kubelet, der es besser wüsste, ist tot. Die Schleife zeigt nur noch 000. Warte gut fünf Minuten:

kubectl get pods -o wide
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoy

Erwartet (gekürzt):

NAME                     READY   STATUS              RESTARTS   AGE   IP   NODE
api-69c4fc7c84-9569q     0/1     ContainerCreating   0          2s    …    rke2-agent2
api-69c4fc7c84-hjtwt     1/1     Terminating         0          8m    …    rke2-agent1
…
web-5bcd78bdd9-6z5hh     1/1     Terminating         0          8m    …    rke2-agent1
web-5bcd78bdd9-sf9n6     0/1     ContainerCreating   0          2s    …    rke2-agent2
…
NAME                                         READY   STATUS              …   NODE
envoy-notes-notes-3aa9e90e-d4bdf7b8b-6hxtn   2/2     Terminating         …   rke2-agent1
envoy-notes-notes-3aa9e90e-d4bdf7b8b-rsq5l   0/2     ContainerCreating   …   rke2-agent2

Erst jetzt greift der Taint NoExecute aus Tag 12, und die Pods ziehen um. Im Test war notes fast sechs Minuten weg (10:27:01 bis 10:32:59), weil das ganze Gateway an einem Pod hing. Die alten Pods bleiben auf Terminating, bis der Node zurück ist:

multipass exec rke2-agent1 -- sudo systemctl start rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent1 --timeout=180s
kubectl get pods

Erwartet (gekürzt):

node/rke2-agent1 condition met
NAME                     READY   STATUS    RESTARTS   AGE
api-69c4fc7c84-7kcqd     1/1     Running   0          14m
api-69c4fc7c84-9569q     1/1     Running   0          6m
…

Fortschritt speichern? Kostenlos registrieren

Drill 6: Envoy doppelt

Die Plattform-Datei k8s/gateway.yaml bekommt zwei Envoy-Pods, verteilt auf verschiedene Nodes. Neu ist nur der Block envoyDeployment:

# k8s/gateway.yaml (Ausschnitt) – Stand Ende Tag 14
spec:
  provider:
    type: Kubernetes
    kubernetes:
      # Ab Tag 14: zwei Envoy-Pods auf verschiedenen Nodes, ein Ausfall legt
      # das Gateway nicht mehr lahm.
      envoyDeployment:
        replicas: 2
        pod:
          topologySpreadConstraints:
            - maxSkew: 1
              topologyKey: kubernetes.io/hostname
              whenUnsatisfiable: DoNotSchedule
              labelSelector:
                matchLabels:
                  app.kubernetes.io/name: envoy
              matchLabelKeys: [pod-template-hash]

topologySpreadConstraints mit kubernetes.io/hostname verbietet, dass beide Pods auf demselben Node landen. matchLabelKeys zählt nur die Pods derselben Revision, so blockiert sich der Rollout nicht selbst.

kubectl apply --dry-run=server -f k8s/gateway.yaml
kubectl apply -f k8s/gateway.yaml
kubectl -n envoy-gateway-system rollout status deploy \
  -l gateway.envoyproxy.io/owning-gateway-name=notes
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoy

Erwartet (gekürzt):

envoyproxy.gateway.envoyproxy.io/nodeport configured (server dry run)
gatewayclass.gateway.networking.k8s.io/eg unchanged (server dry run)
envoyproxy.gateway.envoyproxy.io/nodeport configured
gatewayclass.gateway.networking.k8s.io/eg unchanged
…
deployment "envoy-notes-notes-3aa9e90e" successfully rolled out
NAME                                          READY   STATUS    …   NODE
envoy-notes-notes-3aa9e90e-789cbc89d8-twnsx   2/2     Running   …   rke2-agent1
envoy-notes-notes-3aa9e90e-789cbc89d8-zd94d   2/2     Running   …   rke2-agent2

Wiederhole den Ausfall aus Drill 5 auf einem der beiden Envoy-Nodes und schau auf die Schleife:

multipass exec rke2-agent1 -- sudo systemctl stop rke2-agent
multipass exec rke2-agent1 -- sudo rke2-killall.sh > /dev/null

Erwartet in der Messschleife (gekürzt):

10:52:16 200
10:52:18 000
…
10:53:01 503
10:53:03 200
10:53:04 200

Etwa 45 Sekunden Störung statt sechs Minuten. Sobald der Node NotReady ist, nimmt Kubernetes seine Pods aus den Services, und der zweite Envoy übernimmt. Node zurück:

multipass exec rke2-agent1 -- sudo systemctl start rke2-agent
kubectl wait --for=condition=Ready node --all --timeout=180s

Erwartet:

node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met

Fortschritt speichern? Kostenlos registrieren

Drill 7: etcd sichern und zurückspielen

Ein Snapshot sichert alle Kubernetes-Objekte, nicht die Daten in den Volumes. Auf dem Server als root:

multipass shell rke2-server

In der VM:

sudo -i
rke2 etcd-snapshot save --name vor-dem-unfall 2>&1 | grep saved
rke2 etcd-snapshot ls 2>/dev/null

Erwartet (gekürzt):

time="…" level=info msg="Snapshot vor-dem-unfall-rke2-server-1793442998 saved."
Name                                  Location                                    …
vor-dem-unfall-rke2-server-1793442998 file:///var/lib/rancher/rke2/server/db/snap…

Der Befehl warnt außerdem Unknown flag --ingress-controller found in config.yaml. Das ist harmlos: Der Snapshot-Befehl liest dieselbe Konfiguration wie der Server, braucht die Option aber nicht. Jetzt der Unfall, in einem weiteren Terminal auf dem Mac; die Messschleife läuft daneben weiter:

kubectl delete deployment web worker

Erwartet:

deployment.apps "web" deleted from notes namespace
deployment.apps "worker" deleted from notes namespace

Die Schleife zeigt 503. Zurück in der Root-Shell auf dem Server: Dienst stoppen, etcd auf den Snapshot zurücksetzen, Dienst starten.

systemctl stop rke2-server
S=$(ls -t /var/lib/rancher/rke2/server/db/snapshots | head -1)
echo "$S"
rke2 server --cluster-reset \
  --cluster-reset-restore-path="/var/lib/rancher/rke2/server/db/snapshots/$S" \
  2>&1 | grep -o 'Managed etcd cluster membership has been reset[^.]*'
systemctl start rke2-server
exit
exit

Erwartet (gekürzt):

vor-dem-unfall-rke2-server-1793442998
Managed etcd cluster membership has been reset, restart without --cluster-reset flag now

Der Reset dauert etwa eine Minute, der Start noch einmal so lange. Auf dem Mac:

kubectl wait --for=condition=Ready node --all --timeout=300s
kubectl get deploy

Erwartet:

node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met
NAME     READY   UP-TO-DATE   AVAILABLE   AGE
api      3/3     3            3           26m
web      2/2     2            2           26m
worker   1/1     1            1           26m

web und worker sind zurück. Schau trotzdem auf die Messschleife: Im Test lieferte das Gateway danach noch fünf Minuten 503. Der Controller von Envoy Gateway arbeitete mit dem Stand von vor dem Restore und kannte die neuen Pod-Adressen nicht. Die Kubernetes-Doku empfiehlt nach einem Restore deshalb, Controller neu zu starten:

kubectl -n envoy-gateway-system rollout restart deploy/envoy-gateway
kubectl -n envoy-gateway-system rollout status deploy/envoy-gateway
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo

Erwartet (gekürzt):

deployment.apps/envoy-gateway restarted
…
deployment "envoy-gateway" successfully rolled out
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Die Notiz kam nie aus etcd, sondern aus Postgres. Wer Daten sichern will, braucht zusätzlich ein Datenbank-Backup (Challenge Tag 15).

Fortschritt speichern? Kostenlos registrieren

Drill 8: Upgrade auf 1.37

Erst ein frischer Snapshot, dann der Server. Der Installer ersetzt nur die Dateien, der Neustart des Dienstes bringt die neue Version:

multipass exec rke2-server -- sudo rke2 etcd-snapshot save --name vor-upgrade \
  2>&1 | grep saved
multipass exec rke2-server -- bash -c \
  'curl -sfL https://get.rke2.io | sudo INSTALL_RKE2_VERSION=v1.37.1+rke2r1 sh -'
multipass exec rke2-server -- sudo systemctl restart rke2-server
kubectl get nodes
kubectl version | tail -1

Erwartet (gekürzt):

time="…" level=info msg="Snapshot vor-upgrade-rke2-server-1793443177 saved."
[INFO]  unpacking tarball file to /usr/local
NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               50m   v1.36.5+rke2r1
rke2-agent2   Ready    <none>               50m   v1.36.5+rke2r1
rke2-server   Ready    control-plane,etcd   53m   v1.37.1+rke2r1
Server Version: v1.37.1+rke2r1

Der Neustart dauerte im Test knapp vier Minuten. Erschrick nicht, wenn kubectl get pods -n kube-system danach kurz CrashLoopBackOff für kube-controller-manager und cloud-controller-manager zeigt. Die Static Pods werden nacheinander ersetzt; nach weiteren ein, zwei Minuten läuft alles. Ein kubelet darf älter sein als der API-Server (bis zu drei Minor-Versionen), aber nie neuer. Darum kommt der Server zuerst. Jetzt die Agents, einer nach dem anderen:

for n in rke2-agent1 rke2-agent2; do
  kubectl drain "$n" --ignore-daemonsets --delete-emptydir-data | tail -1
  multipass exec "$n" -- bash -c 'curl -sfL https://get.rke2.io \
    | sudo INSTALL_RKE2_VERSION=v1.37.1+rke2r1 INSTALL_RKE2_TYPE=agent sh -'
  multipass exec "$n" -- sudo systemctl restart rke2-agent
  kubectl wait --for=condition=Ready "node/$n" --timeout=300s
  kubectl uncordon "$n"
done
kubectl get nodes

Erwartet (gekürzt):

node/rke2-agent1 drained
[INFO]  unpacking tarball file to /usr/local
node/rke2-agent1 condition met
node/rke2-agent1 uncordoned
node/rke2-agent2 drained
…
node/rke2-agent2 uncordoned
NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               54m   v1.37.1+rke2r1
rke2-agent2   Ready    <none>               54m   v1.37.1+rke2r1
rke2-server   Ready    control-plane,etcd   57m   v1.37.1+rke2r1

Jeder Agent braucht etwa eine halbe Minute. Beim Agent mit db-0 siehst du in der Schleife wieder 500 wie in Drill 4 – dieses Mal geplant.

Ein neues Release bringt manchmal neue Bestandteile mit. Schau nach dem Upgrade, was RKE2 jetzt selbst installiert:

kubectl get helmcharts -n kube-system rke2-gateway-api-crd
c='{.metadata.annotations.meta\.helm\.sh/release-name} '
c+='{.metadata.annotations.gateway\.networking\.k8s\.io/channel}'
kubectl get crd gateways.gateway.networking.k8s.io -o jsonpath="$c"; echo
kubectl get gatewayclass eg

Erwartet (gekürzt):

NAME                   REPO   CHART   VERSION   TARGETNAMESPACE   BOOTSTRAP   FAILED
rke2-gateway-api-crd                                              false       False
rke2-gateway-api-crd standard
NAME   CONTROLLER                                      ACCEPTED   AGE
eg     gateway.envoyproxy.io/gatewayclass-controller   True       2h

Achtung: RKE2 1.37 liefert die Gateway-API-CRDs selbst aus und übernimmt die vorhandenen von Envoy Gateway (Tag 11), dabei vom Kanal experimental auf standard. notes läuft weiter, weil es nur Gateway und HTTPRoute nutzt. Wer experimentelle Routen braucht, muss das vor dem Upgrade klären. Lies vor jedem Upgrade die Release Notes von RKE2.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get nodes

Erwartet: alle drei Ready mit v1.37.1+rke2r1, keiner mit SchedulingDisabled.

NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               54m   v1.37.1+rke2r1
rke2-agent2   Ready    <none>               54m   v1.37.1+rke2r1
rke2-server   Ready    control-plane,etcd   57m   v1.37.1+rke2r1
kubectl get pdb

Erwartet: api mit MIN AVAILABLE 2, web mit 1.

NAME   MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
api    2               N/A               1                     30m
web    1               N/A               1                     30m
kubectl -n envoy-gateway-system get pods -o wide -l app.kubernetes.io/name=envoy

Erwartet: zwei Envoy-Pods 2/2, auf zwei verschiedenen Nodes.

NAME                                          READY   STATUS    …   NODE
envoy-notes-notes-3aa9e90e-789cbc89d8-twnsx   2/2     Running   …   rke2-agent1
envoy-notes-notes-3aa9e90e-789cbc89d8-zd94d   2/2     Running   …   rke2-agent2
multipass exec rke2-server -- sudo rke2 etcd-snapshot ls 2>/dev/null

Erwartet: die Snapshots vor-dem-unfall und vor-upgrade.

Name                                  Location   …
vor-dem-unfall-rke2-server-1793442998 file:///…  …
vor-upgrade-rke2-server-1793443177    file:///…  …

Challenge

RKE2 sichert etcd von selbst, standardmäßig um 0 und 12 Uhr, und hebt fünf Snapshots auf. Stell das für das Labor auf alle fünf Minuten und drei Snapshots um und beweise, dass ein automatischer Snapshot entsteht.

Hinweis: Die Optionen heißen wie die Flags von rke2 server ohne die zwei Striche und gehören in /etc/rancher/rke2/config.yaml.

Lösung

multipass exec rke2-server -- sudo tee -a /etc/rancher/rke2/config.yaml <<'EOF'
etcd-snapshot-schedule-cron: "*/5 * * * *"
etcd-snapshot-retention: 3
EOF
multipass exec rke2-server -- sudo systemctl restart rke2-server

Nach spätestens fünf Minuten:

multipass exec rke2-server -- sudo rke2 etcd-snapshot ls 2>/dev/null

Erwartet (gekürzt):

Name                                  Location   …
vor-dem-unfall-rke2-server-1793442998 file:///…  …
vor-upgrade-rke2-server-1793443177    file:///…  …
etcd-snapshot-rke2-server-1793444405  file:///…  …

Automatische Snapshots heißen etcd-snapshot-<node>-<zeit>. Die Aufbewahrung gilt nur für sie; deine benannten Snapshots bleiben, bis du sie mit rke2 etcd-snapshot delete entfernst.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Datenbank: Eine Postgres-Replik auf lokalem Speicher braucht Wartungsfenster. Ein Operator wie CloudNativePG betreibt Primary und Standbys auf verschiedenen Nodes und schaltet beim Drain um („Kubernetes-Operatoren zum Anfassen”).
  • Gateway und Ingress: Jede Komponente im Datenpfad läuft mindestens doppelt, verteilt über Nodes oder Zonen, mit PDB.
  • Ausfallzeiten: Die fünf Minuten bis zum Umzug lassen sich pro Pod mit tolerations für node.kubernetes.io/unreachable und kürzerem tolerationSeconds verkürzen, aber nicht auf null.
  • Snapshots: In Produktion gehen sie per S3-Optionen (etcd-s3) aus dem Cluster hinaus. Ein Snapshot nur auf dem Server, der gerade ausgefallen ist, hilft nicht.
  • Upgrades: Der system-upgrade-controller von Rancher automatisiert die Schritte aus Drill 8 mit Plan-Objekten. Rancher Manager steuert Upgrades für viele Cluster.