Tag 12: Ein Drei-Node-Cluster mit RKE2
Ziel: Drei VMs starten, darauf ein RKE2-Cluster mit einem Server und zwei Agents bauen, es vom Mac aus mit
kubectlsteuern und mit Speicher und Gateway für den Umzug an Tag 13 vorbereiten. · Dauer: ca. 90 min · Voraussetzung: Tag 11
Briefing
- RKE2 ist eine Kubernetes-Distribution von Rancher (SUSE). Ein einziges Binary bringt containerd, kubelet, etcd und die Control Plane mit und läuft als systemd-Dienst.
- Ein Server trägt Control Plane und etcd, ein Agent nur deine Pods. Agents melden sich mit einem Join-Token am Server an (Port 9345).
- Anders als kind sind die Nodes echte Maschinen: Sie fallen aus, starten neu und haben eigene Platten. Genau das übst du ab heute.
- RKE2 bringt keinen Speicher für PVCs mit. Den liefert der local-path-provisioner. Das Gateway macht wieder Envoy Gateway wie an Tag 11.
Mac Multipass-VMs (Ubuntu 24.04)
┌──────────────────┐ ┌─────────────────────┐
│ ~/k8s-lab/ │ :6443 │ rke2-server │ Control Plane, etcd
│ kubectl, helm ───┼───────►│ rke2-server.service │
│ rke2.yaml │ └──────────▲──────────┘
│ │ │ :9345 Join-Token
│ curl :30080 ─────┼──────► ┌──────────┴──────────┐ ┌─────────────────────┐
└──────────────────┘ │ rke2-agent1 │ │ rke2-agent2 │
│ rke2-agent.service │ │ rke2-agent.service │
└─────────────────────┘ └─────────────────────┘
Drill 1: Drei VMs
Die VMs brauchen zusammen 10 GB RAM. Stoppe das kind-Labor aus Teil
1; es kommt in diesem Teil nicht mehr vor. Multipass gibt es unter
multipass.run oder per
brew install --cask multipass.
colima stop
multipass launch 24.04 --name rke2-server --cpus 2 --memory 4G --disk 30G
multipass launch 24.04 --name rke2-agent1 --cpus 2 --memory 3G --disk 30G
multipass launch 24.04 --name rke2-agent2 --cpus 2 --memory 3G --disk 30G
multipass listErwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):
Launched: rke2-server
Launched: rke2-agent1
Launched: rke2-agent2
Name State IPv4 Image
rke2-agent1 Running … Ubuntu 24.04 LTS
rke2-agent2 Running … Ubuntu 24.04 LTS
rke2-server Running … Ubuntu 24.04 LTS
Jede andere Ubuntu-24.04-VM mit SSH und sudo tut es
auch. Dann ersetzt ssh die Befehle
multipass shell und multipass exec,
scp ersetzt multipass transfer.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Adressen und Tagesordner
Die IP-Adressen brauchst du ständig. Lies sie in der Spalte
IPv4 von multipass list ab (Drill 1) und trag
sie in eine neue Datei ~/k8s-lab/setup/rke2.env ein.
Dieselbe Datei stellt kubectl auf das neue Cluster um.
# setup/rke2.env – Teil 2: Adressen der VMs und kubeconfig
export SERVER=192.168.64.10 # IPv4 von rke2-server, bei dir anders
export AGENT1=192.168.64.11 # IPv4 von rke2-agent1
export AGENT2=192.168.64.12 # IPv4 von rke2-agent2
export KUBECONFIG=$HOME/k8s-lab/rke2.yamlsource ~/k8s-lab/setup/env.sh
source "$LAB/setup/rke2.env"
echo "$SERVER $AGENT1 $AGENT2"
mkdir -p "$LAB/tag12" && cd "$LAB/tag12"
cp -R "$LAB/code/tag12/." .
ls rke2Erwartet (gekürzt):
… … …
config-agent.yaml
config-server.yaml
Ab jetzt beginnt jeder Tag mit
source ~/k8s-lab/setup/env.sh und
source ~/k8s-lab/setup/rke2.env.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Der Server
Die Konfiguration muss schon vor der Installation in
/etc/rancher/rke2/config.yaml liegen. Die Vorlage enthält
den Platzhalter SERVER_IP.
# /etc/rancher/rke2/config.yaml auf rke2-server – Stand Ende Tag 12
# Vorlage: SERVER_IP ersetzt Drill 3 per sed durch die echte Adresse.
write-kubeconfig-mode: "0600"
tls-san:
- SERVER_IP
# Traefik (Standard ab v1.36) aus: das Gateway macht Envoy wie in Tag 11.
ingress-controller: nonetls-san schreibt die IP in das Zertifikat des
API-Servers, sonst lehnt kubectl vom Mac die Verbindung ab.
Ersetzen, auf den Server kopieren, installieren:
sed "s/SERVER_IP/$SERVER/" rke2/config-server.yaml > config-server.yaml
multipass transfer config-server.yaml rke2-server:/tmp/config.yaml
multipass exec rke2-server -- sudo install -D -m 600 /tmp/config.yaml \
/etc/rancher/rke2/config.yaml
multipass exec rke2-server -- bash -c \
'curl -sfL https://get.rke2.io | sudo INSTALL_RKE2_VERSION=v1.36.5+rke2r1 sh -'
multipass exec rke2-server -- sudo systemctl enable --now rke2-serverErwartet (gekürzt):
[INFO] downloading tarball at https://github.com/rancher/rke2/releases/download/…
[INFO] verifying tarball
[INFO] unpacking tarball file to /usr/local
Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → …
systemctl enable --now kehrt erst zurück, wenn der
Server läuft. Das dauert etwa anderthalb Minuten.
Achtung: Die Version steht fest im Befehl. Ohne
INSTALL_RKE2_VERSIONnimmt der Installer den stable-Kanal, und das Upgrade an Tag 14 passt nicht mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Der Server von innen
Geh auf den Server und werde root. RKE2 legt kubectl und
crictl unter /var/lib/rancher/rke2/bin ab, die
kubeconfig unter /etc/rancher/rke2/rke2.yaml (nur für root
lesbar).
multipass shell rke2-serverIn der VM:
sudo -i
export PATH=$PATH:/var/lib/rancher/rke2/bin
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
rke2 --version
kubectl get nodes
kubectl get pods -n kube-systemErwartet (gekürzt):
rke2 version v1.36.5+rke2r1 (e1d699d2c3a3d3c1f3247c4f9eb140f20d369776)
go version go1.26.8-X:boringcrypto
NAME STATUS ROLES AGE VERSION
rke2-server Ready control-plane,etcd 91s v1.36.5+rke2r1
NAME READY STATUS RESTARTS
cloud-controller-manager-rke2-server 1/1 Running 0
etcd-rke2-server 1/1 Running 0
helm-install-rke2-canal-tc86x 0/1 Completed 0
helm-install-rke2-coredns-v7xs9 0/1 Completed 0
…
kube-apiserver-rke2-server 1/1 Running 0
kube-controller-manager-rke2-server 1/1 Running 0
kube-proxy-rke2-server 1/1 Running 0
kube-scheduler-rke2-server 1/1 Running 0
rke2-canal-r8rmh 2/2 Running 0
rke2-coredns-rke2-coredns-747b86f67b-8jtpf 1/1 Running 0
…
Direkt nach dem Start steht der Node kurz auf NotReady,
bis das Pod-Netz (canal) läuft. Zwei Arten von Pods fallen auf. Die
Control Plane läuft als Static Pods: Der kubelet
startet sie aus Dateien, nicht der API-Server. Die Zusatzdienste
installiert RKE2 als Helm-Charts über die
helm-install-…-Jobs.
ls /var/lib/rancher/rke2/agent/pod-manifests
kubectl get helmcharts -n kube-system
cat /var/lib/rancher/rke2/server/manifests/rke2-traefik.yamlErwartet:
cloud-controller-manager.yaml kube-apiserver.yaml kube-proxy.yaml
etcd.yaml kube-controller-manager.yaml kube-scheduler.yaml
NAME REPO CHART … BOOTSTRAP FAILED
rke2-canal true False
rke2-coredns true False
rke2-metrics-server False
rke2-runtimeclasses False
rke2-snapshot-controller False
rke2-snapshot-controller-crd False
# disabled by configuration
Traefik ist da, aber leer: ingress-controller: none
wirkt. Zum Schluss die Container direkt in containerd.
crictl braucht den Pfad zum Socket von RKE2:
export CONTAINER_RUNTIME_ENDPOINT=unix:///run/k3s/containerd/containerd.sock
crictl ps --name etcd
exit
exitDas erste exit verlässt die Root-Shell, das zweite die
VM.
Erwartet (gekürzt):
… level=warning msg="Config \"/etc/crictl.yaml\" does not exist, trying next: …
CONTAINER IMAGE CREATED STATE NAME ATTEMPT
a366598c30332 20d464133993d 15 minutes ago Running etcd 0
Die Warnung ist harmlos: crictl sucht erst seine Konfigurationsdatei und nimmt dann den Socket aus der Variablen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: kubectl vom Mac
Die kubeconfig des Servers zeigt auf 127.0.0.1 und nennt
alles default. Hol sie auf den Mac, setz die Server-IP ein
und nenn Cluster, User und Kontext rke2:
multipass exec rke2-server -- sudo cat /etc/rancher/rke2/rke2.yaml \
| sed -e "s/127.0.0.1/$SERVER/" -e 's/: default$/: rke2/' > "$KUBECONFIG"
chmod 600 "$KUBECONFIG"
kubectl config get-contexts
kubectl get nodes -o wideErwartet (gekürzt):
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
* rke2 rke2 rke2
NAME STATUS ROLES AGE VERSION INTERNAL-IP …
rke2-server Ready control-plane,etcd 4m53s v1.36.5+rke2r1 … …
Sicherheit: Die Datei enthält das Admin-Zertifikat des Clusters. Sie gehört nach
~/k8s-labmit Rechten600, nie in ein Git-Repository.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Zwei Agents treten bei
Ein Agent braucht die Adresse des Servers und das Join-Token. Das Token wandert vom Server in eine Datei auf dem Mac und von dort auf die Agents, ohne dass du es siehst:
multipass exec rke2-server -- sudo cat /var/lib/rancher/rke2/server/node-token \
> "$LAB/rke2-token"
chmod 600 "$LAB/rke2-token"
TOKEN="$LAB/rke2-token"
cat rke2/config-agent.yaml
sed "s/SERVER_IP/$SERVER/" rke2/config-agent.yaml > config-agent.yamlErwartet:
# /etc/rancher/rke2/config.yaml auf rke2-agent1 und rke2-agent2 – Stand Ende Tag 12
server: https://SERVER_IP:9345
# Das Join-Token liegt in einer Datei, nie im Klartext in der Konfig.
token-file: /etc/rancher/rke2/tokenJetzt für beide Agents dasselbe. INSTALL_RKE2_TYPE=agent
installiert den Dienst rke2-agent statt
rke2-server:
for vm in rke2-agent1 rke2-agent2; do
multipass transfer "$TOKEN" config-agent.yaml "$vm":/tmp/
multipass exec "$vm" -- sudo install -D -m 600 /tmp/rke2-token \
/etc/rancher/rke2/token
multipass exec "$vm" -- sudo install -m 600 /tmp/config-agent.yaml \
/etc/rancher/rke2/config.yaml
multipass exec "$vm" -- rm /tmp/rke2-token
multipass exec "$vm" -- bash -c 'curl -sfL https://get.rke2.io \
| sudo INSTALL_RKE2_VERSION=v1.36.5+rke2r1 INSTALL_RKE2_TYPE=agent sh -'
multipass exec "$vm" -- sudo systemctl enable --now rke2-agent
done
kubectl get nodesErwartet (gekürzt):
NAME STATUS ROLES AGE VERSION
rke2-agent1 NotReady <none> 4s v1.36.5+rke2r1
rke2-agent2 NotReady <none> 2s v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 3m5s v1.36.5+rke2r1
Die Agents laden erst das Pod-Netz. Warte, bis alle drei bereit sind:
kubectl wait --for=condition=Ready node --all --timeout=300s
kubectl get nodesErwartet (gekürzt):
node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 91s v1.36.5+rke2r1
rke2-agent2 Ready <none> 89s v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 4m32s v1.36.5+rke2r1
ROLES <none> heißt: ein reiner Worker. Auch der
Server nimmt normale Pods an, denn er hat keinen Taint.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Speicher mit local-path
In kind gab es die StorageClass standard. Hier gibt es
keine:
kubectl get scErwartet:
No resources found
Der local-path-provisioner legt für jeden PVC ein Verzeichnis auf einem Node an. Installieren und zur Standard-StorageClass machen:
kubectl apply -f https://raw.githubusercontent.com/rancher/\
local-path-provisioner/v0.0.37/deploy/local-path-storage.yaml
kubectl annotate sc local-path storageclass.kubernetes.io/is-default-class=true
kubectl -n local-path-storage rollout status deploy/local-path-provisioner
kubectl get scErwartet (gekürzt):
…
storageclass.storage.k8s.io/local-path annotated
deployment "local-path-provisioner" successfully rolled out
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE
local-path (default) rancher.io/local-path Delete WaitForFirstConsumer
Probier es mit einem PVC und einem Pod aus:
cat > probe.yaml <<'EOF'
# probe.yaml – Test für local-path (Tag 12, danach löschen)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: probe
namespace: default
spec:
accessModes: [ReadWriteOnce]
resources:
requests:
storage: 100Mi
---
apiVersion: v1
kind: Pod
metadata:
name: probe
namespace: default
spec:
containers:
- name: probe
image: busybox:1.37
command: ["sh", "-c", "echo hallo > /d/f && sleep 3600"]
volumeMounts:
- {name: d, mountPath: /d}
volumes:
- name: d
persistentVolumeClaim:
claimName: probe
EOF
kubectl apply -f probe.yaml
kubectl -n default wait --for=condition=Ready pod/probe --timeout=120s
kubectl -n default get pvc probe
kubectl -n default get pod probe -o wideErwartet (gekürzt):
persistentvolumeclaim/probe created
pod/probe created
pod/probe condition met
NAME STATUS VOLUME CAPACITY ACCESS MODES
probe Bound pvc-bd543f6e-bc8b-416d-a605-78fcb2d9f9d7 100Mi RWO
NAME READY STATUS RESTARTS AGE IP NODE …
probe 1/1 Running 0 13s 10.42.2.5 rke2-agent2 …
WaitForFirstConsumer heißt: Der PVC bleibt
Pending, bis ein Pod ihn braucht. Erst dann steht fest, auf
welchem Node das Verzeichnis entsteht. Schau auf diesem Node nach (bei
dir eventuell rke2-agent1):
multipass exec rke2-agent2 -- sudo ls /opt/local-path-provisioner
multipass exec rke2-agent2 -- sh -c 'sudo cat /opt/local-path-provisioner/*/f'
kubectl delete -f probe.yamlErwartet (gekürzt):
pvc-bd543f6e-bc8b-416d-a605-78fcb2d9f9d7_default_probe
hallo
persistentvolumeclaim "probe" deleted from default namespace
pod "probe" deleted from default namespace
Die Daten liegen auf der Platte dieses einen Nodes. Was das für Postgres bedeutet, wenn der Node gewartet wird, siehst du an Tag 14.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Envoy Gateway
Das Gateway kommt wie an Tag 11 per Helm, dazu die Plattform-Datei
k8s/gateway.yaml aus Tag 11 mit dem NodePort 30080:
helm install eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.3 \
-n envoy-gateway-system --create-namespace --wait | grep -E '^(NAME|STATUS):'
kubectl apply -f "$LAB/code/tag11/notes/k8s/gateway.yaml"
kubectl get gatewayclassErwartet:
NAME: eg
STATUS: deployed
envoyproxy.gateway.envoyproxy.io/nodeport created
gatewayclass.gateway.networking.k8s.io/eg created
NAME CONTROLLER ACCEPTED AGE
eg gateway.envoyproxy.io/gatewayclass-controller True 1s
Ein Probe-Gateway ohne Route zeigt, ob der Port auf allen Nodes antwortet:
cat > probe-gw.yaml <<'EOF'
# probe-gw.yaml – Test für den NodePort (Tag 12, danach löschen)
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
name: probe
namespace: default
spec:
gatewayClassName: eg
listeners:
- {name: http, protocol: HTTP, port: 80}
EOF
kubectl apply -f probe-gw.yaml
kubectl -n default wait --for=condition=Programmed gateway/probe --timeout=120s
curl -s -o /dev/null -w '%{http_code}\n' "http://$SERVER:30080/"
curl -s -o /dev/null -w '%{http_code}\n' "http://$AGENT1:30080/"
curl -s -o /dev/null -w '%{http_code}\n' "http://$AGENT2:30080/"
kubectl delete -f probe-gw.yamlErwartet:
gateway.gateway.networking.k8s.io/probe created
gateway.gateway.networking.k8s.io/probe condition met
404
404
404
gateway.gateway.networking.k8s.io "probe" deleted from default namespace
404 ist richtig: Envoy antwortet, kennt aber noch keine Route. Dass
alle drei Nodes antworten, obwohl Envoy nur auf einem läuft, verdankst
du externalTrafficPolicy: Cluster aus Tag 11.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl get nodesErwartet: drei Nodes, alle Ready, Version
v1.36.5+rke2r1.
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 12m v1.36.5+rke2r1
rke2-agent2 Ready <none> 12m v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 15m v1.36.5+rke2r1
kubectl get scErwartet: local-path mit (default).
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE
local-path (default) rancher.io/local-path Delete WaitForFirstConsumer
kubectl get gatewayclass egErwartet: ACCEPTED True.
NAME CONTROLLER ACCEPTED AGE
eg gateway.envoyproxy.io/gatewayclass-controller True 5m
kubectl get ns notesErwartet: Den Namespace gibt es hier noch nicht, er kommt erst an Tag 13.
Error from server (NotFound): namespaces "notes" not found
Challenge
Was sieht das Cluster, wenn ein Agent ausfällt? Stoppe den Dienst
rke2-agent auf rke2-agent1. Finde heraus, nach
wie vielen Sekunden der Node NotReady wird und welche
Taints er dann trägt. Starte den Dienst danach wieder.
Hinweis: Ein Neustart der VM reicht nicht: Er ist
schneller vorbei, als das Cluster misstrauisch wird.
kubectl wait kann auch auf Ready=Unknown
warten.
Lösung
multipass exec rke2-agent1 -- sudo systemctl stop rke2-agent
time kubectl wait --for=condition=Ready=Unknown node/rke2-agent1 --timeout=180s
kubectl get nodes
kubectl get node rke2-agent1 -o jsonpath='{.spec.taints}'; echo
multipass exec rke2-agent1 -- sudo systemctl start rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent1 --timeout=180sErwartet (gekürzt):
node/rke2-agent1 condition met
real 0m42.3s
NAME STATUS ROLES AGE VERSION
rke2-agent1 NotReady <none> 8m42s v1.36.5+rke2r1
rke2-agent2 Ready <none> 8m40s v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 11m v1.36.5+rke2r1
[{"effect":"NoSchedule","key":"node.kubernetes.io/unreachable",…},
{"effect":"NoExecute","key":"node.kubernetes.io/unreachable",…}]
node/rke2-agent1 condition met
Nach gut 40 Sekunden ohne Lebenszeichen vom kubelet setzt der
Controller den Node auf Unknown.
kubectl describe node nennt den Grund:
Kubelet stopped posting node status. Der Taint
NoSchedule hält neue Pods fern. NoExecute
räumt laufende Pods nach weiteren fünf Minuten ab; so lange tolerieren
sie ihn standardmäßig. Nach dem Start ist der Node sofort wieder
Ready.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Hochverfügbarkeit: In Produktion laufen drei (oder fünf) Server, damit etcd ein Quorum behält. Agents und weitere Server zeigen dann auf eine feste Adresse vor den Servern (Load Balancer oder DNS), nicht auf einen einzelnen Server.
- Härtung:
profile: cisin derconfig.yamlschaltet die CIS-Vorgaben ein (unter anderem Pod Securityrestrictedclusterweit). Vorher müssen auf jedem Host ein Benutzeretcdund einige Kernel-Parameter eingerichtet sein, siehedocs.rke2.io. - Ohne Internet: Für Rechenzentren ohne Zugang gibt es Image-Archive und eine Installation „air-gapped”; die Images kommen dann aus einer eigenen Registry (Tag 13).
- Speicher: local-path bindet Daten an einen Node. Für echte Ausfallsicherheit replizieren Longhorn oder ein externer Speicher (Ceph, NFS-Filer, SAN mit CSI-Treiber) die Volumes.
- Viele Cluster: Rancher Manager verwaltet RKE2-Cluster zentral, mit Rechten, Upgrades und GitOps über Fleet.