Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Ein Drei-Node-Cluster mit RKE2

Ziel: Drei VMs starten, darauf ein RKE2-Cluster mit einem Server und zwei Agents bauen, es vom Mac aus mit kubectl steuern und mit Speicher und Gateway für den Umzug an Tag 13 vorbereiten. · Dauer: ca. 90 min · Voraussetzung: Tag 11

Briefing

  • RKE2 ist eine Kubernetes-Distribution von Rancher (SUSE). Ein einziges Binary bringt containerd, kubelet, etcd und die Control Plane mit und läuft als systemd-Dienst.
  • Ein Server trägt Control Plane und etcd, ein Agent nur deine Pods. Agents melden sich mit einem Join-Token am Server an (Port 9345).
  • Anders als kind sind die Nodes echte Maschinen: Sie fallen aus, starten neu und haben eigene Platten. Genau das übst du ab heute.
  • RKE2 bringt keinen Speicher für PVCs mit. Den liefert der local-path-provisioner. Das Gateway macht wieder Envoy Gateway wie an Tag 11.
 Mac                         Multipass-VMs (Ubuntu 24.04)
 ┌──────────────────┐        ┌─────────────────────┐
 │ ~/k8s-lab/       │ :6443  │ rke2-server         │ Control Plane, etcd
 │ kubectl, helm ───┼───────►│ rke2-server.service │
 │ rke2.yaml        │        └──────────▲──────────┘
 │                  │                   │ :9345 Join-Token
 │ curl :30080 ─────┼──────► ┌──────────┴──────────┐ ┌─────────────────────┐
 └──────────────────┘        │ rke2-agent1         │ │ rke2-agent2         │
                             │ rke2-agent.service  │ │ rke2-agent.service  │
                             └─────────────────────┘ └─────────────────────┘

Drill 1: Drei VMs

Die VMs brauchen zusammen 10 GB RAM. Stoppe das kind-Labor aus Teil 1; es kommt in diesem Teil nicht mehr vor. Multipass gibt es unter multipass.run oder per brew install --cask multipass.

colima stop
multipass launch 24.04 --name rke2-server --cpus 2 --memory 4G --disk 30G
multipass launch 24.04 --name rke2-agent1 --cpus 2 --memory 3G --disk 30G
multipass launch 24.04 --name rke2-agent2 --cpus 2 --memory 3G --disk 30G
multipass list

Erwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):

Launched: rke2-server
Launched: rke2-agent1
Launched: rke2-agent2
Name                    State             IPv4             Image
rke2-agent1             Running           …                Ubuntu 24.04 LTS
rke2-agent2             Running           …                Ubuntu 24.04 LTS
rke2-server             Running           …                Ubuntu 24.04 LTS

Jede andere Ubuntu-24.04-VM mit SSH und sudo tut es auch. Dann ersetzt ssh die Befehle multipass shell und multipass exec, scp ersetzt multipass transfer.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Adressen und Tagesordner

Die IP-Adressen brauchst du ständig. Lies sie in der Spalte IPv4 von multipass list ab (Drill 1) und trag sie in eine neue Datei ~/k8s-lab/setup/rke2.env ein. Dieselbe Datei stellt kubectl auf das neue Cluster um.

# setup/rke2.env – Teil 2: Adressen der VMs und kubeconfig
export SERVER=192.168.64.10   # IPv4 von rke2-server, bei dir anders
export AGENT1=192.168.64.11   # IPv4 von rke2-agent1
export AGENT2=192.168.64.12   # IPv4 von rke2-agent2
export KUBECONFIG=$HOME/k8s-lab/rke2.yaml
source ~/k8s-lab/setup/env.sh
source "$LAB/setup/rke2.env"
echo "$SERVER $AGENT1 $AGENT2"
mkdir -p "$LAB/tag12" && cd "$LAB/tag12"
cp -R "$LAB/code/tag12/." .
ls rke2

Erwartet (gekürzt):

… … …
config-agent.yaml
config-server.yaml

Ab jetzt beginnt jeder Tag mit source ~/k8s-lab/setup/env.sh und source ~/k8s-lab/setup/rke2.env.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Der Server

Die Konfiguration muss schon vor der Installation in /etc/rancher/rke2/config.yaml liegen. Die Vorlage enthält den Platzhalter SERVER_IP.

# /etc/rancher/rke2/config.yaml auf rke2-server – Stand Ende Tag 12
# Vorlage: SERVER_IP ersetzt Drill 3 per sed durch die echte Adresse.
write-kubeconfig-mode: "0600"
tls-san:
  - SERVER_IP
# Traefik (Standard ab v1.36) aus: das Gateway macht Envoy wie in Tag 11.
ingress-controller: none

tls-san schreibt die IP in das Zertifikat des API-Servers, sonst lehnt kubectl vom Mac die Verbindung ab. Ersetzen, auf den Server kopieren, installieren:

sed "s/SERVER_IP/$SERVER/" rke2/config-server.yaml > config-server.yaml
multipass transfer config-server.yaml rke2-server:/tmp/config.yaml
multipass exec rke2-server -- sudo install -D -m 600 /tmp/config.yaml \
  /etc/rancher/rke2/config.yaml
multipass exec rke2-server -- bash -c \
  'curl -sfL https://get.rke2.io | sudo INSTALL_RKE2_VERSION=v1.36.5+rke2r1 sh -'
multipass exec rke2-server -- sudo systemctl enable --now rke2-server

Erwartet (gekürzt):

[INFO]  downloading tarball at https://github.com/rancher/rke2/releases/download/…
[INFO]  verifying tarball
[INFO]  unpacking tarball file to /usr/local
Created symlink /etc/systemd/system/multi-user.target.wants/rke2-server.service → …

systemctl enable --now kehrt erst zurück, wenn der Server läuft. Das dauert etwa anderthalb Minuten.

Achtung: Die Version steht fest im Befehl. Ohne INSTALL_RKE2_VERSION nimmt der Installer den stable-Kanal, und das Upgrade an Tag 14 passt nicht mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Der Server von innen

Geh auf den Server und werde root. RKE2 legt kubectl und crictl unter /var/lib/rancher/rke2/bin ab, die kubeconfig unter /etc/rancher/rke2/rke2.yaml (nur für root lesbar).

multipass shell rke2-server

In der VM:

sudo -i
export PATH=$PATH:/var/lib/rancher/rke2/bin
export KUBECONFIG=/etc/rancher/rke2/rke2.yaml
rke2 --version
kubectl get nodes
kubectl get pods -n kube-system

Erwartet (gekürzt):

rke2 version v1.36.5+rke2r1 (e1d699d2c3a3d3c1f3247c4f9eb140f20d369776)
go version go1.26.8-X:boringcrypto
NAME          STATUS   ROLES                AGE   VERSION
rke2-server   Ready    control-plane,etcd   91s   v1.36.5+rke2r1
NAME                                                   READY   STATUS      RESTARTS
cloud-controller-manager-rke2-server                   1/1     Running     0
etcd-rke2-server                                       1/1     Running     0
helm-install-rke2-canal-tc86x                          0/1     Completed   0
helm-install-rke2-coredns-v7xs9                        0/1     Completed   0
…
kube-apiserver-rke2-server                             1/1     Running     0
kube-controller-manager-rke2-server                    1/1     Running     0
kube-proxy-rke2-server                                 1/1     Running     0
kube-scheduler-rke2-server                             1/1     Running     0
rke2-canal-r8rmh                                       2/2     Running     0
rke2-coredns-rke2-coredns-747b86f67b-8jtpf             1/1     Running     0
…

Direkt nach dem Start steht der Node kurz auf NotReady, bis das Pod-Netz (canal) läuft. Zwei Arten von Pods fallen auf. Die Control Plane läuft als Static Pods: Der kubelet startet sie aus Dateien, nicht der API-Server. Die Zusatzdienste installiert RKE2 als Helm-Charts über die helm-install-…-Jobs.

ls /var/lib/rancher/rke2/agent/pod-manifests
kubectl get helmcharts -n kube-system
cat /var/lib/rancher/rke2/server/manifests/rke2-traefik.yaml

Erwartet:

cloud-controller-manager.yaml  kube-apiserver.yaml           kube-proxy.yaml
etcd.yaml                      kube-controller-manager.yaml  kube-scheduler.yaml
NAME                           REPO   CHART   …   BOOTSTRAP   FAILED
rke2-canal                                        true        False
rke2-coredns                                      true        False
rke2-metrics-server                                           False
rke2-runtimeclasses                                           False
rke2-snapshot-controller                                      False
rke2-snapshot-controller-crd                                  False
# disabled by configuration

Traefik ist da, aber leer: ingress-controller: none wirkt. Zum Schluss die Container direkt in containerd. crictl braucht den Pfad zum Socket von RKE2:

export CONTAINER_RUNTIME_ENDPOINT=unix:///run/k3s/containerd/containerd.sock
crictl ps --name etcd
exit
exit

Das erste exit verlässt die Root-Shell, das zweite die VM.

Erwartet (gekürzt):

… level=warning msg="Config \"/etc/crictl.yaml\" does not exist, trying next: …
CONTAINER           IMAGE               CREATED             STATE     NAME   ATTEMPT
a366598c30332       20d464133993d       15 minutes ago      Running   etcd   0

Die Warnung ist harmlos: crictl sucht erst seine Konfigurationsdatei und nimmt dann den Socket aus der Variablen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: kubectl vom Mac

Die kubeconfig des Servers zeigt auf 127.0.0.1 und nennt alles default. Hol sie auf den Mac, setz die Server-IP ein und nenn Cluster, User und Kontext rke2:

multipass exec rke2-server -- sudo cat /etc/rancher/rke2/rke2.yaml \
  | sed -e "s/127.0.0.1/$SERVER/" -e 's/: default$/: rke2/' > "$KUBECONFIG"
chmod 600 "$KUBECONFIG"
kubectl config get-contexts
kubectl get nodes -o wide

Erwartet (gekürzt):

CURRENT   NAME   CLUSTER   AUTHINFO   NAMESPACE
*         rke2   rke2      rke2
NAME          STATUS   ROLES                AGE     VERSION          INTERNAL-IP   …
rke2-server   Ready    control-plane,etcd   4m53s   v1.36.5+rke2r1   …             …

Sicherheit: Die Datei enthält das Admin-Zertifikat des Clusters. Sie gehört nach ~/k8s-lab mit Rechten 600, nie in ein Git-Repository.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Zwei Agents treten bei

Ein Agent braucht die Adresse des Servers und das Join-Token. Das Token wandert vom Server in eine Datei auf dem Mac und von dort auf die Agents, ohne dass du es siehst:

multipass exec rke2-server -- sudo cat /var/lib/rancher/rke2/server/node-token \
  > "$LAB/rke2-token"
chmod 600 "$LAB/rke2-token"
TOKEN="$LAB/rke2-token"
cat rke2/config-agent.yaml
sed "s/SERVER_IP/$SERVER/" rke2/config-agent.yaml > config-agent.yaml

Erwartet:

# /etc/rancher/rke2/config.yaml auf rke2-agent1 und rke2-agent2 – Stand Ende Tag 12
server: https://SERVER_IP:9345
# Das Join-Token liegt in einer Datei, nie im Klartext in der Konfig.
token-file: /etc/rancher/rke2/token

Jetzt für beide Agents dasselbe. INSTALL_RKE2_TYPE=agent installiert den Dienst rke2-agent statt rke2-server:

for vm in rke2-agent1 rke2-agent2; do
  multipass transfer "$TOKEN" config-agent.yaml "$vm":/tmp/
  multipass exec "$vm" -- sudo install -D -m 600 /tmp/rke2-token \
    /etc/rancher/rke2/token
  multipass exec "$vm" -- sudo install -m 600 /tmp/config-agent.yaml \
    /etc/rancher/rke2/config.yaml
  multipass exec "$vm" -- rm /tmp/rke2-token
  multipass exec "$vm" -- bash -c 'curl -sfL https://get.rke2.io \
    | sudo INSTALL_RKE2_VERSION=v1.36.5+rke2r1 INSTALL_RKE2_TYPE=agent sh -'
  multipass exec "$vm" -- sudo systemctl enable --now rke2-agent
done
kubectl get nodes

Erwartet (gekürzt):

NAME          STATUS     ROLES                AGE    VERSION
rke2-agent1   NotReady   <none>               4s     v1.36.5+rke2r1
rke2-agent2   NotReady   <none>               2s     v1.36.5+rke2r1
rke2-server   Ready      control-plane,etcd   3m5s   v1.36.5+rke2r1

Die Agents laden erst das Pod-Netz. Warte, bis alle drei bereit sind:

kubectl wait --for=condition=Ready node --all --timeout=300s
kubectl get nodes

Erwartet (gekürzt):

node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met
NAME          STATUS   ROLES                AGE     VERSION
rke2-agent1   Ready    <none>               91s     v1.36.5+rke2r1
rke2-agent2   Ready    <none>               89s     v1.36.5+rke2r1
rke2-server   Ready    control-plane,etcd   4m32s   v1.36.5+rke2r1

ROLES <none> heißt: ein reiner Worker. Auch der Server nimmt normale Pods an, denn er hat keinen Taint.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Speicher mit local-path

In kind gab es die StorageClass standard. Hier gibt es keine:

kubectl get sc

Erwartet:

No resources found

Der local-path-provisioner legt für jeden PVC ein Verzeichnis auf einem Node an. Installieren und zur Standard-StorageClass machen:

kubectl apply -f https://raw.githubusercontent.com/rancher/\
local-path-provisioner/v0.0.37/deploy/local-path-storage.yaml
kubectl annotate sc local-path storageclass.kubernetes.io/is-default-class=true
kubectl -n local-path-storage rollout status deploy/local-path-provisioner
kubectl get sc

Erwartet (gekürzt):

…
storageclass.storage.k8s.io/local-path annotated
deployment "local-path-provisioner" successfully rolled out
NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer

Probier es mit einem PVC und einem Pod aus:

cat > probe.yaml <<'EOF'
# probe.yaml – Test für local-path (Tag 12, danach löschen)
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: probe
  namespace: default
spec:
  accessModes: [ReadWriteOnce]
  resources:
    requests:
      storage: 100Mi
---
apiVersion: v1
kind: Pod
metadata:
  name: probe
  namespace: default
spec:
  containers:
    - name: probe
      image: busybox:1.37
      command: ["sh", "-c", "echo hallo > /d/f && sleep 3600"]
      volumeMounts:
        - {name: d, mountPath: /d}
  volumes:
    - name: d
      persistentVolumeClaim:
        claimName: probe
EOF
kubectl apply -f probe.yaml
kubectl -n default wait --for=condition=Ready pod/probe --timeout=120s
kubectl -n default get pvc probe
kubectl -n default get pod probe -o wide

Erwartet (gekürzt):

persistentvolumeclaim/probe created
pod/probe created
pod/probe condition met
NAME    STATUS   VOLUME                                     CAPACITY   ACCESS MODES
probe   Bound    pvc-bd543f6e-bc8b-416d-a605-78fcb2d9f9d7   100Mi      RWO
NAME    READY   STATUS    RESTARTS   AGE   IP          NODE          …
probe   1/1     Running   0          13s   10.42.2.5   rke2-agent2   …

WaitForFirstConsumer heißt: Der PVC bleibt Pending, bis ein Pod ihn braucht. Erst dann steht fest, auf welchem Node das Verzeichnis entsteht. Schau auf diesem Node nach (bei dir eventuell rke2-agent1):

multipass exec rke2-agent2 -- sudo ls /opt/local-path-provisioner
multipass exec rke2-agent2 -- sh -c 'sudo cat /opt/local-path-provisioner/*/f'
kubectl delete -f probe.yaml

Erwartet (gekürzt):

pvc-bd543f6e-bc8b-416d-a605-78fcb2d9f9d7_default_probe
hallo
persistentvolumeclaim "probe" deleted from default namespace
pod "probe" deleted from default namespace

Die Daten liegen auf der Platte dieses einen Nodes. Was das für Postgres bedeutet, wenn der Node gewartet wird, siehst du an Tag 14.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Envoy Gateway

Das Gateway kommt wie an Tag 11 per Helm, dazu die Plattform-Datei k8s/gateway.yaml aus Tag 11 mit dem NodePort 30080:

helm install eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.3 \
  -n envoy-gateway-system --create-namespace --wait | grep -E '^(NAME|STATUS):'
kubectl apply -f "$LAB/code/tag11/notes/k8s/gateway.yaml"
kubectl get gatewayclass

Erwartet:

NAME: eg
STATUS: deployed
envoyproxy.gateway.envoyproxy.io/nodeport created
gatewayclass.gateway.networking.k8s.io/eg created
NAME   CONTROLLER                                      ACCEPTED   AGE
eg     gateway.envoyproxy.io/gatewayclass-controller   True       1s

Ein Probe-Gateway ohne Route zeigt, ob der Port auf allen Nodes antwortet:

cat > probe-gw.yaml <<'EOF'
# probe-gw.yaml – Test für den NodePort (Tag 12, danach löschen)
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
  name: probe
  namespace: default
spec:
  gatewayClassName: eg
  listeners:
    - {name: http, protocol: HTTP, port: 80}
EOF
kubectl apply -f probe-gw.yaml
kubectl -n default wait --for=condition=Programmed gateway/probe --timeout=120s
curl -s -o /dev/null -w '%{http_code}\n' "http://$SERVER:30080/"
curl -s -o /dev/null -w '%{http_code}\n' "http://$AGENT1:30080/"
curl -s -o /dev/null -w '%{http_code}\n' "http://$AGENT2:30080/"
kubectl delete -f probe-gw.yaml

Erwartet:

gateway.gateway.networking.k8s.io/probe created
gateway.gateway.networking.k8s.io/probe condition met
404
404
404
gateway.gateway.networking.k8s.io "probe" deleted from default namespace

404 ist richtig: Envoy antwortet, kennt aber noch keine Route. Dass alle drei Nodes antworten, obwohl Envoy nur auf einem läuft, verdankst du externalTrafficPolicy: Cluster aus Tag 11.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get nodes

Erwartet: drei Nodes, alle Ready, Version v1.36.5+rke2r1.

NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               12m   v1.36.5+rke2r1
rke2-agent2   Ready    <none>               12m   v1.36.5+rke2r1
rke2-server   Ready    control-plane,etcd   15m   v1.36.5+rke2r1
kubectl get sc

Erwartet: local-path mit (default).

NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer
kubectl get gatewayclass eg

Erwartet: ACCEPTED True.

NAME   CONTROLLER                                      ACCEPTED   AGE
eg     gateway.envoyproxy.io/gatewayclass-controller   True       5m
kubectl get ns notes

Erwartet: Den Namespace gibt es hier noch nicht, er kommt erst an Tag 13.

Error from server (NotFound): namespaces "notes" not found

Challenge

Was sieht das Cluster, wenn ein Agent ausfällt? Stoppe den Dienst rke2-agent auf rke2-agent1. Finde heraus, nach wie vielen Sekunden der Node NotReady wird und welche Taints er dann trägt. Starte den Dienst danach wieder.

Hinweis: Ein Neustart der VM reicht nicht: Er ist schneller vorbei, als das Cluster misstrauisch wird. kubectl wait kann auch auf Ready=Unknown warten.

Lösung

multipass exec rke2-agent1 -- sudo systemctl stop rke2-agent
time kubectl wait --for=condition=Ready=Unknown node/rke2-agent1 --timeout=180s
kubectl get nodes
kubectl get node rke2-agent1 -o jsonpath='{.spec.taints}'; echo
multipass exec rke2-agent1 -- sudo systemctl start rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent1 --timeout=180s

Erwartet (gekürzt):

node/rke2-agent1 condition met
real    0m42.3s
NAME          STATUS     ROLES                AGE     VERSION
rke2-agent1   NotReady   <none>               8m42s   v1.36.5+rke2r1
rke2-agent2   Ready      <none>               8m40s   v1.36.5+rke2r1
rke2-server   Ready      control-plane,etcd   11m     v1.36.5+rke2r1
[{"effect":"NoSchedule","key":"node.kubernetes.io/unreachable",…},
 {"effect":"NoExecute","key":"node.kubernetes.io/unreachable",…}]
node/rke2-agent1 condition met

Nach gut 40 Sekunden ohne Lebenszeichen vom kubelet setzt der Controller den Node auf Unknown. kubectl describe node nennt den Grund: Kubelet stopped posting node status. Der Taint NoSchedule hält neue Pods fern. NoExecute räumt laufende Pods nach weiteren fünf Minuten ab; so lange tolerieren sie ihn standardmäßig. Nach dem Start ist der Node sofort wieder Ready.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Hochverfügbarkeit: In Produktion laufen drei (oder fünf) Server, damit etcd ein Quorum behält. Agents und weitere Server zeigen dann auf eine feste Adresse vor den Servern (Load Balancer oder DNS), nicht auf einen einzelnen Server.
  • Härtung: profile: cis in der config.yaml schaltet die CIS-Vorgaben ein (unter anderem Pod Security restricted clusterweit). Vorher müssen auf jedem Host ein Benutzer etcd und einige Kernel-Parameter eingerichtet sein, siehe docs.rke2.io.
  • Ohne Internet: Für Rechenzentren ohne Zugang gibt es Image-Archive und eine Installation „air-gapped”; die Images kommen dann aus einer eigenen Registry (Tag 13).
  • Speicher: local-path bindet Daten an einen Node. Für echte Ausfallsicherheit replizieren Longhorn oder ein externer Speicher (Ceph, NFS-Filer, SAN mit CSI-Treiber) die Volumes.
  • Viele Cluster: Rancher Manager verwaltet RKE2-Cluster zentral, mit Rechten, Upgrades und GitOps über Fleet.