Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 0: Trainingsgelände

Ziel: Ein kubeadm-Cluster v1.37.1 mit drei Nodes, Cilium, Ingress, Storage, Metriken und eigener Registry steht bereit für alle folgenden Tage. · Dauer: ca. 90 min · Voraussetzung: drei VMs mit Ubuntu 24.04

Briefing

Die CKS setzt CKA-Wissen voraus: Du arbeitest auf fertigen kubeadm-Clustern, greifst per ssh auf Nodes zu und änderst Static-Pod-Manifeste. Dieses Kapitel baut das Labor im Schnelldurchlauf – bewusst auf v1.37.1, damit Tag 6 ein Upgrade üben kann. Als CNI dient Cilium: Es kann NetworkPolicies (Tag 2) und Pod-zu-Pod-Verschlüsselung (Tag 12). Lehrplanbezug: Grundlage für „CKS: Cluster Setup“.

  cp1 .126                  worker1 .228             worker2 .83
  control-plane, kubectl,   worker                   worker
  helm, cilium, podman
  4 vCPU / 12 GB            2 vCPU / 4 GB            2 vCPU / 4 GB
        |_________________________|________________________|
           172.16.0.0/24 · Pods 10.244.0.0/16 (Cilium, VXLAN)
  NodePorts: 30080/30443 Traefik · 30500 Registry

Ersetze die IPs durch deine eigenen. Zwischen den VMs gibt es keine Namensauflösung, deshalb stehen überall IPs. Drill 1 bis 3 laufen auf allen drei VMs, der Rest auf cp1.

Drill 1: Kernel vorbereiten

printf 'overlay\nbr_netfilter\n' | sudo tee /etc/modules-load.d/k8s.conf
sudo modprobe overlay
sudo modprobe br_netfilter
cat <<'EOF' | sudo tee /etc/sysctl.d/k8s.conf
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
sudo sysctl --system >/dev/null
sysctl net.ipv4.ip_forward net.bridge.bridge-nf-call-iptables
swapon --show | wc -l

Erwartet:

net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-iptables = 1
0

Zeigt swapon etwas an: sudo swapoff -a und die Swap-Zeile in /etc/fstab auskommentieren.

Fortschritt speichern? Kostenlos registrieren

Drill 2: containerd und runc

Beides direkt vom Projekt, jeweils mit Prüfsumme:

cd /tmp
V=2.4.2
U=https://github.com/containerd/containerd/releases/download/v$V
ARCH=$(dpkg --print-architecture)
curl -sSLO $U/containerd-$V-linux-${ARCH}.tar.gz
curl -sSLO $U/containerd-$V-linux-${ARCH}.tar.gz.sha256sum
sha256sum -c containerd-$V-linux-${ARCH}.tar.gz.sha256sum
sudo tar Cxzf /usr/local containerd-$V-linux-${ARCH}.tar.gz
sudo mkdir -p /usr/local/lib/systemd/system
sudo curl -sSL -o /usr/local/lib/systemd/system/containerd.service \
  https://raw.githubusercontent.com/containerd/containerd/v$V/containerd.service
R=1.5.3
U=https://github.com/opencontainers/runc/releases/download/v$R
curl -sSLO $U/runc.${ARCH}
curl -sSLO $U/runc.sha256sum
grep " runc.${ARCH}$" runc.sha256sum | sha256sum -c
sudo install -m 755 runc.${ARCH} /usr/local/sbin/runc
runc --version | head -1

Erwartet:

containerd-2.4.2-linux-amd64.tar.gz: OK
runc.amd64: OK
runc version 1.5.3

Warum? Eine Binärdatei ohne geprüfte Prüfsumme ist ein offenes Tor in der Lieferkette – genau das prüft Tag 4 noch einmal gezielt.

Konfiguration erzeugen und auf den systemd-Cgroup-Treiber umstellen (wie das kubelet):

sudo mkdir -p /etc/containerd
containerd config default | sudo tee /etc/containerd/config.toml >/dev/null
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/' /etc/containerd/config.toml
grep -n SystemdCgroup /etc/containerd/config.toml
sudo systemctl daemon-reload
sudo systemctl enable --now containerd
containerd --version

Erwartet:

89:            SystemdCgroup = true
containerd github.com/containerd/containerd/v2 v2.4.2 b7a25261e029...

Fortschritt speichern? Kostenlos registrieren

Drill 3: kubeadm, kubelet, kubectl in v1.37.1

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gpg
sudo mkdir -p -m 755 /etc/apt/keyrings
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key \
  | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
K=/etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=$K] https://pkgs.k8s.io/core:/stable:/v1.37/deb/ /" \
  | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
apt-cache madison kubeadm | head -3
sudo apt-get install -y kubelet=1.37.1-1.1 kubeadm=1.37.1-1.1 kubectl=1.37.1-1.1 \
  cri-tools
sudo apt-mark hold kubelet kubeadm kubectl
printf 'runtime-endpoint: unix:///run/containerd/containerd.sock\n' \
  | sudo tee /etc/crictl.yaml
printf 'image-endpoint: unix:///run/containerd/containerd.sock\n' \
  | sudo tee -a /etc/crictl.yaml
kubeadm version -o short
sudo crictl version

Erwartet (gekürzt):

   kubeadm | 1.37.2-1.1 | https://pkgs.k8s.io/core:/stable:/v1.37/deb  Packages
   kubeadm | 1.37.1-1.1 | https://pkgs.k8s.io/core:/stable:/v1.37/deb  Packages
...
kubelet set on hold.
kubeadm set on hold.
kubectl set on hold.
...
v1.37.1
RuntimeName:  containerd
RuntimeVersion:  v2.4.2

Warum nicht die neueste Version? 1.37.2 steht schon im Repo – das Upgrade auf diese Version übst du in Tag 6. hold verhindert, dass apt upgrade es vorher erledigt.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Control Plane initialisieren

Auf cp1. Das Pod-Netz 10.244.0.0/16 überschneidet sich weder mit dem VM-Netz noch mit dem Service-Netz 10.96.0.0/12:

sudo kubeadm init --kubernetes-version=v1.37.1 \
  --apiserver-advertise-address=172.16.0.126 --pod-network-cidr=10.244.0.0/16
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
mkdir -p ~/cks/tag00
kubectl get nodes

Erwartet (gekürzt):

Your Kubernetes control-plane has initialized successfully!
...
NAME   STATUS     ROLES           AGE   VERSION
cp1    NotReady   control-plane   4s    v1.37.1

NotReady ist richtig: Ohne CNI-Plugin bekommt kein Pod eine IP.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Cilium installieren und Worker aufnehmen

Zuerst die cilium CLI, wieder mit Prüfsumme:

cd /tmp
C=v0.20.3
U=https://github.com/cilium/cilium-cli/releases/download/$C
ARCH=$(dpkg --print-architecture)
curl -sSLO $U/cilium-linux-${ARCH}.tar.gz
curl -sSLO $U/cilium-linux-${ARCH}.tar.gz.sha256sum
sha256sum -c cilium-linux-${ARCH}.tar.gz.sha256sum
sudo tar xzf cilium-linux-${ARCH}.tar.gz -C /usr/local/bin
cilium version --client

Erwartet:

cilium-linux-amd64.tar.gz: OK
cilium-cli: v0.20.3 compiled with go1.27.3 on linux/amd64
cilium image (default): v1.20.3
cilium image (stable): v1.20.5

Die CLI würde 1.20.3 installieren – deshalb die Version ausdrücklich setzen. ipam.mode=kubernetes lässt Cilium die Pod-Netze nutzen, die kubeadm pro Node vergibt:

cilium install --version 1.20.5 --set ipam.mode=kubernetes
cilium status --wait
kubeadm token create --print-join-command

Erwartet (gekürzt):

Using Cilium version 1.20.5
Auto-detected kube-proxy has been installed
...
    Cilium:             OK
    Operator:           OK
    Envoy DaemonSet:    OK
    Hubble Relay:       disabled
...
kubeadm join 172.16.0.126:6443 --token ... --discovery-token-ca-cert-hash sha256:...

Die ausgegebene kubeadm join-Zeile mit sudo auf worker1 und worker2 ausführen. Dann wieder auf cp1:

kubectl get nodes
kubectl get pods -n kube-system -l k8s-app=cilium -o wide
kubectl get nodes -o custom-columns=NAME:.metadata.name,CIDR:.spec.podCIDR

Erwartet:

NAME      STATUS   ROLES           AGE     VERSION
cp1       Ready    control-plane   4m32s   v1.37.1
worker1   Ready    <none>          2m24s   v1.37.1
worker2   Ready    <none>          2m24s   v1.37.1
NAME           READY   STATUS    RESTARTS   AGE     IP             NODE
cilium-kf854   1/1     Running   0          2m25s   172.16.0.228   worker1
cilium-nm46l   1/1     Running   0          2m25s   172.16.0.83    worker2
cilium-sz85q   1/1     Running   0          4m      172.16.0.126   cp1
NAME      CIDR
cp1       10.244.0.0/24
worker1   10.244.3.0/24
worker2   10.244.1.0/24

Cilium landet als Helm-Release cilium in kube-system, nicht in einem eigenen Namespace.

SSH von cp1 zu den Workern

In der Prüfung springst du vom Arbeits-Host per ssh auf die Nodes. Im Labor ist cp1 dieser Host, also braucht er einen eigenen Schlüssel. Auf cp1, ohne Passphrase (reiner Lab-Schlüssel):

ssh-keygen -t ed25519 -N '' -f ~/.ssh/id_ed25519 -C ubuntu@cp1

Erwartet (gekürzt):

Your identification has been saved in /home/ubuntu/.ssh/id_ed25519
Your public key has been saved in /home/ubuntu/.ssh/id_ed25519.pub

ssh-copy-id hilft hier nicht: Die Worker erlauben keine Anmeldung per Passwort. Den Public Key verteilt deshalb dein eigener Rechner, der per Schlüssel auf alle drei VMs kommt:

ssh [email protected] cat .ssh/id_ed25519.pub \
  | ssh [email protected] 'cat >> .ssh/authorized_keys'
ssh [email protected] cat .ssh/id_ed25519.pub \
  | ssh [email protected] 'cat >> .ssh/authorized_keys'

Zurück auf cp1. accept-new speichert den Host-Key beim ersten Kontakt ohne Rückfrage:

ssh -o StrictHostKeyChecking=accept-new [email protected] hostname
ssh -o StrictHostKeyChecking=accept-new [email protected] hostname

Erwartet:

Warning: Permanently added '172.16.0.228' (ED25519) to the list of known hosts.
worker1
Warning: Permanently added '172.16.0.83' (ED25519) to the list of known hosts.
worker2

Ab jetzt laufen alle ssh ubuntu@…-Befehle im Buch auf cp1.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Cilium von innen prüfen

Jeder Cilium-Agent hat ein eigenes Diagnosewerkzeug cilium-dbg:

kubectl -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep -E 'KubeProxyReplacement|IPAM|Routing|Encryption'
cilium config view | grep -E '^(ipam|kube-proxy-replacement|routing-mode) '

Erwartet:

KubeProxyReplacement:    False
IPAM:                    IPv4: 4/254 allocated from 10.244.0.0/24,
Routing:                 Network: Tunnel [vxlan]   Host: Legacy
Encryption:              Disabled
ipam                                              kubernetes
kube-proxy-replacement                            false
routing-mode                                      tunnel

Warum? Encryption: Disabled heißt: Pod-Verkehr zwischen den Nodes geht im Klartext über das VM-Netz. Das bleibt bis Tag 12 so – dann misst du den Unterschied.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Helm, metrics-server, local-path, Traefik

cd /tmp
ARCH=$(dpkg --print-architecture)
curl -sSLO https://get.helm.sh/helm-v4.3.2-linux-${ARCH}.tar.gz
curl -sSLO https://get.helm.sh/helm-v4.3.2-linux-${ARCH}.tar.gz.sha256sum
sha256sum -c helm-v4.3.2-linux-${ARCH}.tar.gz.sha256sum
tar xzf helm-v4.3.2-linux-${ARCH}.tar.gz
sudo install -m 755 linux-${ARCH}/helm /usr/local/bin/helm
helm version --short

Erwartet:

helm-v4.3.2-linux-amd64.tar.gz: OK
v4.3.2+g8346aaa

metrics-server braucht im Labor --kubelet-insecure-tls, weil die kubelet-Zertifikate selbst signiert sind:

M=https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.9.1
kubectl apply -f $M/components.yaml
kubectl -n kube-system patch deployment metrics-server --type=json -p \
  '[{"op":"add","path":"/spec/template/spec/containers/0/args/-",
     "value":"--kubelet-insecure-tls"}]'
L=https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.37
kubectl apply -f $L/deploy/local-path-storage.yaml
kubectl patch storageclass local-path -p \
  '{"metadata":{"annotations":{"storageclass.kubernetes.io/is-default-class":"true"}}}'
kubectl get storageclass

Erwartet (gekürzt):

NAME                   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE
local-path (default)   rancher.io/local-path   Delete          WaitForFirstConsumer

Achtung: --kubelet-insecure-tls ist eine bewusste Labor-Abkürzung: metrics-server prüft die Identität der kubelets nicht. In Produktion signierte kubelet-Zertifikate.

Ingress-Controller Traefik, erreichbar über feste NodePorts:

helm repo add traefik https://traefik.github.io/charts
helm install traefik traefik/traefik --version 42.4.1 -n traefik --create-namespace \
  --set service.spec.type=NodePort \
  --set ports.web.nodePort=30080 --set ports.websecure.nodePort=30443
kubectl get svc -n traefik
kubectl get ingressclass
curl -s -o /dev/null -w '%{http_code}\n' http://172.16.0.126:30080/

Erwartet:

NAME      TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
traefik   NodePort   10.106.194.128   <none>        80:30080/TCP,443:30443/TCP   25s
NAME                CONTROLLER                      PARAMETERS   AGE
traefik (default)   traefik.io/ingress-controller   <none>       25s
404

Die 404 kommt von Traefik selbst: Er läuft, kennt aber noch keinen Ingress (TLS-Ingress in Tag 4).

Achtung: --set service.type=NodePort scheitert am Schema des Charts mit „additional properties ‘type’ not allowed“. Der Typ steht unter service.spec.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Registry im Cluster und podman

Eigene Images (notes-api) brauchen ein Ziel. Eine einfache Registry als Deployment mit NodePort 30500:

cd ~/cks/tag00
kubectl create namespace registry
kubectl create deployment registry -n registry \
  --image=docker.io/library/registry:3.1.2 --port=5000
kubectl expose deployment registry -n registry --type=NodePort --port=5000 \
  --dry-run=client -o yaml > registry-svc.yaml

In registry-svc.yaml unter ports: die Zeile nodePort: 30500 ergänzen:

  ports:
  - nodePort: 30500
    port: 5000
    protocol: TCP
    targetPort: 5000
kubectl apply -f registry-svc.yaml
curl -s http://172.16.0.126:30500/v2/_catalog

Erwartet:

{"repositories":[]}

Die Registry spricht nur HTTP. Damit containerd von dort zieht, auf allen drei VMs:

sudo sed -i "s|config_path = ''|config_path = '/etc/containerd/certs.d'|" \
  /etc/containerd/config.toml
sudo mkdir -p /etc/containerd/certs.d/172.16.0.126:30500
cat <<'EOF' | sudo tee /etc/containerd/certs.d/172.16.0.126:30500/hosts.toml
server = "http://172.16.0.126:30500"

[host."http://172.16.0.126:30500"]
  capabilities = ["pull", "resolve"]
EOF
sudo systemctl restart containerd
grep -n "config_path" /etc/containerd/config.toml

Erwartet:

31:      config_path = '/etc/containerd/certs.d'
149:    plugin_config_path = '/etc/nri/conf.d'
255:    config_path = '/etc/containerd/certs.d'

Zum Bauen und Pushen dient podman auf cp1. Ein kurzer Rundlauf mit busybox beweist, dass jeder Node aus der Registry zieht:

sudo apt-get install -y podman
podman version | head -2
podman pull docker.io/library/busybox:1.37
podman tag docker.io/library/busybox:1.37 172.16.0.126:30500/busybox:1.37
podman push --tls-verify=false 172.16.0.126:30500/busybox:1.37
kubectl run regtest --image=172.16.0.126:30500/busybox:1.37 --restart=Never \
  -- sh -c 'echo pull-ok'
kubectl get pod regtest -o wide
kubectl logs regtest

Erwartet (gekürzt):

Client:       Podman Engine
Version:      4.9.3
...
Writing manifest to image destination
NAME      READY   STATUS      RESTARTS   AGE   IP           NODE
regtest   0/1     Completed   0          4s    10.244.1.9   worker2
pull-ok

Aufräumen – der Neustart leert die Registry, denn sie speichert in einem emptyDir:

kubectl delete pod regtest
kubectl -n registry rollout restart deployment registry
kubectl -n registry rollout status deployment registry
curl -s http://172.16.0.126:30500/v2/_catalog

Erwartet:

deployment "registry" successfully rolled out
{"repositories":[]}

Achtung: Startet der Registry-Pod neu, sind alle Images weg – dann einfach erneut pushen. Das Image notes-api aus dem Begleitrepo https://github.com/thomaszachmann/cks-zum-anfassen baust du an einem späteren Tag.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige, auf welchem Node die Registry läuft. Zeitziel: 20 s
  2. Prüfe, ob Cilium den Pod-Verkehr verschlüsselt. Zeitziel: 30 s
  3. Zeige, welche Pakete auf cp1 gegen Updates gesperrt sind. Zeitziel: 10 s
  4. Zeige die CPU-Last aller Nodes. Zeitziel: 10 s

Lösung

kubectl get pods -n registry -o wide
kubectl -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep Encryption
apt-mark showhold
kubectl top nodes

Erwartet (gekürzt):

NAME                       READY   STATUS    RESTARTS   AGE     IP             NODE
registry-f69d7f897-4vhfc   1/1     Running   0          2m27s   10.244.1.168   worker2
Encryption:              Disabled
kubeadm
kubectl
kubelet
NAME      CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)
cp1       1180m        29%      1185Mi          9%
worker1   199m         9%       554Mi           14%
worker2   408m         20%      562Mi           14%

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get nodes -o wide

Erwartet: drei Nodes Ready, v1.37.1, containerd://2.4.2.

kubectl get pods -A --field-selector=status.phase!=Running

Erwartet: No resources found

cilium status

Erwartet: Cilium: OK, Operator: OK, Envoy DaemonSet: OK, DaemonSet cilium mit Ready: 3/3.

helm list -A

Erwartet: cilium (Chart cilium-1.20.5) und traefik (Chart traefik-42.4.1), beide deployed.

curl -s http://172.16.0.126:30500/v2/_catalog

Erwartet: {"repositories":[]}

ssh [email protected] hostname

Erwartet: worker2 – ohne Rückfrage nach Passwort oder Host-Key.

Challenge

Wie viele Pods im Cluster laufen mit hostNetwork: true – also direkt im Netz des Nodes statt in einem eigenen Netz-Namespace?

Hinweis: Ein JSONPath-Filter ?(@.spec.hostNetwork==true) erspart das Durchsehen.

Lösung

kubectl get pods -A -o jsonpath=\
'{range .items[?(@.spec.hostNetwork==true)]}{.metadata.name}{"\n"}{end}' | wc -l

Erwartet:

14

Control Plane, kube-proxy und alle Cilium-Pods: Sie brauchen den Host. Jeder weitere Pod mit hostNetwork wäre ein Warnsignal – Tag 9 sperrt das per Pod Security Standards.

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • In der CKS baust du keinen Cluster, aber du arbeitest wie hier: ssh auf Nodes, crictl, /etc/kubernetes/manifests, systemctl restart kubelet.
  • Welches CNI läuft, entscheidet, ob NetworkPolicies greifen. Prüfe es mit kubectl get pods -n kube-system statt es anzunehmen.
  • Doku-Stellen: kubernetes.io „Installing kubeadm“ und docs.cilium.io „Cilium Quick Installation“.

Enterprise-Notiz

  • Produktive Cluster kommen aus Managed-Angeboten (EKS, AKS, GKE) oder Distributionen (OpenShift, RKE2, Talos) mit gehärteten Vorgaben, nicht aus Handarbeit.
  • Binaries und Pakete nur aus geprüften Quellen mit Prüfsumme oder Signatur, gespiegelt in ein internes Repository.
  • Registries laufen mit TLS, Authentifizierung und persistentem Speicher (Harbor, GitLab, Artifactory) – nie als emptyDir mit HTTP.
  • metrics-server mit --kubelet-insecure-tls ist in Produktion tabu; kubelet-Serving-Zertifikate werden über die Cluster-CA signiert.
  • Cilium wird per Helm mit versionierten Values (GitOps) betrieben, oft mit Hubble für Netzwerk-Sichtbarkeit.