Tag 17: Wettkampf – der sabotierte Cluster
Ziel: Du findest und behebst sechs Fehler quer durch Node, Control-Plane, App, Netzwerk, Storage und RBAC – gegen die Uhr. · Dauer: ca. 60 min · Voraussetzung: Tag 0–16
Briefing
Du übernimmst einen Cluster mit dem Namespace arena. Die
Übergabe-Notiz sagt „läuft”. Tatsächlich hat jemand sechs Fehler
eingebaut. Stell eine Uhr auf 40 Minuten – das
entspricht etwa sechs Prüfungsaufgaben.
Spielregeln
- Erst die Sabotage ausführen (im echten Wettkampf macht das ein anderer), dann nicht mehr zurückblättern.
- Pro Runde: Lage lesen, Ursache finden, beheben, mit einem Befehl beweisen.
- Hinweise erst nach fünf Minuten ohne Fortschritt lesen.
- Wertung am Ende: ein Punkt pro Runde, die ohne Hinweis gelöst wurde.
Sabotage
Auf worker2:
sudo systemctl disable --now kubeletAuf cp1:
sudo cp /etc/kubernetes/manifests/kube-scheduler.yaml /root/kube-scheduler.yaml.bak
sudo sed -i 's#kube-scheduler:v1.37.2#kube-scheduler:v1.37.99#' \
/etc/kubernetes/manifests/kube-scheduler.yaml
k create ns arena
cat <<'EOF' | k apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: shop
namespace: arena
spec:
replicas: 2
selector:
matchLabels:
app: shop
template:
metadata:
labels:
app: shop
spec:
containers:
- name: web
image: nginx:1.29-alpinex
ports:
- containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
name: shop
namespace: arena
spec:
selector:
app: shopp
ports:
- port: 80
targetPort: 80
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: freeze
namespace: arena
spec:
podSelector: {}
policyTypes:
- Ingress
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: data
namespace: arena
spec:
storageClassName: fast
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 1Gi
---
apiVersion: v1
kind: ServiceAccount
metadata:
name: deployer
namespace: arena
EOF
k run client -n arena --image=busybox:1.37 -- sleep 3600Uhr starten.
Runde 1: Ein Node fehlt
Lage: k get nodes zeigt einen Node
NotReady. Er soll auch nach einem Neustart wieder dabei
sein.
Hinweis: Prüfe auf dem Node nicht nur, ob der Dienst läuft, sondern auch, ob er beim Booten startet.
Lösung
Auf worker2:
systemctl is-enabled kubelet
systemctl is-active kubelet
sudo systemctl enable --now kubeletErwartet:
disabled
inactive
Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service →
/usr/lib/systemd/system/kubelet.service.
Beweis auf cp1: k get node worker2 zeigt
nach etwa 20 Sekunden Ready.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Die heimliche Störung
Lage: Neue Pods werden verteilt – trotzdem stimmt etwas mit der Control-Plane nicht. Finde die kaputte Komponente.
Hinweis: In einem HA-Cluster übernimmt eine andere Instanz – der Fehler fällt nur auf, wenn man hinschaut.
Lösung
k get pods -n kube-system -l tier=control-plane | grep -v Running
k describe pod -n kube-system kube-scheduler-cp1 | grep -m1 'Failed to pull'Erwartet (gekürzt):
kube-scheduler-cp1 0/1 ErrImagePull 0 51s
Warning Failed 43s (x3 over 81s) kubelet spec.containers{kube-scheduler}: Failed
to
pull image "registry.k8s.io/kube-scheduler:v1.37.99": rpc error: code = NotFound ...
Auf cp1:
sudo sed -i 's#kube-scheduler:v1.37.99#kube-scheduler:v1.37.2#' \
/etc/kubernetes/manifests/kube-scheduler.yamlBeweis: Nach etwa 30 Sekunden ist kube-scheduler-cp1
Running. Die Leader-Wahl hatte längst worker1
übernommen (k get lease -n kube-system kube-scheduler) –
deshalb lief das Scheduling weiter.
Fortschritt speichern? Kostenlos registrieren
Runde 3: Der Shop startet nicht
Lage: k get deploy shop -n arena zeigt
0/2.
Hinweis: Lies den Status der Pods und die Events.
Lösung
k get pods -n arena -l app=shop
k describe pod -n arena -l app=shop | grep -m1 'Failed to pull'
k set image deployment/shop -n arena web=nginx:1.29-alpine
k rollout status deployment shop -n arenaErwartet (gekürzt):
shop-69b47d6db9-n7vvc 0/1 ErrImagePull 0 62s
...
deployment "shop" successfully rolled out
Das Tag 1.29-alpinex gibt es nicht. Ein Pod hing
zusätzlich auf dem toten worker2 – Runde 1 hat ihn
mitgerettet.
Fortschritt speichern? Kostenlos registrieren
Runde 4: Der Shop antwortet nicht
Lage: Die Pods laufen, aber
k exec -n arena client -- wget -qO- -T3 shop liefert
nichts.
Hinweis: Es sind zwei Fehler. Der erste zeigt sich in den EndpointSlices, der zweite in der Art der Fehlermeldung.
Lösung
k get endpointslices -n arena -l kubernetes.io/service-name=shop
k get svc shop -n arena -o jsonpath='{.spec.selector}{"\n"}'
k set selector svc shop -n arena app=shop
k exec -n arena client -- wget -qO- -T3 shopErwartet (gekürzt):
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
shop-... IPv4 <unset> <unset> 2m
{"app":"shopp"}
service/shop selector updated
wget: download timed out
command terminated with exit code 1
Jetzt timed out statt refused – eine
NetworkPolicy:
k get netpol -n arena
cat <<'EOF' | k apply -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: shop-from-arena
namespace: arena
spec:
podSelector:
matchLabels:
app: shop
policyTypes:
- Ingress
ingress:
- from:
- podSelector: {}
ports:
- port: 80
EOF
k exec -n arena client -- wget -qO- -T3 shop | grep -o '<title>.*</title>'Erwartet:
NAME POD-SELECTOR AGE
freeze <none> 3m
networkpolicy.networking.k8s.io/shop-from-arena created
<title>Welcome to nginx!</title>
freeze bleibt als Grundlinie stehen; die neue Policy
öffnet gezielt Port 80 für Pods aus arena.
Fortschritt speichern? Kostenlos registrieren
Runde 5: Kein Speicher
Lage: Der PVC data bleibt
Pending.
Hinweis: storageClassName lässt sich an
einem bestehenden PVC nicht ändern.
Lösung
k describe pvc data -n arena | tail -1
k get sc
k delete pvc data -n arena
cat <<'EOF' | k apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: data
namespace: arena
spec:
storageClassName: nfs
accessModes: ["ReadWriteOnce"]
resources:
requests:
storage: 1Gi
EOF
k get pvc data -n arenaErwartet (gekürzt):
Warning ProvisioningFailed 13s (x5 over 71s) persistentvolume-controller
storageclass.storage.k8s.io "fast" not found
NAME PROVISIONER ...
nfs (default) nfs.csi.k8s.io ...
persistentvolumeclaim "data" deleted from arena namespace
persistentvolumeclaim/data created
NAME STATUS VOLUME CAPACITY ACCESS MODES
data Bound pvc-99eaef27-09c8-4f60-b24f-70b625cf7833 1Gi RWO
Fortschritt speichern? Kostenlos registrieren
Runde 6: Der Deployer sieht nichts
Lage: Die CI-Pipeline nutzt den ServiceAccount
deployer in arena und soll dort alles
lesen dürfen.
Hinweis: Es gibt eine passende eingebaute ClusterRole.
Lösung
k auth can-i list pods -n arena --as=system:serviceaccount:arena:deployer
k create rolebinding deployer-view -n arena --clusterrole=view \
--serviceaccount=arena:deployer
k auth can-i list pods -n arena --as=system:serviceaccount:arena:deployerErwartet:
no
rolebinding.rbac.authorization.k8s.io/deployer-view created
yes
Uhr stoppen.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k get nodesErwartet: drei Nodes Ready.
k get pods -n kube-system -l tier=control-plane --no-headers | grep -vc RunningErwartet: 0
k exec -n arena client -- wget -qO- -T3 shop | grep -c 'Welcome to nginx'Erwartet: 2 (Titel und Überschrift der
nginx-Startseite).
k get pvc data -n arena -o jsonpath='{.status.phase}{"\n"}'Erwartet: Bound
Auswertung
| Punkte | Einschätzung |
|---|---|
| 6 | prüfungsreif – weiter mit der Probeprüfung (Anhang B) |
| 4–5 | gut; die verpassten Tage wiederholen |
| 0–3 | Tag 14 und 15 noch einmal durcharbeiten |
Wer unter 30 Minuten blieb, hat in der Prüfung Zeitreserve.
Challenge
Baue für einen Lernpartner eine eigene Sabotage mit drei Fehlern aus
drei verschiedenen Tagen, schreibe die Lage auf einen Zettel und lass
ihn spielen. Gute Kandidaten: falscher targetPort (Tag 15),
ein NoExecute-Taint (Tag 5), eine kaputte CoreDNS-ConfigMap
(Tag 7).
Hinweis: Sichere jede Datei, bevor du sie veränderst – und notiere die Reparatur.
Lösung
Es gibt keine feste Lösung. Prüfe hinterher gemeinsam mit den Kontrollpunkt-Befehlen dieses Tages, ob alles wieder läuft.
Aufräumen:
k delete ns arenaFortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Erst alle Aufgaben überfliegen, die schnellen zuerst lösen. Eine Aufgabe, bei der du nach fünf Minuten feststeckst, markieren und später wiederkommen.
- Jede Aufgabe mit einem Beweis-Befehl abschließen – so merkst du sofort, ob noch ein zweiter Fehler steckt (Runde 4).
Enterprise-Notiz
- Solche Übungen heißen im Betrieb „Game Days” oder Chaos-Engineering; Werkzeuge wie Chaos Mesh oder Litmus automatisieren die Sabotage.
- Jede echte Störung endet mit einem Postmortem: Was hat der Monitoring-Alarm verpasst?