Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 17: Wettkampf – der sabotierte Cluster

Ziel: Du findest und behebst sechs Fehler quer durch Node, Control-Plane, App, Netzwerk, Storage und RBAC – gegen die Uhr. · Dauer: ca. 60 min · Voraussetzung: Tag 0–16

Briefing

Du übernimmst einen Cluster mit dem Namespace arena. Die Übergabe-Notiz sagt „läuft”. Tatsächlich hat jemand sechs Fehler eingebaut. Stell eine Uhr auf 40 Minuten – das entspricht etwa sechs Prüfungsaufgaben.

Spielregeln

  • Erst die Sabotage ausführen (im echten Wettkampf macht das ein anderer), dann nicht mehr zurückblättern.
  • Pro Runde: Lage lesen, Ursache finden, beheben, mit einem Befehl beweisen.
  • Hinweise erst nach fünf Minuten ohne Fortschritt lesen.
  • Wertung am Ende: ein Punkt pro Runde, die ohne Hinweis gelöst wurde.

Sabotage

Auf worker2:

sudo systemctl disable --now kubelet

Auf cp1:

sudo cp /etc/kubernetes/manifests/kube-scheduler.yaml /root/kube-scheduler.yaml.bak
sudo sed -i 's#kube-scheduler:v1.37.2#kube-scheduler:v1.37.99#' \
  /etc/kubernetes/manifests/kube-scheduler.yaml
k create ns arena
cat <<'EOF' | k apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: shop
  namespace: arena
spec:
  replicas: 2
  selector:
    matchLabels:
      app: shop
  template:
    metadata:
      labels:
        app: shop
    spec:
      containers:
      - name: web
        image: nginx:1.29-alpinex
        ports:
        - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: shop
  namespace: arena
spec:
  selector:
    app: shopp
  ports:
  - port: 80
    targetPort: 80
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: freeze
  namespace: arena
spec:
  podSelector: {}
  policyTypes:
  - Ingress
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: data
  namespace: arena
spec:
  storageClassName: fast
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 1Gi
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: deployer
  namespace: arena
EOF
k run client -n arena --image=busybox:1.37 -- sleep 3600

Uhr starten.

Runde 1: Ein Node fehlt

Lage: k get nodes zeigt einen Node NotReady. Er soll auch nach einem Neustart wieder dabei sein.

Hinweis: Prüfe auf dem Node nicht nur, ob der Dienst läuft, sondern auch, ob er beim Booten startet.

Lösung

Auf worker2:

systemctl is-enabled kubelet
systemctl is-active kubelet
sudo systemctl enable --now kubelet

Erwartet:

disabled
inactive
Created symlink /etc/systemd/system/multi-user.target.wants/kubelet.service →
/usr/lib/systemd/system/kubelet.service.

Beweis auf cp1: k get node worker2 zeigt nach etwa 20 Sekunden Ready.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Die heimliche Störung

Lage: Neue Pods werden verteilt – trotzdem stimmt etwas mit der Control-Plane nicht. Finde die kaputte Komponente.

Hinweis: In einem HA-Cluster übernimmt eine andere Instanz – der Fehler fällt nur auf, wenn man hinschaut.

Lösung

k get pods -n kube-system -l tier=control-plane | grep -v Running
k describe pod -n kube-system kube-scheduler-cp1 | grep -m1 'Failed to pull'

Erwartet (gekürzt):

kube-scheduler-cp1   0/1   ErrImagePull   0   51s
  Warning  Failed  43s (x3 over 81s)  kubelet  spec.containers{kube-scheduler}: Failed
to
pull image "registry.k8s.io/kube-scheduler:v1.37.99": rpc error: code = NotFound ...

Auf cp1:

sudo sed -i 's#kube-scheduler:v1.37.99#kube-scheduler:v1.37.2#' \
  /etc/kubernetes/manifests/kube-scheduler.yaml

Beweis: Nach etwa 30 Sekunden ist kube-scheduler-cp1 Running. Die Leader-Wahl hatte längst worker1 übernommen (k get lease -n kube-system kube-scheduler) – deshalb lief das Scheduling weiter.

Fortschritt speichern? Kostenlos registrieren

Runde 3: Der Shop startet nicht

Lage: k get deploy shop -n arena zeigt 0/2.

Hinweis: Lies den Status der Pods und die Events.

Lösung

k get pods -n arena -l app=shop
k describe pod -n arena -l app=shop | grep -m1 'Failed to pull'
k set image deployment/shop -n arena web=nginx:1.29-alpine
k rollout status deployment shop -n arena

Erwartet (gekürzt):

shop-69b47d6db9-n7vvc   0/1   ErrImagePull   0   62s
...
deployment "shop" successfully rolled out

Das Tag 1.29-alpinex gibt es nicht. Ein Pod hing zusätzlich auf dem toten worker2 – Runde 1 hat ihn mitgerettet.

Fortschritt speichern? Kostenlos registrieren

Runde 4: Der Shop antwortet nicht

Lage: Die Pods laufen, aber k exec -n arena client -- wget -qO- -T3 shop liefert nichts.

Hinweis: Es sind zwei Fehler. Der erste zeigt sich in den EndpointSlices, der zweite in der Art der Fehlermeldung.

Lösung

k get endpointslices -n arena -l kubernetes.io/service-name=shop
k get svc shop -n arena -o jsonpath='{.spec.selector}{"\n"}'
k set selector svc shop -n arena app=shop
k exec -n arena client -- wget -qO- -T3 shop

Erwartet (gekürzt):

NAME         ADDRESSTYPE   PORTS     ENDPOINTS   AGE
shop-...     IPv4          <unset>   <unset>     2m
{"app":"shopp"}
service/shop selector updated
wget: download timed out
command terminated with exit code 1

Jetzt timed out statt refused – eine NetworkPolicy:

k get netpol -n arena
cat <<'EOF' | k apply -f -
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: shop-from-arena
  namespace: arena
spec:
  podSelector:
    matchLabels:
      app: shop
  policyTypes:
  - Ingress
  ingress:
  - from:
    - podSelector: {}
    ports:
    - port: 80
EOF
k exec -n arena client -- wget -qO- -T3 shop | grep -o '<title>.*</title>'

Erwartet:

NAME     POD-SELECTOR   AGE
freeze   <none>         3m
networkpolicy.networking.k8s.io/shop-from-arena created
<title>Welcome to nginx!</title>

freeze bleibt als Grundlinie stehen; die neue Policy öffnet gezielt Port 80 für Pods aus arena.

Fortschritt speichern? Kostenlos registrieren

Runde 5: Kein Speicher

Lage: Der PVC data bleibt Pending.

Hinweis: storageClassName lässt sich an einem bestehenden PVC nicht ändern.

Lösung

k describe pvc data -n arena | tail -1
k get sc
k delete pvc data -n arena
cat <<'EOF' | k apply -f -
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: data
  namespace: arena
spec:
  storageClassName: nfs
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 1Gi
EOF
k get pvc data -n arena

Erwartet (gekürzt):

  Warning  ProvisioningFailed  13s (x5 over 71s)  persistentvolume-controller
storageclass.storage.k8s.io "fast" not found
NAME            PROVISIONER      ...
nfs (default)   nfs.csi.k8s.io   ...
persistentvolumeclaim "data" deleted from arena namespace
persistentvolumeclaim/data created
NAME   STATUS   VOLUME                                     CAPACITY   ACCESS MODES
data   Bound    pvc-99eaef27-09c8-4f60-b24f-70b625cf7833   1Gi        RWO

Fortschritt speichern? Kostenlos registrieren

Runde 6: Der Deployer sieht nichts

Lage: Die CI-Pipeline nutzt den ServiceAccount deployer in arena und soll dort alles lesen dürfen.

Hinweis: Es gibt eine passende eingebaute ClusterRole.

Lösung

k auth can-i list pods -n arena --as=system:serviceaccount:arena:deployer
k create rolebinding deployer-view -n arena --clusterrole=view \
  --serviceaccount=arena:deployer
k auth can-i list pods -n arena --as=system:serviceaccount:arena:deployer

Erwartet:

no
rolebinding.rbac.authorization.k8s.io/deployer-view created
yes

Uhr stoppen.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get nodes

Erwartet: drei Nodes Ready.

k get pods -n kube-system -l tier=control-plane --no-headers | grep -vc Running

Erwartet: 0

k exec -n arena client -- wget -qO- -T3 shop | grep -c 'Welcome to nginx'

Erwartet: 2 (Titel und Überschrift der nginx-Startseite).

k get pvc data -n arena -o jsonpath='{.status.phase}{"\n"}'

Erwartet: Bound

Auswertung

Punkte Einschätzung
6 prüfungsreif – weiter mit der Probeprüfung (Anhang B)
4–5 gut; die verpassten Tage wiederholen
0–3 Tag 14 und 15 noch einmal durcharbeiten

Wer unter 30 Minuten blieb, hat in der Prüfung Zeitreserve.

Challenge

Baue für einen Lernpartner eine eigene Sabotage mit drei Fehlern aus drei verschiedenen Tagen, schreibe die Lage auf einen Zettel und lass ihn spielen. Gute Kandidaten: falscher targetPort (Tag 15), ein NoExecute-Taint (Tag 5), eine kaputte CoreDNS-ConfigMap (Tag 7).

Hinweis: Sichere jede Datei, bevor du sie veränderst – und notiere die Reparatur.

Lösung

Es gibt keine feste Lösung. Prüfe hinterher gemeinsam mit den Kontrollpunkt-Befehlen dieses Tages, ob alles wieder läuft.

Aufräumen:

k delete ns arena

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Erst alle Aufgaben überfliegen, die schnellen zuerst lösen. Eine Aufgabe, bei der du nach fünf Minuten feststeckst, markieren und später wiederkommen.
  • Jede Aufgabe mit einem Beweis-Befehl abschließen – so merkst du sofort, ob noch ein zweiter Fehler steckt (Runde 4).

Enterprise-Notiz

  • Solche Übungen heißen im Betrieb „Game Days” oder Chaos-Engineering; Werkzeuge wie Chaos Mesh oder Litmus automatisieren die Sabotage.
  • Jede echte Störung endet mit einem Postmortem: Was hat der Monitoring-Alarm verpasst?