Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Wettkampf – Desaster-Drills

Ziel: Zehn echte Störungen rund um Rancher, Fleet, Kataloge, Rechte, Speicher und Zugang unter Zeitdruck finden und beheben. · Dauer: ca. 150 min · Voraussetzung: Tag 14

Briefing

  • Jede Runde beginnt mit einem Block Spielleitung, der den Fehler einbaut. Danach liest du nur die Lage und arbeitest gegen die Uhr.
  • Die Fehler stammen aus den Tagen 4 bis 14. Wer dort aufgepasst hat, erkennt die Muster wieder.
  • Das wichtigste Werkzeug ist die Frage: Auf welcher Ebene klemmt es? Rancher, Fleet, Cluster, Namespace oder Pod.
  • Die Messschleife gegen notes auf werk läuft im zweiten Terminal (Tag 10, Drill 6).
 Lage ─► Ebene finden ─► Status lesen ─► Ursache ─► Fix ─► Gegenprobe
         Rancher  (clusters.*.cattle.io, Conditions)
         Fleet    (GitRepo, Bundle, Build-Job)
         Cluster  (Nodes, Agent, Events)

Tagesstart:

source ~/rancher-lab/setup/env.sh
mkdir -p "$LAB/tag15" && cd "$LAB/tag15"
export KUBECONFIG="$LAB/kube/rancher.yaml"
W="$LAB/kube/werk.yaml"
W_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io werk \
  -o jsonpath='{.status.clusterName}')
K_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io k3s \
  -o jsonpath='{.status.clusterName}')
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
  -o jsonpath='{.status.display.readyBundleDeployments}'; echo

Erwartet:

2/2

Runde 1: Der falsche Zweig

Spielleitung:

kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"branch":"master"}}'

Lage: Ein Kollege hat das GitRepo „aufgeräumt”. Seitdem kommen neue Commits nicht mehr an, obwohl notes läuft. Zeitlimit: 5 min.

Lösung

f='{range .status.conditions[?(@.status=="False")]}'
f+='{.type}={.status} {.message}{"\n"}{end}'
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes -o jsonpath="$f"
git -C "$LAB/tag08/notes-fleet" branch
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"branch":"main"}}'

Erwartet (gekürzt):

GitPolling=False commit not found for branch: master
…
* main
gitrepo.fleet.cattle.io/notes patched

Fleet findet den Zweig nicht und hört auf zu pollen. Was schon ausgerollt ist, bleibt stehen; deshalb merkt man den Fehler erst beim nächsten Commit.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Die Version, die es nicht gibt

Spielleitung:

cd "$LAB/tag08/notes-fleet"
sed -i '' 's/  version: 0.3.1/  version: 9.9.9/' fleet.yaml
git commit -qam "Chart 9.9.9" && git push -q origin HEAD:main
cd "$LAB/tag15"

Lage: Nach dem letzten Commit passiert nichts. Das GitRepo zeigt weiter 2/2, aber die Änderung kommt nicht an. Finde die Fehlermeldung. Zeitlimit: 10 min.

Lösung

kubectl -n fleet-default get jobs --sort-by=.metadata.creationTimestamp | tail -1
J=$(kubectl -n fleet-default get jobs --sort-by=.metadata.creationTimestamp -o name \
  | tail -1)
kubectl -n fleet-default logs "$J" --all-containers \
  | grep -o 'failed to resolve URL.*no chart version'
cd "$LAB/tag08/notes-fleet"
git revert --no-edit HEAD && git push -q origin HEAD:main
cd "$LAB/tag15"

Erwartet (gekürzt):

notes-64d0d   Failed   0/1           2m30s      2m30s
failed to resolve URL of repo=https://gitea.….sslip.io/api/packages/lab/helm chart=notes
version=9.9.9: no chart version
[main 877383a] Revert "Chart 9.9.9"

Fleet baut aus jedem Commit ein Bundle, in einem Job im Namespace fleet-default. Scheitert der Job, bleibt das alte Bundle aktiv, und 2/2 täuscht. Die Ursache steht im Log des Jobs.

Fortschritt speichern? Kostenlos registrieren

Runde 3: Abgeschaltet per Label

Spielleitung:

kubectl label clusters.management.cattle.io "$K_ID" notes-
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes-

Lage: „notes auf k3s ist weg, wir haben nichts deployt!” Bring notes zurück und finde heraus, ob Daten verloren sind. Zeitlimit: 5 min.

Lösung

kubectl -n fleet-default get clustergroups.fleet.cattle.io notes
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n notes get pvc
kubectl label clusters.management.cattle.io "$K_ID" notes=ja
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes=ja
curl -s "http://notes.$K3S.sslip.io/api/notes"; echo

Erwartet (gekürzt, für curl eine halbe Minute warten):

NAME    CLUSTERS-READY   BUNDLES-READY   STATUS
notes   1/1              2/2
NAME        STATUS   VOLUME                                     …
data-db-0   Bound    pvc-1cc33490-4219-4c30-9a23-96c6b5e39798   …
cluster.management.cattle.io/c-m-5pjkcmvg labeled
cluster.provisioning.cattle.io/k3s labeled
[{"id":"395a46da-…","text":"läuft auf k3s"}]

Die Gruppe zählt nur noch einen Cluster. Ohne Label kein Ziel, ohne Ziel kein Release (Tag 9). Das Volume hat überlebt, also auch die Daten.

Fortschritt speichern? Kostenlos registrieren

Runde 4: Der Katalog lädt nicht

Spielleitung:

PEM=$(base64 -i "$LAB/tag07/lab-ca.crt")
kubectl --kubeconfig "$W" patch clusterrepos.catalog.cattle.io lab --type merge \
  -p "{\"spec\":{\"caBundle\":\"$PEM\",\"forceUpdate\":\"$(date -u +%FT%TZ)\"}}"

Lage: In werk zeigt Apps › Charts das Repo lab nicht mehr an. Jemand hat „nur die CA erneuert”. Zeitlimit: 10 min.

Lösung

f='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'
kubectl --kubeconfig "$W" get clusterrepos.catalog.cattle.io lab -o jsonpath="$f"
DER=$(openssl x509 -in "$LAB/tag07/lab-ca.crt" -outform der | base64)
kubectl --kubeconfig "$W" patch clusterrepos.catalog.cattle.io lab --type merge \
  -p "{\"spec\":{\"caBundle\":\"$DER\",\"forceUpdate\":\"$(date -u +%FT%TZ)\"}}"
kubectl --kubeconfig "$W" wait clusterrepos.catalog.cattle.io/lab \
  --for=condition=Downloaded --timeout=120s

Erwartet (gekürzt):

Downloaded=False x509: malformed certificate. Will retry after 5m0s
clusterrepo.catalog.cattle.io/lab patched
clusterrepo.catalog.cattle.io/lab condition met

PEM statt DER (Tag 7). Die Meldung sagt nicht, welches Format erwartet wird; das muss man wissen.

Fortschritt speichern? Kostenlos registrieren

Runde 5: Der Draht ist ab

Spielleitung:

kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n cattle-system \
  scale deploy/cattle-cluster-agent --replicas=0

Lage: k3s steht in Rancher auf Unavailable. notes auf k3s antwortet aber. Was ist los? Zeitlimit: 5 min.

Lösung

f='{range .status.conditions[?(@.type=="Ready")]}{.status} {.reason} {.message}{end}'
kubectl get clusters.management.cattle.io "$K_ID" -o jsonpath="$f"; echo
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n cattle-system \
  get deploy cattle-cluster-agent
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n cattle-system \
  scale deploy/cattle-cluster-agent --replicas=1

Erwartet (gekürzt):

False Disconnected Cluster agent is not connected
NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
cattle-cluster-agent   0/0     0            0           4h
deployment.apps/cattle-cluster-agent scaled

Der cattle-cluster-agent ist Ranchers einziger Draht ins Cluster (Tag 4). Fehlt er, sieht Rancher nichts, die Anwendungen laufen ungestört weiter.

Fortschritt speichern? Kostenlos registrieren

Runde 6: Die stille Abweichung

Spielleitung:

kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"correctDrift":{"enabled":false}}}'
kubectl --kubeconfig "$W" -n notes scale deploy api --replicas=5

Lage: Auf werk laufen fünf api-Pods, in Git stehen zwei. Niemand will es gewesen sein. Zeig die Abweichung und sorg dafür, dass so etwas künftig von selbst zurückgedreht wird. Zeitlimit: 5 min.

Lösung

c='READY:.status.display.readyBundleDeployments,STATE:.status.display.state'
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes -o custom-columns="$c"
kubectl -n fleet-default get bundles.fleet.cattle.io notes \
  -o jsonpath='{.status.summary.nonReadyResources[0].modifiedStatus}'; echo
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"correctDrift":{"enabled":true}}}'
kubectl --kubeconfig "$W" -n notes get deploy api

Erwartet (gekürzt, vor dem letzten Befehl 20 Sekunden warten):

READY   STATE
0/1     Modified
[{"apiVersion":"apps/v1","kind":"Deployment","name":"api","namespace":"notes",
"patch":"{\"spec\":{\"replicas\":2}}"}]
gitrepo.fleet.cattle.io/notes patched
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    2/2     2            2           2h

Ohne Drift-Korrektur meldet Fleet nur (Tag 8). Wer correctDrift abschaltet, öffnet die Tür für Handänderungen.

Fortschritt speichern? Kostenlos registrieren

Runde 7: Platz ist, aber nicht für dich

Spielleitung:

cat > ns-exp.yaml <<EOF
apiVersion: v1
kind: Namespace
metadata:
  name: notes-exp
  annotations:
    field.cattle.io/projectId: $W_ID:p-notes
EOF
kubectl --kubeconfig "$LAB/kube/werk-anna.yaml" create -f ns-exp.yaml

Lage: anna hat sich einen Namespace für Experimente angelegt. Jeder Pod darin wird abgelehnt, obwohl das Cluster kaum ausgelastet ist. Zeitlimit: 10 min.

Lösung

kubectl --kubeconfig "$W" -n notes-exp get resourcequota
kubectl --kubeconfig "$W" get ns notes-exp \
  -o jsonpath='{.metadata.annotations.cattle\.io/status}' \
  | jq -r '.Conditions[] | select(.Type=="ResourceQuotaValidated") | .Message'
kubectl --kubeconfig "$W" delete ns notes-exp

Erwartet (gekürzt):

NAME            REQUEST                        LIMIT                AGE
default-kd8kq   pods: 0/0, requests.cpu: 0/0   limits.memory: 0/0   11s
Resource quota [limits.memory=8Gi,pods=40,requests.cpu=4] exceeds project limit
namespace "notes-exp" deleted

Das Projekt hat 30 Pods, jeder Namespace bekommt 20; ein zweiter passt nicht mehr hinein (Tag 6). Die Lösung ist eine Entscheidung: Budget erhöhen, Anteil senken oder den Namespace wieder abgeben.

Fortschritt speichern? Kostenlos registrieren

Runde 8: Das Volume, das nicht kommt

Spielleitung:

cat > lp-test.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: lp-test
  namespace: notes
spec:
  accessModes: [ReadWriteOnce]
  storageClassName: local-path
  resources:
    requests:
      storage: 50Mi
EOF
kubectl --kubeconfig "$W" apply -f lp-test.yaml

Lage: Ein Team will für einen Test ausdrücklich local-path statt Longhorn. Der PVC bleibt seit Minuten auf Pending. Zeitlimit: 10 min.

Lösung

kubectl --kubeconfig "$W" -n notes get events \
  --field-selector involvedObject.name=lp-test,reason=ProvisioningFailed \
  -o jsonpath='{.items[0].message}' | grep -o 'violates PodSecurity[^,]*'
kubectl --kubeconfig "$W" -n notes delete pvc lp-test

Erwartet (gekürzt):

violates PodSecurity "restricted:latest": allowPrivilegeEscalation != false (container
"helper-pod" must set securityContext.allowPrivilegeEscalation=false)
persistentvolumeclaim "lp-test" deleted from notes namespace

Der Hilfs-Pod von local-path ist nicht gehärtet, und local-path-storage fehlt in den Ausnahmen von rancher-restricted (Tag 14). Abhilfe: Longhorn nutzen oder eine eigene Vorlage mit Ausnahme für local-path-storage.

Fortschritt speichern? Kostenlos registrieren

Runde 9: Rancher ist weg

Spielleitung:

kubectl -n cattle-system scale deploy rancher --replicas=0

Lage: Die Oberfläche ist weg, ein Kollege muss dringend die Pods von notes auf werk prüfen. Zeitlimit: 5 min.

Lösung

A="$LAB/kube/werk-ace.yaml"
kubectl --kubeconfig "$A" --context werk get nodes --request-timeout=10s
kubectl --kubeconfig "$A" --context werk-werk1 -n notes get pods | head -3
kubectl -n cattle-system scale deploy rancher --replicas=1
kubectl -n cattle-system rollout status deploy/rancher --timeout=300s

Erwartet (gekürzt):

Error from server (ServiceUnavailable): the server is currently unable to handle the
request (get nodes)
NAME                   READY   STATUS    RESTARTS       AGE
api-5968bfb5cc-5smz4   1/1     Running   11 (12m ago)   81m
…
deployment.apps/rancher scaled
deployment "rancher" successfully rolled out

Genau dafür gibt es den direkten Kontext aus Tag 14. Wer ihn nicht vorbereitet hat, bleibt draußen, bis Rancher wieder läuft.

Fortschritt speichern? Kostenlos registrieren

Runde 10: Commits ohne Wirkung

Spielleitung:

kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"paused":true}}'
cd "$LAB/tag08/notes-fleet"
sed -i '' 's/      replicas: 2/      replicas: 3/' fleet.yaml
git commit -qam "api: 3 Repliken" && git push -q origin HEAD:main
cd "$LAB/tag15"

Lage: Der Commit mit drei api-Repliken ist eine Stunde alt, auf werk laufen zwei. Git, Fleet und Cluster sehen gesund aus. Zeitlimit: 5 min.

Lösung

kubectl -n fleet-default get bundles.fleet.cattle.io notes \
  -o jsonpath='{.status.display.state}'; echo
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes -o jsonpath='{.spec.paused}'
echo
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"paused":false}}'
cd "$LAB/tag08/notes-fleet" && git revert --no-edit HEAD && git push -q origin HEAD:main
cd "$LAB/tag15"

Erwartet (gekürzt):

WaitApplied
true
gitrepo.fleet.cattle.io/notes patched
[main …] Revert "api: 3 Repliken"

Das vergessene paused aus Tag 8: Fleet liest den Commit, wendet ihn aber nicht an (WaitApplied). Hier wird die Änderung danach wieder zurückgenommen, damit der Stand für Anhang B stimmt; im echten Fall bliebe sie natürlich.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
  -o custom-columns=BRANCH:.spec.branch,PAUSED:.spec.paused\
,DRIFT:.spec.correctDrift.enabled

Erwartet: Zweig main, nicht angehalten, Drift-Korrektur an.

BRANCH   PAUSED   DRIFT
main     false    true
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
  -o jsonpath='{.status.display.readyBundleDeployments}'; echo
c='NAME:.spec.displayName,READY:.status.conditions[?(@.type=="Ready")].status'
kubectl get clusters.management.cattle.io -o custom-columns="$c"

Erwartet: beide Ziel-Cluster bedient, alle Cluster in Rancher erreichbar.

2/2
NAME    READY
k3s     True
werk    True
local   True
curl -s "http://notes.$WERK1.sslip.io/api/notes"; echo

Erwartet: notes auf werk mit der Notiz aus Tag 7.

[{"id":"c0c70ff3-…","text":"aus dem eigenen Katalog"}]

Challenge

Schreib für dein Team ein kurzes Runbook „notes antwortet nicht” mit fünf Prüfschritten in sinnvoller Reihenfolge, je ein Befehl. Teste es, indem du Runde 5 wiederholst und nur dem Runbook folgst.

Hinweis: Von außen nach innen: erst die Anwendung, dann Rancher, dann Fleet, dann das Cluster.

Lösung

cat > runbook.md <<'EOF'
# Runbook: notes antwortet nicht
1. Anwendung: curl -s http://notes.<werk1>.sslip.io/api/notes
2. Rancher:   kubectl get clusters.management.cattle.io (Spalte Ready)
3. Fleet:     kubectl -n fleet-default get gitrepos.fleet.cattle.io notes
4. Cluster:   kubectl --kubeconfig kube/werk-ace.yaml --context werk-werk1 get nodes
5. Pods:      kubectl --kubeconfig kube/werk-ace.yaml --context werk-werk1 \
              -n notes get pods
EOF
cat runbook.md

Erwartet:

# Runbook: notes antwortet nicht
1. Anwendung: curl -s http://notes.<werk1>.sslip.io/api/notes
…
5. Pods:      kubectl --kubeconfig kube/werk-ace.yaml --context werk-werk1 \
              -n notes get pods

Schritt 4 und 5 nutzen bewusst den direkten Kontext: Ein Runbook muss auch dann funktionieren, wenn Rancher selbst die Störung ist (Runde 9). Bei Runde 5 meldet Schritt 2 das Problem, alle anderen Schritte sind grün; der Agent ist der Fehler.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Game Days: Runden wie diese, regelmäßig und angekündigt im Team geübt, machen Bereitschaftsdienste ruhiger als jede Dokumentation.
  • Alarme statt Zufall: Für die meisten Runden gibt es eine Metrik: Cluster Ready, GitRepo-Zustand, Bundle-State, Katalog Downloaded. Rancher-Monitoring kann sie überwachen.
  • Änderungen nachvollziehbar: Branch, Labels, Quotas, Drift-Einstellungen gehören in Git mit Review, nicht in spontane kubectl patch.
  • Zugang für den Notfall: Direkte Kontexte (ACE) und ein Break-Glass-Konto mit versiegeltem Passwort sind vorbereitet, bevor Rancher ausfällt.
  • Nach jeder Störung: Ein kurzer Bericht ohne Schuldzuweisung, was passiert ist und was künftig verhindert, dass es wieder passiert.