Tag 15: Wettkampf – Desaster-Drills
Ziel: Zehn echte Störungen rund um Rancher, Fleet, Kataloge, Rechte, Speicher und Zugang unter Zeitdruck finden und beheben. · Dauer: ca. 150 min · Voraussetzung: Tag 14
Briefing
- Jede Runde beginnt mit einem Block Spielleitung, der den Fehler einbaut. Danach liest du nur die Lage und arbeitest gegen die Uhr.
- Die Fehler stammen aus den Tagen 4 bis 14. Wer dort aufgepasst hat, erkennt die Muster wieder.
- Das wichtigste Werkzeug ist die Frage: Auf welcher Ebene klemmt es? Rancher, Fleet, Cluster, Namespace oder Pod.
- Die Messschleife gegen notes auf werk läuft im zweiten Terminal (Tag 10, Drill 6).
Lage ─► Ebene finden ─► Status lesen ─► Ursache ─► Fix ─► Gegenprobe
Rancher (clusters.*.cattle.io, Conditions)
Fleet (GitRepo, Bundle, Build-Job)
Cluster (Nodes, Agent, Events)
Tagesstart:
source ~/rancher-lab/setup/env.sh
mkdir -p "$LAB/tag15" && cd "$LAB/tag15"
export KUBECONFIG="$LAB/kube/rancher.yaml"
W="$LAB/kube/werk.yaml"
W_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io werk \
-o jsonpath='{.status.clusterName}')
K_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io k3s \
-o jsonpath='{.status.clusterName}')
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
-o jsonpath='{.status.display.readyBundleDeployments}'; echoErwartet:
2/2
Runde 1: Der falsche Zweig
Spielleitung:
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"branch":"master"}}'Lage: Ein Kollege hat das GitRepo „aufgeräumt”. Seitdem kommen neue Commits nicht mehr an, obwohl notes läuft. Zeitlimit: 5 min.
Lösung
f='{range .status.conditions[?(@.status=="False")]}'
f+='{.type}={.status} {.message}{"\n"}{end}'
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes -o jsonpath="$f"
git -C "$LAB/tag08/notes-fleet" branch
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"branch":"main"}}'Erwartet (gekürzt):
GitPolling=False commit not found for branch: master
…
* main
gitrepo.fleet.cattle.io/notes patched
Fleet findet den Zweig nicht und hört auf zu pollen. Was schon ausgerollt ist, bleibt stehen; deshalb merkt man den Fehler erst beim nächsten Commit.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Die Version, die es nicht gibt
Spielleitung:
cd "$LAB/tag08/notes-fleet"
sed -i '' 's/ version: 0.3.1/ version: 9.9.9/' fleet.yaml
git commit -qam "Chart 9.9.9" && git push -q origin HEAD:main
cd "$LAB/tag15"Lage: Nach dem letzten Commit passiert nichts. Das
GitRepo zeigt weiter 2/2, aber die Änderung kommt nicht an.
Finde die Fehlermeldung. Zeitlimit: 10 min.
Lösung
kubectl -n fleet-default get jobs --sort-by=.metadata.creationTimestamp | tail -1
J=$(kubectl -n fleet-default get jobs --sort-by=.metadata.creationTimestamp -o name \
| tail -1)
kubectl -n fleet-default logs "$J" --all-containers \
| grep -o 'failed to resolve URL.*no chart version'
cd "$LAB/tag08/notes-fleet"
git revert --no-edit HEAD && git push -q origin HEAD:main
cd "$LAB/tag15"Erwartet (gekürzt):
notes-64d0d Failed 0/1 2m30s 2m30s
failed to resolve URL of repo=https://gitea.….sslip.io/api/packages/lab/helm chart=notes
version=9.9.9: no chart version
[main 877383a] Revert "Chart 9.9.9"
Fleet baut aus jedem Commit ein Bundle, in einem Job im Namespace
fleet-default. Scheitert der Job, bleibt das alte Bundle
aktiv, und 2/2 täuscht. Die Ursache steht im Log des
Jobs.
Fortschritt speichern? Kostenlos registrieren
Runde 3: Abgeschaltet per Label
Spielleitung:
kubectl label clusters.management.cattle.io "$K_ID" notes-
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes-Lage: „notes auf k3s ist weg, wir haben nichts deployt!” Bring notes zurück und finde heraus, ob Daten verloren sind. Zeitlimit: 5 min.
Lösung
kubectl -n fleet-default get clustergroups.fleet.cattle.io notes
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n notes get pvc
kubectl label clusters.management.cattle.io "$K_ID" notes=ja
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes=ja
curl -s "http://notes.$K3S.sslip.io/api/notes"; echoErwartet (gekürzt, für curl eine halbe Minute
warten):
NAME CLUSTERS-READY BUNDLES-READY STATUS
notes 1/1 2/2
NAME STATUS VOLUME …
data-db-0 Bound pvc-1cc33490-4219-4c30-9a23-96c6b5e39798 …
cluster.management.cattle.io/c-m-5pjkcmvg labeled
cluster.provisioning.cattle.io/k3s labeled
[{"id":"395a46da-…","text":"läuft auf k3s"}]
Die Gruppe zählt nur noch einen Cluster. Ohne Label kein Ziel, ohne Ziel kein Release (Tag 9). Das Volume hat überlebt, also auch die Daten.
Fortschritt speichern? Kostenlos registrieren
Runde 4: Der Katalog lädt nicht
Spielleitung:
PEM=$(base64 -i "$LAB/tag07/lab-ca.crt")
kubectl --kubeconfig "$W" patch clusterrepos.catalog.cattle.io lab --type merge \
-p "{\"spec\":{\"caBundle\":\"$PEM\",\"forceUpdate\":\"$(date -u +%FT%TZ)\"}}"Lage: In werk zeigt Apps › Charts
das Repo lab nicht mehr an. Jemand hat „nur die CA
erneuert”. Zeitlimit: 10 min.
Lösung
f='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'
kubectl --kubeconfig "$W" get clusterrepos.catalog.cattle.io lab -o jsonpath="$f"
DER=$(openssl x509 -in "$LAB/tag07/lab-ca.crt" -outform der | base64)
kubectl --kubeconfig "$W" patch clusterrepos.catalog.cattle.io lab --type merge \
-p "{\"spec\":{\"caBundle\":\"$DER\",\"forceUpdate\":\"$(date -u +%FT%TZ)\"}}"
kubectl --kubeconfig "$W" wait clusterrepos.catalog.cattle.io/lab \
--for=condition=Downloaded --timeout=120sErwartet (gekürzt):
Downloaded=False x509: malformed certificate. Will retry after 5m0s
clusterrepo.catalog.cattle.io/lab patched
clusterrepo.catalog.cattle.io/lab condition met
PEM statt DER (Tag 7). Die Meldung sagt nicht, welches Format erwartet wird; das muss man wissen.
Fortschritt speichern? Kostenlos registrieren
Runde 5: Der Draht ist ab
Spielleitung:
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n cattle-system \
scale deploy/cattle-cluster-agent --replicas=0Lage: k3s steht in Rancher auf Unavailable. notes auf k3s antwortet aber. Was ist los? Zeitlimit: 5 min.
Lösung
f='{range .status.conditions[?(@.type=="Ready")]}{.status} {.reason} {.message}{end}'
kubectl get clusters.management.cattle.io "$K_ID" -o jsonpath="$f"; echo
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n cattle-system \
get deploy cattle-cluster-agent
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n cattle-system \
scale deploy/cattle-cluster-agent --replicas=1Erwartet (gekürzt):
False Disconnected Cluster agent is not connected
NAME READY UP-TO-DATE AVAILABLE AGE
cattle-cluster-agent 0/0 0 0 4h
deployment.apps/cattle-cluster-agent scaled
Der cattle-cluster-agent ist Ranchers einziger Draht ins Cluster (Tag 4). Fehlt er, sieht Rancher nichts, die Anwendungen laufen ungestört weiter.
Fortschritt speichern? Kostenlos registrieren
Runde 6: Die stille Abweichung
Spielleitung:
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"correctDrift":{"enabled":false}}}'
kubectl --kubeconfig "$W" -n notes scale deploy api --replicas=5Lage: Auf werk laufen fünf api-Pods, in Git stehen zwei. Niemand will es gewesen sein. Zeig die Abweichung und sorg dafür, dass so etwas künftig von selbst zurückgedreht wird. Zeitlimit: 5 min.
Lösung
c='READY:.status.display.readyBundleDeployments,STATE:.status.display.state'
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes -o custom-columns="$c"
kubectl -n fleet-default get bundles.fleet.cattle.io notes \
-o jsonpath='{.status.summary.nonReadyResources[0].modifiedStatus}'; echo
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"correctDrift":{"enabled":true}}}'
kubectl --kubeconfig "$W" -n notes get deploy apiErwartet (gekürzt, vor dem letzten Befehl 20 Sekunden warten):
READY STATE
0/1 Modified
[{"apiVersion":"apps/v1","kind":"Deployment","name":"api","namespace":"notes",
"patch":"{\"spec\":{\"replicas\":2}}"}]
gitrepo.fleet.cattle.io/notes patched
NAME READY UP-TO-DATE AVAILABLE AGE
api 2/2 2 2 2h
Ohne Drift-Korrektur meldet Fleet nur (Tag 8). Wer
correctDrift abschaltet, öffnet die Tür für
Handänderungen.
Fortschritt speichern? Kostenlos registrieren
Runde 7: Platz ist, aber nicht für dich
Spielleitung:
cat > ns-exp.yaml <<EOF
apiVersion: v1
kind: Namespace
metadata:
name: notes-exp
annotations:
field.cattle.io/projectId: $W_ID:p-notes
EOF
kubectl --kubeconfig "$LAB/kube/werk-anna.yaml" create -f ns-exp.yamlLage: anna hat sich einen Namespace für Experimente angelegt. Jeder Pod darin wird abgelehnt, obwohl das Cluster kaum ausgelastet ist. Zeitlimit: 10 min.
Lösung
kubectl --kubeconfig "$W" -n notes-exp get resourcequota
kubectl --kubeconfig "$W" get ns notes-exp \
-o jsonpath='{.metadata.annotations.cattle\.io/status}' \
| jq -r '.Conditions[] | select(.Type=="ResourceQuotaValidated") | .Message'
kubectl --kubeconfig "$W" delete ns notes-expErwartet (gekürzt):
NAME REQUEST LIMIT AGE
default-kd8kq pods: 0/0, requests.cpu: 0/0 limits.memory: 0/0 11s
Resource quota [limits.memory=8Gi,pods=40,requests.cpu=4] exceeds project limit
namespace "notes-exp" deleted
Das Projekt hat 30 Pods, jeder Namespace bekommt 20; ein zweiter passt nicht mehr hinein (Tag 6). Die Lösung ist eine Entscheidung: Budget erhöhen, Anteil senken oder den Namespace wieder abgeben.
Fortschritt speichern? Kostenlos registrieren
Runde 8: Das Volume, das nicht kommt
Spielleitung:
cat > lp-test.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: lp-test
namespace: notes
spec:
accessModes: [ReadWriteOnce]
storageClassName: local-path
resources:
requests:
storage: 50Mi
EOF
kubectl --kubeconfig "$W" apply -f lp-test.yamlLage: Ein Team will für einen Test ausdrücklich
local-path statt Longhorn. Der PVC bleibt seit Minuten auf
Pending. Zeitlimit: 10 min.
Lösung
kubectl --kubeconfig "$W" -n notes get events \
--field-selector involvedObject.name=lp-test,reason=ProvisioningFailed \
-o jsonpath='{.items[0].message}' | grep -o 'violates PodSecurity[^,]*'
kubectl --kubeconfig "$W" -n notes delete pvc lp-testErwartet (gekürzt):
violates PodSecurity "restricted:latest": allowPrivilegeEscalation != false (container
"helper-pod" must set securityContext.allowPrivilegeEscalation=false)
persistentvolumeclaim "lp-test" deleted from notes namespace
Der Hilfs-Pod von local-path ist nicht gehärtet, und
local-path-storage fehlt in den Ausnahmen von
rancher-restricted (Tag 14). Abhilfe: Longhorn nutzen oder
eine eigene Vorlage mit Ausnahme für
local-path-storage.
Fortschritt speichern? Kostenlos registrieren
Runde 9: Rancher ist weg
Spielleitung:
kubectl -n cattle-system scale deploy rancher --replicas=0Lage: Die Oberfläche ist weg, ein Kollege muss dringend die Pods von notes auf werk prüfen. Zeitlimit: 5 min.
Lösung
A="$LAB/kube/werk-ace.yaml"
kubectl --kubeconfig "$A" --context werk get nodes --request-timeout=10s
kubectl --kubeconfig "$A" --context werk-werk1 -n notes get pods | head -3
kubectl -n cattle-system scale deploy rancher --replicas=1
kubectl -n cattle-system rollout status deploy/rancher --timeout=300sErwartet (gekürzt):
Error from server (ServiceUnavailable): the server is currently unable to handle the
request (get nodes)
NAME READY STATUS RESTARTS AGE
api-5968bfb5cc-5smz4 1/1 Running 11 (12m ago) 81m
…
deployment.apps/rancher scaled
deployment "rancher" successfully rolled out
Genau dafür gibt es den direkten Kontext aus Tag 14. Wer ihn nicht vorbereitet hat, bleibt draußen, bis Rancher wieder läuft.
Fortschritt speichern? Kostenlos registrieren
Runde 10: Commits ohne Wirkung
Spielleitung:
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"paused":true}}'
cd "$LAB/tag08/notes-fleet"
sed -i '' 's/ replicas: 2/ replicas: 3/' fleet.yaml
git commit -qam "api: 3 Repliken" && git push -q origin HEAD:main
cd "$LAB/tag15"Lage: Der Commit mit drei api-Repliken ist eine Stunde alt, auf werk laufen zwei. Git, Fleet und Cluster sehen gesund aus. Zeitlimit: 5 min.
Lösung
kubectl -n fleet-default get bundles.fleet.cattle.io notes \
-o jsonpath='{.status.display.state}'; echo
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes -o jsonpath='{.spec.paused}'
echo
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"paused":false}}'
cd "$LAB/tag08/notes-fleet" && git revert --no-edit HEAD && git push -q origin HEAD:main
cd "$LAB/tag15"Erwartet (gekürzt):
WaitApplied
true
gitrepo.fleet.cattle.io/notes patched
[main …] Revert "api: 3 Repliken"
Das vergessene paused aus Tag 8: Fleet liest den Commit,
wendet ihn aber nicht an (WaitApplied). Hier wird die
Änderung danach wieder zurückgenommen, damit der Stand für Anhang B
stimmt; im echten Fall bliebe sie natürlich.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
-o custom-columns=BRANCH:.spec.branch,PAUSED:.spec.paused\
,DRIFT:.spec.correctDrift.enabledErwartet: Zweig main, nicht angehalten, Drift-Korrektur
an.
BRANCH PAUSED DRIFT
main false true
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
-o jsonpath='{.status.display.readyBundleDeployments}'; echo
c='NAME:.spec.displayName,READY:.status.conditions[?(@.type=="Ready")].status'
kubectl get clusters.management.cattle.io -o custom-columns="$c"Erwartet: beide Ziel-Cluster bedient, alle Cluster in Rancher erreichbar.
2/2
NAME READY
k3s True
werk True
local True
curl -s "http://notes.$WERK1.sslip.io/api/notes"; echoErwartet: notes auf werk mit der Notiz aus Tag 7.
[{"id":"c0c70ff3-…","text":"aus dem eigenen Katalog"}]
Challenge
Schreib für dein Team ein kurzes Runbook „notes antwortet nicht” mit fünf Prüfschritten in sinnvoller Reihenfolge, je ein Befehl. Teste es, indem du Runde 5 wiederholst und nur dem Runbook folgst.
Hinweis: Von außen nach innen: erst die Anwendung, dann Rancher, dann Fleet, dann das Cluster.
Lösung
cat > runbook.md <<'EOF'
# Runbook: notes antwortet nicht
1. Anwendung: curl -s http://notes.<werk1>.sslip.io/api/notes
2. Rancher: kubectl get clusters.management.cattle.io (Spalte Ready)
3. Fleet: kubectl -n fleet-default get gitrepos.fleet.cattle.io notes
4. Cluster: kubectl --kubeconfig kube/werk-ace.yaml --context werk-werk1 get nodes
5. Pods: kubectl --kubeconfig kube/werk-ace.yaml --context werk-werk1 \
-n notes get pods
EOF
cat runbook.mdErwartet:
# Runbook: notes antwortet nicht
1. Anwendung: curl -s http://notes.<werk1>.sslip.io/api/notes
…
5. Pods: kubectl --kubeconfig kube/werk-ace.yaml --context werk-werk1 \
-n notes get pods
Schritt 4 und 5 nutzen bewusst den direkten Kontext: Ein Runbook muss auch dann funktionieren, wenn Rancher selbst die Störung ist (Runde 9). Bei Runde 5 meldet Schritt 2 das Problem, alle anderen Schritte sind grün; der Agent ist der Fehler.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Game Days: Runden wie diese, regelmäßig und angekündigt im Team geübt, machen Bereitschaftsdienste ruhiger als jede Dokumentation.
- Alarme statt Zufall: Für die meisten Runden gibt es
eine Metrik: Cluster
Ready, GitRepo-Zustand, Bundle-State, KatalogDownloaded. Rancher-Monitoring kann sie überwachen. - Änderungen nachvollziehbar: Branch, Labels, Quotas,
Drift-Einstellungen gehören in Git mit Review, nicht in spontane
kubectl patch. - Zugang für den Notfall: Direkte Kontexte (ACE) und ein Break-Glass-Konto mit versiegeltem Passwort sind vorbereitet, bevor Rancher ausfällt.
- Nach jeder Störung: Ein kurzer Bericht ohne Schuldzuweisung, was passiert ist und was künftig verhindert, dass es wieder passiert.