Tag 15: Wettkampf – Desaster-Drills
Ziel: Zehn echte Störungen im RKE2-Cluster unter Zeitdruck finden und beheben: Images, Registry, Quota, Budgets, Nodes, Netz, Secrets, Gateway, Wartung und ein versehentliches
helm uninstall. · Dauer: ca. 150 min · Voraussetzung: Tag 14
Briefing
- Jede Runde beginnt mit einem Block Spielleitung: Diese Befehle bauen den Fehler ein. Danach liest du nur noch die Lage und arbeitest gegen die Uhr.
- Erst selbst suchen, dann die Lösung lesen. Die Lösung zeigt einen Weg, nicht den einzigen.
- Die Messschleife aus Tag 14 läuft im zweiten Terminal weiter. Sie zeigt, ob deine Nutzer etwas merken.
- Werkzeuge der Wahl:
kubectl get,describe,logs --previous,get events,helm history,helm get values,journalctlauf dem Node.
Lage lesen ─► Symptom sehen ─► Ebene finden ─► Ursache ─► Fix ─► Gegenprobe
(Schleife, (Pod, Node,
get pods) Helm, Netz)
Tagesstart wie an Tag 14, mit dem Stand von Tag 14:
source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
mkdir -p "$LAB/tag15" && cd "$LAB/tag15"
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag11/notes/." .
cp -R "$LAB/code/tag13/notes/." . && cp -R "$LAB/code/tag14/notes/." .
sed -i '' "s/SERVER_IP/$SERVER/" values-rke2.yaml
kubectl get nodes
helm listErwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 1h v1.37.1+rke2r1
rke2-agent2 Ready <none> 1h v1.37.1+rke2r1
rke2-server Ready control-plane,etcd 1h v1.37.1+rke2r1
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
notes notes … 2026-… deployed notes-0.3.0 0.2.0
Runde 1: Die Version, die es nicht gibt
Spielleitung:
helm upgrade notes chart/notes -f values-rke2.yaml --set web.image.tag=0.1.1 \
--wait --timeout 90sLage: Ein Kollege wollte web auf „die neue Version”
heben. Helm meldet nach anderthalb Minuten einen Fehler, aber die
Schleife zeigt weiter 200. Finde heraus, was schiefging,
und stell den alten Zustand sauber her. Zeitlimit: 5
min.
helm history notes | tail -2
kubectl get pods -l app.kubernetes.io/name=webErwartet (gekürzt):
Error: UPGRADE FAILED: resource Deployment/notes/web not ready. status: InProgress,
message: Updated: 1/2
context deadline exceeded
3 Sat Oct 31 10:23:19 2026 deployed notes-0.3.0 0.2.0 Upgrade complete
4 Sat Oct 31 11:01:15 2026 failed notes-0.3.0 0.2.0 Upgrade "notes" fai…
NAME READY STATUS RESTARTS AGE
web-5bcd78bdd9-n94xv 1/1 Running 3 (15m ago) 39m
web-5bcd78bdd9-ww9zl 1/1 Running 2 (8m ago) 17m
web-757b4c5488-bfhkr 0/1 ImagePullBackOff 0 91s
Lösung
kubectl get events --field-selector reason=Failed -o custom-columns=MSG:.message \
| grep -m1 0.1.1
helm rollback notes --wait
helm history notes | tail -1
kubectl get pods -l app.kubernetes.io/name=webErwartet (gekürzt):
Failed to pull image "…:5000/notes-web:0.1.1": rpc error: code = NotFound desc = …
…:5000/notes-web:0.1.1: not found
Rollback was a success! Happy Helming!
5 Sat Oct 31 11:02:54 2026 deployed notes-0.3.0 0.2.0 Rollback to 3
NAME READY STATUS RESTARTS AGE
web-5bcd78bdd9-n94xv 1/1 Running 3 (15m ago) 39m
web-5bcd78bdd9-ww9zl 1/1 Running 2 (8m ago) 17m
web-757b4c5488-bfhkr 0/1 Terminating 0 93s
maxUnavailable: 0 hat die alten Pods stehen lassen,
darum merkten die Nutzer nichts. helm rollback ohne Nummer
geht eine Revision zurück. Ein Rollback erzeugt eine neue Revision; die
Geschichte bleibt erhalten.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Nur ein Node will nicht
Spielleitung:
multipass exec rke2-agent2 -- sudo sed -i 's/lab-registry-pw-123/lab-registry-pw-456/' \
/etc/rancher/rke2/registries.yaml
multipass exec rke2-agent2 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node --all --timeout=180sLage: „Auf rke2-agent2 starten keine neuen Pods mehr, auf den anderen schon.” Beweise es mit einem Test-Pod, finde die Ursache und repariere sie. Zeitlimit: 10 min.
kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
--image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123 \
--overrides='{"spec":{"nodeName":"rke2-agent2"}}'
kubectl -n default describe pod pulltest | grep -m1 'Failed to pull'Erwartet (gekürzt):
pod/pulltest created
Warning Failed 1s kubelet spec.containers{pulltest}: Failed to pull image
"…:5000/notes-api:0.2.0": … unexpected status from HEAD request to
https://…:5000/v2/notes-api/manifests/0.2.0: 401 Unauthorized
Lösung
401 statt x509 (Tag 13): Die CA stimmt, die
Zugangsdaten nicht. Die stehen pro Node in
registries.yaml:
multipass exec rke2-agent2 -- sudo grep password /etc/rancher/rke2/registries.yaml
multipass exec rke2-agent2 -- sudo sed -i 's/lab-registry-pw-456/lab-registry-pw-123/' \
/etc/rancher/rke2/registries.yaml
multipass exec rke2-agent2 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent2 --timeout=180s
kubectl -n default delete pod pulltest
kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
--image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123 \
--overrides='{"spec":{"nodeName":"rke2-agent2"}}'
kubectl -n default wait --for=condition=Ready pod/pulltest --timeout=60s
kubectl -n default delete pod pulltestErwartet (gekürzt):
password: lab-registry-pw-456
node/rke2-agent2 condition met
pod "pulltest" deleted from default namespace
pod/pulltest created
pod/pulltest condition met
pod "pulltest" deleted from default namespace
nodeName umgeht den Scheduler und zwingt den Pod auf
genau einen Node. Für Tests ist das ideal; im Alltag nimmst du
nodeSelector oder Affinity.
Fortschritt speichern? Kostenlos registrieren
Runde 3: Zwanzig passen nicht
Spielleitung:
helm upgrade notes chart/notes -f values-rke2.yaml --set api.replicas=20 \
--wait --timeout 60sLage: Für einen Lasttest sollte die api auf 20 Repliken. Helm bricht ab, trotzdem laufen deutlich mehr Pods als vorher. Wie viele, warum nicht alle, und wie kommst du sauber zurück? Zeitlimit: 5 min.
kubectl get deploy api
kubectl get resourcequota notesErwartet (gekürzt):
context deadline exceeded
NAME READY UP-TO-DATE AVAILABLE AGE
api 16/20 16 16 58m
NAME REQUEST LIMIT AGE
notes pods: 20/20, requests.cpu: 1020m/2, requests.memory: 896Mi/2Gi … 58m
Lösung
kubectl get events --field-selector reason=FailedCreate \
-o custom-columns=MSG:.message | grep -m1 quota
helm rollback notes --wait
kubectl get deploy apiErwartet (gekürzt):
Error creating: pods "api-69c4fc7c84-jd4cx" is forbidden: exceeded quota: notes,
requested: pods=1, used: pods=20, limited: pods=20
Rollback was a success! Happy Helming!
NAME READY UP-TO-DATE AVAILABLE AGE
api 3/3 3 3 58m
Die Quota aus Tag 6 erlaubt 20 Pods im Namespace. Das ReplicaSet
bekommt keinen Pending-Pod, die Ablehnung steht nur in den Events
(FailedCreate). Für einen echten Lasttest hebst du die
Quota bewusst an, und zwar in k8s/namespace.yaml.
Fortschritt speichern? Kostenlos registrieren
Runde 4: Der Drain, der nicht endet
Spielleitung:
helm upgrade notes chart/notes -f values-rke2.yaml --set pdb.web.minAvailable=2 \
--wait
kubectl get pods -o wide -l 'app.kubernetes.io/name in (web,db)'Erwartet (gekürzt):
NAME READY STATUS … NODE
db-0 1/1 Running … rke2-agent2
web-5bcd78bdd9-l2d7l 1/1 Running … rke2-agent1
web-5bcd78bdd9-pzbwp 1/1 Running … rke2-server
Lage: Ein Node mit einem web-Pod, aber ohne
db-0 soll zur Wartung (im Buch rke2-agent1).
Der Drain bleibt hängen. Bring ihn zu Ende, ohne die Nutzer zu stören.
Zeitlimit: 5 min.
kubectl drain rke2-agent1 --ignore-daemonsets --delete-emptydir-data --timeout=45sErwartet (gekürzt):
node/rke2-agent1 cordoned
…
evicting pod notes/web-5bcd78bdd9-l2d7l
error when evicting pods/"web-5bcd78bdd9-l2d7l" -n "notes" (will retry after 5s):
Cannot evict pod as it would violate the pod's disruption budget.
evicting pod notes/web-5bcd78bdd9-l2d7l
…
Lösung
kubectl get pdb web
helm rollback notes --wait
kubectl get pdb web
kubectl drain rke2-agent1 --ignore-daemonsets --delete-emptydir-data | tail -1
kubectl uncordon rke2-agent1Erwartet (gekürzt):
NAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS AGE
web 2 N/A 0 55m
Rollback was a success! Happy Helming!
NAME MIN AVAILABLE MAX UNAVAILABLE ALLOWED DISRUPTIONS AGE
web 1 N/A 1 56m
node/rke2-agent1 drained
node/rke2-agent1 uncordoned
minAvailable gleich der Zahl der Repliken heißt
ALLOWED DISRUPTIONS 0: Kein Drain kommt je durch. Ein
Budget muss immer mindestens einen Pod freigeben. Alternativ hilft eine
Replik mehr.
Achtung: Wähle für diese Runde nie den Node mit
db-0. Sonst fliegt erst die Datenbank, die api ist nicht mehr bereit, und auch das api-Budget lässt nichts mehr durch (Tag 14, Drill 4).
Fortschritt speichern? Kostenlos registrieren
Runde 5: Der Agent kommt nicht zurück
Spielleitung:
multipass exec rke2-agent1 -- sudo sed -i 's/:9345/:9346/' /etc/rancher/rke2/config.yaml
multipass exec rke2-agent1 -- sudo systemctl restart --no-block rke2-agentLage: Nach einem „kleinen Konfig-Update” steht
rke2-agent1 seit einer Minute auf NotReady.
Finde die Ursache auf dem Node. Zeitlimit: 10 min.
kubectl get nodes
multipass exec rke2-agent1 -- systemctl is-active rke2-agentErwartet:
NAME STATUS ROLES AGE VERSION
rke2-agent1 NotReady <none> 88m v1.37.1+rke2r1
rke2-agent2 Ready <none> 88m v1.37.1+rke2r1
rke2-server Ready control-plane,etcd 91m v1.37.1+rke2r1
activating
Lösung
multipass exec rke2-agent1 -- sudo journalctl -u rke2-agent --since -1min \
--no-pager | tail -2
multipass exec rke2-agent1 -- sudo cat /etc/rancher/rke2/config.yaml
multipass exec rke2-agent1 -- sudo sed -i 's/:9346/:9345/' /etc/rancher/rke2/config.yaml
multipass exec rke2-agent1 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent1 --timeout=120sErwartet (gekürzt):
… level=error msg="Failed to validate connection to cluster at https://…:9346: failed
to get CA certs: Get \"https://127.0.0.1:6444/cacerts\": EOF"
…
server: https://…:9346
token-file: /etc/rancher/rke2/token
node/rke2-agent1 condition met
activating heißt: Der Dienst versucht es endlos weiter.
Die Ursache steht nur im Journal des Nodes, nicht in
kubectl. Die Adresse 127.0.0.1:6444 ist der
lokale Proxy des Agents, über den er den Server erreicht. Der
eigentliche Fehler ist der Port 9346 dahinter. --no-block
verhindert, dass systemctl restart auf den Start wartet,
der nie kommt.
Fortschritt speichern? Kostenlos registrieren
Runde 6: Funkstille
Spielleitung:
cat > deny-egress.yaml <<'EOF'
# deny-egress.yaml – Tag 15, Runde 6 (Spielleitung)
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny-egress
namespace: notes
spec:
podSelector: {}
policyTypes: [Egress]
EOF
kubectl apply -f deny-egress.yaml
kubectl rollout restart deploy/apiLage: Ein Security-Audit hat „ausgehenden Verkehr
gehärtet”. Seitdem zeigt die Schleife 000, und der neue
api-Pod startet nicht. Finde die Ursache und stell den Betrieb wieder
her. Zeitlimit: 10 min.
kubectl get pods -l app.kubernetes.io/name=api
kubectl exec deploy/web -- wget -qO- -T 3 http://api:8080/healthzErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
api-5c854d686c-5gkdr 0/1 CrashLoopBackOff 2 (21s ago) 45s
api-69c4fc7c84-9h7zv 1/1 Running 0 3m50s
api-69c4fc7c84-ldhf2 1/1 Running 0 13m
api-69c4fc7c84-rczp7 1/1 Running 0 13m
wget: bad address 'api:8080'
command terminated with exit code 1
Lösung
kubectl logs api-5c854d686c-5gkdr --previous | tail -1
kubectl get networkpolicy
kubectl delete -f deny-egress.yaml
kubectl rollout status deploy/apiErwartet (gekürzt):
… level=ERROR msg="database unreachable" … hostname resolving error: lookup db on
10.43.0.10:53: dial udp 10.43.0.10:53: i/o timeout …
NAME POD-SELECTOR AGE
api-from-clients app.kubernetes.io/name=api 70m
db-from-api app.kubernetes.io/name=db 70m
default-deny-egress <none> 60s
default-deny-ingress <none> 70m
web-from-gateway app.kubernetes.io/name=web 70m
networkpolicy.networking.k8s.io "default-deny-egress" deleted from notes namespace
…
deployment "api" successfully rolled out
bad address und i/o timeout auf Port 53:
Schon DNS ist gesperrt. Egress-Sperren sind gut, brauchen aber
Freigaben: mindestens für DNS (kube-dns in kube-system, UDP
und TCP 53) und für jedes Ziel der App. Canal, das Pod-Netz von RKE2,
setzt NetworkPolicies durch wie kindnet in Teil 1.
Fortschritt speichern? Kostenlos registrieren
Runde 7: Halb rotiert
Spielleitung:
POSTGRES_PASSWORD=lab-db-pw-456 k8s/secrets.sh
kubectl rollout restart deploy/apiLage: Das DB-Passwort wurde „rotiert”. Die Schleife
zeigt 200, aber der Rollout der api kommt nicht voran. Mach
die Rotation fertig, ohne das alte Passwort zurückzuholen.
Zeitlimit: 10 min.
kubectl get pods -l app.kubernetes.io/name=api
kubectl rollout status deploy/api --timeout=5sErwartet (gekürzt):
secret/notes-api unchanged
secret/notes-db configured
deployment.apps/api restarted
NAME READY STATUS RESTARTS AGE
api-5c854d686c-5gkdr 1/1 Running 4 (119s ago) 2m49s
api-5c854d686c-fbdqz 1/1 Running 0 63s
api-5c854d686c-p7h8f 1/1 Running 0 65s
api-f5fdbdc89-q9nqk 0/1 CrashLoopBackOff 3 (6s ago) 41s
error: timed out waiting for the condition
Lösung
kubectl logs api-f5fdbdc89-q9nqk --previous | grep -o 'failed SASL auth[^"]*' | head -1
kubectl exec db-0 -- psql -U notes -d notes \
-c "ALTER USER notes PASSWORD 'lab-db-pw-456'"
kubectl rollout status deploy/api
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echoErwartet (gekürzt):
failed SASL auth: FATAL: password authentication failed for user "notes" …
ALTER ROLE
deployment "api" successfully rolled out
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Das Secret hatte das neue Passwort, Postgres noch das alte:
POSTGRES_PASSWORD wirkt nur beim allerersten Start auf ein
leeres Volume. Die alten api-Pods hielten ihre Verbindungen und retteten
den Betrieb. Richtige Reihenfolge: erst die Datenbank, dann das Secret,
dann der Rollout. Ab hier gilt lab-db-pw-456.
Fortschritt speichern? Kostenlos registrieren
Runde 8: 404 für alle
Spielleitung:
helm upgrade notes chart/notes -f values-rke2.yaml --set gateway.hostname=notes.lab \
--wait | grep -E '^(STATUS|REVISION):'Lage: Nach einem „harmlosen” Upgrade liefert notes nur noch 404, obwohl alle Pods grün sind. Zeitlimit: 5 min.
curl -s -i --resolve "notes.localhost:30080:$SERVER" \
http://notes.localhost:30080/api/notes | head -1
kubectl get podsErwartet (gekürzt):
STATUS: deployed
REVISION: 17
HTTP/1.1 404 Not Found
NAME READY STATUS RESTARTS AGE
api-f5fdbdc89-2snjx 1/1 Running 0 2m
…
Lösung
kubectl get httproute web -o jsonpath='{.spec.hostnames}'; echo
helm get values notes | grep -A1 gateway
helm rollback notes --wait
curl -s -o /dev/null -w '%{http_code}\n' --resolve "notes.localhost:30080:$SERVER" \
http://notes.localhost:30080/api/notesErwartet:
["notes.lab"]
gateway:
hostname: notes.lab
Rollback was a success! Happy Helming!
200
404 mit grünen Pods zeigt fast immer aufs Routing.
helm get values listet nur die Werte, die jemand gesetzt
hat – der Ausreißer fällt sofort auf.
Fortschritt speichern? Kostenlos registrieren
Runde 9: Nach der Wartung
Spielleitung:
kubectl cordon rke2-server rke2-agent1 rke2-agent2
kubectl rollout restart deploy/webLage: Die nächtliche Wartung ist vorbei. Ein
Neustart von web hängt, die Schleife zeigt trotzdem 200.
Zeitlimit: 5 min.
kubectl get pods -l app.kubernetes.io/name=web
kubectl get nodesErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
web-5b7455b6cf-dcfcl 0/1 Pending 0 16s
web-5bcd78bdd9-pzbwp 1/1 Running 0 20m
web-5bcd78bdd9-r5vk9 1/1 Running 0 6m53s
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready,SchedulingDisabled <none> 93m v1.37.1+rke2r1
rke2-agent2 Ready,SchedulingDisabled <none> 93m v1.37.1+rke2r1
rke2-server Ready,SchedulingDisabled control-plane,etcd 96m v1.37.1+rke2r1
Lösung
kubectl get events --field-selector reason=FailedScheduling \
-o custom-columns=MSG:.message | tail -1
kubectl uncordon rke2-server rke2-agent1 rke2-agent2
kubectl rollout status deploy/webErwartet (gekürzt):
0/3 nodes are available: 3 node(s) were unschedulable. preemption: …
node/rke2-server uncordoned
node/rke2-agent1 uncordoned
node/rke2-agent2 uncordoned
deployment "web" successfully rolled out
Jeder drain braucht sein uncordon. Laufende
Pods merken nichts von cordon. Auffällig wird es erst beim
nächsten Rollout oder Ausfall, oft Tage später.
Fortschritt speichern? Kostenlos registrieren
Runde 10: Alles weg?
Spielleitung:
helm uninstall notes --waitLage: Jemand hat im falschen Terminal
helm uninstall getippt. Die Schleife zeigt
000. Sind die Notizen verloren? Bring notes zurück.
Zeitlimit: 10 min.
kubectl get pvc,secretErwartet (gekürzt):
release "notes" uninstalled
NAME STATUS VOLUME …
persistentvolumeclaim/data-db-0 Bound pvc-f7f33bd8-7f9f-470d-92bd-39ac2b726af9 …
NAME TYPE DATA AGE
secret/notes-api Opaque 1 74m
secret/notes-db Opaque 2 74m
Lösung
helm install notes chart/notes -f values-rke2.yaml --wait --timeout 5m \
| grep -E '^(STATUS|REVISION):'
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echoErwartet:
STATUS: deployed
REVISION: 1
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Helm löscht keine PVCs, die aus der volumeClaimTemplate
eines StatefulSets entstanden sind, und die Secrets gehören gar nicht
zum Chart (Tag 10). Darum findet die neue db-0 ihr Volume
wieder. Die Geschichte des Release ist allerdings weg; sie beginnt
wieder bei Revision 1.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl get nodesErwartet: alle drei Ready, keiner
SchedulingDisabled.
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 95m v1.37.1+rke2r1
rke2-agent2 Ready <none> 95m v1.37.1+rke2r1
rke2-server Ready control-plane,etcd 98m v1.37.1+rke2r1
kubectl get networkpolicy default-deny-egressErwartet: Die Sperre aus Runde 6 ist weg.
Error from server (NotFound): … "default-deny-egress" not found
multipass exec rke2-agent2 -- sudo grep password /etc/rancher/rke2/registries.yamlErwartet: wieder das richtige Pull-Passwort.
password: lab-registry-pw-123
helm list
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echoErwartet: Release notes auf Chart 0.3.0, deine Notiz ist
da.
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
notes notes 1 2026-… deployed notes-0.3.0 0.2.0
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Challenge
Tag 14 hat gezeigt: Ein etcd-Snapshot sichert keine Notizen. Sichere
die Datenbank mit pg_dump auf den Mac, lösche alle Notizen
und spiel die Sicherung zurück.
Hinweis: kubectl exec reicht
Standardein- und -ausgabe durch. Mit -i geht auch eine
Datei vom Mac in den Pod.
Lösung
kubectl exec db-0 -- pg_dump -U notes -d notes -Fc > notes.dump
ls -l notes.dump
kubectl exec db-0 -- psql -U notes -d notes -c 'DELETE FROM notes'
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo
kubectl exec -i db-0 -- pg_restore -U notes -d notes --clean --if-exists < notes.dump
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echoErwartet (gekürzt):
-rw-r--r-- 1 … 1710 … notes.dump
DELETE 1
[]
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
-Fc ist das Binärformat von Postgres,
pg_restore --clean --if-exists löscht vor dem Einspielen
die vorhandenen Tabellen. Innerhalb des Pods braucht psql
kein Passwort: Lokale Verbindungen sind im offiziellen Image
vertrauenswürdig.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Runbooks: Jede Runde dieses Tages ist ein Kandidat für ein Runbook: Symptom, Prüfbefehle, Fix, Gegenprobe. Geübt wird in Game Days, nicht im Ernstfall.
- Beobachtbarkeit: Statt einer Messschleife zeigen Prometheus-Alarme und synthetische Checks Störungen an, bevor Nutzer anrufen.
- Änderungen: Fast jede Runde begann mit einer Änderung von Hand. GitOps (Argo CD, Fleet) und Review-Pflicht für Values machen sie sichtbar und rückgängig.
- Backups: Datenbank-Backups laufen automatisch (CronJob oder Operator), landen außerhalb des Clusters und werden regelmäßig zurückgespielt, sonst sind sie nur eine Hoffnung.
- Rechte:
helm uninstallim Produktions-Namespace sollte nicht jeder dürfen. RBAC trennt Lesen, Ausrollen und Löschen.