Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Wettkampf – Desaster-Drills

Ziel: Zehn echte Störungen im RKE2-Cluster unter Zeitdruck finden und beheben: Images, Registry, Quota, Budgets, Nodes, Netz, Secrets, Gateway, Wartung und ein versehentliches helm uninstall. · Dauer: ca. 150 min · Voraussetzung: Tag 14

Briefing

  • Jede Runde beginnt mit einem Block Spielleitung: Diese Befehle bauen den Fehler ein. Danach liest du nur noch die Lage und arbeitest gegen die Uhr.
  • Erst selbst suchen, dann die Lösung lesen. Die Lösung zeigt einen Weg, nicht den einzigen.
  • Die Messschleife aus Tag 14 läuft im zweiten Terminal weiter. Sie zeigt, ob deine Nutzer etwas merken.
  • Werkzeuge der Wahl: kubectl get, describe, logs --previous, get events, helm history, helm get values, journalctl auf dem Node.
 Lage lesen ─► Symptom sehen ─► Ebene finden ─► Ursache ─► Fix ─► Gegenprobe
               (Schleife,       (Pod, Node,
                get pods)        Helm, Netz)

Tagesstart wie an Tag 14, mit dem Stand von Tag 14:

source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
mkdir -p "$LAB/tag15" && cd "$LAB/tag15"
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag11/notes/." .
cp -R "$LAB/code/tag13/notes/." . && cp -R "$LAB/code/tag14/notes/." .
sed -i '' "s/SERVER_IP/$SERVER/" values-rke2.yaml
kubectl get nodes
helm list

Erwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):

NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               1h    v1.37.1+rke2r1
rke2-agent2   Ready    <none>               1h    v1.37.1+rke2r1
rke2-server   Ready    control-plane,etcd   1h    v1.37.1+rke2r1
NAME    NAMESPACE   REVISION   UPDATED   STATUS     CHART         APP VERSION
notes   notes       …          2026-…    deployed   notes-0.3.0   0.2.0

Runde 1: Die Version, die es nicht gibt

Spielleitung:

helm upgrade notes chart/notes -f values-rke2.yaml --set web.image.tag=0.1.1 \
  --wait --timeout 90s

Lage: Ein Kollege wollte web auf „die neue Version” heben. Helm meldet nach anderthalb Minuten einen Fehler, aber die Schleife zeigt weiter 200. Finde heraus, was schiefging, und stell den alten Zustand sauber her. Zeitlimit: 5 min.

helm history notes | tail -2
kubectl get pods -l app.kubernetes.io/name=web

Erwartet (gekürzt):

Error: UPGRADE FAILED: resource Deployment/notes/web not ready. status: InProgress,
message: Updated: 1/2
context deadline exceeded
3   Sat Oct 31 10:23:19 2026   deployed   notes-0.3.0   0.2.0   Upgrade complete
4   Sat Oct 31 11:01:15 2026   failed     notes-0.3.0   0.2.0   Upgrade "notes" fai…
NAME                   READY   STATUS             RESTARTS      AGE
web-5bcd78bdd9-n94xv   1/1     Running            3 (15m ago)   39m
web-5bcd78bdd9-ww9zl   1/1     Running            2 (8m ago)    17m
web-757b4c5488-bfhkr   0/1     ImagePullBackOff   0             91s

Lösung

kubectl get events --field-selector reason=Failed -o custom-columns=MSG:.message \
  | grep -m1 0.1.1
helm rollback notes --wait
helm history notes | tail -1
kubectl get pods -l app.kubernetes.io/name=web

Erwartet (gekürzt):

Failed to pull image "…:5000/notes-web:0.1.1": rpc error: code = NotFound desc = …
…:5000/notes-web:0.1.1: not found
Rollback was a success! Happy Helming!
5   Sat Oct 31 11:02:54 2026   deployed   notes-0.3.0   0.2.0   Rollback to 3
NAME                   READY   STATUS        RESTARTS      AGE
web-5bcd78bdd9-n94xv   1/1     Running       3 (15m ago)   39m
web-5bcd78bdd9-ww9zl   1/1     Running       2 (8m ago)    17m
web-757b4c5488-bfhkr   0/1     Terminating   0             93s

maxUnavailable: 0 hat die alten Pods stehen lassen, darum merkten die Nutzer nichts. helm rollback ohne Nummer geht eine Revision zurück. Ein Rollback erzeugt eine neue Revision; die Geschichte bleibt erhalten.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Nur ein Node will nicht

Spielleitung:

multipass exec rke2-agent2 -- sudo sed -i 's/lab-registry-pw-123/lab-registry-pw-456/' \
  /etc/rancher/rke2/registries.yaml
multipass exec rke2-agent2 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node --all --timeout=180s

Lage: „Auf rke2-agent2 starten keine neuen Pods mehr, auf den anderen schon.” Beweise es mit einem Test-Pod, finde die Ursache und repariere sie. Zeitlimit: 10 min.

kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
  --image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123 \
  --overrides='{"spec":{"nodeName":"rke2-agent2"}}'
kubectl -n default describe pod pulltest | grep -m1 'Failed to pull'

Erwartet (gekürzt):

pod/pulltest created
Warning  Failed  1s  kubelet  spec.containers{pulltest}: Failed to pull image
"…:5000/notes-api:0.2.0": … unexpected status from HEAD request to
https://…:5000/v2/notes-api/manifests/0.2.0: 401 Unauthorized

Lösung

401 statt x509 (Tag 13): Die CA stimmt, die Zugangsdaten nicht. Die stehen pro Node in registries.yaml:

multipass exec rke2-agent2 -- sudo grep password /etc/rancher/rke2/registries.yaml
multipass exec rke2-agent2 -- sudo sed -i 's/lab-registry-pw-456/lab-registry-pw-123/' \
  /etc/rancher/rke2/registries.yaml
multipass exec rke2-agent2 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent2 --timeout=180s
kubectl -n default delete pod pulltest
kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
  --image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123 \
  --overrides='{"spec":{"nodeName":"rke2-agent2"}}'
kubectl -n default wait --for=condition=Ready pod/pulltest --timeout=60s
kubectl -n default delete pod pulltest

Erwartet (gekürzt):

      password: lab-registry-pw-456
node/rke2-agent2 condition met
pod "pulltest" deleted from default namespace
pod/pulltest created
pod/pulltest condition met
pod "pulltest" deleted from default namespace

nodeName umgeht den Scheduler und zwingt den Pod auf genau einen Node. Für Tests ist das ideal; im Alltag nimmst du nodeSelector oder Affinity.

Fortschritt speichern? Kostenlos registrieren

Runde 3: Zwanzig passen nicht

Spielleitung:

helm upgrade notes chart/notes -f values-rke2.yaml --set api.replicas=20 \
  --wait --timeout 60s

Lage: Für einen Lasttest sollte die api auf 20 Repliken. Helm bricht ab, trotzdem laufen deutlich mehr Pods als vorher. Wie viele, warum nicht alle, und wie kommst du sauber zurück? Zeitlimit: 5 min.

kubectl get deploy api
kubectl get resourcequota notes

Erwartet (gekürzt):

context deadline exceeded
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    16/20   16           16          58m
NAME    REQUEST                                                          LIMIT    AGE
notes   pods: 20/20, requests.cpu: 1020m/2, requests.memory: 896Mi/2Gi   …        58m

Lösung

kubectl get events --field-selector reason=FailedCreate \
  -o custom-columns=MSG:.message | grep -m1 quota
helm rollback notes --wait
kubectl get deploy api

Erwartet (gekürzt):

Error creating: pods "api-69c4fc7c84-jd4cx" is forbidden: exceeded quota: notes,
requested: pods=1, used: pods=20, limited: pods=20
Rollback was a success! Happy Helming!
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    3/3     3            3           58m

Die Quota aus Tag 6 erlaubt 20 Pods im Namespace. Das ReplicaSet bekommt keinen Pending-Pod, die Ablehnung steht nur in den Events (FailedCreate). Für einen echten Lasttest hebst du die Quota bewusst an, und zwar in k8s/namespace.yaml.

Fortschritt speichern? Kostenlos registrieren

Runde 4: Der Drain, der nicht endet

Spielleitung:

helm upgrade notes chart/notes -f values-rke2.yaml --set pdb.web.minAvailable=2 \
  --wait
kubectl get pods -o wide -l 'app.kubernetes.io/name in (web,db)'

Erwartet (gekürzt):

NAME                   READY   STATUS    …   NODE
db-0                   1/1     Running   …   rke2-agent2
web-5bcd78bdd9-l2d7l   1/1     Running   …   rke2-agent1
web-5bcd78bdd9-pzbwp   1/1     Running   …   rke2-server

Lage: Ein Node mit einem web-Pod, aber ohne db-0 soll zur Wartung (im Buch rke2-agent1). Der Drain bleibt hängen. Bring ihn zu Ende, ohne die Nutzer zu stören. Zeitlimit: 5 min.

kubectl drain rke2-agent1 --ignore-daemonsets --delete-emptydir-data --timeout=45s

Erwartet (gekürzt):

node/rke2-agent1 cordoned
…
evicting pod notes/web-5bcd78bdd9-l2d7l
error when evicting pods/"web-5bcd78bdd9-l2d7l" -n "notes" (will retry after 5s):
Cannot evict pod as it would violate the pod's disruption budget.
evicting pod notes/web-5bcd78bdd9-l2d7l
…

Lösung

kubectl get pdb web
helm rollback notes --wait
kubectl get pdb web
kubectl drain rke2-agent1 --ignore-daemonsets --delete-emptydir-data | tail -1
kubectl uncordon rke2-agent1

Erwartet (gekürzt):

NAME   MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
web    2               N/A               0                     55m
Rollback was a success! Happy Helming!
NAME   MIN AVAILABLE   MAX UNAVAILABLE   ALLOWED DISRUPTIONS   AGE
web    1               N/A               1                     56m
node/rke2-agent1 drained
node/rke2-agent1 uncordoned

minAvailable gleich der Zahl der Repliken heißt ALLOWED DISRUPTIONS 0: Kein Drain kommt je durch. Ein Budget muss immer mindestens einen Pod freigeben. Alternativ hilft eine Replik mehr.

Achtung: Wähle für diese Runde nie den Node mit db-0. Sonst fliegt erst die Datenbank, die api ist nicht mehr bereit, und auch das api-Budget lässt nichts mehr durch (Tag 14, Drill 4).

Fortschritt speichern? Kostenlos registrieren

Runde 5: Der Agent kommt nicht zurück

Spielleitung:

multipass exec rke2-agent1 -- sudo sed -i 's/:9345/:9346/' /etc/rancher/rke2/config.yaml
multipass exec rke2-agent1 -- sudo systemctl restart --no-block rke2-agent

Lage: Nach einem „kleinen Konfig-Update” steht rke2-agent1 seit einer Minute auf NotReady. Finde die Ursache auf dem Node. Zeitlimit: 10 min.

kubectl get nodes
multipass exec rke2-agent1 -- systemctl is-active rke2-agent

Erwartet:

NAME          STATUS     ROLES                AGE   VERSION
rke2-agent1   NotReady   <none>               88m   v1.37.1+rke2r1
rke2-agent2   Ready      <none>               88m   v1.37.1+rke2r1
rke2-server   Ready      control-plane,etcd   91m   v1.37.1+rke2r1
activating

Lösung

multipass exec rke2-agent1 -- sudo journalctl -u rke2-agent --since -1min \
  --no-pager | tail -2
multipass exec rke2-agent1 -- sudo cat /etc/rancher/rke2/config.yaml
multipass exec rke2-agent1 -- sudo sed -i 's/:9346/:9345/' /etc/rancher/rke2/config.yaml
multipass exec rke2-agent1 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node/rke2-agent1 --timeout=120s

Erwartet (gekürzt):

… level=error msg="Failed to validate connection to cluster at https://…:9346: failed
to get CA certs: Get \"https://127.0.0.1:6444/cacerts\": EOF"
…
server: https://…:9346
token-file: /etc/rancher/rke2/token
node/rke2-agent1 condition met

activating heißt: Der Dienst versucht es endlos weiter. Die Ursache steht nur im Journal des Nodes, nicht in kubectl. Die Adresse 127.0.0.1:6444 ist der lokale Proxy des Agents, über den er den Server erreicht. Der eigentliche Fehler ist der Port 9346 dahinter. --no-block verhindert, dass systemctl restart auf den Start wartet, der nie kommt.

Fortschritt speichern? Kostenlos registrieren

Runde 6: Funkstille

Spielleitung:

cat > deny-egress.yaml <<'EOF'
# deny-egress.yaml – Tag 15, Runde 6 (Spielleitung)
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny-egress
  namespace: notes
spec:
  podSelector: {}
  policyTypes: [Egress]
EOF
kubectl apply -f deny-egress.yaml
kubectl rollout restart deploy/api

Lage: Ein Security-Audit hat „ausgehenden Verkehr gehärtet”. Seitdem zeigt die Schleife 000, und der neue api-Pod startet nicht. Finde die Ursache und stell den Betrieb wieder her. Zeitlimit: 10 min.

kubectl get pods -l app.kubernetes.io/name=api
kubectl exec deploy/web -- wget -qO- -T 3 http://api:8080/healthz

Erwartet (gekürzt):

NAME                   READY   STATUS             RESTARTS      AGE
api-5c854d686c-5gkdr   0/1     CrashLoopBackOff   2 (21s ago)   45s
api-69c4fc7c84-9h7zv   1/1     Running            0             3m50s
api-69c4fc7c84-ldhf2   1/1     Running            0             13m
api-69c4fc7c84-rczp7   1/1     Running            0             13m
wget: bad address 'api:8080'
command terminated with exit code 1

Lösung

kubectl logs api-5c854d686c-5gkdr --previous | tail -1
kubectl get networkpolicy
kubectl delete -f deny-egress.yaml
kubectl rollout status deploy/api

Erwartet (gekürzt):

… level=ERROR msg="database unreachable" … hostname resolving error: lookup db on
10.43.0.10:53: dial udp 10.43.0.10:53: i/o timeout …
NAME                   POD-SELECTOR                 AGE
api-from-clients       app.kubernetes.io/name=api   70m
db-from-api            app.kubernetes.io/name=db    70m
default-deny-egress    <none>                       60s
default-deny-ingress   <none>                       70m
web-from-gateway       app.kubernetes.io/name=web   70m
networkpolicy.networking.k8s.io "default-deny-egress" deleted from notes namespace
…
deployment "api" successfully rolled out

bad address und i/o timeout auf Port 53: Schon DNS ist gesperrt. Egress-Sperren sind gut, brauchen aber Freigaben: mindestens für DNS (kube-dns in kube-system, UDP und TCP 53) und für jedes Ziel der App. Canal, das Pod-Netz von RKE2, setzt NetworkPolicies durch wie kindnet in Teil 1.

Fortschritt speichern? Kostenlos registrieren

Runde 7: Halb rotiert

Spielleitung:

POSTGRES_PASSWORD=lab-db-pw-456 k8s/secrets.sh
kubectl rollout restart deploy/api

Lage: Das DB-Passwort wurde „rotiert”. Die Schleife zeigt 200, aber der Rollout der api kommt nicht voran. Mach die Rotation fertig, ohne das alte Passwort zurückzuholen. Zeitlimit: 10 min.

kubectl get pods -l app.kubernetes.io/name=api
kubectl rollout status deploy/api --timeout=5s

Erwartet (gekürzt):

secret/notes-api unchanged
secret/notes-db configured
deployment.apps/api restarted
NAME                   READY   STATUS             RESTARTS       AGE
api-5c854d686c-5gkdr   1/1     Running            4 (119s ago)   2m49s
api-5c854d686c-fbdqz   1/1     Running            0              63s
api-5c854d686c-p7h8f   1/1     Running            0              65s
api-f5fdbdc89-q9nqk    0/1     CrashLoopBackOff   3 (6s ago)     41s
error: timed out waiting for the condition

Lösung

kubectl logs api-f5fdbdc89-q9nqk --previous | grep -o 'failed SASL auth[^"]*' | head -1
kubectl exec db-0 -- psql -U notes -d notes \
  -c "ALTER USER notes PASSWORD 'lab-db-pw-456'"
kubectl rollout status deploy/api
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo

Erwartet (gekürzt):

failed SASL auth: FATAL: password authentication failed for user "notes" …
ALTER ROLE
deployment "api" successfully rolled out
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Das Secret hatte das neue Passwort, Postgres noch das alte: POSTGRES_PASSWORD wirkt nur beim allerersten Start auf ein leeres Volume. Die alten api-Pods hielten ihre Verbindungen und retteten den Betrieb. Richtige Reihenfolge: erst die Datenbank, dann das Secret, dann der Rollout. Ab hier gilt lab-db-pw-456.

Fortschritt speichern? Kostenlos registrieren

Runde 8: 404 für alle

Spielleitung:

helm upgrade notes chart/notes -f values-rke2.yaml --set gateway.hostname=notes.lab \
  --wait | grep -E '^(STATUS|REVISION):'

Lage: Nach einem „harmlosen” Upgrade liefert notes nur noch 404, obwohl alle Pods grün sind. Zeitlimit: 5 min.

curl -s -i --resolve "notes.localhost:30080:$SERVER" \
  http://notes.localhost:30080/api/notes | head -1
kubectl get pods

Erwartet (gekürzt):

STATUS: deployed
REVISION: 17
HTTP/1.1 404 Not Found
NAME                     READY   STATUS    RESTARTS   AGE
api-f5fdbdc89-2snjx      1/1     Running   0          2m
…

Lösung

kubectl get httproute web -o jsonpath='{.spec.hostnames}'; echo
helm get values notes | grep -A1 gateway
helm rollback notes --wait
curl -s -o /dev/null -w '%{http_code}\n' --resolve "notes.localhost:30080:$SERVER" \
  http://notes.localhost:30080/api/notes

Erwartet:

["notes.lab"]
gateway:
  hostname: notes.lab
Rollback was a success! Happy Helming!
200

404 mit grünen Pods zeigt fast immer aufs Routing. helm get values listet nur die Werte, die jemand gesetzt hat – der Ausreißer fällt sofort auf.

Fortschritt speichern? Kostenlos registrieren

Runde 9: Nach der Wartung

Spielleitung:

kubectl cordon rke2-server rke2-agent1 rke2-agent2
kubectl rollout restart deploy/web

Lage: Die nächtliche Wartung ist vorbei. Ein Neustart von web hängt, die Schleife zeigt trotzdem 200. Zeitlimit: 5 min.

kubectl get pods -l app.kubernetes.io/name=web
kubectl get nodes

Erwartet (gekürzt):

NAME                   READY   STATUS    RESTARTS   AGE
web-5b7455b6cf-dcfcl   0/1     Pending   0          16s
web-5bcd78bdd9-pzbwp   1/1     Running   0          20m
web-5bcd78bdd9-r5vk9   1/1     Running   0          6m53s
NAME          STATUS                     ROLES                AGE   VERSION
rke2-agent1   Ready,SchedulingDisabled   <none>               93m   v1.37.1+rke2r1
rke2-agent2   Ready,SchedulingDisabled   <none>               93m   v1.37.1+rke2r1
rke2-server   Ready,SchedulingDisabled   control-plane,etcd   96m   v1.37.1+rke2r1

Lösung

kubectl get events --field-selector reason=FailedScheduling \
  -o custom-columns=MSG:.message | tail -1
kubectl uncordon rke2-server rke2-agent1 rke2-agent2
kubectl rollout status deploy/web

Erwartet (gekürzt):

0/3 nodes are available: 3 node(s) were unschedulable. preemption: …
node/rke2-server uncordoned
node/rke2-agent1 uncordoned
node/rke2-agent2 uncordoned
deployment "web" successfully rolled out

Jeder drain braucht sein uncordon. Laufende Pods merken nichts von cordon. Auffällig wird es erst beim nächsten Rollout oder Ausfall, oft Tage später.

Fortschritt speichern? Kostenlos registrieren

Runde 10: Alles weg?

Spielleitung:

helm uninstall notes --wait

Lage: Jemand hat im falschen Terminal helm uninstall getippt. Die Schleife zeigt 000. Sind die Notizen verloren? Bring notes zurück. Zeitlimit: 10 min.

kubectl get pvc,secret

Erwartet (gekürzt):

release "notes" uninstalled
NAME                              STATUS   VOLUME                                     …
persistentvolumeclaim/data-db-0   Bound    pvc-f7f33bd8-7f9f-470d-92bd-39ac2b726af9   …
NAME               TYPE     DATA   AGE
secret/notes-api   Opaque   1      74m
secret/notes-db    Opaque   2      74m

Lösung

helm install notes chart/notes -f values-rke2.yaml --wait --timeout 5m \
  | grep -E '^(STATUS|REVISION):'
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo

Erwartet:

STATUS: deployed
REVISION: 1
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Helm löscht keine PVCs, die aus der volumeClaimTemplate eines StatefulSets entstanden sind, und die Secrets gehören gar nicht zum Chart (Tag 10). Darum findet die neue db-0 ihr Volume wieder. Die Geschichte des Release ist allerdings weg; sie beginnt wieder bei Revision 1.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get nodes

Erwartet: alle drei Ready, keiner SchedulingDisabled.

NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               95m   v1.37.1+rke2r1
rke2-agent2   Ready    <none>               95m   v1.37.1+rke2r1
rke2-server   Ready    control-plane,etcd   98m   v1.37.1+rke2r1
kubectl get networkpolicy default-deny-egress

Erwartet: Die Sperre aus Runde 6 ist weg.

Error from server (NotFound): … "default-deny-egress" not found
multipass exec rke2-agent2 -- sudo grep password /etc/rancher/rke2/registries.yaml

Erwartet: wieder das richtige Pull-Passwort.

      password: lab-registry-pw-123
helm list
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo

Erwartet: Release notes auf Chart 0.3.0, deine Notiz ist da.

NAME    NAMESPACE   REVISION   UPDATED   STATUS     CHART         APP VERSION
notes   notes       1          2026-…    deployed   notes-0.3.0   0.2.0
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Challenge

Tag 14 hat gezeigt: Ein etcd-Snapshot sichert keine Notizen. Sichere die Datenbank mit pg_dump auf den Mac, lösche alle Notizen und spiel die Sicherung zurück.

Hinweis: kubectl exec reicht Standardein- und -ausgabe durch. Mit -i geht auch eine Datei vom Mac in den Pod.

Lösung

kubectl exec db-0 -- pg_dump -U notes -d notes -Fc > notes.dump
ls -l notes.dump
kubectl exec db-0 -- psql -U notes -d notes -c 'DELETE FROM notes'
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo
kubectl exec -i db-0 -- pg_restore -U notes -d notes --clean --if-exists < notes.dump
curl -s --resolve "notes.localhost:30080:$SERVER" http://notes.localhost:30080/api/notes
echo

Erwartet (gekürzt):

-rw-r--r--  1 …  1710 … notes.dump
DELETE 1
[]
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

-Fc ist das Binärformat von Postgres, pg_restore --clean --if-exists löscht vor dem Einspielen die vorhandenen Tabellen. Innerhalb des Pods braucht psql kein Passwort: Lokale Verbindungen sind im offiziellen Image vertrauenswürdig.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Runbooks: Jede Runde dieses Tages ist ein Kandidat für ein Runbook: Symptom, Prüfbefehle, Fix, Gegenprobe. Geübt wird in Game Days, nicht im Ernstfall.
  • Beobachtbarkeit: Statt einer Messschleife zeigen Prometheus-Alarme und synthetische Checks Störungen an, bevor Nutzer anrufen.
  • Änderungen: Fast jede Runde begann mit einer Änderung von Hand. GitOps (Argo CD, Fleet) und Review-Pflicht für Values machen sie sichtbar und rückgängig.
  • Backups: Datenbank-Backups laufen automatisch (CronJob oder Operator), landen außerhalb des Clusters und werden regelmäßig zurückgespielt, sonst sind sie nur eine Hoffnung.
  • Rechte: helm uninstall im Produktions-Namespace sollte nicht jeder dürfen. RBAC trennt Lesen, Ausrollen und Löschen.