Tag 20: Wettkampf – der kaputte Speicher
Ziel: Du findest und behebst in acht Runden eingebaute Fehler quer durch das Buch – gegen die Uhr, mit Nachweis vorher und nachher. · Dauer: ca. 120 min · Voraussetzung: Tag 0–19
Briefing
- Ein eigenes Spielfeld im Namespace
wettkampf: ein Volume auslinstor-replicatedund ein Podschreiber, der jede Sekunde eine Zeile schreibt undokoderFEHLERmeldet.demomitpg-0undpg-clientläuft nebenher weiter. - Acht Runden, alle Schichten: Satellite, DRBD, CSI-Treiber, Kubernetes, Split-Brain, Writecache, Controller-HA und eine Revision. Der Reihe nach spielen.
- Werkzeuge:
linstor … list,drbdadm status,drbd-reactorctl,kubectl describe, Events, Journal. - Jede Runde endet mit einem Beweis-Befehl: kaputt vorher, heil nachher.
Runde Symptom Zeitziel
1 Neues PVC bleibt Pending 3 min
2 Ein Volume hat nur noch eine Kopie 4 min
3 CSI-Node auf k0s-w3 immer nur Sekunden alt 5 min
4 k0s-w1 ist Ready, aber leer 4 min
5 Zwei Kassen, zwei Wahrheiten 7 min
6 PVC hat 2Gi, das Dateisystem 1G 8 min
7 linstor: Connection refused 4 min
8 Fragen der Revision (nur lesen) 5 min
Spielregeln
- Pro Runde führt der Schiedsrichter die Schiedsrichter-Befehle aus – ein Kollege oder du selbst, ohne hinzusehen: Block kopieren, in ein zweites Terminal einfügen, Fenster schließen. Dann die Uhr starten.
- Ursache finden, beheben, mit einem Befehl beweisen. Erst dann Uhr stoppen.
- Repariere die Ursache, nicht das Symptom: Wer Ressourcen, PVCs oder Pods löscht, die nicht kaputt sind, Quorum abschaltet oder einen Node neu startet, bekommt null Punkte.
- Den Hinweis erst lesen, wenn das Zeitziel abgelaufen ist.
- Ziel jeder Runde, sofern sie nichts anderes sagt:
linstor resource list --faultyist leer,schreiberundpg-clientmeldenok. Der Befehl dafür heißt im Folgenden kurz Messung:
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'
kubectl -n wettkampf logs schreiber --since=30s | grep -c FEHLER
kubectl -n demo logs deploy/pg-client --since=30s | grep -c FEHLERSpielfeld
schreiber läuft fest auf k0s-w3. Damit
liegen die Kopien auf k0s-w3 (Primary) und
k0s-w2 (Zone b), der Tiebreaker auf der Witness:
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag20 && cd ~/k0s-lab/tag20
kubectl create namespace wettkampf
cat > spielfeld.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: wk-daten, namespace: wettkampf}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 1Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: schreiber, namespace: wettkampf}
spec:
nodeSelector: {kubernetes.io/hostname: k0s-w3}
containers:
- name: shell
image: busybox:1.37
command: [sh, -c]
args:
- while true; do date +%T >> /daten/log && echo "$(date +%T) ok"
|| echo "$(date +%T) FEHLER"; sleep 1; done
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: wk-daten}
EOF
kubectl apply -f spielfeld.yaml
kubectl -n wettkampf wait --for=condition=Ready pod/schreiber --timeout=180s
kubectl -n wettkampf logs schreiber --tail=2
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110Erwartet (gekürzt):
pod/schreiber condition met
05:54:23 ok
05:54:24 ok
...
| Node | Layers | Usage | Conns | State |
===================================================================
| k0s-ctrl | DRBD,STORAGE | Unused | Ok | Diskless |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate |
| k0s-w3 | DRBD,WRITECACHE,STORAGE | InUse | Ok | UpToDate |
Direkt nach dem Start zeigt k0s-w2 noch kurz
SyncTarget, die Messung dann 1 in der ersten
Zeile. Eine Minute später zeigt sie dreimal 0. Das ist das
gesunde Spielfeld.
Runde 1: Neues PVC bleibt Pending
Lage: Ein Kollege legt ein kleines Test-Volume an.
Es bleibt Pending, obwohl alle drei Kubernetes-Nodes
Ready sind und genug Platz frei ist.
Schiedsrichter-Befehle:
# auf k0s-ctrl
ssh k0s-w2 'sudo systemctl stop linstor-satellite'
cd ~/k0s-lab/tag20
cat > neu.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: wk-neu, namespace: wettkampf}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 200Mi}}
---
apiVersion: v1
kind: Pod
metadata: {name: neu, namespace: wettkampf}
spec:
containers:
- {name: shell, image: busybox:1.37, command: [sleep, infinity],
volumeMounts: [{name: daten, mountPath: /daten}]}
volumes:
- {name: daten, persistentVolumeClaim: {claimName: wk-neu}}
EOF
kubectl apply -f neu.yamlZeitziel: 3 min
Hinweis: Welche Zone braucht jedes Volume, und wie viele Nodes hat sie?
Lösung Runde 1
# auf k0s-ctrl
kubectl -n wettkampf get pvc wk-neu | cut -c1-40
kubectl -n wettkampf describe pvc wk-neu | grep -m1 -o 'Not enough available nodes'
linstor --no-utf8 --no-color node list | cut -c1-88Erwartet:
NAME STATUS VOLUME CAPACITY A
wk-neu Pending
Not enough available nodes
+-----------------------------------------------------------------------+
| Node | Platform | NodeType | Addresses | State |
|=======================================================================|
| k0s-ctrl | LINUX | SATELLITE | 172.16.0.176:3366 (PLAIN) | Online |
| k0s-w1 | LINUX | SATELLITE | 10.10.0.11:3366 (PLAIN) | Online |
| k0s-w2 | | SATELLITE | 10.10.0.12:3366 (PLAIN) | OFFLINE |
| k0s-w3 | LINUX | SATELLITE | 10.10.0.13:3366 (PLAIN) | Online |
+-----------------------------------------------------------------------+
k0s-w2 ist der einzige Node in Zone b. Ohne seinen
Satellite kann LINSTOR dort nichts anlegen, und
replicasOnDifferent Aux/zone verbietet beide Kopien in Zone
a (Tag 12). DRBD läuft weiter, die Messung bleibt bei 0
(Tag 9). Satellite starten:
# auf k0s-ctrl
ssh k0s-w2 'systemctl is-active linstor-satellite'
ssh k0s-w2 'sudo systemctl start linstor-satellite'
until linstor --no-utf8 --no-color node list | grep k0s-w2 | grep -q Online; do
sleep 3; done
kubectl -n wettkampf wait --for=condition=Ready pod/neu --timeout=180s
kubectl -n wettkampf get pvc wk-neu | cut -c1-60
kubectl delete -f neu.yamlErwartet (gekürzt):
inactive
pod/neu condition met
NAME STATUS VOLUME
wk-neu Bound pvc-9f4a4616-fee6-450f-9b0e-ad8c0a736a32
persistentvolumeclaim "wk-neu" deleted from wettkampf namespace
pod "neu" deleted from wettkampf namespace
Das Test-PVC ist damit wieder gelöscht. Nach einem Neustart des Hosts
käme der Satellite von selbst zurück (enabled); gestoppt
per Hand bleibt er aus.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Nur noch eine Kopie
Lage: Das Monitoring meldet, dass
wk-daten nur noch eine Kopie hat. LINSTOR sieht keinen
Grund, etwas zu tun.
Schiedsrichter-Befehle:
# auf k0s-ctrl
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
ssh k0s-w2 "sudo drbdadm down $R"Zeitziel: 4 min
Hinweis: Was sagt DRBD auf dem Node, den LINSTOR mit
Unknown führt?
Lösung Runde 2
# auf k0s-ctrl
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list --faulty | cut -c44-120
ssh k0s-w2 "sudo drbdadm status $R"Erwartet (gekürzt):
| Node | Layers | Usage | Conns | State
=============================================================================
| k0s-ctrl | DRBD,STORAGE | Unused | Connecting(k0s-w2) | Diskless
| k0s-w2 | DRBD,WRITECACHE,STORAGE | | | Unknown
| k0s-w3 | DRBD,WRITECACHE,STORAGE | InUse | Connecting(k0s-w2) | UpToDate
pvc-10ba3221-...: No such resource
Command 'drbdsetup status pvc-10ba3221-...' terminated with exit code 10
Auf k0s-w2 gibt es die Ressource im Kernel gar nicht
mehr – jemand hat sie mit drbdadm down abgebaut. LINSTOR
führt sie weiter als gewünscht, repariert aber nicht von selbst (Tag 9;
im Labor nach 45 Sekunden noch drei Zeilen in --faulty).
adjust bringt den Kernel auf den Stand der
Konfiguration:
# auf k0s-ctrl
ssh k0s-w2 "sudo drbdadm adjust $R; sleep 5; sudo drbdadm status $R"
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'Erwartet:
pvc-10ba3221-... role:Secondary
disk:UpToDate open:no
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w3 role:Primary
peer-disk:UpToDate
0
Die Platte war nie weg, deshalb ist die Kopie nach Sekunden wieder
UpToDate: DRBD gleicht nur die Blöcke ab, die sich seither
geändert haben.
Fortschritt speichern? Kostenlos registrieren
Runde 3: Ein CSI-Node, der nie alt wird
Lage: Neue Pods mit Volume starten auf
k0s-w3 nicht. Die laufenden Pods dort schreiben weiter. Im
Namespace piraeus-datastore gibt es keine
Fehlermeldung.
Schiedsrichter-Befehle:
# auf k0s-ctrl
linstor node set-property k0s-w3 Aux/topology/linbit.com/hostnameZeitziel: 5 min
Hinweis: Wer löscht hier Pods, und womit vergleicht er (Tag 7)?
Lösung Runde 3
# auf k0s-ctrl
kubectl -n piraeus-datastore get pods -l app.kubernetes.io/component=linstor-csi-node \
-o wide | cut -c1-90
kubectl -n piraeus-datastore get events --sort-by=.lastTimestamp \
| grep Killing | tail -2 | cut -c1-88
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"
linstor --no-utf8 --no-color node list-properties k0s-w3 | cut -c1-70Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE IP NODE
linstor-csi-node-7k67r 3/3 Running 0 148m 172.16.0.186 k0s-w1
linstor-csi-node-gg56b 0/3 Init:0/1 0 1s 172.16.0.72 k0s-w3
linstor-csi-node-jtz82 3/3 Running 3 (25m ago) 145m 172.16.0.36 k0s-w2
2s Normal Killing pod/linstor-csi-node-5sxjh Stopping container
2s Normal Killing pod/linstor-csi-node-5sxjh Stopping container
NODE DRIVERS
k0s-w1 linstor.csi.linbit.com
k0s-w2 linstor.csi.linbit.com
k0s-w3 <none>
+---------------------------+
| Key | Value |
|===========================|
| Aux/zone | a |
| CurStltConnName | default |
| NodeUname | k0s-w3 |
+---------------------------+
Falle 3 aus Tag 7: Der Operator vergleicht die Topologie, die der
Treiber meldet, mit Aux/topology/linbit.com/hostname am
LINSTOR-Node. Fehlt die Eigenschaft, löscht er den Pod immer wieder, der
Treiber registriert sich nie (<none>). Laufende
Mounts stören das nicht, neue scheitern. Eigenschaft zurück:
# auf k0s-ctrl
linstor node set-property k0s-w3 Aux/topology/linbit.com/hostname k0s-w3
sleep 100
kubectl -n piraeus-datastore get pods -l app.kubernetes.io/component=linstor-csi-node \
-o wide | cut -c1-90
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE IP NODE
linstor-csi-node-7k67r 3/3 Running 0 150m 172.16.0.186 k0s-w1
linstor-csi-node-jtz82 3/3 Running 3 (27m ago) 147m 172.16.0.36 k0s-w2
linstor-csi-node-rzfwg 3/3 Running 0 99s 172.16.0.72 k0s-w3
NODE DRIVERS
k0s-w1 linstor.csi.linbit.com
k0s-w2 linstor.csi.linbit.com
k0s-w3 linstor.csi.linbit.com
Das AGE steigt jetzt: Der Pod darf bleiben.
Fortschritt speichern? Kostenlos registrieren
Runde 4: Ready, aber leer
Lage: Nach einer Wartung meldet
kubectl get nodes alle drei Worker Ready. Auf
k0s-w1 laufen trotzdem fast keine Pods mehr, auch der
CSI-Treiber fehlt dort.
Schiedsrichter-Befehle:
# auf k0s-ctrl
kubectl taint node k0s-w1 node.kubernetes.io/out-of-service=nodeshutdown:NoExecuteZeitziel: 4 min
Hinweis: Was hat man in Tag 10 nach der Rückkehr des Nodes vergessen?
Lösung Runde 4
# auf k0s-ctrl
kubectl get pod -A -o wide --field-selector spec.nodeName=k0s-w1 | cut -c1-60
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"
kubectl describe node k0s-w1 | grep -A1 TaintsErwartet (gekürzt):
NAMESPACE NAME READY STATUS RESTARTS
kube-system konnectivity-agent-rjj9k 1/1 Running 0
kube-system kube-proxy-hjpjl 1/1 Running 0
kube-system kube-router-l6hrz 1/1 Running 0
NODE DRIVERS
k0s-w1 <none>
k0s-w2 linstor.csi.linbit.com
k0s-w3 linstor.csi.linbit.com
Taints: node.kubernetes.io/out-of-service=nodeshutdown:NoExecute
Unschedulable: false
Das Out-of-Service-Taint aus Tag 10 vertreibt alles ohne passende Toleranz, auch die DaemonSets von CSI, Alloy und Velero. Es gehört nur auf einen Node, der wirklich aus ist, und muss nach seiner Rückkehr weg:
# auf k0s-ctrl
kubectl taint node k0s-w1 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute-
sleep 60
kubectl get pod -A -o wide --field-selector spec.nodeName=k0s-w1 --no-headers \
| awk '{print $1, $2, $4}'
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"Erwartet (gekürzt):
node/k0s-w1 untainted
kube-system konnectivity-agent-rjj9k Running
...
monitoring alloy-rh6mr Running
piraeus-datastore linstor-csi-node-5qzlb Running
velero node-agent-26txz Running
NODE DRIVERS
k0s-w1 linstor.csi.linbit.com
...
Die DaemonSets kommen von selbst zurück. Was sonst noch auf
k0s-w1 lief (im Labor CSI-Controller und Piraeus-Operator),
läuft jetzt auf einem anderen Worker – das ist kein Fehler.
Fortschritt speichern? Kostenlos registrieren
Runde 5: Zwei Kassen, zwei Wahrheiten
Lage: Eine Test-Ressource wk-sb ohne
Quorum wurde auf beiden Seiten beschrieben. Die Fachabteilung sagt:
Richtig ist die Seite, auf der bestellung 42 steht. Bring
die Ressource wieder zusammen, ohne bestellung 42 zu
verlieren.
Schiedsrichter-Befehle:
# auf k0s-ctrl
linstor resource-definition create wk-sb --resource-group rg-k8s
linstor volume-definition create wk-sb 200M
linstor resource create k0s-w1 k0s-w2 wk-sb --storage-pool pool_data
linstor resource-definition drbd-options --quorum off wk-sb
sleep 10
ssh k0s-w1 'sudo mkfs.ext4 -q /dev/drbd/by-res/wk-sb/0; sudo mkdir -p /mnt/wk
sudo mount /dev/drbd/by-res/wk-sb/0 /mnt/wk; echo basis | sudo tee /mnt/wk/kasse
sudo umount /mnt/wk'
ssh k0s-w1 'sudo drbdadm disconnect wk-sb'
ssh k0s-w2 'sudo drbdadm disconnect wk-sb'
ssh k0s-w1 'sudo mount /dev/drbd/by-res/wk-sb/0 /mnt/wk
echo bestellung 41 | sudo tee -a /mnt/wk/kasse; sudo umount /mnt/wk'
ssh k0s-w2 'sudo mkdir -p /mnt/wk; sudo mount /dev/drbd/by-res/wk-sb/0 /mnt/wk
echo bestellung 42 | sudo tee -a /mnt/wk/kasse; sudo umount /mnt/wk'
ssh k0s-w1 'sudo drbdadm connect wk-sb'
ssh k0s-w2 'sudo drbdadm connect wk-sb'Zeitziel: 7 min
Hinweis: Erst auf beiden Seiten nur lesend nachsehen, dann entscheiden (Tag 11).
Lösung Runde 5
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r wk-sb | cut -c1-88
ssh k0s-w1 "sudo journalctl -k --since -5min | grep 'Split-Brain detected' | cut -c1-88"
for h in k0s-w1 k0s-w2; do ssh $h 'sudo mount -o ro /dev/drbd/by-res/wk-sb/0 /mnt/wk \
&& echo $(hostname): $(tail -1 /mnt/wk/kasse); sudo umount /mnt/wk'; doneErwartet (gekürzt):
| ResourceName | Node | Layers | Usage | Conns | State | Vote
|======================================================================================
| wk-sb | k0s-w1 | DRBD,STORAGE | Unused | StandAlone(k0s-w2) | UpToDate | Yes
| wk-sb | k0s-w2 | DRBD,STORAGE | Unused | StandAlone(k0s-w1) | UpToDate | Yes
Nov 20 05:46:54 k0s-w1 kernel: drbd wk-sb/0 drbd1005 k0s-w2: Split-Brain detected but un
k0s-w1: bestellung 41
k0s-w2: bestellung 42
k0s-w2 gewinnt, k0s-w1 verliert.
Achtung:
--discard-my-dataverwirft unwiderruflich alle Änderungen dieses Nodes seit der Trennung. Er gehört aufk0s-w1, den Verlierer – nicht aufk0s-w2.
# auf k0s-w1
sudo drbdadm disconnect wk-sb
sudo drbdadm secondary wk-sb
sudo drbdadm connect --discard-my-data wk-sb# auf k0s-w2
sudo drbdadm connect wk-sb# auf k0s-w1
sudo drbdadm status wk-sb
sudo mount -o ro /dev/drbd/by-res/wk-sb/0 /mnt/wk
cat /mnt/wk/kasse
sudo umount /mnt/wkErwartet:
wk-sb role:Secondary
disk:UpToDate open:no
k0s-w2 role:Secondary
peer-disk:UpToDate
basis
bestellung 42
bestellung 41 ist weg, wie entschieden. Die Ressource
brauchst du nicht mehr:
# auf k0s-ctrl
linstor resource-definition delete wk-sb | tail -1Erwartet (gekürzt):
Resource definition 'wk-sb' UUID was: …
Fortschritt speichern? Kostenlos registrieren
Runde 6: 2Gi bestellt, 1G geliefert
Lage: wk-daten wurde auf 2Gi
vergrößert. Kubernetes meldet Erfolg, df im Pod zeigt
weiter knapp 1G. Bring den Platz ins Dateisystem, ohne
schreiber anzuhalten.
Schiedsrichter-Befehle:
# auf k0s-ctrl
kubectl -n wettkampf patch pvc wk-daten \
-p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'Zeitziel: 8 min
Hinweis: Lies den Stapel von unten nach oben:
lvs, dmsetup table, blockdev,
df (Tag 12).
Lösung Runde 6
# auf k0s-ctrl
kubectl -n wettkampf get pvc wk-daten | cut -c1-80
kubectl -n wettkampf exec schreiber -- df -h /daten | tail -1
kubectl -n wettkampf get events --field-selector involvedObject.name=wk-daten \
--sort-by=.lastTimestamp -o custom-columns=GRUND:.reason | tail -2Erwartet:
NAME STATUS VOLUME CAPACITY ACCESS
wk-daten Bound pvc-10ba3221-3462-473e-aa06-edaabd470b72 2Gi RWO
/dev/drbd1004 977.1M 32.0K 909.6M 0% /daten
ExternalExpanding
FileSystemResizeSuccessful
Die Writecache-Falle aus Tag 12: LVs gewachsen, das Writecache-Gerät
nicht, also auch DRBD und ext4 nicht. Auf beiden Nodes mit Kopie das
Gerät neu laden. Setze K auf den Namen deines Volumes:
# auf k0s-w3
K=pvc-10ba3221-3462-473e-aa06-edaabd470b72
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.tableErwartet:
0 2105344 writecache s 252:7 252:8 4096 0
0 4202496 writecache s 252:7 252:8 4096 0
Achtung: Prüfe
cat /tmp/neu.tablevor demreload: Nur die zweite Zahl darf sich geändert haben.
# auf k0s-w3
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D
sudo dmsetup table $DErwartet:
0 4202496 writecache s 252:7 252:8 4096 0. Wiederhole beide
Blöcke auf k0s-w2 (dort 252:10 252:11). Dann
nur auf dem Primary:
# auf k0s-w3
sudo drbdadm resize $K
sudo drbdadm sh-dev $K
sudo resize2fs $(sudo drbdadm sh-dev $K)Erwartet (gekürzt):
/dev/drbd1004
resize2fs 1.47.0 (5-Feb-2023)
Filesystem at /dev/drbd1004 is mounted on /var/lib/k0s/kubelet/pods/...; on-line ...
old_desc_blocks = 1, new_desc_blocks = 1
The filesystem on /dev/drbd1004 is now 525190 (4k) blocks long.
drbdadm resize gibt nichts aus, die erste Zeile stammt
von sh-dev.
# auf k0s-ctrl
kubectl -n wettkampf exec schreiber -- df -h /daten | tail -1
kubectl -n wettkampf logs schreiber --since=5m | grep -c FEHLERErwartet (gekürzt):
/dev/drbd1004 1.9G 32.0K 1.8G 0% /daten
0
drbdadm sh-dev nennt das DRBD-Gerät der Ressource – kein
Abtippen der Minor-Nummer. schreiber hat von alldem nichts
gemerkt.
Fortschritt speichern? Kostenlos registrieren
Runde 7: Connection refused
Lage: Jeder linstor-Befehl endet mit
Connection refused. Die Anwendungen laufen.
Schiedsrichter-Befehle:
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'sudo systemctl stop drbd-reactor'; doneZeitziel: 4 min
Hinweis: Wer startet den Controller (Tag 6)?
Lösung Runde 7
# auf k0s-ctrl
linstor node list 2>&1 | tail -1
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h: $(ssh $h systemctl is-active \
drbd-reactor linstor-controller | xargs) $(ssh $h sudo drbdadm status linstor_db \
| head -1)"; done
kubectl -n demo logs deploy/pg-client --tail=1Erwartet:
Error: Unable to connect to linstor://172.16.0.72: [Errno 111] Connection refused
k0s-w1: inactive inactive linstor_db role:Secondary
k0s-w2: failed inactive linstor_db role:Secondary
k0s-w3: inactive inactive linstor_db role:Secondary
06:20:34 ok
Kein Controller, linstor_db überall Secondary,
drbd-reactor auf allen drei Kandidaten aus – auf dem bisher aktiven Node
(hier k0s-w2) als failed, weil er beim Beenden
die Kette mit herunterfahren musste. Wer drbd-reactor auf dem aktiven
Node stoppt, stoppt dank stop-services-on-exit die ganze
Kette mit: Controller, VIP, Mount. DRBD-Volumes und Anwendungen merken
nichts, nur die Verwaltung fehlt. Starten genügt:
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'sudo systemctl start drbd-reactor'; done
date +%T; until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h: $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"; doneErwartet (Node kann abweichen):
06:20:44
06:21:00
k0s-w1: Promoter: Resource linstor_db currently active on this node
k0s-w2: Promoter: Resource linstor_db currently active on node 'k0s-w1'
k0s-w3: Promoter: Resource linstor_db currently active on node 'k0s-w1'
Gut 15 Sekunden bis zur API. Welcher Node gewinnt, entscheidet, wer zuerst befördert.
Fortschritt speichern? Kostenlos registrieren
Runde 8: Fragen der Revision
Lage: Die Revision will drei Antworten, je mit einem Befehl belegt. Nur lesen.
- Auf welchem Node läuft der LINSTOR-Controller, und liegt die VIP dort?
- Welcher Node ist Primary von
wk-daten, wo liegt die zweite Kopie, wo der Tiebreaker? - Wie viele Writecache-Geräte hat
k0s-w2, und liegen alle Cache-LVs der Worker in der VGcache?
Zeitziel: 5 min
Hinweis: Tag 19, Prüffrage 2 und 4.
Lösung Runde 8
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h systemctl is-active linstor-controller)"; done
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
&& echo "VIP auf $h"; done
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
ssh k0s-w3 "sudo drbdadm status $R | grep role"
ssh k0s-w2 'sudo dmsetup ls --target writecache | wc -l'
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo lvs --noheadings \
-o vg_name,lv_name' | grep cache_ | awk '{print $1}' | sort | uniq -c | xargs)"; doneErwartet (gekürzt):
k0s-w1 active
k0s-w2 inactive
k0s-w3 inactive
VIP auf k0s-w1
| Node | Layers | Usage | Conns | State |
===================================================================
| k0s-ctrl | DRBD,STORAGE | Unused | Ok | Diskless |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate |
| k0s-w3 | DRBD,WRITECACHE,STORAGE | InUse | Ok | UpToDate |
pvc-10ba3221-... role:Primary
k0s-ctrl role:Secondary
k0s-w2 role:Secondary
4
k0s-w1 1 cache
k0s-w2 4 cache
k0s-w3 3 cache
- Der Controller läuft auf
k0s-w1(nach Runde 7), die VIP liegt dort. - Primary
k0s-w3(InUse), zweite Kopiek0s-w2, Tiebreaker diskless aufk0s-ctrl. - Vier Writecache-Geräte auf
k0s-w2– eines je Volume, denn Zone b trägt alle. Alle Cache-LVs liegen incache, keines indata(Tag 8, Challenge).
Fortschritt speichern? Kostenlos registrieren
Wertung
| Runde | Fehler | Zeitziel | Punkte |
|---|---|---|---|
| 1 | Satellite auf dem einzigen Node der Zone b gestoppt | 3 min | 2 |
| 2 | drbdadm down auf einer Kopie, LINSTOR heilt nicht |
4 min | 2 |
| 3 | Aux/topology/linbit.com/hostname fehlt, CSI-Node in
Schleife |
5 min | 2 |
| 4 | Out-of-Service-Taint nach der Rückkehr vergessen | 4 min | 2 |
| 5 | Split-Brain ohne Quorum, Verlierer nach Daten wählen | 7 min | 3 |
| 6 | Writecache-Gerät wächst nicht mit | 8 min | 3 |
| 7 | drbd-reactor auf allen Kandidaten gestoppt | 4 min | 2 |
| 8 | drei Fragen zu Controller, Platzierung, Writecache | 5 min | 3 |
Volle Punkte nur innerhalb des Zeitziels, ohne Hinweis
und mit Beweis-Befehl; sonst die Hälfte (abrunden). In
Runde 8 gibt es einen Punkt je belegter Antwort. Wer statt der Ursache
das Symptom beseitigt (Ressource löschen und neu anlegen,
--discard-my-data auf der Gewinnerseite, PVC neu anlegen
statt vergrößern, Node neu starten), bekommt für die Runde 0.
Gesamtzeitziel: 40 min, Maximum: 19 Punkte.
| Punkte | Einschätzung |
|---|---|
| 16–19 | bereit für die Abschlussprüfung (Anhang B) |
| 10–15 | gut; die Tage der verpassten Runden wiederholen |
| 0–9 | Tag 6, 7, 9, 10, 11 und 12 noch einmal durcharbeiten |
Challenge
Seit einer „Netzwerkwartung“ zeigen alle Volumes mit Kopien auf
k0s-w2 und k0s-w3 dauerhaft
Connecting. Quorum ist überall da, die Datenbank schreibt.
Finde die Ursache und behebe sie, ohne einen Dienst neu zu starten.
Schiedsrichter-Befehle:
# auf k0s-ctrl
ssh k0s-w3 'sudo iptables -I INPUT -s 10.10.0.12 -p tcp -m multiport \
--ports 7000:7999 -j DROP'Hinweis: Welche Verbindung fehlt genau – und wer hat in diesem Buch schon zweimal DRBD-Ports gesperrt (Tag 6, 18)?
Lösung
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | cut -d'|' -f2,3,6,7 | cut -c1-88
ssh k0s-w2 'sudo drbdadm status linstor_db'
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h sudo iptables -S | grep 7000)"; doneErwartet (gekürzt):
ResourceName | Node | Conns | State
========================================================================================
linstor_db | k0s-w2 | Connecting(k0s-w3) | UpToDate
linstor_db | k0s-w3 | Connecting(k0s-w2) | UpToDate
pvc-11dccaf7-f197-4448-b834-1b5db5b0b525 | k0s-w2 | Connecting(k0s-w3) | Outdated
pvc-11dccaf7-f197-4448-b834-1b5db5b0b525 | k0s-w3 | Connecting(k0s-w2) | UpToDate
...
linstor_db role:Secondary
disk:UpToDate open:no
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w1 role:Primary
peer-disk:UpToDate
k0s-w3 connection:Connecting
k0s-w1
k0s-w2
k0s-w3 -A INPUT -s 10.10.0.12/32 -p tcp -m multiport --ports 7000:7999 -j DROP
Nur die Strecke k0s-w2–k0s-w3 fehlt. Liegt
der Primary auf einer der beiden Seiten, wird die andere
Outdated (hier die Kopie von demo auf
k0s-w2); linstor_db mit Primary auf
k0s-w1 bleibt auf beiden Seiten UpToDate. Der
Primary behält über die Witness sein Quorum – deshalb schreibt die
Datenbank (nach einer Pause von gut zehn Sekunden beim Sperren, Tag 11).
Die Regel muss weg:
# auf k0s-ctrl
ssh k0s-w3 'sudo iptables -D INPUT -s 10.10.0.12/32 -p tcp -m multiport \
--ports 7000:7999 -j DROP; sudo iptables -S | grep -c 7000'
sleep 15
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'Erwartet: zweimal 0. Die Alarmregel
DrbdVerbindungGestoert aus Tag 18 hätte dir den Fehler nach
rund zwei Minuten per Mail gemeldet (for: 1m, dazu
Auswertung und group_wait).
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf k0s-ctrl
kubectl delete namespace wettkampf --timeout=180s
kubectl get pv | grep -c wettkampf
linstor --no-utf8 --no-color resource list | grep -c 'wk-'Erwartet:
namespace "wettkampf" deleted, dann zweimal 0.
Mit dem Namespace verschwinden PVC, PV und die LINSTOR-Ressource von
wk-daten – das PV ist erst weg, wenn der CSI-Treiber die
Ressource gelöscht hat. grep 'wk-' findet Reste aus Runde 5
(wk-sb). Die Dateien in ~/k0s-lab/tag20
bleiben als Vorlage für die Abschlussprüfung.
Kontrollpunkt
# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,6
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'Erwartet: vier Nodes Online, dann
0.
# auf k0s-ctrl
kubectl describe nodes | grep Taints
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h sudo iptables -S | grep -c 7000)"; doneErwartet: dreimal Taints: <none>,
dann dreimal 0.
# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=1Erwartet: eine Zeile mit ok –
demo hat den Wettkampf überstanden.
Interview-Notiz
- LINSTOR zeigt
Unknown, DRBD läuft – was tust du? Auf dem Node selbstdrbdadm statuslesen. Fehlt die Ressource im Kernel, holtdrbdadm adjustsie zurück; LINSTOR repariert so etwas nicht von selbst. - Wie entscheidest du bei einem Split-Brain? Beide Seiten nur
lesend einhängen, mit der Fachabteilung den Gewinner festlegen,
--discard-my-datanur auf dem Verlierer. - Warum bleibt ein PVC
Pending, obwohl Platz frei ist? Weil die Platzierungsregeln (Zonen, Pools) nicht erfüllbar sind – etwa wenn der einzige Node einer Zone offline ist.
Enterprise-Notiz
- Game Days wie diesen regelmäßig mit der Bereitschaft spielen – aus den Lösungen werden Runbooks.
- Gefährliche Handgriffe (
--discard-my-data,dmsetup reload, Taints) nur mit Runbook und zweitem Paar Augen. - Mehr als ein Node pro Zone: Dann bleibt ein PVC nicht hängen, nur weil ein Satellite fehlt.
- Firewall-Regeln auf Storage-Hosts nur aus der Konfigurationsverwaltung, mit Alarm auf getrennte DRBD-Verbindungen (Tag 18).
- Writecache-Volumes vor dem Vergrößern prüfen oder auf Volumes ohne Writecache vergrößern lassen (Tag 12).