Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 20: Wettkampf – der kaputte Speicher

Ziel: Du findest und behebst in acht Runden eingebaute Fehler quer durch das Buch – gegen die Uhr, mit Nachweis vorher und nachher. · Dauer: ca. 120 min · Voraussetzung: Tag 0–19

Briefing

  • Ein eigenes Spielfeld im Namespace wettkampf: ein Volume aus linstor-replicated und ein Pod schreiber, der jede Sekunde eine Zeile schreibt und ok oder FEHLER meldet. demo mit pg-0 und pg-client läuft nebenher weiter.
  • Acht Runden, alle Schichten: Satellite, DRBD, CSI-Treiber, Kubernetes, Split-Brain, Writecache, Controller-HA und eine Revision. Der Reihe nach spielen.
  • Werkzeuge: linstor … list, drbdadm status, drbd-reactorctl, kubectl describe, Events, Journal.
  • Jede Runde endet mit einem Beweis-Befehl: kaputt vorher, heil nachher.
Runde  Symptom                                         Zeitziel
1      Neues PVC bleibt Pending                        3 min
2      Ein Volume hat nur noch eine Kopie              4 min
3      CSI-Node auf k0s-w3 immer nur Sekunden alt      5 min
4      k0s-w1 ist Ready, aber leer                     4 min
5      Zwei Kassen, zwei Wahrheiten                    7 min
6      PVC hat 2Gi, das Dateisystem 1G                 8 min
7      linstor: Connection refused                     4 min
8      Fragen der Revision (nur lesen)                 5 min

Spielregeln

  • Pro Runde führt der Schiedsrichter die Schiedsrichter-Befehle aus – ein Kollege oder du selbst, ohne hinzusehen: Block kopieren, in ein zweites Terminal einfügen, Fenster schließen. Dann die Uhr starten.
  • Ursache finden, beheben, mit einem Befehl beweisen. Erst dann Uhr stoppen.
  • Repariere die Ursache, nicht das Symptom: Wer Ressourcen, PVCs oder Pods löscht, die nicht kaputt sind, Quorum abschaltet oder einen Node neu startet, bekommt null Punkte.
  • Den Hinweis erst lesen, wenn das Zeitziel abgelaufen ist.
  • Ziel jeder Runde, sofern sie nichts anderes sagt: linstor resource list --faulty ist leer, schreiber und pg-client melden ok. Der Befehl dafür heißt im Folgenden kurz Messung:
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'
kubectl -n wettkampf logs schreiber --since=30s | grep -c FEHLER
kubectl -n demo logs deploy/pg-client --since=30s | grep -c FEHLER

Spielfeld

schreiber läuft fest auf k0s-w3. Damit liegen die Kopien auf k0s-w3 (Primary) und k0s-w2 (Zone b), der Tiebreaker auf der Witness:

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag20 && cd ~/k0s-lab/tag20
kubectl create namespace wettkampf
cat > spielfeld.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: wk-daten, namespace: wettkampf}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 1Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: schreiber, namespace: wettkampf}
spec:
  nodeSelector: {kubernetes.io/hostname: k0s-w3}
  containers:
    - name: shell
      image: busybox:1.37
      command: [sh, -c]
      args:
        - while true; do date +%T >> /daten/log && echo "$(date +%T) ok"
          || echo "$(date +%T) FEHLER"; sleep 1; done
      volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
    - name: daten
      persistentVolumeClaim: {claimName: wk-daten}
EOF
kubectl apply -f spielfeld.yaml
kubectl -n wettkampf wait --for=condition=Ready pod/schreiber --timeout=180s
kubectl -n wettkampf logs schreiber --tail=2
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110

Erwartet (gekürzt):

pod/schreiber condition met
05:54:23 ok
05:54:24 ok
...
| Node     | Layers                  | Usage  | Conns |    State |
===================================================================
| k0s-ctrl | DRBD,STORAGE            | Unused | Ok    | Diskless |
| k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate |
| k0s-w3   | DRBD,WRITECACHE,STORAGE | InUse  | Ok    | UpToDate |

Direkt nach dem Start zeigt k0s-w2 noch kurz SyncTarget, die Messung dann 1 in der ersten Zeile. Eine Minute später zeigt sie dreimal 0. Das ist das gesunde Spielfeld.

Runde 1: Neues PVC bleibt Pending

Lage: Ein Kollege legt ein kleines Test-Volume an. Es bleibt Pending, obwohl alle drei Kubernetes-Nodes Ready sind und genug Platz frei ist.

Schiedsrichter-Befehle:

# auf k0s-ctrl
ssh k0s-w2 'sudo systemctl stop linstor-satellite'
cd ~/k0s-lab/tag20
cat > neu.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: wk-neu, namespace: wettkampf}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 200Mi}}
---
apiVersion: v1
kind: Pod
metadata: {name: neu, namespace: wettkampf}
spec:
  containers:
    - {name: shell, image: busybox:1.37, command: [sleep, infinity],
       volumeMounts: [{name: daten, mountPath: /daten}]}
  volumes:
    - {name: daten, persistentVolumeClaim: {claimName: wk-neu}}
EOF
kubectl apply -f neu.yaml

Zeitziel: 3 min

Hinweis: Welche Zone braucht jedes Volume, und wie viele Nodes hat sie?

Lösung Runde 1

# auf k0s-ctrl
kubectl -n wettkampf get pvc wk-neu | cut -c1-40
kubectl -n wettkampf describe pvc wk-neu | grep -m1 -o 'Not enough available nodes'
linstor --no-utf8 --no-color node list | cut -c1-88

Erwartet:

NAME     STATUS    VOLUME   CAPACITY   A
wk-neu   Pending
Not enough available nodes
+-----------------------------------------------------------------------+
| Node     | Platform | NodeType  | Addresses                 | State   |
|=======================================================================|
| k0s-ctrl | LINUX    | SATELLITE | 172.16.0.176:3366 (PLAIN) | Online  |
| k0s-w1   | LINUX    | SATELLITE | 10.10.0.11:3366 (PLAIN)   | Online  |
| k0s-w2   |          | SATELLITE | 10.10.0.12:3366 (PLAIN)   | OFFLINE |
| k0s-w3   | LINUX    | SATELLITE | 10.10.0.13:3366 (PLAIN)   | Online  |
+-----------------------------------------------------------------------+

k0s-w2 ist der einzige Node in Zone b. Ohne seinen Satellite kann LINSTOR dort nichts anlegen, und replicasOnDifferent Aux/zone verbietet beide Kopien in Zone a (Tag 12). DRBD läuft weiter, die Messung bleibt bei 0 (Tag 9). Satellite starten:

# auf k0s-ctrl
ssh k0s-w2 'systemctl is-active linstor-satellite'
ssh k0s-w2 'sudo systemctl start linstor-satellite'
until linstor --no-utf8 --no-color node list | grep k0s-w2 | grep -q Online; do
  sleep 3; done
kubectl -n wettkampf wait --for=condition=Ready pod/neu --timeout=180s
kubectl -n wettkampf get pvc wk-neu | cut -c1-60
kubectl delete -f neu.yaml

Erwartet (gekürzt):

inactive
pod/neu condition met
NAME     STATUS   VOLUME
wk-neu   Bound    pvc-9f4a4616-fee6-450f-9b0e-ad8c0a736a32
persistentvolumeclaim "wk-neu" deleted from wettkampf namespace
pod "neu" deleted from wettkampf namespace

Das Test-PVC ist damit wieder gelöscht. Nach einem Neustart des Hosts käme der Satellite von selbst zurück (enabled); gestoppt per Hand bleibt er aus.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Nur noch eine Kopie

Lage: Das Monitoring meldet, dass wk-daten nur noch eine Kopie hat. LINSTOR sieht keinen Grund, etwas zu tun.

Schiedsrichter-Befehle:

# auf k0s-ctrl
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
ssh k0s-w2 "sudo drbdadm down $R"

Zeitziel: 4 min

Hinweis: Was sagt DRBD auf dem Node, den LINSTOR mit Unknown führt?

Lösung Runde 2

# auf k0s-ctrl
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list --faulty | cut -c44-120
ssh k0s-w2 "sudo drbdadm status $R"

Erwartet (gekürzt):

| Node     | Layers                  | Usage  | Conns              |    State
=============================================================================
| k0s-ctrl | DRBD,STORAGE            | Unused | Connecting(k0s-w2) | Diskless
| k0s-w2   | DRBD,WRITECACHE,STORAGE |        |                    |  Unknown
| k0s-w3   | DRBD,WRITECACHE,STORAGE | InUse  | Connecting(k0s-w2) | UpToDate
pvc-10ba3221-...: No such resource
Command 'drbdsetup status pvc-10ba3221-...' terminated with exit code 10

Auf k0s-w2 gibt es die Ressource im Kernel gar nicht mehr – jemand hat sie mit drbdadm down abgebaut. LINSTOR führt sie weiter als gewünscht, repariert aber nicht von selbst (Tag 9; im Labor nach 45 Sekunden noch drei Zeilen in --faulty). adjust bringt den Kernel auf den Stand der Konfiguration:

# auf k0s-ctrl
ssh k0s-w2 "sudo drbdadm adjust $R; sleep 5; sudo drbdadm status $R"
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'

Erwartet:

pvc-10ba3221-... role:Secondary
  disk:UpToDate open:no
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w3 role:Primary
    peer-disk:UpToDate
0

Die Platte war nie weg, deshalb ist die Kopie nach Sekunden wieder UpToDate: DRBD gleicht nur die Blöcke ab, die sich seither geändert haben.

Fortschritt speichern? Kostenlos registrieren

Runde 3: Ein CSI-Node, der nie alt wird

Lage: Neue Pods mit Volume starten auf k0s-w3 nicht. Die laufenden Pods dort schreiben weiter. Im Namespace piraeus-datastore gibt es keine Fehlermeldung.

Schiedsrichter-Befehle:

# auf k0s-ctrl
linstor node set-property k0s-w3 Aux/topology/linbit.com/hostname

Zeitziel: 5 min

Hinweis: Wer löscht hier Pods, und womit vergleicht er (Tag 7)?

Lösung Runde 3

# auf k0s-ctrl
kubectl -n piraeus-datastore get pods -l app.kubernetes.io/component=linstor-csi-node \
  -o wide | cut -c1-90
kubectl -n piraeus-datastore get events --sort-by=.lastTimestamp \
  | grep Killing | tail -2 | cut -c1-88
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"
linstor --no-utf8 --no-color node list-properties k0s-w3 | cut -c1-70

Erwartet (gekürzt):

NAME                     READY   STATUS     RESTARTS      AGE    IP             NODE
linstor-csi-node-7k67r   3/3     Running    0             148m   172.16.0.186   k0s-w1
linstor-csi-node-gg56b   0/3     Init:0/1   0             1s     172.16.0.72    k0s-w3
linstor-csi-node-jtz82   3/3     Running    3 (25m ago)   145m   172.16.0.36    k0s-w2
2s          Normal    Killing            pod/linstor-csi-node-5sxjh   Stopping container
2s          Normal    Killing            pod/linstor-csi-node-5sxjh   Stopping container
NODE     DRIVERS
k0s-w1   linstor.csi.linbit.com
k0s-w2   linstor.csi.linbit.com
k0s-w3   <none>
+---------------------------+
| Key             | Value   |
|===========================|
| Aux/zone        | a       |
| CurStltConnName | default |
| NodeUname       | k0s-w3  |
+---------------------------+

Falle 3 aus Tag 7: Der Operator vergleicht die Topologie, die der Treiber meldet, mit Aux/topology/linbit.com/hostname am LINSTOR-Node. Fehlt die Eigenschaft, löscht er den Pod immer wieder, der Treiber registriert sich nie (<none>). Laufende Mounts stören das nicht, neue scheitern. Eigenschaft zurück:

# auf k0s-ctrl
linstor node set-property k0s-w3 Aux/topology/linbit.com/hostname k0s-w3
sleep 100
kubectl -n piraeus-datastore get pods -l app.kubernetes.io/component=linstor-csi-node \
  -o wide | cut -c1-90
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"

Erwartet (gekürzt):

NAME                     READY   STATUS    RESTARTS      AGE    IP             NODE
linstor-csi-node-7k67r   3/3     Running   0             150m   172.16.0.186   k0s-w1
linstor-csi-node-jtz82   3/3     Running   3 (27m ago)   147m   172.16.0.36    k0s-w2
linstor-csi-node-rzfwg   3/3     Running   0             99s    172.16.0.72    k0s-w3
NODE     DRIVERS
k0s-w1   linstor.csi.linbit.com
k0s-w2   linstor.csi.linbit.com
k0s-w3   linstor.csi.linbit.com

Das AGE steigt jetzt: Der Pod darf bleiben.

Fortschritt speichern? Kostenlos registrieren

Runde 4: Ready, aber leer

Lage: Nach einer Wartung meldet kubectl get nodes alle drei Worker Ready. Auf k0s-w1 laufen trotzdem fast keine Pods mehr, auch der CSI-Treiber fehlt dort.

Schiedsrichter-Befehle:

# auf k0s-ctrl
kubectl taint node k0s-w1 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute

Zeitziel: 4 min

Hinweis: Was hat man in Tag 10 nach der Rückkehr des Nodes vergessen?

Lösung Runde 4

# auf k0s-ctrl
kubectl get pod -A -o wide --field-selector spec.nodeName=k0s-w1 | cut -c1-60
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"
kubectl describe node k0s-w1 | grep -A1 Taints

Erwartet (gekürzt):

NAMESPACE     NAME                       READY   STATUS    RESTARTS
kube-system   konnectivity-agent-rjj9k   1/1     Running   0
kube-system   kube-proxy-hjpjl           1/1     Running   0
kube-system   kube-router-l6hrz          1/1     Running   0
NODE     DRIVERS
k0s-w1   <none>
k0s-w2   linstor.csi.linbit.com
k0s-w3   linstor.csi.linbit.com
Taints:             node.kubernetes.io/out-of-service=nodeshutdown:NoExecute
Unschedulable:      false

Das Out-of-Service-Taint aus Tag 10 vertreibt alles ohne passende Toleranz, auch die DaemonSets von CSI, Alloy und Velero. Es gehört nur auf einen Node, der wirklich aus ist, und muss nach seiner Rückkehr weg:

# auf k0s-ctrl
kubectl taint node k0s-w1 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute-
sleep 60
kubectl get pod -A -o wide --field-selector spec.nodeName=k0s-w1 --no-headers \
  | awk '{print $1, $2, $4}'
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C"

Erwartet (gekürzt):

node/k0s-w1 untainted
kube-system konnectivity-agent-rjj9k Running
...
monitoring alloy-rh6mr Running
piraeus-datastore linstor-csi-node-5qzlb Running
velero node-agent-26txz Running
NODE     DRIVERS
k0s-w1   linstor.csi.linbit.com
...

Die DaemonSets kommen von selbst zurück. Was sonst noch auf k0s-w1 lief (im Labor CSI-Controller und Piraeus-Operator), läuft jetzt auf einem anderen Worker – das ist kein Fehler.

Fortschritt speichern? Kostenlos registrieren

Runde 5: Zwei Kassen, zwei Wahrheiten

Lage: Eine Test-Ressource wk-sb ohne Quorum wurde auf beiden Seiten beschrieben. Die Fachabteilung sagt: Richtig ist die Seite, auf der bestellung 42 steht. Bring die Ressource wieder zusammen, ohne bestellung 42 zu verlieren.

Schiedsrichter-Befehle:

# auf k0s-ctrl
linstor resource-definition create wk-sb --resource-group rg-k8s
linstor volume-definition create wk-sb 200M
linstor resource create k0s-w1 k0s-w2 wk-sb --storage-pool pool_data
linstor resource-definition drbd-options --quorum off wk-sb
sleep 10
ssh k0s-w1 'sudo mkfs.ext4 -q /dev/drbd/by-res/wk-sb/0; sudo mkdir -p /mnt/wk
  sudo mount /dev/drbd/by-res/wk-sb/0 /mnt/wk; echo basis | sudo tee /mnt/wk/kasse
  sudo umount /mnt/wk'
ssh k0s-w1 'sudo drbdadm disconnect wk-sb'
ssh k0s-w2 'sudo drbdadm disconnect wk-sb'
ssh k0s-w1 'sudo mount /dev/drbd/by-res/wk-sb/0 /mnt/wk
  echo bestellung 41 | sudo tee -a /mnt/wk/kasse; sudo umount /mnt/wk'
ssh k0s-w2 'sudo mkdir -p /mnt/wk; sudo mount /dev/drbd/by-res/wk-sb/0 /mnt/wk
  echo bestellung 42 | sudo tee -a /mnt/wk/kasse; sudo umount /mnt/wk'
ssh k0s-w1 'sudo drbdadm connect wk-sb'
ssh k0s-w2 'sudo drbdadm connect wk-sb'

Zeitziel: 7 min

Hinweis: Erst auf beiden Seiten nur lesend nachsehen, dann entscheiden (Tag 11).

Lösung Runde 5

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r wk-sb | cut -c1-88
ssh k0s-w1 "sudo journalctl -k --since -5min | grep 'Split-Brain detected' | cut -c1-88"
for h in k0s-w1 k0s-w2; do ssh $h 'sudo mount -o ro /dev/drbd/by-res/wk-sb/0 /mnt/wk \
  && echo $(hostname): $(tail -1 /mnt/wk/kasse); sudo umount /mnt/wk'; done

Erwartet (gekürzt):

| ResourceName | Node   | Layers       | Usage  | Conns              |    State | Vote
|======================================================================================
| wk-sb        | k0s-w1 | DRBD,STORAGE | Unused | StandAlone(k0s-w2) | UpToDate | Yes
| wk-sb        | k0s-w2 | DRBD,STORAGE | Unused | StandAlone(k0s-w1) | UpToDate | Yes
Nov 20 05:46:54 k0s-w1 kernel: drbd wk-sb/0 drbd1005 k0s-w2: Split-Brain detected but un
k0s-w1: bestellung 41
k0s-w2: bestellung 42

k0s-w2 gewinnt, k0s-w1 verliert.

Achtung: --discard-my-data verwirft unwiderruflich alle Änderungen dieses Nodes seit der Trennung. Er gehört auf k0s-w1, den Verlierer – nicht auf k0s-w2.

# auf k0s-w1
sudo drbdadm disconnect wk-sb
sudo drbdadm secondary wk-sb
sudo drbdadm connect --discard-my-data wk-sb
# auf k0s-w2
sudo drbdadm connect wk-sb
# auf k0s-w1
sudo drbdadm status wk-sb
sudo mount -o ro /dev/drbd/by-res/wk-sb/0 /mnt/wk
cat /mnt/wk/kasse
sudo umount /mnt/wk

Erwartet:

wk-sb role:Secondary
  disk:UpToDate open:no
  k0s-w2 role:Secondary
    peer-disk:UpToDate

basis
bestellung 42

bestellung 41 ist weg, wie entschieden. Die Ressource brauchst du nicht mehr:

# auf k0s-ctrl
linstor resource-definition delete wk-sb | tail -1

Erwartet (gekürzt): Resource definition 'wk-sb' UUID was: …

Fortschritt speichern? Kostenlos registrieren

Runde 6: 2Gi bestellt, 1G geliefert

Lage: wk-daten wurde auf 2Gi vergrößert. Kubernetes meldet Erfolg, df im Pod zeigt weiter knapp 1G. Bring den Platz ins Dateisystem, ohne schreiber anzuhalten.

Schiedsrichter-Befehle:

# auf k0s-ctrl
kubectl -n wettkampf patch pvc wk-daten \
  -p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'

Zeitziel: 8 min

Hinweis: Lies den Stapel von unten nach oben: lvs, dmsetup table, blockdev, df (Tag 12).

Lösung Runde 6

# auf k0s-ctrl
kubectl -n wettkampf get pvc wk-daten | cut -c1-80
kubectl -n wettkampf exec schreiber -- df -h /daten | tail -1
kubectl -n wettkampf get events --field-selector involvedObject.name=wk-daten \
  --sort-by=.lastTimestamp -o custom-columns=GRUND:.reason | tail -2

Erwartet:

NAME       STATUS   VOLUME                                     CAPACITY   ACCESS
wk-daten   Bound    pvc-10ba3221-3462-473e-aa06-edaabd470b72   2Gi        RWO
/dev/drbd1004           977.1M     32.0K    909.6M   0% /daten
ExternalExpanding
FileSystemResizeSuccessful

Die Writecache-Falle aus Tag 12: LVs gewachsen, das Writecache-Gerät nicht, also auch DRBD und ext4 nicht. Auf beiden Nodes mit Kopie das Gerät neu laden. Setze K auf den Namen deines Volumes:

# auf k0s-w3
K=pvc-10ba3221-3462-473e-aa06-edaabd470b72
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.table

Erwartet:

0 2105344 writecache s 252:7 252:8 4096 0
0 4202496 writecache s 252:7 252:8 4096 0

Achtung: Prüfe cat /tmp/neu.table vor dem reload: Nur die zweite Zahl darf sich geändert haben.

# auf k0s-w3
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D
sudo dmsetup table $D

Erwartet: 0 4202496 writecache s 252:7 252:8 4096 0. Wiederhole beide Blöcke auf k0s-w2 (dort 252:10 252:11). Dann nur auf dem Primary:

# auf k0s-w3
sudo drbdadm resize $K
sudo drbdadm sh-dev $K
sudo resize2fs $(sudo drbdadm sh-dev $K)

Erwartet (gekürzt):

/dev/drbd1004
resize2fs 1.47.0 (5-Feb-2023)
Filesystem at /dev/drbd1004 is mounted on /var/lib/k0s/kubelet/pods/...; on-line ...
old_desc_blocks = 1, new_desc_blocks = 1
The filesystem on /dev/drbd1004 is now 525190 (4k) blocks long.

drbdadm resize gibt nichts aus, die erste Zeile stammt von sh-dev.

# auf k0s-ctrl
kubectl -n wettkampf exec schreiber -- df -h /daten | tail -1
kubectl -n wettkampf logs schreiber --since=5m | grep -c FEHLER

Erwartet (gekürzt):

/dev/drbd1004             1.9G     32.0K      1.8G   0% /daten
0

drbdadm sh-dev nennt das DRBD-Gerät der Ressource – kein Abtippen der Minor-Nummer. schreiber hat von alldem nichts gemerkt.

Fortschritt speichern? Kostenlos registrieren

Runde 7: Connection refused

Lage: Jeder linstor-Befehl endet mit Connection refused. Die Anwendungen laufen.

Schiedsrichter-Befehle:

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'sudo systemctl stop drbd-reactor'; done

Zeitziel: 4 min

Hinweis: Wer startet den Controller (Tag 6)?

Lösung Runde 7

# auf k0s-ctrl
linstor node list 2>&1 | tail -1
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h: $(ssh $h systemctl is-active \
  drbd-reactor linstor-controller | xargs) $(ssh $h sudo drbdadm status linstor_db \
  | head -1)"; done
kubectl -n demo logs deploy/pg-client --tail=1

Erwartet:

Error: Unable to connect to linstor://172.16.0.72: [Errno 111] Connection refused
k0s-w1: inactive inactive linstor_db role:Secondary
k0s-w2: failed inactive linstor_db role:Secondary
k0s-w3: inactive inactive linstor_db role:Secondary
06:20:34 ok

Kein Controller, linstor_db überall Secondary, drbd-reactor auf allen drei Kandidaten aus – auf dem bisher aktiven Node (hier k0s-w2) als failed, weil er beim Beenden die Kette mit herunterfahren musste. Wer drbd-reactor auf dem aktiven Node stoppt, stoppt dank stop-services-on-exit die ganze Kette mit: Controller, VIP, Mount. DRBD-Volumes und Anwendungen merken nichts, nur die Verwaltung fehlt. Starten genügt:

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'sudo systemctl start drbd-reactor'; done
date +%T; until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h: $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"; done

Erwartet (Node kann abweichen):

06:20:44
06:21:00
k0s-w1: Promoter: Resource linstor_db currently active on this node
k0s-w2: Promoter: Resource linstor_db currently active on node 'k0s-w1'
k0s-w3: Promoter: Resource linstor_db currently active on node 'k0s-w1'

Gut 15 Sekunden bis zur API. Welcher Node gewinnt, entscheidet, wer zuerst befördert.

Fortschritt speichern? Kostenlos registrieren

Runde 8: Fragen der Revision

Lage: Die Revision will drei Antworten, je mit einem Befehl belegt. Nur lesen.

  1. Auf welchem Node läuft der LINSTOR-Controller, und liegt die VIP dort?
  2. Welcher Node ist Primary von wk-daten, wo liegt die zweite Kopie, wo der Tiebreaker?
  3. Wie viele Writecache-Geräte hat k0s-w2, und liegen alle Cache-LVs der Worker in der VG cache?

Zeitziel: 5 min

Hinweis: Tag 19, Prüffrage 2 und 4.

Lösung Runde 8

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h systemctl is-active linstor-controller)"; done
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
  && echo "VIP auf $h"; done
R=$(kubectl -n wettkampf get pvc wk-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
ssh k0s-w3 "sudo drbdadm status $R | grep role"
ssh k0s-w2 'sudo dmsetup ls --target writecache | wc -l'
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo lvs --noheadings \
  -o vg_name,lv_name' | grep cache_ | awk '{print $1}' | sort | uniq -c | xargs)"; done

Erwartet (gekürzt):

k0s-w1 active
k0s-w2 inactive
k0s-w3 inactive
VIP auf k0s-w1
| Node     | Layers                  | Usage  | Conns |    State |
===================================================================
| k0s-ctrl | DRBD,STORAGE            | Unused | Ok    | Diskless |
| k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate |
| k0s-w3   | DRBD,WRITECACHE,STORAGE | InUse  | Ok    | UpToDate |
pvc-10ba3221-... role:Primary
  k0s-ctrl role:Secondary
  k0s-w2 role:Secondary
4
k0s-w1 1 cache
k0s-w2 4 cache
k0s-w3 3 cache
  1. Der Controller läuft auf k0s-w1 (nach Runde 7), die VIP liegt dort.
  2. Primary k0s-w3 (InUse), zweite Kopie k0s-w2, Tiebreaker diskless auf k0s-ctrl.
  3. Vier Writecache-Geräte auf k0s-w2 – eines je Volume, denn Zone b trägt alle. Alle Cache-LVs liegen in cache, keines in data (Tag 8, Challenge).

Fortschritt speichern? Kostenlos registrieren

Wertung

Runde Fehler Zeitziel Punkte
1 Satellite auf dem einzigen Node der Zone b gestoppt 3 min 2
2 drbdadm down auf einer Kopie, LINSTOR heilt nicht 4 min 2
3 Aux/topology/linbit.com/hostname fehlt, CSI-Node in Schleife 5 min 2
4 Out-of-Service-Taint nach der Rückkehr vergessen 4 min 2
5 Split-Brain ohne Quorum, Verlierer nach Daten wählen 7 min 3
6 Writecache-Gerät wächst nicht mit 8 min 3
7 drbd-reactor auf allen Kandidaten gestoppt 4 min 2
8 drei Fragen zu Controller, Platzierung, Writecache 5 min 3

Volle Punkte nur innerhalb des Zeitziels, ohne Hinweis und mit Beweis-Befehl; sonst die Hälfte (abrunden). In Runde 8 gibt es einen Punkt je belegter Antwort. Wer statt der Ursache das Symptom beseitigt (Ressource löschen und neu anlegen, --discard-my-data auf der Gewinnerseite, PVC neu anlegen statt vergrößern, Node neu starten), bekommt für die Runde 0. Gesamtzeitziel: 40 min, Maximum: 19 Punkte.

Punkte Einschätzung
16–19 bereit für die Abschlussprüfung (Anhang B)
10–15 gut; die Tage der verpassten Runden wiederholen
0–9 Tag 6, 7, 9, 10, 11 und 12 noch einmal durcharbeiten

Challenge

Seit einer „Netzwerkwartung“ zeigen alle Volumes mit Kopien auf k0s-w2 und k0s-w3 dauerhaft Connecting. Quorum ist überall da, die Datenbank schreibt. Finde die Ursache und behebe sie, ohne einen Dienst neu zu starten. Schiedsrichter-Befehle:

# auf k0s-ctrl
ssh k0s-w3 'sudo iptables -I INPUT -s 10.10.0.12 -p tcp -m multiport \
  --ports 7000:7999 -j DROP'

Hinweis: Welche Verbindung fehlt genau – und wer hat in diesem Buch schon zweimal DRBD-Ports gesperrt (Tag 6, 18)?

Lösung

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | cut -d'|' -f2,3,6,7 | cut -c1-88
ssh k0s-w2 'sudo drbdadm status linstor_db'
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h sudo iptables -S | grep 7000)"; done

Erwartet (gekürzt):

 ResourceName                             | Node   | Conns              |    State
========================================================================================
 linstor_db                               | k0s-w2 | Connecting(k0s-w3) | UpToDate
 linstor_db                               | k0s-w3 | Connecting(k0s-w2) | UpToDate
 pvc-11dccaf7-f197-4448-b834-1b5db5b0b525 | k0s-w2 | Connecting(k0s-w3) | Outdated
 pvc-11dccaf7-f197-4448-b834-1b5db5b0b525 | k0s-w3 | Connecting(k0s-w2) | UpToDate
...
linstor_db role:Secondary
  disk:UpToDate open:no
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w1 role:Primary
    peer-disk:UpToDate
  k0s-w3 connection:Connecting
k0s-w1
k0s-w2
k0s-w3 -A INPUT -s 10.10.0.12/32 -p tcp -m multiport --ports 7000:7999 -j DROP

Nur die Strecke k0s-w2–k0s-w3 fehlt. Liegt der Primary auf einer der beiden Seiten, wird die andere Outdated (hier die Kopie von demo auf k0s-w2); linstor_db mit Primary auf k0s-w1 bleibt auf beiden Seiten UpToDate. Der Primary behält über die Witness sein Quorum – deshalb schreibt die Datenbank (nach einer Pause von gut zehn Sekunden beim Sperren, Tag 11). Die Regel muss weg:

# auf k0s-ctrl
ssh k0s-w3 'sudo iptables -D INPUT -s 10.10.0.12/32 -p tcp -m multiport \
  --ports 7000:7999 -j DROP; sudo iptables -S | grep -c 7000'
sleep 15
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'

Erwartet: zweimal 0. Die Alarmregel DrbdVerbindungGestoert aus Tag 18 hätte dir den Fehler nach rund zwei Minuten per Mail gemeldet (for: 1m, dazu Auswertung und group_wait).

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf k0s-ctrl
kubectl delete namespace wettkampf --timeout=180s
kubectl get pv | grep -c wettkampf
linstor --no-utf8 --no-color resource list | grep -c 'wk-'

Erwartet: namespace "wettkampf" deleted, dann zweimal 0. Mit dem Namespace verschwinden PVC, PV und die LINSTOR-Ressource von wk-daten – das PV ist erst weg, wenn der CSI-Treiber die Ressource gelöscht hat. grep 'wk-' findet Reste aus Runde 5 (wk-sb). Die Dateien in ~/k0s-lab/tag20 bleiben als Vorlage für die Abschlussprüfung.

Kontrollpunkt

# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,6
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'

Erwartet: vier Nodes Online, dann 0.

# auf k0s-ctrl
kubectl describe nodes | grep Taints
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h sudo iptables -S | grep -c 7000)"; done

Erwartet: dreimal Taints: <none>, dann dreimal 0.

# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=1

Erwartet: eine Zeile mit ok – demo hat den Wettkampf überstanden.

Interview-Notiz

  • LINSTOR zeigt Unknown, DRBD läuft – was tust du? Auf dem Node selbst drbdadm status lesen. Fehlt die Ressource im Kernel, holt drbdadm adjust sie zurück; LINSTOR repariert so etwas nicht von selbst.
  • Wie entscheidest du bei einem Split-Brain? Beide Seiten nur lesend einhängen, mit der Fachabteilung den Gewinner festlegen, --discard-my-data nur auf dem Verlierer.
  • Warum bleibt ein PVC Pending, obwohl Platz frei ist? Weil die Platzierungsregeln (Zonen, Pools) nicht erfüllbar sind – etwa wenn der einzige Node einer Zone offline ist.

Enterprise-Notiz

  • Game Days wie diesen regelmäßig mit der Bereitschaft spielen – aus den Lösungen werden Runbooks.
  • Gefährliche Handgriffe (--discard-my-data, dmsetup reload, Taints) nur mit Runbook und zweitem Paar Augen.
  • Mehr als ein Node pro Zone: Dann bleibt ein PVC nicht hängen, nur weil ein Satellite fehlt.
  • Firewall-Regeln auf Storage-Hosts nur aus der Konfigurationsverwaltung, mit Alarm auf getrennte DRBD-Verbindungen (Tag 18).
  • Writecache-Volumes vor dem Vergrößern prüfen oder auf Volumes ohne Writecache vergrößern lassen (Tag 12).