Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang B: Abschlussprüfung

Ziel: Du löst 16 praktische Aufgaben quer durch das Buch in 120 Minuten und bewertest dich selbst. · Dauer: 120 min · Voraussetzung: Tag 0–20

Spielregeln

  • Zeit: 120 Minuten, Uhr stellen. Jede Aufgabe hat ein Gewicht in Prozent, zusammen 100 %.
  • Ein Zertifikat gibt es nicht. Die eigene Messlatte: ab 70 % sitzt das Handwerk.
  • Erlaubt: --help, man, das LINSTOR- und das DRBD-Benutzerhandbuch, die Doku von k0s, Piraeus und Velero und deine eigenen Dateien unter ~/k0s-lab/tagNN als Vorlage. Nicht erlaubt: dieses Buch während der Zeit.
  • Arbeitsplatz ist k0s-ctrl, Namespace pruefung, Dateien in ~/k0s-lab/pruefung.
  • demo und monitoring fasst du nicht an. Keine Neuinstallation, kein helm upgrade, kein k0sctl apply, kein Löschen von Ressourcen, die nicht zur Prüfung gehören.
  • Reihenfolge: Aufgabe 5 vor 6 und 12, Aufgabe 12 vor 13 und 16, Aufgabe 10 als letzte der Aufgaben zu pr-daten. Sonst ist die Reihenfolge frei.
  • Die Lösungen stehen am Ende. Erst nach Ablauf der Zeit lesen.

Vorbereitung

Ein Volume mit Schreiber, fest auf k0s-w1, und eine Altlast, die ein Kollege hinterlassen hat:

# auf k0s-ctrl
mkdir -p ~/k0s-lab/pruefung && cd ~/k0s-lab/pruefung
kubectl create namespace pruefung
cat > app.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: pr-daten, namespace: pruefung}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 1Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: pr-schreiber, namespace: pruefung}
spec:
  nodeSelector: {kubernetes.io/hostname: k0s-w1}
  containers:
    - name: shell
      image: busybox:1.37
      command: [sh, -c]
      args:
        - while true; do date +%T >> /daten/log && echo "$(date +%T) ok"
          || echo "$(date +%T) FEHLER"; sleep 1; done
      volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
    - name: daten
      persistentVolumeClaim: {claimName: pr-daten}
EOF
kubectl apply -f app.yaml
kubectl -n pruefung wait --for=condition=Ready pod/pr-schreiber --timeout=180s
linstor resource-definition create pr-alt --resource-group rg-k8s
linstor volume-definition create pr-alt 200M
linstor resource create pr-alt --auto-place 2
sleep 15
ssh k0s-w2 'sudo drbdadm down pr-alt'
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | cut -d'|' -f2,3,6,7

Erwartet (gekürzt):

 ResourceName | Node     | Conns              |    State
...
 pr-alt       | k0s-ctrl | Connecting(k0s-w2) | Diskless
 pr-alt       | k0s-w1   | Connecting(k0s-w2) | UpToDate
 pr-alt       | k0s-w2   |                    |  Unknown

Wo die Kopie von pr-alt in Zone a liegt (k0s-w1 oder k0s-w3), entscheidet LINSTOR.

Uhr starten.

Aufgabe 1: Bestandsaufnahme (5 %)

Schreibe nach ~/k0s-lab/pruefung/01.txt vier Zeilen: die Server-Version von Kubernetes, die Version des LINSTOR-Controllers, das Image des Containers linstor-csi im CSI-Controller und den Node, auf dem der LINSTOR-Controller gerade läuft.

Aufgabe 2: Wo liegt pr-daten? (6 %)

Weise mit LINSTOR- und DRBD-Befehlen nach, dass pr-daten zwei Kopien in verschiedenen Zonen hat, mit Writecache, und einen Tiebreaker auf der Witness. Schreibe nach 02.txt den Primary, den Node der zweiten Kopie und den Node des Tiebreakers.

Aufgabe 3: Der Gerätestapel (6 %)

Zeig auf dem Primary von pr-daten den Gerätestapel vom DRBD-Gerät bis zu den LVs. Schreibe nach 03.txt die Größe des Daten-LVs und des Cache-LVs und die VG, in der das Cache-LV liegt.

Aufgabe 4: Die Altlast (6 %)

linstor resource list --faulty ist nicht leer. Finde die Ursache und repariere sie, ohne die Ressource pr-alt zu löschen oder neu anzulegen. Danach ist --faulty leer.

Aufgabe 5: Der Controller zieht um (7 %)

Der LINSTOR-Controller soll auf k0s-w3 laufen, ohne dass ein Host neu startet. Miss die Zeit ohne API und weise nach, dass Controller und VIP auf k0s-w3 liegen.

Aufgabe 6: Wartung (8 %)

Starte k0s-w2 als geplante Wartung neu. Danach sind alle Nodes Ready und schedulebar, --faulty ist leer. Weise nach, dass der Host wirklich neu gestartet ist, und zähle die FEHLER von pg-client und pr-schreiber während der Wartung.

Aufgabe 7: Ein Split-Brain mit Ansage (8 %)

Lege eine Ressource pr-sb (200 MiB, ext4) mit je einer Kopie auf k0s-w1 und k0s-w3 an, ohne Quorum. Erzeuge ein Split-Brain: Auf k0s-w1 steht danach seite w1, auf k0s-w3 seite w3 in derselben Datei. Löse es so auf, dass k0s-w3 gewinnt, weise den Inhalt nach und lösche pr-sb.

Aufgabe 8: Mehr Platz (8 %)

Vergrößere pr-daten auf 2 GiB. Am Ende zeigt df im Pod mindestens 1.9G, und pr-schreiber hat keinen einzigen FEHLER geloggt.

Aufgabe 9: Wie groß darf es werden? (5 %)

Schreibe nach 09.txt die größte Volume-Größe, die rg-k8s laut LINSTOR noch anlegen kann. Weise mit einem PVC pr-riesig, das gut 1 GiB größer ist (auf ganze GiB aufgerundet), nach, dass Kubernetes es nicht anlegt, und nenne den Grund. Danach ist pr-riesig wieder weg.

Aufgabe 10: Sicherung (7 %)

Sichere den Namespace pruefung mit Velero als pruefung-1. Lösche dann Pod und PVC von pr-schreiber und stelle beides aus der Sicherung wieder her. Weise nach, dass die erste Zeile von /daten/log dieselbe ist wie vorher.

Aufgabe 11: Ein Snapshot (6 %)

Lege von pr-daten einen VolumeSnapshot pr-snap an, erzeuge daraus ein PVC pr-kopie und zeig mit einem Pod pr-leser, dass die Kopie die Datei log enthält. Danach sind Snapshot, PVC und Pod wieder weg.

Aufgabe 12: Eine Netzstörung messen (7 %)

Trenne k0s-w2 für zwei Minuten vom DRBD-Verkehr, ohne dich auszusperren und ohne die Sperre von Hand aufheben zu müssen. Miss mit dem Messgerät pg-client die Schreibpause der Datenbank während der Störung und schreibe sie nach 12.txt.

Aufgabe 13: Wer hat’s gemeldet? (5 %)

Schreibe nach 13.txt die Betreffzeilen der Mails, die das Alarmsystem zur Störung aus Aufgabe 12 verschickt hat – Alarm und Entwarnung.

Aufgabe 14: Ansible prüft (5 %)

Weise mit dem Projekt aus Tag 16 nach, dass die Hosts dem Soll entsprechen, ohne etwas zu ändern, und schreibe nach 14.txt die installierte Version von linstor-satellite auf allen vier Hosts.

Aufgabe 15: Die Revision (5 %)

Nur lesen. Schreibe nach 15.txt: je Worker die Zahl der Cache-LVs und ihre VG, den Wert von DrbdOptions/AutoEvictAllowEviction am Controller und die Parameter placementCount und replicasOnDifferent der StorageClass linstor-replicated.

Aufgabe 16: Der Kernel hat’s gesehen (6 %)

Zeig mit einer Loki-Abfrage die Kernel-Meldungen von k0s-w2, mit denen DRBD in Aufgabe 12 den Verlust der Verbindungen gemeldet hat.

Uhr stoppen.

Lösungen

Alle Befehle auf k0s-ctrl im Ordner ~/k0s-lab/pruefung, sofern nichts anderes dasteht.

Lösung 1

# auf k0s-ctrl
kubectl version | grep Server | awk '{print $3}' > 01.txt
linstor controller version | awk '{print $3}' | tr -d ';' >> 01.txt
kubectl -n piraeus-datastore get deploy linstor-csi-controller -o \
  jsonpath='{.spec.template.spec.containers[?(@.name=="linstor-csi")].image}{"\n"}' \
  >> 01.txt
for h in k0s-w1 k0s-w2 k0s-w3; do
  [ "$(ssh $h systemctl is-active linstor-controller)" = active ] && echo $h
done >> 01.txt
cat 01.txt

Erwartet (der Node kann abweichen):

v1.37.2+k0s
1.35.3
quay.io/piraeusdatastore/piraeus-csi:v1.13.2
k0s-w1

Lösung 2

# auf k0s-ctrl
R=$(kubectl -n pruefung get pvc pr-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
linstor --no-utf8 --no-color node list -s Aux/zone=Zone | cut -d'|' -f2,7
ssh k0s-w1 "sudo drbdadm status $R"
printf '%s\n' 'Primary k0s-w1' 'Kopie k0s-w2' 'Tiebreaker k0s-ctrl' > 02.txt

Erwartet (gekürzt):

| Node     | Layers                  | Usage  | Conns |    State |
===================================================================
| k0s-ctrl | DRBD,STORAGE            | Unused | Ok    | Diskless |
| k0s-w1   | DRBD,WRITECACHE,STORAGE | InUse  | Ok    | UpToDate |
| k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate |
...
 k0s-ctrl |
 k0s-w1   | a
 k0s-w2   | b
 k0s-w3   | a
...
pvc-7369fe95-... role:Primary
  disk:UpToDate open:yes
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w2 role:Secondary
    peer-disk:UpToDate

InUse und role:Primary auf k0s-w1 (dort läuft der Pod), die zweite Kopie auf k0s-w2 in Zone b, der Tiebreaker diskless auf k0s-ctrl ohne Zone (Tag 5).

Lösung 3

# auf k0s-ctrl
R=$(kubectl -n pruefung get pvc pr-daten -o jsonpath='{.spec.volumeName}')
ssh k0s-w1 "lsblk -s -o NAME,SIZE,TYPE \$(sudo drbdadm sh-dev $R)" | cut -c1-88
printf '%s\n' 'data 1.00g' 'cache 52.00m' 'VG cache' > 03.txt

Erwartet:

NAME                                                                SIZE TYPE
drbd1004                                                              1G disk
└─linstor_writecache_pvc-7369fe95-590d-4dc3-9325-feb4fc6fab34_00000   1G dm
  ├─data-pvc--7369fe95--590d--4dc3--9325--feb4fc6fab34_00000          1G lvm
  │ └─sdb1                                                           30G part
  │   └─sdb                                                          32G disk
  └─cache-pvc--7369fe95--590d--4dc3--9325--feb4fc6fab34.cache_00000  52M lvm
    └─sdb2                                                            2G part
      └─sdb                                                          32G disk

lsblk -s liest den Stapel von oben nach unten: DRBD auf dem Writecache-Gerät, darunter das Daten-LV in VG data und das Cache-LV (5 %, auf 52 MiB aufgerundet) in VG cache (Tag 5). sudo lvs auf k0s-w1 zeigt dieselben Größen.

Lösung 4

# auf k0s-ctrl
ssh k0s-w2 'sudo drbdadm status pr-alt'
ssh k0s-w2 'sudo drbdadm adjust pr-alt'
sleep 10
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'

Erwartet:

pr-alt: No such resource
Command 'drbdsetup status pr-alt' terminated with exit code 10
0

Auf k0s-w2 war die Ressource im Kernel abgebaut (drbdadm down), LINSTOR führte sie als Unknown. adjust stellt sie nach der Konfiguration wieder her (Tag 9).

Lösung 5

Der aktive Node gibt ab, der dritte Kandidat wird vorher gesperrt, damit k0s-w3 gewinnt (Tag 6). Im Labor war k0s-w1 aktiv:

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h: $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"; done

Erwartet: k0s-w1: Promoter: Resource linstor_db currently active on this node.

# auf k0s-w2
sudo systemctl mask --runtime drbd-services@linstor_db.target
# auf k0s-ctrl
date +%T
ssh k0s-w1 'sudo drbd-reactorctl evict linstor_db'
until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T
# auf k0s-w2
sudo systemctl unmask --runtime drbd-services@linstor_db.target
# auf k0s-w3
sudo drbd-reactorctl status linstor_db | sed -n 2p
systemctl is-active linstor-controller
ip -br addr show ens19

Erwartet (gekürzt):

06:27:44
...
Node 'k0s-w3' took over
Re-enabling linstor_db
06:28:10
Promoter: Resource linstor_db currently active on this node
active
ens19            UP             10.10.0.13/24 10.10.0.100/24 ...

26 Sekunden ohne API, evict eingeschlossen. Ist k0s-w3 schon aktiv, ist nichts zu tun.

Lösung 6

Der Controller läuft seit Aufgabe 5 nicht auf k0s-w2, evict entfällt:

# auf k0s-ctrl
kubectl -n demo logs -f deploy/pg-client --since=1s > puls-pruef.log &
kubectl -n pruefung logs -f pr-schreiber --since=1s > schreiber-pruef.log &
kubectl drain k0s-w2 --ignore-daemonsets --delete-emptydir-data | tail -1
ssh k0s-w2 'uptime -s; sudo systemctl reboot'
sleep 60
until linstor --no-utf8 --no-color node list | grep k0s-w2 | grep -q Online; do
  sleep 5; done
until [ "$(linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s')" = 0 ]
  do sleep 5; done
kubectl uncordon k0s-w2
ssh k0s-w2 uptime -s
kill %1 %2
grep -c FEHLER puls-pruef.log schreiber-pruef.log
kubectl get nodes

Erwartet (gekürzt):

node/k0s-w2 drained
2026-11-20 05:14:53
node/k0s-w2 uncordoned
2026-11-20 06:29:46
puls-pruef.log:0
schreiber-pruef.log:0
NAME     STATUS   ROLES    AGE     VERSION
k0s-w1   Ready    <none>   6h39m   v1.37.2+k0s
k0s-w2   Ready    <none>   6h39m   v1.37.2+k0s
k0s-w3   Ready    <none>   6h39m   v1.37.2+k0s

Zwei verschiedene uptime -s: Der Host ist wirklich neu gestartet (Tag 10). Keine FEHLER, weil auf k0s-w2 nur Secondaries lagen: pg-0 und pr-schreiber laufen woanders, ihre Primaries schreiben weiter.

Lösung 7

# auf k0s-ctrl
linstor resource-definition create pr-sb --resource-group rg-k8s
linstor volume-definition create pr-sb 200M
linstor resource create k0s-w1 k0s-w3 pr-sb --storage-pool pool_data
linstor resource-definition drbd-options --quorum off pr-sb | grep -i tie
sleep 10
# auf k0s-w1
sudo mkfs.ext4 -q /dev/drbd/by-res/pr-sb/0
sudo mkdir -p /mnt/pr
sudo mount /dev/drbd/by-res/pr-sb/0 /mnt/pr
echo basis | sudo tee /mnt/pr/datei
sudo umount /mnt/pr
sudo drbdadm disconnect pr-sb
# auf k0s-w3
sudo drbdadm disconnect pr-sb
sudo mkdir -p /mnt/pr
sudo mount /dev/drbd/by-res/pr-sb/0 /mnt/pr
echo seite w3 | sudo tee -a /mnt/pr/datei
sudo umount /mnt/pr
sudo drbdadm connect pr-sb

Auf k0s-w1 dasselbe mit seite w1 (mount, tee -a, umount, connect). Dann:

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r pr-sb | cut -d'|' -f2,3,6,7

Erwartet (gekürzt):

    Tie breaker marked for deletion
...
 ResourceName | Node   | Conns              |    State
...
 pr-sb        | k0s-w1 | StandAlone(k0s-w3) | UpToDate
 pr-sb        | k0s-w3 | StandAlone(k0s-w1) | UpToDate

Achtung: --discard-my-data gehört auf k0s-w1, den Verlierer.

# auf k0s-w1
sudo drbdadm disconnect pr-sb
sudo drbdadm secondary pr-sb
sudo drbdadm connect --discard-my-data pr-sb
# auf k0s-w3
sudo drbdadm connect pr-sb
# auf k0s-w1
sudo drbdadm status pr-sb
sudo mount -o ro /dev/drbd/by-res/pr-sb/0 /mnt/pr
cat /mnt/pr/datei
sudo umount /mnt/pr

Erwartet:

pr-sb role:Secondary
  disk:UpToDate open:no
  k0s-w3 role:Secondary
    peer-disk:UpToDate

basis
seite w3
# auf k0s-ctrl
linstor resource-definition delete pr-sb | tail -1

Erwartet (gekürzt): Resource definition 'pr-sb' UUID was: …. Ohne Quorum räumt LINSTOR den Tiebreaker weg; erst dadurch werden beide Seiten getrennt beschreibbar (Tag 11).

Lösung 8

# auf k0s-ctrl
kubectl -n pruefung patch pvc pr-daten \
  -p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'
sleep 45
kubectl -n pruefung exec pr-schreiber -- df -h /daten | tail -1
kubectl -n pruefung get pvc pr-daten -o jsonpath='{.spec.volumeName}{"\n"}'

Erwartet:

persistentvolumeclaim/pr-daten patched
/dev/drbd1004           977.1M     28.0K    909.7M   0% /daten
pvc-7369fe95-...

Die Writecache-Falle (Tag 12). Auf beiden Nodes mit Kopie das Gerät neu laden – setze K auf deinen Namen:

# auf k0s-w1
K=pvc-7369fe95-590d-4dc3-9325-feb4fc6fab34
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.table
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D
sudo dmsetup table $D

Erwartet: zweimal 0 4202496 writecache s 252:4 252:5 4096 0. Wiederhole den Block auf k0s-w2 (dort 252:4 252:9). Dann auf dem Primary:

# auf k0s-w1
sudo drbdadm resize $K
sudo resize2fs $(sudo drbdadm sh-dev $K) | tail -1
# auf k0s-ctrl
kubectl -n pruefung exec pr-schreiber -- df -h /daten | tail -1
kubectl -n pruefung logs pr-schreiber | grep -c FEHLER

Erwartet:

/dev/drbd1004             1.9G     28.0K      1.8G   0% /daten
0

Lösung 9

# auf k0s-ctrl
linstor --no-utf8 --no-color resource-group query-size-info rg-k8s

Erwartet:

+-----------------------------------------------------------------+
| MaxVolumeSize | AvailableSize |  Capacity | Next Spawn Result   |
|=================================================================|
|     15.58 GiB |     22.79 GiB | 30.00 GiB | pool_data on k0s-w2 |
|               |               |           | pool_data on k0s-w3 |
+-----------------------------------------------------------------+

15.58 GiB nach 09.txt – genau der freie Platz von k0s-w2, dem einzigen Node in Zone b. Gut 1 GiB mehr, aufgerundet, sind 17 GiB:

# auf k0s-ctrl
echo '15.58 GiB' > 09.txt
cat > riesig.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: pr-riesig, namespace: pruefung}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 17Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: riesig, namespace: pruefung}
spec:
  containers:
    - {name: shell, image: busybox:1.37, command: [sleep, infinity],
       volumeMounts: [{name: daten, mountPath: /daten}]}
  volumes:
    - {name: daten, persistentVolumeClaim: {claimName: pr-riesig}}
EOF
kubectl apply -f riesig.yaml
sleep 20
kubectl -n pruefung get pvc pr-riesig | cut -c1-40
kubectl -n pruefung describe pvc pr-riesig | grep -m1 -o 'Not enough available nodes'
kubectl delete -f riesig.yaml

Erwartet (gekürzt):

NAME        STATUS    VOLUME   CAPACITY
pr-riesig   Pending
Not enough available nodes
persistentvolumeclaim "pr-riesig" deleted from pruefung namespace
pod "riesig" deleted from pruefung namespace

query-size-info rechnet die Zonenregel mit ein: In Zone a wäre Platz, in Zone b nicht (Tag 12).

Lösung 10

# auf k0s-ctrl
kubectl -n pruefung exec pr-schreiber -- head -1 /daten/log
velero -n velero backup create pruefung-1 --include-namespaces pruefung --wait | tail -1
velero -n velero backup get pruefung-1 | cut -c1-60
kubectl -n pruefung delete pod pr-schreiber
kubectl -n pruefung delete pvc pr-daten
velero -n velero restore create pruefung-1-restore --from-backup pruefung-1 --wait \
  | tail -1
kubectl -n pruefung wait --for=condition=Ready pod/pr-schreiber --timeout=180s
kubectl -n pruefung exec pr-schreiber -c shell -- head -1 /daten/log
kubectl -n pruefung get pvc pr-daten | cut -c1-80

Erwartet (gekürzt):

06:26:17
Backup completed with status: Completed. You may check for more information using ...
NAME         STATUS      ERRORS   WARNINGS   CREATED
pruefung-1   Completed   0        0          2026-11-20 06:4
pod "pr-schreiber" deleted from pruefung namespace
persistentvolumeclaim "pr-daten" deleted from pruefung namespace
Restore completed with status: Completed. You may check for more information using ...
pod/pr-schreiber condition met
06:26:17
NAME       STATUS   VOLUME                                     CAPACITY   ACCESS
pr-daten   Bound    pvc-657c6b25-f9b4-4beb-a0c1-00661caba6e0   2Gi        RWO

Dieselbe erste Zeile in einem neuen Volume. Velero hängt beim Restore den Init-Container restore-wait an den Pod – deshalb -c shell (Tag 13).

Lösung 11

# auf k0s-ctrl
cat > snap.yaml <<'EOF'
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata: {name: pr-snap, namespace: pruefung}
spec:
  volumeSnapshotClassName: linstor-snapshots
  source: {persistentVolumeClaimName: pr-daten}
EOF
kubectl apply -f snap.yaml
kubectl -n pruefung wait volumesnapshot/pr-snap \
  --for=jsonpath='{.status.readyToUse}'=true --timeout=120s
cat > kopie.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: pr-kopie, namespace: pruefung}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 2Gi}}
  dataSource:
    apiGroup: snapshot.storage.k8s.io
    kind: VolumeSnapshot
    name: pr-snap
---
apiVersion: v1
kind: Pod
metadata: {name: pr-leser, namespace: pruefung}
spec:
  containers:
    - name: shell
      image: busybox:1.37
      command: [sleep, infinity]
      volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
    - name: daten
      persistentVolumeClaim: {claimName: pr-kopie}
EOF
kubectl apply -f kopie.yaml
kubectl -n pruefung wait --for=condition=Ready pod/pr-leser --timeout=180s
kubectl -n pruefung exec pr-leser -- sh -c 'ls /daten; head -1 /daten/log'
kubectl delete -f kopie.yaml -f snap.yaml
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-

Erwartet (gekürzt):

volumesnapshot.snapshot.storage.k8s.io/pr-snap condition met
...
pod/pr-leser condition met
log
lost+found
06:26:17
...
0

Die Größe des PVC aus dem Snapshot muss mindestens die des Originals sein – nach Aufgabe 8 also 2Gi (Tag 15).

Lösung 12

Eine transiente systemd-Unit hebt die Sperre nach zwei Minuten selbst auf; nur die DRBD-Ports sind zu, SSH bleibt offen (Tag 11):

# auf k0s-ctrl
date -u +%FT%T > start.txt
ssh k0s-w2 "sudo systemd-run --unit=pruef-netz bash -c '
  iptables -I INPUT -p tcp -m multiport --ports 7000:7999 -j DROP
  iptables -I OUTPUT -p tcp -m multiport --ports 7000:7999 -j DROP
  sleep 120
  iptables -D INPUT -p tcp -m multiport --ports 7000:7999 -j DROP
  iptables -D OUTPUT -p tcp -m multiport --ports 7000:7999 -j DROP'"
sleep 150
ssh k0s-w2 'systemctl is-active pruef-netz; sudo iptables -S | grep -c 7000'
kubectl -n demo logs deploy/pg-client --since-time=$(cat start.txt)Z \
  | grep -B1 -A1 FEHLER

Erwartet:

Running as unit: pruef-netz.service; invocation ID: 6e75a5569ee24fcbbb00a0aac8b0f516
inactive
0
06:36:56 ok
06:37:00 FEHLER
06:37:02 ok

Rund 6 Sekunden Pause (06:36:56 bis 06:37:02), ein FEHLER: pg-0 hat eine Kopie auf k0s-w2, der Primary wartet, bis DRBD den Partner aufgibt (Tag 11). pr-schreiber taugt hier nicht als Messgerät: Er schreibt ohne sync in den Page-Cache und merkt eine kurze Pause nicht.

Lösung 13

# auf k0s-ctrl
curl -s localhost:8025/api/v1/messages | jq -r --arg s "$(cat start.txt)" \
  '.messages[] | select(.Created > $s) | .Subject[0:60]' > 13.txt
cat 13.txt

Erwartet:

[RESOLVED] DrbdVerbindungGestoert k0s-w3 (k0s-w2 Connected l
[RESOLVED] DrbdVerbindungGestoert k0s-w2 (Connected linstor-
[RESOLVED] DrbdVerbindungGestoert k0s-w1 (k0s-w2 Connected l
[RESOLVED] DrbdVerbindungGestoert k0s-ctrl (k0s-w2 Connected
[RESOLVED] DrbdOhneQuorum k0s-w2 (linstor-node k0s-w2 monito
[FIRING:4] DrbdVerbindungGestoert k0s-w3 (k0s-w2 Connected l
[FIRING:5] DrbdVerbindungGestoert k0s-w1 (k0s-w2 Connected l
[FIRING:6] DrbdOhneQuorum k0s-w2 (linstor-node k0s-w2 monito
[FIRING:15] DrbdVerbindungGestoert k0s-w2 (Connected linstor
[FIRING:6] DrbdVerbindungGestoert k0s-ctrl (k0s-w2 Connected

Port-Forward auf Mailpit wie in Tag 18. Die Zahl hinter FIRING zählt getrennte Verbindungen: je Ressource eine pro Partner, auch zu diskless Partnern (Tiebreaker auf k0s-ctrl, diskless angehängte Pods). k0s-w2 trägt eine Kopie jedes Volumes und kommt auf 15: je 3 für linstor_db, Prometheus (diskless auf k0s-w3) und Loki (diskless auf k0s-w1), je 2 für demo, pr-daten und pr-alt. k0s-ctrl hat zu k0s-w2 eine Verbindung je Ressource, also 6 – so viele Ressourcen melden auf k0s-w2 auch DrbdOhneQuorum. Live nachgezählt mit count by (instance) (drbd_connection_state{drbd_connection_state="Connected"} == 0) in Prometheus: 15, 6, 5 und 4. In einer Wiederholung meldete die Mail für k0s-w1 nur [FIRING:4], obwohl Prometheus 5 zählte: Die Mail zeigt nur die Alarme, die beim Versand schon feuerten. Wo deine Pods diskless hängen, verschiebt die Zahlen. Die Entwarnungen kommen erst zwei Minuten nach dem Ende der Störung (group_interval); wer sofort nachsieht, findet nur die Alarme.

Lösung 14

# auf k0s-ctrl
cd ~/k0s-lab/tag16
ansible-playbook site.yml --check --diff | tail -5
ansible linstor_satellites -m command -a 'dpkg-query -W linstor-satellite' -o \
  > ~/k0s-lab/pruefung/14.txt
cut -c1-80 ~/k0s-lab/pruefung/14.txt
cd ~/k0s-lab/pruefung

Erwartet (gekürzt):

k0s-ctrl                   : ok=13   changed=0    unreachable=0    failed=0    skipped=2
k0s-w1                     : ok=21   changed=0    unreachable=0    failed=0    skipped=1
k0s-w2                     : ok=21   changed=0    unreachable=0    failed=0    skipped=1
k0s-w3                     : ok=21   changed=0    unreachable=0    failed=0    skipped=1
k0s-ctrl | CHANGED | rc=0 | (stdout) linstor-satellite  1.35.3-1
k0s-w1 | CHANGED | rc=0 | (stdout) linstor-satellite    1.35.3-1
k0s-w2 | CHANGED | rc=0 | (stdout) linstor-satellite    1.35.3-1
k0s-w3 | CHANGED | rc=0 | (stdout) linstor-satellite    1.35.3-1

changed=0 im Prüflauf: nichts weicht ab. CHANGED beim Ad-hoc-Befehl meldet Ansible für jedes command – geändert hat er nichts (Tag 16).

Lösung 15

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo lvs --noheadings \
  -o vg_name,lv_name' | grep cache_ | awk '{print $1}' | sort | uniq -c | xargs)"
done > 15.txt
linstor --no-utf8 --no-color controller list-properties \
  | grep '^| DrbdOptions/AutoEvict' | tr -d '|' | xargs >> 15.txt
kubectl get sc linstor-replicated -o jsonpath='{.parameters}' \
  | jq -r 'to_entries[] | "\(.key | sub(".*/"; "")) = \(.value)"' \
  | grep -E 'placementCount|replicasOnDifferent' >> 15.txt
cat 15.txt

Erwartet (Zahlen hängen von den Volumes ab):

k0s-w1 3 cache
k0s-w2 5 cache
k0s-w3 2 cache
DrbdOptions/AutoEvictAllowEviction false
placementCount = 2
replicasOnDifferent = Aux/zone

Alle Cache-LVs in cache, keines in data (Tag 8, 19). k0s-w2 hat die meisten: Zone b trägt jedes Volume.

Lösung 16

# auf k0s-ctrl
curl -sG localhost:3100/loki/api/v1/query_range \
  --data-urlencode "start=$(cat start.txt)Z" \
  --data-urlencode 'query={transport="kernel", host="k0s-w2"}
  |~ "PingAck|NetworkFailure"' \
  | jq -r '.data.result[].values[][1]' | cut -c1-80 | head -6

Erwartet (gekürzt):

drbd pvc-571bd51f-... k0s-w3: conn( NetworkFailure -> Un
drbd pvc-571bd51f-... k0s-w1: conn( NetworkFailure -> Un
drbd pvc-571bd51f-... k0s-w1: conn( Connected -> Network
drbd pvc-571bd51f-... k0s-w1: PingAck did not arrive in
drbd pvc-571bd51f-... k0s-w3: conn( Connected -> Network
drbd pvc-571bd51f-... k0s-w3: PingAck did not arrive in

Erst PingAck did not arrive in time, dann Connected -> NetworkFailure – je Ressource und Partner. Port-Forward auf Loki wie in Tag 18.

Auswertung

Zähle die Gewichte der Aufgaben, die vollständig und nachweisbar gelöst sind – Teilpunkte gibt es nicht. Wer eine Vorgabe umgeht, bekommt für die Aufgabe null: pr-alt löschen und neu anlegen, --discard-my-data auf der Gewinnerseite, Host neu starten statt Controller umzuziehen, PVC neu anlegen statt vergrößern, Sperre in Aufgabe 12 von Hand aufheben.

Ergebnis Einschätzung
85–100 % sicher im Betrieb – vom ersten Satellite bis zum Restore
70–84 % das Handwerk sitzt; Schwachstellen gezielt wiederholen
unter 70 % die Tage zu den verfehlten Aufgaben wiederholen und neu starten
Aufgaben Bereich Tage
1–3 Bestandsaufnahme, Platzierung, Gerätestapel (17 %) 5, 9, 19
4, 7 DRBD reparieren, Split-Brain (14 %) 9, 11
5, 6 Controller-HA, Wartung (15 %) 6, 10
8, 9 Vergrößern, Platz pro Zone (13 %) 12
10, 11 Backup und Snapshot (13 %) 13, 15
12, 13, 16 Störung messen, Alarm, Logs (18 %) 11, 17, 18
14, 15 Ansible und Revision (10 %) 16, 19

Nicht abgefragt: Installation (Tag 1–4, 7), Plattentausch (Tag 14) und Updates (Tag 15) – sie verändern das ganze Labor und passen nicht in eine Prüfung neben laufenden Diensten. Geh diese Tage zum Abschluss noch einmal durch.

Aufräumen

# auf k0s-ctrl
kubectl delete namespace pruefung --timeout=180s
linstor resource-definition delete pr-alt | tail -1
velero -n velero backup delete pruefung-1 --confirm

Erwartet (gekürzt):

namespace "pruefung" deleted
    Resource definition 'pr-alt' UUID was: …
Request to delete backup "pruefung-1" submitted successfully.

Mit dem Namespace verschwinden PVC, PV und die LINSTOR-Ressource von pr-daten. Velero löscht mit dem Backup auch den Restore und die Daten im Bucket. Die Dateien in ~/k0s-lab/pruefung bleiben.

Kontrollpunkt

# auf k0s-ctrl
kubectl get pv | grep -c pruefung
linstor --no-utf8 --no-color resource list | grep -c 'pr-'
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-

Erwartet: viermal 0.

# auf k0s-ctrl
velero -n velero backup get | cut -c1-30
kubectl -n demo logs deploy/pg-client --tail=1

Erwartet: die Backups aus Tag 13 bis 15 (demo-1, demo-move, vor-tag14, vor-update), kein pruefung-1, dann eine Zeile mit ok. Damit ist das Trainingslager geschafft.