Anhang B: Abschlussprüfung
Ziel: Du löst 16 praktische Aufgaben quer durch das Buch in 120 Minuten und bewertest dich selbst. · Dauer: 120 min · Voraussetzung: Tag 0–20
Spielregeln
- Zeit: 120 Minuten, Uhr stellen. Jede Aufgabe hat ein Gewicht in Prozent, zusammen 100 %.
- Ein Zertifikat gibt es nicht. Die eigene Messlatte: ab 70 % sitzt das Handwerk.
- Erlaubt:
--help,man, das LINSTOR- und das DRBD-Benutzerhandbuch, die Doku von k0s, Piraeus und Velero und deine eigenen Dateien unter~/k0s-lab/tagNNals Vorlage. Nicht erlaubt: dieses Buch während der Zeit. - Arbeitsplatz ist
k0s-ctrl, Namespacepruefung, Dateien in~/k0s-lab/pruefung. demoundmonitoringfasst du nicht an. Keine Neuinstallation, keinhelm upgrade, keink0sctl apply, kein Löschen von Ressourcen, die nicht zur Prüfung gehören.- Reihenfolge: Aufgabe 5 vor 6 und 12, Aufgabe 12 vor 13 und 16,
Aufgabe 10 als letzte der Aufgaben zu
pr-daten. Sonst ist die Reihenfolge frei. - Die Lösungen stehen am Ende. Erst nach Ablauf der Zeit lesen.
Vorbereitung
Ein Volume mit Schreiber, fest auf k0s-w1, und eine
Altlast, die ein Kollege hinterlassen hat:
# auf k0s-ctrl
mkdir -p ~/k0s-lab/pruefung && cd ~/k0s-lab/pruefung
kubectl create namespace pruefung
cat > app.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: pr-daten, namespace: pruefung}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 1Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: pr-schreiber, namespace: pruefung}
spec:
nodeSelector: {kubernetes.io/hostname: k0s-w1}
containers:
- name: shell
image: busybox:1.37
command: [sh, -c]
args:
- while true; do date +%T >> /daten/log && echo "$(date +%T) ok"
|| echo "$(date +%T) FEHLER"; sleep 1; done
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: pr-daten}
EOF
kubectl apply -f app.yaml
kubectl -n pruefung wait --for=condition=Ready pod/pr-schreiber --timeout=180s
linstor resource-definition create pr-alt --resource-group rg-k8s
linstor volume-definition create pr-alt 200M
linstor resource create pr-alt --auto-place 2
sleep 15
ssh k0s-w2 'sudo drbdadm down pr-alt'# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | cut -d'|' -f2,3,6,7Erwartet (gekürzt):
ResourceName | Node | Conns | State
...
pr-alt | k0s-ctrl | Connecting(k0s-w2) | Diskless
pr-alt | k0s-w1 | Connecting(k0s-w2) | UpToDate
pr-alt | k0s-w2 | | Unknown
Wo die Kopie von pr-alt in Zone a liegt
(k0s-w1 oder k0s-w3), entscheidet LINSTOR.
Uhr starten.
Aufgabe 1: Bestandsaufnahme (5 %)
Schreibe nach ~/k0s-lab/pruefung/01.txt vier Zeilen: die
Server-Version von Kubernetes, die Version des LINSTOR-Controllers, das
Image des Containers linstor-csi im CSI-Controller und den
Node, auf dem der LINSTOR-Controller gerade läuft.
Aufgabe 2: Wo liegt pr-daten? (6 %)
Weise mit LINSTOR- und DRBD-Befehlen nach, dass pr-daten
zwei Kopien in verschiedenen Zonen hat, mit Writecache, und einen
Tiebreaker auf der Witness. Schreibe nach 02.txt den
Primary, den Node der zweiten Kopie und den Node des Tiebreakers.
Aufgabe 3: Der Gerätestapel (6 %)
Zeig auf dem Primary von pr-daten den Gerätestapel vom
DRBD-Gerät bis zu den LVs. Schreibe nach 03.txt die Größe
des Daten-LVs und des Cache-LVs und die VG, in der das Cache-LV
liegt.
Aufgabe 4: Die Altlast (6 %)
linstor resource list --faulty ist nicht leer. Finde die
Ursache und repariere sie, ohne die Ressource pr-alt zu
löschen oder neu anzulegen. Danach ist --faulty leer.
Aufgabe 5: Der Controller zieht um (7 %)
Der LINSTOR-Controller soll auf k0s-w3 laufen, ohne dass
ein Host neu startet. Miss die Zeit ohne API und weise nach, dass
Controller und VIP auf k0s-w3 liegen.
Aufgabe 6: Wartung (8 %)
Starte k0s-w2 als geplante Wartung neu. Danach sind alle
Nodes Ready und schedulebar, --faulty ist
leer. Weise nach, dass der Host wirklich neu gestartet ist, und zähle
die FEHLER von pg-client und
pr-schreiber während der Wartung.
Aufgabe 7: Ein Split-Brain mit Ansage (8 %)
Lege eine Ressource pr-sb (200 MiB, ext4) mit je einer
Kopie auf k0s-w1 und k0s-w3 an, ohne Quorum.
Erzeuge ein Split-Brain: Auf k0s-w1 steht danach
seite w1, auf k0s-w3 seite w3 in
derselben Datei. Löse es so auf, dass k0s-w3 gewinnt, weise
den Inhalt nach und lösche pr-sb.
Aufgabe 8: Mehr Platz (8 %)
Vergrößere pr-daten auf 2 GiB. Am Ende zeigt
df im Pod mindestens 1.9G, und pr-schreiber
hat keinen einzigen FEHLER geloggt.
Aufgabe 9: Wie groß darf es werden? (5 %)
Schreibe nach 09.txt die größte Volume-Größe, die
rg-k8s laut LINSTOR noch anlegen kann. Weise mit einem PVC
pr-riesig, das gut 1 GiB größer ist (auf ganze GiB
aufgerundet), nach, dass Kubernetes es nicht anlegt, und nenne den
Grund. Danach ist pr-riesig wieder weg.
Aufgabe 10: Sicherung (7 %)
Sichere den Namespace pruefung mit Velero als
pruefung-1. Lösche dann Pod und PVC von
pr-schreiber und stelle beides aus der Sicherung wieder
her. Weise nach, dass die erste Zeile von /daten/log
dieselbe ist wie vorher.
Aufgabe 11: Ein Snapshot (6 %)
Lege von pr-daten einen VolumeSnapshot
pr-snap an, erzeuge daraus ein PVC pr-kopie
und zeig mit einem Pod pr-leser, dass die Kopie die Datei
log enthält. Danach sind Snapshot, PVC und Pod wieder
weg.
Aufgabe 12: Eine Netzstörung messen (7 %)
Trenne k0s-w2 für zwei Minuten vom DRBD-Verkehr, ohne
dich auszusperren und ohne die Sperre von Hand aufheben zu müssen. Miss
mit dem Messgerät pg-client die Schreibpause der Datenbank
während der Störung und schreibe sie nach 12.txt.
Aufgabe 13: Wer hat’s gemeldet? (5 %)
Schreibe nach 13.txt die Betreffzeilen der Mails, die
das Alarmsystem zur Störung aus Aufgabe 12 verschickt hat – Alarm und
Entwarnung.
Aufgabe 14: Ansible prüft (5 %)
Weise mit dem Projekt aus Tag 16 nach, dass die Hosts dem Soll
entsprechen, ohne etwas zu ändern, und schreibe nach 14.txt
die installierte Version von linstor-satellite auf allen
vier Hosts.
Aufgabe 15: Die Revision (5 %)
Nur lesen. Schreibe nach 15.txt: je Worker die Zahl der
Cache-LVs und ihre VG, den Wert von
DrbdOptions/AutoEvictAllowEviction am Controller und die
Parameter placementCount und
replicasOnDifferent der StorageClass
linstor-replicated.
Aufgabe 16: Der Kernel hat’s gesehen (6 %)
Zeig mit einer Loki-Abfrage die Kernel-Meldungen von
k0s-w2, mit denen DRBD in Aufgabe 12 den Verlust der
Verbindungen gemeldet hat.
Uhr stoppen.
Lösungen
Alle Befehle auf k0s-ctrl im Ordner
~/k0s-lab/pruefung, sofern nichts anderes dasteht.
Lösung 1
# auf k0s-ctrl
kubectl version | grep Server | awk '{print $3}' > 01.txt
linstor controller version | awk '{print $3}' | tr -d ';' >> 01.txt
kubectl -n piraeus-datastore get deploy linstor-csi-controller -o \
jsonpath='{.spec.template.spec.containers[?(@.name=="linstor-csi")].image}{"\n"}' \
>> 01.txt
for h in k0s-w1 k0s-w2 k0s-w3; do
[ "$(ssh $h systemctl is-active linstor-controller)" = active ] && echo $h
done >> 01.txt
cat 01.txtErwartet (der Node kann abweichen):
v1.37.2+k0s
1.35.3
quay.io/piraeusdatastore/piraeus-csi:v1.13.2
k0s-w1
Lösung 2
# auf k0s-ctrl
R=$(kubectl -n pruefung get pvc pr-daten -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
linstor --no-utf8 --no-color node list -s Aux/zone=Zone | cut -d'|' -f2,7
ssh k0s-w1 "sudo drbdadm status $R"
printf '%s\n' 'Primary k0s-w1' 'Kopie k0s-w2' 'Tiebreaker k0s-ctrl' > 02.txtErwartet (gekürzt):
| Node | Layers | Usage | Conns | State |
===================================================================
| k0s-ctrl | DRBD,STORAGE | Unused | Ok | Diskless |
| k0s-w1 | DRBD,WRITECACHE,STORAGE | InUse | Ok | UpToDate |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate |
...
k0s-ctrl |
k0s-w1 | a
k0s-w2 | b
k0s-w3 | a
...
pvc-7369fe95-... role:Primary
disk:UpToDate open:yes
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w2 role:Secondary
peer-disk:UpToDate
InUse und role:Primary auf
k0s-w1 (dort läuft der Pod), die zweite Kopie auf
k0s-w2 in Zone b, der Tiebreaker diskless auf
k0s-ctrl ohne Zone (Tag 5).
Lösung 3
# auf k0s-ctrl
R=$(kubectl -n pruefung get pvc pr-daten -o jsonpath='{.spec.volumeName}')
ssh k0s-w1 "lsblk -s -o NAME,SIZE,TYPE \$(sudo drbdadm sh-dev $R)" | cut -c1-88
printf '%s\n' 'data 1.00g' 'cache 52.00m' 'VG cache' > 03.txtErwartet:
NAME SIZE TYPE
drbd1004 1G disk
└─linstor_writecache_pvc-7369fe95-590d-4dc3-9325-feb4fc6fab34_00000 1G dm
├─data-pvc--7369fe95--590d--4dc3--9325--feb4fc6fab34_00000 1G lvm
│ └─sdb1 30G part
│ └─sdb 32G disk
└─cache-pvc--7369fe95--590d--4dc3--9325--feb4fc6fab34.cache_00000 52M lvm
└─sdb2 2G part
└─sdb 32G disk
lsblk -s liest den Stapel von oben nach unten: DRBD auf
dem Writecache-Gerät, darunter das Daten-LV in VG data und
das Cache-LV (5 %, auf 52 MiB aufgerundet) in VG cache (Tag
5). sudo lvs auf k0s-w1 zeigt dieselben
Größen.
Lösung 4
# auf k0s-ctrl
ssh k0s-w2 'sudo drbdadm status pr-alt'
ssh k0s-w2 'sudo drbdadm adjust pr-alt'
sleep 10
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'Erwartet:
pr-alt: No such resource
Command 'drbdsetup status pr-alt' terminated with exit code 10
0
Auf k0s-w2 war die Ressource im Kernel abgebaut
(drbdadm down), LINSTOR führte sie als
Unknown. adjust stellt sie nach der
Konfiguration wieder her (Tag 9).
Lösung 5
Der aktive Node gibt ab, der dritte Kandidat wird vorher gesperrt,
damit k0s-w3 gewinnt (Tag 6). Im Labor war
k0s-w1 aktiv:
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h: $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"; doneErwartet:
k0s-w1: Promoter: Resource linstor_db currently active on this node.
# auf k0s-w2
sudo systemctl mask --runtime drbd-services@linstor_db.target# auf k0s-ctrl
date +%T
ssh k0s-w1 'sudo drbd-reactorctl evict linstor_db'
until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T# auf k0s-w2
sudo systemctl unmask --runtime drbd-services@linstor_db.target# auf k0s-w3
sudo drbd-reactorctl status linstor_db | sed -n 2p
systemctl is-active linstor-controller
ip -br addr show ens19Erwartet (gekürzt):
06:27:44
...
Node 'k0s-w3' took over
Re-enabling linstor_db
06:28:10
Promoter: Resource linstor_db currently active on this node
active
ens19 UP 10.10.0.13/24 10.10.0.100/24 ...
26 Sekunden ohne API, evict eingeschlossen. Ist
k0s-w3 schon aktiv, ist nichts zu tun.
Lösung 6
Der Controller läuft seit Aufgabe 5 nicht auf k0s-w2,
evict entfällt:
# auf k0s-ctrl
kubectl -n demo logs -f deploy/pg-client --since=1s > puls-pruef.log &
kubectl -n pruefung logs -f pr-schreiber --since=1s > schreiber-pruef.log &
kubectl drain k0s-w2 --ignore-daemonsets --delete-emptydir-data | tail -1
ssh k0s-w2 'uptime -s; sudo systemctl reboot'
sleep 60
until linstor --no-utf8 --no-color node list | grep k0s-w2 | grep -q Online; do
sleep 5; done
until [ "$(linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s')" = 0 ]
do sleep 5; done
kubectl uncordon k0s-w2
ssh k0s-w2 uptime -s
kill %1 %2
grep -c FEHLER puls-pruef.log schreiber-pruef.log
kubectl get nodesErwartet (gekürzt):
node/k0s-w2 drained
2026-11-20 05:14:53
node/k0s-w2 uncordoned
2026-11-20 06:29:46
puls-pruef.log:0
schreiber-pruef.log:0
NAME STATUS ROLES AGE VERSION
k0s-w1 Ready <none> 6h39m v1.37.2+k0s
k0s-w2 Ready <none> 6h39m v1.37.2+k0s
k0s-w3 Ready <none> 6h39m v1.37.2+k0s
Zwei verschiedene uptime -s: Der Host ist wirklich neu
gestartet (Tag 10). Keine FEHLER, weil auf
k0s-w2 nur Secondaries lagen: pg-0 und
pr-schreiber laufen woanders, ihre Primaries schreiben
weiter.
Lösung 7
# auf k0s-ctrl
linstor resource-definition create pr-sb --resource-group rg-k8s
linstor volume-definition create pr-sb 200M
linstor resource create k0s-w1 k0s-w3 pr-sb --storage-pool pool_data
linstor resource-definition drbd-options --quorum off pr-sb | grep -i tie
sleep 10# auf k0s-w1
sudo mkfs.ext4 -q /dev/drbd/by-res/pr-sb/0
sudo mkdir -p /mnt/pr
sudo mount /dev/drbd/by-res/pr-sb/0 /mnt/pr
echo basis | sudo tee /mnt/pr/datei
sudo umount /mnt/pr
sudo drbdadm disconnect pr-sb# auf k0s-w3
sudo drbdadm disconnect pr-sb
sudo mkdir -p /mnt/pr
sudo mount /dev/drbd/by-res/pr-sb/0 /mnt/pr
echo seite w3 | sudo tee -a /mnt/pr/datei
sudo umount /mnt/pr
sudo drbdadm connect pr-sbAuf k0s-w1 dasselbe mit seite w1 (mount,
tee -a, umount, connect). Dann:
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r pr-sb | cut -d'|' -f2,3,6,7Erwartet (gekürzt):
Tie breaker marked for deletion
...
ResourceName | Node | Conns | State
...
pr-sb | k0s-w1 | StandAlone(k0s-w3) | UpToDate
pr-sb | k0s-w3 | StandAlone(k0s-w1) | UpToDate
Achtung:
--discard-my-datagehört aufk0s-w1, den Verlierer.
# auf k0s-w1
sudo drbdadm disconnect pr-sb
sudo drbdadm secondary pr-sb
sudo drbdadm connect --discard-my-data pr-sb# auf k0s-w3
sudo drbdadm connect pr-sb# auf k0s-w1
sudo drbdadm status pr-sb
sudo mount -o ro /dev/drbd/by-res/pr-sb/0 /mnt/pr
cat /mnt/pr/datei
sudo umount /mnt/prErwartet:
pr-sb role:Secondary
disk:UpToDate open:no
k0s-w3 role:Secondary
peer-disk:UpToDate
basis
seite w3
# auf k0s-ctrl
linstor resource-definition delete pr-sb | tail -1Erwartet (gekürzt):
Resource definition 'pr-sb' UUID was: …. Ohne Quorum räumt
LINSTOR den Tiebreaker weg; erst dadurch werden beide Seiten getrennt
beschreibbar (Tag 11).
Lösung 8
# auf k0s-ctrl
kubectl -n pruefung patch pvc pr-daten \
-p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'
sleep 45
kubectl -n pruefung exec pr-schreiber -- df -h /daten | tail -1
kubectl -n pruefung get pvc pr-daten -o jsonpath='{.spec.volumeName}{"\n"}'Erwartet:
persistentvolumeclaim/pr-daten patched
/dev/drbd1004 977.1M 28.0K 909.7M 0% /daten
pvc-7369fe95-...
Die Writecache-Falle (Tag 12). Auf beiden Nodes mit Kopie das Gerät
neu laden – setze K auf deinen Namen:
# auf k0s-w1
K=pvc-7369fe95-590d-4dc3-9325-feb4fc6fab34
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.table
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D
sudo dmsetup table $DErwartet: zweimal
0 4202496 writecache s 252:4 252:5 4096 0. Wiederhole den
Block auf k0s-w2 (dort 252:4 252:9). Dann auf
dem Primary:
# auf k0s-w1
sudo drbdadm resize $K
sudo resize2fs $(sudo drbdadm sh-dev $K) | tail -1# auf k0s-ctrl
kubectl -n pruefung exec pr-schreiber -- df -h /daten | tail -1
kubectl -n pruefung logs pr-schreiber | grep -c FEHLERErwartet:
/dev/drbd1004 1.9G 28.0K 1.8G 0% /daten
0
Lösung 9
# auf k0s-ctrl
linstor --no-utf8 --no-color resource-group query-size-info rg-k8sErwartet:
+-----------------------------------------------------------------+
| MaxVolumeSize | AvailableSize | Capacity | Next Spawn Result |
|=================================================================|
| 15.58 GiB | 22.79 GiB | 30.00 GiB | pool_data on k0s-w2 |
| | | | pool_data on k0s-w3 |
+-----------------------------------------------------------------+
15.58 GiB nach 09.txt – genau der freie
Platz von k0s-w2, dem einzigen Node in Zone b. Gut 1 GiB
mehr, aufgerundet, sind 17 GiB:
# auf k0s-ctrl
echo '15.58 GiB' > 09.txt
cat > riesig.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: pr-riesig, namespace: pruefung}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 17Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: riesig, namespace: pruefung}
spec:
containers:
- {name: shell, image: busybox:1.37, command: [sleep, infinity],
volumeMounts: [{name: daten, mountPath: /daten}]}
volumes:
- {name: daten, persistentVolumeClaim: {claimName: pr-riesig}}
EOF
kubectl apply -f riesig.yaml
sleep 20
kubectl -n pruefung get pvc pr-riesig | cut -c1-40
kubectl -n pruefung describe pvc pr-riesig | grep -m1 -o 'Not enough available nodes'
kubectl delete -f riesig.yamlErwartet (gekürzt):
NAME STATUS VOLUME CAPACITY
pr-riesig Pending
Not enough available nodes
persistentvolumeclaim "pr-riesig" deleted from pruefung namespace
pod "riesig" deleted from pruefung namespace
query-size-info rechnet die Zonenregel mit ein: In Zone
a wäre Platz, in Zone b nicht (Tag 12).
Lösung 10
# auf k0s-ctrl
kubectl -n pruefung exec pr-schreiber -- head -1 /daten/log
velero -n velero backup create pruefung-1 --include-namespaces pruefung --wait | tail -1
velero -n velero backup get pruefung-1 | cut -c1-60
kubectl -n pruefung delete pod pr-schreiber
kubectl -n pruefung delete pvc pr-daten
velero -n velero restore create pruefung-1-restore --from-backup pruefung-1 --wait \
| tail -1
kubectl -n pruefung wait --for=condition=Ready pod/pr-schreiber --timeout=180s
kubectl -n pruefung exec pr-schreiber -c shell -- head -1 /daten/log
kubectl -n pruefung get pvc pr-daten | cut -c1-80Erwartet (gekürzt):
06:26:17
Backup completed with status: Completed. You may check for more information using ...
NAME STATUS ERRORS WARNINGS CREATED
pruefung-1 Completed 0 0 2026-11-20 06:4
pod "pr-schreiber" deleted from pruefung namespace
persistentvolumeclaim "pr-daten" deleted from pruefung namespace
Restore completed with status: Completed. You may check for more information using ...
pod/pr-schreiber condition met
06:26:17
NAME STATUS VOLUME CAPACITY ACCESS
pr-daten Bound pvc-657c6b25-f9b4-4beb-a0c1-00661caba6e0 2Gi RWO
Dieselbe erste Zeile in einem neuen Volume. Velero hängt beim Restore
den Init-Container restore-wait an den Pod – deshalb
-c shell (Tag 13).
Lösung 11
# auf k0s-ctrl
cat > snap.yaml <<'EOF'
apiVersion: snapshot.storage.k8s.io/v1
kind: VolumeSnapshot
metadata: {name: pr-snap, namespace: pruefung}
spec:
volumeSnapshotClassName: linstor-snapshots
source: {persistentVolumeClaimName: pr-daten}
EOF
kubectl apply -f snap.yaml
kubectl -n pruefung wait volumesnapshot/pr-snap \
--for=jsonpath='{.status.readyToUse}'=true --timeout=120s
cat > kopie.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: pr-kopie, namespace: pruefung}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 2Gi}}
dataSource:
apiGroup: snapshot.storage.k8s.io
kind: VolumeSnapshot
name: pr-snap
---
apiVersion: v1
kind: Pod
metadata: {name: pr-leser, namespace: pruefung}
spec:
containers:
- name: shell
image: busybox:1.37
command: [sleep, infinity]
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: pr-kopie}
EOF
kubectl apply -f kopie.yaml
kubectl -n pruefung wait --for=condition=Ready pod/pr-leser --timeout=180s
kubectl -n pruefung exec pr-leser -- sh -c 'ls /daten; head -1 /daten/log'
kubectl delete -f kopie.yaml -f snap.yaml
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-Erwartet (gekürzt):
volumesnapshot.snapshot.storage.k8s.io/pr-snap condition met
...
pod/pr-leser condition met
log
lost+found
06:26:17
...
0
Die Größe des PVC aus dem Snapshot muss mindestens die des Originals sein – nach Aufgabe 8 also 2Gi (Tag 15).
Lösung 12
Eine transiente systemd-Unit hebt die Sperre nach zwei Minuten selbst auf; nur die DRBD-Ports sind zu, SSH bleibt offen (Tag 11):
# auf k0s-ctrl
date -u +%FT%T > start.txt
ssh k0s-w2 "sudo systemd-run --unit=pruef-netz bash -c '
iptables -I INPUT -p tcp -m multiport --ports 7000:7999 -j DROP
iptables -I OUTPUT -p tcp -m multiport --ports 7000:7999 -j DROP
sleep 120
iptables -D INPUT -p tcp -m multiport --ports 7000:7999 -j DROP
iptables -D OUTPUT -p tcp -m multiport --ports 7000:7999 -j DROP'"
sleep 150
ssh k0s-w2 'systemctl is-active pruef-netz; sudo iptables -S | grep -c 7000'
kubectl -n demo logs deploy/pg-client --since-time=$(cat start.txt)Z \
| grep -B1 -A1 FEHLERErwartet:
Running as unit: pruef-netz.service; invocation ID: 6e75a5569ee24fcbbb00a0aac8b0f516
inactive
0
06:36:56 ok
06:37:00 FEHLER
06:37:02 ok
Rund 6 Sekunden Pause (06:36:56 bis
06:37:02), ein FEHLER: pg-0 hat
eine Kopie auf k0s-w2, der Primary wartet, bis DRBD den
Partner aufgibt (Tag 11). pr-schreiber taugt hier nicht als
Messgerät: Er schreibt ohne sync in den Page-Cache und
merkt eine kurze Pause nicht.
Lösung 13
# auf k0s-ctrl
curl -s localhost:8025/api/v1/messages | jq -r --arg s "$(cat start.txt)" \
'.messages[] | select(.Created > $s) | .Subject[0:60]' > 13.txt
cat 13.txtErwartet:
[RESOLVED] DrbdVerbindungGestoert k0s-w3 (k0s-w2 Connected l
[RESOLVED] DrbdVerbindungGestoert k0s-w2 (Connected linstor-
[RESOLVED] DrbdVerbindungGestoert k0s-w1 (k0s-w2 Connected l
[RESOLVED] DrbdVerbindungGestoert k0s-ctrl (k0s-w2 Connected
[RESOLVED] DrbdOhneQuorum k0s-w2 (linstor-node k0s-w2 monito
[FIRING:4] DrbdVerbindungGestoert k0s-w3 (k0s-w2 Connected l
[FIRING:5] DrbdVerbindungGestoert k0s-w1 (k0s-w2 Connected l
[FIRING:6] DrbdOhneQuorum k0s-w2 (linstor-node k0s-w2 monito
[FIRING:15] DrbdVerbindungGestoert k0s-w2 (Connected linstor
[FIRING:6] DrbdVerbindungGestoert k0s-ctrl (k0s-w2 Connected
Port-Forward auf Mailpit wie in Tag 18. Die Zahl hinter
FIRING zählt getrennte Verbindungen: je Ressource eine pro
Partner, auch zu diskless Partnern (Tiebreaker auf
k0s-ctrl, diskless angehängte Pods). k0s-w2
trägt eine Kopie jedes Volumes und kommt auf 15: je 3 für
linstor_db, Prometheus (diskless auf k0s-w3)
und Loki (diskless auf k0s-w1), je 2 für demo,
pr-daten und pr-alt. k0s-ctrl hat
zu k0s-w2 eine Verbindung je Ressource, also 6 – so viele
Ressourcen melden auf k0s-w2 auch
DrbdOhneQuorum. Live nachgezählt mit
count by (instance) (drbd_connection_state{drbd_connection_state="Connected"} == 0)
in Prometheus: 15, 6, 5 und 4. In einer Wiederholung meldete die Mail
für k0s-w1 nur [FIRING:4], obwohl Prometheus 5
zählte: Die Mail zeigt nur die Alarme, die beim Versand schon feuerten.
Wo deine Pods diskless hängen, verschiebt die Zahlen. Die Entwarnungen
kommen erst zwei Minuten nach dem Ende der Störung
(group_interval); wer sofort nachsieht, findet nur die
Alarme.
Lösung 14
# auf k0s-ctrl
cd ~/k0s-lab/tag16
ansible-playbook site.yml --check --diff | tail -5
ansible linstor_satellites -m command -a 'dpkg-query -W linstor-satellite' -o \
> ~/k0s-lab/pruefung/14.txt
cut -c1-80 ~/k0s-lab/pruefung/14.txt
cd ~/k0s-lab/pruefungErwartet (gekürzt):
k0s-ctrl : ok=13 changed=0 unreachable=0 failed=0 skipped=2
k0s-w1 : ok=21 changed=0 unreachable=0 failed=0 skipped=1
k0s-w2 : ok=21 changed=0 unreachable=0 failed=0 skipped=1
k0s-w3 : ok=21 changed=0 unreachable=0 failed=0 skipped=1
k0s-ctrl | CHANGED | rc=0 | (stdout) linstor-satellite 1.35.3-1
k0s-w1 | CHANGED | rc=0 | (stdout) linstor-satellite 1.35.3-1
k0s-w2 | CHANGED | rc=0 | (stdout) linstor-satellite 1.35.3-1
k0s-w3 | CHANGED | rc=0 | (stdout) linstor-satellite 1.35.3-1
changed=0 im Prüflauf: nichts weicht ab.
CHANGED beim Ad-hoc-Befehl meldet Ansible für jedes
command – geändert hat er nichts (Tag 16).
Lösung 15
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo lvs --noheadings \
-o vg_name,lv_name' | grep cache_ | awk '{print $1}' | sort | uniq -c | xargs)"
done > 15.txt
linstor --no-utf8 --no-color controller list-properties \
| grep '^| DrbdOptions/AutoEvict' | tr -d '|' | xargs >> 15.txt
kubectl get sc linstor-replicated -o jsonpath='{.parameters}' \
| jq -r 'to_entries[] | "\(.key | sub(".*/"; "")) = \(.value)"' \
| grep -E 'placementCount|replicasOnDifferent' >> 15.txt
cat 15.txtErwartet (Zahlen hängen von den Volumes ab):
k0s-w1 3 cache
k0s-w2 5 cache
k0s-w3 2 cache
DrbdOptions/AutoEvictAllowEviction false
placementCount = 2
replicasOnDifferent = Aux/zone
Alle Cache-LVs in cache, keines in data
(Tag 8, 19). k0s-w2 hat die meisten: Zone b trägt jedes
Volume.
Lösung 16
# auf k0s-ctrl
curl -sG localhost:3100/loki/api/v1/query_range \
--data-urlencode "start=$(cat start.txt)Z" \
--data-urlencode 'query={transport="kernel", host="k0s-w2"}
|~ "PingAck|NetworkFailure"' \
| jq -r '.data.result[].values[][1]' | cut -c1-80 | head -6Erwartet (gekürzt):
drbd pvc-571bd51f-... k0s-w3: conn( NetworkFailure -> Un
drbd pvc-571bd51f-... k0s-w1: conn( NetworkFailure -> Un
drbd pvc-571bd51f-... k0s-w1: conn( Connected -> Network
drbd pvc-571bd51f-... k0s-w1: PingAck did not arrive in
drbd pvc-571bd51f-... k0s-w3: conn( Connected -> Network
drbd pvc-571bd51f-... k0s-w3: PingAck did not arrive in
Erst PingAck did not arrive in time, dann
Connected -> NetworkFailure – je Ressource und Partner.
Port-Forward auf Loki wie in Tag 18.
Auswertung
Zähle die Gewichte der Aufgaben, die vollständig und nachweisbar
gelöst sind – Teilpunkte gibt es nicht. Wer eine Vorgabe umgeht, bekommt
für die Aufgabe null: pr-alt löschen und neu anlegen,
--discard-my-data auf der Gewinnerseite, Host neu starten
statt Controller umzuziehen, PVC neu anlegen statt vergrößern, Sperre in
Aufgabe 12 von Hand aufheben.
| Ergebnis | Einschätzung |
|---|---|
| 85–100 % | sicher im Betrieb – vom ersten Satellite bis zum Restore |
| 70–84 % | das Handwerk sitzt; Schwachstellen gezielt wiederholen |
| unter 70 % | die Tage zu den verfehlten Aufgaben wiederholen und neu starten |
| Aufgaben | Bereich | Tage |
|---|---|---|
| 1–3 | Bestandsaufnahme, Platzierung, Gerätestapel (17 %) | 5, 9, 19 |
| 4, 7 | DRBD reparieren, Split-Brain (14 %) | 9, 11 |
| 5, 6 | Controller-HA, Wartung (15 %) | 6, 10 |
| 8, 9 | Vergrößern, Platz pro Zone (13 %) | 12 |
| 10, 11 | Backup und Snapshot (13 %) | 13, 15 |
| 12, 13, 16 | Störung messen, Alarm, Logs (18 %) | 11, 17, 18 |
| 14, 15 | Ansible und Revision (10 %) | 16, 19 |
Nicht abgefragt: Installation (Tag 1–4, 7), Plattentausch (Tag 14) und Updates (Tag 15) – sie verändern das ganze Labor und passen nicht in eine Prüfung neben laufenden Diensten. Geh diese Tage zum Abschluss noch einmal durch.
Aufräumen
# auf k0s-ctrl
kubectl delete namespace pruefung --timeout=180s
linstor resource-definition delete pr-alt | tail -1
velero -n velero backup delete pruefung-1 --confirmErwartet (gekürzt):
namespace "pruefung" deleted
Resource definition 'pr-alt' UUID was: …
Request to delete backup "pruefung-1" submitted successfully.
Mit dem Namespace verschwinden PVC, PV und die LINSTOR-Ressource von
pr-daten. Velero löscht mit dem Backup auch den Restore und
die Daten im Bucket. Die Dateien in ~/k0s-lab/pruefung
bleiben.
Kontrollpunkt
# auf k0s-ctrl
kubectl get pv | grep -c pruefung
linstor --no-utf8 --no-color resource list | grep -c 'pr-'
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-Erwartet: viermal 0.
# auf k0s-ctrl
velero -n velero backup get | cut -c1-30
kubectl -n demo logs deploy/pg-client --tail=1Erwartet: die Backups aus Tag 13 bis 15
(demo-1, demo-move, vor-tag14,
vor-update), kein pruefung-1, dann eine Zeile
mit ok. Damit ist das Trainingslager geschafft.