Tag 9: Zustände lesen
Ziel: Du liest aus
linstorunddrbdadm, ob ein Volume gesund ist, wer schreibt, wer mitstimmt und über welches Netz die Daten fließen – und du weißt, was gilt, wenn beide Sichten sich widersprechen. · Dauer: ca. 45 min · Voraussetzung: Tag 8
Briefing
- LINSTOR kennt den Soll-Zustand: welche Ressource mit welchen Schichten wo liegen soll. Den Ist-Zustand fragt es bei den Satellites ab.
- DRBD kennt nur den Ist-Zustand auf diesem einen Node: Rolle, Platte, Verbindungen.
- Widersprechen sich die beiden, gilt DRBD. LINSTOR kann veraltet sein, etwa wenn ein Satellite nicht antwortet.
- LINSTOR erzeugt aus seiner Datenbank auf jedem Node
.res-Dateien. DRBD selbst kennt nur diese Dateien und das Kernelmodul.
linstor (Controller-DB) --> Satellite --> /var/lib/linstor.d/<res>.res
| drbdadm adjust
v
drbd.ko (Kernel) <-- drbdsetup
Drill 1: Die Sicht von LINSTOR
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag09 && cd ~/k0s-lab/tag09
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
echo $R
linstor --no-utf8 --no-color volume list -r $R | cut -d'|' -f3,6-11Erwartet (gekürzt):
pvc-395c4ec0-...
...
Node | MinorNr | DeviceName | Allocated | InUse | State | Repl
k0s-ctrl | 1001 | /dev/drbd1001 | | Unused | Diskless | Established(2)
k0s-w2 | 1001 | /dev/drbd1001 | 2.11 GiB | Unused | UpToDate | Established(2)
k0s-w3 | 1001 | /dev/drbd1001 | 2.11 GiB | InUse | UpToDate | Established(2)
| Spalte | Was sie sagt |
|---|---|
MinorNr, DeviceName |
Gerät, auf allen Nodes gleich |
Allocated |
2 GiB plus DRBD-Metadaten |
InUse |
wer das Gerät offen hat – genau einer |
Repl |
Replikation zu den anderen, Established(2) = zu beiden
verbunden |
cut -d'|' wählt Spalten der breiten Tabelle aus. Den
Ressourcennamen findest du über das PV; umgekehrt hilft
linstor resource-definition list-properties $R | grep pvc/.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Sicht von DRBD
Der wichtigste Befehl im Betrieb, auf dem Node mit dem Pod:
# auf k0s-ctrl
ssh k0s-w3 "sudo drbdadm status $R"Erwartet:
pvc-395c4ec0-... role:Primary
disk:UpToDate open:yes
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w2 role:Secondary
peer-disk:UpToDate
role:Primary – dieser Node schreibt.
open:yes – das Dateisystem des Pods hat das Gerät offen.
Darunter je Gegenstelle Rolle und Zustand ihrer Platte. So sieht ein
gesundes Volume aus, jede Abweichung ist ein Hinweis:
| Du siehst | Das heißt |
|---|---|
connection:Connecting |
Gegenseite nicht erreichbar – Netz, Node oder DRBD dort aus |
connection:StandAlone |
DRBD versucht es nicht mehr, meist nach Split-Brain (Tag 11) |
disk:Outdated |
Kopie weiß, dass sie veraltet ist, kann so nicht Primary werden |
disk:Inconsistent |
wird gerade synchronisiert, unvollständig |
replication:SyncSource, SyncTarget |
Resync läuft, done: zeigt Fortschritt |
quorum:no |
keine Mehrheit; Schreiben hängt oder scheitert |
suspended:quorum |
Primary hat I/O angehalten, weil das Quorum fehlt |
Fortschritt speichern? Kostenlos registrieren
Drill 3: Alle Zähler
# auf k0s-ctrl
ssh k0s-w3 "sudo drbdsetup status --verbose --statistics $R"Erwartet (gekürzt):
pvc-395c4ec0-... node-id:3 role:Primary suspended:no
force-io-failures:no
write-ordering:flush
volume:0 minor:1001 disk:UpToDate
backing_dev:/dev/mapper/linstor_writecache_pvc-395c4ec0-...
quorum:yes open:yes
size:2100760 read:928 written:2103376 al-writes:6 bm-writes:369 upper-pending:0
lower-pending:0 al-suspended:no blocked:no
k0s-ctrl node-id:2 connection:Connected role:Secondary tls:no congested:no
...
k0s-w2 node-id:1 connection:Connected role:Secondary tls:no congested:no
ap-in-flight:0 rs-in-flight:0
volume:0 replication:Established peer-disk:UpToDate resync-suspended:no
received:1873192 sent:3940 out-of-sync:0 pending:0 unacked:0
Drei Werte brauchst du im Betrieb immer wieder:
backing_dev– worauf DRBD schreibt, hier das Writecache-Gerät aus Tag 5.quorum:yes– dieser Node sieht eine Mehrheit.out-of-sync– KiB, die der Gegenseite fehlen. Im Normalbetrieb 0. Alles darüber muss per Resync nachgeholt werden, etwa nach einer Trennung.
written:2103376 (KiB) auf k0s-w3 sind die
gut 2 GiB des Resyncs aus der Challenge von Tag 8 – k0s-w3
war SyncTarget.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die wirksame Konfiguration
# auf k0s-ctrl
ssh k0s-w3 "sudo drbdsetup show $R" \
| sed 's/shared-secret.*/shared-secret <geschwärzt>;/'Erwartet (gekürzt):
resource "pvc-395c4ec0-..." {
options {
on-no-data-accessible suspend-io;
quorum majority;
on-suspended-primary-outdated force-secondary;
}
...
connection {
_peer_node_id 2;
path {
_this_host ipv4 172.16.0.72:7001;
_remote_host ipv4 172.16.0.176:7001;
}
_cstate Connected;
net {
cram-hmac-alg "sha1";
shared-secret <geschwärzt>;
rr-conflict retry-connect;
...
on-no-quorum fehlt, weil suspend-io der
Standardwert ist: drbdsetup show zeigt nur Abweichungen.
Die Witness-Verbindung läuft über 172.16.0.x, der Pfad aus
Tag 4 wirkt.
Achtung: Ohne
sedgibtdrbdsetup showdas gemeinsame Geheimnis jeder Verbindung im Klartext aus. Kopiere die Ausgabe nie ungefiltert in ein Ticket oder einen Chat.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Die Sicht der Witness und der Ereignisstrom
Die Witness ist an jedem Volume aus rg-k8s beteiligt.
Von dort siehst du, wer Primary ist, ohne zu wissen, wo der Pod
läuft:
# auf k0s-ctrl
sudo drbdadm status $RErwartet:
pvc-395c4ec0-... role:Secondary
disk:Diskless client:yes open:no
k0s-w2 role:Secondary
peer-disk:UpToDate
k0s-w3 role:Primary
peer-disk:UpToDate
Für den Ereignisstrom legst du eine Test-Ressource ohne Zonenregel an:
# auf k0s-ctrl
linstor resource-definition create tag09-pur
linstor volume-definition create tag09-pur 100M
linstor resource create k0s-w1 k0s-w2 tag09-pur --storage-pool pool_dataErwartet (gekürzt):
INFO:
Tie breaker resource 'tag09-pur' created on k0s-w3
...
Ohne Zonenregel landet der Tiebreaker auf einem Worker (Tag 5). Öffne ein zweites Terminal und starte dort den Ereignisstrom:
# auf k0s-w1
sudo drbdsetup events2 --timestamps tag09-pur | cut -c1-120events2 gibt erst den aktuellen Zustand aus
(exists) und dann jede Änderung (change) –
genau das, was drbd-reactor und die Prometheus-Exporter lesen.
Fortschritt speichern? Kostenlos registrieren
Drill 6: DRBD ohne LINSTOR
Was LINSTOR auf den Node schreibt, ist eine ganz normale DRBD-Konfiguration:
# auf k0s-w2
cat /etc/drbd.d/linstor-resources.res
ls /var/lib/linstor.d/
sudo grep -E 'generated|on "|disk |address' /var/lib/linstor.d/tag09-pur.resErwartet (gekürzt):
include "/var/lib/linstor.d/*.res";
linstor_db.res
loop_device_mapping
pvc-395c4ec0-....res
tag09-pur.res
# This file was generated by LINSTOR (1.34.2), do not edit manually.
# File generated at:
on "k0s-w2"
disk /dev/data/tag09-pur_00000;
on "k0s-w1"
disk /dev/drbd/this/is/not/used;
on "k0s-w3"
disk none;
host "k0s-w2" address ipv4 10.10.0.12:7002;
host "k0s-w1" address ipv4 10.10.0.11:7001;
...
Nur der eigene Node bekommt seinen echten Plattenpfad, die
Gegenstellen einen Platzhalter; disk none ist der
Tiebreaker.
drbdadm liest /etc/drbd.conf, das
drbd.d/*.res einbindet, und darüber die Dateien von
LINSTOR. Jetzt nimmst du DRBD auf k0s-w2 von Hand herunter
– am LINSTOR vorbei:
# auf k0s-w2
sudo drbdadm down tag09-pur
sudo drbdadm status tag09-pur
sudo drbdadm -d adjust tag09-pur | sed 's/--shared-secret=[^ ]*/--shared-secret=XXX/'Erwartet (gekürzt):
tag09-pur: No such resource
...
drbdsetup new-resource tag09-pur 1 --on-no-data-accessible=suspend-io --on-no-quorum=...
drbdsetup new-minor tag09-pur 1002 0 --block-size=512 --discard-granularity=4096
drbdsetup new-peer tag09-pur 0 --_name=k0s-w1 --verify-alg=crct10dif --shared-secret=...
...
drbdsetup new-path tag09-pur 0 ipv4:10.10.0.12:7002 ipv4:10.10.0.11:7001
...
drbdsetup attach 1002 /dev/data/tag09-pur_00000 /dev/data/tag09-pur_00000 internal ...
drbdsetup connect tag09-pur 0
drbdsetup connect tag09-pur 2
-d ist ein Trockenlauf: drbdadm zeigt die
drbdsetup-Befehle, mit denen es den Kernel an die
.res-Datei angleichen würde. Ist alles im Lot, gibt
-d adjust nichts aus. Was sieht LINSTOR?
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r tag09-purErwartet:
+--------------------------------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|======================================================================================|
| tag09-pur | k0s-w1 | DRBD,STORAGE | Unused | Connecting(k0s-w2) | UpToDate | Yes |
| tag09-pur | k0s-w2 | DRBD,STORAGE | | | Unknown | Yes |
| tag09-pur | k0s-w3 | DRBD,STORAGE | Unused | Connecting(k0s-w2) | Diskless | Yes |
+--------------------------------------------------------------------------------------+
LINSTOR repariert das nicht von selbst – es wartet auf die nächste Änderung. Zurück in den Soll-Zustand:
# auf k0s-w2
sudo drbdadm adjust tag09-pur
sudo drbdadm status tag09-purErwartet:
tag09-pur role:Secondary
disk:UpToDate open:no
k0s-w1 role:Secondary
peer-disk:UpToDate
k0s-w3 role:Secondary
peer-disk:Diskless peer-client:yes
Im zweiten Terminal (Strg+C beendet ihn) zeigt events2
die ganze Geschichte:
Erwartet (gekürzt):
2026-11-20T01:30:24.320804+00:00 exists connection name:tag09-pur peer-node-id:1 conn...
...
2026-11-20T01:30:33.279463+00:00 change connection name:tag09-pur peer-node-id:1 conn...
2026-11-20T01:30:33.298909+00:00 change connection name:tag09-pur peer-node-id:1 conn...
2026-11-20T01:30:40.523464+00:00 change connection name:tag09-pur peer-node-id:1 conn...
2026-11-20T01:30:40.523464+00:00 change peer-device name:tag09-pur peer-node-id:1 con...
Mit breiterem cut liest du am Zeilenende
connection:TearDown → Connecting →
Connected und
replication:Established peer-disk:UpToDate. Im Labor lagen
sieben Sekunden zwischen down und adjust.
Danach war k0s-w2 sofort wieder voll dabei, ohne Resync –
es wurde nichts geschrieben.
Tipp: Hand anlegen an
.res-Dateien lohnt nicht: Der Satellite überschreibt sie bei der nächsten Änderung. Dauerhafte Optionen setzt du in LINSTOR (linstor resource-definition drbd-options …),drbdadmunddrbdsetupnimmst du zum Lesen und für Notfälle.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Fehlerberichte und Journal
Kann LINSTOR etwas nicht ausführen, legt es einen Fehlerbericht (Error-Report) an:
# auf k0s-ctrl
linstor --no-utf8 --no-color error-reports list | cut -c1-88
linstor error-reports show 6AFF9280-C33BF-000000 \
| grep -E 'Module|Node:|Error message|context' -A1Erwartet (gekürzt):
| Id | Datetime | Node | Exception
|=======================================================================================
| 6AFF9280-C33BF-000000 | 2026-11-20 00:36:50 | S|k0s-ctrl | ImplementationError: Linsto
| 6AFF91B4-F41D0-000000 | 2026-11-20 00:51:47 | S|k0s-w1 | SocketException: Connection
| 6AFF9229-16E7A-000000 | 2026-11-20 00:51:47 | S|k0s-w2 | SocketException: Connection
...
Module: Satellite
...
Error message: Linstor/Drbd/InitialUptoDateOn was unexpectedly null
...
Error context:
An error occurred while processing resource 'Node: 'k0s-ctrl', Rsc: 'tag04-ha...
Der erste ist der diskless-zuerst-Versuch aus Tag 4, die beiden
anderen stammen vom Netztrennungs-Drill an Tag 6. S| heißt:
Der Satellite hat den Bericht geschrieben. Die zweite Anlaufstelle ist
sein Journal auf dem betroffenen Node:
# auf k0s-w2
sudo journalctl -u linstor-satellite --since "-40min" | grep ERROR | head -1 \
| cut -c80- | fold -w 88Erwartet:
] ERROR LINSTOR/Satellite/fb0c33 SYSTEM - Property BitmapBlockSizeNewResource inheritanc
e order VolumeDefinition > ResourceDefinition > ResourceGroup for Node k0s-w2 Resource l
instor_db Volume 0: Bitmap block size value is unparsable
Diese Meldung schrieb der Satellite 1.34.2 im Labor bei jedem Start
für jede Ressource, ohne Folgen – alle Ressourcen blieben
UpToDate. Nicht jedes ERROR ist ein Problem;
entscheidend ist, ob drbdadm status und
linstor r l --faulty etwas zeigen. Die Ids der
Fehlerberichte enthalten die Startzeit des Prozesses – nach einem
Neustart beginnt eine neue Reihe.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig zur Ressource
$RNamespace und Name des PVC. Zeitziel: 20 s - Zeig von der Witness aus, welcher Node
$Rschreibt. Zeitziel: 10 s - Zeig den Zähler
out-of-syncfür$Rauf dem Primary. Zeitziel: 30 s - Zeig die Fehlerberichte der letzten Stunde. Zeitziel: 15 s
Lösung
# auf k0s-ctrl
linstor --no-utf8 --no-color resource-definition list-properties $R | grep pvc/
sudo drbdadm status $R | grep Primary
ssh k0s-w3 "sudo drbdsetup status --verbose --statistics $R" \
| grep -o 'out-of-sync:[0-9]*'
linstor --no-utf8 --no-color error-reports list --since 1h | cut -c1-88Erwartet (gekürzt):
| Aux/csi.storage.k8s.io/pvc/name | data-pg-0 |
| Aux/csi.storage.k8s.io/pvc/namespace | demo |
k0s-w3 role:Primary
out-of-sync:0
out-of-sync:0
...
Zweimal out-of-sync: je eine Zeile pro Gegenstelle
(Witness und k0s-w2).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faultyErwartet: eine leere Tabelle.
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h sudo drbdadm status | grep -cE 'Connecting|StandAlone|Outdated')"
doneErwartet: viermal 0.
# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=3Erwartet: nur ok-Zeilen.
Challenge
Stell auf k0s-w2 den Satellite ab. Was zeigt LINSTOR,
was zeigt DRBD, und schreibt die Datenbank weiter? Begründe, wem du
glaubst, und hol den Satellite zurück.
Hinweis: Der Satellite verwaltet DRBD, er transportiert keine Daten.
Lösung
# auf k0s-w2
sudo systemctl stop linstor-satellite# auf k0s-ctrl
linstor --no-utf8 --no-color node list
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
ssh k0s-w3 "sudo drbdadm status $R"
kubectl -n demo logs deploy/pg-client --tail=2Erwartet (gekürzt):
| k0s-w2 | | SATELLITE | 10.10.0.12:3366 (PLAIN) | OFFLINE |
...
| k0s-w2 | DRBD,WRITECACHE,STORAGE | | | Unknown |
| k0s-w3 | DRBD,WRITECACHE,STORAGE | InUse | Ok | UpToDate |
pvc-395c4ec0-... role:Primary
disk:UpToDate open:yes
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w2 role:Secondary
peer-disk:UpToDate
01:31:36 ok
01:31:37 ok
LINSTOR weiß nichts mehr über k0s-w2
(Unknown), DRBD sieht die Kopie dort aktuell und verbunden,
die Datenbank schreibt weiter. DRBD hat recht: Das Kernelmodul
repliziert ohne Satellite. Zurück:
# auf k0s-w2
sudo systemctl start linstor-satellite# auf k0s-ctrl
linstor --no-utf8 --no-color node list | grep k0s-w2Erwartet (nach etwa 20 Sekunden):
| k0s-w2 | LINUX | SATELLITE | 10.10.0.12:3366 (PLAIN) | Online |
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf k0s-ctrl
linstor resource-definition delete tag09-purDie Fehlerberichte bleiben als Übungsmaterial. Wegräumen ginge mit
linstor error-reports delete <Id>.
Interview-Notiz
- Woran erkennst du ein gesundes DRBD-Volume? Ein Primary mit
disk:UpToDate, alle Gegenstellen verbunden undUpToDatebzw.Diskless,out-of-sync:0. - LINSTOR sagt
Unknown, DRBD sagtUpToDate– was gilt? DRBD. LINSTOR hat nur den Kontakt zum Satellite verloren, die Replikation läuft im Kernel weiter. - Was ist bei
drbdsetup showzu beachten? Es zeigt die wirksame Konfiguration, aber auch das Geheimnis jeder Verbindung im Klartext.
Enterprise-Notiz
- Statusabfragen gehören ins Monitoring (drbd-reactor-Exporter, Tag
17), nicht in manuelle Rundgänge;
events2ist die Quelle dafür. - Runbooks mit festen Lesebefehlen:
linstor r l --faulty,drbdadm status,linstor error-reports list --since 1d– in genau dieser Reihenfolge. - Fehlerberichte zentral einsammeln (sie enthalten Stacktraces und Ressourcennamen) und vor dem Weitergeben an den Support auf Geheimnisse prüfen.
- Änderungen an DRBD-Optionen nur über LINSTOR und versioniert
(Runbook oder bewusst ausgelöstes Playbook, Tag 16), nie in
.res-Dateien.