Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 9: Zustände lesen

Ziel: Du liest aus linstor und drbdadm, ob ein Volume gesund ist, wer schreibt, wer mitstimmt und über welches Netz die Daten fließen – und du weißt, was gilt, wenn beide Sichten sich widersprechen. · Dauer: ca. 45 min · Voraussetzung: Tag 8

Briefing

  • LINSTOR kennt den Soll-Zustand: welche Ressource mit welchen Schichten wo liegen soll. Den Ist-Zustand fragt es bei den Satellites ab.
  • DRBD kennt nur den Ist-Zustand auf diesem einen Node: Rolle, Platte, Verbindungen.
  • Widersprechen sich die beiden, gilt DRBD. LINSTOR kann veraltet sein, etwa wenn ein Satellite nicht antwortet.
  • LINSTOR erzeugt aus seiner Datenbank auf jedem Node .res-Dateien. DRBD selbst kennt nur diese Dateien und das Kernelmodul.
 linstor (Controller-DB)  -->  Satellite  -->  /var/lib/linstor.d/<res>.res
                                                     |  drbdadm adjust
                                                     v
                                               drbd.ko (Kernel)  <-- drbdsetup

Drill 1: Die Sicht von LINSTOR

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag09 && cd ~/k0s-lab/tag09
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
echo $R
linstor --no-utf8 --no-color volume list -r $R | cut -d'|' -f3,6-11

Erwartet (gekürzt):

pvc-395c4ec0-...
...
 Node     | MinorNr | DeviceName    | Allocated | InUse  |    State | Repl

 k0s-ctrl |    1001 | /dev/drbd1001 |           | Unused | Diskless | Established(2)
 k0s-w2   |    1001 | /dev/drbd1001 |  2.11 GiB | Unused | UpToDate | Established(2)
 k0s-w3   |    1001 | /dev/drbd1001 |  2.11 GiB | InUse  | UpToDate | Established(2)
Spalte Was sie sagt
MinorNr, DeviceName Gerät, auf allen Nodes gleich
Allocated 2 GiB plus DRBD-Metadaten
InUse wer das Gerät offen hat – genau einer
Repl Replikation zu den anderen, Established(2) = zu beiden verbunden

cut -d'|' wählt Spalten der breiten Tabelle aus. Den Ressourcennamen findest du über das PV; umgekehrt hilft linstor resource-definition list-properties $R | grep pvc/.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Sicht von DRBD

Der wichtigste Befehl im Betrieb, auf dem Node mit dem Pod:

# auf k0s-ctrl
ssh k0s-w3 "sudo drbdadm status $R"

Erwartet:

pvc-395c4ec0-... role:Primary
  disk:UpToDate open:yes
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w2 role:Secondary
    peer-disk:UpToDate

role:Primary – dieser Node schreibt. open:yes – das Dateisystem des Pods hat das Gerät offen. Darunter je Gegenstelle Rolle und Zustand ihrer Platte. So sieht ein gesundes Volume aus, jede Abweichung ist ein Hinweis:

Du siehst Das heißt
connection:Connecting Gegenseite nicht erreichbar – Netz, Node oder DRBD dort aus
connection:StandAlone DRBD versucht es nicht mehr, meist nach Split-Brain (Tag 11)
disk:Outdated Kopie weiß, dass sie veraltet ist, kann so nicht Primary werden
disk:Inconsistent wird gerade synchronisiert, unvollständig
replication:SyncSource, SyncTarget Resync läuft, done: zeigt Fortschritt
quorum:no keine Mehrheit; Schreiben hängt oder scheitert
suspended:quorum Primary hat I/O angehalten, weil das Quorum fehlt

Fortschritt speichern? Kostenlos registrieren

Drill 3: Alle Zähler

# auf k0s-ctrl
ssh k0s-w3 "sudo drbdsetup status --verbose --statistics $R"

Erwartet (gekürzt):

pvc-395c4ec0-... node-id:3 role:Primary suspended:no
    force-io-failures:no
    write-ordering:flush
  volume:0 minor:1001 disk:UpToDate
      backing_dev:/dev/mapper/linstor_writecache_pvc-395c4ec0-...
      quorum:yes open:yes
      size:2100760 read:928 written:2103376 al-writes:6 bm-writes:369 upper-pending:0
      lower-pending:0 al-suspended:no blocked:no
  k0s-ctrl node-id:2 connection:Connected role:Secondary tls:no congested:no
...
  k0s-w2 node-id:1 connection:Connected role:Secondary tls:no congested:no
      ap-in-flight:0 rs-in-flight:0
    volume:0 replication:Established peer-disk:UpToDate resync-suspended:no
        received:1873192 sent:3940 out-of-sync:0 pending:0 unacked:0

Drei Werte brauchst du im Betrieb immer wieder:

  • backing_dev – worauf DRBD schreibt, hier das Writecache-Gerät aus Tag 5.
  • quorum:yes – dieser Node sieht eine Mehrheit.
  • out-of-sync – KiB, die der Gegenseite fehlen. Im Normalbetrieb 0. Alles darüber muss per Resync nachgeholt werden, etwa nach einer Trennung.

written:2103376 (KiB) auf k0s-w3 sind die gut 2 GiB des Resyncs aus der Challenge von Tag 8 – k0s-w3 war SyncTarget.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die wirksame Konfiguration

# auf k0s-ctrl
ssh k0s-w3 "sudo drbdsetup show $R" \
  | sed 's/shared-secret.*/shared-secret <geschwärzt>;/'

Erwartet (gekürzt):

resource "pvc-395c4ec0-..." {
    options {
        on-no-data-accessible   suspend-io;
        quorum              majority;
        on-suspended-primary-outdated   force-secondary;
    }
...
    connection {
        _peer_node_id 2;
        path {
            _this_host ipv4 172.16.0.72:7001;
            _remote_host ipv4 172.16.0.176:7001;
        }
        _cstate Connected;
        net {
            cram-hmac-alg       "sha1";
            shared-secret <geschwärzt>;
            rr-conflict         retry-connect;
...

on-no-quorum fehlt, weil suspend-io der Standardwert ist: drbdsetup show zeigt nur Abweichungen. Die Witness-Verbindung läuft über 172.16.0.x, der Pfad aus Tag 4 wirkt.

Achtung: Ohne sed gibt drbdsetup show das gemeinsame Geheimnis jeder Verbindung im Klartext aus. Kopiere die Ausgabe nie ungefiltert in ein Ticket oder einen Chat.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Die Sicht der Witness und der Ereignisstrom

Die Witness ist an jedem Volume aus rg-k8s beteiligt. Von dort siehst du, wer Primary ist, ohne zu wissen, wo der Pod läuft:

# auf k0s-ctrl
sudo drbdadm status $R

Erwartet:

pvc-395c4ec0-... role:Secondary
  disk:Diskless client:yes open:no
  k0s-w2 role:Secondary
    peer-disk:UpToDate
  k0s-w3 role:Primary
    peer-disk:UpToDate

Für den Ereignisstrom legst du eine Test-Ressource ohne Zonenregel an:

# auf k0s-ctrl
linstor resource-definition create tag09-pur
linstor volume-definition create tag09-pur 100M
linstor resource create k0s-w1 k0s-w2 tag09-pur --storage-pool pool_data

Erwartet (gekürzt):

INFO:
    Tie breaker resource 'tag09-pur' created on k0s-w3
...

Ohne Zonenregel landet der Tiebreaker auf einem Worker (Tag 5). Öffne ein zweites Terminal und starte dort den Ereignisstrom:

# auf k0s-w1
sudo drbdsetup events2 --timestamps tag09-pur | cut -c1-120

events2 gibt erst den aktuellen Zustand aus (exists) und dann jede Änderung (change) – genau das, was drbd-reactor und die Prometheus-Exporter lesen.

Fortschritt speichern? Kostenlos registrieren

Drill 6: DRBD ohne LINSTOR

Was LINSTOR auf den Node schreibt, ist eine ganz normale DRBD-Konfiguration:

# auf k0s-w2
cat /etc/drbd.d/linstor-resources.res
ls /var/lib/linstor.d/
sudo grep -E 'generated|on "|disk  |address' /var/lib/linstor.d/tag09-pur.res

Erwartet (gekürzt):

include "/var/lib/linstor.d/*.res";
linstor_db.res
loop_device_mapping
pvc-395c4ec0-....res
tag09-pur.res
# This file was generated by LINSTOR (1.34.2), do not edit manually.
# File generated at:
    on "k0s-w2"
            disk        /dev/data/tag09-pur_00000;
    on "k0s-w1"
            disk        /dev/drbd/this/is/not/used;
    on "k0s-w3"
            disk        none;
        host "k0s-w2" address ipv4 10.10.0.12:7002;
        host "k0s-w1" address ipv4 10.10.0.11:7001;
...

Nur der eigene Node bekommt seinen echten Plattenpfad, die Gegenstellen einen Platzhalter; disk none ist der Tiebreaker.

drbdadm liest /etc/drbd.conf, das drbd.d/*.res einbindet, und darüber die Dateien von LINSTOR. Jetzt nimmst du DRBD auf k0s-w2 von Hand herunter – am LINSTOR vorbei:

# auf k0s-w2
sudo drbdadm down tag09-pur
sudo drbdadm status tag09-pur
sudo drbdadm -d adjust tag09-pur | sed 's/--shared-secret=[^ ]*/--shared-secret=XXX/'

Erwartet (gekürzt):

tag09-pur: No such resource
...
drbdsetup new-resource tag09-pur 1 --on-no-data-accessible=suspend-io --on-no-quorum=...
drbdsetup new-minor tag09-pur 1002 0 --block-size=512 --discard-granularity=4096
drbdsetup new-peer tag09-pur 0 --_name=k0s-w1 --verify-alg=crct10dif --shared-secret=...
...
drbdsetup new-path tag09-pur 0 ipv4:10.10.0.12:7002 ipv4:10.10.0.11:7001
...
drbdsetup attach 1002 /dev/data/tag09-pur_00000 /dev/data/tag09-pur_00000 internal ...
drbdsetup connect tag09-pur 0
drbdsetup connect tag09-pur 2

-d ist ein Trockenlauf: drbdadm zeigt die drbdsetup-Befehle, mit denen es den Kernel an die .res-Datei angleichen würde. Ist alles im Lot, gibt -d adjust nichts aus. Was sieht LINSTOR?

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r tag09-pur

Erwartet:

+--------------------------------------------------------------------------------------+
| ResourceName | Node   | Layers       | Usage  | Conns              |    State | Vote |
|======================================================================================|
| tag09-pur    | k0s-w1 | DRBD,STORAGE | Unused | Connecting(k0s-w2) | UpToDate | Yes  |
| tag09-pur    | k0s-w2 | DRBD,STORAGE |        |                    |  Unknown | Yes  |
| tag09-pur    | k0s-w3 | DRBD,STORAGE | Unused | Connecting(k0s-w2) | Diskless | Yes  |
+--------------------------------------------------------------------------------------+

LINSTOR repariert das nicht von selbst – es wartet auf die nächste Änderung. Zurück in den Soll-Zustand:

# auf k0s-w2
sudo drbdadm adjust tag09-pur
sudo drbdadm status tag09-pur

Erwartet:

tag09-pur role:Secondary
  disk:UpToDate open:no
  k0s-w1 role:Secondary
    peer-disk:UpToDate
  k0s-w3 role:Secondary
    peer-disk:Diskless peer-client:yes

Im zweiten Terminal (Strg+C beendet ihn) zeigt events2 die ganze Geschichte:

Erwartet (gekürzt):

2026-11-20T01:30:24.320804+00:00 exists connection name:tag09-pur peer-node-id:1 conn...
...
2026-11-20T01:30:33.279463+00:00 change connection name:tag09-pur peer-node-id:1 conn...
2026-11-20T01:30:33.298909+00:00 change connection name:tag09-pur peer-node-id:1 conn...
2026-11-20T01:30:40.523464+00:00 change connection name:tag09-pur peer-node-id:1 conn...
2026-11-20T01:30:40.523464+00:00 change peer-device name:tag09-pur peer-node-id:1 con...

Mit breiterem cut liest du am Zeilenende connection:TearDown → Connecting → Connected und replication:Established peer-disk:UpToDate. Im Labor lagen sieben Sekunden zwischen down und adjust. Danach war k0s-w2 sofort wieder voll dabei, ohne Resync – es wurde nichts geschrieben.

Tipp: Hand anlegen an .res-Dateien lohnt nicht: Der Satellite überschreibt sie bei der nächsten Änderung. Dauerhafte Optionen setzt du in LINSTOR (linstor resource-definition drbd-options …), drbdadm und drbdsetup nimmst du zum Lesen und für Notfälle.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Fehlerberichte und Journal

Kann LINSTOR etwas nicht ausführen, legt es einen Fehlerbericht (Error-Report) an:

# auf k0s-ctrl
linstor --no-utf8 --no-color error-reports list | cut -c1-88
linstor error-reports show 6AFF9280-C33BF-000000 \
  | grep -E 'Module|Node:|Error message|context' -A1

Erwartet (gekürzt):

| Id                    | Datetime            | Node       | Exception
|=======================================================================================
| 6AFF9280-C33BF-000000 | 2026-11-20 00:36:50 | S|k0s-ctrl | ImplementationError: Linsto
| 6AFF91B4-F41D0-000000 | 2026-11-20 00:51:47 | S|k0s-w1   | SocketException: Connection
| 6AFF9229-16E7A-000000 | 2026-11-20 00:51:47 | S|k0s-w2   | SocketException: Connection
...
Module:                             Satellite
...
Error message:                      Linstor/Drbd/InitialUptoDateOn was unexpectedly null
...
Error context:
        An error occurred while processing resource 'Node: 'k0s-ctrl', Rsc: 'tag04-ha...

Der erste ist der diskless-zuerst-Versuch aus Tag 4, die beiden anderen stammen vom Netztrennungs-Drill an Tag 6. S| heißt: Der Satellite hat den Bericht geschrieben. Die zweite Anlaufstelle ist sein Journal auf dem betroffenen Node:

# auf k0s-w2
sudo journalctl -u linstor-satellite --since "-40min" | grep ERROR | head -1 \
  | cut -c80- | fold -w 88

Erwartet:

] ERROR LINSTOR/Satellite/fb0c33 SYSTEM - Property BitmapBlockSizeNewResource inheritanc
e order VolumeDefinition > ResourceDefinition > ResourceGroup for Node k0s-w2 Resource l
instor_db Volume 0: Bitmap block size value is unparsable

Diese Meldung schrieb der Satellite 1.34.2 im Labor bei jedem Start für jede Ressource, ohne Folgen – alle Ressourcen blieben UpToDate. Nicht jedes ERROR ist ein Problem; entscheidend ist, ob drbdadm status und linstor r l --faulty etwas zeigen. Die Ids der Fehlerberichte enthalten die Startzeit des Prozesses – nach einem Neustart beginnt eine neue Reihe.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig zur Ressource $R Namespace und Name des PVC. Zeitziel: 20 s
  2. Zeig von der Witness aus, welcher Node $R schreibt. Zeitziel: 10 s
  3. Zeig den Zähler out-of-sync für $R auf dem Primary. Zeitziel: 30 s
  4. Zeig die Fehlerberichte der letzten Stunde. Zeitziel: 15 s

Lösung

# auf k0s-ctrl
linstor --no-utf8 --no-color resource-definition list-properties $R | grep pvc/
sudo drbdadm status $R | grep Primary
ssh k0s-w3 "sudo drbdsetup status --verbose --statistics $R" \
  | grep -o 'out-of-sync:[0-9]*'
linstor --no-utf8 --no-color error-reports list --since 1h | cut -c1-88

Erwartet (gekürzt):

| Aux/csi.storage.k8s.io/pvc/name      | data-pg-0           |
| Aux/csi.storage.k8s.io/pvc/namespace | demo                |
  k0s-w3 role:Primary
out-of-sync:0
out-of-sync:0
...

Zweimal out-of-sync: je eine Zeile pro Gegenstelle (Witness und k0s-w2).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty

Erwartet: eine leere Tabelle.

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h sudo drbdadm status | grep -cE 'Connecting|StandAlone|Outdated')"
done

Erwartet: viermal 0.

# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=3

Erwartet: nur ok-Zeilen.

Challenge

Stell auf k0s-w2 den Satellite ab. Was zeigt LINSTOR, was zeigt DRBD, und schreibt die Datenbank weiter? Begründe, wem du glaubst, und hol den Satellite zurück.

Hinweis: Der Satellite verwaltet DRBD, er transportiert keine Daten.

Lösung

# auf k0s-w2
sudo systemctl stop linstor-satellite
# auf k0s-ctrl
linstor --no-utf8 --no-color node list
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
ssh k0s-w3 "sudo drbdadm status $R"
kubectl -n demo logs deploy/pg-client --tail=2

Erwartet (gekürzt):

| k0s-w2   |          | SATELLITE | 10.10.0.12:3366 (PLAIN)   | OFFLINE |
...
| k0s-w2   | DRBD,WRITECACHE,STORAGE |        |       |  Unknown |
| k0s-w3   | DRBD,WRITECACHE,STORAGE | InUse  | Ok    | UpToDate |
pvc-395c4ec0-... role:Primary
  disk:UpToDate open:yes
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w2 role:Secondary
    peer-disk:UpToDate

01:31:36 ok
01:31:37 ok

LINSTOR weiß nichts mehr über k0s-w2 (Unknown), DRBD sieht die Kopie dort aktuell und verbunden, die Datenbank schreibt weiter. DRBD hat recht: Das Kernelmodul repliziert ohne Satellite. Zurück:

# auf k0s-w2
sudo systemctl start linstor-satellite
# auf k0s-ctrl
linstor --no-utf8 --no-color node list | grep k0s-w2

Erwartet (nach etwa 20 Sekunden):

| k0s-w2   | LINUX    | SATELLITE | 10.10.0.12:3366 (PLAIN)   | Online |

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf k0s-ctrl
linstor resource-definition delete tag09-pur

Die Fehlerberichte bleiben als Übungsmaterial. Wegräumen ginge mit linstor error-reports delete <Id>.

Interview-Notiz

  • Woran erkennst du ein gesundes DRBD-Volume? Ein Primary mit disk:UpToDate, alle Gegenstellen verbunden und UpToDate bzw. Diskless, out-of-sync:0.
  • LINSTOR sagt Unknown, DRBD sagt UpToDate – was gilt? DRBD. LINSTOR hat nur den Kontakt zum Satellite verloren, die Replikation läuft im Kernel weiter.
  • Was ist bei drbdsetup show zu beachten? Es zeigt die wirksame Konfiguration, aber auch das Geheimnis jeder Verbindung im Klartext.

Enterprise-Notiz

  • Statusabfragen gehören ins Monitoring (drbd-reactor-Exporter, Tag 17), nicht in manuelle Rundgänge; events2 ist die Quelle dafür.
  • Runbooks mit festen Lesebefehlen: linstor r l --faulty, drbdadm status, linstor error-reports list --since 1d – in genau dieser Reihenfolge.
  • Fehlerberichte zentral einsammeln (sie enthalten Stacktraces und Ressourcennamen) und vor dem Weitergeben an den Support auf Geheimnisse prüfen.
  • Änderungen an DRBD-Optionen nur über LINSTOR und versioniert (Runbook oder bewusst ausgelöstes Playbook, Tag 16), nie in .res-Dateien.