Tag 5: Storage-Pools, Writecache und Platzierung
Ziel: Jeder Worker hat einen Daten- und einen Cache-Pool, die Resource-Group
rg-k8slegt Volumes mit zwei Kopien in zwei Zonen samt Writecache an, und du liest den Gerätestapel Schicht für Schicht. · Dauer: ca. 60 min · Voraussetzung: Tag 4
Briefing
- Ein Storage-Pool verbindet einen Namen in LINSTOR mit einer VG auf dem Node. Platzierungsregeln kennen nur den Namen – er muss auf allen Nodes gleich sein.
dm-writecachepuffert Schreibzugriffe auf schnellem Speicher (pool_nvme) und schreibt im Hintergrund auf den langsamen (pool_data). Lesezugriffe beschleunigt er nicht.- Eine Resource-Group ist eine Vorlage: Pool, Anzahl
Kopien, Zonenregel, Schichten, DRBD-Optionen.
spawn-resourceserzeugt daraus Volumes. - Den Tiebreaker legt LINSTOR selbst an. Wo er landet, entscheidet die Zonenregel mit.
/dev/drbd1000 DRBD repliziert in die andere Zone
|
linstor_writecache_... WRITECACHE Schreibpuffer aus pool_nvme (VG cache)
|
data-<res>_00000 STORAGE LV aus pool_data (VG data)
Drill 1: Den Cache-Pool anlegen
pool_data steht seit Tag 4. Der Cache-Pool kommt auf die
VG cache, die in diesem Labor eine NVMe spielt:
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag05 && cd ~/k0s-lab/tag05
linstor storage-pool create lvm k0s-w1 pool_nvme cache
linstor storage-pool create lvm k0s-w2 pool_nvme cache
linstor storage-pool create lvm k0s-w3 pool_nvme cache
linstor --no-utf8 --no-color storage-pool list -s pool_data pool_nvme | cut -c1-88Erwartet (gekürzt):
+---------------------------------------------------------------------------------------
| StoragePool | Node | Driver | PoolName | FreeCapacity | TotalCapacity | CanSnapshots
|=======================================================================================
| pool_data | k0s-w1 | LVM | data | 30.00 GiB | 30.00 GiB | False
| pool_data | k0s-w2 | LVM | data | 30.00 GiB | 30.00 GiB | False
| pool_data | k0s-w3 | LVM | data | 30.00 GiB | 30.00 GiB | False
| pool_nvme | k0s-w1 | LVM | cache | 2.00 GiB | 2.00 GiB | False
| pool_nvme | k0s-w2 | LVM | cache | 2.00 GiB | 2.00 GiB | False
| pool_nvme | k0s-w3 | LVM | cache | 2.00 GiB | 2.00 GiB | False
+---------------------------------------------------------------------------------------
Der Treiber lvm ist klassisches (thick) LVM: Ein Volume
belegt seinen vollen Platz sofort, nichts lässt sich überbuchen, kein
voller Thin-Pool friert alle Volumes auf einmal ein. Der Preis steht in
der letzten Spalte: CanSnapshots False. An Tag 13 siehst
du, was das für Backups heißt.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Vorlage rg-k8s
# auf k0s-ctrl
linstor resource-group create rg-k8s --storage-pool pool_data --place-count 2 \
--replicas-on-different zone --layer-list drbd,writecache,storage
linstor resource-group set-property rg-k8s Writecache/PoolName pool_nvme
linstor resource-group set-property rg-k8s Writecache/Size 5%Erwartet (gekürzt):
SUCCESS:
New resource group 'rg-k8s' created.
SUCCESS:
Successfully set property key(s): Writecache/PoolName
...
SUCCESS:
Successfully set property key(s): Writecache/Size
| Einstellung | Wirkung |
|---|---|
--place-count 2 |
zwei Kopien mit Daten |
--replicas-on-different zone |
nie zwei Kopien mit gleichem Aux/zone |
--layer-list drbd,writecache,storage |
Schichten von oben nach unten |
Writecache/Size 5% |
Cache je Volume: 5 % der Volume-Größe aus
pool_nvme |
Das Aux/ vor zone ergänzt der Client
selbst.
Fortschritt speichern? Kostenlos registrieren
Drill 3: DRBD-Optionen und Volume-Group
# auf k0s-ctrl
linstor resource-group drbd-options --quorum=majority --on-no-quorum=suspend-io \
--on-suspended-primary-outdated=force-secondary rg-k8s
linstor volume-group create rg-k8s
linstor --no-utf8 --no-color resource-group list | cut -c1-70
linstor --no-utf8 --no-color resource-group list-properties rg-k8sErwartet (gekürzt):
SUCCESS:
New volume group with number '0' of resource group 'rg-k8s' created.
+---------------------------------------------------------------------
| ResourceGroup | SelectFilter | VlmN
|=====================================================================
| DfltRscGrp | PlaceCount: 2 |
|---------------------------------------------------------------------
| rg-k8s | PlaceCount: 2 | 0
| | StoragePool(s): pool_data |
| | ReplicasOnDifferent: ['Aux/zone'] |
| | LayerStack: ['DRBD', 'WRITECACHE', 'STORAGE'] |
...
+----------------------------------------------------------------------+
| Key | Value |
|======================================================================|
| DrbdOptions/Resource/on-no-quorum | suspend-io |
| DrbdOptions/Resource/on-suspended-primary-outdated | force-secondary |
| DrbdOptions/Resource/quorum | majority |
| Internal/Drbd/QuorumSetBy | user |
| Writecache/PoolName | pool_nvme |
| Writecache/Size | 5% |
+----------------------------------------------------------------------+
on-no-quorum=suspend-io: Verliert der Primary die
Mehrheit, hält DRBD alle Schreibzugriffe an, statt Fehler zu liefern.
Die Datenbank hängt, statt ihr Dateisystem zu verlieren, und läuft
weiter, sobald das Quorum zurück ist. Die Volume-Group hier ist ein
LINSTOR-Begriff, keine LVM-VG: Ohne sie (VlmNrs 0) erzeugt
spawn-resources Ressourcen ohne Volume.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ein Volume aus der Vorlage
# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-a 1G
linstor --no-utf8 --no-color resource list -r tag05-aErwartet (gekürzt):
INFO:
Tie breaker resource 'tag05-a' created on k0s-ctrl
...
+------------------------------------------------------------------------------------...
| ResourceName | Node | Layers | Usage | Conns | ...
|====================================================================================...
| tag05-a | k0s-ctrl | DRBD,STORAGE | Unused | Ok | Dis...
| tag05-a | k0s-w1 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpT...
| tag05-a | k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | SyncTarget(24...
+------------------------------------------------------------------------------------...
Eine Kopie in Zone a (k0s-w1), eine in Zone b
(k0s-w2), der Tiebreaker diskless auf der Witness.
k0s-w3 liegt ebenfalls in Zone a und bleibt leer. Die
Witness hat nur DRBD,STORAGE: ohne Daten kein Cache.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Der Gerätestapel
# auf k0s-w1
lsblk /dev/sdb
sudo dmsetup table | grep writecache
sudo lvsErwartet:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 32G 0 disk
├─sdb1 8:17 0 30G 0 part
│ └─data-tag05--a_00000 252:0 0 1G 0 lvm
│ └─linstor_writecache_tag05-a_00000 252:2 0 1G 0 dm
│ └─drbd1000 147:1000 0 1G 0 disk
└─sdb2 8:18 0 2G 0 part
└─cache-tag05--a.cache_00000 252:1 0 52M 0 lvm
└─linstor_writecache_tag05-a_00000 252:2 0 1G 0 dm
└─drbd1000 147:1000 0 1G 0 disk
linstor_writecache_tag05-a_00000: 0 2105344 writecache s 252:0 252:1 4096 0
LV VG Attr LSize Pool Origin Data% Meta% Move Log ...
tag05-a.cache_00000 cache -wi-ao---- 52.00m
tag05-a_00000 data -wi-ao---- 1.00g
Lies die dmsetup-Zeile so: Gerät
writecache, s = langsames Gerät zuerst, dann
252:0 (Daten-LV) und 252:1 (Cache-LV),
Blockgröße 4096. 52 MiB sind 5 % von 1 GiB, aufgerundet auf LVM-Extents
(4 MiB). DRBD liegt ganz oben und sieht nur ein einziges Gerät.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Den Writecache arbeiten sehen
dmsetup status zählt die Cache-Blöcke: nach
writecache stehen Fehlerflag, Blöcke gesamt, Blöcke frei
und Blöcke im Rückschreiben. Schreib 40 MiB direkt auf das Volume:
Achtung:
ddüberschreibt das Gerät ohne Rückfrage. Prüfe den Pfad: Es muss die Test-Ressourcetag05-asein.
# auf k0s-w1
D=linstor_writecache_tag05-a_00000
sudo dmsetup status $D
sudo drbdadm primary tag05-a
sudo dd if=/dev/urandom of=/dev/drbd/by-res/tag05-a/0 bs=1M count=40 \
oflag=direct status=none
sudo dmsetup status $D
sleep 5
sudo dmsetup status $D
sudo drbdadm secondary tag05-aErwartet (gekürzt):
0 2105344 writecache 0 13260 13194 0 264227 174 234 0 168 0 66 0 51 0
0 2105344 writecache 0 13260 2954 0 264227 174 10485 0 179 0 10306 0 62 0
0 2105344 writecache 0 13260 7372 0 264227 174 10485 0 179 0 10306 0 62 0
13 260 Blöcke à 4 KiB sind die 52 MiB Cache. Nach dem dd
sind nur noch 2 954 frei: Die 40 MiB stehen im Cache, dd
war fertig, bevor die langsame Platte sie hatte. Fünf Sekunden später
sind 7 372 frei – der Kernel schreibt zurück, bis der Cache unter seine
untere Marke (Vorgabe 45 %) fällt. Dasselbe passiert auf
k0s-w2, denn DRBD repliziert oberhalb des
Caches: Ein Schreibzugriff gilt erst als fertig, wenn er im Cache beider
Nodes steht.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Wohin legt LINSTOR die Kopien?
# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-b 200M
linstor resource-group spawn-resources rg-k8s tag05-c 200M
linstor resource-group spawn-resources rg-k8s tag05-d 200M
linstor --no-utf8 --no-color resource list | cut -c1-88Erwartet (gekürzt):
...
| tag05-b | k0s-ctrl | DRBD,STORAGE | Unused | Ok | Diskless | Yes |
| tag05-b | k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
| tag05-b | k0s-w3 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
| tag05-c | k0s-ctrl | DRBD,STORAGE | Unused | Ok | Diskless | Yes |
| tag05-c | k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
| tag05-c | k0s-w3 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
...
k0s-w2 ist bei jedem Volume dabei, denn
er ist allein in Zone b. In Zone a wählt LINSTOR den Node mit mehr
freiem Platz. Der Tiebreaker landet jedes Mal auf der Witness. Das ist
kein Zufall, wie der Gegenversuch ohne Zonenregel zeigt:
# auf k0s-ctrl
linstor resource-definition create tag05-ohne-rg
linstor volume-definition create tag05-ohne-rg 100M
linstor resource create k0s-w1 k0s-w2 tag05-ohne-rg --storage-pool pool_data \
| grep 'Tie breaker'
linstor resource-definition delete tag05-ohne-rgErwartet (gekürzt):
Tie breaker resource 'tag05-ohne-rg' created on k0s-w3
...
Ohne Regel nimmt LINSTOR irgendeinen freien Node, hier den Worker
k0s-w3. Mit --replicas-on-different zone
scheidet k0s-w3 aus, weil Zone a schon belegt ist – übrig
bleibt die Witness ohne Zone. Die Zonenregel schützt also auch die Rolle
der Witness. Wie groß das nächste Volume höchstens sein darf und wo es
landen würde:
# auf k0s-ctrl
linstor --no-utf8 --no-color resource-group query-size-info rg-k8sErwartet:
+-----------------------------------------------------------------+
| MaxVolumeSize | AvailableSize | Capacity | Next Spawn Result |
|=================================================================|
| 28.29 GiB | 29.30 GiB | 30.00 GiB | pool_data on k0s-w2 |
| | | | pool_data on k0s-w3 |
+-----------------------------------------------------------------+
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig, wie viel Platz in
pool_nvmeauf jedem Worker noch frei ist. Zeitziel: 20 s - Zeig auf
k0s-w2alle Writecache-Geräte. Zeitziel: 20 s - Zeig die Eigenschaften der Resource-Group
rg-k8s. Zeitziel: 15 s - Zeig, auf welchen Nodes das nächste Volume aus
rg-k8slanden würde. Zeitziel: 15 s
Lösung
# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_nvme | cut -c1-88
ssh k0s-w2 'sudo dmsetup ls --target writecache'
linstor --no-utf8 --no-color resource-group list-properties rg-k8s
linstor --no-utf8 --no-color resource-group query-size-info rg-k8sErwartet (gekürzt, aus einem späteren Lauf mit drei weiteren Volumes):
| pool_nvme | k0s-w1 | LVM | cache | 1.66 GiB | 2.00 GiB | True
| pool_nvme | k0s-w2 | LVM | cache | 1.30 GiB | 2.00 GiB | True
| pool_nvme | k0s-w3 | LVM | cache | 1.64 GiB | 2.00 GiB | True
linstor_writecache_pvc-11dccaf7-..._00000 (252, 7)
...
linstor_writecache_tag05-a_00000 (252, 12)
linstor_writecache_tag05-b_00000 (252, 15)
linstor_writecache_tag05-c_00000 (252, 18)
linstor_writecache_tag05-d_00000 (252, 21)
...
Bei dir liegen nur die vier Test-Volumes im Cache-Pool. Rechne nach:
Die VG cache hat 2044 MiB, jedes Cache-LV belegt 5 % seines
Volumes, aufgerundet auf 4-MiB-Blöcke – 52 MiB für tag05-a
(1 GiB), 12 MiB für jedes 200-MiB-Volume. k0s-w2 trägt alle
vier und hat damit 88 MiB weniger frei (1.91 GiB). Die Spalte
CanSnapshots zeigt bei dir False;
True kommt erst mit LINSTOR 1.35 (Tag 15).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list | cut -c1-88Erwartet: pool_data (VG
data) und pool_nvme (VG cache)
auf allen drei Workern, dazu DfltDisklessStorPool auf allen
vier Nodes.
# auf k0s-ctrl
linstor --no-utf8 --no-color resource-group list | cut -c1-70Erwartet: rg-k8s mit
PlaceCount: 2, StoragePool(s): pool_data,
ReplicasOnDifferent: ['Aux/zone'],
LayerStack: ['DRBD', 'WRITECACHE', 'STORAGE'].
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r tag05-a | cut -c1-88Erwartet: je eine Kopie in Zone a und b mit
WRITECACHE, Tiebreaker Diskless auf
k0s-ctrl.
Challenge
Für eine besonders wichtige Datenbank willst du drei Kopien. Bestelle
aus rg-k8s ein Volume tag05-drei mit drei
Kopien, ohne die Vorlage zu ändern. Was sagt LINSTOR, und wie bekommst
du trotzdem drei Kopien mit höchstens zwei pro Zone?
Hinweis: spawn-resources kennt
dieselben Platzierungsoptionen wie die Vorlage.
Lösung
# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-drei 100M --place-count 3Erwartet (gekürzt):
ERROR:
Description:
Not enough available nodes
Details:
Not enough nodes fulfilling the following auto-place criteria:
...
Replicas on nodes with different property:
Aux/zone
Drei Kopien in drei verschiedenen Zonen gehen nicht – es gibt nur
zwei. --x-replicas-on-different zone 2 erlaubt zwei Kopien
mit gleichem Zonenwert:
# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-drei 100M --place-count 3 \
--x-replicas-on-different zone 2
linstor --no-utf8 --no-color resource list -r tag05-drei | cut -c1-88Erwartet (gekürzt):
| tag05-drei | k0s-w1 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
| tag05-drei | k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
| tag05-drei | k0s-w3 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate | Yes |
Mit drei Stimmen braucht es keinen Tiebreaker, die Witness bleibt außen vor.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf k0s-ctrl
linstor resource-definition delete tag05-a
linstor resource-definition delete tag05-b
linstor resource-definition delete tag05-c
linstor resource-definition delete tag05-d
linstor resource-definition delete tag05-drei
ssh k0s-w2 'sudo dmsetup ls'Erwartet: No devices found. Pools und
rg-k8s bleiben.
Interview-Notiz
- Warum thick LVM statt Thin? Berechenbar: kein Überbuchen, kein voller Thin-Pool, der alle Volumes gleichzeitig anhält. Dafür keine Snapshots.
- Wo sitzt der Writecache, und ist das sicher? Unter DRBD, auf jedem Node mit Daten. DRBD bestätigt erst, wenn beide Caches den Block haben. Fällt eine NVMe aus, ist die Kopie dieses Nodes weg, die andere bleibt.
- Was macht eine Resource-Group? Sie ist eine Vorlage für Platzierung, Schichten und Optionen. Ressourcen erben ihre Eigenschaften.
Enterprise-Notiz
- Writecache braucht echte Enterprise-NVMe mit Stromausfallschutz (PLP). Ohne PLP kann ein Stromausfall bestätigte Schreibzugriffe kosten.
- Pro Speicherklasse eine Resource-Group (z. B.
rg-fast,rg-bulk) statt alles über eine; Namenskonvention für Pools auf allen Nodes gleich. - Zonen nach echtem Fehlerbereich (Brandabschnitt, Rack, Stromkreis). Zone b mit nur einem Node heißt: dieser Node braucht so viel Platz wie Zone a zusammen.
- Thin-Pools nur mit Überwachung des Füllstands und Reserve; dann sind LVM-Snapshots und damit CSI-Snapshots möglich.