Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 5: Storage-Pools, Writecache und Platzierung

Ziel: Jeder Worker hat einen Daten- und einen Cache-Pool, die Resource-Group rg-k8s legt Volumes mit zwei Kopien in zwei Zonen samt Writecache an, und du liest den Gerätestapel Schicht für Schicht. · Dauer: ca. 60 min · Voraussetzung: Tag 4

Briefing

  • Ein Storage-Pool verbindet einen Namen in LINSTOR mit einer VG auf dem Node. Platzierungsregeln kennen nur den Namen – er muss auf allen Nodes gleich sein.
  • dm-writecache puffert Schreibzugriffe auf schnellem Speicher (pool_nvme) und schreibt im Hintergrund auf den langsamen (pool_data). Lesezugriffe beschleunigt er nicht.
  • Eine Resource-Group ist eine Vorlage: Pool, Anzahl Kopien, Zonenregel, Schichten, DRBD-Optionen. spawn-resources erzeugt daraus Volumes.
  • Den Tiebreaker legt LINSTOR selbst an. Wo er landet, entscheidet die Zonenregel mit.
   /dev/drbd1000          DRBD        repliziert in die andere Zone
        |
 linstor_writecache_...   WRITECACHE  Schreibpuffer aus pool_nvme (VG cache)
        |
   data-<res>_00000       STORAGE     LV aus pool_data (VG data)
Ein Schreibzugriff auf tag05-a: DRBD repliziert oberhalb des Writecache

Drill 1: Den Cache-Pool anlegen

pool_data steht seit Tag 4. Der Cache-Pool kommt auf die VG cache, die in diesem Labor eine NVMe spielt:

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag05 && cd ~/k0s-lab/tag05
linstor storage-pool create lvm k0s-w1 pool_nvme cache
linstor storage-pool create lvm k0s-w2 pool_nvme cache
linstor storage-pool create lvm k0s-w3 pool_nvme cache
linstor --no-utf8 --no-color storage-pool list -s pool_data pool_nvme | cut -c1-88

Erwartet (gekürzt):

+---------------------------------------------------------------------------------------
| StoragePool | Node   | Driver | PoolName | FreeCapacity | TotalCapacity | CanSnapshots
|=======================================================================================
| pool_data   | k0s-w1 | LVM    | data     |    30.00 GiB |     30.00 GiB | False
| pool_data   | k0s-w2 | LVM    | data     |    30.00 GiB |     30.00 GiB | False
| pool_data   | k0s-w3 | LVM    | data     |    30.00 GiB |     30.00 GiB | False
| pool_nvme   | k0s-w1 | LVM    | cache    |     2.00 GiB |      2.00 GiB | False
| pool_nvme   | k0s-w2 | LVM    | cache    |     2.00 GiB |      2.00 GiB | False
| pool_nvme   | k0s-w3 | LVM    | cache    |     2.00 GiB |      2.00 GiB | False
+---------------------------------------------------------------------------------------

Der Treiber lvm ist klassisches (thick) LVM: Ein Volume belegt seinen vollen Platz sofort, nichts lässt sich überbuchen, kein voller Thin-Pool friert alle Volumes auf einmal ein. Der Preis steht in der letzten Spalte: CanSnapshots False. An Tag 13 siehst du, was das für Backups heißt.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Vorlage rg-k8s

# auf k0s-ctrl
linstor resource-group create rg-k8s --storage-pool pool_data --place-count 2 \
  --replicas-on-different zone --layer-list drbd,writecache,storage
linstor resource-group set-property rg-k8s Writecache/PoolName pool_nvme
linstor resource-group set-property rg-k8s Writecache/Size 5%

Erwartet (gekürzt):

SUCCESS:
    New resource group 'rg-k8s' created.
SUCCESS:
    Successfully set property key(s): Writecache/PoolName
...
SUCCESS:
    Successfully set property key(s): Writecache/Size
Einstellung Wirkung
--place-count 2 zwei Kopien mit Daten
--replicas-on-different zone nie zwei Kopien mit gleichem Aux/zone
--layer-list drbd,writecache,storage Schichten von oben nach unten
Writecache/Size 5% Cache je Volume: 5 % der Volume-Größe aus pool_nvme

Das Aux/ vor zone ergänzt der Client selbst.

Fortschritt speichern? Kostenlos registrieren

Drill 3: DRBD-Optionen und Volume-Group

# auf k0s-ctrl
linstor resource-group drbd-options --quorum=majority --on-no-quorum=suspend-io \
  --on-suspended-primary-outdated=force-secondary rg-k8s
linstor volume-group create rg-k8s
linstor --no-utf8 --no-color resource-group list | cut -c1-70
linstor --no-utf8 --no-color resource-group list-properties rg-k8s

Erwartet (gekürzt):

SUCCESS:
    New volume group with number '0' of resource group 'rg-k8s' created.
+---------------------------------------------------------------------
| ResourceGroup | SelectFilter                                  | VlmN
|=====================================================================
| DfltRscGrp    | PlaceCount: 2                                 |
|---------------------------------------------------------------------
| rg-k8s        | PlaceCount: 2                                 | 0
|               | StoragePool(s): pool_data                     |
|               | ReplicasOnDifferent: ['Aux/zone']             |
|               | LayerStack: ['DRBD', 'WRITECACHE', 'STORAGE'] |
...
+----------------------------------------------------------------------+
| Key                                                | Value           |
|======================================================================|
| DrbdOptions/Resource/on-no-quorum                  | suspend-io      |
| DrbdOptions/Resource/on-suspended-primary-outdated | force-secondary |
| DrbdOptions/Resource/quorum                        | majority        |
| Internal/Drbd/QuorumSetBy                          | user            |
| Writecache/PoolName                                | pool_nvme       |
| Writecache/Size                                    | 5%              |
+----------------------------------------------------------------------+

on-no-quorum=suspend-io: Verliert der Primary die Mehrheit, hält DRBD alle Schreibzugriffe an, statt Fehler zu liefern. Die Datenbank hängt, statt ihr Dateisystem zu verlieren, und läuft weiter, sobald das Quorum zurück ist. Die Volume-Group hier ist ein LINSTOR-Begriff, keine LVM-VG: Ohne sie (VlmNrs 0) erzeugt spawn-resources Ressourcen ohne Volume.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ein Volume aus der Vorlage

# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-a 1G
linstor --no-utf8 --no-color resource list -r tag05-a

Erwartet (gekürzt):

INFO:
    Tie breaker resource 'tag05-a' created on k0s-ctrl
...
+------------------------------------------------------------------------------------...
| ResourceName | Node     | Layers                  | Usage  | Conns |              ...
|====================================================================================...
| tag05-a      | k0s-ctrl | DRBD,STORAGE            | Unused | Ok    |           Dis...
| tag05-a      | k0s-w1   | DRBD,WRITECACHE,STORAGE | Unused | Ok    |           UpT...
| tag05-a      | k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | SyncTarget(24...
+------------------------------------------------------------------------------------...

Eine Kopie in Zone a (k0s-w1), eine in Zone b (k0s-w2), der Tiebreaker diskless auf der Witness. k0s-w3 liegt ebenfalls in Zone a und bleibt leer. Die Witness hat nur DRBD,STORAGE: ohne Daten kein Cache.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Der Gerätestapel

# auf k0s-w1
lsblk /dev/sdb
sudo dmsetup table | grep writecache
sudo lvs

Erwartet:

NAME                                   MAJ:MIN  RM SIZE RO TYPE MOUNTPOINTS
sdb                                      8:16    0  32G  0 disk
├─sdb1                                   8:17    0  30G  0 part
│ └─data-tag05--a_00000                252:0     0   1G  0 lvm
│   └─linstor_writecache_tag05-a_00000 252:2     0   1G  0 dm
│     └─drbd1000                       147:1000  0   1G  0 disk
└─sdb2                                   8:18    0   2G  0 part
  └─cache-tag05--a.cache_00000         252:1     0  52M  0 lvm
    └─linstor_writecache_tag05-a_00000 252:2     0   1G  0 dm
      └─drbd1000                       147:1000  0   1G  0 disk
linstor_writecache_tag05-a_00000: 0 2105344 writecache s 252:0 252:1 4096 0
  LV                  VG    Attr       LSize  Pool Origin Data%  Meta%  Move Log ...
  tag05-a.cache_00000 cache -wi-ao---- 52.00m
  tag05-a_00000       data  -wi-ao----  1.00g

Lies die dmsetup-Zeile so: Gerät writecache, s = langsames Gerät zuerst, dann 252:0 (Daten-LV) und 252:1 (Cache-LV), Blockgröße 4096. 52 MiB sind 5 % von 1 GiB, aufgerundet auf LVM-Extents (4 MiB). DRBD liegt ganz oben und sieht nur ein einziges Gerät.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Den Writecache arbeiten sehen

dmsetup status zählt die Cache-Blöcke: nach writecache stehen Fehlerflag, Blöcke gesamt, Blöcke frei und Blöcke im Rückschreiben. Schreib 40 MiB direkt auf das Volume:

Achtung: dd überschreibt das Gerät ohne Rückfrage. Prüfe den Pfad: Es muss die Test-Ressource tag05-a sein.

# auf k0s-w1
D=linstor_writecache_tag05-a_00000
sudo dmsetup status $D
sudo drbdadm primary tag05-a
sudo dd if=/dev/urandom of=/dev/drbd/by-res/tag05-a/0 bs=1M count=40 \
  oflag=direct status=none
sudo dmsetup status $D
sleep 5
sudo dmsetup status $D
sudo drbdadm secondary tag05-a

Erwartet (gekürzt):

0 2105344 writecache 0 13260 13194 0 264227 174 234 0 168 0 66 0 51 0
0 2105344 writecache 0 13260 2954 0 264227 174 10485 0 179 0 10306 0 62 0
0 2105344 writecache 0 13260 7372 0 264227 174 10485 0 179 0 10306 0 62 0

13 260 Blöcke à 4 KiB sind die 52 MiB Cache. Nach dem dd sind nur noch 2 954 frei: Die 40 MiB stehen im Cache, dd war fertig, bevor die langsame Platte sie hatte. Fünf Sekunden später sind 7 372 frei – der Kernel schreibt zurück, bis der Cache unter seine untere Marke (Vorgabe 45 %) fällt. Dasselbe passiert auf k0s-w2, denn DRBD repliziert oberhalb des Caches: Ein Schreibzugriff gilt erst als fertig, wenn er im Cache beider Nodes steht.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Wohin legt LINSTOR die Kopien?

# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-b 200M
linstor resource-group spawn-resources rg-k8s tag05-c 200M
linstor resource-group spawn-resources rg-k8s tag05-d 200M
linstor --no-utf8 --no-color resource list | cut -c1-88

Erwartet (gekürzt):

...
| tag05-b      | k0s-ctrl | DRBD,STORAGE            | Unused | Ok    | Diskless | Yes  |
| tag05-b      | k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |
| tag05-b      | k0s-w3   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |
| tag05-c      | k0s-ctrl | DRBD,STORAGE            | Unused | Ok    | Diskless | Yes  |
| tag05-c      | k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |
| tag05-c      | k0s-w3   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |
...

k0s-w2 ist bei jedem Volume dabei, denn er ist allein in Zone b. In Zone a wählt LINSTOR den Node mit mehr freiem Platz. Der Tiebreaker landet jedes Mal auf der Witness. Das ist kein Zufall, wie der Gegenversuch ohne Zonenregel zeigt:

# auf k0s-ctrl
linstor resource-definition create tag05-ohne-rg
linstor volume-definition create tag05-ohne-rg 100M
linstor resource create k0s-w1 k0s-w2 tag05-ohne-rg --storage-pool pool_data \
  | grep 'Tie breaker'
linstor resource-definition delete tag05-ohne-rg

Erwartet (gekürzt):

    Tie breaker resource 'tag05-ohne-rg' created on k0s-w3
...

Ohne Regel nimmt LINSTOR irgendeinen freien Node, hier den Worker k0s-w3. Mit --replicas-on-different zone scheidet k0s-w3 aus, weil Zone a schon belegt ist – übrig bleibt die Witness ohne Zone. Die Zonenregel schützt also auch die Rolle der Witness. Wie groß das nächste Volume höchstens sein darf und wo es landen würde:

# auf k0s-ctrl
linstor --no-utf8 --no-color resource-group query-size-info rg-k8s

Erwartet:

+-----------------------------------------------------------------+
| MaxVolumeSize | AvailableSize |  Capacity | Next Spawn Result   |
|=================================================================|
|     28.29 GiB |     29.30 GiB | 30.00 GiB | pool_data on k0s-w2 |
|               |               |           | pool_data on k0s-w3 |
+-----------------------------------------------------------------+

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig, wie viel Platz in pool_nvme auf jedem Worker noch frei ist. Zeitziel: 20 s
  2. Zeig auf k0s-w2 alle Writecache-Geräte. Zeitziel: 20 s
  3. Zeig die Eigenschaften der Resource-Group rg-k8s. Zeitziel: 15 s
  4. Zeig, auf welchen Nodes das nächste Volume aus rg-k8s landen würde. Zeitziel: 15 s

Lösung

# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_nvme | cut -c1-88
ssh k0s-w2 'sudo dmsetup ls --target writecache'
linstor --no-utf8 --no-color resource-group list-properties rg-k8s
linstor --no-utf8 --no-color resource-group query-size-info rg-k8s

Erwartet (gekürzt, aus einem späteren Lauf mit drei weiteren Volumes):

| pool_nvme   | k0s-w1 | LVM    | cache    |     1.66 GiB |      2.00 GiB | True
| pool_nvme   | k0s-w2 | LVM    | cache    |     1.30 GiB |      2.00 GiB | True
| pool_nvme   | k0s-w3 | LVM    | cache    |     1.64 GiB |      2.00 GiB | True
linstor_writecache_pvc-11dccaf7-..._00000   (252, 7)
...
linstor_writecache_tag05-a_00000    (252, 12)
linstor_writecache_tag05-b_00000    (252, 15)
linstor_writecache_tag05-c_00000    (252, 18)
linstor_writecache_tag05-d_00000    (252, 21)
...

Bei dir liegen nur die vier Test-Volumes im Cache-Pool. Rechne nach: Die VG cache hat 2044 MiB, jedes Cache-LV belegt 5 % seines Volumes, aufgerundet auf 4-MiB-Blöcke – 52 MiB für tag05-a (1 GiB), 12 MiB für jedes 200-MiB-Volume. k0s-w2 trägt alle vier und hat damit 88 MiB weniger frei (1.91 GiB). Die Spalte CanSnapshots zeigt bei dir False; True kommt erst mit LINSTOR 1.35 (Tag 15).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list | cut -c1-88

Erwartet: pool_data (VG data) und pool_nvme (VG cache) auf allen drei Workern, dazu DfltDisklessStorPool auf allen vier Nodes.

# auf k0s-ctrl
linstor --no-utf8 --no-color resource-group list | cut -c1-70

Erwartet: rg-k8s mit PlaceCount: 2, StoragePool(s): pool_data, ReplicasOnDifferent: ['Aux/zone'], LayerStack: ['DRBD', 'WRITECACHE', 'STORAGE'].

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -r tag05-a | cut -c1-88

Erwartet: je eine Kopie in Zone a und b mit WRITECACHE, Tiebreaker Diskless auf k0s-ctrl.

Challenge

Für eine besonders wichtige Datenbank willst du drei Kopien. Bestelle aus rg-k8s ein Volume tag05-drei mit drei Kopien, ohne die Vorlage zu ändern. Was sagt LINSTOR, und wie bekommst du trotzdem drei Kopien mit höchstens zwei pro Zone?

Hinweis: spawn-resources kennt dieselben Platzierungsoptionen wie die Vorlage.

Lösung

# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-drei 100M --place-count 3

Erwartet (gekürzt):

ERROR:
Description:
    Not enough available nodes
Details:
    Not enough nodes fulfilling the following auto-place criteria:
...
       Replicas on nodes with different property:
          Aux/zone

Drei Kopien in drei verschiedenen Zonen gehen nicht – es gibt nur zwei. --x-replicas-on-different zone 2 erlaubt zwei Kopien mit gleichem Zonenwert:

# auf k0s-ctrl
linstor resource-group spawn-resources rg-k8s tag05-drei 100M --place-count 3 \
  --x-replicas-on-different zone 2
linstor --no-utf8 --no-color resource list -r tag05-drei | cut -c1-88

Erwartet (gekürzt):

| tag05-drei   | k0s-w1 | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |
| tag05-drei   | k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |
| tag05-drei   | k0s-w3 | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate | Yes  |

Mit drei Stimmen braucht es keinen Tiebreaker, die Witness bleibt außen vor.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf k0s-ctrl
linstor resource-definition delete tag05-a
linstor resource-definition delete tag05-b
linstor resource-definition delete tag05-c
linstor resource-definition delete tag05-d
linstor resource-definition delete tag05-drei
ssh k0s-w2 'sudo dmsetup ls'

Erwartet: No devices found. Pools und rg-k8s bleiben.

Interview-Notiz

  • Warum thick LVM statt Thin? Berechenbar: kein Überbuchen, kein voller Thin-Pool, der alle Volumes gleichzeitig anhält. Dafür keine Snapshots.
  • Wo sitzt der Writecache, und ist das sicher? Unter DRBD, auf jedem Node mit Daten. DRBD bestätigt erst, wenn beide Caches den Block haben. Fällt eine NVMe aus, ist die Kopie dieses Nodes weg, die andere bleibt.
  • Was macht eine Resource-Group? Sie ist eine Vorlage für Platzierung, Schichten und Optionen. Ressourcen erben ihre Eigenschaften.

Enterprise-Notiz

  • Writecache braucht echte Enterprise-NVMe mit Stromausfallschutz (PLP). Ohne PLP kann ein Stromausfall bestätigte Schreibzugriffe kosten.
  • Pro Speicherklasse eine Resource-Group (z. B. rg-fast, rg-bulk) statt alles über eine; Namenskonvention für Pools auf allen Nodes gleich.
  • Zonen nach echtem Fehlerbereich (Brandabschnitt, Rack, Stromkreis). Zone b mit nur einem Node heißt: dieser Node braucht so viel Platz wie Zone a zusammen.
  • Thin-Pools nur mit Überwachung des Füllstands und Reserve; dann sind LVM-Snapshots und damit CSI-Snapshots möglich.