Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Wenn der Platz ausgeht

Ziel: Du unterscheidest ein volles Dateisystem von einem vollen Pool, vergrößerst ein Volume im laufenden Betrieb und findest die Stelle im Gerätestapel, an der eine Vergrößerung hängen bleibt. · Dauer: ca. 60 min · Voraussetzung: Tag 11

Briefing

  • Volles Dateisystem: Die Anwendung sieht No space left on device, DRBD bleibt gesund. Ein Fall für Monitoring und Vergrößern, nicht für den Storage.
  • Vergrößern: PVC größer machen, CSI vergrößert LVs, DRBD und Dateisystem.
  • Writecache-Falle: LINSTOR verlangt den vollen Zuwachs auch im Cache-Pool, und das Writecache-Gerät wächst nicht mit.
  • Voller Pool: Das PVC bleibt Pending, nichts wird halb angelegt.
 df im Pod   ext4            <- resize2fs
 blockdev    /dev/drbd1002   <- drbdadm resize
 dmsetup     writecache      <- hier hängt es
 lvs         data + cache    <- LINSTOR vergrößert beide

Drill 1: Ein Test-Volume

Alle Versuche laufen in einem eigenen Namespace mit einem kleinen Volume:

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag12 && cd ~/k0s-lab/tag12
cat > fueller.yaml <<'EOF'
apiVersion: v1
kind: Namespace
metadata: {name: kapazitaet}
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: klein, namespace: kapazitaet}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 1Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: fueller, namespace: kapazitaet}
spec:
  containers:
    - name: shell
      image: busybox:1.37
      command: [sleep, infinity]
      volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
    - name: daten
      persistentVolumeClaim: {claimName: klein}
EOF
kubectl apply -f fueller.yaml
kubectl -n kapazitaet wait --for=condition=Ready pod/fueller --timeout=120s
K=$(kubectl -n kapazitaet get pvc klein -o jsonpath='{.spec.volumeName}')
kubectl -n kapazitaet get pod fueller -o wide | cut -c1-70
linstor --no-utf8 --no-color resource list -r $K | cut -c44-110

Erwartet (gekürzt):

pod/fueller condition met
NAME      READY   STATUS    RESTARTS   AGE   IP            NODE
fueller   1/1     Running   0          22s   10.244.2.10   k0s-w1
...
| k0s-ctrl | DRBD,STORAGE            | Unused | Ok    | Diskless |
| k0s-w1   | DRBD,WRITECACHE,STORAGE | InUse  | Ok    | UpToDate |
| k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate |

Merk dir, auf welchen Nodes die Kopien liegen – in den Drills unten sind es k0s-w1 und k0s-w2.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein volles Volume

Achtung: dd schreibt ohne Rückfrage. Hier zielt es auf eine Datei im Test-Volume (of=/daten/gross im Pod fueller) – prüfe Ziel und Namespace, bevor du Enter drückst.

# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- dd if=/dev/zero of=/daten/gross bs=1M count=2000
kubectl -n kapazitaet exec fueller -- df -h /daten
kubectl -n kapazitaet exec fueller -- sh -c 'echo test > /daten/neu'
ssh k0s-w1 "sudo drbdadm status $K | head -2"

Erwartet:

dd: error writing '/daten/gross': No space left on device
962+0 records in
961+0 records out
1007722496 bytes (961.0MB) copied, 4.686055 seconds, 205.1MB/s
command terminated with exit code 1
Filesystem                Size      Used Available Use% Mounted on
/dev/drbd1002           977.1M    961.1M         0 100% /daten
sh: write error: No space left on device
command terminated with exit code 1
pvc-1c57f6e3-... role:Primary
  disk:UpToDate open:yes

Das Dateisystem ist voll, das Gerät darunter gesund. Eine Datenbank stoppt in diesem Zustand oder geht in einen Nur-Lese-Modus. Die Lösung heißt vergrößern.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Vergrößern – und die Cache-Falle

Die StorageClass erlaubt Vergrößern (allowVolumeExpansion: true). Du änderst nur das PVC:

# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
  -p '{"spec":{"resources":{"requests":{"storage":"3Gi"}}}}'
sleep 15
kubectl -n kapazitaet get events --field-selector involvedObject.name=klein \
  -o jsonpath='{.items[-1:].message}' | fold -w 80

Erwartet (gekürzt):

resize volume "pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd" by resizer "linstor.csi
.linbit.com" failed: rpc error: code = Internal desc = ControllerExpandVolume - 
expand volume failed for pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd: Message: 'Can
not grow the volume definition by 2097152KiB, as the following storage pool do n
ot have enough free space:
Node: k0s-w1, StorPool: pool_nvme
Node: k0s-w2, StorPool: pool_nvme'; ...

LINSTOR prüft den vollen Zuwachs von 2 GiB gegen jeden Pool des Volumes, auch gegen den Cache-Pool. Der Writecache bräuchte nur 5 % davon, aber pool_nvme hat insgesamt nur 2 GiB. Mit einer so kleinen Cache-VG scheitert jede Vergrößerung, deren Zuwachs größer ist als der freie Platz im Cache.

Seit Kubernetes 1.34 darfst du eine gescheiterte Vergrößerung auf einen kleineren Wert zurücknehmen, solange er über der aktuellen Größe liegt:

# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
  -p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'
sleep 45
kubectl -n kapazitaet get pvc klein | cut -c1-80
kubectl -n kapazitaet get events --field-selector involvedObject.name=klein \
  -o custom-columns=GRUND:.reason | tail -2
kubectl -n kapazitaet exec fueller -- df -h /daten

Erwartet:

NAME    STATUS   VOLUME                                     CAPACITY   ACCESS MO
klein   Bound    pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd   2Gi        RWO
FileSystemResizeRequired
FileSystemResizeSuccessful
Filesystem                Size      Used Available Use% Mounted on
/dev/drbd1002           977.1M    961.1M         0 100% /daten

Kubernetes meldet 2 GiB und FileSystemResizeSuccessful – das Dateisystem hat aber immer noch 977 MB.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Schicht für Schicht

Irgendwo zwischen LV und Dateisystem hängt die Größe. Du gehst den Stapel von unten nach oben durch, auf dem Node mit dem Pod:

# auf k0s-ctrl
ssh k0s-w1 "sudo lvs --noheadings -o lv_name,lv_size data cache | grep ${K:0:12}"
ssh k0s-w1 "sudo dmsetup table | grep ${K:0:12}" | cut -c1-88
ssh k0s-w1 'sudo blockdev --getsize64 /dev/drbd1002'

Erwartet:

  pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd.cache_00000 104.00m
  pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd_00000         2.00g
linstor_writecache_pvc-1c57f6e3-..._00000: 0 2105344 writecache
1077665792
Schicht Größe gewachsen?
Daten-LV, Cache-LV 2,00 GiB, 104 MiB ja
dm-writecache 2 105 344 Sektoren = 1 GiB nein
DRBD 1 GiB nein, die Schicht darunter ist nicht gewachsen
Dateisystem 977 MB nein

Das Journal des Satellites bestätigt es:

# auf k0s-ctrl
ssh k0s-w1 "sudo journalctl -u linstor-satellite --since -10min | grep -i resized" \
  | grep ${K:0:12} | grep -o 'Volume number.*\|DRBD resized.*' | cut -c1-88

Erwartet:

Volume number 0 of resource 'pvc-1c57f6e3-...' [LVM] resized
Volume number 0 of resource 'pvc-1c57f6e3-....cache' [LVM] resiz
DRBD resized pvc-1c57f6e3-.../0

Beide LVs vergrößert, DRBD „vergrößert“, zur Writecache-Schicht kein Wort und kein Fehlerbericht. Ein stiller Fehler: Alle Werkzeuge melden Erfolg, die Anwendung bekommt keinen Platz. Tag 15 prüft das nach dem Update erneut.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Der Ausweg von Hand

Das Writecache-Gerät lässt sich im Betrieb mit neuer Länge neu laden – auf jedem Node mit einer Datenkopie. Die neue Tabelle entsteht aus der alten, nur die zweite Zahl (die Länge in Sektoren) wird ersetzt. So tippst du keine Gerätenummern ab. Setze K auf deinen eigenen Ressourcennamen:

# auf k0s-w1
K=pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.table

Erwartet:

0 2105344 writecache s 252:1 252:2 4096 0
0 4202496 writecache s 252:1 252:2 4096 0

Achtung: Eine falsche Tabelle verbindet das Writecache-Gerät mit einem fremden LV oder schneidet Daten ab. Prüfe cat /tmp/neu.table vor dem reload: Nur die zweite Zahl darf sich geändert haben.

Dann laden:

# auf k0s-w1
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D
sudo dmsetup table $D

Erwartet:

0 4202496 writecache s 252:1 252:2 4096 0

suspend hält kurz alle Zugriffe an, reload lädt die neue Tabelle, resume gibt das Gerät frei. Wiederhole beide Blöcke auf k0s-w2 – dort lauten die Gerätenummern anders (252:4 252:5), deshalb das awk.

Danach, nur auf dem Primary:

# auf k0s-w1
sudo drbdadm resize $K
sudo drbdadm status $K | tail -2
sudo resize2fs /dev/drbd1002

Erwartet (gekürzt):

  k0s-w2 role:Secondary
    replication:SyncSource peer-disk:Inconsistent done:0.03
...
The filesystem on /dev/drbd1002 is now 525190 (4k) blocks long.

drbdadm resize übernimmt die neue Größe der Geräte darunter und gleicht den neuen Bereich zur Gegenseite ab. resize2fs vergrößert das gemountete ext4 online:

# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- df -h /daten

Erwartet:

Filesystem                Size      Used Available Use% Mounted on
/dev/drbd1002             1.9G    961.1M    921.6M  51% /daten

In Produktion gehst du diesen Weg nur, wenn es eilt. Die Alternative ohne Handarbeit: ein neues, größeres PVC und die Daten auf Anwendungsebene umziehen (pg_dump).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Ein voller Pool – und die Zonen

Wie viel Platz ist frei?

# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_data pool_nvme | cut -c1-59

Erwartet (gekürzt):

| StoragePool | Node   | Driver | PoolName | FreeCapacity |
|==========================================================
| pool_data   | k0s-w1 | LVM    | data     |    24.79 GiB |
| pool_data   | k0s-w2 | LVM    | data     |    16.78 GiB |
| pool_data   | k0s-w3 | LVM    | data     |    21.79 GiB |
| pool_nvme   | k0s-w1 | LVM    | cache    |     1.74 GiB |
| pool_nvme   | k0s-w2 | LVM    | cache    |     1.34 GiB |
| pool_nvme   | k0s-w3 | LVM    | cache    |     1.59 GiB |

Deine Zahlen hängen davon ab, was schon im Cluster liegt (die Tabelle stammt aus einem späteren Lauf mit mehr Volumes). k0s-w2 hat immer am wenigsten frei: Als einziger Node in Zone b trägt er von jedem Volume eine Kopie. Wähle eine Größe, die auf k0s-w1 und k0s-w3 passt, aber nicht auf k0s-w2 – hier 20 GiB. Wegen replicasOnDifferent Aux/zone braucht das PVC in jeder Zone einen Node mit genug Platz:

# auf k0s-ctrl
cat > zu-gross.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: zu-gross, namespace: kapazitaet}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 20Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: gross, namespace: kapazitaet}
spec:
  containers:
    - name: shell
      image: busybox:1.37
      command: [sleep, infinity]
      volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
    - name: daten
      persistentVolumeClaim: {claimName: zu-gross}
EOF
kubectl apply -f zu-gross.yaml
sleep 20
kubectl -n kapazitaet get pvc zu-gross | cut -c1-60
kubectl -n kapazitaet get events \
  --field-selector involvedObject.name=zu-gross,reason=ProvisioningFailed \
  -o jsonpath='{.items[-1:].message}' | sed -n '2,5p;/Replica count/p;/different/,+1p'

Erwartet:

NAME       STATUS    VOLUME   CAPACITY   ACCESS MODES   STOR
zu-gross   Pending                                      lins
 * has a deployed storage pool named [pool_data]
 * the storage pools have to have at least '20971520' free space
 * the current access context has enough privileges to use the node and the storage pool
 * the node is online
   Replica count: 2
   Replicas on nodes with different property:
      Aux/zone

Die Meldung beginnt mit Not enough available nodes und nennt alle Kriterien – aber nicht, welches gescheitert ist. Die Gegenprobe: dieselbe Größe direkt in LINSTOR, zwei Kopien, ohne Zonenregel:

# auf k0s-ctrl
linstor resource-definition create tag12-probe
linstor volume-definition create tag12-probe 20G
linstor --no-utf8 --no-color resource create tag12-probe --auto-place 2 \
  --storage-pool pool_data | grep 'Used nodes'
linstor --no-utf8 --no-color resource list -r tag12-probe | cut -c1-88

Erwartet (gekürzt):

    Used nodes (storage pool name): 'k0s-w1 (pool_data)', 'k0s-w3 (pool_data)'
| ResourceName | Node   | Layers       | Usage  | Conns |             State | Vote |
|==================================================================================|
| tag12-probe  | k0s-w1 | DRBD,STORAGE | Unused | Ok    |          UpToDate | Yes  |
| tag12-probe  | k0s-w2 | DRBD,STORAGE | Unused | Ok    |          Diskless | Yes  |
| tag12-probe  | k0s-w3 | DRBD,STORAGE | Unused | Ok    | SyncTarget(1.26%) | Yes  |

Ohne Zonenregel landen beide Kopien in Zone a, k0s-w2 bekommt nur den Tiebreaker. Der Platz reicht also – gescheitert ist das PVC an der Zone. Bei knappem Platz scheitert die Platzierung früher, als die Summe der freien Gigabytes vermuten lässt: Pro Zone muss es reichen, und auch der Cache-Pool braucht seine 5 %. Die Probe kommt wieder weg, das PVC bleibt für die Speed-Drills:

# auf k0s-ctrl
linstor resource-definition delete tag12-probe | tail -1

Erwartet (gekürzt): Resource definition 'tag12-probe' UUID was: …

Tipp: Scheitert die Probe mit Not enough available nodes, obwohl die Tabelle genug Platz zeigt, warte eine halbe Minute und wiederhole resource create. Belegter und frei gewordener Platz kommt mit Verzögerung beim Controller an; im Labor hat der zweite Versuch geklappt, besonders direkt nach einem Löschen.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig den freien Platz im Cache-Pool auf allen Nodes. Zeitziel: 15 s
  2. Zeig auf k0s-w2, ob das Writecache-Gerät von $K so lang ist wie sein Daten-LV. Zeitziel: 45 s
  3. Zeig, warum ein PVC Pending ist. Zeitziel: 20 s

Lösung

# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_nvme | cut -c1-59
ssh k0s-w2 "sudo dmsetup table linstor_writecache_${K}_00000 | cut -d' ' -f2;
  sudo blockdev --getsz /dev/data/${K}_00000"
kubectl -n kapazitaet describe pvc zu-gross | grep -m1 -o 'Not enough available nodes'

Erwartet (gekürzt):

| pool_nvme   | k0s-w1 | LVM    | cache    |     1.74 GiB |
...
4202496
4202496
Not enough available nodes

Zwei gleiche Zahlen: Das Writecache-Gerät auf k0s-w2 hat seit Drill 5 die volle Länge.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- df -h /daten | tail -1

Erwartet: Size um 1.9G – die Vergrößerung ist im Dateisystem angekommen.

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty

Erwartet: eine leere Tabelle.

Challenge

Vergrößere klein auf 2500 MiB und bring den Platz bis ins Dateisystem, ohne ins Buch zu sehen.

Hinweis: Erst wenn CAPACITY 2500Mi zeigt, sind beide LVs gewachsen.

Lösung

# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
  -p '{"spec":{"resources":{"requests":{"storage":"2500Mi"}}}}'
kubectl -n kapazitaet get pvc klein | cut -c1-80

Erwartet (nach etwa 30 Sekunden):

NAME    STATUS   VOLUME                                     CAPACITY   ACCESS MO
klein   Bound    pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd   2500Mi     RWO

500 MiB Zuwachs passen in den Cache-Pool. Dann auf k0s-w1 und k0s-w2 wie in Drill 5 (in einer neuen Sitzung vorher K und D wieder setzen):

# auf k0s-w1
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D

Auf dem Primary zusätzlich:

# auf k0s-w1
sudo drbdadm resize $K
sudo resize2fs /dev/drbd1002
# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- df -h /daten

Erwartet:

Filesystem                Size      Used Available Use% Mounted on
/dev/drbd1002             2.4G    961.1M      1.3G  41% /daten

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf k0s-ctrl
kubectl delete namespace kapazitaet
linstor --no-utf8 --no-color resource-definition list | grep -c pvc-

Erwartet: 1 – LINSTOR hat die Test-Volumes mit gelöscht, nur data-pg-0 bleibt.

Interview-Notiz

  • Ein PVC ist voll – Storage-Problem? Nein. DRBD ist gesund, die Anwendung sieht ENOSPC. Lösung: vergrößern oder aufräumen, Füllstand überwachen.
  • Kubernetes meldet die neue Größe, die Anwendung sieht sie nicht – wie suchst du? Den Gerätestapel von unten: lvs, dmsetup table, blockdev, df.
  • Warum ist ein PVC Pending, obwohl genug Platz frei ist? Platzierungsregeln: Platz muss pro Zone reichen und in jedem Pool des Layer-Stacks, auch im Cache.

Enterprise-Notiz

  • Füllstand von Dateisystemen und Pools getrennt alarmieren (Tag 18: LinstorPoolFastVoll; für Dateisysteme bringt kube-prometheus-stack KubePersistentVolumeFillingUp mit): Das eine ist Sache des Anwendungsteams, das andere des Plattform-Teams.
  • Cache-Pool großzügig dimensionieren oder Writecache nur für Volumes mit bekannt begrenztem Wachstum einsetzen.
  • Nach jeder Vergrößerung eines Writecache-Volumes df im Pod prüfen – oder per Admission-Policy und Runbook absichern. Den Fehler upstream melden (LINSTOR auf GitHub).
  • Platz pro Zone planen: Mit zwei Zonen braucht jede Zone die volle Kapazität aller Volumes.
  • Die Falle steckt in der Writecache-Schicht: Volumes ohne Writecache wachsen ohne Handarbeit. Thin-LVM oder ZFS bringen eigene Risiken (Überbuchung) – bewusst entscheiden.