Tag 12: Wenn der Platz ausgeht
Ziel: Du unterscheidest ein volles Dateisystem von einem vollen Pool, vergrößerst ein Volume im laufenden Betrieb und findest die Stelle im Gerätestapel, an der eine Vergrößerung hängen bleibt. · Dauer: ca. 60 min · Voraussetzung: Tag 11
Briefing
- Volles Dateisystem: Die Anwendung sieht
No space left on device, DRBD bleibt gesund. Ein Fall für Monitoring und Vergrößern, nicht für den Storage. - Vergrößern: PVC größer machen, CSI vergrößert LVs, DRBD und Dateisystem.
- Writecache-Falle: LINSTOR verlangt den vollen Zuwachs auch im Cache-Pool, und das Writecache-Gerät wächst nicht mit.
- Voller Pool: Das PVC bleibt
Pending, nichts wird halb angelegt.
df im Pod ext4 <- resize2fs
blockdev /dev/drbd1002 <- drbdadm resize
dmsetup writecache <- hier hängt es
lvs data + cache <- LINSTOR vergrößert beide
Drill 1: Ein Test-Volume
Alle Versuche laufen in einem eigenen Namespace mit einem kleinen Volume:
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag12 && cd ~/k0s-lab/tag12
cat > fueller.yaml <<'EOF'
apiVersion: v1
kind: Namespace
metadata: {name: kapazitaet}
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: klein, namespace: kapazitaet}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 1Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: fueller, namespace: kapazitaet}
spec:
containers:
- name: shell
image: busybox:1.37
command: [sleep, infinity]
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: klein}
EOF
kubectl apply -f fueller.yaml
kubectl -n kapazitaet wait --for=condition=Ready pod/fueller --timeout=120s
K=$(kubectl -n kapazitaet get pvc klein -o jsonpath='{.spec.volumeName}')
kubectl -n kapazitaet get pod fueller -o wide | cut -c1-70
linstor --no-utf8 --no-color resource list -r $K | cut -c44-110Erwartet (gekürzt):
pod/fueller condition met
NAME READY STATUS RESTARTS AGE IP NODE
fueller 1/1 Running 0 22s 10.244.2.10 k0s-w1
...
| k0s-ctrl | DRBD,STORAGE | Unused | Ok | Diskless |
| k0s-w1 | DRBD,WRITECACHE,STORAGE | InUse | Ok | UpToDate |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate |
Merk dir, auf welchen Nodes die Kopien liegen – in den Drills unten
sind es k0s-w1 und k0s-w2.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein volles Volume
Achtung:
ddschreibt ohne Rückfrage. Hier zielt es auf eine Datei im Test-Volume (of=/daten/grossim Podfueller) – prüfe Ziel und Namespace, bevor du Enter drückst.
# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- dd if=/dev/zero of=/daten/gross bs=1M count=2000
kubectl -n kapazitaet exec fueller -- df -h /daten
kubectl -n kapazitaet exec fueller -- sh -c 'echo test > /daten/neu'
ssh k0s-w1 "sudo drbdadm status $K | head -2"Erwartet:
dd: error writing '/daten/gross': No space left on device
962+0 records in
961+0 records out
1007722496 bytes (961.0MB) copied, 4.686055 seconds, 205.1MB/s
command terminated with exit code 1
Filesystem Size Used Available Use% Mounted on
/dev/drbd1002 977.1M 961.1M 0 100% /daten
sh: write error: No space left on device
command terminated with exit code 1
pvc-1c57f6e3-... role:Primary
disk:UpToDate open:yes
Das Dateisystem ist voll, das Gerät darunter gesund. Eine Datenbank stoppt in diesem Zustand oder geht in einen Nur-Lese-Modus. Die Lösung heißt vergrößern.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Vergrößern – und die Cache-Falle
Die StorageClass erlaubt Vergrößern
(allowVolumeExpansion: true). Du änderst nur das PVC:
# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
-p '{"spec":{"resources":{"requests":{"storage":"3Gi"}}}}'
sleep 15
kubectl -n kapazitaet get events --field-selector involvedObject.name=klein \
-o jsonpath='{.items[-1:].message}' | fold -w 80Erwartet (gekürzt):
resize volume "pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd" by resizer "linstor.csi
.linbit.com" failed: rpc error: code = Internal desc = ControllerExpandVolume -
expand volume failed for pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd: Message: 'Can
not grow the volume definition by 2097152KiB, as the following storage pool do n
ot have enough free space:
Node: k0s-w1, StorPool: pool_nvme
Node: k0s-w2, StorPool: pool_nvme'; ...
LINSTOR prüft den vollen Zuwachs von 2 GiB gegen
jeden Pool des Volumes, auch gegen den Cache-Pool. Der
Writecache bräuchte nur 5 % davon, aber pool_nvme hat
insgesamt nur 2 GiB. Mit einer so kleinen Cache-VG scheitert jede
Vergrößerung, deren Zuwachs größer ist als der freie Platz im Cache.
Seit Kubernetes 1.34 darfst du eine gescheiterte Vergrößerung auf einen kleineren Wert zurücknehmen, solange er über der aktuellen Größe liegt:
# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
-p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'
sleep 45
kubectl -n kapazitaet get pvc klein | cut -c1-80
kubectl -n kapazitaet get events --field-selector involvedObject.name=klein \
-o custom-columns=GRUND:.reason | tail -2
kubectl -n kapazitaet exec fueller -- df -h /datenErwartet:
NAME STATUS VOLUME CAPACITY ACCESS MO
klein Bound pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd 2Gi RWO
FileSystemResizeRequired
FileSystemResizeSuccessful
Filesystem Size Used Available Use% Mounted on
/dev/drbd1002 977.1M 961.1M 0 100% /daten
Kubernetes meldet 2 GiB und FileSystemResizeSuccessful –
das Dateisystem hat aber immer noch 977 MB.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Schicht für Schicht
Irgendwo zwischen LV und Dateisystem hängt die Größe. Du gehst den Stapel von unten nach oben durch, auf dem Node mit dem Pod:
# auf k0s-ctrl
ssh k0s-w1 "sudo lvs --noheadings -o lv_name,lv_size data cache | grep ${K:0:12}"
ssh k0s-w1 "sudo dmsetup table | grep ${K:0:12}" | cut -c1-88
ssh k0s-w1 'sudo blockdev --getsize64 /dev/drbd1002'Erwartet:
pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd.cache_00000 104.00m
pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd_00000 2.00g
linstor_writecache_pvc-1c57f6e3-..._00000: 0 2105344 writecache
1077665792
| Schicht | Größe | gewachsen? |
|---|---|---|
| Daten-LV, Cache-LV | 2,00 GiB, 104 MiB | ja |
| dm-writecache | 2 105 344 Sektoren = 1 GiB | nein |
| DRBD | 1 GiB | nein, die Schicht darunter ist nicht gewachsen |
| Dateisystem | 977 MB | nein |
Das Journal des Satellites bestätigt es:
# auf k0s-ctrl
ssh k0s-w1 "sudo journalctl -u linstor-satellite --since -10min | grep -i resized" \
| grep ${K:0:12} | grep -o 'Volume number.*\|DRBD resized.*' | cut -c1-88Erwartet:
Volume number 0 of resource 'pvc-1c57f6e3-...' [LVM] resized
Volume number 0 of resource 'pvc-1c57f6e3-....cache' [LVM] resiz
DRBD resized pvc-1c57f6e3-.../0
Beide LVs vergrößert, DRBD „vergrößert“, zur Writecache-Schicht kein Wort und kein Fehlerbericht. Ein stiller Fehler: Alle Werkzeuge melden Erfolg, die Anwendung bekommt keinen Platz. Tag 15 prüft das nach dem Update erneut.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Der Ausweg von Hand
Das Writecache-Gerät lässt sich im Betrieb mit neuer Länge neu laden
– auf jedem Node mit einer Datenkopie. Die neue Tabelle
entsteht aus der alten, nur die zweite Zahl (die Länge in Sektoren) wird
ersetzt. So tippst du keine Gerätenummern ab. Setze K auf
deinen eigenen Ressourcennamen:
# auf k0s-w1
K=pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.tableErwartet:
0 2105344 writecache s 252:1 252:2 4096 0
0 4202496 writecache s 252:1 252:2 4096 0
Achtung: Eine falsche Tabelle verbindet das Writecache-Gerät mit einem fremden LV oder schneidet Daten ab. Prüfe
cat /tmp/neu.tablevor demreload: Nur die zweite Zahl darf sich geändert haben.
Dann laden:
# auf k0s-w1
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D
sudo dmsetup table $DErwartet:
0 4202496 writecache s 252:1 252:2 4096 0
suspend hält kurz alle Zugriffe an, reload
lädt die neue Tabelle, resume gibt das Gerät frei.
Wiederhole beide Blöcke auf k0s-w2 – dort lauten die
Gerätenummern anders (252:4 252:5), deshalb das
awk.
Danach, nur auf dem Primary:
# auf k0s-w1
sudo drbdadm resize $K
sudo drbdadm status $K | tail -2
sudo resize2fs /dev/drbd1002Erwartet (gekürzt):
k0s-w2 role:Secondary
replication:SyncSource peer-disk:Inconsistent done:0.03
...
The filesystem on /dev/drbd1002 is now 525190 (4k) blocks long.
drbdadm resize übernimmt die neue Größe der Geräte
darunter und gleicht den neuen Bereich zur Gegenseite ab.
resize2fs vergrößert das gemountete ext4 online:
# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- df -h /datenErwartet:
Filesystem Size Used Available Use% Mounted on
/dev/drbd1002 1.9G 961.1M 921.6M 51% /daten
In Produktion gehst du diesen Weg nur, wenn es eilt. Die Alternative
ohne Handarbeit: ein neues, größeres PVC und die Daten auf
Anwendungsebene umziehen (pg_dump).
Fortschritt speichern? Kostenlos registrieren
Drill 6: Ein voller Pool – und die Zonen
Wie viel Platz ist frei?
# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_data pool_nvme | cut -c1-59Erwartet (gekürzt):
| StoragePool | Node | Driver | PoolName | FreeCapacity |
|==========================================================
| pool_data | k0s-w1 | LVM | data | 24.79 GiB |
| pool_data | k0s-w2 | LVM | data | 16.78 GiB |
| pool_data | k0s-w3 | LVM | data | 21.79 GiB |
| pool_nvme | k0s-w1 | LVM | cache | 1.74 GiB |
| pool_nvme | k0s-w2 | LVM | cache | 1.34 GiB |
| pool_nvme | k0s-w3 | LVM | cache | 1.59 GiB |
Deine Zahlen hängen davon ab, was schon im Cluster liegt (die Tabelle
stammt aus einem späteren Lauf mit mehr Volumes). k0s-w2
hat immer am wenigsten frei: Als einziger Node in Zone b trägt er von
jedem Volume eine Kopie. Wähle eine Größe, die auf k0s-w1
und k0s-w3 passt, aber nicht auf k0s-w2 – hier
20 GiB. Wegen replicasOnDifferent Aux/zone braucht das PVC
in jeder Zone einen Node mit genug Platz:
# auf k0s-ctrl
cat > zu-gross.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: zu-gross, namespace: kapazitaet}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 20Gi}}
---
apiVersion: v1
kind: Pod
metadata: {name: gross, namespace: kapazitaet}
spec:
containers:
- name: shell
image: busybox:1.37
command: [sleep, infinity]
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: zu-gross}
EOF
kubectl apply -f zu-gross.yaml
sleep 20
kubectl -n kapazitaet get pvc zu-gross | cut -c1-60
kubectl -n kapazitaet get events \
--field-selector involvedObject.name=zu-gross,reason=ProvisioningFailed \
-o jsonpath='{.items[-1:].message}' | sed -n '2,5p;/Replica count/p;/different/,+1p'Erwartet:
NAME STATUS VOLUME CAPACITY ACCESS MODES STOR
zu-gross Pending lins
* has a deployed storage pool named [pool_data]
* the storage pools have to have at least '20971520' free space
* the current access context has enough privileges to use the node and the storage pool
* the node is online
Replica count: 2
Replicas on nodes with different property:
Aux/zone
Die Meldung beginnt mit Not enough available nodes und
nennt alle Kriterien – aber nicht, welches gescheitert ist. Die
Gegenprobe: dieselbe Größe direkt in LINSTOR, zwei Kopien, ohne
Zonenregel:
# auf k0s-ctrl
linstor resource-definition create tag12-probe
linstor volume-definition create tag12-probe 20G
linstor --no-utf8 --no-color resource create tag12-probe --auto-place 2 \
--storage-pool pool_data | grep 'Used nodes'
linstor --no-utf8 --no-color resource list -r tag12-probe | cut -c1-88Erwartet (gekürzt):
Used nodes (storage pool name): 'k0s-w1 (pool_data)', 'k0s-w3 (pool_data)'
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|==================================================================================|
| tag12-probe | k0s-w1 | DRBD,STORAGE | Unused | Ok | UpToDate | Yes |
| tag12-probe | k0s-w2 | DRBD,STORAGE | Unused | Ok | Diskless | Yes |
| tag12-probe | k0s-w3 | DRBD,STORAGE | Unused | Ok | SyncTarget(1.26%) | Yes |
Ohne Zonenregel landen beide Kopien in Zone a, k0s-w2
bekommt nur den Tiebreaker. Der Platz reicht also – gescheitert ist das
PVC an der Zone. Bei knappem Platz scheitert die Platzierung früher, als
die Summe der freien Gigabytes vermuten lässt: Pro Zone muss es reichen,
und auch der Cache-Pool braucht seine 5 %. Die Probe kommt wieder weg,
das PVC bleibt für die Speed-Drills:
# auf k0s-ctrl
linstor resource-definition delete tag12-probe | tail -1Erwartet (gekürzt):
Resource definition 'tag12-probe' UUID was: …
Tipp: Scheitert die Probe mit
Not enough available nodes, obwohl die Tabelle genug Platz zeigt, warte eine halbe Minute und wiederholeresource create. Belegter und frei gewordener Platz kommt mit Verzögerung beim Controller an; im Labor hat der zweite Versuch geklappt, besonders direkt nach einem Löschen.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig den freien Platz im Cache-Pool auf allen Nodes. Zeitziel: 15 s
- Zeig auf
k0s-w2, ob das Writecache-Gerät von$Kso lang ist wie sein Daten-LV. Zeitziel: 45 s - Zeig, warum ein PVC
Pendingist. Zeitziel: 20 s
Lösung
# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_nvme | cut -c1-59
ssh k0s-w2 "sudo dmsetup table linstor_writecache_${K}_00000 | cut -d' ' -f2;
sudo blockdev --getsz /dev/data/${K}_00000"
kubectl -n kapazitaet describe pvc zu-gross | grep -m1 -o 'Not enough available nodes'Erwartet (gekürzt):
| pool_nvme | k0s-w1 | LVM | cache | 1.74 GiB |
...
4202496
4202496
Not enough available nodes
Zwei gleiche Zahlen: Das Writecache-Gerät auf k0s-w2 hat
seit Drill 5 die volle Länge.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- df -h /daten | tail -1Erwartet: Size um 1.9G – die
Vergrößerung ist im Dateisystem angekommen.
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faultyErwartet: eine leere Tabelle.
Challenge
Vergrößere klein auf 2500 MiB und bring den Platz bis
ins Dateisystem, ohne ins Buch zu sehen.
Hinweis: Erst wenn CAPACITY 2500Mi
zeigt, sind beide LVs gewachsen.
Lösung
# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
-p '{"spec":{"resources":{"requests":{"storage":"2500Mi"}}}}'
kubectl -n kapazitaet get pvc klein | cut -c1-80Erwartet (nach etwa 30 Sekunden):
NAME STATUS VOLUME CAPACITY ACCESS MO
klein Bound pvc-1c57f6e3-ceba-4aba-943d-ea4f467158fd 2500Mi RWO
500 MiB Zuwachs passen in den Cache-Pool. Dann auf
k0s-w1 und k0s-w2 wie in Drill 5 (in einer
neuen Sitzung vorher K und D wieder
setzen):
# auf k0s-w1
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $DAuf dem Primary zusätzlich:
# auf k0s-w1
sudo drbdadm resize $K
sudo resize2fs /dev/drbd1002# auf k0s-ctrl
kubectl -n kapazitaet exec fueller -- df -h /datenErwartet:
Filesystem Size Used Available Use% Mounted on
/dev/drbd1002 2.4G 961.1M 1.3G 41% /daten
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf k0s-ctrl
kubectl delete namespace kapazitaet
linstor --no-utf8 --no-color resource-definition list | grep -c pvc-Erwartet: 1 – LINSTOR hat die
Test-Volumes mit gelöscht, nur data-pg-0 bleibt.
Interview-Notiz
- Ein PVC ist voll – Storage-Problem? Nein. DRBD ist gesund, die Anwendung sieht ENOSPC. Lösung: vergrößern oder aufräumen, Füllstand überwachen.
- Kubernetes meldet die neue Größe, die Anwendung sieht sie nicht
– wie suchst du? Den Gerätestapel von unten:
lvs,dmsetup table,blockdev,df. - Warum ist ein PVC
Pending, obwohl genug Platz frei ist? Platzierungsregeln: Platz muss pro Zone reichen und in jedem Pool des Layer-Stacks, auch im Cache.
Enterprise-Notiz
- Füllstand von Dateisystemen und Pools getrennt alarmieren (Tag 18:
LinstorPoolFastVoll; für Dateisysteme bringt kube-prometheus-stackKubePersistentVolumeFillingUpmit): Das eine ist Sache des Anwendungsteams, das andere des Plattform-Teams. - Cache-Pool großzügig dimensionieren oder Writecache nur für Volumes mit bekannt begrenztem Wachstum einsetzen.
- Nach jeder Vergrößerung eines Writecache-Volumes
dfim Pod prüfen – oder per Admission-Policy und Runbook absichern. Den Fehler upstream melden (LINSTOR auf GitHub). - Platz pro Zone planen: Mit zwei Zonen braucht jede Zone die volle Kapazität aller Volumes.
- Die Falle steckt in der Writecache-Schicht: Volumes ohne Writecache wachsen ohne Handarbeit. Thin-LVM oder ZFS bringen eigene Risiken (Überbuchung) – bewusst entscheiden.