Tag 14: Eine Datenplatte tauschen
Ziel: Du erkennst eine ausgefallene Datenplatte, räumst ihre Reste ab, richtest die Ersatzplatte ein und lässt LINSTOR die Kopien neu aufbauen – ohne dass die Datenbank etwas merkt. · Dauer: ca. 45 min · Voraussetzung: Tag 13
Briefing
- Fällt die Datenplatte aus, hängt DRBD sie beim ersten I/O-Fehler ab und läuft auf diesem Node diskless weiter. Die Anwendung merkt nichts.
- LINSTOR setzt dann
DrbdOptions/SkipDiskund versucht nicht ständig, die kaputte Platte wieder anzuhängen. - Bis zum Tausch gibt es von jeder betroffenen Ressource nur eine Kopie mit Daten.
- Ablauf: Reste mit
dmsetup removeabräumen, Ersatzplatte mit denselben VG-Namen einrichten,SkipDisklöschen, Resync abwarten. - Ohne Zugriff auf den Hypervisor stellst du Ausfall und Ersatz über den SCSI-Bus nach.
sdb weg -> DRBD: UpToDate -> Failed -> Diskless LINSTOR: SkipDisk (R)
dmsetup remove (oben nach unten) -> neue Platte -> VGs data/cache -> SkipDisk weg
-> LINSTOR legt LVs an -> Resync von der Gegenseite
Drill 1: Vorher
Ein zerstörerischer Tag beginnt mit einer frischen Sicherung (Tag
13). Dann der Blick auf die Platte, die es treffen soll – auf
k0s-w2, dem einzigen Node in Zone b:
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag14 && cd ~/k0s-lab/tag14
velero -n velero backup create vor-tag14 --include-namespaces demo --wait
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
ssh k0s-w2 'lsblk -S -o NAME,HCTL,TYPE,MODEL; lsblk -o NAME,TYPE /dev/sdb'Erwartet (gekürzt):
Backup completed with status: Completed. ...
NAME HCTL TYPE MODEL
sda 0:0:0:0 disk QEMU HARDDISK
sdb 0:0:0:1 disk QEMU HARDDISK
sr0 2:0:0:0 rom QEMU DVD-ROM
NAME TYPE
sdb disk
├─sdb1 part
│ ├─data-linstor_db_00000 lvm
│ │ └─drbd1000 disk
│ └─data-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525_00000 lvm
│ └─linstor_writecache_pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000 dm
│ └─drbd1001 disk
└─sdb2 part
└─cache-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525.cache_00000 lvm
└─linstor_writecache_pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000 dm
└─drbd1001 disk
Auf sdb liegen Kopien von linstor_db und
der Datenbank. HCTL 0:0:0:1 heißt: Host 0, Kanal 0, Target
0, LUN 1 – dort taucht später die Ersatzplatte auf.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Der Defekt
delete entfernt das Gerät aus dem Kernel, als wäre es
herausgezogen worden:
Achtung: Prüfe Host und Gerätenamen zweimal.
sdaist die Systemplatte – trifft es sie, ist der Node weg.
# auf k0s-w2
echo 1 | sudo tee /sys/block/sdb/device/delete
sleep 10
sudo journalctl -k --since -1min | grep -E 'sdb|Failed|Detach|go-diskless' | cut -c1-88Erwartet (gekürzt):
1
Nov 20 02:46:34 k0s-w2 kernel: sd 0:0:0:1: [sdb] Synchronizing SCSI cache
Nov 20 02:46:35 k0s-w2 kernel: drbd pvc-11dccaf7-.../0 drbd1001: ...
...
Nov 20 02:46:40 k0s-w2 kernel: drbd linstor_db/0 drbd1000: disk( UpToDate -> Failed ) [l
Nov 20 02:46:40 k0s-w2 kernel: drbd linstor_db/0 drbd1000: Local IO failed in drbd_endio
Nov 20 02:46:40 k0s-w2 kernel: drbd linstor_db/0 drbd1000: disk( Failed -> Diskless ) [g
Mit breiterem cut liest du
disk( UpToDate -> Failed ) [local-io-error] und
Detaching.... DRBD hat beim ersten Schreibfehler die Platte
abgehängt – erst die Datenbank, fünf Sekunden später
linstor_db, sobald dort geschrieben wurde. Was sieht DRBD
jetzt?
# auf k0s-ctrl
ssh k0s-w2 "sudo drbdadm status $R"Erwartet:
pvc-11dccaf7-... role:Secondary
disk:Diskless client:no open:no
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w3 role:Primary
peer-disk:UpToDate
client:no heißt: Diese Kopie sollte
Daten haben, hat aber keine. Eine gewollt disklose Kopie wie auf der
Witness zeigt client:yes. Und die Anwendung?
# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --since=1m | grep -c FEHLERErwartet: 0. Der Primary auf
k0s-w3 hat seine Platte noch.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Die Sicht von LINSTOR
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -n k0s-w2 | cut -c44-130
linstor --no-utf8 --no-color storage-pool list -n k0s-w2 -s pool_data pool_nvme \
| cut -c1-60Erwartet (gekürzt):
...
| k0s-w2 | DRBD,STORAGE | Unused | Ok | Diskless, SkipDisk (R) | Yes |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | Diskless, SkipDisk (R) | Yes |
...
SkipDisk:
At least one resource has 'DrbdOptions/SkipDisk' enabled. This indicates an IO err ...
affected resource(s). Remove this property (using 'linstor resource set-property $ ...
...
| pool_data | k0s-w2 | LVM | data | 27.79 GiB |
| pool_nvme | k0s-w2 | LVM | cache | 1.89 GiB |
LINSTOR hat bei beiden Ressourcen SkipDisk gesetzt und
sagt gleich, wie es weitergeht. Der Pool steht dagegen noch auf den
alten Werten, als wäre nichts passiert. Verlass dich bei Plattenfehlern
auf DRBD, nicht auf die Pool-Liste.
Tipp: Bis zum Tausch hat
data-pg-0nur noch eine Kopie mit Daten. Fällt jetzt auchk0s-w3aus, steht die Datenbank; stirbt dort die Platte, sind die Daten weg. Ein Plattendefekt ist dringend, auch wenn alles weiterläuft – genau dafür gibt es den Alarm „unintentional diskless“ (Tag 18).
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Reste abräumen
Von der alten Platte sind Device-Mapper-Geräte übrig:
# auf k0s-w2
sudo dmsetup info -c -o name,open
sudo vgsErwartet:
Name Open
cache-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525.cache_00000 1
data-linstor_db_00000 0
data-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525_00000 1
linstor_writecache_pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000 0
vgs zeigt nichts mehr – die VGs sind mit der Platte
verschwunden, ihre Geräte nicht. Die neuen LVs bekommen dieselben Namen
und würden mit ihnen kollidieren. Du entfernst sie von oben nach unten:
erst den Writecache, dann die LVs. Device-Mapper verdoppelt Bindestriche
im LV-Namen, die Shell rechnet das für dich um. Setze R auf
deinen Ressourcennamen:
# auf k0s-w2
R=pvc-11dccaf7-f197-4448-b834-1b5db5b0b525
M=${R//-/--}
sudo dmsetup remove linstor_writecache_${R}_00000
sudo dmsetup remove cache-${M}.cache_00000
sudo dmsetup remove data-${M}_00000
sudo dmsetup remove data-linstor_db_00000
sudo dmsetup lsErwartet:
No devices found
Auf einem Node mit mehreren Platten liegen daneben gesunde Geräte:
Entferne nur, was zur ausgefallenen Platte gehört (lsblk
zeigt, was noch an einer vorhandenen Platte hängt).
Fortschritt speichern? Kostenlos registrieren
Drill 5: Die Ersatzplatte
Ein Rescan des SCSI-Busses bringt die Platte zurück – im Labor die „neue“ Platte:
# auf k0s-w2
echo "- - -" | sudo tee /sys/class/scsi_host/host0/scan
sleep 5
lsblk -o NAME,SIZE,TYPE,FSTYPE /dev/sdb
sudo vgsErwartet:
- - -
NAME SIZE TYPE FSTYPE
sdb 32G disk
├─sdb1 30G part LVM2_member
└─sdb2 2G part LVM2_member
VG #PV #LV #SN Attr VSize VFree
cache 1 1 0 wz--n- <2.00g 1.89g
data 1 2 0 wz--n- <30.00g 27.79g
- - - heißt: alle Kanäle, Targets und LUNs von
host0 absuchen. Es ist dieselbe Platte, mit alten
Partitionen und VGs. Eine echte Ersatzplatte wäre leer – also machst du
sie leer:
Achtung:
vgremove -fundwipefs -alöschen ohne Rückfrage. Nur auf der Ersatzplatte, nie aufsda.
# auf k0s-w2
sudo vgremove -f data cache
sudo wipefs -a /dev/sdb1 /dev/sdb2 /dev/sdb
lsblk /dev/sdbErwartet (gekürzt):
Logical volume "linstor_db_00000" successfully removed.
...
Volume group "cache" successfully removed
/dev/sdb1: 8 bytes were erased at offset 0x00000218 (LVM2_member): 4c 56 4d 32 20 30 ...
...
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 32G 0 disk
Tipp: Mit Hypervisor-Zugriff ist der Weg echter: Platte im laufenden Betrieb abhängen (Proxmox: Hardware → Detach → Remove), neue Platte gleicher Größe am selben Bus hinzufügen. Sie kann dann
sdcheißen – LVM ist das egal, es erkennt seine PVs an der UUID; in den Befehlen unten setzt du dannsdcein.
Jetzt genau wie an Tag 0, mit denselben VG-Namen. Die Storage-Pools in LINSTOR verweisen auf diese Namen und bleiben dadurch unverändert:
# auf k0s-w2
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2
sudo vgsErwartet (gekürzt):
VG #PV #LV #SN Attr VSize VFree
cache 1 0 0 wz--n- <2.00g <2.00g
data 1 0 0 wz--n- <30.00g <30.00g
Fortschritt speichern? Kostenlos registrieren
Drill 6: Die Kopien neu aufbauen
Jetzt tust du, was LINSTOR vorgeschlagen hat. Eine Property ohne Wert wird gelöscht:
# auf k0s-ctrl
linstor resource set-property k0s-w2 linstor_db DrbdOptions/SkipDisk
linstor resource set-property k0s-w2 $R DrbdOptions/SkipDisk
sleep 5
linstor --no-utf8 --no-color resource list -n k0s-w2 | cut -c44-120
ssh k0s-w2 "sudo drbdadm status $R"Erwartet (gekürzt):
...
| k0s-w2 | DRBD,STORAGE | Unused | Ok | UpToDate |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | SyncTarget(24.54%) |
pvc-11dccaf7-... role:Secondary
disk:Inconsistent open:no
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes resync-suspended:dependency
k0s-w3 role:Primary
replication:SyncTarget peer-disk:UpToDate done:34.99
LINSTOR legt die LVs neu an, baut den Writecache auf und hängt alles
wieder unter DRBD. DRBD synchronisiert von k0s-w3. Eine
halbe Minute später:
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | cut -c1-70
ssh k0s-w2 'sudo lvs -o lv_name,vg_name,lv_size'
kubectl -n demo logs deploy/pg-client --since=5m | grep -c FEHLERErwartet:
+-------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|=============================================================|
+-------------------------------------------------------------+
LV VG LSize
pvc-11dccaf7-f197-4448-b834-1b5db5b0b525.cache_00000 cache 104.00m
linstor_db_00000 data 204.00m
pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000 data 2.00g
0
Derselbe Aufbau wie in Tag 5, auf der neuen Platte, der Cache wieder
in cache. Die Datenbank hat während des ganzen Tauschs
keinen einzigen Fehler gesehen.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig alle Ressourcen mit
SkipDisk. Zeitziel: 15 s - Zeig auf
k0s-w2alle Device-Mapper-Geräte mit Öffnungszähler. Zeitziel: 15 s - Zeig, an welchem SCSI-Host die Datenplatte von
k0s-w3hängt. Zeitziel: 20 s
Lösung
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list | grep -c 'SkipDisk (R)'
ssh k0s-w2 'sudo dmsetup info -c -o name,open'
ssh k0s-w3 'lsblk -d -o NAME,HCTL | grep sd'Erwartet (gekürzt):
0
Name Open
...
sda 0:0:0:0
sdb 0:0:0:1
Erste Zahl von HCTL: Host 0, also
/sys/class/scsi_host/host0/scan.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faultyErwartet: eine leere Tabelle.
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list | grep -c SkipDiskErwartet: 0.
# auf k0s-ctrl
ssh k0s-w2 'sudo vgs --noheadings -o vg_name,lv_count'Erwartet: cache 1 und
data 2.
Challenge
Jetzt fällt die Platte unter dem Primary aus: auf
dem Node, auf dem pg-0 läuft. Bekommt die Datenbank Fehler?
Tausche die Platte danach wie oben.
Hinweis: Ein diskless Primary liest und schreibt über das Netz auf die andere Kopie.
Lösung
Achtung: Wie in Drill 2 und 5:
delete,vgremove -fundwipefs -anur aufk0s-w3und nur aufsdb– nie aufsda.
# auf k0s-w3
echo 1 | sudo tee /sys/block/sdb/device/delete# auf k0s-ctrl
ssh k0s-w3 "sudo drbdadm status $R"
kubectl -n demo logs deploy/pg-client --since=1m | grep -c FEHLERErwartet:
pvc-11dccaf7-... role:Primary
disk:Diskless client:no open:yes
k0s-ctrl role:Secondary
peer-disk:Diskless peer-client:yes
k0s-w2 role:Secondary
peer-disk:UpToDate
0
Der Primary bleibt Primary, nur ohne eigene Platte; jeder Zugriff
geht jetzt über das Storage-Netz zu k0s-w2. Kein Fehler im
Client. Dann Drill 4 bis 6 auf k0s-w3:
# auf k0s-w3
R=pvc-11dccaf7-f197-4448-b834-1b5db5b0b525
M=${R//-/--}
sudo dmsetup remove linstor_writecache_${R}_00000
sudo dmsetup remove cache-${M}.cache_00000
sudo dmsetup remove data-${M}_00000
sudo dmsetup remove data-linstor_db_00000
echo "- - -" | sudo tee /sys/class/scsi_host/host0/scan
sleep 5
sudo vgremove -f data cache
sudo wipefs -a /dev/sdb1 /dev/sdb2 /dev/sdb
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2# auf k0s-ctrl
linstor resource set-property k0s-w3 linstor_db DrbdOptions/SkipDisk
linstor resource set-property k0s-w3 $R DrbdOptions/SkipDisk
sleep 30
ssh k0s-w3 "sudo drbdadm status $R | head -2"
kubectl -n demo logs deploy/pg-client --since=3m | grep -c FEHLERErwartet:
pvc-11dccaf7-... role:Primary
disk:UpToDate open:yes
0
Auch der Writecache unter einem laufenden Primary lässt sich so abräumen: DRBD hatte die Schicht beim Ausfall schon losgelassen.
Fortschritt speichern? Kostenlos registrieren
Interview-Notiz
- Was passiert bei DRBD, wenn die lokale Platte ausfällt? Es hängt sie ab und läuft diskless weiter; ein Primary liest und schreibt über das Netz bei der Gegenseite.
- Woran erkennst du einen ungewollt disklosen Node?
disk:Diskless client:noindrbdadm status, in LINSTORDiskless, SkipDisk (R). - Warum dieselben VG-Namen auf der Ersatzplatte? Die Storage-Pools verweisen auf den VG-Namen; so bleibt die LINSTOR-Konfiguration unverändert.
Enterprise-Notiz
- Mit RAID unter LVM erledigt der RAID-Controller den Tausch ohne DRBD-Resync – DRBD ersetzt RAID nicht, es ergänzt es über Nodes hinweg.
- Plattentausch als Runbook mit eindeutiger Identifikation
(Seriennummer, Slot-LED), nicht nach
sdX-Namen. - Ungewollt diskless sofort alarmieren: Bis zum Tausch ist die Redundanz weg.
- Resync-Rate begrenzen (
c-max-rate), damit der Neuaufbau großer Volumes die Anwendung nicht ausbremst. - Writecache-Geräte auf NVMe fallen anders aus als HDDs – beide Platten pro Node überwachen.