Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Eine Datenplatte tauschen

Ziel: Du erkennst eine ausgefallene Datenplatte, räumst ihre Reste ab, richtest die Ersatzplatte ein und lässt LINSTOR die Kopien neu aufbauen – ohne dass die Datenbank etwas merkt. · Dauer: ca. 45 min · Voraussetzung: Tag 13

Briefing

  • Fällt die Datenplatte aus, hängt DRBD sie beim ersten I/O-Fehler ab und läuft auf diesem Node diskless weiter. Die Anwendung merkt nichts.
  • LINSTOR setzt dann DrbdOptions/SkipDisk und versucht nicht ständig, die kaputte Platte wieder anzuhängen.
  • Bis zum Tausch gibt es von jeder betroffenen Ressource nur eine Kopie mit Daten.
  • Ablauf: Reste mit dmsetup remove abräumen, Ersatzplatte mit denselben VG-Namen einrichten, SkipDisk löschen, Resync abwarten.
  • Ohne Zugriff auf den Hypervisor stellst du Ausfall und Ersatz über den SCSI-Bus nach.
 sdb weg -> DRBD: UpToDate -> Failed -> Diskless   LINSTOR: SkipDisk (R)
 dmsetup remove (oben nach unten) -> neue Platte -> VGs data/cache -> SkipDisk weg
 -> LINSTOR legt LVs an -> Resync von der Gegenseite

Drill 1: Vorher

Ein zerstörerischer Tag beginnt mit einer frischen Sicherung (Tag 13). Dann der Blick auf die Platte, die es treffen soll – auf k0s-w2, dem einzigen Node in Zone b:

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag14 && cd ~/k0s-lab/tag14
velero -n velero backup create vor-tag14 --include-namespaces demo --wait
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
ssh k0s-w2 'lsblk -S -o NAME,HCTL,TYPE,MODEL; lsblk -o NAME,TYPE /dev/sdb'

Erwartet (gekürzt):

Backup completed with status: Completed. ...
NAME HCTL       TYPE MODEL
sda  0:0:0:0    disk QEMU HARDDISK
sdb  0:0:0:1    disk QEMU HARDDISK
sr0  2:0:0:0    rom  QEMU DVD-ROM
NAME                                                                    TYPE
sdb                                                                     disk
├─sdb1                                                                  part
│ ├─data-linstor_db_00000                                               lvm
│ │ └─drbd1000                                                          disk
│ └─data-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525_00000            lvm
│   └─linstor_writecache_pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000 dm
│     └─drbd1001                                                        disk
└─sdb2                                                                  part
  └─cache-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525.cache_00000     lvm
    └─linstor_writecache_pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000 dm
      └─drbd1001                                                        disk

Auf sdb liegen Kopien von linstor_db und der Datenbank. HCTL 0:0:0:1 heißt: Host 0, Kanal 0, Target 0, LUN 1 – dort taucht später die Ersatzplatte auf.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Der Defekt

delete entfernt das Gerät aus dem Kernel, als wäre es herausgezogen worden:

Achtung: Prüfe Host und Gerätenamen zweimal. sda ist die Systemplatte – trifft es sie, ist der Node weg.

# auf k0s-w2
echo 1 | sudo tee /sys/block/sdb/device/delete
sleep 10
sudo journalctl -k --since -1min | grep -E 'sdb|Failed|Detach|go-diskless' | cut -c1-88

Erwartet (gekürzt):

1
Nov 20 02:46:34 k0s-w2 kernel: sd 0:0:0:1: [sdb] Synchronizing SCSI cache
Nov 20 02:46:35 k0s-w2 kernel: drbd pvc-11dccaf7-.../0 drbd1001: ...
...
Nov 20 02:46:40 k0s-w2 kernel: drbd linstor_db/0 drbd1000: disk( UpToDate -> Failed ) [l
Nov 20 02:46:40 k0s-w2 kernel: drbd linstor_db/0 drbd1000: Local IO failed in drbd_endio
Nov 20 02:46:40 k0s-w2 kernel: drbd linstor_db/0 drbd1000: disk( Failed -> Diskless ) [g

Mit breiterem cut liest du disk( UpToDate -> Failed ) [local-io-error] und Detaching.... DRBD hat beim ersten Schreibfehler die Platte abgehängt – erst die Datenbank, fünf Sekunden später linstor_db, sobald dort geschrieben wurde. Was sieht DRBD jetzt?

# auf k0s-ctrl
ssh k0s-w2 "sudo drbdadm status $R"

Erwartet:

pvc-11dccaf7-... role:Secondary
  disk:Diskless client:no open:no
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w3 role:Primary
    peer-disk:UpToDate

client:no heißt: Diese Kopie sollte Daten haben, hat aber keine. Eine gewollt disklose Kopie wie auf der Witness zeigt client:yes. Und die Anwendung?

# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --since=1m | grep -c FEHLER

Erwartet: 0. Der Primary auf k0s-w3 hat seine Platte noch.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Die Sicht von LINSTOR

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list -n k0s-w2 | cut -c44-130
linstor --no-utf8 --no-color storage-pool list -n k0s-w2 -s pool_data pool_nvme \
  | cut -c1-60

Erwartet (gekürzt):

...
| k0s-w2 | DRBD,STORAGE            | Unused | Ok    | Diskless, SkipDisk (R) | Yes  |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok    | Diskless, SkipDisk (R) | Yes  |
...
SkipDisk:
  At least one resource has 'DrbdOptions/SkipDisk' enabled. This indicates an IO err ...
  affected resource(s). Remove this property (using 'linstor resource set-property $ ...
...
| pool_data   | k0s-w2 | LVM    | data     |    27.79 GiB |
| pool_nvme   | k0s-w2 | LVM    | cache    |     1.89 GiB |

LINSTOR hat bei beiden Ressourcen SkipDisk gesetzt und sagt gleich, wie es weitergeht. Der Pool steht dagegen noch auf den alten Werten, als wäre nichts passiert. Verlass dich bei Plattenfehlern auf DRBD, nicht auf die Pool-Liste.

Tipp: Bis zum Tausch hat data-pg-0 nur noch eine Kopie mit Daten. Fällt jetzt auch k0s-w3 aus, steht die Datenbank; stirbt dort die Platte, sind die Daten weg. Ein Plattendefekt ist dringend, auch wenn alles weiterläuft – genau dafür gibt es den Alarm „unintentional diskless“ (Tag 18).

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die Reste abräumen

Von der alten Platte sind Device-Mapper-Geräte übrig:

# auf k0s-w2
sudo dmsetup info -c -o name,open
sudo vgs

Erwartet:

Name                                                              Open
cache-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525.cache_00000      1
data-linstor_db_00000                                                0
data-pvc--11dccaf7--f197--4448--b834--1b5db5b0b525_00000             1
linstor_writecache_pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000    0

vgs zeigt nichts mehr – die VGs sind mit der Platte verschwunden, ihre Geräte nicht. Die neuen LVs bekommen dieselben Namen und würden mit ihnen kollidieren. Du entfernst sie von oben nach unten: erst den Writecache, dann die LVs. Device-Mapper verdoppelt Bindestriche im LV-Namen, die Shell rechnet das für dich um. Setze R auf deinen Ressourcennamen:

# auf k0s-w2
R=pvc-11dccaf7-f197-4448-b834-1b5db5b0b525
M=${R//-/--}
sudo dmsetup remove linstor_writecache_${R}_00000
sudo dmsetup remove cache-${M}.cache_00000
sudo dmsetup remove data-${M}_00000
sudo dmsetup remove data-linstor_db_00000
sudo dmsetup ls

Erwartet:

No devices found

Auf einem Node mit mehreren Platten liegen daneben gesunde Geräte: Entferne nur, was zur ausgefallenen Platte gehört (lsblk zeigt, was noch an einer vorhandenen Platte hängt).

Fortschritt speichern? Kostenlos registrieren

Drill 5: Die Ersatzplatte

Ein Rescan des SCSI-Busses bringt die Platte zurück – im Labor die „neue“ Platte:

# auf k0s-w2
echo "- - -" | sudo tee /sys/class/scsi_host/host0/scan
sleep 5
lsblk -o NAME,SIZE,TYPE,FSTYPE /dev/sdb
sudo vgs

Erwartet:

- - -
NAME   SIZE TYPE FSTYPE
sdb     32G disk
├─sdb1  30G part LVM2_member
└─sdb2   2G part LVM2_member
  VG    #PV #LV #SN Attr   VSize   VFree
  cache   1   1   0 wz--n-  <2.00g  1.89g
  data    1   2   0 wz--n- <30.00g 27.79g

- - - heißt: alle Kanäle, Targets und LUNs von host0 absuchen. Es ist dieselbe Platte, mit alten Partitionen und VGs. Eine echte Ersatzplatte wäre leer – also machst du sie leer:

Achtung: vgremove -f und wipefs -a löschen ohne Rückfrage. Nur auf der Ersatzplatte, nie auf sda.

# auf k0s-w2
sudo vgremove -f data cache
sudo wipefs -a /dev/sdb1 /dev/sdb2 /dev/sdb
lsblk /dev/sdb

Erwartet (gekürzt):

  Logical volume "linstor_db_00000" successfully removed.
...
  Volume group "cache" successfully removed
/dev/sdb1: 8 bytes were erased at offset 0x00000218 (LVM2_member): 4c 56 4d 32 20 30 ...
...
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb    8:16   0  32G  0 disk

Tipp: Mit Hypervisor-Zugriff ist der Weg echter: Platte im laufenden Betrieb abhängen (Proxmox: Hardware → Detach → Remove), neue Platte gleicher Größe am selben Bus hinzufügen. Sie kann dann sdc heißen – LVM ist das egal, es erkennt seine PVs an der UUID; in den Befehlen unten setzt du dann sdc ein.

Jetzt genau wie an Tag 0, mit denselben VG-Namen. Die Storage-Pools in LINSTOR verweisen auf diese Namen und bleiben dadurch unverändert:

# auf k0s-w2
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2
sudo vgs

Erwartet (gekürzt):

  VG    #PV #LV #SN Attr   VSize   VFree
  cache   1   0   0 wz--n-  <2.00g  <2.00g
  data    1   0   0 wz--n- <30.00g <30.00g

Fortschritt speichern? Kostenlos registrieren

Drill 6: Die Kopien neu aufbauen

Jetzt tust du, was LINSTOR vorgeschlagen hat. Eine Property ohne Wert wird gelöscht:

# auf k0s-ctrl
linstor resource set-property k0s-w2 linstor_db DrbdOptions/SkipDisk
linstor resource set-property k0s-w2 $R DrbdOptions/SkipDisk
sleep 5
linstor --no-utf8 --no-color resource list -n k0s-w2 | cut -c44-120
ssh k0s-w2 "sudo drbdadm status $R"

Erwartet (gekürzt):

...
| k0s-w2 | DRBD,STORAGE            | Unused | Ok    |           UpToDate |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok    | SyncTarget(24.54%) |
pvc-11dccaf7-... role:Secondary
  disk:Inconsistent open:no
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes resync-suspended:dependency
  k0s-w3 role:Primary
    replication:SyncTarget peer-disk:UpToDate done:34.99

LINSTOR legt die LVs neu an, baut den Writecache auf und hängt alles wieder unter DRBD. DRBD synchronisiert von k0s-w3. Eine halbe Minute später:

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty | cut -c1-70
ssh k0s-w2 'sudo lvs -o lv_name,vg_name,lv_size'
kubectl -n demo logs deploy/pg-client --since=5m | grep -c FEHLER

Erwartet:

+-------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|=============================================================|
+-------------------------------------------------------------+
  LV                                                   VG    LSize
  pvc-11dccaf7-f197-4448-b834-1b5db5b0b525.cache_00000 cache 104.00m
  linstor_db_00000                                     data  204.00m
  pvc-11dccaf7-f197-4448-b834-1b5db5b0b525_00000       data    2.00g
0

Derselbe Aufbau wie in Tag 5, auf der neuen Platte, der Cache wieder in cache. Die Datenbank hat während des ganzen Tauschs keinen einzigen Fehler gesehen.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig alle Ressourcen mit SkipDisk. Zeitziel: 15 s
  2. Zeig auf k0s-w2 alle Device-Mapper-Geräte mit Öffnungszähler. Zeitziel: 15 s
  3. Zeig, an welchem SCSI-Host die Datenplatte von k0s-w3 hängt. Zeitziel: 20 s

Lösung

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list | grep -c 'SkipDisk (R)'
ssh k0s-w2 'sudo dmsetup info -c -o name,open'
ssh k0s-w3 'lsblk -d -o NAME,HCTL | grep sd'

Erwartet (gekürzt):

0
Name                                                              Open
...
sda  0:0:0:0
sdb  0:0:0:1

Erste Zahl von HCTL: Host 0, also /sys/class/scsi_host/host0/scan.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty

Erwartet: eine leere Tabelle.

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list | grep -c SkipDisk

Erwartet: 0.

# auf k0s-ctrl
ssh k0s-w2 'sudo vgs --noheadings -o vg_name,lv_count'

Erwartet: cache 1 und data 2.

Challenge

Jetzt fällt die Platte unter dem Primary aus: auf dem Node, auf dem pg-0 läuft. Bekommt die Datenbank Fehler? Tausche die Platte danach wie oben.

Hinweis: Ein diskless Primary liest und schreibt über das Netz auf die andere Kopie.

Lösung

Achtung: Wie in Drill 2 und 5: delete, vgremove -f und wipefs -a nur auf k0s-w3 und nur auf sdb – nie auf sda.

# auf k0s-w3
echo 1 | sudo tee /sys/block/sdb/device/delete
# auf k0s-ctrl
ssh k0s-w3 "sudo drbdadm status $R"
kubectl -n demo logs deploy/pg-client --since=1m | grep -c FEHLER

Erwartet:

pvc-11dccaf7-... role:Primary
  disk:Diskless client:no open:yes
  k0s-ctrl role:Secondary
    peer-disk:Diskless peer-client:yes
  k0s-w2 role:Secondary
    peer-disk:UpToDate
0

Der Primary bleibt Primary, nur ohne eigene Platte; jeder Zugriff geht jetzt über das Storage-Netz zu k0s-w2. Kein Fehler im Client. Dann Drill 4 bis 6 auf k0s-w3:

# auf k0s-w3
R=pvc-11dccaf7-f197-4448-b834-1b5db5b0b525
M=${R//-/--}
sudo dmsetup remove linstor_writecache_${R}_00000
sudo dmsetup remove cache-${M}.cache_00000
sudo dmsetup remove data-${M}_00000
sudo dmsetup remove data-linstor_db_00000
echo "- - -" | sudo tee /sys/class/scsi_host/host0/scan
sleep 5
sudo vgremove -f data cache
sudo wipefs -a /dev/sdb1 /dev/sdb2 /dev/sdb
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2
# auf k0s-ctrl
linstor resource set-property k0s-w3 linstor_db DrbdOptions/SkipDisk
linstor resource set-property k0s-w3 $R DrbdOptions/SkipDisk
sleep 30
ssh k0s-w3 "sudo drbdadm status $R | head -2"
kubectl -n demo logs deploy/pg-client --since=3m | grep -c FEHLER

Erwartet:

pvc-11dccaf7-... role:Primary
  disk:UpToDate open:yes
0

Auch der Writecache unter einem laufenden Primary lässt sich so abräumen: DRBD hatte die Schicht beim Ausfall schon losgelassen.

Fortschritt speichern? Kostenlos registrieren

Interview-Notiz

  • Was passiert bei DRBD, wenn die lokale Platte ausfällt? Es hängt sie ab und läuft diskless weiter; ein Primary liest und schreibt über das Netz bei der Gegenseite.
  • Woran erkennst du einen ungewollt disklosen Node? disk:Diskless client:no in drbdadm status, in LINSTOR Diskless, SkipDisk (R).
  • Warum dieselben VG-Namen auf der Ersatzplatte? Die Storage-Pools verweisen auf den VG-Namen; so bleibt die LINSTOR-Konfiguration unverändert.

Enterprise-Notiz

  • Mit RAID unter LVM erledigt der RAID-Controller den Tausch ohne DRBD-Resync – DRBD ersetzt RAID nicht, es ergänzt es über Nodes hinweg.
  • Plattentausch als Runbook mit eindeutiger Identifikation (Seriennummer, Slot-LED), nicht nach sdX-Namen.
  • Ungewollt diskless sofort alarmieren: Bis zum Tausch ist die Redundanz weg.
  • Resync-Rate begrenzen (c-max-rate), damit der Neuaufbau großer Volumes die Anwendung nicht ausbremst.
  • Writecache-Geräte auf NVMe fallen anders aus als HDDs – beide Platten pro Node überwachen.