Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 3: DRBD und LINSTOR auf den Hosts

Ziel: DRBD 9.3 läuft als Kernelmodul auf allen vier Hosts, LINSTOR 1.34.2 ist in fester Version installiert und gegen Updates gesperrt, und es läuft genau ein Controller. · Dauer: ca. 60 min · Voraussetzung: Tag 0

Briefing

  • LINSTOR läuft als systemd-Dienst auf den Hosts. So übersteht der Speicher jedes k0s-Update und sogar einen Neuaufbau von k0s.
  • DRBD ist ein Kernelmodul, gebaut per DKMS passend zum laufenden Kernel. drbd-utils und drbd-reactor kommen aus dem LINBIT-PPA.
  • Das PPA führt immer nur die neueste LINSTOR-Version – heute sogar eine Beta. Feste Versionen holst du als .deb aus LINBITs öffentlichem Repository und sperrst sie mit apt-mark hold.
  • Satellite auf allen vier Hosts, Controller-Paket nur auf den Kandidaten k0s-w1 bis k0s-w3. Die Witness k0s-ctrl wird nie Controller.

Drill 1: Das PPA und seine Versionen

Paket Version Quelle Hosts
drbd-dkms, drbd-utils 9.3.4, 9.36.0 PPA alle
drbd-reactor, linstor-client 1.12.0, 1.29.1 PPA alle
linstor-common, -satellite 1.34.2 packages.linbit.com alle
linstor-controller 1.34.2 packages.linbit.com w1, w2, w3

Drill 1 bis 3 zeigt das Buch für k0s-w1. Melde dich mit ssh k0s-w1 an.

# auf k0s-w1
sudo add-apt-repository -y ppa:linbit/linbit-drbd9-stack
sudo apt-get update -qq
apt-cache policy drbd-dkms drbd-utils drbd-reactor linstor-satellite linstor-client \
  | grep -E '^[a-z]|Candidate'

Erwartet (gekürzt):

More info: https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack
Adding repository.
drbd-dkms:
  Candidate: 9.3.4-1ppa1~noble1
drbd-utils:
  Candidate: 9.36.0-1ppa1~noble1
drbd-reactor:
  Candidate: 1.12.0-1ppa1~noble1
linstor-satellite:
  Candidate: 1.36.0-beta.1-1ppa1~noble1
linstor-client:
  Candidate: 1.29.1-1ppa1~noble1

linstor-satellite würde als Beta installiert. Deshalb kommen die LINSTOR-Server- Pakete gleich aus einer anderen Quelle. Das PPA hat amd64 und arm64 mit denselben Versionen. Ubuntu selbst bringt nur drbd-utils 9.22 mit, zu alt für DRBD 9.3.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Das DRBD-Modul bauen

# auf k0s-w1
time sudo apt-get install -y linux-headers-$(uname -r) drbd-dkms drbd-utils \
  drbd-reactor linstor-client thin-provisioning-tools default-jre-headless

Erwartet (gekürzt):

Setting up drbd-dkms (9.3.4-1ppa1~noble1) ...
Loading new drbd-9.3.4-1ppa1~noble1 DKMS files...
Building for 6.8.0-149-generic
Building initial module for 6.8.0-149-generic
Done.

drbd.ko.zst:
Running module version sanity check.
 - Original module
   - No original module exists within this kernel
 - Installation
   - Installing to /lib/modules/6.8.0-149-generic/updates/dkms/
...
Setting up drbd-reactor (1.12.0-1ppa1~noble1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/drbd-reactor.service ...
Setting up default-jre-headless (2:1.21-75+exp1) ...

real    3m20.939s

Gut drei Minuten auf 2 vCPU, fast alles davon ist der Modul-Build. Die Header des laufenden Kernels sind Pflicht, sonst kann DKMS nichts bauen. thin-provisioning-tools braucht der Satellite, Java 21 der Controller und der Satellite.

# auf k0s-w1
dkms status
cat /proc/drbd

Erwartet:

drbd/9.3.4-1ppa1~noble1, 6.8.0-149-generic, x86_64: installed
version: 9.3.4 (api:2/proto:118-125)
GIT-hash: e59b287b199f7224468af85b68a10e83c68213f5 build by root@k0s-w1, 2026-11-20 0...
Transports (api:22):

Das Modul ist schon geladen, obwohl du es nicht geladen hast: drbd-reactor ist sofort gestartet und hat es beim ersten drbdsetup-Aufruf nachgezogen. build by root@k0s-w1 beweist, dass es dein DKMS-Build ist. Stünde dort version: 8.4.x, wäre das alte Modul eines Ubuntu-Kernels geladen und DKMS hätte nicht gebaut.

Fortschritt speichern? Kostenlos registrieren

Drill 3: LINSTOR in fester Version

LINBITs öffentliches Repository hält ältere Versionen vor. Die LINSTOR-Pakete sind reines Java (_all.deb), deshalb laufen die Debian-trixie-Pakete auch auf Ubuntu noble.

# auf k0s-w1
mkdir -p ~/debs && cd ~/debs
B=https://packages.linbit.com/public/dists/trixie/misc/pool
L=1.34.2-1
curl -sSfLO $B/linstor-common_${L}_all.deb
curl -sSfLO $B/linstor-satellite_${L}_all.deb
curl -sSfLO $B/linstor-controller_${L}_all.deb

Prüfe die Dateien gegen den Paketindex, bevor du sie installierst:

# auf k0s-w1
ARCH=$(dpkg --print-architecture)
curl -sSfLo Packages \
  https://packages.linbit.com/public/dists/trixie/misc/binary-$ARCH/Packages
grep -A4 "linstor-[a-z]*_${L}_all.deb" Packages \
  | awk '/Filename/ {sub(/.*\//, "", $2); f=$2} /SHA256/ {print $2 "  " f}' \
  | sha256sum -c

Erwartet:

linstor-common_1.34.2-1_all.deb: OK
linstor-controller_1.34.2-1_all.deb: OK
linstor-satellite_1.34.2-1_all.deb: OK

awk baut aus den Zeilen Filename: und SHA256: des Index eine Liste im Format von sha256sum, die sha256sum -c dann prüft. Jetzt installieren und sperren:

# auf k0s-w1
sudo apt-get install -y ./linstor-common_${L}_all.deb \
  ./linstor-satellite_${L}_all.deb ./linstor-controller_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite linstor-controller \
  drbd-dkms drbd-utils
dpkg -l | grep -E 'linstor|drbd' | awk '{print $1, $2, $3}'

Erwartet (gekürzt):

Setting up linstor-common (1.34.2-1) ...
Setting up linstor-satellite (1.34.2-1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/linstor-satellite.servic...
Setting up linstor-controller (1.34.2-1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/linstor-controller.servi...
linstor-common set on hold.
...
hi drbd-dkms 9.3.4-1ppa1~noble1
ii drbd-reactor 1.12.0-1ppa1~noble1
hi drbd-utils 9.36.0-1ppa1~noble1
ii linstor-client 1.29.1-1ppa1~noble1
hi linstor-common 1.34.2-1
hi linstor-controller 1.34.2-1
hi linstor-satellite 1.34.2-1
ii python-linstor 1.29.1-1ppa1~noble1

hi heißt: installiert und gehalten. apt-get install ./datei.deb löst die Abhängigkeiten trotzdem aus den Repositories auf, hier Java ab Version 21. Warum 1.34.2 und nicht die neueste 1.35.3? An Tag 15 übst du das Update – und an Tag 13 siehst du, was 1.34 noch nicht kann.

Wiederhole Drill 1 bis 3 auf k0s-w2 und k0s-w3. Den DKMS-Build kannst du auf allen Hosts gleichzeitig laufen lassen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die Witness

k0s-ctrl speichert nie Daten, braucht aber das DRBD-Modul: Als Tiebreaker ist er diskless an den Ressourcen beteiligt und zählt beim Quorum mit. Er bekommt alles außer dem Controller-Paket.

# auf k0s-ctrl
sudo add-apt-repository -y ppa:linbit/linbit-drbd9-stack
sudo apt-get update -qq
sudo apt-get install -y linux-headers-$(uname -r) drbd-dkms drbd-utils \
  drbd-reactor linstor-client thin-provisioning-tools default-jre-headless
mkdir -p ~/debs && cd ~/debs
B=https://packages.linbit.com/public/dists/trixie/misc/pool
L=1.34.2-1
curl -sSfLO $B/linstor-common_${L}_all.deb
curl -sSfLO $B/linstor-satellite_${L}_all.deb
sudo apt-get install -y ./linstor-common_${L}_all.deb ./linstor-satellite_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite drbd-dkms drbd-utils
systemctl is-active linstor-satellite linstor-controller drbd-reactor

Erwartet (gekürzt):

...
active
inactive
active

Die Prüfsummen prüfst du wie in Drill 3, nur mit sha256sum -c --ignore-missing, weil das Controller-Paket fehlt. inactive beim Controller ist hier richtig: Die Unit gibt es auf k0s-ctrl gar nicht.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Modul beim Start, LVM-Filter

Dass drbd-reactor das Modul nachlädt, ist ein Nebeneffekt. Verlass dich nicht darauf:

# auf k0s-w1
sudo modprobe drbd
echo drbd | sudo tee /etc/modules-load.d/drbd.conf

Erwartet:

drbd

LVM durchsucht beim Start alle Blockgeräte. Liegt auf einem DRBD-Gerät wieder LVM, etwa in einer VM, sieht der Host dieselbe VG doppelt – über die Platte darunter und über /dev/drbdX. Ein globaler Filter blendet DRBD-Geräte aus. Statt lvm.conf mit sed zu bearbeiten, ergänzt du die dafür vorgesehene lvmlocal.conf:

# auf k0s-w1
sudo lvmconfig devices/global_filter
sudo tee -a /etc/lvm/lvmlocal.conf >/dev/null <<'EOF'
devices {
    global_filter = [ "r|^/dev/drbd|" ]
}
EOF
sudo lvmconfig devices/global_filter
sudo vgs

Erwartet:

  Configuration node devices/global_filter not found
global_filter="r|^/dev/drbd|"
  VG    #PV #LV #SN Attr   VSize   VFree
  cache   1   0   0 wz--n-  <2.00g  <2.00g
  data    1   0   0 wz--n- <30.00g <30.00g

r|…| heißt reject. vgs sieht die VGs aus Tag 0 weiterhin. Wiederhole Drill 5 auf k0s-w2, k0s-w3 und k0s-ctrl.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Die Falle – drei Controller

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h systemctl is-active linstor-controller)"
done

Erwartet:

k0s-w1 active
k0s-w2 active
k0s-w3 active

Das Paket startet den Controller sofort, auf jedem Kandidaten. Jeder hat seine eigene, leere Datenbank. Was das heißt, zeigt ein Test-Node, den du beim Controller auf k0s-w2 anlegst und auf k0s-w1 suchst:

# auf k0s-w1
linstor --controllers 10.10.0.12 node create probe 10.10.0.99 --node-type satellite
linstor --no-utf8 --no-color --controllers 10.10.0.12 node list | cut -c1-60
linstor --no-utf8 --no-color --controllers 10.10.0.11 node list

Erwartet (gekürzt):

SUCCESS:
Description:
    New node 'probe' registered.
...
+--------------------------------------------------------...
| Node  | NodeType  | Addresses               | State     ...
|========================================================...
| probe | SATELLITE | 10.10.0.99:3366 (PLAIN) | OFFLINE (A...
+--------------------------------------------------------...
+-------------------------------------+
| Node | NodeType | Addresses | State |
|=====================================|
+-------------------------------------+

Zwei Controller, zwei Wahrheiten. Registrierst du die Nodes beim falschen, weiß der richtige nichts davon – ein Split-Brain auf Verwaltungsebene. Aufräumen und die überzähligen Controller abschalten:

# auf k0s-w1
linstor --controllers 10.10.0.12 node delete probe
# auf k0s-w2
sudo systemctl disable --now linstor-controller
systemctl is-enabled linstor-controller

Erwartet:

Removed "/etc/systemd/system/multi-user.target.wants/linstor-controller.service".
disabled

Dasselbe auf k0s-w3. Auf k0s-w1 bleibt der Controller vorerst an. An Tag 6 übernimmt drbd-reactor ihn und startet ihn immer nur dort, wo seine Datenbank gerade aktiv ist.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Wer hört wo?

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-ctrl; do
  echo "== $h"; ssh $h "sudo ss -tlnp | grep -E ':33(66|70)' | awk '{print \$4, \$6}'"
done

Erwartet (gekürzt):

== k0s-w1
*:3366 users:(("java",pid=16906,fd=138))
*:3370 users:(("java",pid=17031,fd=133))
== k0s-w2
*:3366 users:(("java",pid=16118,fd=138))
== k0s-ctrl
*:3366 users:(("java",pid=16062,fd=108))
Port Dienst Wer verbindet sich
3366 Satellite der Controller
3370 Controller, REST-API linstor-Client, CSI-Treiber, Prometheus
7000+ DRBD je Ressource die anderen Nodes, ab Tag 4

Der Satellite lauscht auf allen Adressen. Auf welcher Adresse der Controller ihn anspricht, legst du an Tag 4 bei der Registrierung fest.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig die Version des DRBD-Moduls auf allen vier Hosts. Zeitziel: 30 s
  2. Zeig die gehaltenen Pakete auf k0s-w2. Zeitziel: 15 s
  3. Zeig, auf welchem Kandidaten ein Controller läuft. Zeitziel: 30 s
  4. Zeig, welche LINSTOR-Version das PPA auf k0s-w3 anbieten würde. Zeitziel: 20 s

Lösung

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
  ssh $h 'hostname; modinfo -F version drbd'
done
ssh k0s-w2 apt-mark showhold
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h systemctl is-active linstor-controller)"
done
ssh k0s-w3 'apt-cache policy linstor-satellite | head -3'

Erwartet (gekürzt):

k0s-ctrl
9.3.4
...
drbd-dkms
drbd-utils
linstor-common
linstor-controller
linstor-satellite
k0s-w1 active
k0s-w2 inactive
k0s-w3 inactive
linstor-satellite:
  Installed: 1.34.2-1
  Candidate: 1.36.0-beta.1-1ppa1~noble1

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h 'head -1 /proc/drbd'; done

Erwartet: viermal version: 9.3.4 (api:2/proto:118-125).

# auf k0s-ctrl
ssh k0s-w1 linstor controller version

Erwartet:

linstor controller 1.34.2; GIT-hash: 92d55e45f88b4ef96f5ee468677f395513b2eee2
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h systemctl is-enabled linstor-controller; done

Erwartet: enabled, disabled, disabled.

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
  ssh $h 'sudo lvmconfig devices/global_filter'
done

Erwartet: viermal global_filter="r|^/dev/drbd|".

Challenge

Ein Kollege will auf k0s-w3 „mal eben“ sudo apt-get upgrade laufen lassen. Zeig, ohne etwas zu ändern, was dabei mit LINSTOR und DRBD passieren würde.

Hinweis: apt kann einen Lauf simulieren.

Lösung

# auf k0s-w3
apt list --upgradable 2>/dev/null | grep -E 'linstor|drbd'
sudo apt-get -s upgrade | grep -vE '^(Inst|Conf)'

Erwartet (gekürzt):

linstor-common/noble 1.36.0-beta.1-1ppa1~noble1 all [upgradable from: 1.34.2-1]
linstor-controller/noble 1.36.0-beta.1-1ppa1~noble1 all [upgradable from: 1.34.2-1]
linstor-satellite/noble 1.36.0-beta.1-1ppa1~noble1 all [upgradable from: 1.34.2-1]
...
The following packages have been kept back:
  linstor-common linstor-controller linstor-satellite linux-headers-generic
  linux-headers-virtual linux-image-virtual linux-virtual
The following packages will be upgraded:
  linux-libc-dev linux-tools-common
2 upgraded, 0 newly installed, 0 to remove and 18 not upgraded.

Ohne hold stünde hier ein Update auf eine Beta-Version – auf nur einem Host, also ein Versionsmix im Cluster. Mit hold bleibt LINSTOR, wo es ist. Achte auch auf linux-image-virtual: Ein neuer Kernel braucht ein neu gebautes DRBD-Modul. Den Weg dafür gehst du an Tag 15. Bis dahin soll auch unattended-upgrades keinen Kernel nachziehen, sonst bootet ein Neustart an Tag 10 plötzlich einen anderen. Sperre ihn wie LINSTOR:

# auf allen vier Hosts
sudo apt-mark hold linux-image-virtual linux-virtual linux-headers-virtual \
  linux-headers-generic
echo 'Unattended-Upgrade::Package-Blacklist { "linux-"; };' \
  | sudo tee /etc/apt/apt.conf.d/51k0s-lab-kernel-hold

Erwartet (gekürzt):

linux-image-virtual set on hold.
...
Unattended-Upgrade::Package-Blacklist { "linux-"; };

An Tag 15 hebst du beides wieder auf.

Fortschritt speichern? Kostenlos registrieren

Interview-Notiz

  • Warum LINSTOR außerhalb von Kubernetes? Der Speicher ist das Fundament. Läuft er im Cluster, hängt jedes k0s-Update und jeder Operator-Fehler an den Volumes.
  • Wie hältst du LINSTOR auf einer festen Version? Pakete aus einer Quelle mit Versionshistorie, installiert mit fester Version, gesperrt mit apt-mark hold oder apt-Pinning. Updates nur bewusst und in fester Reihenfolge.
  • Wie viele LINSTOR-Controller laufen? Genau einer. Mehrere aktive Controller haben getrennte Datenbanken. Hochverfügbar wird er durch Umschalten, nicht durch Parallelbetrieb.

Enterprise-Notiz

  • LINBIT SDS bietet eigene, signierte Repositories mit allen Versionen und Support. Mit den öffentlichen Paketen bist du für Versionspflege und Prüfsummen selbst zuständig.
  • Ein interner Mirror (Aptly, Pulp, Artifactory) friert die getesteten Pakete ein. Kein Host zieht Pakete direkt aus dem Internet.
  • unattended-upgrades nur für Ubuntu-Security-Quellen, nie für das LINBIT-PPA. Kernel-Updates bauen DKMS mit, brauchen aber einen geplanten Neustart Node für Node.
  • Secure Boot: DKMS-Module müssen mit einem registrierten MOK-Schlüssel signiert sein, sonst lädt der Kernel DRBD nicht.