Tag 3: DRBD und LINSTOR auf den Hosts
Ziel: DRBD 9.3 läuft als Kernelmodul auf allen vier Hosts, LINSTOR 1.34.2 ist in fester Version installiert und gegen Updates gesperrt, und es läuft genau ein Controller. · Dauer: ca. 60 min · Voraussetzung: Tag 0
Briefing
- LINSTOR läuft als systemd-Dienst auf den Hosts. So übersteht der Speicher jedes k0s-Update und sogar einen Neuaufbau von k0s.
- DRBD ist ein Kernelmodul, gebaut per DKMS passend zum laufenden Kernel. drbd-utils und drbd-reactor kommen aus dem LINBIT-PPA.
- Das PPA führt immer nur die neueste LINSTOR-Version – heute sogar
eine Beta. Feste Versionen holst du als
.debaus LINBITs öffentlichem Repository und sperrst sie mitapt-mark hold. - Satellite auf allen vier Hosts, Controller-Paket nur auf den
Kandidaten
k0s-w1bisk0s-w3. Die Witnessk0s-ctrlwird nie Controller.
Drill 1: Das PPA und seine Versionen
| Paket | Version | Quelle | Hosts |
|---|---|---|---|
drbd-dkms, drbd-utils |
9.3.4, 9.36.0 | PPA | alle |
drbd-reactor, linstor-client |
1.12.0, 1.29.1 | PPA | alle |
linstor-common, -satellite |
1.34.2 | packages.linbit.com | alle |
linstor-controller |
1.34.2 | packages.linbit.com | w1, w2, w3 |
Drill 1 bis 3 zeigt das Buch für k0s-w1. Melde dich mit
ssh k0s-w1 an.
# auf k0s-w1
sudo add-apt-repository -y ppa:linbit/linbit-drbd9-stack
sudo apt-get update -qq
apt-cache policy drbd-dkms drbd-utils drbd-reactor linstor-satellite linstor-client \
| grep -E '^[a-z]|Candidate'Erwartet (gekürzt):
More info: https://launchpad.net/~linbit/+archive/ubuntu/linbit-drbd9-stack
Adding repository.
drbd-dkms:
Candidate: 9.3.4-1ppa1~noble1
drbd-utils:
Candidate: 9.36.0-1ppa1~noble1
drbd-reactor:
Candidate: 1.12.0-1ppa1~noble1
linstor-satellite:
Candidate: 1.36.0-beta.1-1ppa1~noble1
linstor-client:
Candidate: 1.29.1-1ppa1~noble1
linstor-satellite würde als Beta
installiert. Deshalb kommen die LINSTOR-Server- Pakete gleich aus einer
anderen Quelle. Das PPA hat amd64 und arm64 mit denselben Versionen.
Ubuntu selbst bringt nur drbd-utils 9.22 mit, zu alt für DRBD 9.3.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Das DRBD-Modul bauen
# auf k0s-w1
time sudo apt-get install -y linux-headers-$(uname -r) drbd-dkms drbd-utils \
drbd-reactor linstor-client thin-provisioning-tools default-jre-headlessErwartet (gekürzt):
Setting up drbd-dkms (9.3.4-1ppa1~noble1) ...
Loading new drbd-9.3.4-1ppa1~noble1 DKMS files...
Building for 6.8.0-149-generic
Building initial module for 6.8.0-149-generic
Done.
drbd.ko.zst:
Running module version sanity check.
- Original module
- No original module exists within this kernel
- Installation
- Installing to /lib/modules/6.8.0-149-generic/updates/dkms/
...
Setting up drbd-reactor (1.12.0-1ppa1~noble1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/drbd-reactor.service ...
Setting up default-jre-headless (2:1.21-75+exp1) ...
real 3m20.939s
Gut drei Minuten auf 2 vCPU, fast alles davon ist der Modul-Build.
Die Header des laufenden Kernels sind Pflicht, sonst kann DKMS nichts
bauen. thin-provisioning-tools braucht der Satellite, Java
21 der Controller und der Satellite.
# auf k0s-w1
dkms status
cat /proc/drbdErwartet:
drbd/9.3.4-1ppa1~noble1, 6.8.0-149-generic, x86_64: installed
version: 9.3.4 (api:2/proto:118-125)
GIT-hash: e59b287b199f7224468af85b68a10e83c68213f5 build by root@k0s-w1, 2026-11-20 0...
Transports (api:22):
Das Modul ist schon geladen, obwohl du es nicht geladen hast:
drbd-reactor ist sofort gestartet und hat es beim ersten
drbdsetup-Aufruf nachgezogen.
build by root@k0s-w1 beweist, dass es dein DKMS-Build ist.
Stünde dort version: 8.4.x, wäre das alte Modul eines
Ubuntu-Kernels geladen und DKMS hätte nicht gebaut.
Fortschritt speichern? Kostenlos registrieren
Drill 3: LINSTOR in fester Version
LINBITs öffentliches Repository hält ältere Versionen vor. Die
LINSTOR-Pakete sind reines Java (_all.deb), deshalb laufen
die Debian-trixie-Pakete auch auf Ubuntu noble.
# auf k0s-w1
mkdir -p ~/debs && cd ~/debs
B=https://packages.linbit.com/public/dists/trixie/misc/pool
L=1.34.2-1
curl -sSfLO $B/linstor-common_${L}_all.deb
curl -sSfLO $B/linstor-satellite_${L}_all.deb
curl -sSfLO $B/linstor-controller_${L}_all.debPrüfe die Dateien gegen den Paketindex, bevor du sie installierst:
# auf k0s-w1
ARCH=$(dpkg --print-architecture)
curl -sSfLo Packages \
https://packages.linbit.com/public/dists/trixie/misc/binary-$ARCH/Packages
grep -A4 "linstor-[a-z]*_${L}_all.deb" Packages \
| awk '/Filename/ {sub(/.*\//, "", $2); f=$2} /SHA256/ {print $2 " " f}' \
| sha256sum -cErwartet:
linstor-common_1.34.2-1_all.deb: OK
linstor-controller_1.34.2-1_all.deb: OK
linstor-satellite_1.34.2-1_all.deb: OK
awk baut aus den Zeilen Filename: und
SHA256: des Index eine Liste im Format von
sha256sum, die sha256sum -c dann prüft. Jetzt
installieren und sperren:
# auf k0s-w1
sudo apt-get install -y ./linstor-common_${L}_all.deb \
./linstor-satellite_${L}_all.deb ./linstor-controller_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite linstor-controller \
drbd-dkms drbd-utils
dpkg -l | grep -E 'linstor|drbd' | awk '{print $1, $2, $3}'Erwartet (gekürzt):
Setting up linstor-common (1.34.2-1) ...
Setting up linstor-satellite (1.34.2-1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/linstor-satellite.servic...
Setting up linstor-controller (1.34.2-1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/linstor-controller.servi...
linstor-common set on hold.
...
hi drbd-dkms 9.3.4-1ppa1~noble1
ii drbd-reactor 1.12.0-1ppa1~noble1
hi drbd-utils 9.36.0-1ppa1~noble1
ii linstor-client 1.29.1-1ppa1~noble1
hi linstor-common 1.34.2-1
hi linstor-controller 1.34.2-1
hi linstor-satellite 1.34.2-1
ii python-linstor 1.29.1-1ppa1~noble1
hi heißt: installiert und gehalten.
apt-get install ./datei.deb löst die Abhängigkeiten
trotzdem aus den Repositories auf, hier Java ab Version 21. Warum 1.34.2
und nicht die neueste 1.35.3? An Tag 15 übst du das Update – und an Tag
13 siehst du, was 1.34 noch nicht kann.
Wiederhole Drill 1 bis 3 auf k0s-w2 und
k0s-w3. Den DKMS-Build kannst du auf allen Hosts
gleichzeitig laufen lassen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Witness
k0s-ctrl speichert nie Daten, braucht aber das
DRBD-Modul: Als Tiebreaker ist er diskless an den Ressourcen beteiligt
und zählt beim Quorum mit. Er bekommt alles außer dem
Controller-Paket.
# auf k0s-ctrl
sudo add-apt-repository -y ppa:linbit/linbit-drbd9-stack
sudo apt-get update -qq
sudo apt-get install -y linux-headers-$(uname -r) drbd-dkms drbd-utils \
drbd-reactor linstor-client thin-provisioning-tools default-jre-headless
mkdir -p ~/debs && cd ~/debs
B=https://packages.linbit.com/public/dists/trixie/misc/pool
L=1.34.2-1
curl -sSfLO $B/linstor-common_${L}_all.deb
curl -sSfLO $B/linstor-satellite_${L}_all.deb
sudo apt-get install -y ./linstor-common_${L}_all.deb ./linstor-satellite_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite drbd-dkms drbd-utils
systemctl is-active linstor-satellite linstor-controller drbd-reactorErwartet (gekürzt):
...
active
inactive
active
Die Prüfsummen prüfst du wie in Drill 3, nur mit
sha256sum -c --ignore-missing, weil das Controller-Paket
fehlt. inactive beim Controller ist hier richtig: Die Unit
gibt es auf k0s-ctrl gar nicht.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Modul beim Start, LVM-Filter
Dass drbd-reactor das Modul nachlädt, ist ein Nebeneffekt. Verlass dich nicht darauf:
# auf k0s-w1
sudo modprobe drbd
echo drbd | sudo tee /etc/modules-load.d/drbd.confErwartet:
drbd
LVM durchsucht beim Start alle Blockgeräte. Liegt auf einem
DRBD-Gerät wieder LVM, etwa in einer VM, sieht der Host dieselbe VG
doppelt – über die Platte darunter und über /dev/drbdX. Ein
globaler Filter blendet DRBD-Geräte aus. Statt lvm.conf mit
sed zu bearbeiten, ergänzt du die dafür vorgesehene
lvmlocal.conf:
# auf k0s-w1
sudo lvmconfig devices/global_filter
sudo tee -a /etc/lvm/lvmlocal.conf >/dev/null <<'EOF'
devices {
global_filter = [ "r|^/dev/drbd|" ]
}
EOF
sudo lvmconfig devices/global_filter
sudo vgsErwartet:
Configuration node devices/global_filter not found
global_filter="r|^/dev/drbd|"
VG #PV #LV #SN Attr VSize VFree
cache 1 0 0 wz--n- <2.00g <2.00g
data 1 0 0 wz--n- <30.00g <30.00g
r|…| heißt reject. vgs sieht die VGs aus
Tag 0 weiterhin. Wiederhole Drill 5 auf k0s-w2,
k0s-w3 und k0s-ctrl.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Die Falle – drei Controller
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h systemctl is-active linstor-controller)"
doneErwartet:
k0s-w1 active
k0s-w2 active
k0s-w3 active
Das Paket startet den Controller sofort, auf jedem
Kandidaten. Jeder hat seine eigene, leere Datenbank. Was das heißt,
zeigt ein Test-Node, den du beim Controller auf k0s-w2
anlegst und auf k0s-w1 suchst:
# auf k0s-w1
linstor --controllers 10.10.0.12 node create probe 10.10.0.99 --node-type satellite
linstor --no-utf8 --no-color --controllers 10.10.0.12 node list | cut -c1-60
linstor --no-utf8 --no-color --controllers 10.10.0.11 node listErwartet (gekürzt):
SUCCESS:
Description:
New node 'probe' registered.
...
+--------------------------------------------------------...
| Node | NodeType | Addresses | State ...
|========================================================...
| probe | SATELLITE | 10.10.0.99:3366 (PLAIN) | OFFLINE (A...
+--------------------------------------------------------...
+-------------------------------------+
| Node | NodeType | Addresses | State |
|=====================================|
+-------------------------------------+
Zwei Controller, zwei Wahrheiten. Registrierst du die Nodes beim falschen, weiß der richtige nichts davon – ein Split-Brain auf Verwaltungsebene. Aufräumen und die überzähligen Controller abschalten:
# auf k0s-w1
linstor --controllers 10.10.0.12 node delete probe# auf k0s-w2
sudo systemctl disable --now linstor-controller
systemctl is-enabled linstor-controllerErwartet:
Removed "/etc/systemd/system/multi-user.target.wants/linstor-controller.service".
disabled
Dasselbe auf k0s-w3. Auf k0s-w1 bleibt der
Controller vorerst an. An Tag 6 übernimmt drbd-reactor ihn und startet
ihn immer nur dort, wo seine Datenbank gerade aktiv ist.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Wer hört wo?
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-ctrl; do
echo "== $h"; ssh $h "sudo ss -tlnp | grep -E ':33(66|70)' | awk '{print \$4, \$6}'"
doneErwartet (gekürzt):
== k0s-w1
*:3366 users:(("java",pid=16906,fd=138))
*:3370 users:(("java",pid=17031,fd=133))
== k0s-w2
*:3366 users:(("java",pid=16118,fd=138))
== k0s-ctrl
*:3366 users:(("java",pid=16062,fd=108))
| Port | Dienst | Wer verbindet sich |
|---|---|---|
| 3366 | Satellite | der Controller |
| 3370 | Controller, REST-API | linstor-Client, CSI-Treiber, Prometheus |
| 7000+ | DRBD je Ressource | die anderen Nodes, ab Tag 4 |
Der Satellite lauscht auf allen Adressen. Auf welcher Adresse der Controller ihn anspricht, legst du an Tag 4 bei der Registrierung fest.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig die Version des DRBD-Moduls auf allen vier Hosts. Zeitziel: 30 s
- Zeig die gehaltenen Pakete auf
k0s-w2. Zeitziel: 15 s - Zeig, auf welchem Kandidaten ein Controller läuft. Zeitziel: 30 s
- Zeig, welche LINSTOR-Version das PPA auf
k0s-w3anbieten würde. Zeitziel: 20 s
Lösung
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
ssh $h 'hostname; modinfo -F version drbd'
done
ssh k0s-w2 apt-mark showhold
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h systemctl is-active linstor-controller)"
done
ssh k0s-w3 'apt-cache policy linstor-satellite | head -3'Erwartet (gekürzt):
k0s-ctrl
9.3.4
...
drbd-dkms
drbd-utils
linstor-common
linstor-controller
linstor-satellite
k0s-w1 active
k0s-w2 inactive
k0s-w3 inactive
linstor-satellite:
Installed: 1.34.2-1
Candidate: 1.36.0-beta.1-1ppa1~noble1
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h 'head -1 /proc/drbd'; doneErwartet: viermal
version: 9.3.4 (api:2/proto:118-125).
# auf k0s-ctrl
ssh k0s-w1 linstor controller versionErwartet:
linstor controller 1.34.2; GIT-hash: 92d55e45f88b4ef96f5ee468677f395513b2eee2
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h systemctl is-enabled linstor-controller; doneErwartet: enabled,
disabled, disabled.
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
ssh $h 'sudo lvmconfig devices/global_filter'
doneErwartet: viermal
global_filter="r|^/dev/drbd|".
Challenge
Ein Kollege will auf k0s-w3 „mal eben“
sudo apt-get upgrade laufen lassen. Zeig, ohne etwas zu
ändern, was dabei mit LINSTOR und DRBD passieren würde.
Hinweis: apt kann einen Lauf simulieren.
Lösung
# auf k0s-w3
apt list --upgradable 2>/dev/null | grep -E 'linstor|drbd'
sudo apt-get -s upgrade | grep -vE '^(Inst|Conf)'Erwartet (gekürzt):
linstor-common/noble 1.36.0-beta.1-1ppa1~noble1 all [upgradable from: 1.34.2-1]
linstor-controller/noble 1.36.0-beta.1-1ppa1~noble1 all [upgradable from: 1.34.2-1]
linstor-satellite/noble 1.36.0-beta.1-1ppa1~noble1 all [upgradable from: 1.34.2-1]
...
The following packages have been kept back:
linstor-common linstor-controller linstor-satellite linux-headers-generic
linux-headers-virtual linux-image-virtual linux-virtual
The following packages will be upgraded:
linux-libc-dev linux-tools-common
2 upgraded, 0 newly installed, 0 to remove and 18 not upgraded.
Ohne hold stünde hier ein Update auf eine Beta-Version –
auf nur einem Host, also ein Versionsmix im Cluster. Mit
hold bleibt LINSTOR, wo es ist. Achte auch auf
linux-image-virtual: Ein neuer Kernel braucht ein neu
gebautes DRBD-Modul. Den Weg dafür gehst du an Tag 15. Bis dahin soll
auch unattended-upgrades keinen Kernel nachziehen, sonst bootet ein
Neustart an Tag 10 plötzlich einen anderen. Sperre ihn wie LINSTOR:
# auf allen vier Hosts
sudo apt-mark hold linux-image-virtual linux-virtual linux-headers-virtual \
linux-headers-generic
echo 'Unattended-Upgrade::Package-Blacklist { "linux-"; };' \
| sudo tee /etc/apt/apt.conf.d/51k0s-lab-kernel-holdErwartet (gekürzt):
linux-image-virtual set on hold.
...
Unattended-Upgrade::Package-Blacklist { "linux-"; };
An Tag 15 hebst du beides wieder auf.
Fortschritt speichern? Kostenlos registrieren
Interview-Notiz
- Warum LINSTOR außerhalb von Kubernetes? Der Speicher ist das Fundament. Läuft er im Cluster, hängt jedes k0s-Update und jeder Operator-Fehler an den Volumes.
- Wie hältst du LINSTOR auf einer festen Version? Pakete aus
einer Quelle mit Versionshistorie, installiert mit fester Version,
gesperrt mit
apt-mark holdoder apt-Pinning. Updates nur bewusst und in fester Reihenfolge. - Wie viele LINSTOR-Controller laufen? Genau einer. Mehrere aktive Controller haben getrennte Datenbanken. Hochverfügbar wird er durch Umschalten, nicht durch Parallelbetrieb.
Enterprise-Notiz
- LINBIT SDS bietet eigene, signierte Repositories mit allen Versionen und Support. Mit den öffentlichen Paketen bist du für Versionspflege und Prüfsummen selbst zuständig.
- Ein interner Mirror (Aptly, Pulp, Artifactory) friert die getesteten Pakete ein. Kein Host zieht Pakete direkt aus dem Internet.
- unattended-upgrades nur für Ubuntu-Security-Quellen, nie für das LINBIT-PPA. Kernel-Updates bauen DKMS mit, brauchen aber einen geplanten Neustart Node für Node.
- Secure Boot: DKMS-Module müssen mit einem registrierten MOK-Schlüssel signiert sein, sonst lädt der Kernel DRBD nicht.