Tag 0: Das Trainingsgelände
Ziel: Vier VMs sind von einem Arbeitsplatz aus per Kurzname erreichbar, die drei Worker haben ein eigenes Storage-Netz und je zwei Volume-Groups für Daten und Cache. · Dauer: ca. 60 min · Voraussetzung: vier Ubuntu-24.04-VMs wie unten
Briefing
- LINSTOR und DRBD laufen in diesem Buch auf den Hosts, nicht im Cluster. Kubernetes (k0s) bekommt nur den CSI-Treiber.
- Zwei Netze: Management (SSH, Kubernetes-API, Pods, Witness, Backup) und Storage nur für die Replikation zwischen den Workern.
- Zwei Zonen:
k0s-w1undk0s-w3in Zone a,k0s-w2in Zone b. Jedes Volume bekommt eine Kopie pro Zone. k0s-ctrlist k0s-Controller, Witness ohne Daten am „dritten Standort“ und dein Arbeitsplatz. Er bekommt bewusst keine Adresse im Storage-Netz.- Jede Datenplatte wird geteilt: 30 GB als „HDD“ (VG
data), 2 GB als „NVMe“ (VGcache) für den Writecache.
Management-Netz 172.16.0.0/24 (SSH, k8s-API, Pods, Witness, S3)
──┬────────────────┬────────────────┬────────────────┬──
k0s-ctrl .176 k0s-w1 .186 k0s-w2 .36 k0s-w3 .72
k0s-Controller Worker Zone a Worker Zone b Worker Zone a
Witness, S3 sdb: data+cache sdb: data+cache sdb: data+cache
│ .11 │ .12 │ .13
─────────────────────┴────────────────┴────────────────┴──
Storage-Netz 10.10.0.0/24 (DRBD, Satellites, VIP .100)
Drill 1: Den Arbeitsplatz prüfen
Das Buch wurde auf vier VMs unter Proxmox getestet: je 2 vCPU, 3,8
GiB RAM, Systemplatte 30 GB, eine zweite Netzwerkkarte
ens19 an einer Bridge ohne physischen Port. Die drei Worker
haben zusätzlich eine leere 32-GB-Platte. Alle Ausgaben zeigen amd64.
Mit multipass auf Apple Silicon läuft dasselbe auf arm64.
Melde dich mit deinem eigenen Schlüssel auf k0s-ctrl an.
Alle Code-Blöcke ohne anderen Hinweis laufen dort.
# auf deinem Rechner
ssh -i ~/.ssh/homelab [email protected]# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag00 && cd ~/k0s-lab/tag00
grep PRETTY /etc/os-release
uname -rm
nproc; free -h | head -2
ip -br link
lsblk -d -o NAME,SIZE,TYPE
timedatectl | grep -E 'synchronized|NTP'Erwartet:
PRETTY_NAME="Ubuntu 24.04.5 LTS"
6.8.0-149-generic x86_64
2
total used free shared buff/cache available
Mem: 3.8Gi 414Mi 3.3Gi 1.0Mi 299Mi 3.4Gi
lo UNKNOWN 00:00:00:00:00:00 <LOOPBACK,UP,LOWER_UP>
eth0 UP bc:24:11:79:c8:ab <BROADCAST,MULTICAST,UP,LOWER_UP>
ens19 DOWN bc:24:11:11:36:9f <BROADCAST,MULTICAST>
NAME SIZE TYPE
sda 30G disk
sr0 4M rom
System clock synchronized: yes
NTP service: active
ens19 ist vorhanden, aber DOWN – so soll es
auf k0s-ctrl bleiben. Die Uhrzeit muss auf allen Hosts
synchron sein. Sonst passen Zeitstempel in DRBD-, LINSTOR- und k0s-Logs
nicht zusammen, und Zertifikate gelten plötzlich als „noch nicht
gültig“.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein Schlüssel für den Arbeitsplatz
k0sctl und später Ansible verbinden sich per SSH von
k0s-ctrl aus auf alle vier Hosts – auch auf
k0s-ctrl selbst. Dafür bekommt der Arbeitsplatz
einen eigenen Schlüssel.
# auf k0s-ctrl
ssh-keygen -t ed25519 -N '' -C k0s-lab -f ~/.ssh/id_ed25519Erwartet (gekürzt):
Your identification has been saved in /home/ubuntu/.ssh/id_ed25519
Your public key has been saved in /home/ubuntu/.ssh/id_ed25519.pub
The key fingerprint is:
SHA256:nFiwFVBS6NJA1caTgsFXkd5TDPO9E4cGPtPSG3m0GOI k0s-lab
Die VMs erlauben keine Anmeldung mit Passwort,
ssh-copy-id von k0s-ctrl aus scheitert also.
Den öffentlichen Schlüssel verteilst du mit deinem eigenen Zugang:
# auf deinem Rechner
ssh -i ~/.ssh/homelab [email protected] cat .ssh/id_ed25519.pub > k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pubKeine Ausgabe heißt: Es hat geklappt.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Kurznamen
Zwischen den VMs gibt es keine Namensauflösung. Statt
/etc/hosts zu pflegen, das cloud-init beim nächsten Start
überschreiben kann, bekommt nur der Arbeitsplatz Kurznamen.
# auf k0s-ctrl
cat > ~/.ssh/config <<'EOF'
Host k0s-ctrl
HostName 172.16.0.176
Host k0s-w1
HostName 172.16.0.186
Host k0s-w2
HostName 172.16.0.36
Host k0s-w3
HostName 172.16.0.72
Host k0s-*
User ubuntu
IdentityFile ~/.ssh/id_ed25519
StrictHostKeyChecking accept-new
EOF
chmod 600 ~/.ssh/config
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h hostname; doneErwartet:
Warning: Permanently added '172.16.0.176' (ED25519) to the list of known hosts.
k0s-ctrl
Warning: Permanently added '172.16.0.186' (ED25519) to the list of known hosts.
k0s-w1
Warning: Permanently added '172.16.0.36' (ED25519) to the list of known hosts.
k0s-w2
Warning: Permanently added '172.16.0.72' (ED25519) to the list of known hosts.
k0s-w3
accept-new übernimmt unbekannte Host-Schlüssel beim
ersten Kontakt, lehnt aber geänderte ab. Die Einträge landen unter der
IP-Adresse in ~/.ssh/known_hosts – genau dort sucht k0sctl
morgen.
Jetzt ein Rundgang über die Worker:
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
ssh $h 'hostname; ip -br link show ens19; lsblk -dn -o NAME,SIZE /dev/sdb
sudo wipefs /dev/sdb'
doneErwartet:
k0s-w1
ens19 DOWN bc:24:11:ba:60:15 <BROADCAST,MULTICAST>
sdb 32G
k0s-w2
ens19 DOWN bc:24:11:16:67:f1 <BROADCAST,MULTICAST>
sdb 32G
k0s-w3
ens19 DOWN bc:24:11:b8:fa:25 <BROADCAST,MULTICAST>
sdb 32G
wipefs ohne Option listet nur Signaturen. Keine Zeile
heißt: Die Platte ist leer. Heißt die Zusatzplatte bei dir anders, zum
Beispiel sdc nach einem Plattentausch, ersetzt du
sdb im ganzen Kapitel.
Achtung: Steht dort etwas, war die Platte schon benutzt.
sudo wipefs -a /dev/sdblöscht die Signaturen ohne Rückfrage. Prüfe vorher mitlsblk, dass es wirklich die 32-GB-Zusatzplatte ist und nichtsda.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Das Storage-Netz
Die vorhandene 50-cloud-init.yaml bleibt unberührt. Eine
zweite netplan-Datei konfiguriert nur ens19: kein Gateway,
kein DNS – das Netz führt nirgendwohin außer zu den anderen Workern.
# auf k0s-w1
sudo tee /etc/netplan/60-storage.yaml >/dev/null <<'EOF'
network:
version: 2
ethernets:
ens19:
addresses: [10.10.0.11/24]
mtu: 1500
EOF
sudo chmod 600 /etc/netplan/60-storage.yaml
sudo netplan apply
ip -br addr show ens19Erwartet:
ens19 UP 10.10.0.11/24 fe80::be24:11ff:feba:6015/64
Wiederhole das auf k0s-w2 mit 10.10.0.12/24
und auf k0s-w3 mit 10.10.0.13/24. Ohne
chmod 600 warnt netplan bei jedem Aufruf:
** (process:2209): WARNING **: 23:48:06.823: Permissions for /etc/netplan/60-storag...
Fortschritt speichern? Kostenlos registrieren
Drill 5: Welcher Weg?
DRBD schreibt jeden Block synchron auf den Partner. Läuft die
Replikation über das falsche Netz, teilt sie sich die Leitung mit
Image-Pulls und Backups. ip route get zeigt, welche Karte
der Kernel für ein Ziel nimmt.
# auf k0s-w1
ping -c2 -q 10.10.0.12 | tail -2
ping -c2 -q 10.10.0.13 | tail -2
ip route get 10.10.0.12
ip route get 172.16.0.176Erwartet:
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 0.474/0.971/1.469/0.497 ms
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 0.718/1.071/1.425/0.353 ms
10.10.0.12 dev ens19 src 10.10.0.11 uid 1000
cache
172.16.0.176 dev eth0 src 172.16.0.186 uid 1000
cache
Zum Partner-Worker geht es über ens19, zur Witness über
eth0. Genau diese Aufteilung bildest du an Tag 4 in LINSTOR
nach. Und von der Witness aus?
# auf k0s-ctrl
ip route get 10.10.0.11
ping -c2 -W1 -q 10.10.0.11 | tail -1Erwartet:
10.10.0.11 via 172.16.0.1 dev eth0 src 172.16.0.176 uid 1000
cache
2 packets transmitted, 0 received, 100% packet loss, time 1002ms
k0s-ctrl schickt Pakete ins Storage-Netz an sein
Default-Gateway, und dort kommen sie nie an. Das ist gewollt: Die
Witness erreicht die Worker nur über deren Management-Adressen.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Datenplatte und Cache
In der Zielarchitektur liegen die Daten auf großen, langsamen Platten, davor sitzt ein kleiner NVMe-Bereich als Writecache. Im Lab teilst du die eine Zusatzplatte in zwei Partitionen und tust so, als wären es zwei Geräte.
| Partition | Größe | Volume-Group | steht für |
|---|---|---|---|
/dev/sdb1 |
30 GB | data |
HDD mit den Daten |
/dev/sdb2 |
2 GB | cache |
NVMe als Writecache |
# auf k0s-w1
lsblk /dev/sdb
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2
sudo vgs
lsblk /dev/sdbErwartet:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 32G 0 disk
Physical volume "/dev/sdb1" successfully created.
Physical volume "/dev/sdb2" successfully created.
Volume group "data" successfully created
Volume group "cache" successfully created
VG #PV #LV #SN Attr VSize VFree
cache 1 0 0 wz--n- <2.00g <2.00g
data 1 0 0 wz--n- <30.00g <30.00g
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb 8:16 0 32G 0 disk
├─sdb1 8:17 0 30G 0 part
└─sdb2 8:18 0 2G 0 part
Wiederhole das auf k0s-w2 und k0s-w3. Die
VG-Namen müssen auf allen Workern gleich sein, denn ein
LINSTOR-Storage-Pool verweist über alle Nodes auf denselben Namen.
k0s-ctrl bekommt keine VG, die Witness speichert nie
Daten.
Warum zwei VGs und nicht eine mit zwei PVs? LINSTOR legt Daten- und Cache-Volumes aus verschiedenen Pools an. Ein Pool ist bei LVM genau eine VG. Nur so landet der Cache sicher auf dem schnellen Gerät.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig von
k0s-ctrlaus die IPv4-Adresse vonens19auf allen drei Workern. Zeitziel: 30 s - Zeig Größe und freien Platz beider VGs auf
k0s-w2. Zeitziel: 15 s - Prüfe die Rechte der netplan-Dateien auf
k0s-w3. Zeitziel: 15 s - Zeig den laufenden Kernel aller vier Hosts. Zeitziel: 30 s
Lösung
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'hostname; ip -br -4 addr show ens19'; done
ssh k0s-w2 sudo vgs -o vg_name,vg_size,vg_free
ssh k0s-w3 ls -l /etc/netplan/
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h uname -n -r; doneErwartet (gekürzt):
k0s-w1
ens19 UP 10.10.0.11/24
...
VG VSize VFree
cache <2.00g <2.00g
data <30.00g <30.00g
-rw------- 1 root root 139 Nov 12 15:50 50-cloud-init.yaml
-rw------- 1 root root 95 Nov 19 23:46 60-storage.yaml
k0s-ctrl 6.8.0-149-generic
k0s-w1 6.8.0-149-generic
k0s-w2 6.8.0-149-generic
k0s-w3 6.8.0-149-generic
Am einfachsten haben alle vier Hosts denselben Kernel. An Tag 3 baut DKMS das DRBD-Modul für genau den laufenden Kernel.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h hostname; doneErwartet: vier Namen, ohne Passwortabfrage und ohne Rückfrage zum Host-Schlüssel.
# auf k0s-ctrl
ssh k0s-w1 ip route get 10.10.0.13Erwartet:
10.10.0.13 dev ens19 src 10.10.0.11 ...
# auf k0s-ctrl
ssh k0s-w2 sudo pvsErwartet:
PV VG Fmt Attr PSize PFree
/dev/sdb1 data lvm2 a-- <30.00g <30.00g
/dev/sdb2 cache lvm2 a-- <2.00g <2.00g
# auf k0s-ctrl
ip -br addr show ens19Erwartet: ens19 DOWN ohne Adresse.
Challenge
Beweise, dass die Replikation zwischen k0s-w1 und
k0s-w3 nicht heimlich über das Management-Netz ausweicht,
wenn das Storage-Netz ausfällt. Nimm dazu ens19 auf
k0s-w3 kurz vom Netz und stelle danach den alten Zustand
her.
Hinweis: Die Route auf k0s-w1 hängt an
seiner eigenen Karte, nicht an der des Partners.
Lösung
# auf k0s-ctrl
ssh k0s-w3 sudo ip link set ens19 down
ssh k0s-w1 'ip route get 10.10.0.13; ping -c2 -W1 -q 10.10.0.13 | tail -1'
ssh k0s-w3 'sudo ip link set ens19 up; sleep 3; ip -br addr show ens19'
ssh k0s-w1 'ping -c2 -q 10.10.0.13 | tail -2'Erwartet:
10.10.0.13 dev ens19 src 10.10.0.11 uid 1000
cache
2 packets transmitted, 0 received, 100% packet loss, time 1060ms
ens19 UP 10.10.0.13/24 fe80::be24:11ff:feb8:fa25/64
2 packets transmitted, 2 received, 0% packet loss, time 1009ms
rtt min/avg/max/mdev = 0.487/0.522/0.557/0.035 ms
k0s-w1 versucht es weiter über ens19 und
läuft ins Leere – ein Ausweichen über eth0 gibt es nicht.
Für DRBD heißt das: Verbindung weg, nicht langsamer Umweg. Was dann mit
Quorum und Schreibzugriffen passiert, übst du an Tag 11. Nach
ip link set up setzt systemd-networkd die Adresse aus
netplan von selbst wieder.
Fortschritt speichern? Kostenlos registrieren
Interview-Notiz
- Warum ein eigenes Netz für die Replikation? Synchrone Replikation bestätigt einen Schreibvorgang erst, wenn der Partner ihn hat. Die Netzlatenz steckt in jedem Commit der Datenbank, also darf kein anderer Verkehr sie stören.
- Was ist eine Witness? Ein Node ohne Daten, der beim Quorum mitzählt. Mit zwei Datenkopien und einer Witness bildet bei Ausfall eines Nodes die übrige Seite eine Mehrheit.
- Wie prüfst du, über welches Netz ein Ziel erreicht wird?
ip route get <ziel>– zeigt Karte und Quelladresse, ohne ein Paket zu senden.
Enterprise-Notiz
- Storage-Netz als eigenes VLAN auf eigenen Ports, redundant per Bonding (LACP) oder mit zwei getrennten DRBD-Pfaden. MTU 9000 nur, wenn jeder Switch auf dem Weg mitmacht.
- Daten und Cache sind in Produktion getrennte Geräte (HDD/SSD und NVMe). Zwei Partitionen auf einer Platte bringen keinen Geschwindigkeitsgewinn.
- Die Witness steht wirklich an einem dritten Standort oder Brandabschnitt, sonst fallen Witness und eine Zone gemeinsam aus.
- Zeitsynchronisation über eigene NTP-Server, Kurznamen über DNS statt SSH-Konfiguration.