Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 0: Das Trainingsgelände

Ziel: Vier VMs sind von einem Arbeitsplatz aus per Kurzname erreichbar, die drei Worker haben ein eigenes Storage-Netz und je zwei Volume-Groups für Daten und Cache. · Dauer: ca. 60 min · Voraussetzung: vier Ubuntu-24.04-VMs wie unten

Briefing

  • LINSTOR und DRBD laufen in diesem Buch auf den Hosts, nicht im Cluster. Kubernetes (k0s) bekommt nur den CSI-Treiber.
  • Zwei Netze: Management (SSH, Kubernetes-API, Pods, Witness, Backup) und Storage nur für die Replikation zwischen den Workern.
  • Zwei Zonen: k0s-w1 und k0s-w3 in Zone a, k0s-w2 in Zone b. Jedes Volume bekommt eine Kopie pro Zone.
  • k0s-ctrl ist k0s-Controller, Witness ohne Daten am „dritten Standort“ und dein Arbeitsplatz. Er bekommt bewusst keine Adresse im Storage-Netz.
  • Jede Datenplatte wird geteilt: 30 GB als „HDD“ (VG data), 2 GB als „NVMe“ (VG cache) für den Writecache.
        Management-Netz 172.16.0.0/24 (SSH, k8s-API, Pods, Witness, S3)
 ──┬────────────────┬────────────────┬────────────────┬──
 k0s-ctrl .176    k0s-w1 .186      k0s-w2 .36       k0s-w3 .72
 k0s-Controller   Worker Zone a    Worker Zone b    Worker Zone a
 Witness, S3      sdb: data+cache  sdb: data+cache  sdb: data+cache
                      │ .11            │ .12            │ .13
 ─────────────────────┴────────────────┴────────────────┴──
        Storage-Netz 10.10.0.0/24 (DRBD, Satellites, VIP .100)

Drill 1: Den Arbeitsplatz prüfen

Das Buch wurde auf vier VMs unter Proxmox getestet: je 2 vCPU, 3,8 GiB RAM, Systemplatte 30 GB, eine zweite Netzwerkkarte ens19 an einer Bridge ohne physischen Port. Die drei Worker haben zusätzlich eine leere 32-GB-Platte. Alle Ausgaben zeigen amd64. Mit multipass auf Apple Silicon läuft dasselbe auf arm64.

Melde dich mit deinem eigenen Schlüssel auf k0s-ctrl an. Alle Code-Blöcke ohne anderen Hinweis laufen dort.

# auf deinem Rechner
ssh -i ~/.ssh/homelab [email protected]
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag00 && cd ~/k0s-lab/tag00
grep PRETTY /etc/os-release
uname -rm
nproc; free -h | head -2
ip -br link
lsblk -d -o NAME,SIZE,TYPE
timedatectl | grep -E 'synchronized|NTP'

Erwartet:

PRETTY_NAME="Ubuntu 24.04.5 LTS"
6.8.0-149-generic x86_64
2
               total        used        free      shared  buff/cache   available
Mem:           3.8Gi       414Mi       3.3Gi       1.0Mi       299Mi       3.4Gi
lo               UNKNOWN        00:00:00:00:00:00 <LOOPBACK,UP,LOWER_UP>
eth0             UP             bc:24:11:79:c8:ab <BROADCAST,MULTICAST,UP,LOWER_UP>
ens19            DOWN           bc:24:11:11:36:9f <BROADCAST,MULTICAST>
NAME SIZE TYPE
sda   30G disk
sr0    4M rom
System clock synchronized: yes
              NTP service: active

ens19 ist vorhanden, aber DOWN – so soll es auf k0s-ctrl bleiben. Die Uhrzeit muss auf allen Hosts synchron sein. Sonst passen Zeitstempel in DRBD-, LINSTOR- und k0s-Logs nicht zusammen, und Zertifikate gelten plötzlich als „noch nicht gültig“.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein Schlüssel für den Arbeitsplatz

k0sctl und später Ansible verbinden sich per SSH von k0s-ctrl aus auf alle vier Hosts – auch auf k0s-ctrl selbst. Dafür bekommt der Arbeitsplatz einen eigenen Schlüssel.

# auf k0s-ctrl
ssh-keygen -t ed25519 -N '' -C k0s-lab -f ~/.ssh/id_ed25519

Erwartet (gekürzt):

Your identification has been saved in /home/ubuntu/.ssh/id_ed25519
Your public key has been saved in /home/ubuntu/.ssh/id_ed25519.pub
The key fingerprint is:
SHA256:nFiwFVBS6NJA1caTgsFXkd5TDPO9E4cGPtPSG3m0GOI k0s-lab

Die VMs erlauben keine Anmeldung mit Passwort, ssh-copy-id von k0s-ctrl aus scheitert also. Den öffentlichen Schlüssel verteilst du mit deinem eigenen Zugang:

# auf deinem Rechner
ssh -i ~/.ssh/homelab [email protected] cat .ssh/id_ed25519.pub > k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub
ssh -i ~/.ssh/homelab [email protected] 'cat >> .ssh/authorized_keys' < k0s-lab.pub

Keine Ausgabe heißt: Es hat geklappt.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Kurznamen

Zwischen den VMs gibt es keine Namensauflösung. Statt /etc/hosts zu pflegen, das cloud-init beim nächsten Start überschreiben kann, bekommt nur der Arbeitsplatz Kurznamen.

# auf k0s-ctrl
cat > ~/.ssh/config <<'EOF'
Host k0s-ctrl
    HostName 172.16.0.176
Host k0s-w1
    HostName 172.16.0.186
Host k0s-w2
    HostName 172.16.0.36
Host k0s-w3
    HostName 172.16.0.72
Host k0s-*
    User ubuntu
    IdentityFile ~/.ssh/id_ed25519
    StrictHostKeyChecking accept-new
EOF
chmod 600 ~/.ssh/config
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h hostname; done

Erwartet:

Warning: Permanently added '172.16.0.176' (ED25519) to the list of known hosts.
k0s-ctrl
Warning: Permanently added '172.16.0.186' (ED25519) to the list of known hosts.
k0s-w1
Warning: Permanently added '172.16.0.36' (ED25519) to the list of known hosts.
k0s-w2
Warning: Permanently added '172.16.0.72' (ED25519) to the list of known hosts.
k0s-w3

accept-new übernimmt unbekannte Host-Schlüssel beim ersten Kontakt, lehnt aber geänderte ab. Die Einträge landen unter der IP-Adresse in ~/.ssh/known_hosts – genau dort sucht k0sctl morgen.

Jetzt ein Rundgang über die Worker:

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  ssh $h 'hostname; ip -br link show ens19; lsblk -dn -o NAME,SIZE /dev/sdb
          sudo wipefs /dev/sdb'
done

Erwartet:

k0s-w1
ens19            DOWN           bc:24:11:ba:60:15 <BROADCAST,MULTICAST>
sdb   32G
k0s-w2
ens19            DOWN           bc:24:11:16:67:f1 <BROADCAST,MULTICAST>
sdb   32G
k0s-w3
ens19            DOWN           bc:24:11:b8:fa:25 <BROADCAST,MULTICAST>
sdb   32G

wipefs ohne Option listet nur Signaturen. Keine Zeile heißt: Die Platte ist leer. Heißt die Zusatzplatte bei dir anders, zum Beispiel sdc nach einem Plattentausch, ersetzt du sdb im ganzen Kapitel.

Achtung: Steht dort etwas, war die Platte schon benutzt. sudo wipefs -a /dev/sdb löscht die Signaturen ohne Rückfrage. Prüfe vorher mit lsblk, dass es wirklich die 32-GB-Zusatzplatte ist und nicht sda.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Das Storage-Netz

Die vorhandene 50-cloud-init.yaml bleibt unberührt. Eine zweite netplan-Datei konfiguriert nur ens19: kein Gateway, kein DNS – das Netz führt nirgendwohin außer zu den anderen Workern.

# auf k0s-w1
sudo tee /etc/netplan/60-storage.yaml >/dev/null <<'EOF'
network:
  version: 2
  ethernets:
    ens19:
      addresses: [10.10.0.11/24]
      mtu: 1500
EOF
sudo chmod 600 /etc/netplan/60-storage.yaml
sudo netplan apply
ip -br addr show ens19

Erwartet:

ens19            UP             10.10.0.11/24 fe80::be24:11ff:feba:6015/64

Wiederhole das auf k0s-w2 mit 10.10.0.12/24 und auf k0s-w3 mit 10.10.0.13/24. Ohne chmod 600 warnt netplan bei jedem Aufruf:

** (process:2209): WARNING **: 23:48:06.823: Permissions for /etc/netplan/60-storag...

Fortschritt speichern? Kostenlos registrieren

Drill 5: Welcher Weg?

DRBD schreibt jeden Block synchron auf den Partner. Läuft die Replikation über das falsche Netz, teilt sie sich die Leitung mit Image-Pulls und Backups. ip route get zeigt, welche Karte der Kernel für ein Ziel nimmt.

# auf k0s-w1
ping -c2 -q 10.10.0.12 | tail -2
ping -c2 -q 10.10.0.13 | tail -2
ip route get 10.10.0.12
ip route get 172.16.0.176

Erwartet:

2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 0.474/0.971/1.469/0.497 ms
2 packets transmitted, 2 received, 0% packet loss, time 1002ms
rtt min/avg/max/mdev = 0.718/1.071/1.425/0.353 ms
10.10.0.12 dev ens19 src 10.10.0.11 uid 1000
    cache
172.16.0.176 dev eth0 src 172.16.0.186 uid 1000
    cache

Zum Partner-Worker geht es über ens19, zur Witness über eth0. Genau diese Aufteilung bildest du an Tag 4 in LINSTOR nach. Und von der Witness aus?

# auf k0s-ctrl
ip route get 10.10.0.11
ping -c2 -W1 -q 10.10.0.11 | tail -1

Erwartet:

10.10.0.11 via 172.16.0.1 dev eth0 src 172.16.0.176 uid 1000
    cache
2 packets transmitted, 0 received, 100% packet loss, time 1002ms

k0s-ctrl schickt Pakete ins Storage-Netz an sein Default-Gateway, und dort kommen sie nie an. Das ist gewollt: Die Witness erreicht die Worker nur über deren Management-Adressen.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Datenplatte und Cache

In der Zielarchitektur liegen die Daten auf großen, langsamen Platten, davor sitzt ein kleiner NVMe-Bereich als Writecache. Im Lab teilst du die eine Zusatzplatte in zwei Partitionen und tust so, als wären es zwei Geräte.

Partition Größe Volume-Group steht für
/dev/sdb1 30 GB data HDD mit den Daten
/dev/sdb2 2 GB cache NVMe als Writecache
# auf k0s-w1
lsblk /dev/sdb
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2
sudo vgs
lsblk /dev/sdb

Erwartet:

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb    8:16   0  32G  0 disk
  Physical volume "/dev/sdb1" successfully created.
  Physical volume "/dev/sdb2" successfully created.
  Volume group "data" successfully created
  Volume group "cache" successfully created
  VG    #PV #LV #SN Attr   VSize   VFree
  cache   1   0   0 wz--n-  <2.00g  <2.00g
  data    1   0   0 wz--n- <30.00g <30.00g
NAME   MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sdb      8:16   0  32G  0 disk
├─sdb1   8:17   0  30G  0 part
└─sdb2   8:18   0   2G  0 part

Wiederhole das auf k0s-w2 und k0s-w3. Die VG-Namen müssen auf allen Workern gleich sein, denn ein LINSTOR-Storage-Pool verweist über alle Nodes auf denselben Namen. k0s-ctrl bekommt keine VG, die Witness speichert nie Daten.

Warum zwei VGs und nicht eine mit zwei PVs? LINSTOR legt Daten- und Cache-Volumes aus verschiedenen Pools an. Ein Pool ist bei LVM genau eine VG. Nur so landet der Cache sicher auf dem schnellen Gerät.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig von k0s-ctrl aus die IPv4-Adresse von ens19 auf allen drei Workern. Zeitziel: 30 s
  2. Zeig Größe und freien Platz beider VGs auf k0s-w2. Zeitziel: 15 s
  3. Prüfe die Rechte der netplan-Dateien auf k0s-w3. Zeitziel: 15 s
  4. Zeig den laufenden Kernel aller vier Hosts. Zeitziel: 30 s

Lösung

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'hostname; ip -br -4 addr show ens19'; done
ssh k0s-w2 sudo vgs -o vg_name,vg_size,vg_free
ssh k0s-w3 ls -l /etc/netplan/
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h uname -n -r; done

Erwartet (gekürzt):

k0s-w1
ens19            UP             10.10.0.11/24
...
  VG    VSize   VFree
  cache  <2.00g  <2.00g
  data  <30.00g <30.00g
-rw------- 1 root root 139 Nov 12 15:50 50-cloud-init.yaml
-rw------- 1 root root  95 Nov 19 23:46 60-storage.yaml
k0s-ctrl 6.8.0-149-generic
k0s-w1 6.8.0-149-generic
k0s-w2 6.8.0-149-generic
k0s-w3 6.8.0-149-generic

Am einfachsten haben alle vier Hosts denselben Kernel. An Tag 3 baut DKMS das DRBD-Modul für genau den laufenden Kernel.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h hostname; done

Erwartet: vier Namen, ohne Passwortabfrage und ohne Rückfrage zum Host-Schlüssel.

# auf k0s-ctrl
ssh k0s-w1 ip route get 10.10.0.13

Erwartet: 10.10.0.13 dev ens19 src 10.10.0.11 ...

# auf k0s-ctrl
ssh k0s-w2 sudo pvs

Erwartet:

  PV         VG    Fmt  Attr PSize   PFree
  /dev/sdb1  data  lvm2 a--  <30.00g <30.00g
  /dev/sdb2  cache lvm2 a--   <2.00g  <2.00g
# auf k0s-ctrl
ip -br addr show ens19

Erwartet: ens19 DOWN ohne Adresse.

Challenge

Beweise, dass die Replikation zwischen k0s-w1 und k0s-w3 nicht heimlich über das Management-Netz ausweicht, wenn das Storage-Netz ausfällt. Nimm dazu ens19 auf k0s-w3 kurz vom Netz und stelle danach den alten Zustand her.

Hinweis: Die Route auf k0s-w1 hängt an seiner eigenen Karte, nicht an der des Partners.

Lösung

# auf k0s-ctrl
ssh k0s-w3 sudo ip link set ens19 down
ssh k0s-w1 'ip route get 10.10.0.13; ping -c2 -W1 -q 10.10.0.13 | tail -1'
ssh k0s-w3 'sudo ip link set ens19 up; sleep 3; ip -br addr show ens19'
ssh k0s-w1 'ping -c2 -q 10.10.0.13 | tail -2'

Erwartet:

10.10.0.13 dev ens19 src 10.10.0.11 uid 1000
    cache
2 packets transmitted, 0 received, 100% packet loss, time 1060ms
ens19            UP             10.10.0.13/24 fe80::be24:11ff:feb8:fa25/64
2 packets transmitted, 2 received, 0% packet loss, time 1009ms
rtt min/avg/max/mdev = 0.487/0.522/0.557/0.035 ms

k0s-w1 versucht es weiter über ens19 und läuft ins Leere – ein Ausweichen über eth0 gibt es nicht. Für DRBD heißt das: Verbindung weg, nicht langsamer Umweg. Was dann mit Quorum und Schreibzugriffen passiert, übst du an Tag 11. Nach ip link set up setzt systemd-networkd die Adresse aus netplan von selbst wieder.

Fortschritt speichern? Kostenlos registrieren

Interview-Notiz

  • Warum ein eigenes Netz für die Replikation? Synchrone Replikation bestätigt einen Schreibvorgang erst, wenn der Partner ihn hat. Die Netzlatenz steckt in jedem Commit der Datenbank, also darf kein anderer Verkehr sie stören.
  • Was ist eine Witness? Ein Node ohne Daten, der beim Quorum mitzählt. Mit zwei Datenkopien und einer Witness bildet bei Ausfall eines Nodes die übrige Seite eine Mehrheit.
  • Wie prüfst du, über welches Netz ein Ziel erreicht wird? ip route get <ziel> – zeigt Karte und Quelladresse, ohne ein Paket zu senden.

Enterprise-Notiz

  • Storage-Netz als eigenes VLAN auf eigenen Ports, redundant per Bonding (LACP) oder mit zwei getrennten DRBD-Pfaden. MTU 9000 nur, wenn jeder Switch auf dem Weg mitmacht.
  • Daten und Cache sind in Produktion getrennte Geräte (HDD/SSD und NVMe). Zwei Partitionen auf einer Platte bringen keinen Geschwindigkeitsgewinn.
  • Die Witness steht wirklich an einem dritten Standort oder Brandabschnitt, sonst fallen Witness und eine Zone gemeinsam aus.
  • Zeitsynchronisation über eigene NTP-Server, Kurznamen über DNS statt SSH-Konfiguration.