Vorwort
Kubernetes auf eigener Hardware ist schnell aufgesetzt. Schwierig
wird es beim Speicher: Eine Datenbank braucht ein Volume, das einen
ausgefallenen Node überlebt, ohne dass ein Cloud-Anbieter es für dich
repliziert. DRBD spiegelt Blockgeräte seit Jahrzehnten zuverlässig
zwischen Servern, LINSTOR verwaltet daraus Volumes, und ein CSI-Treiber
macht sie zu ganz normalen PVCs. Ob das trägt, siehst du erst im
Betrieb. Dann zeigt LINSTOR Unknown, während DRBD längst
repariert ist, ein PVC bleibt Pending, obwohl 20 GiB frei
sind, ein vergrößertes Volume bleibt bei der alten Größe hängen, oder
zwei Nodes halten sich nach einer Netzstörung beide für den einzig
richtigen. Dieses Buch bereitet dich auf genau diese Momente vor – nicht
mit Folien, sondern im Terminal.
Du baust in zwanzig Trainingstagen einen k0s-Cluster mit repliziertem
Block-Speicher auf vier VMs auf, betreibst darauf eine
PostgreSQL-Datenbank und machst ihn danach gezielt kaputt: Nodes stürzen
ab, das Storage-Netz fällt aus, Platten sterben, der Platz geht aus,
Versionen werden gemischt. Jede Funktion beginnt mit einer Messung und
endet mit einer Messung: ein Schreib-Client, der jede Sekunde
ok oder FEHLER meldet,
drbdadm status, lsblk, eine Metrik in
Prometheus. Was du nicht nachweisen kannst, hast du nicht
konfiguriert.
Das Buch richtet sich an Admins und Plattform-Engineers mit Linux- und Kubernetes-Grundlagen: Du solltest Pods, PVCs, StorageClasses und Helm kennen und dich auf der Kommandozeile eines Linux-Servers zu Hause fühlen. LVM-Grundwissen hilft, Tag 0 frischt es kurz auf. DRBD oder LINSTOR musst du noch nie betrieben haben.
So funktioniert das Buch
- Ein Tag, ein Thema. Jeder Tag hat ein Ziel, eine Zeitangabe, ein kurzes Briefing und 5–8 Drills. Du tippst jeden Befehl selbst und vergleichst mit „Erwartet“.
- Vorher, konfigurieren, nachher. Jede Funktion endet mit einem Nachweis: eine Zeile im Messgerät, ein Zustand in DRBD, ein Gerät im Stapel, eine Mail aus dem Alarmsystem.
- Mehrere Hosts. Befehle laufen auf verschiedenen
Maschinen. Jeder Code-Block beginnt deshalb mit einer Zeile wie
# auf k0s-ctrloder# auf k0s-w2. - Kein Hilfsskript. Jeder Schritt steht als einzelner Befehl da, auch der Kontrollpunkt am Ende jedes Tages. Manifeste und Konfigurationsdateien schreibst du per Heredoc. Einzige Ausnahme ist Tag 16: Dort sind die Ansible-Rollen der Stoff.
- Speed-Drills am Ende jedes Tages: kleine Aufgaben mit Zeitziel.
- Kontrollpunkt, Challenge, Interview-Notiz, Enterprise-Notiz schließen jeden Tag ab. Der Kontrollpunkt prüft mit einzelnen Befehlen, ob dein Labor im erwarteten Zustand ist – die nächsten Tage bauen darauf auf. Die Challenge ist eine Aufgabe ohne Anleitung, mit Hinweis und Lösung. Die Interview-Notiz sammelt die Fragen, die im Vorstellungsgespräch oder im Bereitschaftsdienst fallen, samt Kernantwort. Die Enterprise-Notiz sagt, was in Produktion anders ist als im Labor.
- Eine Datenbank durch alle Tage: Ab Tag 8 läuft im
Namespace
demoPostgreSQL (pg) auf einem replizierten Volume, danebenpg-client, der jede Sekunde eine Zeile schreibt undokoderFEHLERmit Uhrzeit loggt. Das ist dein Messgerät: Jede Schreibpause eines Ausfalls steht dort in Sekunden. Versuche mit hohem Risiko laufen an eigenen Test-Ressourcen.
Zum Schluss:
- Wettkampf (Tag 20): sieben eingebaute Fehler quer durch alle Schichten, die du unter Zeitdruck findest und behebst, und eine Runde Fragen der Revision.
- Anhang A ist der Spickzettel, Anhang B die Abschlussprüfung mit Aufgaben quer durch das Buch.
Die Tage im Überblick
| Tag | Thema | Dauer |
|---|---|---|
| 0 | Trainingsgelände: VMs, SSH, Storage-Netz, Datenplatte | ca. 60 min |
| 1 | k0s mit k0sctl aufbauen | ca. 45 min |
| 2 | k0s verstehen und verwalten | ca. 45 min |
| 3 | DRBD und LINSTOR auf den Hosts | ca. 60 min |
| 4 | Der LINSTOR-Cluster: Nodes, Netze, Witness, Zonen | ca. 45 min |
| 5 | Storage-Pools, Writecache und Platzierung | ca. 60 min |
| 6 | Controller-HA mit drbd-reactor und VIP | ca. 75 min |
| 7 | Piraeus als reiner CSI-Treiber | ca. 60 min |
| 8 | StorageClass und die erste Datenbank | ca. 45 min |
| 9 | Zustände lesen: LINSTOR gegen DRBD | ca. 45 min |
| 10 | Wenn ein Node ausfällt | ca. 75 min |
| 11 | Quorum und Split-Brain | ca. 75 min |
| 12 | Wenn der Platz ausgeht | ca. 60 min |
| 13 | Snapshots und Backup mit Velero | ca. 75 min |
| 14 | Eine Datenplatte tauschen | ca. 45 min |
| 15 | Updates: LINSTOR, CSI, Kernel, k0s | ca. 90 min |
| 16 | Dasselbe mit Ansible | ca. 45 min |
| 17 | Überwachung: Metriken und Dashboards | ca. 75 min |
| 18 | Logs und Alarme | ca. 75 min |
| 19 | Vom Labor zur Produktion | ca. 45 min |
| 20 | Wettkampf: der kaputte Speicher | ca. 120 min |
Zeit: Tag 0 bis 19 summieren sich auf 20 Stunden (1200 Minuten), der Wettkampf kommt mit zwei Stunden dazu, die Abschlussprüfung mit zwei weiteren. Bei einem Trainingstag pro Abend und fünf Abenden pro Woche bist du in gut vier Wochen durch.
Die Reihenfolge ist kein Zufall. Tag 0 bis 9 bauen das Labor auf und lehren dich, es zu lesen. Tag 10 bis 15 machen es absichtlich kaputt und setzen voraus, dass der Kontrollpunkt des Vortags grün ist. Tag 15 aktualisiert alles auf die neuesten Versionen – bewusst erst dort, denn ein echtes Update mit seinen Fallen übst du nur, wenn du mit einer älteren Version anfängst. Tag 16 bis 19 bauen auf dem aktualisierten Stand auf.
Das Trainingsgelände
Vier VMs mit Ubuntu 24.04, zwei Netze, zwei Zonen. Alle Befehle
laufen als ubuntu, Arbeitsplatz ist k0s-ctrl,
der Arbeitsordner ~/k0s-lab/tagNN/.
| VM | Management | Storage-Netz | Rolle |
|---|---|---|---|
k0s-ctrl |
172.16.0.176 | – | k0s-Controller, Witness, S3, Arbeitsplatz |
k0s-w1 |
172.16.0.186 | 10.10.0.11 | Worker, Storage, Zone a |
k0s-w2 |
172.16.0.36 | 10.10.0.12 | Worker, Storage, Zone b |
k0s-w3 |
172.16.0.72 | 10.10.0.13 | Worker, Storage, Zone a |
- Jede VM: 2 vCPU, 3,8 GiB RAM, Systemplatte 30 GB. Die drei Worker haben eine zweite, leere Platte mit 32 GB: 30 GB werden zur Datenplatte (steht für HDD), 2 GB zum Cache (steht für NVMe).
- Zwei Netze: Das Management-Netz trägt SSH,
Kubernetes und die Witness. Ein eigenes Storage-Netz ohne Gateway
(zweite Netzwerkkarte, im Labor eine Bridge ohne Uplink) trägt DRBD und
die VIP des LINSTOR-Controllers (10.10.0.100).
k0s-ctrlbekommt dort bewusst keine Adresse: Die Witness steht am „dritten Standort“. - Mindestens: Mit den Monitoring-Werkzeugen ab Tag 17 ist der Arbeitsspeicher der Worker knapp zur Hälfte belegt. Weniger als 2 vCPU und 3,8 GiB pro VM haben wir nicht getestet.
- Zugang: SSH mit Schlüssel und
sudoohne Passwort auf allen vier VMs. Tag 0 richtet aufk0s-ctrlKurznamen für die anderen Hosts ein. - Internet: Die VMs brauchen Zugang zu
Ubuntu-Paketquellen, Launchpad (PPA),
packages.linbit.com, GitHub und den üblichen Container-Registries.
Proxmox, VMware, eine Cloud oder Multipass – egal, solange du einer
VM eine zweite Platte und eine zweite Netzwerkkarte geben kannst. Auf
einem Mac mit Apple Silicon sind Multipass-VMs arm64. Die DRBD- und
LINSTOR-Pakete gibt es im PPA für amd64 und arm64, die
LINSTOR-Server-Pakete sind architekturunabhängig, und alle Images im
Buch sind Multi-Arch. Downloads ermitteln die Architektur selbst
(ARCH=$(dpkg --print-architecture)). Die Ausgaben im Buch
stammen von amd64; in Dateinamen und Prüfsummen steht bei dir dann
arm64.
Versionen
Aufgebaut wird bewusst mit älteren Ständen von k0s und LINSTOR; Tag 15 aktualisiert auf die neuesten.
| Komponente | Version | ab Tag |
|---|---|---|
| Ubuntu (alle VMs) | 24.04.5 LTS | 0 |
| Kernel | 6.8.0-149, ab Tag 15 6.8.0-151 | 0 |
| k0sctl | v0.33.1 | 1 |
| k0s | v1.36.6+k0s.0, ab Tag 15 v1.37.2+k0s.1 | 1 |
DRBD (drbd-dkms, PPA linbit-drbd9-stack) |
9.3.4 | 3 |
| drbd-utils | 9.36.0 | 3 |
| drbd-reactor | 1.12.0 | 3 |
| linstor-client, python-linstor | 1.29.1 | 3 |
| LINSTOR-Server (Controller, Satellite) | 1.34.2, ab Tag 15 1.35.3 | 3 |
resource-agents-base (OCF IPaddr2) |
4.13.0 | 6 |
| Helm | v4.3.2 | 7 |
| Piraeus-Operator | v2.12.1 | 7 |
Helm-Chart linstor-cluster |
1.3.2 | 7 |
| linstor-csi | v1.12.0, ab Tag 15 v1.13.2 | 7 |
postgres (Server und Client) |
18.7 | 8 |
busybox |
1.37 | 8 |
| snapshot-controller (Chart 5.4.0) | v8.7.0 | 13 |
| SeaweedFS | 4.54 | 13 |
| Velero (CLI und Server), AWS-Plugin | 1.18.4, 1.14.4 | 13 |
ansible-core (Ubuntu-Paket ansible) |
2.16.3 | 16 |
| kube-prometheus-stack (Chart), Prometheus | 93.4.1, v3.16.0 | 17 |
| Loki (Chart 7.7.0) | 3.6.20 | 18 |
| Alloy (Chart 1.16.0) | v1.22.0 | 18 |
| Mailpit | v1.34.0 | 18 |
| promtool | 3.16.0 | 18 |
Achtung: Das PPA führt inzwischen eine Beta von LINSTOR. Das Buch installiert die LINSTOR-Server-Pakete deshalb in fester Version und sperrt sie mit
apt-mark hold(Tag 3). Installiere LINSTOR nie ungepinnt.
Das Begleitrepo
Die Grundlage dieses Trainingslagers ist das Handbuch „k0s und
LINSTOR“ unter
https://github.com/thomaszachmann/k0s-linstor. Dort findest
du die Konfigurationen zum Nachschlagen. Manifeste und Befehle tippst du
trotzdem selbst – das ist das Training.
Was du danach kannst
- k0s mit k0sctl aufbauen, verwalten und Worker für Worker auf eine neue Minor-Version heben, ohne die Datenbank zu verlieren.
- DRBD und LINSTOR auf eigenen Hosts installieren, Nodes über ein eigenes Storage-Netz verbinden, eine Witness einbinden und Kopien über Zonen verteilen.
- Den LINSTOR-Controller mit drbd-reactor und einer VIP hochverfügbar betreiben.
- Piraeus als reinen CSI-Treiber gegen einen externen Controller einsetzen und eine StorageClass bauen, die nichts überschreibt, was sie nicht soll.
- Zustände lesen: was LINSTOR glaubt und was DRBD tatsächlich tut – und wem du im Zweifel glaubst.
- Node-Ausfälle, Netzstörungen, Split-Brain, volle Pools, defekte Platten und die Writecache-Falle beim Vergrößern erkennen und beheben.
- Volumes mit Velero, Kopia und CSI-Snapshots sichern und wiederherstellen.
- LINSTOR, CSI-Treiber, Kernel und k0s in der richtigen Reihenfolge aktualisieren.
- Den Aufbau mit Ansible wiederholbar machen und mit Prometheus, Loki und Alertmanager überwachen.
Hinweis: Dieses Buch ist ein unabhängiges Übungsbuch. k0s ist ein CNCF-Sandbox-Projekt, ursprünglich von Mirantis entwickelt. LINSTOR und DRBD sind Marken der LINBIT HA-Solutions GmbH. Piraeus ist ein CNCF-Sandbox-Projekt. Das Buch steht in keiner Verbindung zu diesen Projekten oder Unternehmen und wird von ihnen weder geprüft noch unterstützt. Kommerzielle Pakete und Support für denselben Aufbau gibt es als LINBIT SDS.
Alle Ausgaben stammen aus echten Läufen, gekürzt, wo es sinnvoll ist.
Werte wie das Datenbank-Passwort lab-pg-123, die
S3-Zugangsdaten lab-s3-key/lab-s3-secret-123
oder das Grafana-Passwort lab-grafana-123 sind reine
Laborwerte – in Produktion gehören sie in einen Passwort-Tresor oder ein
Secret, nie in ein Buch.
Viel Spaß im Trainingslager.