Willkommen im Trainingslager
Wenig lesen, viel tippen. Dieses Buch bringt dir den Betrieb von Sprachmodellen so bei, wie du ihn im eigenen Homelab und beim Kunden brauchst: erst ein kleines Modell in kind auf dem Laptop, dann ein RKE2-Cluster mit sechs VMs auf Proxmox, eine durchgereichte GPU, vLLM, LiteLLM als Gateway, ein Chat für das Team und ein Code-Assistent.
Die Trainingsregeln
- Tippen, nicht kopieren. Jeden Befehl einmal selbst eingeben.
- Erwartet vergleichen. Nach jedem Drill steht, was du sehen solltest. Weicht es ab, steckt dort die eigentliche Lektion.
- Kontrollpunkt bestehen. Erst wenn das Prüfskript nur ✔ zeigt, geht es weiter.
- Challenge allein lösen. Erst der Hinweis, dann die Lösung.
- Lab-Werte bleiben im Lab.
sk-lab-master-1234und andere Lab-Passwörter nie produktiv verwenden. Echte Tokens (HF_TOKEN, API-Keys) kommen nur aus Umgebungsvariablen oder Secrets. - Modelle antworten nie gleich. Bei Modellantworten vergleichst du Form und Felder, nicht den Wortlaut.
Aufbau jedes Trainingstags
| Abschnitt | Zweck |
|---|---|
| Briefing | Das Nötigste in wenigen Stichpunkten |
| Drills | Befehle mit erwarteter Ausgabe |
| Kontrollpunkt | Prüfskript: hat alles geklappt? |
| Challenge | Eine Aufgabe ohne Anleitung |
| Enterprise-Notiz | Was in Produktion anders ist |
Der Trainingsplan
| Teil | Tag | Einheit |
|---|---|---|
| A – kind auf dem Laptop | 0 | Trainingsgelände: Laptop, Proxmox, Hardware-Checkliste |
| 1 | kind-Cluster für KI-Workloads | |
| 2 | Erstes Modell im Pod | |
| 3 | vLLM-Grundlagen und Sizing | |
| 4 | LiteLLM als Gateway | |
| 5 | Chat mit Open WebUI in kind | |
| B – RKE2 auf Proxmox | 6 | Proxmox vorbereiten: API-Token, Template, IOMMU |
| 7 | Sechs VMs mit OpenTofu | |
| 8 | RKE2 HA mit Ansible | |
| 9 | Plattform-Basis: LB-IPAM, Ingress, cert-manager, Storage, Monitoring | |
| C – GPUs und Modelle | 10 | GPUs in Kubernetes |
| 11 | vLLM auf der GPU | |
| 12 | LiteLLM produktiv | |
| D – Anwendungen und Betrieb | 13 | LLM-Chat für das Team: OIDC und RAG |
| 14 | Code-LLM mit Continue | |
| 15 | Betrieb und Wettkampf: Dashboards, Backup, Desaster-Drills | |
| Anhang | A | Spickzettel |
| B | Abschlussprüfung |
Das Trainingsgelände
Teil A: Laptop (kind "ki-lab") Teil B-D: Proxmox (RKE2 "rke2-lab")
┌───────────────────────────────┐ ┌──────────────────────────────────────┐
│ docker: ki-lab-control-plane │ │ vmbr0 · 10.10.20.0/24 · lab.internal │
│ :80/:443 → ingress-nginx │ │ VIP .10 rke2.lab.internal (kube-vip) │
│ docker: ki-lab-worker │ │ rke2-cp-1..3 .11-.13 etcd + API │
│ │ │ rke2-wk-1..2 .21-.22 Workloads │
│ ki-models llama.cpp (CPU) │ │ rke2-gpu-1 .31 NVIDIA GPU │
│ ki-gateway LiteLLM :4000 │ ────► │ LB-Pool .100-.120 (Cilium L2) │
│ ki-chat Open WebUI │ │ │
│ kube-system metrics-server │ │ ki-models vLLM chat / code / embed │
│ │ │ ki-gateway LiteLLM HA + Postgres │
│ chat.ki.localtest.me │ │ ki-chat Open WebUI + Qdrant │
│ → Open WebUI → LiteLLM │ │ ki-code Continue → LiteLLM │
│ → llama.cpp │ │ monitoring Prometheus, DCGM, Grafana │
└───────────────────────────────┘ └──────────────────────────────────────┘
Der Weg einer Anfrage ist in beiden Labs gleich: Client → Ingress →
LiteLLM (chat-small, chat-large,
code, embed) → Modellserver. Auf dem Laptop
rechnet llama.cpp auf der CPU, auf Proxmox rechnet vLLM auf der GPU. Was
du in Teil A lernst, überträgst du in Teil C eins zu eins.
Hardware-Annahmen
| Lab | Minimum | Empfohlen |
|---|---|---|
| Laptop (Teil A) | 4 CPU, 8 GB RAM für Docker, 20 GB frei | 6 CPU, 12 GB RAM, 60 GB frei |
| Proxmox-Basis (Teil B) | 16 Kerne, 64 GB RAM, 600 GB SSD | DL380-Klasse, 128 GB RAM |
| GPU-Host (Teil C/D) | NVIDIA-GPU mit 16 GB VRAM, VT-d/IOMMU | L4, RTX 4000 Ada oder RTX 4090 |
| Netz | ein Bridge vmbr0 |
eigenes VLAN für Kubernetes |
Ohne GPU kommst du bis Tag 9 vollständig durch. Tag 10–15 brauchen die GPU-VM; die CPU-Varianten aus Teil A bleiben als Notlösung.
Tipp: Getestet mit kind 0.33, kubectl 1.37, Helm 4.3 und llama.cpp
server-b11515. Weicht ein Flag ab:--helpdes Werkzeugs und die offizielle Doku.
Der Begleitcode
Alle Dateien aus diesem Buch liegen öffentlich auf GitHub: https://github.com/thomaszachmann/llms-auf-kubernetes-zum-anfassen. Wie du sie holst, zeigt Tag 0.
Los geht’s.
Thomas Zachmann, Oktober 2026