Zum Inhalt springen
Trainingslager IT-Trainingslager

Willkommen im Trainingslager

Wenig lesen, viel tippen. Dieses Buch bringt dir den Betrieb von Sprachmodellen so bei, wie du ihn im eigenen Homelab und beim Kunden brauchst: erst ein kleines Modell in kind auf dem Laptop, dann ein RKE2-Cluster mit sechs VMs auf Proxmox, eine durchgereichte GPU, vLLM, LiteLLM als Gateway, ein Chat für das Team und ein Code-Assistent.

Die Trainingsregeln

  1. Tippen, nicht kopieren. Jeden Befehl einmal selbst eingeben.
  2. Erwartet vergleichen. Nach jedem Drill steht, was du sehen solltest. Weicht es ab, steckt dort die eigentliche Lektion.
  3. Kontrollpunkt bestehen. Erst wenn das Prüfskript nur ✔ zeigt, geht es weiter.
  4. Challenge allein lösen. Erst der Hinweis, dann die Lösung.
  5. Lab-Werte bleiben im Lab. sk-lab-master-1234 und andere Lab-Passwörter nie produktiv verwenden. Echte Tokens (HF_TOKEN, API-Keys) kommen nur aus Umgebungsvariablen oder Secrets.
  6. Modelle antworten nie gleich. Bei Modellantworten vergleichst du Form und Felder, nicht den Wortlaut.

Aufbau jedes Trainingstags

Abschnitt Zweck
Briefing Das Nötigste in wenigen Stichpunkten
Drills Befehle mit erwarteter Ausgabe
Kontrollpunkt Prüfskript: hat alles geklappt?
Challenge Eine Aufgabe ohne Anleitung
Enterprise-Notiz Was in Produktion anders ist

Der Trainingsplan

Teil Tag Einheit
A – kind auf dem Laptop 0 Trainingsgelände: Laptop, Proxmox, Hardware-Checkliste
1 kind-Cluster für KI-Workloads
2 Erstes Modell im Pod
3 vLLM-Grundlagen und Sizing
4 LiteLLM als Gateway
5 Chat mit Open WebUI in kind
B – RKE2 auf Proxmox 6 Proxmox vorbereiten: API-Token, Template, IOMMU
7 Sechs VMs mit OpenTofu
8 RKE2 HA mit Ansible
9 Plattform-Basis: LB-IPAM, Ingress, cert-manager, Storage, Monitoring
C – GPUs und Modelle 10 GPUs in Kubernetes
11 vLLM auf der GPU
12 LiteLLM produktiv
D – Anwendungen und Betrieb 13 LLM-Chat für das Team: OIDC und RAG
14 Code-LLM mit Continue
15 Betrieb und Wettkampf: Dashboards, Backup, Desaster-Drills
Anhang A Spickzettel
B Abschlussprüfung

Das Trainingsgelände

 Teil A: Laptop (kind "ki-lab")            Teil B-D: Proxmox (RKE2 "rke2-lab")
 ┌───────────────────────────────┐         ┌──────────────────────────────────────┐
 │ docker: ki-lab-control-plane  │         │ vmbr0 · 10.10.20.0/24 · lab.internal │
 │   :80/:443 → ingress-nginx    │         │ VIP .10 rke2.lab.internal (kube-vip) │
 │ docker: ki-lab-worker         │         │ rke2-cp-1..3   .11-.13  etcd + API   │
 │                               │         │ rke2-wk-1..2   .21-.22  Workloads    │
 │ ki-models  llama.cpp (CPU)    │         │ rke2-gpu-1     .31      NVIDIA GPU   │
 │ ki-gateway LiteLLM :4000      │  ────►  │ LB-Pool .100-.120 (Cilium L2)        │
 │ ki-chat    Open WebUI         │         │                                      │
 │ kube-system metrics-server    │         │ ki-models  vLLM chat / code / embed  │
 │                               │         │ ki-gateway LiteLLM HA + Postgres     │
 │ chat.ki.localtest.me          │         │ ki-chat    Open WebUI + Qdrant       │
 │   → Open WebUI → LiteLLM      │         │ ki-code    Continue → LiteLLM        │
 │   → llama.cpp                 │         │ monitoring Prometheus, DCGM, Grafana │
 └───────────────────────────────┘         └──────────────────────────────────────┘

Der Weg einer Anfrage ist in beiden Labs gleich: Client → Ingress → LiteLLM (chat-small, chat-large, code, embed) → Modellserver. Auf dem Laptop rechnet llama.cpp auf der CPU, auf Proxmox rechnet vLLM auf der GPU. Was du in Teil A lernst, überträgst du in Teil C eins zu eins.

Hardware-Annahmen

Lab Minimum Empfohlen
Laptop (Teil A) 4 CPU, 8 GB RAM für Docker, 20 GB frei 6 CPU, 12 GB RAM, 60 GB frei
Proxmox-Basis (Teil B) 16 Kerne, 64 GB RAM, 600 GB SSD DL380-Klasse, 128 GB RAM
GPU-Host (Teil C/D) NVIDIA-GPU mit 16 GB VRAM, VT-d/IOMMU L4, RTX 4000 Ada oder RTX 4090
Netz ein Bridge vmbr0 eigenes VLAN für Kubernetes

Ohne GPU kommst du bis Tag 9 vollständig durch. Tag 10–15 brauchen die GPU-VM; die CPU-Varianten aus Teil A bleiben als Notlösung.

Tipp: Getestet mit kind 0.33, kubectl 1.37, Helm 4.3 und llama.cpp server-b11515. Weicht ein Flag ab: --help des Werkzeugs und die offizielle Doku.

Der Begleitcode

Alle Dateien aus diesem Buch liegen öffentlich auf GitHub: https://github.com/thomaszachmann/llms-auf-kubernetes-zum-anfassen. Wie du sie holst, zeigt Tag 0.

Los geht’s.

Thomas Zachmann, Oktober 2026