Trainingsmaterial
LLMs auf Kubernetes zum Anfassen
Private AI selbst betreiben
Von kind auf dem Laptop zu RKE2 mit GPUs auf Proxmox – vLLM, LiteLLM, Open WebUI und Code-Assistenten selbst betreiben.
- vLLM
- LiteLLM
- Open WebUI
- Code-LLM
- GPU Operator
- DRA
Trainingsplan
- Willkommen im Trainingslager
- Tag 0: Das Trainingsgelände
- Tag 1: kind-Cluster für KI-Workloads
- Tag 2: Erstes Modell im Pod
- Tag 3: vLLM-Grundlagen – Engine, Sizing, Manifest
- Tag 4: LiteLLM als Gateway – Aliase, Keys, Budgets
- Tag 5: Chat mit Open WebUI in kind
- Tag 6: Proxmox vorbereiten
- Tag 7: Sechs VMs mit OpenTofu
- Tag 8: RKE2 HA mit Ansible
- Tag 9: Plattform-Basis
- Tag 10: GPUs in Kubernetes
- Tag 11: vLLM auf der GPU
- Tag 12: LiteLLM produktiv
- Tag 13: LLM-Chat für das Team – Open WebUI, Keycloak und RAG mit Qdrant
- Tag 14: Code-LLM – Autocomplete und Chat in VS Code
- Tag 15: Betrieb und Wettkampf
- Anhang A: Spickzettel
- Anhang B: Abschlussprüfung