Zum Inhalt springen
Trainingslager IT-Trainingslager
Cover: LLMs auf Kubernetes zum Anfassen

Trainingsmaterial

LLMs auf Kubernetes zum Anfassen

Private AI selbst betreiben

Von kind auf dem Laptop zu RKE2 mit GPUs auf Proxmox – vLLM, LiteLLM, Open WebUI und Code-Assistenten selbst betreiben.

  • vLLM
  • LiteLLM
  • Open WebUI
  • Code-LLM
  • GPU Operator
  • DRA

Trainingsplan

  1. Willkommen im Trainingslager
  2. Tag 0: Das Trainingsgelände
  3. Tag 1: kind-Cluster für KI-Workloads
  4. Tag 2: Erstes Modell im Pod
  5. Tag 3: vLLM-Grundlagen – Engine, Sizing, Manifest
  6. Tag 4: LiteLLM als Gateway – Aliase, Keys, Budgets
  7. Tag 5: Chat mit Open WebUI in kind
  8. Tag 6: Proxmox vorbereiten
  9. Tag 7: Sechs VMs mit OpenTofu
  10. Tag 8: RKE2 HA mit Ansible
  11. Tag 9: Plattform-Basis
  12. Tag 10: GPUs in Kubernetes
  13. Tag 11: vLLM auf der GPU
  14. Tag 12: LiteLLM produktiv
  15. Tag 13: LLM-Chat für das Team – Open WebUI, Keycloak und RAG mit Qdrant
  16. Tag 14: Code-LLM – Autocomplete und Chat in VS Code
  17. Tag 15: Betrieb und Wettkampf
  18. Anhang A: Spickzettel
  19. Anhang B: Abschlussprüfung