Zum Inhalt springen
Trainingslager IT-Trainingslager

Kurs

LLMs auf Kubernetes zum Anfassen

Private AI selbst betreiben

Hake ab, was du erledigt hast, und mach auf jedem Gerät weiter. Kostenlos registrieren

  1. Willkommen im Trainingslager
  2. Tag 0: Das Trainingsgelände ca. 45 min
  3. Tag 1: kind-Cluster für KI-Workloads ca. 60 min
  4. Tag 2: Erstes Modell im Pod ca. 75 min
  5. Tag 3: vLLM-Grundlagen – Engine, Sizing, Manifest ca. 75 min
  6. Tag 4: LiteLLM als Gateway – Aliase, Keys, Budgets ca. 90 min
  7. Tag 5: Chat mit Open WebUI in kind ca. 75 min
  8. Tag 6: Proxmox vorbereiten ca. 90 min
  9. Tag 7: Sechs VMs mit OpenTofu ca. 75 min
  10. Tag 8: RKE2 HA mit Ansible ca. 120 min
  11. Tag 9: Plattform-Basis ca. 120 min
  12. Tag 10: GPUs in Kubernetes ca. 150 min
  13. Tag 11: vLLM auf der GPU ca. 150 min
  14. Tag 12: LiteLLM produktiv ca. 150 min
  15. Tag 13: LLM-Chat für das Team – Open WebUI, Keycloak und RAG mit Qdrant ca. 180 min
  16. Tag 14: Code-LLM – Autocomplete und Chat in VS Code ca. 150 min
  17. Tag 15: Betrieb und Wettkampf ca. 300 min
  18. Anhang A: Spickzettel
  19. Anhang B: Abschlussprüfung 180 min Praxis + 30 min Fragen