Willkommen im Trainingslager
Wenig lesen, viel tippen. Dieses Buch bereitet dich auf eine Rolle als Applied AI Engineer / SRE bei einem LLM-Anbieter vor: Linux und Netzwerk von unten, eigene Tools in Python und Go, Mistral-Modelle auf einer VM und in Kubernetes, Observability, On-Call, Security – und am Ende der Betrieb beim Kunden on-prem.
Die Trainingsregeln
- Tippen, nicht kopieren. Jeder Befehl einmal selbst.
- Erwartet vergleichen. Nach jedem Drill steht, was du sehen solltest. Weicht es ab, findest du dort die eigentliche Lektion.
- Kontrollpunkt bestehen. Erst wenn das Prüfskript nur ✔ zeigt, geht es weiter.
- Challenge allein lösen. Erst den Hinweis, dann die Lösung.
- Laut erklären. Die Interview-Notiz einmal in zwei Minuten frei vortragen, als säße dir ein Interviewer gegenüber.
- Lab-Werte bleiben im Lab.
lab-key-acme,lab-key-globexund alle Passwörter sind Spielgeld. Echte Mistral-Keys nur überMISTRAL_API_KEY, nie im Code.
Aufbau jedes Trainingstags
| Abschnitt | Zweck |
|---|---|
| Briefing | Das Nötigste in wenigen Stichpunkten |
| Drills | Befehle mit erwarteter Ausgabe |
| Kontrollpunkt | Prüfskript: hat alles geklappt? |
| Challenge | Eine Aufgabe ohne Anleitung |
| Interview-Notiz | Wie du das Thema im Gespräch erklärst |
| Enterprise-Notiz | Was in Produktion und beim Kunden anders ist |
Der Trainingsplan
| Woche | Tag | Einheit |
|---|---|---|
| 1 – Grundlagen | 0 | Trainingsgelände aufbauen |
| 1 | Linux-Internals: Prozesse, /proc, cgroups v2, Namespaces, systemd | |
| 2 | Netzwerk-Debugging: ss, dig, curl-Timings, tcpdump, TLS, MTU | |
| 3 | Python für SRE: llmctl bauen und testen | |
| 4 | Go für SRE: llm-gateway bauen, testen, ausliefern | |
| 2 – LLMs & Kubernetes | 5 | Mistral-Modelle auf einer Linux-VM |
| 6 | Multi-Tenant-Kubernetes: RBAC, Quotas, NetworkPolicy, PSA | |
| 7 | Model-Serving auf Kubernetes | |
| 3 – Observability & Betrieb | 8 | Observability I: Prometheus, PromQL, Grafana |
| 9 | Observability II: Loki, OpenTelemetry, Tempo | |
| 10 | SLOs, Alerting und On-Call | |
| 11 | Incident Response und Post-Mortem | |
| 4 – Automatisierung, Security, Kunde | 12 | Infrastructure as Code: OpenTofu und Ansible |
| 13 | Security: SDLC, SBOM, Signaturen, CVE-Response | |
| 14 | Hybrid und On-Prem beim Kunden | |
| 15 | Wettkampf: Desaster-Drills | |
| Anhang | A | Spickzettel |
| B | Abschlussprüfung | |
| C | Interview-Vorbereitung |
Das Trainingsgelände
Laptop (macOS/Linux) ~/sre-lab
┌───────────────────────────────────────────────────────────────────┐
│ docker · kind · kubectl · helm · go · python · tofu · ansible │
│ │
│ kind-Cluster "sre-lab" (1 control-plane + 2 worker) │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ ns llm-system: Modellserver · llm-gateway │ │
│ │ ns monitoring: Prometheus · Grafana · Loki · Tempo │ │
│ │ ns tenant-acme: Client-Apps (lab-key-acme) │ │
│ │ ns tenant-globex: Client-Apps (lab-key-globex) │ │
│ └──────────────────────────────────────────────────────────┘ │
│ │ HTTP /v1/chat/completions │
│ ▼ │
│ Linux-VM "llm-vm" (multipass, Ubuntu 24.04) │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ Ollama :11434 (CPU, Mistral-Modell) │ │
│ │ vLLM :8000 (nur mit GPU, z. B. Cloud-VM) │ │
│ │ systemd · cgroups · journald │ │
│ └──────────────────────────────────────────────────────────┘ │
└───────────────────────────────────────────────────────────────────┘
Stellenanzeige → Trainingstag
| Anforderung | Tage |
|---|---|
| Linux-Internals, Netzwerk-Debugging, verteilte Systeme | 1, 2, 15 |
| Python und Go: Tools bauen, testen, ausliefern | 3, 4 |
| LLM/Model Serving | 5, 7 |
| Multi-Tenant Kubernetes: Namespaces, NetworkPolicy, RBAC | 6, 7 |
| Observability: Prometheus, Grafana, OTel, Loki, Tempo | 8, 9 |
| On-Call, Incident Response, Post-Mortems, Runbooks | 10, 11, 15 |
| IaC: Terraform/OpenTofu und Ansible | 12 |
| Security-Mindset: Secure SDLC, CVE, Supply Chain | 13 |
| Hybrid/On-Prem beim Kunden, Kundenkommunikation | 11, 14 |
| Interview und schriftliche Kommunikation | jede Interview-Notiz, Anhang C |
Tipp: Getestet mit go 1.25 und 1.26, python 3.14, Ollama 0.35, kind 0.33, kubectl 1.37, helm 4.3, tofu 1.12 und Ubuntu 24.04. Weicht ein Flag ab:
<tool> --helpund die offizielle Doku.
Der Begleitcode
Alle Dateien aus diesem Buch liegen öffentlich auf GitHub: https://github.com/thomaszachmann/llm-plattformen-zum-anfassen. Wie du sie holst, zeigt Tag 0.
Los geht’s.
Thomas Zachmann, Oktober 2026