Tag 6: Autoscaling und Monitoring
Ziel: Du siehst, was Nodes und Pods verbrauchen, und lässt Kubernetes Pods nach Last skalieren – horizontal und in der Größe. · Dauer: ca. 45 min · Voraussetzung: Tag 5
Briefing
CKA: „Configure workload autoscaling” (Workloads) und „Monitor cluster and application resource usage” (Troubleshooting).
kubelet (cAdvisor) --> metrics-server --> Metrics API --> kubectl top
\--> HPA --> Deployment.replicas
- Ohne metrics-server kein
kubectl topund kein HPA. - Der HPA rechnet in Prozent der Requests – ohne CPU-Request keine Skalierung.
- In-Place-Resize ändert Requests und Limits eines laufenden Pods ohne Neustart.
Drill 1: metrics-server installieren
M=https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.9.1
k apply -f $M/components.yamlErwartet (letzte Zeilen):
deployment.apps/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created
kubeadm stellt den kubelets selbstsignierte Serving-Zertifikate aus, denen der metrics-server nicht traut. Im Labor schalten wir die Prüfung ab:
k patch deployment metrics-server -n kube-system --type=json \
-p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-",
"value":"--kubelet-insecure-tls"}]'
k rollout status deployment metrics-server -n kube-system
k wait --for=condition=Available apiservice v1beta1.metrics.k8s.ioErwartet:
deployment.apps/metrics-server patched
deployment "metrics-server" successfully rolled out
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io condition met
Achtung:
--kubelet-insecure-tlsnur im Labor. In Produktion signierte kubelet-Zertifikate verwenden (Enterprise-Notiz).
Fortschritt speichern? Kostenlos registrieren
Drill 2: Wer verbraucht was?
Nach etwa 30 Sekunden liegen die ersten Werte vor:
k top nodes
k top pods -n kube-system --sort-by=memory | head -4Erwartet:
NAME CPU(cores) CPU(%) MEMORY(bytes) MEMORY(%)
cp1 615m 15% 1235Mi 10%
worker1 410m 20% 1072Mi 28%
worker2 280m 14% 709Mi 18%
NAME CPU(cores) MEMORY(bytes)
kube-apiserver-cp1 240m 492Mi
kube-controller-manager-cp1 44m 70Mi
etcd-cp1 93m 58Mi
Pro Container statt pro Pod:
k top pods -n kube-system --containers | head -3Erwartet:
POD NAME CPU(cores) MEMORY(bytes)
coredns-589f44dc88-c9tfc coredns 8m 12Mi
coredns-589f44dc88-tdzsw coredns 7m 12Mi
Fortschritt speichern? Kostenlos registrieren
Drill 3: Eine App mit CPU-Requests
Das Beispiel-Image aus der Kubernetes-Doku rechnet bei jeder Anfrage:
k create ns tag06
k config set-context --current --namespace=tag06
k create deployment php --image=registry.k8s.io/hpa-example --port=80
k set resources deployment php --requests=cpu=200m --limits=cpu=500m
k expose deployment php --port=80Erwartet:
deployment.apps/php created
deployment.apps/php resource requirements updated
service/php exposed
Fortschritt speichern? Kostenlos registrieren
Drill 4: Horizontal Pod Autoscaler
k autoscale deployment php --cpu=50% --min=1 --max=5
k get hpa phpErwartet:
horizontalpodautoscaler.autoscaling/php autoscaled
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php Deployment/php cpu: <unknown>/50% 1 5 1 68s
<unknown> verschwindet nach ein bis zwei Minuten,
sobald Messwerte vorliegen. Bis dahin meldet
k describe hpa php Events wie
FailedGetResourceMetric – das ist normal.
Das erzeugte Objekt ist ein autoscaling/v2-HPA:
k autoscale deployment php --cpu=50% --min=1 --max=5 $do | head -14Erwartet:
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: php
spec:
maxReplicas: 5
metrics:
- resource:
name: cpu
target:
averageUtilization: 50
type: Utilization
type: Resource
minReplicas: 1
Fortschritt speichern? Kostenlos registrieren
Drill 5: Last erzeugen
k run load --image=busybox:1.37 --restart=Never -- \
sh -c 'while true; do wget -q -O- http://php >/dev/null; done'Nach etwa 90 Sekunden:
k get hpa php
k top podsErwartet (Werte schwanken):
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
php Deployment/php cpu: 65%/50% 1 5 5 2m45s
NAME CPU(cores) MEMORY(bytes)
load 11m 0Mi
php-6b569995f-5kmct 219m 11Mi
php-6b569995f-6gwhf 20m 11Mi
php-6b569995f-bwtjd 129m 10Mi
php-6b569995f-cfqrh 149m 12Mi
php-6b569995f-dtdsk 58m 11Mi
Fünf Replikas – das Maximum. Last stoppen:
k delete pod load --nowFortschritt speichern? Kostenlos registrieren
Drill 6: Schneller herunterskalieren
Standardmäßig wartet der HPA fünf Minuten, bevor er Pods abbaut – Schutz vor Flattern. Für das Labor verkürzen wir das Fenster:
k patch hpa php \
-p '{"spec":{"behavior":{"scaleDown":{"stabilizationWindowSeconds":30}}}}'
k get hpa php -o jsonpath='{.spec.behavior.scaleDown}{"\n"}'Erwartet:
horizontalpodautoscaler.autoscaling/php patched
{"policies":[{"periodSeconds":15,"type":"Percent","value":100}],"selectPolicy":"Max",
"stabilizationWindowSeconds":30}
Nach gut einer Minute:
k get hpa phpErwartet: REPLICAS ist wieder
1.
Fortschritt speichern? Kostenlos registrieren
Drill 7: In-Place-Resize
Seit Kubernetes 1.35 ändert das Subresource resize CPU
und Memory eines laufenden Pods:
cat <<'EOF' | k apply -f -
apiVersion: v1
kind: Pod
metadata:
name: resize
spec:
containers:
- name: app
image: nginx:1.29
resources:
requests:
cpu: 100m
memory: 64Mi
limits:
cpu: 200m
memory: 128Mi
EOF
k wait --for=condition=Ready pod/resize
k patch pod resize --subresource resize -p '{"spec":{"containers":[{"name":"app",
"resources":{"requests":{"cpu":"300m"},"limits":{"cpu":"500m"}}}]}}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].resources}{"\n"}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].restartCount}{"\n"}'Erwartet:
pod/resize patched
{"limits":{"cpu":"500m","memory":"128Mi"},"requests":{"cpu":"300m","memory":"64Mi"}}
0
Die neuen Werte gelten, und der Container wurde nicht neu gestartet.
Ein normales k apply mit geänderten Ressourcen würde
dagegen abgelehnt (Tag 2).
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige den Node mit der höchsten CPU-Last zuerst. Zeitziel: 15 s
- Finde den Pod im ganzen Cluster, der am meisten Memory verbraucht,
und schreibe seinen Namen nach
/tmp/top-pod.txt. Zeitziel: 60 s - Erzeuge einen HPA für
php: 2 bis 8 Replikas, Ziel 70 % CPU. Zeitziel: 20 s
Lösung
k top node --sort-by=cpu
k top pods -A --sort-by=memory --no-headers | head -1 \
| awk '{print $2}' > /tmp/top-pod.txt
cat /tmp/top-pod.txt
k delete hpa php
k autoscale deployment php --cpu=70% --min=2 --max=8Erwartet (Ausschnitt):
kube-apiserver-cp1
horizontalpodautoscaler.autoscaling/php autoscaled
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k get apiservice v1beta1.metrics.k8s.ioErwartet: AVAILABLE ist
True.
k get hpa php -o jsonpath='{.spec.minReplicas} {.spec.maxReplicas}{"\n"}'Erwartet: 2 8
k get pod resize -o jsonpath='{.spec.containers[0].resources.requests.cpu}{"\n"}'Erwartet: 300m
Challenge
Die Memory-Grenze des Pods resize soll auf 256Mi steigen
– ohne Neustart.
Hinweis: Memory-Änderungen laufen über dasselbe Subresource wie CPU.
Lösung
k patch pod resize --subresource resize \
-p '{"spec":{"containers":[{"name":"app",
"resources":{"limits":{"memory":"256Mi"}}}]}}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].resources.limits}{"\n"}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].restartCount}{"\n"}'Erwartet:
pod/resize patched
{"cpu":"500m","memory":"256Mi"}
0
Aufräumen (metrics-server bleibt für die folgenden Tage):
k config set-context --current --namespace=default
k delete ns tag06Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
k topist die schnellste Antwort auf „welcher Pod verbraucht am meisten” – mit--sort-byund-A.- HPA bleibt bei
<unknown>? Fehlt der CPU-Request oder läuft der metrics-server nicht. - Doku-Seite merken: „HorizontalPodAutoscaler Walkthrough”.
Enterprise-Notiz
- Statt
--kubelet-insecure-tls: im kubeletserverTLSBootstrap: truesetzen und die Serving-CSRs freigeben (lassen) – dann prüft der metrics-server echte Zertifikate. kubectl topzeigt nur den Moment. Für Verläufe und Alarme Prometheus (Buch „Observability zum Anfassen”).- Für ereignisgesteuertes Skalieren (Queues, Kafka) KEDA; für Nodes Cluster Autoscaler oder Karpenter.