Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 6: Autoscaling und Monitoring

Ziel: Du siehst, was Nodes und Pods verbrauchen, und lässt Kubernetes Pods nach Last skalieren – horizontal und in der Größe. · Dauer: ca. 45 min · Voraussetzung: Tag 5

Briefing

CKA: „Configure workload autoscaling” (Workloads) und „Monitor cluster and application resource usage” (Troubleshooting).

  kubelet (cAdvisor) --> metrics-server --> Metrics API --> kubectl top
                                                      \--> HPA --> Deployment.replicas
  • Ohne metrics-server kein kubectl top und kein HPA.
  • Der HPA rechnet in Prozent der Requests – ohne CPU-Request keine Skalierung.
  • In-Place-Resize ändert Requests und Limits eines laufenden Pods ohne Neustart.

Drill 1: metrics-server installieren

M=https://github.com/kubernetes-sigs/metrics-server/releases/download/v0.9.1
k apply -f $M/components.yaml

Erwartet (letzte Zeilen):

deployment.apps/metrics-server created
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io created

kubeadm stellt den kubelets selbstsignierte Serving-Zertifikate aus, denen der metrics-server nicht traut. Im Labor schalten wir die Prüfung ab:

k patch deployment metrics-server -n kube-system --type=json \
  -p='[{"op":"add","path":"/spec/template/spec/containers/0/args/-",
  "value":"--kubelet-insecure-tls"}]'
k rollout status deployment metrics-server -n kube-system
k wait --for=condition=Available apiservice v1beta1.metrics.k8s.io

Erwartet:

deployment.apps/metrics-server patched
deployment "metrics-server" successfully rolled out
apiservice.apiregistration.k8s.io/v1beta1.metrics.k8s.io condition met

Achtung: --kubelet-insecure-tls nur im Labor. In Produktion signierte kubelet-Zertifikate verwenden (Enterprise-Notiz).

Fortschritt speichern? Kostenlos registrieren

Drill 2: Wer verbraucht was?

Nach etwa 30 Sekunden liegen die ersten Werte vor:

k top nodes
k top pods -n kube-system --sort-by=memory | head -4

Erwartet:

NAME      CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)
cp1       615m         15%      1235Mi          10%
worker1   410m         20%      1072Mi          28%
worker2   280m         14%      709Mi           18%
NAME                              CPU(cores)   MEMORY(bytes)
kube-apiserver-cp1                240m         492Mi
kube-controller-manager-cp1       44m          70Mi
etcd-cp1                          93m          58Mi

Pro Container statt pro Pod:

k top pods -n kube-system --containers | head -3

Erwartet:

POD                               NAME                      CPU(cores)   MEMORY(bytes)
coredns-589f44dc88-c9tfc          coredns                   8m           12Mi
coredns-589f44dc88-tdzsw          coredns                   7m           12Mi

Fortschritt speichern? Kostenlos registrieren

Drill 3: Eine App mit CPU-Requests

Das Beispiel-Image aus der Kubernetes-Doku rechnet bei jeder Anfrage:

k create ns tag06
k config set-context --current --namespace=tag06
k create deployment php --image=registry.k8s.io/hpa-example --port=80
k set resources deployment php --requests=cpu=200m --limits=cpu=500m
k expose deployment php --port=80

Erwartet:

deployment.apps/php created
deployment.apps/php resource requirements updated
service/php exposed

Fortschritt speichern? Kostenlos registrieren

Drill 4: Horizontal Pod Autoscaler

k autoscale deployment php --cpu=50% --min=1 --max=5
k get hpa php

Erwartet:

horizontalpodautoscaler.autoscaling/php autoscaled
NAME   REFERENCE        TARGETS              MINPODS   MAXPODS   REPLICAS   AGE
php    Deployment/php   cpu: <unknown>/50%   1         5         1          68s

<unknown> verschwindet nach ein bis zwei Minuten, sobald Messwerte vorliegen. Bis dahin meldet k describe hpa php Events wie FailedGetResourceMetric – das ist normal.

Das erzeugte Objekt ist ein autoscaling/v2-HPA:

k autoscale deployment php --cpu=50% --min=1 --max=5 $do | head -14

Erwartet:

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: php
spec:
  maxReplicas: 5
  metrics:
  - resource:
      name: cpu
      target:
        averageUtilization: 50
        type: Utilization
    type: Resource
  minReplicas: 1

Fortschritt speichern? Kostenlos registrieren

Drill 5: Last erzeugen

k run load --image=busybox:1.37 --restart=Never -- \
  sh -c 'while true; do wget -q -O- http://php >/dev/null; done'

Nach etwa 90 Sekunden:

k get hpa php
k top pods

Erwartet (Werte schwanken):

NAME   REFERENCE        TARGETS        MINPODS   MAXPODS   REPLICAS   AGE
php    Deployment/php   cpu: 65%/50%   1         5         5          2m45s
NAME                  CPU(cores)   MEMORY(bytes)
load                  11m          0Mi
php-6b569995f-5kmct   219m         11Mi
php-6b569995f-6gwhf   20m          11Mi
php-6b569995f-bwtjd   129m         10Mi
php-6b569995f-cfqrh   149m         12Mi
php-6b569995f-dtdsk   58m          11Mi

Fünf Replikas – das Maximum. Last stoppen:

k delete pod load --now

Fortschritt speichern? Kostenlos registrieren

Drill 6: Schneller herunterskalieren

Standardmäßig wartet der HPA fünf Minuten, bevor er Pods abbaut – Schutz vor Flattern. Für das Labor verkürzen wir das Fenster:

k patch hpa php \
  -p '{"spec":{"behavior":{"scaleDown":{"stabilizationWindowSeconds":30}}}}'
k get hpa php -o jsonpath='{.spec.behavior.scaleDown}{"\n"}'

Erwartet:

horizontalpodautoscaler.autoscaling/php patched
{"policies":[{"periodSeconds":15,"type":"Percent","value":100}],"selectPolicy":"Max",
"stabilizationWindowSeconds":30}

Nach gut einer Minute:

k get hpa php

Erwartet: REPLICAS ist wieder 1.

Fortschritt speichern? Kostenlos registrieren

Drill 7: In-Place-Resize

Seit Kubernetes 1.35 ändert das Subresource resize CPU und Memory eines laufenden Pods:

cat <<'EOF' | k apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: resize
spec:
  containers:
  - name: app
    image: nginx:1.29
    resources:
      requests:
        cpu: 100m
        memory: 64Mi
      limits:
        cpu: 200m
        memory: 128Mi
EOF
k wait --for=condition=Ready pod/resize
k patch pod resize --subresource resize -p '{"spec":{"containers":[{"name":"app",
  "resources":{"requests":{"cpu":"300m"},"limits":{"cpu":"500m"}}}]}}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].resources}{"\n"}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].restartCount}{"\n"}'

Erwartet:

pod/resize patched
{"limits":{"cpu":"500m","memory":"128Mi"},"requests":{"cpu":"300m","memory":"64Mi"}}
0

Die neuen Werte gelten, und der Container wurde nicht neu gestartet. Ein normales k apply mit geänderten Ressourcen würde dagegen abgelehnt (Tag 2).

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige den Node mit der höchsten CPU-Last zuerst. Zeitziel: 15 s
  2. Finde den Pod im ganzen Cluster, der am meisten Memory verbraucht, und schreibe seinen Namen nach /tmp/top-pod.txt. Zeitziel: 60 s
  3. Erzeuge einen HPA für php: 2 bis 8 Replikas, Ziel 70 % CPU. Zeitziel: 20 s

Lösung

k top node --sort-by=cpu
k top pods -A --sort-by=memory --no-headers | head -1 \
  | awk '{print $2}' > /tmp/top-pod.txt
cat /tmp/top-pod.txt
k delete hpa php
k autoscale deployment php --cpu=70% --min=2 --max=8

Erwartet (Ausschnitt):

kube-apiserver-cp1
horizontalpodautoscaler.autoscaling/php autoscaled

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get apiservice v1beta1.metrics.k8s.io

Erwartet: AVAILABLE ist True.

k get hpa php -o jsonpath='{.spec.minReplicas} {.spec.maxReplicas}{"\n"}'

Erwartet: 2 8

k get pod resize -o jsonpath='{.spec.containers[0].resources.requests.cpu}{"\n"}'

Erwartet: 300m

Challenge

Die Memory-Grenze des Pods resize soll auf 256Mi steigen – ohne Neustart.

Hinweis: Memory-Änderungen laufen über dasselbe Subresource wie CPU.

Lösung

k patch pod resize --subresource resize \
  -p '{"spec":{"containers":[{"name":"app",
  "resources":{"limits":{"memory":"256Mi"}}}]}}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].resources.limits}{"\n"}'
k get pod resize -o jsonpath='{.status.containerStatuses[0].restartCount}{"\n"}'

Erwartet:

pod/resize patched
{"cpu":"500m","memory":"256Mi"}
0

Aufräumen (metrics-server bleibt für die folgenden Tage):

k config set-context --current --namespace=default
k delete ns tag06

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • k top ist die schnellste Antwort auf „welcher Pod verbraucht am meisten” – mit --sort-by und -A.
  • HPA bleibt bei <unknown>? Fehlt der CPU-Request oder läuft der metrics-server nicht.
  • Doku-Seite merken: „HorizontalPodAutoscaler Walkthrough”.

Enterprise-Notiz

  • Statt --kubelet-insecure-tls: im kubelet serverTLSBootstrap: true setzen und die Serving-CSRs freigeben (lassen) – dann prüft der metrics-server echte Zertifikate.
  • kubectl top zeigt nur den Moment. Für Verläufe und Alarme Prometheus (Buch „Observability zum Anfassen”).
  • Für ereignisgesteuertes Skalieren (Queues, Kafka) KEDA; für Nodes Cluster Autoscaler oder Karpenter.