Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 7: Ressourcen und Quotas

Ziel: Du gibst Containern passende Requests und Limits und arbeitest in Namespaces mit LimitRange und ResourceQuota. · Dauer: ca. 60 min · Voraussetzung: Tag 1

Briefing

CKAD: Application Environment, Configuration and Security (25 %) – „Understand requests, limits, quotas”, „Define resource requirements”.

  • Request: Reservierung, danach plant der Scheduler.
  • Limit: Obergrenze zur Laufzeit. CPU darüber wird gedrosselt, Speicher darüber beendet den Container (OOMKilled).
  • LimitRange: Standardwerte und Grenzen pro Container im Namespace.
  • ResourceQuota: Summe für den ganzen Namespace.
mkdir -p ~/ckad/tag07 && cd ~/ckad/tag07
k create ns tag07
k config set-context --current --namespace=tag07

Drill 1: Requests, Limits und QoS-Klassen

k run be --image=nginx:1.29
k create deployment web --image=nginx:1.29 --replicas=2
k set resources deploy/web --requests=cpu=100m,memory=64Mi \
  --limits=cpu=200m,memory=128Mi
cat <<'EOF' | k apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: gold
spec:
  containers:
  - name: nginx
    image: nginx:1.29
    resources:
      requests:
        cpu: 100m
        memory: 64Mi
      limits:
        cpu: 100m
        memory: 64Mi
EOF
k rollout status deploy/web
k get pods -o custom-columns=NAME:.metadata.name,QOS:.status.qosClass

Erwartet (gekürzt):

NAME                   QOS
be                     BestEffort
gold                   Guaranteed
web-6d46f9dccf-9zz75   Burstable
web-6d46f9dccf-vvstx   Burstable
QoS Bedingung Bei Speichermangel
Guaranteed Requests = Limits für CPU und RAM, jeder Container zuletzt entfernt
Burstable irgendein Request oder Limit gesetzt dazwischen
BestEffort gar nichts gesetzt zuerst entfernt

Einzeln abfragen: k get pod gold -o jsonpath='{.status.qosClass}'.

Fortschritt speichern? Kostenlos registrieren

Drill 2: OOMKilled

tail /dev/zero findet nie ein Zeilenende und hält immer mehr im Speicher.

cat <<'EOF' | k apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: hog
spec:
  restartPolicy: Never
  containers:
  - name: hog
    image: busybox:1.37
    command: ["tail", "/dev/zero"]
    resources:
      limits:
        memory: 50Mi
EOF
k get pod hog
k describe pod hog | grep -A3 "State:"

Erwartet (nach einigen Sekunden):

NAME   READY   STATUS      RESTARTS   AGE
hog    0/1     OOMKilled   0          11s
    State:          Terminated
      Reason:       OOMKilled
      Exit Code:    137

Exit-Code 137 = 128 + 9 (SIGKILL). Bei restartPolicy: Always sähest du CrashLoopBackOff; der Grund steht dann unter Last State.

Fortschritt speichern? Kostenlos registrieren

Drill 3: CPU wird gedrosselt, nicht beendet

cat <<'EOF' | k apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: burn
spec:
  containers:
  - name: burn
    image: busybox:1.37
    command: ["sh", "-c", "while true; do :; done"]
    resources:
      requests:
        cpu: 100m
      limits:
        cpu: 200m
EOF
k wait --for=condition=Ready pod/burn

Nach etwa einer Minute (metrics-server sammelt im Takt):

k top pod burn
k exec burn -- cat /sys/fs/cgroup/cpu.max
k exec burn -- grep nr_throttled /sys/fs/cgroup/cpu.stat

Erwartet (gekürzt):

NAME   CPU(cores)   MEMORY(bytes)
burn   200m         0Mi
20000 100000
nr_throttled 619

Die Endlosschleife will einen ganzen Kern, bekommt aber nur 20 ms je 100 ms. Der Pod läuft weiter, nur langsamer – bei Webservern zeigt sich das als hohe Latenz.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ressourcen im laufenden Pod ändern

Seit Kubernetes 1.35 stabil: In-Place-Resize über die Subressource resize.

k patch pod burn --subresource resize \
  -p '{"spec":{"containers":[{"name":"burn","resources":{"limits":{"cpu":"300m"}}}]}}'
k get pod burn -o jsonpath='{.status.containerStatuses[0].resources}{"\n"}'
k get pod burn -o jsonpath='{.status.containerStatuses[0].restartCount}{"\n"}'
k exec burn -- cat /sys/fs/cgroup/cpu.max

Erwartet:

pod/burn patched
{"limits":{"cpu":"300m"},"requests":{"cpu":"100m"}}
0
30000 100000

Kein Neustart. Ein normaler k patch ohne --subresource resize scheitert mit pod updates may not change fields other than …. Ob ein Resize neu startet, steuert resizePolicy am Container (NotRequired oder RestartContainer). Bei Deployments änderst du stattdessen das Template – das gibt neue Pods.

k delete pod hog burn be gold --now
k delete deploy web

Fortschritt speichern? Kostenlos registrieren

Drill 5: ResourceQuota

k create quota team-quota --hard=requests.cpu=500m,requests.memory=512Mi,\
limits.cpu=1,limits.memory=1Gi,pods=4,count/deployments.apps=2
k describe quota team-quota
k run naked --image=nginx:1.29

Erwartet:

resourcequota/team-quota created
Name:                   team-quota
Namespace:              tag07
Resource                Used  Hard
--------                ----  ----
count/deployments.apps  0     2
limits.cpu              0     1
limits.memory           0     1Gi
pods                    0     4
requests.cpu            0     500m
requests.memory         0     512Mi
Error from server (Forbidden): pods "naked" is forbidden: failed quota: team-quota:
must specify limits.cpu for: naked; limits.memory for: naked; requests.cpu for: naked;
requests.memory for: naked

Sobald eine Quota CPU oder Speicher zählt, muss jeder neue Pod die entsprechenden Werte angeben. count/<ressource>.<gruppe> zählt beliebige Objekte.

Fortschritt speichern? Kostenlos registrieren

Drill 6: LimitRange liefert Standardwerte

cat <<'EOF' | k apply -f -
apiVersion: v1
kind: LimitRange
metadata:
  name: defaults
spec:
  limits:
  - type: Container
    defaultRequest:
      cpu: 50m
      memory: 32Mi
    default:
      cpu: 100m
      memory: 64Mi
    max:
      cpu: 500m
      memory: 256Mi
EOF
k run naked --image=nginx:1.29
k get pod naked -o jsonpath='{.spec.containers[0].resources}{"\n"}'

Erwartet:

limitrange/defaults created
pod/naked created
{"limits":{"cpu":"100m","memory":"64Mi"},"requests":{"cpu":"50m","memory":"32Mi"}}

default sind Limits, defaultRequest Requests. Sie werden beim Anlegen eingetragen, bestehende Pods ändern sich nicht. max greift ebenfalls beim Anlegen:

k run big --image=nginx:1.29 \
  --overrides='{"spec":{"containers":[{"name":"big","image":"nginx:1.29",
  "resources":{"limits":{"cpu":"1"}}}]}}'

Erwartet:

Error from server (Forbidden): pods "big" is forbidden: maximum cpu usage per Container
is 500m, but limit is 1

Fortschritt speichern? Kostenlos registrieren

Drill 7: Wenn die Quota voll ist

k create deployment api --image=nginx:1.29 --replicas=5
k get deploy api
k get events --field-selector reason=FailedCreate | tail -1
k describe quota team-quota | grep pods

Erwartet (gekürzt):

NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    3/5     3            3           6s
... Error creating: pods "api-5f8476ddb6-j5h7g" is forbidden: exceeded quota:
team-quota, requested: pods=1, used: pods=4, limited: pods=4
pods                    4      4

Das Deployment wird angelegt, aber der ReplicaSet bekommt nicht alle Pods – der Fehler steht nur in den Events, nicht am Deployment. Jetzt mehr CPU anfordern:

k scale deploy api --replicas=2
k set resources deploy api --requests=cpu=300m,memory=64Mi \
  --limits=cpu=400m,memory=128Mi
k get rs -l app=api
k get events --field-selector reason=FailedCreate | tail -1

Erwartet (nach einigen Sekunden, gekürzt):

NAME             DESIRED   CURRENT   READY   AGE
api-5f8476ddb6   1         1         1       22s
api-7c85f58585   2         1         1       8s
... exceeded quota: team-quota, requested: requests.cpu=300m, used: requests.cpu=400m,
limited: requests.cpu=500m

Der Rollout hängt: Ein neuer Pod mit 300m passte noch hinein (50m naked + 50m alter Pod + 300m), der zweite nicht mehr. Lösung ist kleinere Requests, weniger Replicas oder eine größere Quota.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Setze im Deployment api Requests auf cpu=50m,memory=32Mi und Limits auf cpu=100m,memory=64Mi. Zeitziel: 30 s
  2. Lege eine Quota small an, die höchstens 3 ConfigMaps und 2 Services erlaubt. Zeitziel: 45 s
  3. Zeige den Pod mit dem höchsten Speicherverbrauch im Namespace. Zeitziel: 20 s

Lösung

k set resources deploy api --requests=cpu=50m,memory=32Mi \
  --limits=cpu=100m,memory=64Mi
k create quota small --hard=configmaps=3,services=2
k top pod --sort-by=memory

Erwartet (gekürzt):

deployment.apps/api resource requirements updated
resourcequota/small created
NAME                   CPU(cores)   MEMORY(bytes)
api-66669dd9b9-9cgxr   0m           3Mi
naked                  0m           3Mi

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k rollout status deploy/api

Erwartet: deployment "api" successfully rolled out

k get pod naked -o jsonpath='{.status.qosClass}{"\n"}'

Erwartet: Burstable

k describe quota small

Erwartet: configmaps mit Used 1 (die automatische kube-root-ca.crt) und Hard 3, services mit 0 und 2.

Challenge

Ein Pod report soll mit garantierter QoS laufen, aber nur limits (cpu: 200m, memory: 64Mi) im Manifest haben. Geht das trotz LimitRange mit defaultRequest? Lege ihn an und prüfe es.

Hinweis: Woraus entsteht ein fehlender Request, wenn ein Limit gesetzt ist?

Lösung

cat <<'EOF' | k apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: report
spec:
  containers:
  - name: report
    image: busybox:1.37
    command: ["sleep", "3600"]
    resources:
      limits:
        cpu: 200m
        memory: 64Mi
EOF
k get pod report -o jsonpath='{.spec.containers[0].resources.requests}{"\n"}'
k get pod report -o jsonpath='{.status.qosClass}{"\n"}'

Erwartet:

{"cpu":"200m","memory":"64Mi"}
Guaranteed

Fehlt ein Request, übernimmt Kubernetes das Limit – vor dem defaultRequest der LimitRange. Damit sind Requests und Limits gleich: Guaranteed.

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag07

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • k set resources statt YAML-Editieren; bei Deployments mit -c <container> gezielt.
  • Pod kommt nicht? Bei Quotas steht der Grund in k get events, nicht in k get pods.
  • Einheiten: 100m = 0,1 Kern; Mi (1024²) statt M (1000²). 1m Speicher heißt Milli-Byte – ein häufiger Tippfehler.

Enterprise-Notiz

  • Jeder Team-Namespace bekommt LimitRange und ResourceQuota, oft per Template oder Policy-Engine.
  • CPU-Limits sind umstritten: Viele Teams setzen nur Requests, um Drosselung zu vermeiden; Speicher-Limits bleiben Pflicht.
  • Requests anhand echter Messwerte setzen (Prometheus, Vertical Pod Autoscaler im Empfehlungsmodus).
  • PriorityClasses legen fest, wer bei Engpässen zuerst verdrängt wird.