Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 6: API-Server absichern und Cluster-Upgrade

Ziel: Du schränkst anonymen Zugriff ein, ohne die Health-Checks zu brechen, weist NodeRestriction und die kubelet-Absicherung nach und hebst den Cluster per kubeadm von 1.37.1 auf 1.37.2 – ohne deine Härtungen zu verlieren. · Dauer: ca. 90 min · Voraussetzung: Tag 3

Briefing

CKS: Cluster Hardening (15 %) – „Restrict access to Kubernetes API“ und „Upgrade Kubernetes to avoid vulnerabilities“.

  • Jede Anfrage ohne Zertifikat oder Token ist system:anonymous in der Gruppe system:unauthenticated – RBAC entscheidet, was sie darf.
  • Die Probes des API-Server-Pods sind selbst anonym. Wer anonym ganz abschaltet, legt den API-Server in eine Neustart-Schleife.
  • kubeadm upgrade apply schreibt die Static-Pod-Manifeste neu – aus der ClusterConfiguration, nicht aus deinen Handänderungen.
mkdir -p ~/cks/tag06/backup && cd ~/cks/tag06

Drill 1: Was darf anonym?

curl -sk https://172.16.0.126:6443/livez; echo
curl -sk https://172.16.0.126:6443/version | grep gitVersion
curl -sk https://172.16.0.126:6443/api/v1/namespaces/default/secrets | grep message
k get clusterrolebinding system:public-info-viewer \
  -o jsonpath='{.subjects[*].name}{"\n"}'
k get clusterrole system:public-info-viewer \
  -o jsonpath='{.rules[0].nonResourceURLs}{"\n"}'

Erwartet (gekürzt):

ok
  "gitVersion": "v1.37.1",
  "message": "secrets is forbidden: User \"system:anonymous\" cannot list resource ...
system:authenticated system:unauthenticated
["/healthz","/livez","/readyz","/version","/version/"]

Anonym kommst du nur an Health-Endpunkte und die Version – die verrät aber schon, welche CVEs zu deinem Cluster passen. -k ignoriert hier nur das Server-Zertifikat.

Fortschritt speichern? Kostenlos registrieren

Drill 2: anonymous-auth=false – und die Probes

Die Remediation aus dem CIS-Benchmark (1.2.1) ausprobieren:

M=/etc/kubernetes/manifests
sudo cp $M/kube-apiserver.yaml ~/cks/tag06/backup/
sudo sed -i 's/    - --allow-privileged=true/&\n    - --anonymous-auth=false/' \
  $M/kube-apiserver.yaml
sudo grep -A8 livenessProbe $M/kube-apiserver.yaml | grep -E "path|port:"

Erwartet:

        path: /livez
        port: probe-port

Nach etwa einer Minute antwortet k wieder – dein Zertifikat genügt. Aber:

curl -sk https://172.16.0.126:6443/livez | grep -E "message|code"
k -n kube-system get pod kube-apiserver-cp1

Erwartet:

  "message": "Unauthorized",
  "code": 401
NAME                 READY   STATUS    RESTARTS   AGE
kube-apiserver-cp1   0/1     Running   0          37s

Das kubelet fragt /livez und /readyz ohne Anmeldung ab. Nach rund fünf Minuten schlägt die Startup-Probe endgültig fehl:

k -n kube-system get pod kube-apiserver-cp1
k -n kube-system get events --field-selector involvedObject.name=kube-apiserver-cp1 \
  -o custom-columns=REASON:.reason,MSG:.message | grep Unhealthy | tail -1

Erwartet (gekürzt):

NAME                 READY   STATUS    RESTARTS      AGE
kube-apiserver-cp1   0/1     Running   1 (32s ago)   5m3s
Unhealthy   Startup probe failed: HTTP probe failed with statuscode: 401

Nie Ready, ständige Neustarts – das Flag bleibt so nicht drin.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Anonym nur für Health-Checks

Seit der strukturierten Authentifizierungskonfiguration lässt sich anonymer Zugriff auf einzelne Pfade begrenzen. --authentication-config und --anonymous-auth schließen sich dabei aus (kube-apiserver --help).

sudo mkdir -p /etc/kubernetes/authn
sudo tee /etc/kubernetes/authn/authn-config.yaml <<'EOF'
apiVersion: apiserver.config.k8s.io/v1
kind: AuthenticationConfiguration
anonymous:
  enabled: true
  conditions:
  - path: /livez
  - path: /readyz
  - path: /healthz
EOF
sudo vim $M/kube-apiserver.yaml

Im Manifest die Zeile --anonymous-auth=false ersetzen und die Datei einhängen:

    - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
    # unter volumeMounts:
    - mountPath: /etc/kubernetes/authn
      name: authn
      readOnly: true
  # unter volumes:
  - hostPath:
      path: /etc/kubernetes/authn
      type: Directory
    name: authn
sudo diff ~/cks/tag06/backup/kube-apiserver.yaml $M/kube-apiserver.yaml

Erwartet:

16a17
>     - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
82a84,86
>     - mountPath: /etc/kubernetes/authn
>       name: authn
>       readOnly: true
104a109,112
>   - hostPath:
>       path: /etc/kubernetes/authn
>       type: Directory
>     name: authn

Ohne Volume sieht der Container die Datei nicht und startet nicht. Nach dem Neustart:

k -n kube-system get pod kube-apiserver-cp1
curl -sk https://172.16.0.126:6443/readyz; echo
curl -sk https://172.16.0.126:6443/version | grep -E "message|code"
curl -sk https://172.16.0.126:6443/api -o /dev/null -w "%{http_code}\n"

Erwartet:

NAME                 READY   STATUS    RESTARTS   AGE
kube-apiserver-cp1   1/1     Running   0          38s
ok
  "message": "Unauthorized",
  "code": 401
401

Probes grün, /version und alles andere nur noch mit Anmeldung. kube-bench meldet 1.2.1 weiter als [WARN] (Manual) – es kennt nur das Flag.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Erreichbarkeit des API-Servers

sudo ss -tlnp | grep -E "6443|10257|10259|2379 " | awk '{print $4, $6}'
sudo grep -cE "insecure-port|bind-address" $M/kube-apiserver.yaml
k get svc kubernetes -o jsonpath='{.spec.type}{"\n"}'

Erwartet:

172.16.0.126:2379 users:(("etcd",pid=2798,fd=8))
127.0.0.1:2379 users:(("etcd",pid=2798,fd=7))
127.0.0.1:10257 users:(("kube-controller",pid=43850,fd=4))
127.0.0.1:10259 users:(("kube-scheduler",pid=43892,fd=4))
*:6443 users:(("kube-apiserver",pid=43992,fd=4))
0
ClusterIP

Einen unverschlüsselten Port (--insecure-port) gibt es seit Langem nicht mehr; findest du ihn in einer Aufgabe, ist es ein altes Manifest. Der API-Server lauscht ohne --bind-address auf allen Adressen – einschränken lässt sich das per Flag oder Firewall. Eine typische Prüfungsfalle ist der kubernetes-Service als NodePort:

k patch svc kubernetes -p '{"spec":{"type":"NodePort"}}'
k get svc kubernetes
NP=$(k get svc kubernetes -o jsonpath='{.spec.ports[0].nodePort}')
curl -sk https://172.16.0.228:$NP/livez; echo
k patch svc kubernetes -p '{"spec":{"type":"ClusterIP"}}'
curl -sk -m 3 https://172.16.0.228:$NP/livez; echo $?

Erwartet (Port zufällig):

service/kubernetes patched
NAME         TYPE       CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
kubernetes   NodePort   10.96.0.1    <none>        443:31362/TCP   54m
ok
service/kubernetes patched
7

Als NodePort ist der API-Server auf jedem Node erreichbar; der API-Server setzt den Typ nicht von selbst zurück.

Fortschritt speichern? Kostenlos registrieren

Drill 5: NodeRestriction nachweisen

sudo grep -- "--enable-admission-plugins" $M/kube-apiserver.yaml

Erwartet:

    - --enable-admission-plugins=NodeRestriction

Wer einen Node übernimmt, hat die kubelet-Zugangsdaten. Was kann er damit? Auf worker1 (von cp1 aus per ssh [email protected]):

export KUBECONFIG=/etc/kubernetes/kubelet.conf
sudo -E kubectl auth whoami | grep Username
sudo -E kubectl label node worker1 tag06=ok
sudo -E kubectl label node worker2 tag06=pwn
sudo -E kubectl label node worker1 node-restriction.kubernetes.io/tag06=pwn
sudo -E kubectl get secrets -A
sudo -E kubectl label node worker1 tag06-

Erwartet (gekürzt):

Username                                            system:node:worker1
node/worker1 labeled
Error from server (Forbidden): nodes "worker2" is forbidden: User "system:node:worker1"
cannot get resource "nodes" ... only its own Node object
Error from server (Forbidden): nodes "worker1" is forbidden: is not allowed to modify
labels: node-restriction.kubernetes.io/tag06
Error from server (Forbidden): secrets is forbidden: User "system:node:worker1" cannot
list resource "secrets" ... can only read namespaced object of this type
node/worker1 unlabeled

Der Node-Authorizer (--authorization-mode=Node,RBAC) und NodeRestriction begrenzen das kubelet auf den eigenen Node und dessen Pods. Labels mit dem Präfix node-restriction.kubernetes.io/ kann ein kubelet nie setzen – nutze sie für sicherheitsrelevantes Scheduling.

Fortschritt speichern? Kostenlos registrieren

Drill 6: kubelet-API absichern

Port 10250 jedes Nodes ist eine eigene API (Pods listen, Befehle ausführen):

curl -sk https://172.16.0.228:10250/pods; echo
curl -s -m 3 http://172.16.0.228:10255/pods; echo $?
ssh [email protected] \
  'sudo grep -A1 -E "^authorization:|  anonymous:" /var/lib/kubelet/config.yaml'

Erwartet:

Unauthorized
7
  anonymous:
    enabled: false
--
authorization:
  mode: Webhook

kubeadm setzt anonymous.enabled: false und authorization.mode: Webhook (das kubelet fragt den API-Server per SubjectAccessReview); der Read-only-Port 10255 ist zu (Exit-Code 7 = keine Verbindung). Wie es aussieht, wenn das fehlt, zeigt die Challenge.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Härtungen upgradefest machen

Erst das neue kubeadm, dann schauen, was upgrade apply mit den Manifesten machen würde:

sudo cp -r /etc/kubernetes/manifests ~/cks/tag06/backup/manifests-pre-upgrade
apt-mark showhold
sudo apt-mark unhold kubeadm
sudo apt-get update
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo apt-mark hold kubeadm
kubeadm version -o short
sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] |^---"

Erwartet (gekürzt):

kubeadm
kubectl
kubelet
v1.37.2
--- /etc/kubernetes/manifests/kube-apiserver.yaml
-    - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
-    - --profiling=false
-    image: registry.k8s.io/kube-apiserver:v1.37.1
+    image: registry.k8s.io/kube-apiserver:v1.37.2
-    - mountPath: /etc/kubernetes/authn
...
--- /etc/kubernetes/manifests/kube-controller-manager.yaml
-    - --profiling=false
...
--- /etc/kubernetes/manifests/kube-scheduler.yaml
-    - --profiling=false

Alle Härtungen aus Tag 3 und Drill 3 wären weg. Dauerhaft gehören sie in die ClusterConfiguration in der ConfigMap kubeadm-config:

k -n kube-system edit cm kubeadm-config

Dort apiServer: {}, controllerManager: {} und scheduler: {} ersetzen (Format kubeadm.k8s.io/v1beta4, extraArgs als Liste):

    apiServer:
      extraArgs:
      - name: profiling
        value: "false"
      - name: authentication-config
        value: /etc/kubernetes/authn/authn-config.yaml
      extraVolumes:
      - name: authn
        hostPath: /etc/kubernetes/authn
        mountPath: /etc/kubernetes/authn
        readOnly: true
        pathType: Directory
    controllerManager:
      extraArgs:
      - name: profiling
        value: "false"
    scheduler:
      extraArgs:
      - name: profiling
        value: "false"
sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] |^---"

Erwartet (gekürzt):

--- /etc/kubernetes/manifests/kube-apiserver.yaml
-    - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
-    - --profiling=false
-    image: registry.k8s.io/kube-apiserver:v1.37.1
+    - --profiling=false
+    - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
+    image: registry.k8s.io/kube-apiserver:v1.37.2
--- /etc/kubernetes/manifests/kube-controller-manager.yaml
-    - --profiling=false
-    image: registry.k8s.io/kube-controller-manager:v1.37.1
+    - --profiling=false
+    image: registry.k8s.io/kube-controller-manager:v1.37.2
...

Nur noch Reihenfolge und Image ändern sich, das Volume bleibt.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Upgrade 1.37.1 → 1.37.2

Control Plane zuerst (auf cp1):

sudo kubeadm upgrade plan | grep -A8 "^COMPONENT   NODE"
sudo kubeadm upgrade apply v1.37.2

Erwartet (gekürzt):

COMPONENT   NODE      CURRENT   TARGET
kubelet     cp1       v1.37.1   v1.37.2
kubelet     worker1   v1.37.1   v1.37.2
kubelet     worker2   v1.37.1   v1.37.2
...
[upgrade] SUCCESS! A control plane node of your cluster was upgraded to "v1.37.2".

upgrade apply fragt einmal nach (y, oder --yes). Danach kubelet und kubectl auf cp1:

k drain cp1 --ignore-daemonsets --delete-emptydir-data
sudo apt-mark unhold kubelet kubectl
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet
k uncordon cp1

Dann jeder Worker einzeln. drain auf cp1, der Rest auf dem Worker (ssh [email protected]):

k drain worker1 --ignore-daemonsets --delete-emptydir-data
sudo apt-mark unhold kubeadm kubelet kubectl
sudo apt-get update
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo kubeadm upgrade node
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubeadm kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet

Erwartet (gekürzt):

[upgrade/kubelet-config] The kubelet configuration for this node was successfully
upgraded!

exit, zurück auf cp1:

k uncordon worker1

worker2 genauso (172.16.0.83). Danach:

k get nodes
k get --raw /readyz; echo
k get pods -A | grep -vc Running
sudo grep -c -- "--profiling=false" /etc/kubernetes/manifests/kube-apiserver.yaml

Erwartet:

NAME      STATUS   ROLES           AGE   VERSION
cp1       Ready    control-plane   62m   v1.37.2
worker1   Ready    <none>          60m   v1.37.2
worker2   Ready    <none>          60m   v1.37.2
ok
1
1

Die eine Zeile ohne Running ist die Kopfzeile. Zwei Nebenwirkungen prüfen:

stat -c "%a %n" /lib/systemd/system/kubelet.service \
  /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf /var/lib/kubelet/config.yaml
curl -s http://172.16.0.126:30500/v2/notes-api/tags/list; echo

Erwartet:

644 /lib/systemd/system/kubelet.service
644 /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
600 /var/lib/kubelet/config.yaml
{"errors":[{"code":"NAME_UNKNOWN","message":"repository name not known to registry",...

Die Pakete kubelet und kubeadm setzen ihre Dateien auf 644 zurück – die Härtung aus Tag 3 wiederholen, auf jedem Node (auf den Workern per ssh):

sudo chmod 600 /lib/systemd/system/kubelet.service \
  /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf \
  /var/lib/kubelet/config.yaml
sudo systemctl daemon-reload

Der Drain hat auch den Registry-Pod verschoben, sein emptyDir ist jetzt leer. An Tag 6 liegen dort noch keine eigenen Images; ab Tag 9/13 gilt: nach jedem Drain aus podman neu pushen.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Welche Admission-Plugins sind zusätzlich zu den Standards aktiv? Zeitziel: 20 s
  2. Welche Kubernetes-Versionen bietet das Paket-Repo für kubeadm an? Zeitziel: 20 s
  3. Gibt /api anonym 401 oder 403 zurück? Zeitziel: 20 s
  4. Mit welcher Version läuft die Control Plane laut kubeadm-config? Zeitziel: 30 s

Lösung

sudo grep -- "--enable-admission-plugins" /etc/kubernetes/manifests/kube-apiserver.yaml
apt-cache madison kubeadm | head -2
curl -sk https://172.16.0.126:6443/api -o /dev/null -w "%{http_code}\n"
k -n kube-system get cm kubeadm-config -o jsonpath='{.data.ClusterConfiguration}' \
  | grep kubernetesVersion

Erwartet:

    - --enable-admission-plugins=NodeRestriction
   kubeadm | 1.37.2-1.1 | https://pkgs.k8s.io/core:/stable:/v1.37/deb  Packages
   kubeadm | 1.37.1-1.1 | https://pkgs.k8s.io/core:/stable:/v1.37/deb  Packages
401
kubernetesVersion: v1.37.2

401 = nicht angemeldet (anonym abgelehnt), 403 = angemeldet bzw. anonym erlaubt, aber RBAC verbietet es. Vor Drill 3 lieferte /api noch 403.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get nodes

Erwartet: alle drei Nodes Ready mit v1.37.2.

curl -sk https://172.16.0.126:6443/readyz; echo

Erwartet: ok

curl -sk https://172.16.0.126:6443/version -o /dev/null -w "%{http_code}\n"

Erwartet: 401

k get svc kubernetes -o jsonpath='{.spec.type}{"\n"}'

Erwartet: ClusterIP

sudo kube-bench run --targets=master,node --benchmark=cis-1.12 --json 2>/dev/null \
  | jq -c .Totals

Erwartet: {"total_pass":62,"total_fail":6,"total_warn":17,"total_info":0}

Im Labor bleiben: die AuthenticationConfiguration (anonym nur /livez, /readyz, /healthz) samt Volume, --profiling=false an allen drei Komponenten – beides auch in kubeadm-config –, sowie die Dateirechte aus Tag 3.

Challenge

Ein Kollege hat auf worker2 „zum Debuggen“ die kubelet-Absicherung gelockert. Stelle den Fehler nach, zeige, dass jeder anonym Befehle in Pods ausführen kann, und behebe ihn.

ssh [email protected]
sudo sed -i -e '/anonymous:/{n;s/enabled: false/enabled: true/}' \
  -e 's/  mode: Webhook/  mode: AlwaysAllow/' /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet
exit

Hinweis: Die kubelet-API kennt /pods und /run/<namespace>/<pod>/<container>.

Lösung

Nachweis auf cp1:

P=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name | cut -d/ -f2)
curl -sk https://172.16.0.83:10250/pods | jq -r '.items[].metadata.name' | head -2
curl -sk -X POST "https://172.16.0.83:10250/run/kube-system/$P/cilium-agent?cmd=id"

Erwartet (gekürzt):

kube-proxy-n9vjv
cilium-envoy-vtttj
uid=0(root) gid=0(root) groups=0(root)

Root im cilium-agent (hostNetwork, SYS_ADMIN) – ohne jede Anmeldung. Beheben auf worker2:

sudo sed -i -e '/anonymous:/{n;s/enabled: true/enabled: false/}' \
  -e 's/  mode: AlwaysAllow/  mode: Webhook/' /var/lib/kubelet/config.yaml
sudo grep -A1 -E "  anonymous:|^authorization:" /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet
systemctl is-active kubelet

Erwartet:

  anonymous:
    enabled: false
--
authorization:
  mode: Webhook
active

Danach liefert curl -sk https://172.16.0.83:10250/pods wieder Unauthorized, und k get nodes zeigt worker2 Ready.

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Upgrade-Reihenfolge auswendig: kubeadm-Paket → upgrade plan → upgrade apply (nur erster Control-Plane-Node) → drain → kubelet/kubectl → daemon-reload, restart → uncordon. Worker: kubeadm upgrade node. apt-mark unhold/hold nicht vergessen.
  • Nach jeder Änderung am API-Server: Pod 1/1 Ready abwarten, nicht nur Running – fehlerhafte Probes zeigen sich erst nach Minuten.
  • Doku: kubernetes.io → Tasks → Administer a Cluster → „Upgrading kubeadm clusters“; Reference → „Authenticating“ (Abschnitt Anonymous requests) und „Kubelet authentication/authorization“.

Enterprise-Notiz

  • Den API-Server nicht ins Internet stellen: privater Endpunkt, Firewall oder Load Balancer mit Allowlist; Zugriff nur über VPN oder Bastion.
  • kubeadm-Konfiguration als Datei in Git halten; Handänderungen an Manifesten gehen beim nächsten Upgrade verloren.
  • Patch-Releases zeitnah einspielen (Kubernetes unterstützt die letzten drei Minor-Versionen); Upgrades zuerst in Staging, Control Plane vor den Workern.
  • Worker in größeren Clustern ersetzen statt patchen (neue Images, rollierend), mit PodDisruptionBudgets für die Workloads.
  • kubelet-Serving-Zertifikate von der Cluster-CA signieren lassen (serverTLSBootstrap), dann klappt auch --kubelet-certificate-authority.