Tag 6: API-Server absichern und Cluster-Upgrade
Ziel: Du schränkst anonymen Zugriff ein, ohne die Health-Checks zu brechen, weist NodeRestriction und die kubelet-Absicherung nach und hebst den Cluster per kubeadm von 1.37.1 auf 1.37.2 – ohne deine Härtungen zu verlieren. · Dauer: ca. 90 min · Voraussetzung: Tag 3
Briefing
CKS: Cluster Hardening (15 %) – „Restrict access to Kubernetes API“ und „Upgrade Kubernetes to avoid vulnerabilities“.
- Jede Anfrage ohne Zertifikat oder Token ist
system:anonymousin der Gruppesystem:unauthenticated– RBAC entscheidet, was sie darf. - Die Probes des API-Server-Pods sind selbst anonym. Wer anonym ganz abschaltet, legt den API-Server in eine Neustart-Schleife.
kubeadm upgrade applyschreibt die Static-Pod-Manifeste neu – aus derClusterConfiguration, nicht aus deinen Handänderungen.
mkdir -p ~/cks/tag06/backup && cd ~/cks/tag06Drill 1: Was darf anonym?
curl -sk https://172.16.0.126:6443/livez; echo
curl -sk https://172.16.0.126:6443/version | grep gitVersion
curl -sk https://172.16.0.126:6443/api/v1/namespaces/default/secrets | grep message
k get clusterrolebinding system:public-info-viewer \
-o jsonpath='{.subjects[*].name}{"\n"}'
k get clusterrole system:public-info-viewer \
-o jsonpath='{.rules[0].nonResourceURLs}{"\n"}'Erwartet (gekürzt):
ok
"gitVersion": "v1.37.1",
"message": "secrets is forbidden: User \"system:anonymous\" cannot list resource ...
system:authenticated system:unauthenticated
["/healthz","/livez","/readyz","/version","/version/"]
Anonym kommst du nur an Health-Endpunkte und die Version – die verrät
aber schon, welche CVEs zu deinem Cluster passen. -k
ignoriert hier nur das Server-Zertifikat.
Fortschritt speichern? Kostenlos registrieren
Drill 2: anonymous-auth=false – und die Probes
Die Remediation aus dem CIS-Benchmark (1.2.1)
ausprobieren:
M=/etc/kubernetes/manifests
sudo cp $M/kube-apiserver.yaml ~/cks/tag06/backup/
sudo sed -i 's/ - --allow-privileged=true/&\n - --anonymous-auth=false/' \
$M/kube-apiserver.yaml
sudo grep -A8 livenessProbe $M/kube-apiserver.yaml | grep -E "path|port:"Erwartet:
path: /livez
port: probe-port
Nach etwa einer Minute antwortet k wieder – dein
Zertifikat genügt. Aber:
curl -sk https://172.16.0.126:6443/livez | grep -E "message|code"
k -n kube-system get pod kube-apiserver-cp1Erwartet:
"message": "Unauthorized",
"code": 401
NAME READY STATUS RESTARTS AGE
kube-apiserver-cp1 0/1 Running 0 37s
Das kubelet fragt /livez und /readyz ohne
Anmeldung ab. Nach rund fünf Minuten schlägt die Startup-Probe endgültig
fehl:
k -n kube-system get pod kube-apiserver-cp1
k -n kube-system get events --field-selector involvedObject.name=kube-apiserver-cp1 \
-o custom-columns=REASON:.reason,MSG:.message | grep Unhealthy | tail -1Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
kube-apiserver-cp1 0/1 Running 1 (32s ago) 5m3s
Unhealthy Startup probe failed: HTTP probe failed with statuscode: 401
Nie Ready, ständige Neustarts – das Flag bleibt so nicht drin.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Anonym nur für Health-Checks
Seit der strukturierten Authentifizierungskonfiguration lässt sich
anonymer Zugriff auf einzelne Pfade begrenzen.
--authentication-config und --anonymous-auth
schließen sich dabei aus (kube-apiserver --help).
sudo mkdir -p /etc/kubernetes/authn
sudo tee /etc/kubernetes/authn/authn-config.yaml <<'EOF'
apiVersion: apiserver.config.k8s.io/v1
kind: AuthenticationConfiguration
anonymous:
enabled: true
conditions:
- path: /livez
- path: /readyz
- path: /healthz
EOF
sudo vim $M/kube-apiserver.yamlIm Manifest die Zeile --anonymous-auth=false ersetzen
und die Datei einhängen:
- --authentication-config=/etc/kubernetes/authn/authn-config.yaml
# unter volumeMounts:
- mountPath: /etc/kubernetes/authn
name: authn
readOnly: true
# unter volumes:
- hostPath:
path: /etc/kubernetes/authn
type: Directory
name: authnsudo diff ~/cks/tag06/backup/kube-apiserver.yaml $M/kube-apiserver.yamlErwartet:
16a17
> - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
82a84,86
> - mountPath: /etc/kubernetes/authn
> name: authn
> readOnly: true
104a109,112
> - hostPath:
> path: /etc/kubernetes/authn
> type: Directory
> name: authn
Ohne Volume sieht der Container die Datei nicht und startet nicht. Nach dem Neustart:
k -n kube-system get pod kube-apiserver-cp1
curl -sk https://172.16.0.126:6443/readyz; echo
curl -sk https://172.16.0.126:6443/version | grep -E "message|code"
curl -sk https://172.16.0.126:6443/api -o /dev/null -w "%{http_code}\n"Erwartet:
NAME READY STATUS RESTARTS AGE
kube-apiserver-cp1 1/1 Running 0 38s
ok
"message": "Unauthorized",
"code": 401
401
Probes grün, /version und alles andere nur noch mit
Anmeldung. kube-bench meldet 1.2.1 weiter als
[WARN] (Manual) – es kennt nur das Flag.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Erreichbarkeit des API-Servers
sudo ss -tlnp | grep -E "6443|10257|10259|2379 " | awk '{print $4, $6}'
sudo grep -cE "insecure-port|bind-address" $M/kube-apiserver.yaml
k get svc kubernetes -o jsonpath='{.spec.type}{"\n"}'Erwartet:
172.16.0.126:2379 users:(("etcd",pid=2798,fd=8))
127.0.0.1:2379 users:(("etcd",pid=2798,fd=7))
127.0.0.1:10257 users:(("kube-controller",pid=43850,fd=4))
127.0.0.1:10259 users:(("kube-scheduler",pid=43892,fd=4))
*:6443 users:(("kube-apiserver",pid=43992,fd=4))
0
ClusterIP
Einen unverschlüsselten Port (--insecure-port) gibt es
seit Langem nicht mehr; findest du ihn in einer Aufgabe, ist es ein
altes Manifest. Der API-Server lauscht ohne --bind-address
auf allen Adressen – einschränken lässt sich das per Flag oder Firewall.
Eine typische Prüfungsfalle ist der kubernetes-Service als
NodePort:
k patch svc kubernetes -p '{"spec":{"type":"NodePort"}}'
k get svc kubernetes
NP=$(k get svc kubernetes -o jsonpath='{.spec.ports[0].nodePort}')
curl -sk https://172.16.0.228:$NP/livez; echo
k patch svc kubernetes -p '{"spec":{"type":"ClusterIP"}}'
curl -sk -m 3 https://172.16.0.228:$NP/livez; echo $?Erwartet (Port zufällig):
service/kubernetes patched
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes NodePort 10.96.0.1 <none> 443:31362/TCP 54m
ok
service/kubernetes patched
7
Als NodePort ist der API-Server auf jedem Node erreichbar; der API-Server setzt den Typ nicht von selbst zurück.
Fortschritt speichern? Kostenlos registrieren
Drill 5: NodeRestriction nachweisen
sudo grep -- "--enable-admission-plugins" $M/kube-apiserver.yamlErwartet:
- --enable-admission-plugins=NodeRestriction
Wer einen Node übernimmt, hat die kubelet-Zugangsdaten. Was kann er
damit? Auf worker1 (von cp1 aus per
ssh [email protected]):
export KUBECONFIG=/etc/kubernetes/kubelet.conf
sudo -E kubectl auth whoami | grep Username
sudo -E kubectl label node worker1 tag06=ok
sudo -E kubectl label node worker2 tag06=pwn
sudo -E kubectl label node worker1 node-restriction.kubernetes.io/tag06=pwn
sudo -E kubectl get secrets -A
sudo -E kubectl label node worker1 tag06-Erwartet (gekürzt):
Username system:node:worker1
node/worker1 labeled
Error from server (Forbidden): nodes "worker2" is forbidden: User "system:node:worker1"
cannot get resource "nodes" ... only its own Node object
Error from server (Forbidden): nodes "worker1" is forbidden: is not allowed to modify
labels: node-restriction.kubernetes.io/tag06
Error from server (Forbidden): secrets is forbidden: User "system:node:worker1" cannot
list resource "secrets" ... can only read namespaced object of this type
node/worker1 unlabeled
Der Node-Authorizer (--authorization-mode=Node,RBAC) und
NodeRestriction begrenzen das kubelet auf den eigenen Node und dessen
Pods. Labels mit dem Präfix node-restriction.kubernetes.io/
kann ein kubelet nie setzen – nutze sie für sicherheitsrelevantes
Scheduling.
Fortschritt speichern? Kostenlos registrieren
Drill 6: kubelet-API absichern
Port 10250 jedes Nodes ist eine eigene API (Pods listen, Befehle ausführen):
curl -sk https://172.16.0.228:10250/pods; echo
curl -s -m 3 http://172.16.0.228:10255/pods; echo $?
ssh [email protected] \
'sudo grep -A1 -E "^authorization:| anonymous:" /var/lib/kubelet/config.yaml'Erwartet:
Unauthorized
7
anonymous:
enabled: false
--
authorization:
mode: Webhook
kubeadm setzt anonymous.enabled: false und
authorization.mode: Webhook (das kubelet fragt den
API-Server per SubjectAccessReview); der Read-only-Port 10255 ist zu
(Exit-Code 7 = keine Verbindung). Wie es aussieht, wenn das fehlt, zeigt
die Challenge.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Härtungen upgradefest machen
Erst das neue kubeadm, dann schauen, was upgrade apply
mit den Manifesten machen würde:
sudo cp -r /etc/kubernetes/manifests ~/cks/tag06/backup/manifests-pre-upgrade
apt-mark showhold
sudo apt-mark unhold kubeadm
sudo apt-get update
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo apt-mark hold kubeadm
kubeadm version -o short
sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] |^---"Erwartet (gekürzt):
kubeadm
kubectl
kubelet
v1.37.2
--- /etc/kubernetes/manifests/kube-apiserver.yaml
- - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
- - --profiling=false
- image: registry.k8s.io/kube-apiserver:v1.37.1
+ image: registry.k8s.io/kube-apiserver:v1.37.2
- - mountPath: /etc/kubernetes/authn
...
--- /etc/kubernetes/manifests/kube-controller-manager.yaml
- - --profiling=false
...
--- /etc/kubernetes/manifests/kube-scheduler.yaml
- - --profiling=false
Alle Härtungen aus Tag 3 und Drill 3 wären weg. Dauerhaft gehören sie
in die ClusterConfiguration in der ConfigMap
kubeadm-config:
k -n kube-system edit cm kubeadm-configDort apiServer: {}, controllerManager: {}
und scheduler: {} ersetzen (Format
kubeadm.k8s.io/v1beta4, extraArgs als
Liste):
apiServer:
extraArgs:
- name: profiling
value: "false"
- name: authentication-config
value: /etc/kubernetes/authn/authn-config.yaml
extraVolumes:
- name: authn
hostPath: /etc/kubernetes/authn
mountPath: /etc/kubernetes/authn
readOnly: true
pathType: Directory
controllerManager:
extraArgs:
- name: profiling
value: "false"
scheduler:
extraArgs:
- name: profiling
value: "false"sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] |^---"Erwartet (gekürzt):
--- /etc/kubernetes/manifests/kube-apiserver.yaml
- - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
- - --profiling=false
- image: registry.k8s.io/kube-apiserver:v1.37.1
+ - --profiling=false
+ - --authentication-config=/etc/kubernetes/authn/authn-config.yaml
+ image: registry.k8s.io/kube-apiserver:v1.37.2
--- /etc/kubernetes/manifests/kube-controller-manager.yaml
- - --profiling=false
- image: registry.k8s.io/kube-controller-manager:v1.37.1
+ - --profiling=false
+ image: registry.k8s.io/kube-controller-manager:v1.37.2
...
Nur noch Reihenfolge und Image ändern sich, das Volume bleibt.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Upgrade 1.37.1 → 1.37.2
Control Plane zuerst (auf cp1):
sudo kubeadm upgrade plan | grep -A8 "^COMPONENT NODE"
sudo kubeadm upgrade apply v1.37.2Erwartet (gekürzt):
COMPONENT NODE CURRENT TARGET
kubelet cp1 v1.37.1 v1.37.2
kubelet worker1 v1.37.1 v1.37.2
kubelet worker2 v1.37.1 v1.37.2
...
[upgrade] SUCCESS! A control plane node of your cluster was upgraded to "v1.37.2".
upgrade apply fragt einmal nach (y, oder
--yes). Danach kubelet und kubectl auf
cp1:
k drain cp1 --ignore-daemonsets --delete-emptydir-data
sudo apt-mark unhold kubelet kubectl
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubelet
k uncordon cp1Dann jeder Worker einzeln. drain auf cp1,
der Rest auf dem Worker (ssh [email protected]):
k drain worker1 --ignore-daemonsets --delete-emptydir-datasudo apt-mark unhold kubeadm kubelet kubectl
sudo apt-get update
sudo apt-get install -y kubeadm=1.37.2-1.1
sudo kubeadm upgrade node
sudo apt-get install -y kubelet=1.37.2-1.1 kubectl=1.37.2-1.1
sudo apt-mark hold kubeadm kubelet kubectl
sudo systemctl daemon-reload
sudo systemctl restart kubeletErwartet (gekürzt):
[upgrade/kubelet-config] The kubelet configuration for this node was successfully
upgraded!
exit, zurück auf cp1:
k uncordon worker1worker2 genauso (172.16.0.83). Danach:
k get nodes
k get --raw /readyz; echo
k get pods -A | grep -vc Running
sudo grep -c -- "--profiling=false" /etc/kubernetes/manifests/kube-apiserver.yamlErwartet:
NAME STATUS ROLES AGE VERSION
cp1 Ready control-plane 62m v1.37.2
worker1 Ready <none> 60m v1.37.2
worker2 Ready <none> 60m v1.37.2
ok
1
1
Die eine Zeile ohne Running ist die Kopfzeile. Zwei
Nebenwirkungen prüfen:
stat -c "%a %n" /lib/systemd/system/kubelet.service \
/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf /var/lib/kubelet/config.yaml
curl -s http://172.16.0.126:30500/v2/notes-api/tags/list; echoErwartet:
644 /lib/systemd/system/kubelet.service
644 /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
600 /var/lib/kubelet/config.yaml
{"errors":[{"code":"NAME_UNKNOWN","message":"repository name not known to registry",...
Die Pakete kubelet und kubeadm setzen ihre
Dateien auf 644 zurück – die Härtung aus Tag 3 wiederholen,
auf jedem Node (auf den Workern per ssh):
sudo chmod 600 /lib/systemd/system/kubelet.service \
/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf \
/var/lib/kubelet/config.yaml
sudo systemctl daemon-reloadDer Drain hat auch den Registry-Pod verschoben, sein
emptyDir ist jetzt leer. An Tag 6 liegen dort noch keine
eigenen Images; ab Tag 9/13 gilt: nach jedem Drain aus podman neu
pushen.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Welche Admission-Plugins sind zusätzlich zu den Standards aktiv? Zeitziel: 20 s
- Welche Kubernetes-Versionen bietet das Paket-Repo für kubeadm an? Zeitziel: 20 s
- Gibt
/apianonym401oder403zurück? Zeitziel: 20 s - Mit welcher Version läuft die Control Plane laut
kubeadm-config? Zeitziel: 30 s
Lösung
sudo grep -- "--enable-admission-plugins" /etc/kubernetes/manifests/kube-apiserver.yaml
apt-cache madison kubeadm | head -2
curl -sk https://172.16.0.126:6443/api -o /dev/null -w "%{http_code}\n"
k -n kube-system get cm kubeadm-config -o jsonpath='{.data.ClusterConfiguration}' \
| grep kubernetesVersionErwartet:
- --enable-admission-plugins=NodeRestriction
kubeadm | 1.37.2-1.1 | https://pkgs.k8s.io/core:/stable:/v1.37/deb Packages
kubeadm | 1.37.1-1.1 | https://pkgs.k8s.io/core:/stable:/v1.37/deb Packages
401
kubernetesVersion: v1.37.2
401 = nicht angemeldet (anonym abgelehnt),
403 = angemeldet bzw. anonym erlaubt, aber RBAC verbietet
es. Vor Drill 3 lieferte /api noch 403.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k get nodesErwartet: alle drei Nodes Ready mit
v1.37.2.
curl -sk https://172.16.0.126:6443/readyz; echoErwartet: ok
curl -sk https://172.16.0.126:6443/version -o /dev/null -w "%{http_code}\n"Erwartet: 401
k get svc kubernetes -o jsonpath='{.spec.type}{"\n"}'Erwartet: ClusterIP
sudo kube-bench run --targets=master,node --benchmark=cis-1.12 --json 2>/dev/null \
| jq -c .TotalsErwartet:
{"total_pass":62,"total_fail":6,"total_warn":17,"total_info":0}
Im Labor bleiben: die AuthenticationConfiguration
(anonym nur /livez, /readyz,
/healthz) samt Volume, --profiling=false an
allen drei Komponenten – beides auch in kubeadm-config –,
sowie die Dateirechte aus Tag 3.
Challenge
Ein Kollege hat auf worker2 „zum Debuggen“ die
kubelet-Absicherung gelockert. Stelle den Fehler nach, zeige, dass jeder
anonym Befehle in Pods ausführen kann, und behebe ihn.
ssh [email protected]
sudo sed -i -e '/anonymous:/{n;s/enabled: false/enabled: true/}' \
-e 's/ mode: Webhook/ mode: AlwaysAllow/' /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet
exitHinweis: Die kubelet-API kennt /pods
und
/run/<namespace>/<pod>/<container>.
Lösung
Nachweis auf cp1:
P=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name | cut -d/ -f2)
curl -sk https://172.16.0.83:10250/pods | jq -r '.items[].metadata.name' | head -2
curl -sk -X POST "https://172.16.0.83:10250/run/kube-system/$P/cilium-agent?cmd=id"Erwartet (gekürzt):
kube-proxy-n9vjv
cilium-envoy-vtttj
uid=0(root) gid=0(root) groups=0(root)
Root im cilium-agent (hostNetwork, SYS_ADMIN) – ohne jede Anmeldung.
Beheben auf worker2:
sudo sed -i -e '/anonymous:/{n;s/enabled: true/enabled: false/}' \
-e 's/ mode: AlwaysAllow/ mode: Webhook/' /var/lib/kubelet/config.yaml
sudo grep -A1 -E " anonymous:|^authorization:" /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet
systemctl is-active kubeletErwartet:
anonymous:
enabled: false
--
authorization:
mode: Webhook
active
Danach liefert curl -sk https://172.16.0.83:10250/pods
wieder Unauthorized, und k get nodes zeigt
worker2 Ready.
Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Upgrade-Reihenfolge auswendig: kubeadm-Paket →
upgrade plan→upgrade apply(nur erster Control-Plane-Node) → drain → kubelet/kubectl →daemon-reload, restart → uncordon. Worker:kubeadm upgrade node.apt-mark unhold/holdnicht vergessen. - Nach jeder Änderung am API-Server: Pod
1/1 Readyabwarten, nicht nurRunning– fehlerhafte Probes zeigen sich erst nach Minuten. - Doku: kubernetes.io → Tasks → Administer a Cluster → „Upgrading kubeadm clusters“; Reference → „Authenticating“ (Abschnitt Anonymous requests) und „Kubelet authentication/authorization“.
Enterprise-Notiz
- Den API-Server nicht ins Internet stellen: privater Endpunkt, Firewall oder Load Balancer mit Allowlist; Zugriff nur über VPN oder Bastion.
- kubeadm-Konfiguration als Datei in Git halten; Handänderungen an Manifesten gehen beim nächsten Upgrade verloren.
- Patch-Releases zeitnah einspielen (Kubernetes unterstützt die letzten drei Minor-Versionen); Upgrades zuerst in Staging, Control Plane vor den Workern.
- Worker in größeren Clustern ersetzen statt patchen (neue Images, rollierend), mit PodDisruptionBudgets für die Workloads.
- kubelet-Serving-Zertifikate von der Cluster-CA signieren lassen
(
serverTLSBootstrap), dann klappt auch--kubelet-certificate-authority.