Tag 3: CIS-Benchmark mit kube-bench
Ziel: Du prüfst Control Plane und Nodes mit kube-bench gegen den CIS-Benchmark, liest FAIL und Remediation richtig und behebst Befunde, ohne den Cluster zu beschädigen. · Dauer: ca. 75 min · Voraussetzung: Tag 1
Briefing
CKS: Cluster Setup (15 %) – „Use CIS benchmark to review the security configuration of Kubernetes components (etcd, kubelet, kubedns, kubeapi)“.
- Der CIS Kubernetes Benchmark ist eine Liste von Prüfpunkten (z. B.
1.2.15). kube-bench prüft sie automatisch: Prozess-Flags, Dateirechte, Konfigurationsdateien. - Kapitel 1 = Control Plane (
master), 4 = Worker (node), 2 = etcd, 5 = Policies. [FAIL]= automatisch geprüft und verletzt,[WARN]= manuell zu prüfen.- Nicht jede Remediation passt zu jedem Cluster. Erst verstehen, dann ändern, danach erneut prüfen.
Drill 1: kube-bench mit Prüfsumme installieren
mkdir -p ~/cks/tag03/backup && cd ~/cks/tag03
k create ns tag03In der Prüfung ist kube-bench meist schon da. Im Labor holst du das Release von GitHub und prüfst die Prüfsumme, bevor du ein Binary als root startest:
V=0.16.0
U=https://github.com/aquasecurity/kube-bench/releases/download/v$V
ARCH=$(dpkg --print-architecture)
curl -sLO $U/kube-bench_${V}_linux_${ARCH}.tar.gz
curl -sLO $U/kube-bench_${V}_checksums.txt
sha256sum --check --ignore-missing kube-bench_${V}_checksums.txt
tar xzf kube-bench_${V}_linux_${ARCH}.tar.gz
sudo install kube-bench /usr/local/bin/
sudo mkdir -p /etc/kube-bench && sudo cp -r cfg /etc/kube-bench/
rm -rf cfg kube-bench
kube-bench version
ls /etc/kube-bench/cfg | grep "^cis-1.1[0-2]"Erwartet:
kube-bench_0.16.0_linux_amd64.tar.gz: OK
0.16.0
cis-1.10
cis-1.11
cis-1.12
/etc/kube-bench/cfg ist das Standard-Verzeichnis für die
Prüfdefinitionen (--help zeigt
-D, --config-dir). Ohne cfg läuft das Binary
nicht.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Control Plane prüfen
sudo kube-bench run --targets=master 2>&1 | head -3Erwartet (gekürzt):
Warning: Kubernetes version was not auto-detected because kubectl could not connect
to the Kubernetes server. ... Assuming default version 1.18
[INFO] 1 Master Node Security Configuration
Falle: Unter sudo fehlt die kubeconfig, kube-bench nimmt
Version 1.18 und prüft gegen einen alten Benchmark. Für Kubernetes 1.37
gibt es noch keine Zuordnung, kube-bench fällt mit Versionserkennung auf
cis-1.12 zurück. Gib den Benchmark daher ausdrücklich an
(die Warnung bleibt, ist dann aber egal):
sudo kube-bench run --targets=master --benchmark=cis-1.12 > master.txt 2>&1
sed -n '/== Summary master ==/,/INFO/p' master.txt
grep "^\[FAIL\]" master.txt | cut -c1-62Erwartet:
== Summary master ==
39 checks PASS
10 checks FAIL
11 checks WARN
0 checks INFO
[FAIL] 1.1.12 Ensure that the etcd data directory ownership is
[FAIL] 1.2.5 Ensure that the --kubelet-certificate-authority a
[FAIL] 1.2.15 Ensure that the --profiling argument is set to f
[FAIL] 1.2.16 Ensure that the --audit-log-path argument is set
[FAIL] 1.2.17 Ensure that the --audit-log-maxage argument is s
[FAIL] 1.2.18 Ensure that the --audit-log-maxbackup argument i
[FAIL] 1.2.19 Ensure that the --audit-log-maxsize argument is
[FAIL] 1.2.30 Ensure that the --service-account-extend-token-e
[FAIL] 1.3.2 Ensure that the --profiling argument is set to fa
[FAIL] 1.4.1 Ensure that the --profiling argument is set to fa
1.2 = API-Server, 1.3 = Controller-Manager,
1.4 = Scheduler. Die Audit-Befunde
(1.2.16–1.2.19) gehören zu Tag 15.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Einzelne Checks und Remediation lesen
Mit --check läuft nur, was du brauchst;
--include-test-output zeigt, was kube-bench gefunden hat,
darunter folgt die Remediation:
sudo kube-bench run --targets=master --benchmark=cis-1.12 --check=1.3.2,1.4.1 \
--include-test-output 2>/dev/null | grep -A3 "^\[FAIL\] 1.4.1" | cut -c1-80
sudo kube-bench run --targets=master --benchmark=cis-1.12 --check=1.4.1 \
2>/dev/null | sed -n '/== Remediations/,/^$/p' | cut -c1-80Erwartet (gekürzt):
[FAIL] 1.4.1 Ensure that the --profiling argument is set to false (Automated)
root 15853 2652 2 17:27 ? 00:00:30 kube-scheduler --authentic
== Remediations master ==
1.4.1 Edit the Scheduler pod specification file /etc/kubernetes/manifests/kube-s
on the control plane node and set the below parameter.
--profiling=false
kube-bench liest die Flags aus der laufenden Prozessliste
(ps -ef), nicht aus dem Manifest. Erst wenn der Pod neu
gestartet ist, wechselt FAIL zu PASS.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Profiling abschalten
Profiling (/debug/pprof) verrät Interna und kostet
Leistung. Vorher sichtbar machen:
k get --raw /debug/pprof/ | grep -o goroutine | head -1Erwartet:
goroutine
Manifeste außerhalb von
/etc/kubernetes/manifests sichern (eine Kopie im
Verzeichnis würde das kubelet als zweiten Pod starten), dann ändern –
per vim oder sed. Zuerst Controller-Manager
und Scheduler:
sudo cp /etc/kubernetes/manifests/*.yaml ~/cks/tag03/backup/
M=/etc/kubernetes/manifests
sudo sed -i 's/ - --leader-elect=true/&\n - --profiling=false/' \
$M/kube-controller-manager.yaml $M/kube-scheduler.yaml
sudo grep -n -- "--profiling" $M/*.yamlErwartet:
/etc/kubernetes/manifests/kube-controller-manager.yaml:25: - --profiling=false
/etc/kubernetes/manifests/kube-scheduler.yaml:18: - --profiling=false
Das kubelet bemerkt die Änderung selbst und startet beide Pods neu (bis zu einer Minute):
k -n kube-system get pods -l tier=control-planeErwartet:
NAME READY STATUS RESTARTS AGE
etcd-cp1 1/1 Running 5 37m
kube-apiserver-cp1 1/1 Running 0 37m
kube-controller-manager-cp1 1/1 Running 0 39s
kube-scheduler-cp1 1/1 Running 0 37s
Dann der API-Server. Während er neu startet, antwortet k
eine Weile nicht:
sudo sed -i 's/ - --enable-bootstrap-token-auth=true/&\n - --profiling=false/' \
$M/kube-apiserver.yaml
sudo grep -n -- "--profiling" $M/kube-apiserver.yamlErwartet:
21: - --profiling=false
Nach etwa einer Minute:
k get --raw /readyz; echo
k get --raw /debug/pprof/Erwartet:
ok
Error from server (NotFound): the server could not find the requested resource
Fortschritt speichern? Kostenlos registrieren
Drill 5: etcd-Datenverzeichnis
1.1.12 verlangt etcd:etcd als Besitzer.
Erst das Verzeichnis aus der Prozessliste holen, dann den Benutzer
anlegen (gibt es bei kubeadm nicht):
ps -ef | grep etcd | grep -o -- "--data-dir=[^ ]*" | head -1
sudo stat -c "%U:%G %a %n" /var/lib/etcd
id etcd
sudo useradd -r -c "etcd user" -s /sbin/nologin -M etcd
sudo chown -R etcd:etcd /var/lib/etcd
sudo stat -c "%U:%G %a %n" /var/lib/etcdErwartet:
--data-dir=/var/lib/etcd
root:root 700 /var/lib/etcd
id: 'etcd': no such user
etcd:etcd 700 /var/lib/etcd
etcd läuft bei kubeadm weiter als root und liest das Verzeichnis trotzdem – die Härtung schadet nicht. Gegenprobe:
sudo kube-bench run --targets=master --benchmark=cis-1.12 \
--check=1.1.12,1.2.15,1.3.2,1.4.1 2>/dev/null | grep "^\[PASS\]" | cut -c1-62Erwartet:
[PASS] 1.1.12 Ensure that the etcd data directory ownership is
[PASS] 1.2.15 Ensure that the --profiling argument is set to f
[PASS] 1.3.2 Ensure that the --profiling argument is set to fa
[PASS] 1.4.1 Ensure that the --profiling argument is set to fa
Fortschritt speichern? Kostenlos registrieren
Drill 6: Nicht blind beheben
1.2.5 fordert
--kubelet-certificate-authority. Klingt einfach – aber
womit ist das Serving-Zertifikat des kubelet signiert?
sudo openssl x509 -in /var/lib/kubelet/pki/kubelet.crt -noout -issuer
sudo openssl x509 -in /etc/kubernetes/pki/ca.crt -noout -subjectErwartet:
issuer=CN = cp1-ca@1795021817
subject=CN = kubernetes
Selbst signiert, nicht von der Cluster-CA. Setzt du das Flag
trotzdem, prüft der API-Server das kubelet-Zertifikat – und
logs/exec brechen:
sudo cp $M/kube-apiserver.yaml ~/cks/tag03/backup/apiserver-ok.yaml
K=/etc/kubernetes/pki/apiserver-kubelet-client.key
sudo sed -i "s| - --kubelet-client-key=$K|&\n\
- --kubelet-certificate-authority=/etc/kubernetes/pki/ca.crt|" \
$M/kube-apiserver.yamlNach dem Neustart des API-Servers:
k -n kube-system logs etcd-cp1 --tail=1Erwartet (gekürzt):
Error from server: Get "https://172.16.0.126:10250/containerLogs/kube-system/etcd-cp1/et
cd?tailLines=1": tls: failed to verify certificate: x509: cannot validate certificate fo
r 172.16.0.126 because it doesn't contain any IP SANs
Zurück auf den Stand mit Profiling-Härtung:
sudo cp ~/cks/tag03/backup/apiserver-ok.yaml $M/kube-apiserver.yamlNach dem Neustart liefert
k -n kube-system logs etcd-cp1 --tail=1 wieder eine Zeile.
Richtig gelöst wird 1.2.5 mit
serverTLSBootstrap: true im kubelet und genehmigten
Serving-CSRs – das ist ein eigenes Projekt. Ebenso 1.2.30:
Das Flag --service-account-extend-token-expiration=false
kann alte Clients treffen, die Tokens nicht erneuern. Solche Befunde
dokumentierst du als bewusste Ausnahme.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Worker prüfen – als Job
Auf den Workern liegt kein kube-bench. Das Projekt liefert
Job-Manifeste, die das Image mit hostPID und
Host-Verzeichnissen (nur lesend) starten:
R=https://raw.githubusercontent.com/aquasecurity/kube-bench
curl -sLO $R/v0.16.0/job-node.yaml
grep -n "image:\|command:" job-node.yaml
sed -i 's|aquasec/kube-bench:latest|aquasec/kube-bench:v0.16.0|' job-node.yaml
sed -i 's| hostPID: true|&\n nodeName: worker1|' job-node.yaml
k -n tag03 apply -f job-node.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-node --timeout=180s
k -n tag03 logs job/kube-bench-node | grep -E "^\[FAIL\]" | cut -c1-62Erwartet:
12: image: docker.io/aquasec/kube-bench:latest
13: command: ["kube-bench", "run", "--targets", "node"]
job.batch/kube-bench-node created
job.batch/kube-bench-node condition met
[FAIL] 4.1.1 Ensure that the kubelet service file permissions
[FAIL] 4.1.9 If the kubelet config.yaml configuration file is
Im Pod erkennt kube-bench die Version über das ServiceAccount-Token
selbst (cis-1.12). latest ersetzt du immer
durch eine feste Version. Die Remediation nennt chmod 600
für die kubelet-Unit und /var/lib/kubelet/config.yaml; auf
cp1 siehst du das Gleiche mit
sudo kube-bench run --targets=node --benchmark=cis-1.12.
Fortschritt speichern? Kostenlos registrieren
Drill 8: kubelet-Dateien härten und erneut prüfen
Von cp1 aus (SSH-Schlüssel aus Tag 0):
ssh [email protected]
sudo chmod 600 /lib/systemd/system/kubelet.service \
/usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf \
/var/lib/kubelet/config.yaml
sudo systemctl daemon-reload
sudo systemctl restart kubelet
systemctl is-active kubelet
exitErwartet: active
Auf cp1 dasselbe (sudo chmod 600 …,
daemon-reload, restart kubelet), dann:
k -n tag03 delete job kube-bench-node
k -n tag03 apply -f job-node.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-node --timeout=180s
k -n tag03 logs job/kube-bench-node | grep "checks FAIL" | head -1
sudo kube-bench run --targets=node --benchmark=cis-1.12 --check=4.1.1,4.1.9 \
2>/dev/null | grep "^\[PASS\]" | cut -c1-62
k get nodesErwartet:
job.batch "kube-bench-node" deleted from tag03 namespace
job.batch/kube-bench-node created
job.batch/kube-bench-node condition met
0 checks FAIL
[PASS] 4.1.1 Ensure that the kubelet service file permissions
[PASS] 4.1.9 If the kubelet config.yaml configuration file is
NAME STATUS ROLES AGE VERSION
cp1 Ready control-plane 43m ...
worker1 Ready <none> 41m ...
worker2 Ready <none> 41m ...
Die kubelet-Dateien liest nur systemd bzw. das kubelet als root –
600 schadet nicht. Ein Paket-Update kann die Rechte
zurücksetzen (Tag 6): nach Upgrades erneut prüfen.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Prüfe auf
cp1nur die Scheduler-Gruppe1.4, ohne Remediations. Zeitziel: 30 s - Gib nur die Summen der Control-Plane-Prüfung als JSON aus. Zeitziel: 45 s
- Welche Datei prüft
4.1.1genau? Zeitziel: 1 min - Liste die WARN-Befunde des Worker-Jobs. Zeitziel: 30 s
Lösung
sudo kube-bench run --targets=master --benchmark=cis-1.12 --group=1.4 \
--noremediations 2>/dev/null | grep "^\[" | cut -c1-62
sudo kube-bench run --targets=master --benchmark=cis-1.12 --json 2>/dev/null \
| jq .Totals
sudo kube-bench run --targets=node --benchmark=cis-1.12 --check=4.1.1 -v 3 2>&1 \
| grep -o "uses service file .*"
k -n tag03 logs job/kube-bench-node | grep "^\[WARN\]" | cut -c1-62Erwartet (gekürzt):
[INFO] 1 Control Plane Security Configuration
[INFO] 1.4 Scheduler
[PASS] 1.4.1 Ensure that the --profiling argument is set to fa
[PASS] 1.4.2 Ensure that the --bind-address argument is set to
{
"total_pass": 43,
"total_fail": 6,
"total_warn": 11,
"total_info": 0
}
uses service file '/lib/systemd/system/kubelet.service'
[WARN] 4.1.3 If proxy kubeconfig file exists ensure permission
[WARN] 4.1.4 If proxy kubeconfig file exists ensure ownership
[WARN] 4.2.9 Ensure that the --tls-cert-file and --tls-private
[WARN] 4.2.12 Ensure that the Kubelet only makes use of Strong
[WARN] 4.2.13 Ensure that a limit is set on pod PIDs (Manual)
[WARN] 4.2.14 Ensure that the --seccomp-default parameter is s
4.2.14 (seccompDefault) behandelt Tag 8.
Die Prüfdefinition jedes Checks steht lesbar in
/etc/kube-bench/cfg/cis-1.12/master.yaml bzw.
node.yaml (Feld audit:).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
sudo kube-bench run --targets=master,node --benchmark=cis-1.12 2>/dev/null \
| grep "^\[FAIL\]" | cut -c1-62Erwartet: nur noch sechs Befunde, alle bewusst
offen: 1.2.5 (Drill 6),
1.2.16–1.2.19 (Audit, Tag 15),
1.2.30 (Drill 6).
k get --raw /readyz; echoErwartet: ok
sudo grep -l -- "--profiling=false" /etc/kubernetes/manifests/*.yaml | wc -lErwartet: 3
stat -c "%U:%G %a" /var/lib/etcdErwartet: etcd:etcd 700
Diese Härtungen sind harmlos und bleiben im Labor:
--profiling=false an API-Server, Controller-Manager und
Scheduler, /var/lib/etcd gehört etcd:etcd,
kubelet-Unit, Drop-in und config.yaml auf cp1 und worker1
mit 600 (worker2 nach der Challenge). kube-bench bleibt
installiert.
Challenge
Auch worker2 soll im Node-Teil keinen FAIL mehr haben.
Lass kube-bench als Job genau dort laufen, behebe die Befunde und weise
es mit einem zweiten Lauf nach.
Hinweis: nodeName im Job-Manifest legt
den Node fest; das Pod-Template eines Jobs ist unveränderlich – löschen
und neu anlegen.
Lösung
sed -e 's/nodeName: worker1/nodeName: worker2/' \
-e 's/name: kube-bench-node/name: kube-bench-w2/' job-node.yaml > job-w2.yaml
k -n tag03 apply -f job-w2.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-w2 --timeout=180s
k -n tag03 logs job/kube-bench-w2 | grep "^\[FAIL\]" | cut -c1-62Erwartet:
job.batch/kube-bench-w2 created
job.batch/kube-bench-w2 condition met
[FAIL] 4.1.1 Ensure that the kubelet service file permissions
[FAIL] 4.1.9 If the kubelet config.yaml configuration file is
Auf worker2 (ssh [email protected]) die
drei Dateien wie in Drill 8 auf 600 setzen,
daemon-reload, kubelet neu starten. Dann:
k -n tag03 delete job kube-bench-w2
k -n tag03 apply -f job-w2.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-w2 --timeout=180s
k -n tag03 logs job/kube-bench-w2 | grep "checks FAIL" | head -1Erwartet: 0 checks FAIL
Aufräumen (die Härtungen bleiben, siehe Kontrollpunkt):
k delete ns tag03Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Die Aufgabe nennt meist die Check-Nummern:
--check=…statt Volllauf, danach genau diese Nummern erneut prüfen. Benchmark-Version ggf. mit--benchmarkfestlegen. - Static-Pod-Manifeste vorher außerhalb von
/etc/kubernetes/manifestssichern; nach dem Speichern bis zu einer Minute warten (crictl ps,k get --raw /readyz). - Doku in der Prüfung: Flags der Komponenten unter kubernetes.io → Reference → Command line tools reference; zum Lernen: github.com/aquasecurity/kube-bench (docs/running.md).
Enterprise-Notiz
- kube-bench regelmäßig als CronJob oder per Operator (z. B. Trivy Operator „ClusterComplianceReport“) laufen lassen und Ergebnisse als JSON auswerten.
- Ausnahmen (wie
1.2.5bei selbst signierten kubelet-Zertifikaten) schriftlich begründen; Auditoren fragen genau danach. - Bei Managed Kubernetes (EKS, AKS, GKE) gibt es eigene Benchmarks
(
eks-…,gke-…); die Control Plane prüft der Anbieter. - Härtungen, die per Hand in Manifeste geschrieben werden, gehören in die kubeadm-Konfiguration – sonst überschreibt das nächste Upgrade sie (Tag 6).