Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 3: CIS-Benchmark mit kube-bench

Ziel: Du prüfst Control Plane und Nodes mit kube-bench gegen den CIS-Benchmark, liest FAIL und Remediation richtig und behebst Befunde, ohne den Cluster zu beschädigen. · Dauer: ca. 75 min · Voraussetzung: Tag 1

Briefing

CKS: Cluster Setup (15 %) – „Use CIS benchmark to review the security configuration of Kubernetes components (etcd, kubelet, kubedns, kubeapi)“.

  • Der CIS Kubernetes Benchmark ist eine Liste von Prüfpunkten (z. B. 1.2.15). kube-bench prüft sie automatisch: Prozess-Flags, Dateirechte, Konfigurationsdateien.
  • Kapitel 1 = Control Plane (master), 4 = Worker (node), 2 = etcd, 5 = Policies.
  • [FAIL] = automatisch geprüft und verletzt, [WARN] = manuell zu prüfen.
  • Nicht jede Remediation passt zu jedem Cluster. Erst verstehen, dann ändern, danach erneut prüfen.

Drill 1: kube-bench mit Prüfsumme installieren

mkdir -p ~/cks/tag03/backup && cd ~/cks/tag03
k create ns tag03

In der Prüfung ist kube-bench meist schon da. Im Labor holst du das Release von GitHub und prüfst die Prüfsumme, bevor du ein Binary als root startest:

V=0.16.0
U=https://github.com/aquasecurity/kube-bench/releases/download/v$V
ARCH=$(dpkg --print-architecture)
curl -sLO $U/kube-bench_${V}_linux_${ARCH}.tar.gz
curl -sLO $U/kube-bench_${V}_checksums.txt
sha256sum --check --ignore-missing kube-bench_${V}_checksums.txt
tar xzf kube-bench_${V}_linux_${ARCH}.tar.gz
sudo install kube-bench /usr/local/bin/
sudo mkdir -p /etc/kube-bench && sudo cp -r cfg /etc/kube-bench/
rm -rf cfg kube-bench
kube-bench version
ls /etc/kube-bench/cfg | grep "^cis-1.1[0-2]"

Erwartet:

kube-bench_0.16.0_linux_amd64.tar.gz: OK
0.16.0
cis-1.10
cis-1.11
cis-1.12

/etc/kube-bench/cfg ist das Standard-Verzeichnis für die Prüfdefinitionen (--help zeigt -D, --config-dir). Ohne cfg läuft das Binary nicht.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Control Plane prüfen

sudo kube-bench run --targets=master 2>&1 | head -3

Erwartet (gekürzt):

Warning: Kubernetes version was not auto-detected because kubectl could not connect
to the Kubernetes server. ... Assuming default version 1.18
[INFO] 1 Master Node Security Configuration

Falle: Unter sudo fehlt die kubeconfig, kube-bench nimmt Version 1.18 und prüft gegen einen alten Benchmark. Für Kubernetes 1.37 gibt es noch keine Zuordnung, kube-bench fällt mit Versionserkennung auf cis-1.12 zurück. Gib den Benchmark daher ausdrücklich an (die Warnung bleibt, ist dann aber egal):

sudo kube-bench run --targets=master --benchmark=cis-1.12 > master.txt 2>&1
sed -n '/== Summary master ==/,/INFO/p' master.txt
grep "^\[FAIL\]" master.txt | cut -c1-62

Erwartet:

== Summary master ==
39 checks PASS
10 checks FAIL
11 checks WARN
0 checks INFO
[FAIL] 1.1.12 Ensure that the etcd data directory ownership is
[FAIL] 1.2.5 Ensure that the --kubelet-certificate-authority a
[FAIL] 1.2.15 Ensure that the --profiling argument is set to f
[FAIL] 1.2.16 Ensure that the --audit-log-path argument is set
[FAIL] 1.2.17 Ensure that the --audit-log-maxage argument is s
[FAIL] 1.2.18 Ensure that the --audit-log-maxbackup argument i
[FAIL] 1.2.19 Ensure that the --audit-log-maxsize argument is
[FAIL] 1.2.30 Ensure that the --service-account-extend-token-e
[FAIL] 1.3.2 Ensure that the --profiling argument is set to fa
[FAIL] 1.4.1 Ensure that the --profiling argument is set to fa

1.2 = API-Server, 1.3 = Controller-Manager, 1.4 = Scheduler. Die Audit-Befunde (1.2.16–1.2.19) gehören zu Tag 15.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Einzelne Checks und Remediation lesen

Mit --check läuft nur, was du brauchst; --include-test-output zeigt, was kube-bench gefunden hat, darunter folgt die Remediation:

sudo kube-bench run --targets=master --benchmark=cis-1.12 --check=1.3.2,1.4.1 \
  --include-test-output 2>/dev/null | grep -A3 "^\[FAIL\] 1.4.1" | cut -c1-80
sudo kube-bench run --targets=master --benchmark=cis-1.12 --check=1.4.1 \
  2>/dev/null | sed -n '/== Remediations/,/^$/p' | cut -c1-80

Erwartet (gekürzt):

[FAIL] 1.4.1 Ensure that the --profiling argument is set to false (Automated)
     root       15853    2652  2 17:27 ?        00:00:30 kube-scheduler --authentic
== Remediations master ==
1.4.1 Edit the Scheduler pod specification file /etc/kubernetes/manifests/kube-s
on the control plane node and set the below parameter.
--profiling=false

kube-bench liest die Flags aus der laufenden Prozessliste (ps -ef), nicht aus dem Manifest. Erst wenn der Pod neu gestartet ist, wechselt FAIL zu PASS.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Profiling abschalten

Profiling (/debug/pprof) verrät Interna und kostet Leistung. Vorher sichtbar machen:

k get --raw /debug/pprof/ | grep -o goroutine | head -1

Erwartet:

goroutine

Manifeste außerhalb von /etc/kubernetes/manifests sichern (eine Kopie im Verzeichnis würde das kubelet als zweiten Pod starten), dann ändern – per vim oder sed. Zuerst Controller-Manager und Scheduler:

sudo cp /etc/kubernetes/manifests/*.yaml ~/cks/tag03/backup/
M=/etc/kubernetes/manifests
sudo sed -i 's/    - --leader-elect=true/&\n    - --profiling=false/' \
  $M/kube-controller-manager.yaml $M/kube-scheduler.yaml
sudo grep -n -- "--profiling" $M/*.yaml

Erwartet:

/etc/kubernetes/manifests/kube-controller-manager.yaml:25:    - --profiling=false
/etc/kubernetes/manifests/kube-scheduler.yaml:18:    - --profiling=false

Das kubelet bemerkt die Änderung selbst und startet beide Pods neu (bis zu einer Minute):

k -n kube-system get pods -l tier=control-plane

Erwartet:

NAME                          READY   STATUS    RESTARTS   AGE
etcd-cp1                      1/1     Running   5          37m
kube-apiserver-cp1            1/1     Running   0          37m
kube-controller-manager-cp1   1/1     Running   0          39s
kube-scheduler-cp1            1/1     Running   0          37s

Dann der API-Server. Während er neu startet, antwortet k eine Weile nicht:

sudo sed -i 's/    - --enable-bootstrap-token-auth=true/&\n    - --profiling=false/' \
  $M/kube-apiserver.yaml
sudo grep -n -- "--profiling" $M/kube-apiserver.yaml

Erwartet:

21:    - --profiling=false

Nach etwa einer Minute:

k get --raw /readyz; echo
k get --raw /debug/pprof/

Erwartet:

ok
Error from server (NotFound): the server could not find the requested resource

Fortschritt speichern? Kostenlos registrieren

Drill 5: etcd-Datenverzeichnis

1.1.12 verlangt etcd:etcd als Besitzer. Erst das Verzeichnis aus der Prozessliste holen, dann den Benutzer anlegen (gibt es bei kubeadm nicht):

ps -ef | grep etcd | grep -o -- "--data-dir=[^ ]*" | head -1
sudo stat -c "%U:%G %a %n" /var/lib/etcd
id etcd
sudo useradd -r -c "etcd user" -s /sbin/nologin -M etcd
sudo chown -R etcd:etcd /var/lib/etcd
sudo stat -c "%U:%G %a %n" /var/lib/etcd

Erwartet:

--data-dir=/var/lib/etcd
root:root 700 /var/lib/etcd
id: 'etcd': no such user
etcd:etcd 700 /var/lib/etcd

etcd läuft bei kubeadm weiter als root und liest das Verzeichnis trotzdem – die Härtung schadet nicht. Gegenprobe:

sudo kube-bench run --targets=master --benchmark=cis-1.12 \
  --check=1.1.12,1.2.15,1.3.2,1.4.1 2>/dev/null | grep "^\[PASS\]" | cut -c1-62

Erwartet:

[PASS] 1.1.12 Ensure that the etcd data directory ownership is
[PASS] 1.2.15 Ensure that the --profiling argument is set to f
[PASS] 1.3.2 Ensure that the --profiling argument is set to fa
[PASS] 1.4.1 Ensure that the --profiling argument is set to fa

Fortschritt speichern? Kostenlos registrieren

Drill 6: Nicht blind beheben

1.2.5 fordert --kubelet-certificate-authority. Klingt einfach – aber womit ist das Serving-Zertifikat des kubelet signiert?

sudo openssl x509 -in /var/lib/kubelet/pki/kubelet.crt -noout -issuer
sudo openssl x509 -in /etc/kubernetes/pki/ca.crt -noout -subject

Erwartet:

issuer=CN = cp1-ca@1795021817
subject=CN = kubernetes

Selbst signiert, nicht von der Cluster-CA. Setzt du das Flag trotzdem, prüft der API-Server das kubelet-Zertifikat – und logs/exec brechen:

sudo cp $M/kube-apiserver.yaml ~/cks/tag03/backup/apiserver-ok.yaml
K=/etc/kubernetes/pki/apiserver-kubelet-client.key
sudo sed -i "s|    - --kubelet-client-key=$K|&\n\
    - --kubelet-certificate-authority=/etc/kubernetes/pki/ca.crt|" \
  $M/kube-apiserver.yaml

Nach dem Neustart des API-Servers:

k -n kube-system logs etcd-cp1 --tail=1

Erwartet (gekürzt):

Error from server: Get "https://172.16.0.126:10250/containerLogs/kube-system/etcd-cp1/et
cd?tailLines=1": tls: failed to verify certificate: x509: cannot validate certificate fo
r 172.16.0.126 because it doesn't contain any IP SANs

Zurück auf den Stand mit Profiling-Härtung:

sudo cp ~/cks/tag03/backup/apiserver-ok.yaml $M/kube-apiserver.yaml

Nach dem Neustart liefert k -n kube-system logs etcd-cp1 --tail=1 wieder eine Zeile. Richtig gelöst wird 1.2.5 mit serverTLSBootstrap: true im kubelet und genehmigten Serving-CSRs – das ist ein eigenes Projekt. Ebenso 1.2.30: Das Flag --service-account-extend-token-expiration=false kann alte Clients treffen, die Tokens nicht erneuern. Solche Befunde dokumentierst du als bewusste Ausnahme.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Worker prüfen – als Job

Auf den Workern liegt kein kube-bench. Das Projekt liefert Job-Manifeste, die das Image mit hostPID und Host-Verzeichnissen (nur lesend) starten:

R=https://raw.githubusercontent.com/aquasecurity/kube-bench
curl -sLO $R/v0.16.0/job-node.yaml
grep -n "image:\|command:" job-node.yaml
sed -i 's|aquasec/kube-bench:latest|aquasec/kube-bench:v0.16.0|' job-node.yaml
sed -i 's|      hostPID: true|&\n      nodeName: worker1|' job-node.yaml
k -n tag03 apply -f job-node.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-node --timeout=180s
k -n tag03 logs job/kube-bench-node | grep -E "^\[FAIL\]" | cut -c1-62

Erwartet:

12:          image: docker.io/aquasec/kube-bench:latest
13:          command: ["kube-bench", "run", "--targets", "node"]
job.batch/kube-bench-node created
job.batch/kube-bench-node condition met
[FAIL] 4.1.1 Ensure that the kubelet service file permissions
[FAIL] 4.1.9 If the kubelet config.yaml configuration file is

Im Pod erkennt kube-bench die Version über das ServiceAccount-Token selbst (cis-1.12). latest ersetzt du immer durch eine feste Version. Die Remediation nennt chmod 600 für die kubelet-Unit und /var/lib/kubelet/config.yaml; auf cp1 siehst du das Gleiche mit sudo kube-bench run --targets=node --benchmark=cis-1.12.

Fortschritt speichern? Kostenlos registrieren

Drill 8: kubelet-Dateien härten und erneut prüfen

Von cp1 aus (SSH-Schlüssel aus Tag 0):

ssh [email protected]
sudo chmod 600 /lib/systemd/system/kubelet.service \
  /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf \
  /var/lib/kubelet/config.yaml
sudo systemctl daemon-reload
sudo systemctl restart kubelet
systemctl is-active kubelet
exit

Erwartet: active

Auf cp1 dasselbe (sudo chmod 600 …, daemon-reload, restart kubelet), dann:

k -n tag03 delete job kube-bench-node
k -n tag03 apply -f job-node.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-node --timeout=180s
k -n tag03 logs job/kube-bench-node | grep "checks FAIL" | head -1
sudo kube-bench run --targets=node --benchmark=cis-1.12 --check=4.1.1,4.1.9 \
  2>/dev/null | grep "^\[PASS\]" | cut -c1-62
k get nodes

Erwartet:

job.batch "kube-bench-node" deleted from tag03 namespace
job.batch/kube-bench-node created
job.batch/kube-bench-node condition met
0 checks FAIL
[PASS] 4.1.1 Ensure that the kubelet service file permissions
[PASS] 4.1.9 If the kubelet config.yaml configuration file is
NAME      STATUS   ROLES           AGE   VERSION
cp1       Ready    control-plane   43m   ...
worker1   Ready    <none>          41m   ...
worker2   Ready    <none>          41m   ...

Die kubelet-Dateien liest nur systemd bzw. das kubelet als root – 600 schadet nicht. Ein Paket-Update kann die Rechte zurücksetzen (Tag 6): nach Upgrades erneut prüfen.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Prüfe auf cp1 nur die Scheduler-Gruppe 1.4, ohne Remediations. Zeitziel: 30 s
  2. Gib nur die Summen der Control-Plane-Prüfung als JSON aus. Zeitziel: 45 s
  3. Welche Datei prüft 4.1.1 genau? Zeitziel: 1 min
  4. Liste die WARN-Befunde des Worker-Jobs. Zeitziel: 30 s

Lösung

sudo kube-bench run --targets=master --benchmark=cis-1.12 --group=1.4 \
  --noremediations 2>/dev/null | grep "^\[" | cut -c1-62
sudo kube-bench run --targets=master --benchmark=cis-1.12 --json 2>/dev/null \
  | jq .Totals
sudo kube-bench run --targets=node --benchmark=cis-1.12 --check=4.1.1 -v 3 2>&1 \
  | grep -o "uses service file .*"
k -n tag03 logs job/kube-bench-node | grep "^\[WARN\]" | cut -c1-62

Erwartet (gekürzt):

[INFO] 1 Control Plane Security Configuration
[INFO] 1.4 Scheduler
[PASS] 1.4.1 Ensure that the --profiling argument is set to fa
[PASS] 1.4.2 Ensure that the --bind-address argument is set to
{
  "total_pass": 43,
  "total_fail": 6,
  "total_warn": 11,
  "total_info": 0
}
uses service file '/lib/systemd/system/kubelet.service'
[WARN] 4.1.3 If proxy kubeconfig file exists ensure permission
[WARN] 4.1.4 If proxy kubeconfig file exists ensure ownership
[WARN] 4.2.9 Ensure that the --tls-cert-file and --tls-private
[WARN] 4.2.12 Ensure that the Kubelet only makes use of Strong
[WARN] 4.2.13 Ensure that a limit is set on pod PIDs (Manual)
[WARN] 4.2.14 Ensure that the --seccomp-default parameter is s

4.2.14 (seccompDefault) behandelt Tag 8. Die Prüfdefinition jedes Checks steht lesbar in /etc/kube-bench/cfg/cis-1.12/master.yaml bzw. node.yaml (Feld audit:).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

sudo kube-bench run --targets=master,node --benchmark=cis-1.12 2>/dev/null \
  | grep "^\[FAIL\]" | cut -c1-62

Erwartet: nur noch sechs Befunde, alle bewusst offen: 1.2.5 (Drill 6), 1.2.16–1.2.19 (Audit, Tag 15), 1.2.30 (Drill 6).

k get --raw /readyz; echo

Erwartet: ok

sudo grep -l -- "--profiling=false" /etc/kubernetes/manifests/*.yaml | wc -l

Erwartet: 3

stat -c "%U:%G %a" /var/lib/etcd

Erwartet: etcd:etcd 700

Diese Härtungen sind harmlos und bleiben im Labor: --profiling=false an API-Server, Controller-Manager und Scheduler, /var/lib/etcd gehört etcd:etcd, kubelet-Unit, Drop-in und config.yaml auf cp1 und worker1 mit 600 (worker2 nach der Challenge). kube-bench bleibt installiert.

Challenge

Auch worker2 soll im Node-Teil keinen FAIL mehr haben. Lass kube-bench als Job genau dort laufen, behebe die Befunde und weise es mit einem zweiten Lauf nach.

Hinweis: nodeName im Job-Manifest legt den Node fest; das Pod-Template eines Jobs ist unveränderlich – löschen und neu anlegen.

Lösung

sed -e 's/nodeName: worker1/nodeName: worker2/' \
  -e 's/name: kube-bench-node/name: kube-bench-w2/' job-node.yaml > job-w2.yaml
k -n tag03 apply -f job-w2.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-w2 --timeout=180s
k -n tag03 logs job/kube-bench-w2 | grep "^\[FAIL\]" | cut -c1-62

Erwartet:

job.batch/kube-bench-w2 created
job.batch/kube-bench-w2 condition met
[FAIL] 4.1.1 Ensure that the kubelet service file permissions
[FAIL] 4.1.9 If the kubelet config.yaml configuration file is

Auf worker2 (ssh [email protected]) die drei Dateien wie in Drill 8 auf 600 setzen, daemon-reload, kubelet neu starten. Dann:

k -n tag03 delete job kube-bench-w2
k -n tag03 apply -f job-w2.yaml
k -n tag03 wait --for=condition=complete job/kube-bench-w2 --timeout=180s
k -n tag03 logs job/kube-bench-w2 | grep "checks FAIL" | head -1

Erwartet: 0 checks FAIL

Aufräumen (die Härtungen bleiben, siehe Kontrollpunkt):

k delete ns tag03

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Die Aufgabe nennt meist die Check-Nummern: --check=… statt Volllauf, danach genau diese Nummern erneut prüfen. Benchmark-Version ggf. mit --benchmark festlegen.
  • Static-Pod-Manifeste vorher außerhalb von /etc/kubernetes/manifests sichern; nach dem Speichern bis zu einer Minute warten (crictl ps, k get --raw /readyz).
  • Doku in der Prüfung: Flags der Komponenten unter kubernetes.io → Reference → Command line tools reference; zum Lernen: github.com/aquasecurity/kube-bench (docs/running.md).

Enterprise-Notiz

  • kube-bench regelmäßig als CronJob oder per Operator (z. B. Trivy Operator „ClusterComplianceReport“) laufen lassen und Ergebnisse als JSON auswerten.
  • Ausnahmen (wie 1.2.5 bei selbst signierten kubelet-Zertifikaten) schriftlich begründen; Auditoren fragen genau danach.
  • Bei Managed Kubernetes (EKS, AKS, GKE) gibt es eigene Benchmarks (eks-…, gke-…); die Control Plane prüft der Anbieter.
  • Härtungen, die per Hand in Manifeste geschrieben werden, gehören in die kubeadm-Konfiguration – sonst überschreibt das nächste Upgrade sie (Tag 6).