Tag 15: Audit-Logging
Ziel: Du schreibst eine Audit-Policy, die Wichtiges festhält und Rauschen weglässt, schaltest sie im API-Server ein und beantwortest mit jq, wer ein Secret gelesen oder einen Pod gelöscht hat. · Dauer: ca. 60 min · Voraussetzung: Tag 10 und Tag 13
Briefing
- CKS: Monitoring, Logging and Runtime Security – „Use Audit Logs to monitor access“.
- Der API-Server protokolliert jede Anfrage als Event – aber nur mit
Policy (
--audit-policy-file) und Ziel (--audit-log-path). Ohne beides: kein Audit. - Stufen:
None(nichts),Metadata(wer, was, wann, Ergebnis),Request(plus Anfrage-Body),RequestResponse(plus Antwort-Body). - Regeln werden von oben nach unten geprüft, die erste passende gilt.
- Phasen:
RequestReceived,ResponseStarted(nur lange Anfragen wiewatch),ResponseComplete,Panic.omitStagesspart die doppelten Einträge.
k get secret --> kube-apiserver --Policy: erste passende Regel--> Stufe
|
/var/log/kubernetes/audit/audit.log <------+ (JSON pro Zeile)
mkdir -p ~/cks/tag15/backup && cd ~/cks/tag15
k create ns tag15
k config set-context --current --namespace=tag15
k create secret generic db-cred --from-literal=password=Lab-Geheim-15
k create sa spion
k create role secret-reader --verb=get --resource=secrets
k create rolebinding spion --role=secret-reader --serviceaccount=tag15:spionDrill 1: Ausgangslage
M=/etc/kubernetes/manifests
sudo cp $M/kube-apiserver.yaml ~/cks/tag15/backup/
sudo grep -c audit $M/kube-apiserver.yamlErwartet:
0
Kein Audit-Flag: Wer gerade welches Secret liest, weiß niemand. Der
Lab-Wert Lab-Geheim-15 dient später als Gegenprobe – im Log
stünde er base64-kodiert (TGFiLUdlaGVpbS0xNQ==), denn so
überträgt die API Secret-Daten.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Policy
sudo mkdir -p /etc/kubernetes/audit
sudo tee /etc/kubernetes/audit/policy.yaml <<'EOF'
apiVersion: audit.k8s.io/v1
kind: Policy
omitStages:
- RequestReceived
rules:
- level: None
nonResourceURLs: ["/healthz*", "/livez*", "/readyz*", "/version"]
- level: None
resources:
- group: coordination.k8s.io
resources: ["leases"]
- level: None
userGroups: ["system:nodes"]
verbs: ["get", "list", "watch"]
- level: None
verbs: ["watch"]
- level: Metadata
resources:
- group: ""
resources: ["secrets", "configmaps", "serviceaccounts/token"]
- level: RequestResponse
resources:
- group: ""
resources: ["pods", "pods/exec"]
verbs: ["create", "update", "patch", "delete"]
- level: Metadata
EOFVon oben gelesen: Health-Checks, Lease-Erneuerungen, Lesezugriffe der
kubelets und watch sind Rauschen (None).
Secrets und ConfigMaps nur Metadata – bei
Request oder höher stünde ihr Inhalt im Log. Änderungen an
Pods mit vollem Body, alles Übrige mit Metadata. Stünde die
letzte Regel oben, griffe keine andere mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 3: API-Server einschalten
sudo vim $M/kube-apiserver.yamlFlags (nach den vorhandenen aus Tag 6 und Tag 10), zwei Mounts, zwei Volumes:
- --audit-policy-file=/etc/kubernetes/audit/policy.yaml
- --audit-log-path=/var/log/kubernetes/audit/audit.log
- --audit-log-maxage=7
- --audit-log-maxbackup=2
- --audit-log-maxsize=20
# unter volumeMounts:
- mountPath: /etc/kubernetes/audit
name: audit-policy
readOnly: true
- mountPath: /var/log/kubernetes/audit
name: audit-log
# unter volumes:
- hostPath:
path: /etc/kubernetes/audit
type: Directory
name: audit-policy
- hostPath:
path: /var/log/kubernetes/audit
type: DirectoryOrCreate
name: audit-logsudo diff ~/cks/tag15/backup/kube-apiserver.yaml $M/kube-apiserver.yaml | grep -c "^>"Erwartet:
18
Das Log-Volume ist nicht readOnly –
dort schreibt der API-Server. maxsize in MB,
maxage in Tagen, maxbackup = Zahl der
rotierten Dateien. Nach etwa einer Minute:
k get --raw /readyz; echo
sudo ls -l /var/log/kubernetes/auditErwartet (gekürzt):
ok
-rw------- 1 root root 203275 Nov 18 18:41 audit.log
Controller-Manager und Scheduler verlieren bei jedem
API-Server-Neustart ihre Leader-Lease und starten neu – Restarts und
kurz CrashLoopBackOff sind dann normal.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Wie viel ist das?
L=/var/log/kubernetes/audit/audit.log
a=$(sudo stat -c %s $L); sleep 60; b=$(sudo stat -c %s $L); echo "$a -> $b"
sudo jq -r '[.user.username, .verb, .objectRef.resource] | @tsv' $L \
| sort | uniq -c | sort -rn | head -4Erwartet (gekürzt):
219368 -> 395959
76 system:apiserver get clusterroles
56 system:apiserver get clusterrolebindings
24 kubernetes-admin get namespaces
23 system:apiserver get serviceaccounts
Rund 175 KB pro Minute im ruhigen Labor, also gut 250 MB am Tag. Mit
maxsize=20 und maxbackup=2 belegt das Log
höchstens etwa 60 MB. Ohne die None-Regeln wären es ein
Vielfaches. Ein Event als Ganzes:
sudo tail -1 $L | jq '{level, verb, user: .user.username, requestURI, sourceIPs}'Erwartet (gekürzt):
{
"level": "Metadata",
"verb": "list",
"user": "system:serviceaccount:local-path-storage:local-path-provisioner-service...",
"requestURI": "/apis/storage.k8s.io/v1/storageclasses?limit=1",
"sourceIPs": [
"172.16.0.228"
]
}
Fortschritt speichern? Kostenlos registrieren
Drill 5: Wer hat das Secret gelesen?
Der ServiceAccount spion liest das Secret und versucht
eine Liste:
T=$(k create token spion)
curl -s --cacert /etc/kubernetes/pki/ca.crt -H "Authorization: Bearer $T" \
https://172.16.0.126:6443/api/v1/namespaces/tag15/secrets/db-cred \
| jq -r .data.password | base64 -d; echo
k --kubeconfig=/dev/null --server=https://172.16.0.126:6443 \
--certificate-authority=/etc/kubernetes/pki/ca.crt --token=$T -n tag15 get secretsErwartet (gekürzt):
Lab-Geheim-15
Error from server (Forbidden): secrets is forbidden: User
"system:serviceaccount:tag15:spion" cannot list resource "secrets" ...
Die Spurensuche:
sudo jq -c 'select(.objectRef.resource=="secrets" and .objectRef.name=="db-cred")
| [.user.username, .verb, .responseStatus.code, .sourceIPs[0]]' $L
sudo jq -c 'select(.responseStatus.code==403 and .objectRef.namespace=="tag15")
| [.user.username, .verb, .objectRef.resource]' $L
sudo grep -c "$(printf Lab-Geheim-15 | base64)" $LErwartet:
["system:serviceaccount:tag15:spion","get",200,"172.16.0.126"]
["system:serviceaccount:tag15:spion","list","secrets"]
0
Wer, wann, von wo, mit welchem Ergebnis – aber nicht der Inhalt:
Metadata wirkt. Das Anlegen des Secrets fehlt, es geschah
vor dem Einschalten.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Wer hat den Pod gelöscht?
k run opfer --image=172.16.0.126:30500/notes-api:1.0-min --env=NOTES_API_KEY=lab-key-123
k delete pod opfer
sudo jq -c 'select(.verb=="delete" and .objectRef.resource=="pods"
and .objectRef.namespace=="tag15" and .objectRef.subresource == null
and (.user.username | startswith("system:") | not))
| [.user.username, .objectRef.name, .stageTimestamp, .userAgent]' $L
sudo jq -c 'select(.verb=="create" and .objectRef.resource=="pods"
and .objectRef.namespace=="tag15" and .objectRef.subresource == null
and (.user.username | startswith("system:") | not))
| [.level, .requestObject.spec.containers[0].image, .responseStatus.code]' $LErwartet (gekürzt):
["kubernetes-admin","opfer","2026-11-18T18:43:03.630840Z","kubectl/v1.37.2 (linux/amd...
["RequestResponse","172.16.0.126:30500/notes-api:1.0-min",201]
Ohne die beiden Zusatzbedingungen kämen das endgültige Löschen durch
das kubelet (system:node:…) und das Binding des Schedulers
(pods/binding) dazu. Bei RequestResponse steht
das komplette Pod-Objekt im Log – wer einen privilegierten Pod angelegt
hat, siehst du am requestObject. Für Pods ist das
vertretbar, für Secrets nie.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Upgradefest machen
k -n kube-system edit cm kubeadm-configUnter apiServer ergänzen (Werte als Strings):
extraArgs:
# ... profiling, authentication-config, encryption-provider-config bleiben
- name: audit-policy-file
value: /etc/kubernetes/audit/policy.yaml
- name: audit-log-path
value: /var/log/kubernetes/audit/audit.log
- name: audit-log-maxage
value: "7"
- name: audit-log-maxbackup
value: "2"
- name: audit-log-maxsize
value: "20"
extraVolumes:
# ... authn, enc bleiben
- hostPath: /etc/kubernetes/audit
mountPath: /etc/kubernetes/audit
name: audit-policy
pathType: Directory
readOnly: true
- hostPath: /var/log/kubernetes/audit
mountPath: /var/log/kubernetes/audit
name: audit-log
pathType: DirectoryOrCreatesudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] " | grep -c -- "- --"
sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] +name: " | cut -c2- | sort \
| uniq -u | wc -lErwartet:
0
0
Kein Flag verschwindet; der Diff zeigt nur noch umsortierte Volumes.
Die zweite Zahl zählt Volume-Namen, die nur entfernt (oder nur
hinzugefügt) würden – 0 heißt: authn,
enc und die beiden Audit-Volumes bleiben.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Wohin schreibt der API-Server sein Audit-Log? Zeitziel: 15 s
- Welche Benutzer haben Anfragen mit
403erhalten? Zeitziel: 45 s - Welche drei Benutzer erzeugen die meisten Events? Zeitziel: 45 s
- Mit welcher Stufe wurden Secret-Zugriffe protokolliert? Zeitziel: 30 s
Lösung
sudo grep -- --audit-log-path /etc/kubernetes/manifests/kube-apiserver.yaml
sudo jq -r 'select(.responseStatus.code==403) | .user.username' $L | sort | uniq -c
sudo jq -r .user.username $L | sort | uniq -c | sort -rn | head -3
sudo jq -r 'select(.objectRef.resource=="secrets") | .level' $L | sort | uniq -cErwartet (gekürzt, Zahlen schwanken):
- --audit-log-path=/var/log/kubernetes/audit/audit.log
3 kubernetes-admin
1 system:serviceaccount:local-path-storage:local-path-provisioner-service-account
1 system:serviceaccount:tag15:spion
428 system:apiserver
168 system:serviceaccount:local-path-storage:local-path-provisioner-service-account
142 kubernetes-admin
2 Metadata
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k get --raw /readyz; echoErwartet: ok
sudo grep -c -- "--audit-" /etc/kubernetes/manifests/kube-apiserver.yamlErwartet: 5
sudo tail -1 /var/log/kubernetes/audit/audit.log | jq -r .kindErwartet: Event
sudo grep -c Lab-Geheim-15 /var/log/kubernetes/audit/audit.logErwartet: 0
k -n kube-system get cm kubeadm-config -o yaml | grep -c "audit"Erwartet: 13
Nach der Challenge k delete ns tag15 und
k config set-context --current --namespace=default. Im
Labor bleibt Audit-Logging aktiv – Policy, fünf Flags,
beide Volumes, Eintrag in kubeadm-config. Tag 18
(Spurensuche) und Tag 19 werten das Log aus.
Challenge
Das Team will Änderungen an ConfigMaps im Namespace
tag15 mit Inhalt sehen, alle anderen
ConfigMaps und alle Secrets bleiben bei Metadata. Ändere
die Policy und weise es nach.
Hinweis: Die Policy liest der API-Server nur beim Start, und die erste passende Regel gewinnt.
Lösung
sudo cp /etc/kubernetes/audit/policy.yaml ~/cks/tag15/backup/policy.yaml
sudo vim /etc/kubernetes/audit/policy.yaml
sudo diff ~/cks/tag15/backup/policy.yaml /etc/kubernetes/audit/policy.yamlErwartet:
16a17,21
> - level: RequestResponse
> namespaces: ["tag15"]
> resources:
> - group: ""
> resources: ["configmaps"]
Die neue Regel steht vor der
Metadata-Regel für Secrets und ConfigMaps – danach
eingefügt, würde sie nie greifen.
sudo crictl stop $(sudo crictl ps --name kube-apiserver -q)Warte, bis k get --raw /readyz wieder ok
meldet (ca. 1 min):
k get --raw /readyz; echo
k create cm app-config2 --from-literal=modus=nachher
k patch cm app-config2 -p '{"data":{"modus":"geaendert"}}'
sudo jq -c 'select(.objectRef.resource=="configmaps" and .objectRef.namespace=="tag15")
| [.level, .verb, .objectRef.name, .requestObject.data]' $LErwartet (gekürzt):
ok
configmap/app-config2 created
configmap/app-config2 patched
["RequestResponse","create","app-config2",{"modus":"nachher"}]
["RequestResponse","get","app-config2",null]
["RequestResponse","patch","app-config2",{"modus":"geaendert"}]
kubectl patch liest das Objekt vorher
(get). Danach die alte Policy zurückkopieren und den
API-Server noch einmal neu starten.
Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Fünf Flags, zwei Volumes: Policy-Datei
readOnly, Log-Verzeichnis beschreibbar. Fehlt ein Mount, startet der API-Server nicht –sudo crictl ps -aundsudo crictl logs <id>zeigen den Grund. - Typische Aufgabe: „Secrets auf Metadata, Namespace X auf
RequestResponse, Rest None“. Reihenfolge prüfen;
omitStagesundlevelje Regel stehen in der Doku. - Doku: kubernetes.io → Tasks → Debug → „Auditing“ (Beispiel-Policy
audit-policy.yamlzum Kopieren).
Enterprise-Notiz
- Audit-Logs nicht nur auf dem Control-Plane-Node lassen: per Fluent
Bit oder Webhook-Backend (
--audit-webhook-config-file) ins SIEM, manipulationssicher. - Policies nach Datenschutz prüfen:
RequestResponseauf ConfigMaps oder CRDs kann Zugangsdaten enthalten. - Managed Kubernetes liefert Audit-Logs über den Cloud-Dienst (CloudWatch, Cloud Logging, Azure Monitor) – dort einschalten, Aufbewahrung festlegen.
- Alarme auf Muster statt Durchsicht:
403-Serien,pods/exec, Zugriffe auf Secrets inkube-system, Rollen-Änderungen. - Aufbewahrung nach Compliance (oft 90 Tage bis 1 Jahr) – dafür ist
das lokale
maxagezu kurz, das zentrale System hält länger.