Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Audit-Logging

Ziel: Du schreibst eine Audit-Policy, die Wichtiges festhält und Rauschen weglässt, schaltest sie im API-Server ein und beantwortest mit jq, wer ein Secret gelesen oder einen Pod gelöscht hat. · Dauer: ca. 60 min · Voraussetzung: Tag 10 und Tag 13

Briefing

  • CKS: Monitoring, Logging and Runtime Security – „Use Audit Logs to monitor access“.
  • Der API-Server protokolliert jede Anfrage als Event – aber nur mit Policy (--audit-policy-file) und Ziel (--audit-log-path). Ohne beides: kein Audit.
  • Stufen: None (nichts), Metadata (wer, was, wann, Ergebnis), Request (plus Anfrage-Body), RequestResponse (plus Antwort-Body).
  • Regeln werden von oben nach unten geprüft, die erste passende gilt.
  • Phasen: RequestReceived, ResponseStarted (nur lange Anfragen wie watch), ResponseComplete, Panic. omitStages spart die doppelten Einträge.
k get secret --> kube-apiserver --Policy: erste passende Regel--> Stufe
                                                                   |
                       /var/log/kubernetes/audit/audit.log  <------+ (JSON pro Zeile)
mkdir -p ~/cks/tag15/backup && cd ~/cks/tag15
k create ns tag15
k config set-context --current --namespace=tag15
k create secret generic db-cred --from-literal=password=Lab-Geheim-15
k create sa spion
k create role secret-reader --verb=get --resource=secrets
k create rolebinding spion --role=secret-reader --serviceaccount=tag15:spion

Drill 1: Ausgangslage

M=/etc/kubernetes/manifests
sudo cp $M/kube-apiserver.yaml ~/cks/tag15/backup/
sudo grep -c audit $M/kube-apiserver.yaml

Erwartet:

0

Kein Audit-Flag: Wer gerade welches Secret liest, weiß niemand. Der Lab-Wert Lab-Geheim-15 dient später als Gegenprobe – im Log stünde er base64-kodiert (TGFiLUdlaGVpbS0xNQ==), denn so überträgt die API Secret-Daten.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Policy

sudo mkdir -p /etc/kubernetes/audit
sudo tee /etc/kubernetes/audit/policy.yaml <<'EOF'
apiVersion: audit.k8s.io/v1
kind: Policy
omitStages:
- RequestReceived
rules:
- level: None
  nonResourceURLs: ["/healthz*", "/livez*", "/readyz*", "/version"]
- level: None
  resources:
  - group: coordination.k8s.io
    resources: ["leases"]
- level: None
  userGroups: ["system:nodes"]
  verbs: ["get", "list", "watch"]
- level: None
  verbs: ["watch"]
- level: Metadata
  resources:
  - group: ""
    resources: ["secrets", "configmaps", "serviceaccounts/token"]
- level: RequestResponse
  resources:
  - group: ""
    resources: ["pods", "pods/exec"]
  verbs: ["create", "update", "patch", "delete"]
- level: Metadata
EOF

Von oben gelesen: Health-Checks, Lease-Erneuerungen, Lesezugriffe der kubelets und watch sind Rauschen (None). Secrets und ConfigMaps nur Metadata – bei Request oder höher stünde ihr Inhalt im Log. Änderungen an Pods mit vollem Body, alles Übrige mit Metadata. Stünde die letzte Regel oben, griffe keine andere mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 3: API-Server einschalten

sudo vim $M/kube-apiserver.yaml

Flags (nach den vorhandenen aus Tag 6 und Tag 10), zwei Mounts, zwei Volumes:

    - --audit-policy-file=/etc/kubernetes/audit/policy.yaml
    - --audit-log-path=/var/log/kubernetes/audit/audit.log
    - --audit-log-maxage=7
    - --audit-log-maxbackup=2
    - --audit-log-maxsize=20
    # unter volumeMounts:
    - mountPath: /etc/kubernetes/audit
      name: audit-policy
      readOnly: true
    - mountPath: /var/log/kubernetes/audit
      name: audit-log
  # unter volumes:
  - hostPath:
      path: /etc/kubernetes/audit
      type: Directory
    name: audit-policy
  - hostPath:
      path: /var/log/kubernetes/audit
      type: DirectoryOrCreate
    name: audit-log
sudo diff ~/cks/tag15/backup/kube-apiserver.yaml $M/kube-apiserver.yaml | grep -c "^>"

Erwartet:

18

Das Log-Volume ist nicht readOnly – dort schreibt der API-Server. maxsize in MB, maxage in Tagen, maxbackup = Zahl der rotierten Dateien. Nach etwa einer Minute:

k get --raw /readyz; echo
sudo ls -l /var/log/kubernetes/audit

Erwartet (gekürzt):

ok
-rw------- 1 root root 203275 Nov 18 18:41 audit.log

Controller-Manager und Scheduler verlieren bei jedem API-Server-Neustart ihre Leader-Lease und starten neu – Restarts und kurz CrashLoopBackOff sind dann normal.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Wie viel ist das?

L=/var/log/kubernetes/audit/audit.log
a=$(sudo stat -c %s $L); sleep 60; b=$(sudo stat -c %s $L); echo "$a -> $b"
sudo jq -r '[.user.username, .verb, .objectRef.resource] | @tsv' $L \
  | sort | uniq -c | sort -rn | head -4

Erwartet (gekürzt):

219368 -> 395959
     76 system:apiserver    get clusterroles
     56 system:apiserver    get clusterrolebindings
     24 kubernetes-admin    get namespaces
     23 system:apiserver    get serviceaccounts

Rund 175 KB pro Minute im ruhigen Labor, also gut 250 MB am Tag. Mit maxsize=20 und maxbackup=2 belegt das Log höchstens etwa 60 MB. Ohne die None-Regeln wären es ein Vielfaches. Ein Event als Ganzes:

sudo tail -1 $L | jq '{level, verb, user: .user.username, requestURI, sourceIPs}'

Erwartet (gekürzt):

{
  "level": "Metadata",
  "verb": "list",
  "user": "system:serviceaccount:local-path-storage:local-path-provisioner-service...",
  "requestURI": "/apis/storage.k8s.io/v1/storageclasses?limit=1",
  "sourceIPs": [
    "172.16.0.228"
  ]
}

Fortschritt speichern? Kostenlos registrieren

Drill 5: Wer hat das Secret gelesen?

Der ServiceAccount spion liest das Secret und versucht eine Liste:

T=$(k create token spion)
curl -s --cacert /etc/kubernetes/pki/ca.crt -H "Authorization: Bearer $T" \
  https://172.16.0.126:6443/api/v1/namespaces/tag15/secrets/db-cred \
  | jq -r .data.password | base64 -d; echo
k --kubeconfig=/dev/null --server=https://172.16.0.126:6443 \
  --certificate-authority=/etc/kubernetes/pki/ca.crt --token=$T -n tag15 get secrets

Erwartet (gekürzt):

Lab-Geheim-15
Error from server (Forbidden): secrets is forbidden: User
"system:serviceaccount:tag15:spion" cannot list resource "secrets" ...

Die Spurensuche:

sudo jq -c 'select(.objectRef.resource=="secrets" and .objectRef.name=="db-cred")
  | [.user.username, .verb, .responseStatus.code, .sourceIPs[0]]' $L
sudo jq -c 'select(.responseStatus.code==403 and .objectRef.namespace=="tag15")
  | [.user.username, .verb, .objectRef.resource]' $L
sudo grep -c "$(printf Lab-Geheim-15 | base64)" $L

Erwartet:

["system:serviceaccount:tag15:spion","get",200,"172.16.0.126"]
["system:serviceaccount:tag15:spion","list","secrets"]
0

Wer, wann, von wo, mit welchem Ergebnis – aber nicht der Inhalt: Metadata wirkt. Das Anlegen des Secrets fehlt, es geschah vor dem Einschalten.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Wer hat den Pod gelöscht?

k run opfer --image=172.16.0.126:30500/notes-api:1.0-min --env=NOTES_API_KEY=lab-key-123
k delete pod opfer
sudo jq -c 'select(.verb=="delete" and .objectRef.resource=="pods"
  and .objectRef.namespace=="tag15" and .objectRef.subresource == null
  and (.user.username | startswith("system:") | not))
  | [.user.username, .objectRef.name, .stageTimestamp, .userAgent]' $L
sudo jq -c 'select(.verb=="create" and .objectRef.resource=="pods"
  and .objectRef.namespace=="tag15" and .objectRef.subresource == null
  and (.user.username | startswith("system:") | not))
  | [.level, .requestObject.spec.containers[0].image, .responseStatus.code]' $L

Erwartet (gekürzt):

["kubernetes-admin","opfer","2026-11-18T18:43:03.630840Z","kubectl/v1.37.2 (linux/amd...
["RequestResponse","172.16.0.126:30500/notes-api:1.0-min",201]

Ohne die beiden Zusatzbedingungen kämen das endgültige Löschen durch das kubelet (system:node:…) und das Binding des Schedulers (pods/binding) dazu. Bei RequestResponse steht das komplette Pod-Objekt im Log – wer einen privilegierten Pod angelegt hat, siehst du am requestObject. Für Pods ist das vertretbar, für Secrets nie.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Upgradefest machen

k -n kube-system edit cm kubeadm-config

Unter apiServer ergänzen (Werte als Strings):

      extraArgs:
      # ... profiling, authentication-config, encryption-provider-config bleiben
      - name: audit-policy-file
        value: /etc/kubernetes/audit/policy.yaml
      - name: audit-log-path
        value: /var/log/kubernetes/audit/audit.log
      - name: audit-log-maxage
        value: "7"
      - name: audit-log-maxbackup
        value: "2"
      - name: audit-log-maxsize
        value: "20"
      extraVolumes:
      # ... authn, enc bleiben
      - hostPath: /etc/kubernetes/audit
        mountPath: /etc/kubernetes/audit
        name: audit-policy
        pathType: Directory
        readOnly: true
      - hostPath: /var/log/kubernetes/audit
        mountPath: /var/log/kubernetes/audit
        name: audit-log
        pathType: DirectoryOrCreate
sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] " | grep -c -- "- --"
sudo kubeadm upgrade diff v1.37.2 | grep -E "^[-+] +name: " | cut -c2- | sort \
  | uniq -u | wc -l

Erwartet:

0
0

Kein Flag verschwindet; der Diff zeigt nur noch umsortierte Volumes. Die zweite Zahl zählt Volume-Namen, die nur entfernt (oder nur hinzugefügt) würden – 0 heißt: authn, enc und die beiden Audit-Volumes bleiben.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Wohin schreibt der API-Server sein Audit-Log? Zeitziel: 15 s
  2. Welche Benutzer haben Anfragen mit 403 erhalten? Zeitziel: 45 s
  3. Welche drei Benutzer erzeugen die meisten Events? Zeitziel: 45 s
  4. Mit welcher Stufe wurden Secret-Zugriffe protokolliert? Zeitziel: 30 s

Lösung

sudo grep -- --audit-log-path /etc/kubernetes/manifests/kube-apiserver.yaml
sudo jq -r 'select(.responseStatus.code==403) | .user.username' $L | sort | uniq -c
sudo jq -r .user.username $L | sort | uniq -c | sort -rn | head -3
sudo jq -r 'select(.objectRef.resource=="secrets") | .level' $L | sort | uniq -c

Erwartet (gekürzt, Zahlen schwanken):

    - --audit-log-path=/var/log/kubernetes/audit/audit.log
      3 kubernetes-admin
      1 system:serviceaccount:local-path-storage:local-path-provisioner-service-account
      1 system:serviceaccount:tag15:spion
    428 system:apiserver
    168 system:serviceaccount:local-path-storage:local-path-provisioner-service-account
    142 kubernetes-admin
      2 Metadata

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get --raw /readyz; echo

Erwartet: ok

sudo grep -c -- "--audit-" /etc/kubernetes/manifests/kube-apiserver.yaml

Erwartet: 5

sudo tail -1 /var/log/kubernetes/audit/audit.log | jq -r .kind

Erwartet: Event

sudo grep -c Lab-Geheim-15 /var/log/kubernetes/audit/audit.log

Erwartet: 0

k -n kube-system get cm kubeadm-config -o yaml | grep -c "audit"

Erwartet: 13

Nach der Challenge k delete ns tag15 und k config set-context --current --namespace=default. Im Labor bleibt Audit-Logging aktiv – Policy, fünf Flags, beide Volumes, Eintrag in kubeadm-config. Tag 18 (Spurensuche) und Tag 19 werten das Log aus.

Challenge

Das Team will Änderungen an ConfigMaps im Namespace tag15 mit Inhalt sehen, alle anderen ConfigMaps und alle Secrets bleiben bei Metadata. Ändere die Policy und weise es nach.

Hinweis: Die Policy liest der API-Server nur beim Start, und die erste passende Regel gewinnt.

Lösung

sudo cp /etc/kubernetes/audit/policy.yaml ~/cks/tag15/backup/policy.yaml
sudo vim /etc/kubernetes/audit/policy.yaml
sudo diff ~/cks/tag15/backup/policy.yaml /etc/kubernetes/audit/policy.yaml

Erwartet:

16a17,21
> - level: RequestResponse
>   namespaces: ["tag15"]
>   resources:
>   - group: ""
>     resources: ["configmaps"]

Die neue Regel steht vor der Metadata-Regel für Secrets und ConfigMaps – danach eingefügt, würde sie nie greifen.

sudo crictl stop $(sudo crictl ps --name kube-apiserver -q)

Warte, bis k get --raw /readyz wieder ok meldet (ca. 1 min):

k get --raw /readyz; echo
k create cm app-config2 --from-literal=modus=nachher
k patch cm app-config2 -p '{"data":{"modus":"geaendert"}}'
sudo jq -c 'select(.objectRef.resource=="configmaps" and .objectRef.namespace=="tag15")
  | [.level, .verb, .objectRef.name, .requestObject.data]' $L

Erwartet (gekürzt):

ok
configmap/app-config2 created
configmap/app-config2 patched
["RequestResponse","create","app-config2",{"modus":"nachher"}]
["RequestResponse","get","app-config2",null]
["RequestResponse","patch","app-config2",{"modus":"geaendert"}]

kubectl patch liest das Objekt vorher (get). Danach die alte Policy zurückkopieren und den API-Server noch einmal neu starten.

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Fünf Flags, zwei Volumes: Policy-Datei readOnly, Log-Verzeichnis beschreibbar. Fehlt ein Mount, startet der API-Server nicht – sudo crictl ps -a und sudo crictl logs <id> zeigen den Grund.
  • Typische Aufgabe: „Secrets auf Metadata, Namespace X auf RequestResponse, Rest None“. Reihenfolge prüfen; omitStages und level je Regel stehen in der Doku.
  • Doku: kubernetes.io → Tasks → Debug → „Auditing“ (Beispiel-Policy audit-policy.yaml zum Kopieren).

Enterprise-Notiz

  • Audit-Logs nicht nur auf dem Control-Plane-Node lassen: per Fluent Bit oder Webhook-Backend (--audit-webhook-config-file) ins SIEM, manipulationssicher.
  • Policies nach Datenschutz prüfen: RequestResponse auf ConfigMaps oder CRDs kann Zugangsdaten enthalten.
  • Managed Kubernetes liefert Audit-Logs über den Cloud-Dienst (CloudWatch, Cloud Logging, Azure Monitor) – dort einschalten, Aufbewahrung festlegen.
  • Alarme auf Muster statt Durchsicht: 403-Serien, pods/exec, Zugriffe auf Secrets in kube-system, Rollen-Änderungen.
  • Aufbewahrung nach Compliance (oft 90 Tage bis 1 Jahr) – dafür ist das lokale maxage zu kurz, das zentrale System hält länger.