Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 8: AppArmor und seccomp

Ziel: Du lädst AppArmor- und seccomp-Profile auf den Workern, bindest sie per securityContext an Pods und weist ihre Wirkung im Container und im Kernel-Log nach. · Dauer: ca. 75 min · Voraussetzung: Tag 7

Briefing

  • CKS: System Hardening – „Appropriately use kernel hardening tools such as AppArmor, seccomp“.
  • AppArmor beschränkt Dateien, Netz, Capabilities per Profil (Name im Kernel), seccomp beschränkt Syscalls (Systemaufrufe) per JSON-Datei unter /var/lib/kubelet/seccomp/.
  • Beide müssen auf jedem Node liegen, auf dem der Pod landen kann – Kubernetes verteilt keine Profile.
  • Feld in beiden Fällen: securityContext.<appArmorProfile|seccompProfile> mit type: RuntimeDefault, Localhost (plus localhostProfile) oder Unconfined.
AppArmor: /etc/apparmor.d/<datei> --apparmor_parser--> Kernel
          Pod: localhostProfile: <profilname>
seccomp:  /var/lib/kubelet/seccomp/profiles/x.json (liest containerd)
          Pod: localhostProfile: profiles/x.json

Vorbereitung auf cp1:

mkdir -p ~/cks/tag08 && cd ~/cks/tag08
k create ns tag08
k config set-context --current --namespace=tag08

Drill 1: Was ein Pod ohne Angaben bekommt

k run plain --image=busybox:1.37 -- sleep 1d
k wait --for=condition=Ready pod/plain
k exec plain -- cat /proc/1/attr/current; echo
k exec plain -- grep Seccomp: /proc/1/status
k exec plain -- unshare -U id

Erwartet:

cri-containerd.apparmor.d (enforce)
Seccomp:    0
uid=65534(nobody) gid=65534(nobody) groups=65534(nobody),65534(nobody)

AppArmor ist schon aktiv: containerd legt sein Standardprofil an. seccomp dagegen ist aus (0) – der kubelet-Default ist Unconfined. Darum gelingt unshare -U (neuer User Namespace, ein beliebter Ausbruchshelfer). Mit dem Laufzeit-Profil:

k run rd --image=busybox:1.37 --overrides='{"spec":{"securityContext":
  {"seccompProfile":{"type":"RuntimeDefault"}}}}' -- sleep 1d
k wait --for=condition=Ready pod/rd
k exec rd -- grep Seccomp: /proc/1/status
k exec rd -- unshare -U id

Erwartet:

Seccomp:    2
unshare: unshare(0x10000000): Operation not permitted
command terminated with exit code 1

2 heißt Filter-Modus. RuntimeDefault sperrt rund 50 selten gebrauchte, gefährliche Syscalls und bricht praktisch keine Anwendung – Tag 9 macht es zur Pflicht.

Fortschritt speichern? Kostenlos registrieren

Drill 2: AppArmor-Profil laden

Auf worker1 (ssh [email protected]):

sudo tee /etc/apparmor.d/cks-deny-write <<'EOF'
#include <tunables/global>

profile cks-deny-write flags=(attach_disconnected) {
  #include <abstractions/base>

  file,

  deny /** w,
}
EOF
sudo apparmor_parser -r /etc/apparmor.d/cks-deny-write
sudo aa-status | grep -E 'profiles are in enforce|cks'

Erwartet:

25 profiles are in enforce mode.
   cks-deny-write

Dasselbe auf worker2 (ssh [email protected]). Wichtig ist der Name hinter profile, nicht der Dateiname. -r ersetzt ein geladenes Profil (beim ersten Mal reicht auch -a), -C lädt es im complain-Modus (nur protokollieren). Was in /etc/apparmor.d/ liegt, lädt der Node beim Booten wieder.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Profil im Pod nutzen

cat > aa.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: aa
spec:
  containers:
  - name: c
    image: busybox:1.37
    command: ["sleep", "1d"]
    securityContext:
      appArmorProfile:
        type: Localhost
        localhostProfile: cks-deny-write
EOF
k apply -f aa.yaml
k wait --for=condition=Ready pod/aa
k get pod aa -o wide | awk '{print $1, $3, $7}'
k exec aa -- cat /proc/1/attr/current; echo
k exec aa -- touch /tmp/x
k exec aa -- sh -c 'echo hi > /dev/null'

Erwartet:

pod/aa created
pod/aa condition met
NAME STATUS NODE
aa Running worker2
cks-deny-write (enforce)
touch: /tmp/x: Permission denied
command terminated with exit code 1
sh: can't create /dev/null: Permission denied
command terminated with exit code 1

Selbst /dev/null ist gesperrt – /** meint wirklich alles. Auf dem Node des Pods (hier worker2) zeigt sudo aa-status | grep cks jetzt zusätzlich /usr/bin/sleep (22270) cks-deny-write.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Verstöße im Kernel-Log

Auf dem Node des Pods:

sudo journalctl -k --since -5min | grep 'apparmor="DENIED"'

Erwartet: keine Ausgabe.

Ausdrückliche deny-Regeln sind still. Für Spurensuche gehört audit davor; -r tauscht das Profil im Kernel, auch für den schon laufenden Container. Auf beiden Workern:

sudo sed -i 's|^  deny /\*\* w,|  audit deny /** w,|' /etc/apparmor.d/cks-deny-write
sudo apparmor_parser -r /etc/apparmor.d/cks-deny-write

Auf cp1 k exec aa -- touch /tmp/y, dann wieder auf dem Node des Pods:

sudo journalctl -k --since -2min | grep 'apparmor="DENIED"'

Erwartet (gekürzt):

... worker2 kernel: audit: type=1400 audit(1795026631.899:204): apparmor="DENIED"
operation="mknod" class="file" profile="cks-deny-write" name="/tmp/y" pid=22715
comm="touch" requested_mask="c" denied_mask="c" fsuid=0 ouid=0

Fortschritt speichern? Kostenlos registrieren

Drill 5: Profil fehlt – und die alte Annotation

sed 's/name: aa/name: aa-miss/; s/cks-deny-write/cks-gibtsnicht/' aa.yaml \
  | k apply -f -
k get pod aa-miss -w          # Strg+C, sobald der Fehlerstatus steht
k describe pod aa-miss | grep -m1 'Error:'
k delete pod aa-miss --now

Erwartet (gekürzt):

NAME      READY   STATUS                 RESTARTS   AGE
aa-miss   0/1     CreateContainerError   0          15s
  ... Error: failed to get container spec opts: failed to generate apparmor spec opts:
apparmor profile not found cks-gibtsnicht

Der Pod wird angenommen und eingeplant, erst containerd scheitert. In der Prüfung heißt das: Profil auf genau dem Node laden, auf dem der Pod läuft – oder den Pod per nodeName/nodeSelector dorthin schicken. Ältere Aufgaben nutzen noch die Annotation:

A=container.apparmor.security.beta.kubernetes.io/anno
k run anno --image=busybox:1.37 --annotations=$A=localhost/cks-deny-write -- sleep 1d
k get pod anno -o jsonpath='{.spec.containers[0].securityContext}{"\n"}'
k delete pod anno --now

Erwartet (gekürzt):

Warning: metadata.annotations[container.apparmor.security.beta.kubernetes.io/anno]:
deprecated since v1.30; use the "appArmorProfile" field instead
pod/anno created
{"appArmorProfile":{"localhostProfile":"cks-deny-write","type":"Localhost"}}

Der API-Server übersetzt die Annotation (localhost/<name>, runtime/default, unconfined) ins Feld. Neue Manifeste nutzen nur das Feld.

Fortschritt speichern? Kostenlos registrieren

Drill 6: seccomp-Profil zum Mitschreiben

Profile liegen relativ zu /var/lib/kubelet/seccomp/. SCMP_ACT_LOG erlaubt alles und protokolliert jeden Syscall. Auf beiden Workern:

sudo mkdir -p /var/lib/kubelet/seccomp/profiles
echo '{"defaultAction": "SCMP_ACT_LOG"}' \
  | sudo tee /var/lib/kubelet/seccomp/profiles/audit.json

Auf cp1 – nodeName legt den Node fest, damit du weißt, wo das Log steht:

cat > audit.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: audit
spec:
  nodeName: worker1
  securityContext:
    seccompProfile:
      type: Localhost
      localhostProfile: profiles/audit.json
  containers:
  - name: c
    image: busybox:1.37
    command: ["sleep", "1d"]
EOF
k apply -f audit.yaml
k wait --for=condition=Ready pod/audit
k exec audit -- grep Seccomp: /proc/1/status

Erwartet: Seccomp: 2

Ohne auditd landen die Einträge über printk im Kernel-Log – gedrosselt auf 10 Meldungen pro 5 s. Für den Versuch auf worker1 kurz abschalten:

sudo sysctl -w kernel.printk_ratelimit=0

Auf cp1 k exec audit -- uname -r, dann auf worker1:

sudo journalctl -k --since -1min | grep type=1326 | grep -o 'comm="[^"]*"' \
  | sort | uniq -c
sudo journalctl -k --since -1min | grep type=1326 | grep 'comm="uname"' \
  | grep -o 'syscall=[0-9]*' | sort -u | tr '\n' ' '; echo
sudo sysctl -w kernel.printk_ratelimit=5

Erwartet (gekürzt):

    532 comm="runc:[2:INIT]"
     67 comm="uname"
syscall=0 syscall=1 syscall=10 syscall=102 syscall=12 syscall=158 ... syscall=63 ...
kernel.printk_ratelimit = 5

Das ist die Rohliste für ein eigenes Profil: Syscall 63 ist uname (x86_64; auf arm64 ist es 160). Werkzeuge wie der Security Profiles Operator bauen daraus automatisch ein Allow-Profil.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Einen Syscall blocken

Alles erlauben außer Verzeichnisse anlegen. Auf beiden Workern:

sudo tee /var/lib/kubelet/seccomp/profiles/no-mkdir.json <<'EOF'
{
  "defaultAction": "SCMP_ACT_ALLOW",
  "syscalls": [
    {
      "names": ["mkdir", "mkdirat"],
      "action": "SCMP_ACT_ERRNO"
    }
  ]
}
EOF

Auf cp1:

k delete pod audit --now
sed 's/name: audit/name: nomkdir/; /nodeName/d; s#audit.json#no-mkdir.json#' \
  audit.yaml > nomkdir.yaml
k apply -f nomkdir.yaml
k wait --for=condition=Ready pod/nomkdir
k exec nomkdir -- mkdir /tmp/neu
k exec nomkdir -- touch /tmp/datei
k exec nomkdir -- ls /tmp

Erwartet:

mkdir: can't create directory '/tmp/neu': Operation not permitted
command terminated with exit code 1
datei

touch geht (anderer Syscall), mkdir nicht. Beide Varianten (mkdir, mkdirat) gehören in die Liste – welchen ein Programm nutzt, hängt von der libc ab. Ohne Datei:

sed 's/name: nomkdir/name: nofile/; s#no-mkdir.json#gibtsnicht.json#' nomkdir.yaml \
  | k apply -f -
k get pod nofile -w           # Strg+C, sobald der Fehlerstatus steht
k describe pod nofile | grep -m1 'Error:'
k delete pod nofile --now

Erwartet (gekürzt):

  ... Error: failed to create containerd container: cannot load seccomp profile
"/var/lib/kubelet/seccomp/profiles/gibtsnicht.json": open
/var/lib/kubelet/seccomp/profiles/gibtsnicht.json: no such file or directory

Fortschritt speichern? Kostenlos registrieren

Drill 8: RuntimeDefault für alle – seccompDefault

kube-bench meldete in Tag 3 4.2.14 (--seccomp-default). Der Schalter steht in der kubelet-Konfiguration. Auf worker2, mit Sicherung:

sudo cp -p /var/lib/kubelet/config.yaml /var/lib/kubelet/config.yaml.tag08
echo 'seccompDefault: true' | sudo tee -a /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet
systemctl is-active kubelet

Erwartet:

seccompDefault: true
active

Auf cp1:

k run sd --image=busybox:1.37 --overrides='{"spec":{"nodeName":"worker2"}}' \
  -- sleep 1d
k wait --for=condition=Ready pod/sd
k exec sd -- grep Seccomp: /proc/1/status
k get pod sd -o jsonpath='{.spec.securityContext}{"\n"}'

Erwartet:

pod/sd condition met
Seccomp:    2
{}

Ohne ein Wort im Manifest läuft RuntimeDefault. Laufende Pods behalten ihr altes Profil bis zum Neustart. Im Labor wieder zurück (auf worker2), damit spätere Tage den Ausgangszustand vorfinden:

sudo mv /var/lib/kubelet/config.yaml.tag08 /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Prüfe, ob das AppArmor-Profil cks-deny-write auf worker1 geladen ist. Zeitziel: 30 s
  2. Pod rd2 (busybox:1.37, sleep 1d) mit seccomp RuntimeDefault für den ganzen Pod. Zeitziel: 1 min
  3. Liste alle Pods im Cluster, die ein Localhost-AppArmor-Profil nutzen (Pod- oder Container-Ebene). Zeitziel: 2 min
  4. Pod nomkdir2 mit profiles/no-mkdir.json nur für den Container c. Zeitziel: 1 min

Lösung

ssh [email protected] 'sudo aa-status | grep cks-deny-write'
k run rd2 --image=busybox:1.37 $do -- sleep 1d > rd2.yaml

In rd2.yaml unter spec: ergänzen und anwenden:

  securityContext:
    seccompProfile:
      type: RuntimeDefault
k apply -f rd2.yaml
k get pods -A -o json | jq -r '.items[]
  | select([.spec.securityContext.appArmorProfile.type,
            .spec.containers[].securityContext.appArmorProfile.type]
           | index("Localhost"))
  | .metadata.namespace + "/" + .metadata.name'

Für Aufgabe 4 eine Kopie von nomkdir.yaml als nomkdir2.yaml anlegen, den Namen ändern und den Block unter den Container ziehen:

  containers:
  - name: c
    image: busybox:1.37
    command: ["sleep", "1d"]
    securityContext:
      seccompProfile:
        type: Localhost
        localhostProfile: profiles/no-mkdir.json
k apply -f nomkdir2.yaml
k exec nomkdir2 -- mkdir /tmp/a

Erwartet (gekürzt):

   cks-deny-write
pod/rd2 created
tag08/aa
...
pod/nomkdir2 created
mkdir: can't create directory '/tmp/a': Operation not permitted

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ssh [email protected] 'sudo aa-status | grep cks-'
ssh [email protected] 'sudo aa-status | grep cks-'

Erwartet: je cks-deny-etc und cks-deny-write (nach der Challenge).

ssh [email protected] 'ls /var/lib/kubelet/seccomp/profiles'
ssh [email protected] 'ls /var/lib/kubelet/seccomp/profiles'

Erwartet: je audit.json no-mkdir.json

ssh [email protected] 'sudo grep -c seccompDefault /var/lib/kubelet/config.yaml'

Erwartet: 0

k get ns tag08

Erwartet (nach dem Aufräumen): Error from server (NotFound): namespaces "tag08" not found

Im Labor bleiben: die AppArmor-Profile cks-deny-write und cks-deny-etc sowie die seccomp-Profile audit.json und no-mkdir.json auf beiden Workern. Sie stören nichts, solange kein Pod sie anfordert.

Challenge

Deployment etc (2 Replicas, busybox:1.37, sleep 1d) darf nach /tmp schreiben, aber nichts unter /etc – egal auf welchem Worker die Pods landen. Verstöße sollen im Kernel-Log stehen.

Hinweis: Ein Profil auf Pod-Ebene gilt für alle Container; denk an den zweiten Worker.

Lösung

Auf beiden Workern:

sudo tee /etc/apparmor.d/cks-deny-etc <<'EOF'
#include <tunables/global>

profile cks-deny-etc flags=(attach_disconnected) {
  #include <abstractions/base>

  file,

  audit deny /etc/** w,
}
EOF
sudo apparmor_parser -r /etc/apparmor.d/cks-deny-etc

Auf cp1:

k create deploy etc --image=busybox:1.37 --replicas=2 $do -- sleep 1d > etc.yaml

In etc.yaml unter template.spec: ergänzen:

      securityContext:
        appArmorProfile:
          type: Localhost
          localhostProfile: cks-deny-etc
k apply -f etc.yaml
k rollout status deploy/etc
k get pods -l app=etc -o wide | awk '{print $1, $3, $7}'
for p in $(k get pods -l app=etc -o name); do
  k exec $p -- sh -c 'touch /tmp/ok && echo tmp-ok; touch /etc/neu'
done

Erwartet (gekürzt):

deployment "etc" successfully rolled out
NAME STATUS NODE
etc-844bd7b7ff-kjzvs Running worker1
etc-844bd7b7ff-t5bp2 Running worker2
tmp-ok
touch: /etc/neu: Permission denied
tmp-ok
touch: /etc/neu: Permission denied

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag08

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • AppArmor: localhostProfile ist der Profilname aus aa-status, nicht der Dateipfad. seccomp: Pfad relativ zu /var/lib/kubelet/seccomp/ (profiles/x.json).
  • CreateContainerError nach dem Anlegen heißt fast immer: Profil fehlt auf dem Node oder Tippfehler. k describe pod nennt den Namen, k get pod -o wide den Node.
  • Doku: kubernetes.io → Tutorials → Security → „Restrict a Container’s Access to Resources with AppArmor“ und „Restrict a Container’s Syscalls with seccomp“.

Enterprise-Notiz

  • Profile verteilt der Security Profiles Operator (CRDs AppArmorProfile, SeccompProfile, Aufzeichnung per ProfileRecording) statt Handarbeit per ssh.
  • seccompDefault: true in der kubelet-Konfiguration aller Nodes ist ein günstiger Gewinn; vorher Workloads mit RuntimeDefault testen.
  • Eigene Allow-Profile nur für exponierte, stabile Dienste – jede neue Bibliotheksversion kann neue Syscalls brauchen.
  • RHEL-Familie nutzt SELinux statt AppArmor (seLinuxOptions); das Prinzip bleibt.