Tag 8: AppArmor und seccomp
Ziel: Du lädst AppArmor- und seccomp-Profile auf den Workern, bindest sie per
securityContextan Pods und weist ihre Wirkung im Container und im Kernel-Log nach. · Dauer: ca. 75 min · Voraussetzung: Tag 7
Briefing
- CKS: System Hardening – „Appropriately use kernel hardening tools such as AppArmor, seccomp“.
- AppArmor beschränkt Dateien, Netz, Capabilities per
Profil (Name im Kernel), seccomp beschränkt Syscalls
(Systemaufrufe) per JSON-Datei unter
/var/lib/kubelet/seccomp/. - Beide müssen auf jedem Node liegen, auf dem der Pod landen kann – Kubernetes verteilt keine Profile.
- Feld in beiden Fällen:
securityContext.<appArmorProfile|seccompProfile>mittype:RuntimeDefault,Localhost(pluslocalhostProfile) oderUnconfined.
AppArmor: /etc/apparmor.d/<datei> --apparmor_parser--> Kernel
Pod: localhostProfile: <profilname>
seccomp: /var/lib/kubelet/seccomp/profiles/x.json (liest containerd)
Pod: localhostProfile: profiles/x.json
Vorbereitung auf cp1:
mkdir -p ~/cks/tag08 && cd ~/cks/tag08
k create ns tag08
k config set-context --current --namespace=tag08Drill 1: Was ein Pod ohne Angaben bekommt
k run plain --image=busybox:1.37 -- sleep 1d
k wait --for=condition=Ready pod/plain
k exec plain -- cat /proc/1/attr/current; echo
k exec plain -- grep Seccomp: /proc/1/status
k exec plain -- unshare -U idErwartet:
cri-containerd.apparmor.d (enforce)
Seccomp: 0
uid=65534(nobody) gid=65534(nobody) groups=65534(nobody),65534(nobody)
AppArmor ist schon aktiv: containerd legt sein Standardprofil an.
seccomp dagegen ist aus (0) – der kubelet-Default ist
Unconfined. Darum gelingt unshare -U (neuer
User Namespace, ein beliebter Ausbruchshelfer). Mit dem
Laufzeit-Profil:
k run rd --image=busybox:1.37 --overrides='{"spec":{"securityContext":
{"seccompProfile":{"type":"RuntimeDefault"}}}}' -- sleep 1d
k wait --for=condition=Ready pod/rd
k exec rd -- grep Seccomp: /proc/1/status
k exec rd -- unshare -U idErwartet:
Seccomp: 2
unshare: unshare(0x10000000): Operation not permitted
command terminated with exit code 1
2 heißt Filter-Modus. RuntimeDefault sperrt
rund 50 selten gebrauchte, gefährliche Syscalls und bricht praktisch
keine Anwendung – Tag 9 macht es zur Pflicht.
Fortschritt speichern? Kostenlos registrieren
Drill 2: AppArmor-Profil laden
Auf worker1 (ssh [email protected]):
sudo tee /etc/apparmor.d/cks-deny-write <<'EOF'
#include <tunables/global>
profile cks-deny-write flags=(attach_disconnected) {
#include <abstractions/base>
file,
deny /** w,
}
EOF
sudo apparmor_parser -r /etc/apparmor.d/cks-deny-write
sudo aa-status | grep -E 'profiles are in enforce|cks'Erwartet:
25 profiles are in enforce mode.
cks-deny-write
Dasselbe auf worker2
(ssh [email protected]). Wichtig ist der Name hinter
profile, nicht der Dateiname. -r ersetzt ein
geladenes Profil (beim ersten Mal reicht auch -a),
-C lädt es im complain-Modus (nur protokollieren). Was in
/etc/apparmor.d/ liegt, lädt der Node beim Booten
wieder.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Profil im Pod nutzen
cat > aa.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: aa
spec:
containers:
- name: c
image: busybox:1.37
command: ["sleep", "1d"]
securityContext:
appArmorProfile:
type: Localhost
localhostProfile: cks-deny-write
EOF
k apply -f aa.yaml
k wait --for=condition=Ready pod/aa
k get pod aa -o wide | awk '{print $1, $3, $7}'
k exec aa -- cat /proc/1/attr/current; echo
k exec aa -- touch /tmp/x
k exec aa -- sh -c 'echo hi > /dev/null'Erwartet:
pod/aa created
pod/aa condition met
NAME STATUS NODE
aa Running worker2
cks-deny-write (enforce)
touch: /tmp/x: Permission denied
command terminated with exit code 1
sh: can't create /dev/null: Permission denied
command terminated with exit code 1
Selbst /dev/null ist gesperrt – /** meint
wirklich alles. Auf dem Node des Pods (hier worker2) zeigt
sudo aa-status | grep cks jetzt zusätzlich
/usr/bin/sleep (22270) cks-deny-write.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Verstöße im Kernel-Log
Auf dem Node des Pods:
sudo journalctl -k --since -5min | grep 'apparmor="DENIED"'Erwartet: keine Ausgabe.
Ausdrückliche deny-Regeln sind still. Für Spurensuche
gehört audit davor; -r tauscht das Profil im
Kernel, auch für den schon laufenden Container. Auf
beiden Workern:
sudo sed -i 's|^ deny /\*\* w,| audit deny /** w,|' /etc/apparmor.d/cks-deny-write
sudo apparmor_parser -r /etc/apparmor.d/cks-deny-writeAuf cp1 k exec aa -- touch /tmp/y, dann
wieder auf dem Node des Pods:
sudo journalctl -k --since -2min | grep 'apparmor="DENIED"'Erwartet (gekürzt):
... worker2 kernel: audit: type=1400 audit(1795026631.899:204): apparmor="DENIED"
operation="mknod" class="file" profile="cks-deny-write" name="/tmp/y" pid=22715
comm="touch" requested_mask="c" denied_mask="c" fsuid=0 ouid=0
Fortschritt speichern? Kostenlos registrieren
Drill 5: Profil fehlt – und die alte Annotation
sed 's/name: aa/name: aa-miss/; s/cks-deny-write/cks-gibtsnicht/' aa.yaml \
| k apply -f -
k get pod aa-miss -w # Strg+C, sobald der Fehlerstatus steht
k describe pod aa-miss | grep -m1 'Error:'
k delete pod aa-miss --nowErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE
aa-miss 0/1 CreateContainerError 0 15s
... Error: failed to get container spec opts: failed to generate apparmor spec opts:
apparmor profile not found cks-gibtsnicht
Der Pod wird angenommen und eingeplant, erst containerd scheitert. In
der Prüfung heißt das: Profil auf genau dem Node laden, auf dem der Pod
läuft – oder den Pod per nodeName/nodeSelector
dorthin schicken. Ältere Aufgaben nutzen noch die Annotation:
A=container.apparmor.security.beta.kubernetes.io/anno
k run anno --image=busybox:1.37 --annotations=$A=localhost/cks-deny-write -- sleep 1d
k get pod anno -o jsonpath='{.spec.containers[0].securityContext}{"\n"}'
k delete pod anno --nowErwartet (gekürzt):
Warning: metadata.annotations[container.apparmor.security.beta.kubernetes.io/anno]:
deprecated since v1.30; use the "appArmorProfile" field instead
pod/anno created
{"appArmorProfile":{"localhostProfile":"cks-deny-write","type":"Localhost"}}
Der API-Server übersetzt die Annotation
(localhost/<name>, runtime/default,
unconfined) ins Feld. Neue Manifeste nutzen nur das
Feld.
Fortschritt speichern? Kostenlos registrieren
Drill 6: seccomp-Profil zum Mitschreiben
Profile liegen relativ zu /var/lib/kubelet/seccomp/.
SCMP_ACT_LOG erlaubt alles und protokolliert jeden Syscall.
Auf beiden Workern:
sudo mkdir -p /var/lib/kubelet/seccomp/profiles
echo '{"defaultAction": "SCMP_ACT_LOG"}' \
| sudo tee /var/lib/kubelet/seccomp/profiles/audit.jsonAuf cp1 – nodeName legt den Node fest,
damit du weißt, wo das Log steht:
cat > audit.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: audit
spec:
nodeName: worker1
securityContext:
seccompProfile:
type: Localhost
localhostProfile: profiles/audit.json
containers:
- name: c
image: busybox:1.37
command: ["sleep", "1d"]
EOF
k apply -f audit.yaml
k wait --for=condition=Ready pod/audit
k exec audit -- grep Seccomp: /proc/1/statusErwartet: Seccomp: 2
Ohne auditd landen die Einträge über printk im
Kernel-Log – gedrosselt auf 10 Meldungen pro 5 s. Für den Versuch auf
worker1 kurz abschalten:
sudo sysctl -w kernel.printk_ratelimit=0Auf cp1 k exec audit -- uname -r, dann auf
worker1:
sudo journalctl -k --since -1min | grep type=1326 | grep -o 'comm="[^"]*"' \
| sort | uniq -c
sudo journalctl -k --since -1min | grep type=1326 | grep 'comm="uname"' \
| grep -o 'syscall=[0-9]*' | sort -u | tr '\n' ' '; echo
sudo sysctl -w kernel.printk_ratelimit=5Erwartet (gekürzt):
532 comm="runc:[2:INIT]"
67 comm="uname"
syscall=0 syscall=1 syscall=10 syscall=102 syscall=12 syscall=158 ... syscall=63 ...
kernel.printk_ratelimit = 5
Das ist die Rohliste für ein eigenes Profil: Syscall 63 ist
uname (x86_64; auf arm64 ist es 160). Werkzeuge wie der
Security Profiles Operator bauen daraus automatisch ein
Allow-Profil.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Einen Syscall blocken
Alles erlauben außer Verzeichnisse anlegen. Auf beiden Workern:
sudo tee /var/lib/kubelet/seccomp/profiles/no-mkdir.json <<'EOF'
{
"defaultAction": "SCMP_ACT_ALLOW",
"syscalls": [
{
"names": ["mkdir", "mkdirat"],
"action": "SCMP_ACT_ERRNO"
}
]
}
EOFAuf cp1:
k delete pod audit --now
sed 's/name: audit/name: nomkdir/; /nodeName/d; s#audit.json#no-mkdir.json#' \
audit.yaml > nomkdir.yaml
k apply -f nomkdir.yaml
k wait --for=condition=Ready pod/nomkdir
k exec nomkdir -- mkdir /tmp/neu
k exec nomkdir -- touch /tmp/datei
k exec nomkdir -- ls /tmpErwartet:
mkdir: can't create directory '/tmp/neu': Operation not permitted
command terminated with exit code 1
datei
touch geht (anderer Syscall), mkdir nicht.
Beide Varianten (mkdir, mkdirat) gehören in
die Liste – welchen ein Programm nutzt, hängt von der libc ab. Ohne
Datei:
sed 's/name: nomkdir/name: nofile/; s#no-mkdir.json#gibtsnicht.json#' nomkdir.yaml \
| k apply -f -
k get pod nofile -w # Strg+C, sobald der Fehlerstatus steht
k describe pod nofile | grep -m1 'Error:'
k delete pod nofile --nowErwartet (gekürzt):
... Error: failed to create containerd container: cannot load seccomp profile
"/var/lib/kubelet/seccomp/profiles/gibtsnicht.json": open
/var/lib/kubelet/seccomp/profiles/gibtsnicht.json: no such file or directory
Fortschritt speichern? Kostenlos registrieren
Drill 8: RuntimeDefault für alle – seccompDefault
kube-bench meldete in Tag 3 4.2.14
(--seccomp-default). Der Schalter steht in der
kubelet-Konfiguration. Auf worker2, mit Sicherung:
sudo cp -p /var/lib/kubelet/config.yaml /var/lib/kubelet/config.yaml.tag08
echo 'seccompDefault: true' | sudo tee -a /var/lib/kubelet/config.yaml
sudo systemctl restart kubelet
systemctl is-active kubeletErwartet:
seccompDefault: true
active
Auf cp1:
k run sd --image=busybox:1.37 --overrides='{"spec":{"nodeName":"worker2"}}' \
-- sleep 1d
k wait --for=condition=Ready pod/sd
k exec sd -- grep Seccomp: /proc/1/status
k get pod sd -o jsonpath='{.spec.securityContext}{"\n"}'Erwartet:
pod/sd condition met
Seccomp: 2
{}
Ohne ein Wort im Manifest läuft RuntimeDefault. Laufende
Pods behalten ihr altes Profil bis zum Neustart. Im Labor wieder zurück
(auf worker2), damit spätere Tage den Ausgangszustand
vorfinden:
sudo mv /var/lib/kubelet/config.yaml.tag08 /var/lib/kubelet/config.yaml
sudo systemctl restart kubeletFortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Prüfe, ob das AppArmor-Profil
cks-deny-writeaufworker1geladen ist. Zeitziel: 30 s - Pod
rd2(busybox:1.37,sleep 1d) mit seccompRuntimeDefaultfür den ganzen Pod. Zeitziel: 1 min - Liste alle Pods im Cluster, die ein
Localhost-AppArmor-Profil nutzen (Pod- oder Container-Ebene). Zeitziel: 2 min - Pod
nomkdir2mitprofiles/no-mkdir.jsonnur für den Containerc. Zeitziel: 1 min
Lösung
ssh [email protected] 'sudo aa-status | grep cks-deny-write'
k run rd2 --image=busybox:1.37 $do -- sleep 1d > rd2.yamlIn rd2.yaml unter spec: ergänzen und
anwenden:
securityContext:
seccompProfile:
type: RuntimeDefaultk apply -f rd2.yaml
k get pods -A -o json | jq -r '.items[]
| select([.spec.securityContext.appArmorProfile.type,
.spec.containers[].securityContext.appArmorProfile.type]
| index("Localhost"))
| .metadata.namespace + "/" + .metadata.name'Für Aufgabe 4 eine Kopie von nomkdir.yaml als
nomkdir2.yaml anlegen, den Namen ändern und den Block unter
den Container ziehen:
containers:
- name: c
image: busybox:1.37
command: ["sleep", "1d"]
securityContext:
seccompProfile:
type: Localhost
localhostProfile: profiles/no-mkdir.jsonk apply -f nomkdir2.yaml
k exec nomkdir2 -- mkdir /tmp/aErwartet (gekürzt):
cks-deny-write
pod/rd2 created
tag08/aa
...
pod/nomkdir2 created
mkdir: can't create directory '/tmp/a': Operation not permitted
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ssh [email protected] 'sudo aa-status | grep cks-'
ssh [email protected] 'sudo aa-status | grep cks-'Erwartet: je cks-deny-etc und
cks-deny-write (nach der Challenge).
ssh [email protected] 'ls /var/lib/kubelet/seccomp/profiles'
ssh [email protected] 'ls /var/lib/kubelet/seccomp/profiles'Erwartet: je
audit.json no-mkdir.json
ssh [email protected] 'sudo grep -c seccompDefault /var/lib/kubelet/config.yaml'Erwartet: 0
k get ns tag08Erwartet (nach dem Aufräumen):
Error from server (NotFound): namespaces "tag08" not found
Im Labor bleiben: die AppArmor-Profile
cks-deny-write und cks-deny-etc sowie die
seccomp-Profile audit.json und no-mkdir.json
auf beiden Workern. Sie stören nichts, solange kein Pod sie
anfordert.
Challenge
Deployment etc (2 Replicas, busybox:1.37,
sleep 1d) darf nach /tmp schreiben, aber
nichts unter /etc – egal auf welchem Worker die Pods
landen. Verstöße sollen im Kernel-Log stehen.
Hinweis: Ein Profil auf Pod-Ebene gilt für alle Container; denk an den zweiten Worker.
Lösung
Auf beiden Workern:
sudo tee /etc/apparmor.d/cks-deny-etc <<'EOF'
#include <tunables/global>
profile cks-deny-etc flags=(attach_disconnected) {
#include <abstractions/base>
file,
audit deny /etc/** w,
}
EOF
sudo apparmor_parser -r /etc/apparmor.d/cks-deny-etcAuf cp1:
k create deploy etc --image=busybox:1.37 --replicas=2 $do -- sleep 1d > etc.yamlIn etc.yaml unter template.spec:
ergänzen:
securityContext:
appArmorProfile:
type: Localhost
localhostProfile: cks-deny-etck apply -f etc.yaml
k rollout status deploy/etc
k get pods -l app=etc -o wide | awk '{print $1, $3, $7}'
for p in $(k get pods -l app=etc -o name); do
k exec $p -- sh -c 'touch /tmp/ok && echo tmp-ok; touch /etc/neu'
doneErwartet (gekürzt):
deployment "etc" successfully rolled out
NAME STATUS NODE
etc-844bd7b7ff-kjzvs Running worker1
etc-844bd7b7ff-t5bp2 Running worker2
tmp-ok
touch: /etc/neu: Permission denied
tmp-ok
touch: /etc/neu: Permission denied
Aufräumen:
k config set-context --current --namespace=default
k delete ns tag08Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
- AppArmor:
localhostProfileist der Profilname ausaa-status, nicht der Dateipfad. seccomp: Pfad relativ zu/var/lib/kubelet/seccomp/(profiles/x.json). CreateContainerErrornach dem Anlegen heißt fast immer: Profil fehlt auf dem Node oder Tippfehler.k describe podnennt den Namen,k get pod -o wideden Node.- Doku: kubernetes.io → Tutorials → Security → „Restrict a Container’s Access to Resources with AppArmor“ und „Restrict a Container’s Syscalls with seccomp“.
Enterprise-Notiz
- Profile verteilt der Security Profiles Operator (CRDs
AppArmorProfile,SeccompProfile, Aufzeichnung perProfileRecording) statt Handarbeit per ssh. seccompDefault: truein der kubelet-Konfiguration aller Nodes ist ein günstiger Gewinn; vorher Workloads mitRuntimeDefaulttesten.- Eigene Allow-Profile nur für exponierte, stabile Dienste – jede neue Bibliotheksversion kann neue Syscalls brauchen.
- RHEL-Familie nutzt SELinux statt AppArmor
(
seLinuxOptions); das Prinzip bleibt.