Tag 11: RBAC und Pod Security
Ziel: Du liest eine
Forbidden-Meldung bis zum letzten Wort, prüfst Rechte mitauth can-iund findest Pods, die Pod Security Admission abgelehnt hat. · Dauer: ca. 60 min · Voraussetzung: Tag 3
Briefing
- Eine RBAC-Meldung nennt alles: wer
(
User "system:serviceaccount:ns:name"), Verb, Ressource, API-Gruppe und Scope (in the namespace …oderat the cluster scope). kubectl auth can-i … --as=…prüft Rechte, ohne den Pod zu starten.- Pod Security Admission (PSA) prüft Pods. Ein Deployment wird angenommen, seine Pods aber abgelehnt – das Event steht am ReplicaSet oder DaemonSet.
- RKE2 setzt cluster-weit
enforce: privileged; Einschränkungen kommen per Namespace-Label.
| Fehlerbild | Symptom | Wo die Antwort steht |
|---|---|---|
| Binding im falschen Namespace | … in the namespace |
get rolebinding -A |
| Role statt ClusterRole | at the cluster scope |
Ressource cluster-weit? |
PSA baseline |
DaemonSet CURRENT 0 |
Event FailedCreate |
PSA restricted |
Deployment 0/1, keine Pods |
Event am ReplicaSet |
Drill 1: Die RoleBinding im falschen Namespace
Einbauen: Ein Pod, der mit kubectl Pods
auflistet. Die RoleBinding wurde aus einer Vorlage kopiert:
# auf cp1
mkdir -p ~/debug/tag11 && cd ~/debug/tag11
kubectl create namespace tag11
cat > lister.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata: {name: app, namespace: tag11}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata: {name: pod-reader, namespace: tag11}
rules:
- apiGroups: [""]
resources: [pods]
verbs: [get, list, watch]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: pod-reader, namespace: default}
subjects:
- {kind: ServiceAccount, name: app, namespace: tag11}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: Role, name: pod-reader}
---
apiVersion: apps/v1
kind: Deployment
metadata: {name: pod-lister, namespace: tag11}
spec:
replicas: 1
selector: {matchLabels: {app: pod-lister}}
template:
metadata: {labels: {app: pod-lister}}
spec:
serviceAccountName: app
containers:
- name: kubectl
image: registry.k8s.io/kubectl:v1.37.2
args: [get, pods, -n, tag11, --watch]
EOF
kubectl apply -f lister.yamlSymptom (nach etwa 20 Sekunden):
# auf cp1
kubectl -n tag11 get pods
kubectl -n tag11 logs deploy/pod-lister --tail=1Erwartet (Zeile umbrochen):
NAME READY STATUS RESTARTS AGE
pod-lister-754f7856b7-qt7wh 1/1 Running 2 (12s ago) 20s
Error from server (Forbidden): pods is forbidden: User
"system:serviceaccount:tag11:app" cannot list resource "pods" in API group "" in
the namespace "tag11"
Untersuchen: Die Meldung lesen: Wer? Der
ServiceAccount app aus tag11. Was?
list pods, Kerngruppe "". Wo?
tag11. Jetzt die Rechte genau dafür prüfen und die Bindings
suchen, die den Account nennen:
# auf cp1
kubectl auth can-i list pods -n tag11 --as=system:serviceaccount:tag11:app
kubectl auth can-i list pods -n default --as=system:serviceaccount:tag11:app
kubectl get rolebinding -A -o custom-columns=NS:.metadata.namespace,\
NAME:.metadata.name,ROLE:.roleRef.name,SA:.subjects[*].name | grep -E '^NS|app' \
| tr -s ' 'Erwartet:
no
no - RBAC: role.rbac.authorization.k8s.io "pod-reader" not found
NS NAME ROLE SA
default pod-reader pod-reader app
Ursache: Die RoleBinding liegt in
default und verweist dort auf eine Role
pod-reader, die es nur in tag11 gibt. Eine
RoleBinding gilt nur in ihrem eigenen Namespace und bindet eine Role aus
diesem Namespace oder eine ClusterRole. Die zweite
can-i-Zeile verrät das sogar.
Fix:
# auf cp1
kubectl -n default delete rolebinding pod-reader
kubectl -n tag11 create rolebinding pod-reader --role=pod-reader \
--serviceaccount=tag11:app
kubectl -n tag11 rollout restart deploy/pod-lister
kubectl -n tag11 rollout status deploy/pod-listerNachweis:
# auf cp1
kubectl auth can-i list pods -n tag11 --as=system:serviceaccount:tag11:app
kubectl -n tag11 logs deploy/pod-lister | head -2Erwartet:
yes
NAME READY STATUS RESTARTS AGE
pod-lister-66f9bd75c5-vhcqz 1/1 Running 0 2s
Warum der Neustart? Der Container war bei jedem Versuch mit Exit 1 beendet und stand im Backoff (Tag 5). Rechte wirken sofort, der Backoff nicht.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Role statt ClusterRole
Einbauen: Derselbe ServiceAccount soll Knoten lesen:
# auf cp1
cat > nodes.yaml <<'EOF'
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata: {name: node-reader, namespace: tag11}
rules:
- apiGroups: [""]
resources: [nodes]
verbs: [get, list, watch]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: node-reader, namespace: tag11}
subjects:
- {kind: ServiceAccount, name: app, namespace: tag11}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: Role, name: node-reader}
EOF
kubectl apply -f nodes.yamlSymptom:
# auf cp1
kubectl get nodes --as=system:serviceaccount:tag11:appErwartet (Zeile umbrochen):
Error from server (Forbidden): nodes is forbidden: User
"system:serviceaccount:tag11:app" cannot list resource "nodes" in API group "" at
the cluster scope
Untersuchen:
# auf cp1
kubectl auth can-i list nodes --as=system:serviceaccount:tag11:app
kubectl auth can-i list nodes -n tag11 --as=system:serviceaccount:tag11:app
kubectl api-resources | grep -E '^NAME|^nodes ' | tr -s ' 'Erwartet:
Warning: resource 'nodes' is not namespace scoped
no
Warning: resource 'nodes' is not namespace scoped
yes
NAME SHORTNAMES APIVERSION NAMESPACED KIND
nodes no v1 false Node
nodes metrics.k8s.io/v1beta1 false NodeMetrics
Ursache: at the cluster scope – Knoten
gehören zu keinem Namespace (NAMESPACED false). Eine Role
kann sie zwar nennen, gilt aber nur innerhalb von tag11,
und dort gibt es keine Knoten. Das yes mit
-n tag11 ist eine Falle: can-i prüft die Regel
formal und warnt nur.
Fix:
# auf cp1
kubectl delete -f nodes.yaml
kubectl create clusterrole tag11-node-reader --verb=get,list,watch --resource=nodes
kubectl create clusterrolebinding tag11-node-reader \
--clusterrole=tag11-node-reader --serviceaccount=tag11:appNachweis:
# auf cp1
kubectl get nodes --as=system:serviceaccount:tag11:appErwartet:
NAME STATUS ROLES AGE VERSION
cp1 Ready control-plane,etcd 148m v1.37.2+rke2r1
worker1 Ready <none> 145m v1.37.2+rke2r1
worker2 Ready <none> 144m v1.37.2+rke2r1
Fortschritt speichern? Kostenlos registrieren
Drill 3: Alle Rechte auf einen Blick
# auf cp1
kubectl auth can-i --list -n tag11 --as=system:serviceaccount:tag11:app | head -6 \
| cut -c1-88
kubectl auth whoami | cut -c1-88Erwartet (gekürzt):
Resources Non-Resource URLs R
selfsubjectreviews.authentication.k8s.io [] [
selfsubjectaccessreviews.authorization.k8s.io [] [
selfsubjectrulesreviews.authorization.k8s.io [] [
nodes [] [
pods [] [
ATTRIBUTE VALUE
Username system:admin
Groups [system:masters system:authenticated
Extra: authentication.kubernetes.io/credential-id [X509SHA256=7d22b684b588198df48b975e
Warum? --list zeigt die Summe aller Bindings für den
Namespace – auch die über ClusterRoleBindings. auth whoami
beantwortet die Frage, als wer du gerade unterwegs
bist: Die RKE2-Kubeconfig ist system:admin in
system:masters, und diese Gruppe umgeht RBAC komplett.
Deshalb fallen RBAC-Fehler beim Testen als Admin nie auf.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Pod Security baseline und der hostPath
Einbauen: Ein Log-Sammler als DaemonSet in einem
Namespace mit baseline:
# auf cp1
kubectl create namespace tag11-logs
kubectl label namespace tag11-logs pod-security.kubernetes.io/enforce=baseline
cat > sammler.yaml <<'EOF'
apiVersion: apps/v1
kind: DaemonSet
metadata: {name: log-sammler, namespace: tag11-logs}
spec:
selector: {matchLabels: {app: log-sammler}}
template:
metadata: {labels: {app: log-sammler}}
spec:
containers:
- name: sammler
image: busybox:1.37
command: [sh, -c, 'tail -F /host-logs/syslog']
volumeMounts: [{name: logs, mountPath: /host-logs, readOnly: true}]
volumes:
- name: logs
hostPath: {path: /var/log}
EOF
kubectl apply -f sammler.yamlErwartet:
Warning: would violate PodSecurity "baseline:latest": hostPath volumes (volume "logs")
daemonset.apps/log-sammler created
Die Warnung kommt schon beim apply – das DaemonSet
selbst wird trotzdem angelegt.
Symptom:
# auf cp1
kubectl -n tag11-logs get ds log-sammler | cut -c1-72
kubectl -n tag11-logs get podsErwartet:
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR
log-sammler 3 0 0 0 0 <none>
No resources found in tag11-logs namespace.
Untersuchen:
# auf cp1
kubectl -n tag11-logs events --types=Warning | tail -1
kubectl get ns tag11-logs -L pod-security.kubernetes.io/enforceErwartet (Zeile umbrochen):
1s (x2 over 3s) Warning FailedCreate DaemonSet/log-sammler (combined from
similar events): Error creating: pods "log-sammler-vcmsj" is forbidden: violates
PodSecurity "baseline:latest": hostPath volumes (volume "logs")
NAME STATUS AGE ENFORCE
tag11-logs Active 7s baseline
Ursache: baseline verbietet
hostPath. Ein Log-Sammler braucht aber genau das. Das ist
kein Fehler im Pod, sondern eine Entscheidung über den Namespace:
Systemnahe Dienste bekommen einen eigenen Namespace mit
privileged.
Fix:
# auf cp1
kubectl label --overwrite namespace tag11-logs \
pod-security.kubernetes.io/enforce=privilegedNachweis:
# auf cp1
kubectl -n tag11-logs rollout status ds/log-sammler
kubectl -n tag11-logs get ds log-sammler | cut -c1-72Erwartet:
daemon set "log-sammler" successfully rolled out
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR
log-sammler 3 3 3 3 3 <none>
Der DaemonSet-Controller versucht es mit Backoff weiter; je nach Zahl der Fehlversuche dauert das bis zu einer Minute. Ein Neustart ist nicht nötig.
Talos: Dort ist
baselinecluster-weit Standard – derselbe Log-Sammler scheitert ohne jedes Label (Tag 19).
Fortschritt speichern? Kostenlos registrieren
Drill 5: restricted – angenommen und doch abgelehnt
Einbauen:
# auf cp1
kubectl create namespace tag11-streng
kubectl label namespace tag11-streng pod-security.kubernetes.io/enforce=restricted
kubectl -n tag11-streng create deployment web --image=nginxinc/nginx-unprivileged:1.29Erwartet (gekürzt):
namespace/tag11-streng created
namespace/tag11-streng labeled
Warning: would violate PodSecurity "restricted:latest": allowPrivilegeEscalation !=
false (container "nginx-unprivileged" must set ...
deployment.apps/web created
Symptom:
# auf cp1
kubectl -n tag11-streng get deploy web
kubectl -n tag11-streng get podsErwartet:
NAME READY UP-TO-DATE AVAILABLE AGE
web 0/1 0 0 4s
No resources found in tag11-streng namespace.
Untersuchen: Wie in Tag 3 – kein Pod, also eine Ebene höher:
# auf cp1
kubectl -n tag11-streng events --types=Warning | tail -1 | fold -w 86Erwartet:
10s (x4 over 28s) Warning FailedCreate ReplicaSet/web-86c6bddd97 (combined fro
m similar events): Error creating: pods "web-86c6bddd97-hmhpn" is forbidden: violates
PodSecurity "restricted:latest": allowPrivilegeEscalation != false (container "nginx-u
nprivileged" must set securityContext.allowPrivilegeEscalation=false), unrestricted ca
pabilities (container "nginx-unprivileged" must set securityContext.capabilities.drop=
["ALL"]), runAsNonRoot != true (pod or container "nginx-unprivileged" must set securit
yContext.runAsNonRoot=true), seccompProfile (pod or container "nginx-unprivileged" mus
t set securityContext.seccompProfile.type to "RuntimeDefault" or "Localhost")
Ursache: restricted verlangt vier
Dinge, die kaum ein Manifest von selbst mitbringt:
allowPrivilegeEscalation: false,
capabilities.drop: [ALL], runAsNonRoot: true
und ein seccompProfile. Die Meldung zählt jeden Punkt
einzeln auf.
Fix:
# auf cp1
kubectl -n tag11-streng patch deploy web -p '
spec:
template:
spec:
securityContext:
runAsNonRoot: true
seccompProfile: {type: RuntimeDefault}
containers:
- name: nginx-unprivileged
securityContext:
allowPrivilegeEscalation: false
capabilities: {drop: [ALL]}'
kubectl -n tag11-streng rollout status deploy/webNachweis:
# auf cp1
kubectl -n tag11-streng get podsErwartet:
NAME READY STATUS RESTARTS AGE
web-6c88d4d554-xrcqn 1/1 Running 0 2s
Warum klappt runAsNonRoot hier?
nginx-unprivileged setzt im Image den numerischen Benutzer
101. Mit busybox (root) bräuchte es zusätzlich
runAsUser.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Erst warnen, dann durchsetzen
Bevor du einen Namespace verschärfst, fragst du den API-Server, was dann passieren würde – ohne etwas zu ändern:
# auf cp1
kubectl label --dry-run=server --overwrite namespace tag11-logs \
pod-security.kubernetes.io/enforce=baseline
kubectl label --dry-run=server --overwrite namespace tag11 \
pod-security.kubernetes.io/enforce=restrictedErwartet (Zeile umbrochen):
Warning: existing pods in namespace "tag11-logs" violate the new PodSecurity enforce
level "baseline:latest"
Warning: log-sammler-hpp5x (and 2 other pods): hostPath volumes
namespace/tag11-logs labeled (server dry run)
Warning: existing pods in namespace "tag11" violate the new PodSecurity enforce level
"restricted:latest"
Warning: pod-lister-66f9bd75c5-vhcqz: allowPrivilegeEscalation != false, unrestricted
capabilities, runAsNonRoot != true, seccompProfile
namespace/tag11 labeled (server dry run)
Für neue Pods gibt es die Modi warn und
audit neben enforce:
# auf cp1
kubectl label namespace tag11 pod-security.kubernetes.io/warn=restricted \
pod-security.kubernetes.io/audit=restricted
kubectl -n tag11 run probe --image=busybox:1.37 -- sleep 3600 2>&1 | cut -c1-88
kubectl -n tag11 delete pod probe --wait=falseErwartet:
namespace/tag11 labeled
Warning: would violate PodSecurity "restricted:latest": allowPrivilegeEscalation != fal
pod/probe created
pod "probe" deleted from tag11 namespace
Warum? warn meldet dem Aufrufer, audit
schreibt eine Annotation ins Audit-Log des API-Servers – im Labor ist
das Audit-Log von RKE2 aus, dort siehst du davon nichts. Beides lässt
den Pod durch. Ein Namespace läuft so ein paar Wochen mit
warn, bevor enforce folgt.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Darf der ServiceAccount
tag11:appPods intag11löschen? Zeitziel: 15 s - Zeig für alle Namespaces das PSA-
enforce-Label. Zeitziel: 15 s - Zeig, wie viele Pods im DaemonSet
log-sammlerlaufen sollen und laufen. Zeitziel: 15 s
Lösung
# auf cp1
kubectl auth can-i delete pods -n tag11 --as=system:serviceaccount:tag11:app
kubectl get ns -L pod-security.kubernetes.io/enforce
kubectl -n tag11-logs get ds log-sammler \
-o jsonpath='{.status.desiredNumberScheduled} {.status.numberReady}{"\n"}'Erwartet (gekürzt):
no
NAME STATUS AGE ENFORCE
default Active 150m
...
tag11 Active 6m48s
tag11-logs Active 112s privileged
tag11-streng Active 87s restricted
3 3
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf cp1
kubectl get nodes --as=system:serviceaccount:tag11:app -o nameErwartet:
node/cp1
node/worker1
node/worker2
# auf cp1
kubectl get pods -n tag11-logs -o name | wc -l
kubectl -n tag11-streng get deploy webErwartet:
3
NAME READY UP-TO-DATE AVAILABLE AGE
web 1/1 1 1 2m
Challenge
Ein Job soll die ConfigMaps in tag11 auflisten. Role und
Binding sind da, der Job scheitert trotzdem. Finde den Fehler ohne in
die Logs zu schauen und repariere die Datei so, dass ein erneutes
apply ihn nicht zurückbringt.
# auf cp1
cat > cm-job.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata: {name: cm-reader, namespace: tag11}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata: {name: cm-reader, namespace: tag11}
rules:
- apiGroups: [apps]
resources: [configmaps]
verbs: [get, list]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: cm-reader, namespace: tag11}
subjects:
- {kind: ServiceAccount, name: cm-reader, namespace: tag11}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: Role, name: cm-reader}
---
apiVersion: batch/v1
kind: Job
metadata: {name: cm-reader, namespace: tag11}
spec:
backoffLimit: 1
template:
spec:
serviceAccountName: cm-reader
restartPolicy: Never
containers:
- name: kubectl
image: registry.k8s.io/kubectl:v1.37.2
args: [get, configmaps, -n, tag11]
EOF
kubectl apply -f cm-job.yaml 2>&1 | grep -v WarningHinweis: In welcher API-Gruppe liegen ConfigMaps?
Lösung
Nach etwa 30 Sekunden:
# auf cp1
kubectl -n tag11 get job cm-reader
kubectl auth can-i list configmaps -n tag11 --as=system:serviceaccount:tag11:cm-reader
kubectl -n tag11 get role cm-reader -o jsonpath='{.rules}{"\n"}'
kubectl api-resources --api-group='' | grep -w configmapsErwartet:
NAME STATUS COMPLETIONS DURATION AGE
cm-reader Failed 0/1 30s 30s
no
[{"apiGroups":["apps"],"resources":["configmaps"],"verbs":["get","list"]}]
configmaps cm v1 true ConfigMap
ConfigMaps liegen in der Kerngruppe "" (APIVERSION
v1 ohne Gruppe), nicht in apps. RBAC prüft
Gruppe und Ressource zusammen; die Regel passt auf nichts. Den Fix in
die Datei, sonst stellt das nächste apply den Fehler wieder
her:
# auf cp1
sed -i 's/apiGroups: \[apps\]/apiGroups: [""]/' cm-job.yaml
kubectl -n tag11 delete job cm-reader
kubectl apply -f cm-job.yaml 2>&1 | grep -v Warning
kubectl -n tag11 wait job/cm-reader --for=condition=Complete
kubectl -n tag11 logs job/cm-readerErwartet:
job.batch "cm-reader" deleted from tag11 namespace
serviceaccount/cm-reader unchanged
role.rbac.authorization.k8s.io/cm-reader configured
rolebinding.rbac.authorization.k8s.io/cm-reader unchanged
job.batch/cm-reader created
job.batch/cm-reader condition met
NAME DATA AGE
kube-root-ca.crt 1 6m37s
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf cp1
kubectl delete namespace tag11 tag11-logs tag11-streng
kubectl delete clusterrole,clusterrolebinding tag11-node-reader
kubectl get ns -L pod-security.kubernetes.io/enforce | grep tag11Erwartet:
namespace "tag11" deleted
namespace "tag11-logs" deleted
namespace "tag11-streng" deleted
clusterrole.rbac.authorization.k8s.io "tag11-node-reader" deleted
clusterrolebinding.rbac.authorization.k8s.io "tag11-node-reader" deleted
Interview-Notiz
- Wie liest du eine Forbidden-Meldung? User, Verb, Ressource, API-Gruppe, Scope – jedes Teil zeigt auf eine Stelle in Role, Binding oder Namespace.
- Role oder ClusterRole? Cluster-weite Ressourcen (Nodes, PVs, Namespaces) und Zugriff über alle Namespaces brauchen ClusterRole plus ClusterRoleBinding.
- Deployment da, aber keine Pods? Admission (PSA, Quota, Webhook) – Event am ReplicaSet bzw. DaemonSet.
Enterprise-Notiz
- Niemand arbeitet im Alltag als
system:masters; persönliche Zugänge über OIDC mit Gruppen, damit RBAC-Fehler auffallen, bevor die Anwendung sie findet. - PSA-Labels per GitOps oder Policy-Engine setzen; neue Namespaces
bekommen mindestens
baselineundwarn=restricted. - Eine Audit-Policy mit mindestens
level: Metadatahinterlegen (RKE2:audit-policy-file; auch mitprofile: cisprotokolliert die mitgelieferte Policy nichts), sonst istauditwirkungslos. - Feinere Regeln als PSA (Image-Herkunft, Labels, Ressourcen) übernimmt eine Policy-Engine – Fehlerbilder dazu in Tag 12.