Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 11: RBAC und Pod Security

Ziel: Du liest eine Forbidden-Meldung bis zum letzten Wort, prüfst Rechte mit auth can-i und findest Pods, die Pod Security Admission abgelehnt hat. · Dauer: ca. 60 min · Voraussetzung: Tag 3

Briefing

  • Eine RBAC-Meldung nennt alles: wer (User "system:serviceaccount:ns:name"), Verb, Ressource, API-Gruppe und Scope (in the namespace … oder at the cluster scope).
  • kubectl auth can-i … --as=… prüft Rechte, ohne den Pod zu starten.
  • Pod Security Admission (PSA) prüft Pods. Ein Deployment wird angenommen, seine Pods aber abgelehnt – das Event steht am ReplicaSet oder DaemonSet.
  • RKE2 setzt cluster-weit enforce: privileged; Einschränkungen kommen per Namespace-Label.
Fehlerbild Symptom Wo die Antwort steht
Binding im falschen Namespace … in the namespace get rolebinding -A
Role statt ClusterRole at the cluster scope Ressource cluster-weit?
PSA baseline DaemonSet CURRENT 0 Event FailedCreate
PSA restricted Deployment 0/1, keine Pods Event am ReplicaSet

Drill 1: Die RoleBinding im falschen Namespace

Einbauen: Ein Pod, der mit kubectl Pods auflistet. Die RoleBinding wurde aus einer Vorlage kopiert:

# auf cp1
mkdir -p ~/debug/tag11 && cd ~/debug/tag11
kubectl create namespace tag11
cat > lister.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata: {name: app, namespace: tag11}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata: {name: pod-reader, namespace: tag11}
rules:
- apiGroups: [""]
  resources: [pods]
  verbs: [get, list, watch]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: pod-reader, namespace: default}
subjects:
- {kind: ServiceAccount, name: app, namespace: tag11}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: Role, name: pod-reader}
---
apiVersion: apps/v1
kind: Deployment
metadata: {name: pod-lister, namespace: tag11}
spec:
  replicas: 1
  selector: {matchLabels: {app: pod-lister}}
  template:
    metadata: {labels: {app: pod-lister}}
    spec:
      serviceAccountName: app
      containers:
      - name: kubectl
        image: registry.k8s.io/kubectl:v1.37.2
        args: [get, pods, -n, tag11, --watch]
EOF
kubectl apply -f lister.yaml

Symptom (nach etwa 20 Sekunden):

# auf cp1
kubectl -n tag11 get pods
kubectl -n tag11 logs deploy/pod-lister --tail=1

Erwartet (Zeile umbrochen):

NAME                          READY   STATUS    RESTARTS      AGE
pod-lister-754f7856b7-qt7wh   1/1     Running   2 (12s ago)   20s
Error from server (Forbidden): pods is forbidden: User
  "system:serviceaccount:tag11:app" cannot list resource "pods" in API group "" in
  the namespace "tag11"

Untersuchen: Die Meldung lesen: Wer? Der ServiceAccount app aus tag11. Was? list pods, Kerngruppe "". Wo? tag11. Jetzt die Rechte genau dafür prüfen und die Bindings suchen, die den Account nennen:

# auf cp1
kubectl auth can-i list pods -n tag11 --as=system:serviceaccount:tag11:app
kubectl auth can-i list pods -n default --as=system:serviceaccount:tag11:app
kubectl get rolebinding -A -o custom-columns=NS:.metadata.namespace,\
NAME:.metadata.name,ROLE:.roleRef.name,SA:.subjects[*].name | grep -E '^NS|app' \
  | tr -s ' '

Erwartet:

no
no - RBAC: role.rbac.authorization.k8s.io "pod-reader" not found
NS NAME ROLE SA
default pod-reader pod-reader app

Ursache: Die RoleBinding liegt in default und verweist dort auf eine Role pod-reader, die es nur in tag11 gibt. Eine RoleBinding gilt nur in ihrem eigenen Namespace und bindet eine Role aus diesem Namespace oder eine ClusterRole. Die zweite can-i-Zeile verrät das sogar.

Fix:

# auf cp1
kubectl -n default delete rolebinding pod-reader
kubectl -n tag11 create rolebinding pod-reader --role=pod-reader \
  --serviceaccount=tag11:app
kubectl -n tag11 rollout restart deploy/pod-lister
kubectl -n tag11 rollout status deploy/pod-lister

Nachweis:

# auf cp1
kubectl auth can-i list pods -n tag11 --as=system:serviceaccount:tag11:app
kubectl -n tag11 logs deploy/pod-lister | head -2

Erwartet:

yes
NAME                          READY   STATUS        RESTARTS      AGE
pod-lister-66f9bd75c5-vhcqz   1/1     Running       0             2s

Warum der Neustart? Der Container war bei jedem Versuch mit Exit 1 beendet und stand im Backoff (Tag 5). Rechte wirken sofort, der Backoff nicht.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Role statt ClusterRole

Einbauen: Derselbe ServiceAccount soll Knoten lesen:

# auf cp1
cat > nodes.yaml <<'EOF'
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata: {name: node-reader, namespace: tag11}
rules:
- apiGroups: [""]
  resources: [nodes]
  verbs: [get, list, watch]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: node-reader, namespace: tag11}
subjects:
- {kind: ServiceAccount, name: app, namespace: tag11}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: Role, name: node-reader}
EOF
kubectl apply -f nodes.yaml

Symptom:

# auf cp1
kubectl get nodes --as=system:serviceaccount:tag11:app

Erwartet (Zeile umbrochen):

Error from server (Forbidden): nodes is forbidden: User
  "system:serviceaccount:tag11:app" cannot list resource "nodes" in API group "" at
  the cluster scope

Untersuchen:

# auf cp1
kubectl auth can-i list nodes --as=system:serviceaccount:tag11:app
kubectl auth can-i list nodes -n tag11 --as=system:serviceaccount:tag11:app
kubectl api-resources | grep -E '^NAME|^nodes ' | tr -s ' '

Erwartet:

Warning: resource 'nodes' is not namespace scoped

no
Warning: resource 'nodes' is not namespace scoped

yes
NAME SHORTNAMES APIVERSION NAMESPACED KIND
nodes no v1 false Node
nodes metrics.k8s.io/v1beta1 false NodeMetrics

Ursache: at the cluster scope – Knoten gehören zu keinem Namespace (NAMESPACED false). Eine Role kann sie zwar nennen, gilt aber nur innerhalb von tag11, und dort gibt es keine Knoten. Das yes mit -n tag11 ist eine Falle: can-i prüft die Regel formal und warnt nur.

Fix:

# auf cp1
kubectl delete -f nodes.yaml
kubectl create clusterrole tag11-node-reader --verb=get,list,watch --resource=nodes
kubectl create clusterrolebinding tag11-node-reader \
  --clusterrole=tag11-node-reader --serviceaccount=tag11:app

Nachweis:

# auf cp1
kubectl get nodes --as=system:serviceaccount:tag11:app

Erwartet:

NAME      STATUS   ROLES                AGE    VERSION
cp1       Ready    control-plane,etcd   148m   v1.37.2+rke2r1
worker1   Ready    <none>               145m   v1.37.2+rke2r1
worker2   Ready    <none>               144m   v1.37.2+rke2r1

Fortschritt speichern? Kostenlos registrieren

Drill 3: Alle Rechte auf einen Blick

# auf cp1
kubectl auth can-i --list -n tag11 --as=system:serviceaccount:tag11:app | head -6 \
  | cut -c1-88
kubectl auth whoami | cut -c1-88

Erwartet (gekürzt):

Resources                                       Non-Resource URLs                      R
selfsubjectreviews.authentication.k8s.io        []                                     [
selfsubjectaccessreviews.authorization.k8s.io   []                                     [
selfsubjectrulesreviews.authorization.k8s.io    []                                     [
nodes                                           []                                     [
pods                                            []                                     [
ATTRIBUTE                                           VALUE
Username                                            system:admin
Groups                                              [system:masters system:authenticated
Extra: authentication.kubernetes.io/credential-id   [X509SHA256=7d22b684b588198df48b975e

Warum? --list zeigt die Summe aller Bindings für den Namespace – auch die über ClusterRoleBindings. auth whoami beantwortet die Frage, als wer du gerade unterwegs bist: Die RKE2-Kubeconfig ist system:admin in system:masters, und diese Gruppe umgeht RBAC komplett. Deshalb fallen RBAC-Fehler beim Testen als Admin nie auf.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Pod Security baseline und der hostPath

Einbauen: Ein Log-Sammler als DaemonSet in einem Namespace mit baseline:

# auf cp1
kubectl create namespace tag11-logs
kubectl label namespace tag11-logs pod-security.kubernetes.io/enforce=baseline
cat > sammler.yaml <<'EOF'
apiVersion: apps/v1
kind: DaemonSet
metadata: {name: log-sammler, namespace: tag11-logs}
spec:
  selector: {matchLabels: {app: log-sammler}}
  template:
    metadata: {labels: {app: log-sammler}}
    spec:
      containers:
      - name: sammler
        image: busybox:1.37
        command: [sh, -c, 'tail -F /host-logs/syslog']
        volumeMounts: [{name: logs, mountPath: /host-logs, readOnly: true}]
      volumes:
      - name: logs
        hostPath: {path: /var/log}
EOF
kubectl apply -f sammler.yaml

Erwartet:

Warning: would violate PodSecurity "baseline:latest": hostPath volumes (volume "logs")
daemonset.apps/log-sammler created

Die Warnung kommt schon beim apply – das DaemonSet selbst wird trotzdem angelegt.

Symptom:

# auf cp1
kubectl -n tag11-logs get ds log-sammler | cut -c1-72
kubectl -n tag11-logs get pods

Erwartet:

NAME          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR
log-sammler   3         0         0       0            0           <none>
No resources found in tag11-logs namespace.

Untersuchen:

# auf cp1
kubectl -n tag11-logs events --types=Warning | tail -1
kubectl get ns tag11-logs -L pod-security.kubernetes.io/enforce

Erwartet (Zeile umbrochen):

1s (x2 over 3s)   Warning   FailedCreate   DaemonSet/log-sammler   (combined from
  similar events): Error creating: pods "log-sammler-vcmsj" is forbidden: violates
  PodSecurity "baseline:latest": hostPath volumes (volume "logs")
NAME         STATUS   AGE   ENFORCE
tag11-logs   Active   7s    baseline

Ursache: baseline verbietet hostPath. Ein Log-Sammler braucht aber genau das. Das ist kein Fehler im Pod, sondern eine Entscheidung über den Namespace: Systemnahe Dienste bekommen einen eigenen Namespace mit privileged.

Fix:

# auf cp1
kubectl label --overwrite namespace tag11-logs \
  pod-security.kubernetes.io/enforce=privileged

Nachweis:

# auf cp1
kubectl -n tag11-logs rollout status ds/log-sammler
kubectl -n tag11-logs get ds log-sammler | cut -c1-72

Erwartet:

daemon set "log-sammler" successfully rolled out
NAME          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR
log-sammler   3         3         3       3            3           <none>

Der DaemonSet-Controller versucht es mit Backoff weiter; je nach Zahl der Fehlversuche dauert das bis zu einer Minute. Ein Neustart ist nicht nötig.

Talos: Dort ist baseline cluster-weit Standard – derselbe Log-Sammler scheitert ohne jedes Label (Tag 19).

Fortschritt speichern? Kostenlos registrieren

Drill 5: restricted – angenommen und doch abgelehnt

Einbauen:

# auf cp1
kubectl create namespace tag11-streng
kubectl label namespace tag11-streng pod-security.kubernetes.io/enforce=restricted
kubectl -n tag11-streng create deployment web --image=nginxinc/nginx-unprivileged:1.29

Erwartet (gekürzt):

namespace/tag11-streng created
namespace/tag11-streng labeled
Warning: would violate PodSecurity "restricted:latest": allowPrivilegeEscalation !=
  false (container "nginx-unprivileged" must set ...
deployment.apps/web created

Symptom:

# auf cp1
kubectl -n tag11-streng get deploy web
kubectl -n tag11-streng get pods

Erwartet:

NAME   READY   UP-TO-DATE   AVAILABLE   AGE
web    0/1     0            0           4s
No resources found in tag11-streng namespace.

Untersuchen: Wie in Tag 3 – kein Pod, also eine Ebene höher:

# auf cp1
kubectl -n tag11-streng events --types=Warning | tail -1 | fold -w 86

Erwartet:

10s (x4 over 28s)   Warning   FailedCreate   ReplicaSet/web-86c6bddd97   (combined fro
m similar events): Error creating: pods "web-86c6bddd97-hmhpn" is forbidden: violates
PodSecurity "restricted:latest": allowPrivilegeEscalation != false (container "nginx-u
nprivileged" must set securityContext.allowPrivilegeEscalation=false), unrestricted ca
pabilities (container "nginx-unprivileged" must set securityContext.capabilities.drop=
["ALL"]), runAsNonRoot != true (pod or container "nginx-unprivileged" must set securit
yContext.runAsNonRoot=true), seccompProfile (pod or container "nginx-unprivileged" mus
t set securityContext.seccompProfile.type to "RuntimeDefault" or "Localhost")

Ursache: restricted verlangt vier Dinge, die kaum ein Manifest von selbst mitbringt: allowPrivilegeEscalation: false, capabilities.drop: [ALL], runAsNonRoot: true und ein seccompProfile. Die Meldung zählt jeden Punkt einzeln auf.

Fix:

# auf cp1
kubectl -n tag11-streng patch deploy web -p '
spec:
  template:
    spec:
      securityContext:
        runAsNonRoot: true
        seccompProfile: {type: RuntimeDefault}
      containers:
      - name: nginx-unprivileged
        securityContext:
          allowPrivilegeEscalation: false
          capabilities: {drop: [ALL]}'
kubectl -n tag11-streng rollout status deploy/web

Nachweis:

# auf cp1
kubectl -n tag11-streng get pods

Erwartet:

NAME                   READY   STATUS    RESTARTS   AGE
web-6c88d4d554-xrcqn   1/1     Running   0          2s

Warum klappt runAsNonRoot hier? nginx-unprivileged setzt im Image den numerischen Benutzer 101. Mit busybox (root) bräuchte es zusätzlich runAsUser.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Erst warnen, dann durchsetzen

Bevor du einen Namespace verschärfst, fragst du den API-Server, was dann passieren würde – ohne etwas zu ändern:

# auf cp1
kubectl label --dry-run=server --overwrite namespace tag11-logs \
  pod-security.kubernetes.io/enforce=baseline
kubectl label --dry-run=server --overwrite namespace tag11 \
  pod-security.kubernetes.io/enforce=restricted

Erwartet (Zeile umbrochen):

Warning: existing pods in namespace "tag11-logs" violate the new PodSecurity enforce
  level "baseline:latest"
Warning: log-sammler-hpp5x (and 2 other pods): hostPath volumes
namespace/tag11-logs labeled (server dry run)
Warning: existing pods in namespace "tag11" violate the new PodSecurity enforce level
  "restricted:latest"
Warning: pod-lister-66f9bd75c5-vhcqz: allowPrivilegeEscalation != false, unrestricted
  capabilities, runAsNonRoot != true, seccompProfile
namespace/tag11 labeled (server dry run)

Für neue Pods gibt es die Modi warn und audit neben enforce:

# auf cp1
kubectl label namespace tag11 pod-security.kubernetes.io/warn=restricted \
  pod-security.kubernetes.io/audit=restricted
kubectl -n tag11 run probe --image=busybox:1.37 -- sleep 3600 2>&1 | cut -c1-88
kubectl -n tag11 delete pod probe --wait=false

Erwartet:

namespace/tag11 labeled
Warning: would violate PodSecurity "restricted:latest": allowPrivilegeEscalation != fal
pod/probe created
pod "probe" deleted from tag11 namespace

Warum? warn meldet dem Aufrufer, audit schreibt eine Annotation ins Audit-Log des API-Servers – im Labor ist das Audit-Log von RKE2 aus, dort siehst du davon nichts. Beides lässt den Pod durch. Ein Namespace läuft so ein paar Wochen mit warn, bevor enforce folgt.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Darf der ServiceAccount tag11:app Pods in tag11 löschen? Zeitziel: 15 s
  2. Zeig für alle Namespaces das PSA-enforce-Label. Zeitziel: 15 s
  3. Zeig, wie viele Pods im DaemonSet log-sammler laufen sollen und laufen. Zeitziel: 15 s

Lösung

# auf cp1
kubectl auth can-i delete pods -n tag11 --as=system:serviceaccount:tag11:app
kubectl get ns -L pod-security.kubernetes.io/enforce
kubectl -n tag11-logs get ds log-sammler \
  -o jsonpath='{.status.desiredNumberScheduled} {.status.numberReady}{"\n"}'

Erwartet (gekürzt):

no
NAME                 STATUS   AGE     ENFORCE
default              Active   150m
...
tag11                Active   6m48s
tag11-logs           Active   112s    privileged
tag11-streng         Active   87s     restricted
3 3

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf cp1
kubectl get nodes --as=system:serviceaccount:tag11:app -o name

Erwartet:

node/cp1
node/worker1
node/worker2
# auf cp1
kubectl get pods -n tag11-logs -o name | wc -l
kubectl -n tag11-streng get deploy web

Erwartet:

3
NAME   READY   UP-TO-DATE   AVAILABLE   AGE
web    1/1     1            1           2m

Challenge

Ein Job soll die ConfigMaps in tag11 auflisten. Role und Binding sind da, der Job scheitert trotzdem. Finde den Fehler ohne in die Logs zu schauen und repariere die Datei so, dass ein erneutes apply ihn nicht zurückbringt.

# auf cp1
cat > cm-job.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata: {name: cm-reader, namespace: tag11}
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata: {name: cm-reader, namespace: tag11}
rules:
- apiGroups: [apps]
  resources: [configmaps]
  verbs: [get, list]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata: {name: cm-reader, namespace: tag11}
subjects:
- {kind: ServiceAccount, name: cm-reader, namespace: tag11}
roleRef: {apiGroup: rbac.authorization.k8s.io, kind: Role, name: cm-reader}
---
apiVersion: batch/v1
kind: Job
metadata: {name: cm-reader, namespace: tag11}
spec:
  backoffLimit: 1
  template:
    spec:
      serviceAccountName: cm-reader
      restartPolicy: Never
      containers:
      - name: kubectl
        image: registry.k8s.io/kubectl:v1.37.2
        args: [get, configmaps, -n, tag11]
EOF
kubectl apply -f cm-job.yaml 2>&1 | grep -v Warning

Hinweis: In welcher API-Gruppe liegen ConfigMaps?

Lösung

Nach etwa 30 Sekunden:

# auf cp1
kubectl -n tag11 get job cm-reader
kubectl auth can-i list configmaps -n tag11 --as=system:serviceaccount:tag11:cm-reader
kubectl -n tag11 get role cm-reader -o jsonpath='{.rules}{"\n"}'
kubectl api-resources --api-group='' | grep -w configmaps

Erwartet:

NAME        STATUS   COMPLETIONS   DURATION   AGE
cm-reader   Failed   0/1           30s        30s
no
[{"apiGroups":["apps"],"resources":["configmaps"],"verbs":["get","list"]}]
configmaps               cm           v1           true         ConfigMap

ConfigMaps liegen in der Kerngruppe "" (APIVERSION v1 ohne Gruppe), nicht in apps. RBAC prüft Gruppe und Ressource zusammen; die Regel passt auf nichts. Den Fix in die Datei, sonst stellt das nächste apply den Fehler wieder her:

# auf cp1
sed -i 's/apiGroups: \[apps\]/apiGroups: [""]/' cm-job.yaml
kubectl -n tag11 delete job cm-reader
kubectl apply -f cm-job.yaml 2>&1 | grep -v Warning
kubectl -n tag11 wait job/cm-reader --for=condition=Complete
kubectl -n tag11 logs job/cm-reader

Erwartet:

job.batch "cm-reader" deleted from tag11 namespace
serviceaccount/cm-reader unchanged
role.rbac.authorization.k8s.io/cm-reader configured
rolebinding.rbac.authorization.k8s.io/cm-reader unchanged
job.batch/cm-reader created
job.batch/cm-reader condition met
NAME               DATA   AGE
kube-root-ca.crt   1      6m37s

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf cp1
kubectl delete namespace tag11 tag11-logs tag11-streng
kubectl delete clusterrole,clusterrolebinding tag11-node-reader
kubectl get ns -L pod-security.kubernetes.io/enforce | grep tag11

Erwartet:

namespace "tag11" deleted
namespace "tag11-logs" deleted
namespace "tag11-streng" deleted
clusterrole.rbac.authorization.k8s.io "tag11-node-reader" deleted
clusterrolebinding.rbac.authorization.k8s.io "tag11-node-reader" deleted

Interview-Notiz

  • Wie liest du eine Forbidden-Meldung? User, Verb, Ressource, API-Gruppe, Scope – jedes Teil zeigt auf eine Stelle in Role, Binding oder Namespace.
  • Role oder ClusterRole? Cluster-weite Ressourcen (Nodes, PVs, Namespaces) und Zugriff über alle Namespaces brauchen ClusterRole plus ClusterRoleBinding.
  • Deployment da, aber keine Pods? Admission (PSA, Quota, Webhook) – Event am ReplicaSet bzw. DaemonSet.

Enterprise-Notiz

  • Niemand arbeitet im Alltag als system:masters; persönliche Zugänge über OIDC mit Gruppen, damit RBAC-Fehler auffallen, bevor die Anwendung sie findet.
  • PSA-Labels per GitOps oder Policy-Engine setzen; neue Namespaces bekommen mindestens baseline und warn=restricted.
  • Eine Audit-Policy mit mindestens level: Metadata hinterlegen (RKE2: audit-policy-file; auch mit profile: cis protokolliert die mitgelieferte Policy nichts), sonst ist audit wirkungslos.
  • Feinere Regeln als PSA (Image-Herkunft, Labels, Ressourcen) übernimmt eine Policy-Engine – Fehlerbilder dazu in Tag 12.