Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 9: Authentifizierung, RBAC und Admission

Ziel: Du gibst deiner Anwendung genau die API-Rechte, die sie braucht, und verstehst, warum der API-Server einen Pod trotz korrekter Rechte ablehnt. · Dauer: ca. 75 min · Voraussetzung: Tag 8

Briefing

CKAD: „Understand authentication, authorization and admission control” (Application Environment, Configuration and Security, 25 %).

  Request --> AuthN ---------> AuthZ ------------> Admission -------------> etcd
              Wer bist du?     Darfst du das?      Ist das Objekt erlaubt?
              Zertifikat,      RBAC: Role +        mutierend, dann validierend:
              SA-Token         RoleBinding         PodSecurity, VAP, Webhooks
              401              403                 403 / invalid
  • Ein Pod spricht als ServiceAccount mit der API: system:serviceaccount:<ns>:<name>.
  • RBAC kennt nur Erlaubnisse, keine Verbote. Ohne passende Bindung: no.
mkdir -p ~/ckad/tag09 && cd ~/ckad/tag09
k create ns tag09
k config set-context --current --namespace=tag09

Drill 1: Wer bin ich?

k auth whoami

Erwartet (gekürzt):

ATTRIBUTE   VALUE
Username    kubernetes-admin
Groups      [kubeadm:cluster-admins system:authenticated]

Du bist per Client-Zertifikat angemeldet und Mitglied einer Gruppe mit vollen Rechten. Deine Anwendung bekommt einen eigenen ServiceAccount – und zunächst gar nichts:

k create sa notes-app
k auth can-i list pods --as=system:serviceaccount:tag09:notes-app

Erwartet:

serviceaccount/notes-app created
no

Fortschritt speichern? Kostenlos registrieren

Drill 2: Role und RoleBinding

k create role pod-reader --verb=get,list,watch --resource=pods
k create rolebinding notes-app-pod-reader --role=pod-reader \
  --serviceaccount=tag09:notes-app
k auth can-i list pods --as=system:serviceaccount:tag09:notes-app
k auth can-i delete pods --as=system:serviceaccount:tag09:notes-app
k auth can-i list pods -n default --as=system:serviceaccount:tag09:notes-app

Erwartet: yes, no, no – lesen ja, löschen nein, und nur im eigenen Namespace.

Alle Rechte auf einmal:

k auth can-i --list --as=system:serviceaccount:tag09:notes-app | grep -v '^ '

Erwartet (gekürzt):

Resources                                       Non-Resource URLs   Resource Names   ...
selfsubjectreviews.authentication.k8s.io        []                  []               ...
...
pods                                            []                  []               ...

Die Zeilen mit /api, /healthz usw. (hier per grep -v ausgeblendet) darf jeder angemeldete Client. Auf diesem Cluster tauchen dazu Calicos eigene Policy-Typen auf.

Merke die Schreibweise: bei --serviceaccount namespace:name, bei --as system:serviceaccount:namespace:name.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Fertige ClusterRoles im Namespace nutzen

Kubernetes bringt view, edit und admin mit. Per RoleBinding gelten sie nur im Namespace der Bindung:

k create sa ci-bot
k create rolebinding ci-bot-edit --clusterrole=edit --serviceaccount=tag09:ci-bot
k auth can-i create deployments.apps --as=system:serviceaccount:tag09:ci-bot
k auth can-i get secrets --as=system:serviceaccount:tag09:ci-bot
k auth can-i create rolebindings --as=system:serviceaccount:tag09:ci-bot
k auth can-i create deployments -n default --as=system:serviceaccount:tag09:ci-bot

Erwartet: yes, yes, no, no.

k create rolebinding notes-app-view --clusterrole=view --serviceaccount=tag09:notes-app
k auth can-i get configmaps --as=system:serviceaccount:tag09:notes-app
k auth can-i get secrets --as=system:serviceaccount:tag09:notes-app
k get rolebinding -o wide

Erwartet:

rolebinding.rbac.authorization.k8s.io/notes-app-view created
yes
no
NAME                   ROLE               AGE   USERS   GROUPS   SERVICEACCOUNTS
ci-bot-edit            ClusterRole/edit   7s                     tag09/ci-bot
notes-app-pod-reader   Role/pod-reader    15s                    tag09/notes-app
notes-app-view         ClusterRole/view   1s                     tag09/notes-app

Warum? edit darf Secrets lesen, view nicht. Wer edit vergibt, gibt auch die Passwörter im Namespace frei.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ein Pod fragt die API – 403, dann 200

Jeder Pod bekommt das Token seines ServiceAccounts unter /var/run/secrets/kubernetes.io/serviceaccount eingehängt.

k create sa lister
cat > api-client.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: api-client
spec:
  serviceAccountName: lister
  containers:
  - name: curl
    image: curlimages/curl:8.17.0
    command: ["sleep", "3600"]
EOF
k apply -f api-client.yaml
k wait --for=condition=Ready pod/api-client --timeout=90s
k exec api-client -- ls /var/run/secrets/kubernetes.io/serviceaccount

Erwartet:

serviceaccount/lister created
pod/api-client created
pod/api-client condition met
ca.crt
namespace
token

Mit Token und CA die ConfigMaps des eigenen Namespace abfragen:

k exec api-client -- sh -c 'D=/var/run/secrets/kubernetes.io/serviceaccount
curl -s --cacert $D/ca.crt -H "Authorization: Bearer $(cat $D/token)" \
  https://kubernetes.default.svc/api/v1/namespaces/tag09/configmaps' \
  | grep -E '"(kind|message|code)"'

Erwartet:

  "kind": "Status",
  "message": "configmaps is forbidden: User \"system:serviceaccount:tag09:lister\"
cannot list resource \"configmaps\" in API group \"\" in the namespace \"tag09\"",
    "kind": "configmaps"
  "code": 403

Authentifiziert ja (der Name steht in der Meldung), berechtigt nein. Jetzt die Rolle binden und denselben Befehl wiederholen:

k create rolebinding lister-view --clusterrole=view --serviceaccount=tag09:lister
k exec api-client -- sh -c 'D=/var/run/secrets/kubernetes.io/serviceaccount
curl -s -o /dev/null -w "%{http_code}\n" --cacert $D/ca.crt \
  -H "Authorization: Bearer $(cat $D/token)" \
  https://kubernetes.default.svc/api/v1/namespaces/tag09/configmaps'

Erwartet:

rolebinding.rbac.authorization.k8s.io/lister-view created
200

RBAC wirkt sofort – kein Pod-Neustart nötig.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Admission – ValidatingAdmissionPolicy

RBAC fragt „darfst du Deployments anlegen?“, nicht „mit wie vielen Replicas?”. Das prüft die Admission. Eine ValidatingAdmissionPolicy (VAP) ist eine CEL-Regel direkt im API-Server, das Binding legt fest, wo sie gilt – hier nur in Namespaces mit Label:

cat > tag09-max-replicas.yaml <<'EOF'
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicy
metadata:
  name: tag09-max-replicas
spec:
  failurePolicy: Fail
  matchConstraints:
    resourceRules:
    - apiGroups: ["apps"]
      apiVersions: ["v1"]
      operations: ["CREATE", "UPDATE"]
      resources: ["deployments"]
  validations:
  - expression: "object.spec.replicas <= 3"
    message: "Höchstens 3 Replicas erlaubt"
---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicyBinding
metadata:
  name: tag09-max-replicas
spec:
  policyName: tag09-max-replicas
  validationActions: ["Deny"]
  matchResources:
    namespaceSelector:
      matchLabels:
        tag09-limits: "on"
EOF
k apply -f tag09-max-replicas.yaml
k create deploy big --image=nginx:1.29 --replicas=5 --dry-run=server

Erwartet:

validatingadmissionpolicy.admissionregistration.k8s.io/tag09-max-replicas created
validatingadmissionpolicybinding.admissionregistration.k8s.io/tag09-max-replicas created
deployment.apps/big created (server dry run)

Noch fehlt das Label. --dry-run=server durchläuft die Admission, speichert aber nichts.

k label ns tag09 tag09-limits=on

Der API-Server braucht ein bis zwei Sekunden, bis er neue Policies und Labels kennt – wer schneller tippt, rutscht noch durch.

k create deploy big --image=nginx:1.29 --replicas=5
k create deploy small --image=nginx:1.29 --replicas=2

Erwartet:

error: failed to create deployment: deployments.apps "big" is forbidden:
ValidatingAdmissionPolicy 'tag09-max-replicas' with binding 'tag09-max-replicas' denied
request: Höchstens 3 Replicas erlaubt
deployment.apps/small created

Fortschritt speichern? Kostenlos registrieren

Drill 6: Admission – Pod Security

Das eingebaute Plugin PodSecurity prüft Pods gegen die Stufen privileged, baseline oder restricted. Eingeschaltet wird es per Namespace-Label. Erst testen, was mit den laufenden Pods wäre:

k label ns tag09 pod-security.kubernetes.io/enforce=restricted --dry-run=server

Erwartet (gekürzt):

Warning: existing pods in namespace "tag09" violate the new PodSecurity enforce level
"restricted:latest"
Warning: api-client (and 2 other pods): allowPrivilegeEscalation != false, ...
namespace/tag09 labeled (server dry run)

Die beiden anderen sind die nginx-Pods von small. Laufende Pods bleiben unberührt – geprüft wird nur beim Anlegen:

k label ns tag09 pod-security.kubernetes.io/enforce=restricted
k run notes --image=172.16.0.126:30500/notes-api:1.0 --env=NOTES_API_KEY=lab-key-123

Erwartet (gekürzt, umbrochen):

Warning: existing pods in namespace "tag09" violate the new PodSecurity enforce ...
namespace/tag09 labeled
Error from server (Forbidden): pods "notes" is forbidden: violates PodSecurity
"restricted:latest": allowPrivilegeEscalation != false (container "notes" must set
securityContext.allowPrivilegeEscalation=false), unrestricted capabilities
(container "notes" must set securityContext.capabilities.drop=["ALL"]), runAsNonRoot !=
true (pod or container "notes" must set securityContext.runAsNonRoot=true),
seccompProfile (pod or container "notes" must set securityContext.seccompProfile.type
to "RuntimeDefault" or "Localhost")

Die Meldung ist die Reparaturanleitung. lab-key-123 ist ein reiner Lab-Wert.

cat > notes.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: notes
spec:
  securityContext:
    runAsNonRoot: true
    seccompProfile:
      type: RuntimeDefault
  containers:
  - name: notes
    image: 172.16.0.126:30500/notes-api:1.0
    env:
    - name: NOTES_API_KEY
      value: lab-key-123
    securityContext:
      allowPrivilegeEscalation: false
      capabilities:
        drop: ["ALL"]
EOF
k apply -f notes.yaml
k wait --for=condition=Ready pod/notes --timeout=60s

Erwartet:

pod/notes created
pod/notes condition met

runAsNonRoot klappt, weil das Image als UID 65532 läuft. nginx (läuft als root) bekäme hier zusätzlich runAsUser und ein anderes Image (nginxinc/nginx-unprivileged).

Achtung: Bei einem Deployment kommt nur eine Warning, das Deployment entsteht – die Pods aber nicht. Den Grund zeigt k get events --field-selector reason=FailedCreate.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Welche Admission-Plugins laufen?

Nur lesen, nichts ändern – auf cp1:

sudo grep -E 'authorization-mode|admission' \
  /etc/kubernetes/manifests/kube-apiserver.yaml
k exec -n kube-system kube-apiserver-cp1 -- kube-apiserver -h \
  | grep -o 'in addition to default enabled ones ([^)]*)'

Erwartet (gekürzt):

    - --authorization-mode=Node,RBAC
    - --enable-admission-plugins=NodeRestriction
in addition to default enabled ones (NamespaceLifecycle, LimitRanger, ...
PodSecurity, ... MutatingAdmissionWebhook, ValidatingAdmissionPolicy,
ValidatingAdmissionWebhook, ResourceQuota)

PodSecurity, ValidatingAdmissionPolicy und ResourceQuota (Tag 7) sind also ohne Zutun aktiv; kubeadm schaltet nur NodeRestriction zusätzlich ein.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Der ServiceAccount reporter (neu) soll in tag09 Deployments lesen dürfen (get, list). Zeitziel: 60 s
  2. Darf ci-bot in tag09 Pods löschen? Zeitziel: 15 s
  3. Setze für tag09 zusätzlich eine Warnung bei Verstößen gegen baseline. Zeitziel: 20 s

Lösung

k create sa reporter
k create role deploy-reader --verb=get,list --resource=deployments.apps
k create rolebinding reporter-deploy-reader --role=deploy-reader \
  --serviceaccount=tag09:reporter
k auth can-i list deployments.apps --as=system:serviceaccount:tag09:reporter
k auth can-i delete pods --as=system:serviceaccount:tag09:ci-bot
k label ns tag09 pod-security.kubernetes.io/warn=baseline

Erwartet:

serviceaccount/reporter created
role.rbac.authorization.k8s.io/deploy-reader created
rolebinding.rbac.authorization.k8s.io/reporter-deploy-reader created
yes
yes
namespace/tag09 labeled

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k auth can-i get secrets --as=system:serviceaccount:tag09:notes-app

Erwartet: no

k get ns tag09 -L pod-security.kubernetes.io/enforce,tag09-limits

Erwartet:

NAME    STATUS   AGE   ENFORCE      TAG09-LIMITS
tag09   Active   5m    restricted   on
k get pod notes -o jsonpath='{.status.phase}{"\n"}'

Erwartet: Running

Challenge

Skaliere small mit k scale auf 5 Replicas. Die Policy greift nicht – finde den Grund und schließe die Lücke.

Hinweis: k scale ändert nicht das Deployment, sondern seine Subresource scale.

Lösung

k scale deploy small --replicas=5
k scale deploy small --replicas=2
sed -i 's|\["deployments"\]|["deployments", "deployments/scale"]|' \
  tag09-max-replicas.yaml
k apply -f tag09-max-replicas.yaml
k get validatingadmissionpolicy tag09-max-replicas \
  -o jsonpath='{.spec.matchConstraints.resourceRules[0].resources}{"\n"}'
k scale deploy small --replicas=5

Erwartet:

deployment.apps/small scaled
deployment.apps/small scaled
validatingadmissionpolicy.admissionregistration.k8s.io/tag09-max-replicas configured
validatingadmissionpolicybinding.admissionregistration.k8s.io/tag09-max-replicas ...
["deployments","deployments/scale"]
The deployments "small" is invalid: : ValidatingAdmissionPolicy 'tag09-max-replicas'
with binding 'tag09-max-replicas' denied request: Höchstens 3 Replicas erlaubt

Der Ausdruck passt auf beide: Auch das Scale-Objekt hat spec.replicas.

Aufräumen – die Policy ist clusterweit:

k config set-context --current --namespace=default
k delete ns tag09
k delete validatingadmissionpolicybinding tag09-max-replicas
k delete validatingadmissionpolicy tag09-max-replicas

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Nach jeder RBAC-Aufgabe mit k auth can-i … --as=system:serviceaccount:<ns>:<sa> beweisen, dass es wirkt. Ressourcen außerhalb der Core-Gruppe mit Gruppe angeben: deployments.apps.
  • Lehnt PodSecurity einen Pod ab, die Meldung Punkt für Punkt in den securityContext übertragen. Bei Deployments stehen die Fehler in den Events des ReplicaSets.
  • Doku: kubernetes.io → „Pod Security Standards” enthält die fertigen Felder für restricted.

Enterprise-Notiz

  • Menschen melden sich per OIDC (Keycloak, Entra ID) an; Rechte an Gruppen binden, nie an Einzelpersonen.
  • automountServiceAccountToken: false überall, wo eine Anwendung die API nicht braucht.
  • Pod Security per Label für alle Namespaces setzen, zuerst mit warn und audit, dann enforce.
  • Komplexe Regeln (Image-Herkunft, Pflicht-Labels) lösen Kyverno, OPA Gatekeeper oder VAPs mit Parametern; Policies in Git versionieren.