Tag 9: Authentifizierung, RBAC und Admission
Ziel: Du gibst deiner Anwendung genau die API-Rechte, die sie braucht, und verstehst, warum der API-Server einen Pod trotz korrekter Rechte ablehnt. · Dauer: ca. 75 min · Voraussetzung: Tag 8
Briefing
CKAD: „Understand authentication, authorization and admission control” (Application Environment, Configuration and Security, 25 %).
Request --> AuthN ---------> AuthZ ------------> Admission -------------> etcd
Wer bist du? Darfst du das? Ist das Objekt erlaubt?
Zertifikat, RBAC: Role + mutierend, dann validierend:
SA-Token RoleBinding PodSecurity, VAP, Webhooks
401 403 403 / invalid
- Ein Pod spricht als ServiceAccount mit der API:
system:serviceaccount:<ns>:<name>. - RBAC kennt nur Erlaubnisse, keine Verbote. Ohne passende Bindung:
no.
mkdir -p ~/ckad/tag09 && cd ~/ckad/tag09
k create ns tag09
k config set-context --current --namespace=tag09Drill 1: Wer bin ich?
k auth whoamiErwartet (gekürzt):
ATTRIBUTE VALUE
Username kubernetes-admin
Groups [kubeadm:cluster-admins system:authenticated]
Du bist per Client-Zertifikat angemeldet und Mitglied einer Gruppe mit vollen Rechten. Deine Anwendung bekommt einen eigenen ServiceAccount – und zunächst gar nichts:
k create sa notes-app
k auth can-i list pods --as=system:serviceaccount:tag09:notes-appErwartet:
serviceaccount/notes-app created
no
Fortschritt speichern? Kostenlos registrieren
Drill 2: Role und RoleBinding
k create role pod-reader --verb=get,list,watch --resource=pods
k create rolebinding notes-app-pod-reader --role=pod-reader \
--serviceaccount=tag09:notes-app
k auth can-i list pods --as=system:serviceaccount:tag09:notes-app
k auth can-i delete pods --as=system:serviceaccount:tag09:notes-app
k auth can-i list pods -n default --as=system:serviceaccount:tag09:notes-appErwartet: yes, no,
no – lesen ja, löschen nein, und nur im eigenen
Namespace.
Alle Rechte auf einmal:
k auth can-i --list --as=system:serviceaccount:tag09:notes-app | grep -v '^ 'Erwartet (gekürzt):
Resources Non-Resource URLs Resource Names ...
selfsubjectreviews.authentication.k8s.io [] [] ...
...
pods [] [] ...
Die Zeilen mit /api, /healthz usw. (hier
per grep -v ausgeblendet) darf jeder angemeldete Client.
Auf diesem Cluster tauchen dazu Calicos eigene Policy-Typen auf.
Merke die Schreibweise: bei --serviceaccount
namespace:name, bei --as
system:serviceaccount:namespace:name.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Fertige ClusterRoles im Namespace nutzen
Kubernetes bringt view, edit und
admin mit. Per RoleBinding gelten sie nur
im Namespace der Bindung:
k create sa ci-bot
k create rolebinding ci-bot-edit --clusterrole=edit --serviceaccount=tag09:ci-bot
k auth can-i create deployments.apps --as=system:serviceaccount:tag09:ci-bot
k auth can-i get secrets --as=system:serviceaccount:tag09:ci-bot
k auth can-i create rolebindings --as=system:serviceaccount:tag09:ci-bot
k auth can-i create deployments -n default --as=system:serviceaccount:tag09:ci-botErwartet: yes, yes,
no, no.
k create rolebinding notes-app-view --clusterrole=view --serviceaccount=tag09:notes-app
k auth can-i get configmaps --as=system:serviceaccount:tag09:notes-app
k auth can-i get secrets --as=system:serviceaccount:tag09:notes-app
k get rolebinding -o wideErwartet:
rolebinding.rbac.authorization.k8s.io/notes-app-view created
yes
no
NAME ROLE AGE USERS GROUPS SERVICEACCOUNTS
ci-bot-edit ClusterRole/edit 7s tag09/ci-bot
notes-app-pod-reader Role/pod-reader 15s tag09/notes-app
notes-app-view ClusterRole/view 1s tag09/notes-app
Warum? edit darf Secrets lesen, view nicht.
Wer edit vergibt, gibt auch die Passwörter im Namespace
frei.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ein Pod fragt die API – 403, dann 200
Jeder Pod bekommt das Token seines ServiceAccounts unter
/var/run/secrets/kubernetes.io/serviceaccount
eingehängt.
k create sa lister
cat > api-client.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: api-client
spec:
serviceAccountName: lister
containers:
- name: curl
image: curlimages/curl:8.17.0
command: ["sleep", "3600"]
EOF
k apply -f api-client.yaml
k wait --for=condition=Ready pod/api-client --timeout=90s
k exec api-client -- ls /var/run/secrets/kubernetes.io/serviceaccountErwartet:
serviceaccount/lister created
pod/api-client created
pod/api-client condition met
ca.crt
namespace
token
Mit Token und CA die ConfigMaps des eigenen Namespace abfragen:
k exec api-client -- sh -c 'D=/var/run/secrets/kubernetes.io/serviceaccount
curl -s --cacert $D/ca.crt -H "Authorization: Bearer $(cat $D/token)" \
https://kubernetes.default.svc/api/v1/namespaces/tag09/configmaps' \
| grep -E '"(kind|message|code)"'Erwartet:
"kind": "Status",
"message": "configmaps is forbidden: User \"system:serviceaccount:tag09:lister\"
cannot list resource \"configmaps\" in API group \"\" in the namespace \"tag09\"",
"kind": "configmaps"
"code": 403
Authentifiziert ja (der Name steht in der Meldung), berechtigt nein. Jetzt die Rolle binden und denselben Befehl wiederholen:
k create rolebinding lister-view --clusterrole=view --serviceaccount=tag09:lister
k exec api-client -- sh -c 'D=/var/run/secrets/kubernetes.io/serviceaccount
curl -s -o /dev/null -w "%{http_code}\n" --cacert $D/ca.crt \
-H "Authorization: Bearer $(cat $D/token)" \
https://kubernetes.default.svc/api/v1/namespaces/tag09/configmaps'Erwartet:
rolebinding.rbac.authorization.k8s.io/lister-view created
200
RBAC wirkt sofort – kein Pod-Neustart nötig.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Admission – ValidatingAdmissionPolicy
RBAC fragt „darfst du Deployments anlegen?“, nicht „mit wie vielen Replicas?”. Das prüft die Admission. Eine ValidatingAdmissionPolicy (VAP) ist eine CEL-Regel direkt im API-Server, das Binding legt fest, wo sie gilt – hier nur in Namespaces mit Label:
cat > tag09-max-replicas.yaml <<'EOF'
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicy
metadata:
name: tag09-max-replicas
spec:
failurePolicy: Fail
matchConstraints:
resourceRules:
- apiGroups: ["apps"]
apiVersions: ["v1"]
operations: ["CREATE", "UPDATE"]
resources: ["deployments"]
validations:
- expression: "object.spec.replicas <= 3"
message: "Höchstens 3 Replicas erlaubt"
---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicyBinding
metadata:
name: tag09-max-replicas
spec:
policyName: tag09-max-replicas
validationActions: ["Deny"]
matchResources:
namespaceSelector:
matchLabels:
tag09-limits: "on"
EOF
k apply -f tag09-max-replicas.yaml
k create deploy big --image=nginx:1.29 --replicas=5 --dry-run=serverErwartet:
validatingadmissionpolicy.admissionregistration.k8s.io/tag09-max-replicas created
validatingadmissionpolicybinding.admissionregistration.k8s.io/tag09-max-replicas created
deployment.apps/big created (server dry run)
Noch fehlt das Label. --dry-run=server durchläuft die
Admission, speichert aber nichts.
k label ns tag09 tag09-limits=onDer API-Server braucht ein bis zwei Sekunden, bis er neue Policies und Labels kennt – wer schneller tippt, rutscht noch durch.
k create deploy big --image=nginx:1.29 --replicas=5
k create deploy small --image=nginx:1.29 --replicas=2Erwartet:
error: failed to create deployment: deployments.apps "big" is forbidden:
ValidatingAdmissionPolicy 'tag09-max-replicas' with binding 'tag09-max-replicas' denied
request: Höchstens 3 Replicas erlaubt
deployment.apps/small created
Fortschritt speichern? Kostenlos registrieren
Drill 6: Admission – Pod Security
Das eingebaute Plugin PodSecurity prüft Pods gegen
die Stufen privileged, baseline oder
restricted. Eingeschaltet wird es per Namespace-Label. Erst
testen, was mit den laufenden Pods wäre:
k label ns tag09 pod-security.kubernetes.io/enforce=restricted --dry-run=serverErwartet (gekürzt):
Warning: existing pods in namespace "tag09" violate the new PodSecurity enforce level
"restricted:latest"
Warning: api-client (and 2 other pods): allowPrivilegeEscalation != false, ...
namespace/tag09 labeled (server dry run)
Die beiden anderen sind die nginx-Pods von small.
Laufende Pods bleiben unberührt – geprüft wird nur beim Anlegen:
k label ns tag09 pod-security.kubernetes.io/enforce=restricted
k run notes --image=172.16.0.126:30500/notes-api:1.0 --env=NOTES_API_KEY=lab-key-123Erwartet (gekürzt, umbrochen):
Warning: existing pods in namespace "tag09" violate the new PodSecurity enforce ...
namespace/tag09 labeled
Error from server (Forbidden): pods "notes" is forbidden: violates PodSecurity
"restricted:latest": allowPrivilegeEscalation != false (container "notes" must set
securityContext.allowPrivilegeEscalation=false), unrestricted capabilities
(container "notes" must set securityContext.capabilities.drop=["ALL"]), runAsNonRoot !=
true (pod or container "notes" must set securityContext.runAsNonRoot=true),
seccompProfile (pod or container "notes" must set securityContext.seccompProfile.type
to "RuntimeDefault" or "Localhost")
Die Meldung ist die Reparaturanleitung. lab-key-123 ist
ein reiner Lab-Wert.
cat > notes.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: notes
spec:
securityContext:
runAsNonRoot: true
seccompProfile:
type: RuntimeDefault
containers:
- name: notes
image: 172.16.0.126:30500/notes-api:1.0
env:
- name: NOTES_API_KEY
value: lab-key-123
securityContext:
allowPrivilegeEscalation: false
capabilities:
drop: ["ALL"]
EOF
k apply -f notes.yaml
k wait --for=condition=Ready pod/notes --timeout=60sErwartet:
pod/notes created
pod/notes condition met
runAsNonRoot klappt, weil das Image als UID 65532 läuft.
nginx (läuft als root) bekäme hier zusätzlich runAsUser und
ein anderes Image (nginxinc/nginx-unprivileged).
Achtung: Bei einem Deployment kommt nur eine
Warning, das Deployment entsteht – die Pods aber nicht. Den Grund zeigtk get events --field-selector reason=FailedCreate.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Welche Admission-Plugins laufen?
Nur lesen, nichts ändern – auf cp1:
sudo grep -E 'authorization-mode|admission' \
/etc/kubernetes/manifests/kube-apiserver.yaml
k exec -n kube-system kube-apiserver-cp1 -- kube-apiserver -h \
| grep -o 'in addition to default enabled ones ([^)]*)'Erwartet (gekürzt):
- --authorization-mode=Node,RBAC
- --enable-admission-plugins=NodeRestriction
in addition to default enabled ones (NamespaceLifecycle, LimitRanger, ...
PodSecurity, ... MutatingAdmissionWebhook, ValidatingAdmissionPolicy,
ValidatingAdmissionWebhook, ResourceQuota)
PodSecurity, ValidatingAdmissionPolicy und
ResourceQuota (Tag 7) sind also ohne Zutun aktiv; kubeadm
schaltet nur NodeRestriction zusätzlich ein.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Der ServiceAccount
reporter(neu) soll intag09Deployments lesen dürfen (get, list). Zeitziel: 60 s - Darf
ci-botintag09Pods löschen? Zeitziel: 15 s - Setze für
tag09zusätzlich eine Warnung bei Verstößen gegenbaseline. Zeitziel: 20 s
Lösung
k create sa reporter
k create role deploy-reader --verb=get,list --resource=deployments.apps
k create rolebinding reporter-deploy-reader --role=deploy-reader \
--serviceaccount=tag09:reporter
k auth can-i list deployments.apps --as=system:serviceaccount:tag09:reporter
k auth can-i delete pods --as=system:serviceaccount:tag09:ci-bot
k label ns tag09 pod-security.kubernetes.io/warn=baselineErwartet:
serviceaccount/reporter created
role.rbac.authorization.k8s.io/deploy-reader created
rolebinding.rbac.authorization.k8s.io/reporter-deploy-reader created
yes
yes
namespace/tag09 labeled
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k auth can-i get secrets --as=system:serviceaccount:tag09:notes-appErwartet: no
k get ns tag09 -L pod-security.kubernetes.io/enforce,tag09-limitsErwartet:
NAME STATUS AGE ENFORCE TAG09-LIMITS
tag09 Active 5m restricted on
k get pod notes -o jsonpath='{.status.phase}{"\n"}'Erwartet: Running
Challenge
Skaliere small mit k scale auf 5 Replicas.
Die Policy greift nicht – finde den Grund und schließe die Lücke.
Hinweis: k scale ändert nicht das
Deployment, sondern seine Subresource scale.
Lösung
k scale deploy small --replicas=5
k scale deploy small --replicas=2
sed -i 's|\["deployments"\]|["deployments", "deployments/scale"]|' \
tag09-max-replicas.yaml
k apply -f tag09-max-replicas.yaml
k get validatingadmissionpolicy tag09-max-replicas \
-o jsonpath='{.spec.matchConstraints.resourceRules[0].resources}{"\n"}'k scale deploy small --replicas=5Erwartet:
deployment.apps/small scaled
deployment.apps/small scaled
validatingadmissionpolicy.admissionregistration.k8s.io/tag09-max-replicas configured
validatingadmissionpolicybinding.admissionregistration.k8s.io/tag09-max-replicas ...
["deployments","deployments/scale"]
The deployments "small" is invalid: : ValidatingAdmissionPolicy 'tag09-max-replicas'
with binding 'tag09-max-replicas' denied request: Höchstens 3 Replicas erlaubt
Der Ausdruck passt auf beide: Auch das Scale-Objekt hat
spec.replicas.
Aufräumen – die Policy ist clusterweit:
k config set-context --current --namespace=default
k delete ns tag09
k delete validatingadmissionpolicybinding tag09-max-replicas
k delete validatingadmissionpolicy tag09-max-replicasFortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Nach jeder RBAC-Aufgabe mit
k auth can-i … --as=system:serviceaccount:<ns>:<sa>beweisen, dass es wirkt. Ressourcen außerhalb der Core-Gruppe mit Gruppe angeben:deployments.apps. - Lehnt PodSecurity einen Pod ab, die Meldung Punkt für Punkt in den
securityContextübertragen. Bei Deployments stehen die Fehler in den Events des ReplicaSets. - Doku: kubernetes.io → „Pod Security Standards” enthält die fertigen
Felder für
restricted.
Enterprise-Notiz
- Menschen melden sich per OIDC (Keycloak, Entra ID) an; Rechte an Gruppen binden, nie an Einzelpersonen.
automountServiceAccountToken: falseüberall, wo eine Anwendung die API nicht braucht.- Pod Security per Label für alle Namespaces setzen, zuerst mit
warnundaudit, dannenforce. - Komplexe Regeln (Image-Herkunft, Pflicht-Labels) lösen Kyverno, OPA Gatekeeper oder VAPs mit Parametern; Policies in Git versionieren.