Tag 8: Validate
Ziel: Pod Security, Labels, Ressourcen, Image-Tags und Registries mit
ValidatingPolicyerzwingen und Meldungen schreiben, die Teams sofort verstehen. · Dauer: ca. 90 min · Voraussetzung: Tag 7
Briefing
- Eine
ValidatingPolicy= Auswahl (matchConstraints,matchConditions) + Hilfswerte (variables) + Prüfungen (validations) mit CEL. namespaceSelectorgrenzt per Namespace-Label ein,matchConditionsper CEL auf das Objekt. Beides reduziert Webhook-Last und Fehlalarme.messageExpressionbaut die Fehlermeldung dynamisch: Container-Name, Image, Wert.- Kyverno bringt eigene CEL-Bibliotheken mit, z. B.
image()undresource.Get(). - Die Demo-Pods aus Tag 0 erfüllen „restricted”. Alles, was heute abgelehnt wird, ist absichtlich kaputt.
Drill 1: Pod Security „baseline” erzwingen
mkdir -p ~/guard-lab/tag08 && cd ~/guard-lab/tag08
kubectl delete vpol require-app-label --ignore-not-found
cp ~/guard-lab/code/kyverno/tag08/*.yaml .
sed -n '/variables:/,$p' pss-baseline.yamlErwartet:
variables:
- name: allContainers
expression: >-
object.spec.containers
+ object.spec.?initContainers.orValue([])
+ object.spec.?ephemeralContainers.orValue([])
validations:
- expression: >-
!object.spec.?hostNetwork.orValue(false) &&
!object.spec.?hostPID.orValue(false) &&
!object.spec.?hostIPC.orValue(false)
message: "hostNetwork, hostPID und hostIPC sind verboten."
- expression: >-
variables.allContainers.all(c,
!c.?securityContext.?privileged.orValue(false))
messageExpression: >-
'privileged ist verboten: ' + variables.allContainers
.filter(c, c.?securityContext.?privileged.orValue(false))
.map(c, c.name).join(', ')
- expression: >-
object.spec.?volumes.orValue([]).all(v, !has(v.hostPath))
message: "hostPath-Volumes sind verboten."
- expression: >-
variables.allContainers.all(c, c.?ports.orValue([])
.all(p, p.?hostPort.orValue(0) == 0))
message: "hostPort ist verboten."Warum .? und orValue()? Optionale Felder
fehlen meist. object.spec.hostPID würde dann einen Fehler
werfen, object.spec.?hostPID.orValue(false) liefert sauber
false. Die Variable allContainers sorgt dafür,
dass niemand über einen Init- oder Debug-Container ausweicht. Die Policy
gilt für alle Namespaces außer kube-system.
kubectl apply -f pss-baseline.yaml
kubectl apply -f bad-pods.yamlErwartet:
validatingpolicy.policies.kyverno.io/pss-baseline created
pod/lazy created
Error from server: error when creating "bad-pods.yaml": admission webhook
"vpol.validate.kyverno.svc-fail-e52f2f0f" denied the request: Policy pss-baseline
failed: hostNetwork, hostPID und hostIPC sind verboten.
root-shell (hostPID + privileged) ist draußen,
lazy ist für „baseline” in Ordnung.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Nur die erste Verletzung zählt
Ein Pod mit zwei Problemen: Container b ist privileged,
und es gibt ein hostPath-Volume.
cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata: {name: priv, namespace: tenant-a, labels: {app: priv}}
spec:
containers:
- {name: a, image: "nginxinc/nginx-unprivileged:1.31-alpine"}
- name: b
image: nginxinc/nginx-unprivileged:1.31-alpine
securityContext: {privileged: true}
volumes:
- name: host
hostPath: {path: /etc}
EOFErwartet:
Error from server: error when creating "STDIN": admission webhook
"vpol.validate.kyverno.svc-fail-e52f2f0f" denied the request: Policy pss-baseline
failed: privileged ist verboten: b
Die Meldung nennt den Container, aber nicht das hostPath-Volume. Kyverno 1.19 bricht nach der ersten fehlgeschlagenen Validation einer Policy ab. Das Team behebt also einen Fehler und läuft in den nächsten.
Tipp: Ordne
validationsvom häufigsten zum seltensten Fehler. Oder sammle alle Verstöße in einer Variablen und prüfe sie in einer einzigen Validation (Drill 5).
Fortschritt speichern? Kostenlos registrieren
Drill 3: „restricted” erst im Audit
„restricted” verlangt runAsNonRoot,
allowPrivilegeEscalation: false,
capabilities.drop: [ALL] und ein Seccomp-Profil. Das bricht
viele Bestands-Workloads, also erst messen.
grep -E 'validationActions|message:' pss-restricted.yaml
kubectl apply -f pss-restricted.yaml
sleep 30
kubectl -n shop get polr --no-headers | awk '{print $2, $3, "pass="$4, "fail="$5}' \
| grep -E 'lazy|frontend'Erwartet (gekürzt):
validationActions: [Audit]
message: "runAsNonRoot: true fehlt (Pod oder Container)."
message: "allowPrivilegeEscalation: false fehlt."
message: "capabilities.drop muss ALL enthalten."
message: "seccompProfile RuntimeDefault oder Localhost fehlt."
validatingpolicy.policies.kyverno.io/pss-restricted created
Pod frontend-5f9bb6b549-7g86l pass=2 fail=0
Deployment frontend pass=2 fail=0
ReplicaSet frontend-5f9bb6b549 pass=2 fail=0
Pod lazy pass=0 fail=1
frontend besteht beide Policies (pass=2),
lazy fällt bei „restricted” durch. Die Variable
podNonRoot erlaubt beides: runAsNonRoot auf
Pod-Ebene (wie in der Demo-App) oder pro Container.
kubectl -n shop delete pod lazyTipp: Kyverno liefert die PSS-Kontrollen auch fertig als Policy-Bibliothek (
helm install kyverno-policies kyverno/kyverno-policies). Für den Einstieg reicht das, für Produktion willst du Meldungen und Ausnahmen selbst steuern.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Labels als Vertrag
Tag 3 hat Labels zum Vertrag zwischen Teams gemacht: NetworkPolicies
wählen per team, app und tier
aus. Jetzt erzwingst du sie. Version 1 grenzt per
matchConditions ein:
sed -n '/matchConditions/,$p' require-labels.yamlErwartet:
matchConditions:
- name: nur-demo-objekte
expression: >-
object.kind == 'Deployment' ||
object.metadata.?labels[?'guard-lab'].orValue('') == 'demo'
variables:
- name: required
expression: >-
object.kind == 'Namespace' ? ['team'] : ['app', 'tier']
- name: missing
expression: >-
variables.required.filter(l,
!(l in object.metadata.?labels.orValue({})))
validations:
- expression: "size(variables.missing) == 0"
messageExpression: >-
object.kind + ' ' + object.metadata.name + ': Labels fehlen: '
+ variables.missing.join(', ')
reason: InvalidEine Policy, zwei Ressourcentypen: Die Variable required
entscheidet je nach kind. Achte auf die Syntax
labels[?'guard-lab']: Bei Schlüsseln mit Bindestrich oder
Schrägstrich geht nur der Index-Zugriff, labels.?guard-lab
ist ein Syntaxfehler.
kubectl apply -f require-labels.yaml
kubectl apply -f label-objs.yamlErwartet:
validatingpolicy.policies.kyverno.io/require-labels created
namespace/scratch created
Error from server: error when creating "label-objs.yaml": admission webhook
"vpol.validate.kyverno.svc-fail-finegrained-require-labels" denied the request: Policy
require-labels failed: Namespace tenant-c: Labels fehlen: team
Error from server: error when creating "label-objs.yaml": admission webhook
"vpol.validate.kyverno.svc-fail-finegrained-require-labels" denied the request: Policy
require-labels failed: Deployment worker: Labels fehlen: tier
scratch hat kein guard-lab=demo und ist
frei. Mit matchConditions registriert Kyverno einen eigenen
„finegrained”-Webhook für die Policy. Jetzt der Haken. Warte auf den
Hintergrund-Scan:
sleep 30
kubectl get polr -A -o json | jq -r '.items[].results[]?
| select(.result=="fail" and .policy=="require-labels") | .message'Erwartet (gekürzt):
Deployment coredns: Labels fehlen: app, tier
Deployment kyverno-admission-controller: Labels fehlen: app, tier
Deployment kyverno-background-controller: Labels fehlen: app, tier
...
Die Bedingung object.kind == 'Deployment' gilt in jedem
Namespace. Im Report ist das nur hässlich. Aber das nächste
helm upgrade kyverno würde von der eigenen Policy
abgelehnt. Version 2 grenzt mit namespaceSelector ein. Für
Namespace-Objekte prüft der Selektor die Labels des Namespace selbst,
deshalb reicht eine Regel für beide Typen:
diff require-labels.yaml require-labels-v2.yaml | grep '^[<>]' | head -8
kubectl apply -f require-labels-v2.yaml
kubectl delete ns scratch
kubectl apply -f label-objs.yaml --dry-run=server 2>&1 | cut -c1-60Erwartet (gekürzt):
< matchConditions:
< - name: nur-demo-objekte
< expression: >-
< object.kind == 'Deployment' ||
< object.metadata.?labels[?'guard-lab'].orValue('') == 'demo'
> namespaceSelector:
> matchLabels:
> guard-lab: demo
validatingpolicy.policies.kyverno.io/require-labels configured
namespace "scratch" deleted
namespace/scratch created (server dry run)
Error from server: error when creating "label-objs.yaml": adm
Error from server: error when creating "label-objs.yaml": adm
Die alten Fehlschläge verschwinden aus den Reports erst nach dem nächsten Hintergrund-Scan (Standard: stündlich).
Fortschritt speichern? Kostenlos registrieren
Drill 5: Tags, Registries, Ressourcen – mit guten Meldungen
image-hygiene.yaml sammelt die Verstöße erst in
Variablen und prüft dann nur deren Größe. So nennt die Meldung genau die
schuldigen Images oder Container.
sed -n '/variables:/,/validations:/p' image-hygiene.yamlErwartet:
variables:
- name: allowedRegistries
expression: "['index.docker.io', 'kind-registry:5000']"
- name: images
expression: >-
(object.spec.containers + object.spec.?initContainers.orValue([]))
.map(c, c.image)
- name: latest
expression: >-
variables.images.filter(i,
!image(i).containsDigest() && image(i).tag() == 'latest')
- name: foreign
expression: >-
variables.images.filter(i,
!(image(i).registry() in variables.allowedRegistries))
- name: noResources
expression: >-
object.spec.containers.filter(c,
!('cpu' in c.?resources.?requests.orValue({})) ||
!('memory' in c.?resources.?requests.orValue({})) ||
!('memory' in c.?resources.?limits.orValue({})))
.map(c, c.name)
validations:image() ist Kyvernos Image-Bibliothek. Sie normalisiert
Referenzen: nginxinc/nginx-unprivileged wird zu Registry
index.docker.io mit Tag latest. Ein fehlender
Tag fällt also automatisch unter „latest”. Mit String-Vergleichen
stolperst du dagegen über den Doppelpunkt im Registry-Port
(kind-registry:5000/shop/web).
kubectl apply -f image-hygiene.yaml
kubectl apply -f hygiene-pods.yaml 2>&1 | sed 's/.*denied the request: //'
kubectl -n shop delete pod digestErwartet:
validatingpolicy.policies.kyverno.io/image-hygiene created
pod/digest created
Policy image-hygiene failed: Fester Tag oder Digest nötig, nicht :latest:
nginxinc/nginx-unprivileged:latest
Policy image-hygiene failed: Fester Tag oder Digest nötig, nicht :latest:
kind-registry:5000/shop/web
Policy image-hygiene failed: Registry nicht erlaubt: quay.io/prometheus/busybox:glibc
(erlaubt: index.docker.io, kind-registry:5000)
Policy image-hygiene failed: requests.cpu, requests.memory und limits.memory fehlen
bei: web
pod/digest deleted from shop namespace
Der Pod digest kommt durch: Ein Digest ist der stärkste
„feste Tag”. Sein Image gibt es noch nicht (Tag 10), deshalb gleich
wieder löschen.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Autogen – Fehler am Deployment, nicht am Pod
kubectl create deploy web -n tenant-b --image=nginxinc/nginx-unprivileged \
--dry-run=client -o yaml | kubectl label --local -f - tier=web -o yaml \
| kubectl apply --dry-run=server -f - 2>&1 | sed 's/.*denied the request: //'Erwartet:
Policy image-hygiene failed: Fester Tag oder Digest nötig, nicht :latest:
nginxinc/nginx-unprivileged
Ohne Autogen würde das Deployment angelegt, und erst der
ReplicaSet-Controller bekäme die Ablehnung beim Pod.
kubectl get deploy zeigte dann 0/1, und das
Team sucht in den Events. Mit Autogen sieht der Entwickler den Fehler
direkt in seinem apply oder in Argo CD. Steuern lässt sich
das über spec.autogen.podControllers.controllers.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Parameter aus einer ConfigMap
Die Registry-Liste gehört nicht in jede Policy, sondern an eine
zentrale Stelle. ValidatingPolicy kennt in 1.19 kein
paramKind wie die native
ValidatingAdmissionPolicy
(kubectl explain vpol.spec zeigt es nicht). Kyverno löst
das mit resource.Get():
grep -A3 'name: allowedRegistries' image-hygiene-cm.yaml
kubectl -n kyverno create configmap allowed-registries \
--from-literal=registries='index.docker.io,kind-registry:5000,quay.io'
kubectl apply -f image-hygiene-cm.yaml
kubectl apply -f hygiene-pods.yaml --dry-run=server 2>&1 | grep -E 'quay|digest'Erwartet:
- name: allowedRegistries
expression: >-
resource.Get("v1", "configmaps", "kyverno", "allowed-registries")
.data.registries.split(",")
configmap/allowed-registries created
validatingpolicy.policies.kyverno.io/image-hygiene configured
pod/quay created (server dry run)
pod/digest created (server dry run)
Die Liste wirkt sofort, ohne die Policy anzufassen. Und wenn die ConfigMap fehlt?
kubectl -n kyverno delete configmap allowed-registries
kubectl apply -f hygiene-pods.yaml --dry-run=server 2>&1 | grep quay \
| sed 's/.*denied the request: //'
kubectl apply -f image-hygiene.yamlErwartet:
configmap "allowed-registries" deleted from kyverno namespace
Policy image-hygiene error: error: no such key: data
validatingpolicy.policies.kyverno.io/image-hygiene configured
Fail-closed: Ohne Parameter wird alles abgelehnt. Das ist sicher, aber ein Ausfallrisiko. Die ConfigMap gehört deshalb ins selbe GitOps-Repo wie die Policy.
Sicherheit: Wer die ConfigMap ändern darf, steuert die Policy. Gib Schreibrechte auf den
kyverno-Namespace nur dem Plattform-Team.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
for p in pss-baseline pss-restricted require-labels image-hygiene; do
[ "$(kubectl get vpol $p -o jsonpath='{.status.conditionStatus.ready}' 2>/dev/null)" \
= true ] && ok "$p bereit" || nok "$p fehlt"
done
deny() { kubectl apply --dry-run=server -f - >/dev/null 2>&1 && nok "$1" || ok "$1"; }
kubectl run x -n shop -l app=x,tier=web --image=nginxinc/nginx-unprivileged:latest \
--dry-run=client -o yaml | deny ":latest abgelehnt"
kubectl run x -n shop -l app=x --image=quay.io/prometheus/busybox:glibc \
--dry-run=client -o yaml | deny "fremde Registry abgelehnt"
kubectl get deploy -n shop frontend -o yaml | kubectl apply --dry-run=server -f - \
>/dev/null 2>&1 && ok "Demo-frontend weiter gültig" || nok "Demo-frontend abgelehnt"
kyverno apply image-hygiene.yaml -f values.yaml -r ~/guard-lab/code/demo/10-shop.yaml \
>/dev/null 2>&1 && ok "CLI: Demo-App sauber" || nok "CLI: Demo-App verletzt Policy"Challenge
Begrenze das Memory-Limit jedes Containers in Demo-Namespaces auf
höchstens 512Mi. Die Meldung nennt Container und Wert. Teste nur mit der
CLI gegen big-pod.yaml und die Demo-App.
Hinweis: Die Kubernetes-CEL-Bibliothek kennt
quantity('1Gi') mit isGreaterThan(), damit
vergleichst du 1Gi und 512Mi korrekt.
Lösung
sed -n '/variables:/,$p' max-memory.yaml
kyverno apply max-memory.yaml -f values.yaml -r big-pod.yaml \
-r ~/guard-lab/code/demo/10-shop.yamlErwartet:
variables:
- name: tooBig
expression: >-
object.spec.containers.filter(c,
quantity(c.?resources.?limits[?'memory'].orValue('0'))
.isGreaterThan(quantity('512Mi')))
.map(c, c.name + '=' + c.resources.limits['memory'])
validations:
- expression: "size(variables.tooBig) == 0"
messageExpression: >-
'Memory-Limit über 512Mi: ' + variables.tooBig.join(', ')
Applying 1 policy rule(s) to 10 resource(s)...
policy max-memory -> resource shop/Pod/big failed:
1 - Memory-Limit über 512Mi: web=1Gi
pass: 3, fail: 1, warn: 0, error: 0, skip: 0
Ein String-Vergleich ('1Gi' > '512Mi') wäre falsch:
alphabetisch ist 1 kleiner als 5.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Pod Security Admission (PSA) im Namespace-Label ist die erste Linie, Kyverno die zweite: feinere Ausnahmen, bessere Meldungen, Reports (Tag 13).
- Erlaubte Registries in Produktion: nur die interne Registry bzw. der
Pull-Through-Cache (Harbor, Artifactory, Quay), nie direkt
docker.io. - Meldungen mit Link auf eine interne Wiki-Seite versehen („So behebst du das”). Das spart dem Plattform-Team Tickets.
- Ausnahmen nicht per
matchConditionsin jede Policy hineinbauen, sondern zentral überPolicyExceptionmit Ablaufdatum und Ticket-Referenz (Tag 11). - Policies vor jedem Rollout per
kyverno applygegen alle Manifeste im Repo prüfen, sonst merkt das erste Team den Fehler im Deployment.