Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 8: Validate

Ziel: Pod Security, Labels, Ressourcen, Image-Tags und Registries mit ValidatingPolicy erzwingen und Meldungen schreiben, die Teams sofort verstehen. · Dauer: ca. 90 min · Voraussetzung: Tag 7

Briefing

  • Eine ValidatingPolicy = Auswahl (matchConstraints, matchConditions) + Hilfswerte (variables) + Prüfungen (validations) mit CEL.
  • namespaceSelector grenzt per Namespace-Label ein, matchConditions per CEL auf das Objekt. Beides reduziert Webhook-Last und Fehlalarme.
  • messageExpression baut die Fehlermeldung dynamisch: Container-Name, Image, Wert.
  • Kyverno bringt eigene CEL-Bibliotheken mit, z. B. image() und resource.Get().
  • Die Demo-Pods aus Tag 0 erfüllen „restricted”. Alles, was heute abgelehnt wird, ist absichtlich kaputt.

Drill 1: Pod Security „baseline” erzwingen

mkdir -p ~/guard-lab/tag08 && cd ~/guard-lab/tag08
kubectl delete vpol require-app-label --ignore-not-found
cp ~/guard-lab/code/kyverno/tag08/*.yaml .
sed -n '/variables:/,$p' pss-baseline.yaml

Erwartet:

  variables:
    - name: allContainers
      expression: >-
        object.spec.containers
        + object.spec.?initContainers.orValue([])
        + object.spec.?ephemeralContainers.orValue([])
  validations:
    - expression: >-
        !object.spec.?hostNetwork.orValue(false) &&
        !object.spec.?hostPID.orValue(false) &&
        !object.spec.?hostIPC.orValue(false)
      message: "hostNetwork, hostPID und hostIPC sind verboten."
    - expression: >-
        variables.allContainers.all(c,
          !c.?securityContext.?privileged.orValue(false))
      messageExpression: >-
        'privileged ist verboten: ' + variables.allContainers
        .filter(c, c.?securityContext.?privileged.orValue(false))
        .map(c, c.name).join(', ')
    - expression: >-
        object.spec.?volumes.orValue([]).all(v, !has(v.hostPath))
      message: "hostPath-Volumes sind verboten."
    - expression: >-
        variables.allContainers.all(c, c.?ports.orValue([])
          .all(p, p.?hostPort.orValue(0) == 0))
      message: "hostPort ist verboten."

Warum .? und orValue()? Optionale Felder fehlen meist. object.spec.hostPID würde dann einen Fehler werfen, object.spec.?hostPID.orValue(false) liefert sauber false. Die Variable allContainers sorgt dafür, dass niemand über einen Init- oder Debug-Container ausweicht. Die Policy gilt für alle Namespaces außer kube-system.

kubectl apply -f pss-baseline.yaml
kubectl apply -f bad-pods.yaml

Erwartet:

validatingpolicy.policies.kyverno.io/pss-baseline created
pod/lazy created
Error from server: error when creating "bad-pods.yaml": admission webhook
"vpol.validate.kyverno.svc-fail-e52f2f0f" denied the request: Policy pss-baseline
failed: hostNetwork, hostPID und hostIPC sind verboten.

root-shell (hostPID + privileged) ist draußen, lazy ist für „baseline” in Ordnung.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Nur die erste Verletzung zählt

Ein Pod mit zwei Problemen: Container b ist privileged, und es gibt ein hostPath-Volume.

cat <<'EOF' | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata: {name: priv, namespace: tenant-a, labels: {app: priv}}
spec:
  containers:
    - {name: a, image: "nginxinc/nginx-unprivileged:1.31-alpine"}
    - name: b
      image: nginxinc/nginx-unprivileged:1.31-alpine
      securityContext: {privileged: true}
  volumes:
    - name: host
      hostPath: {path: /etc}
EOF

Erwartet:

Error from server: error when creating "STDIN": admission webhook
"vpol.validate.kyverno.svc-fail-e52f2f0f" denied the request: Policy pss-baseline
failed: privileged ist verboten: b

Die Meldung nennt den Container, aber nicht das hostPath-Volume. Kyverno 1.19 bricht nach der ersten fehlgeschlagenen Validation einer Policy ab. Das Team behebt also einen Fehler und läuft in den nächsten.

Tipp: Ordne validations vom häufigsten zum seltensten Fehler. Oder sammle alle Verstöße in einer Variablen und prüfe sie in einer einzigen Validation (Drill 5).

Fortschritt speichern? Kostenlos registrieren

Drill 3: „restricted” erst im Audit

„restricted” verlangt runAsNonRoot, allowPrivilegeEscalation: false, capabilities.drop: [ALL] und ein Seccomp-Profil. Das bricht viele Bestands-Workloads, also erst messen.

grep -E 'validationActions|message:' pss-restricted.yaml
kubectl apply -f pss-restricted.yaml
sleep 30
kubectl -n shop get polr --no-headers | awk '{print $2, $3, "pass="$4, "fail="$5}' \
  | grep -E 'lazy|frontend'

Erwartet (gekürzt):

  validationActions: [Audit]
      message: "runAsNonRoot: true fehlt (Pod oder Container)."
      message: "allowPrivilegeEscalation: false fehlt."
      message: "capabilities.drop muss ALL enthalten."
      message: "seccompProfile RuntimeDefault oder Localhost fehlt."
validatingpolicy.policies.kyverno.io/pss-restricted created
Pod frontend-5f9bb6b549-7g86l pass=2 fail=0
Deployment frontend pass=2 fail=0
ReplicaSet frontend-5f9bb6b549 pass=2 fail=0
Pod lazy pass=0 fail=1

frontend besteht beide Policies (pass=2), lazy fällt bei „restricted” durch. Die Variable podNonRoot erlaubt beides: runAsNonRoot auf Pod-Ebene (wie in der Demo-App) oder pro Container.

kubectl -n shop delete pod lazy

Tipp: Kyverno liefert die PSS-Kontrollen auch fertig als Policy-Bibliothek (helm install kyverno-policies kyverno/kyverno-policies). Für den Einstieg reicht das, für Produktion willst du Meldungen und Ausnahmen selbst steuern.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Labels als Vertrag

Tag 3 hat Labels zum Vertrag zwischen Teams gemacht: NetworkPolicies wählen per team, app und tier aus. Jetzt erzwingst du sie. Version 1 grenzt per matchConditions ein:

sed -n '/matchConditions/,$p' require-labels.yaml

Erwartet:

  matchConditions:
    - name: nur-demo-objekte
      expression: >-
        object.kind == 'Deployment' ||
        object.metadata.?labels[?'guard-lab'].orValue('') == 'demo'
  variables:
    - name: required
      expression: >-
        object.kind == 'Namespace' ? ['team'] : ['app', 'tier']
    - name: missing
      expression: >-
        variables.required.filter(l,
          !(l in object.metadata.?labels.orValue({})))
  validations:
    - expression: "size(variables.missing) == 0"
      messageExpression: >-
        object.kind + ' ' + object.metadata.name + ': Labels fehlen: '
        + variables.missing.join(', ')
      reason: Invalid

Eine Policy, zwei Ressourcentypen: Die Variable required entscheidet je nach kind. Achte auf die Syntax labels[?'guard-lab']: Bei Schlüsseln mit Bindestrich oder Schrägstrich geht nur der Index-Zugriff, labels.?guard-lab ist ein Syntaxfehler.

kubectl apply -f require-labels.yaml
kubectl apply -f label-objs.yaml

Erwartet:

validatingpolicy.policies.kyverno.io/require-labels created
namespace/scratch created
Error from server: error when creating "label-objs.yaml": admission webhook
"vpol.validate.kyverno.svc-fail-finegrained-require-labels" denied the request: Policy
require-labels failed: Namespace tenant-c: Labels fehlen: team
Error from server: error when creating "label-objs.yaml": admission webhook
"vpol.validate.kyverno.svc-fail-finegrained-require-labels" denied the request: Policy
require-labels failed: Deployment worker: Labels fehlen: tier

scratch hat kein guard-lab=demo und ist frei. Mit matchConditions registriert Kyverno einen eigenen „finegrained”-Webhook für die Policy. Jetzt der Haken. Warte auf den Hintergrund-Scan:

sleep 30
kubectl get polr -A -o json | jq -r '.items[].results[]?
  | select(.result=="fail" and .policy=="require-labels") | .message'

Erwartet (gekürzt):

Deployment coredns: Labels fehlen: app, tier
Deployment kyverno-admission-controller: Labels fehlen: app, tier
Deployment kyverno-background-controller: Labels fehlen: app, tier
...

Die Bedingung object.kind == 'Deployment' gilt in jedem Namespace. Im Report ist das nur hässlich. Aber das nächste helm upgrade kyverno würde von der eigenen Policy abgelehnt. Version 2 grenzt mit namespaceSelector ein. Für Namespace-Objekte prüft der Selektor die Labels des Namespace selbst, deshalb reicht eine Regel für beide Typen:

diff require-labels.yaml require-labels-v2.yaml | grep '^[<>]' | head -8
kubectl apply -f require-labels-v2.yaml
kubectl delete ns scratch
kubectl apply -f label-objs.yaml --dry-run=server 2>&1 | cut -c1-60

Erwartet (gekürzt):

<   matchConditions:
<     - name: nur-demo-objekte
<       expression: >-
<         object.kind == 'Deployment' ||
<         object.metadata.?labels[?'guard-lab'].orValue('') == 'demo'
>     namespaceSelector:
>       matchLabels:
>         guard-lab: demo
validatingpolicy.policies.kyverno.io/require-labels configured
namespace "scratch" deleted
namespace/scratch created (server dry run)
Error from server: error when creating "label-objs.yaml": adm
Error from server: error when creating "label-objs.yaml": adm

Die alten Fehlschläge verschwinden aus den Reports erst nach dem nächsten Hintergrund-Scan (Standard: stündlich).

Fortschritt speichern? Kostenlos registrieren

Drill 5: Tags, Registries, Ressourcen – mit guten Meldungen

image-hygiene.yaml sammelt die Verstöße erst in Variablen und prüft dann nur deren Größe. So nennt die Meldung genau die schuldigen Images oder Container.

sed -n '/variables:/,/validations:/p' image-hygiene.yaml

Erwartet:

  variables:
    - name: allowedRegistries
      expression: "['index.docker.io', 'kind-registry:5000']"
    - name: images
      expression: >-
        (object.spec.containers + object.spec.?initContainers.orValue([]))
        .map(c, c.image)
    - name: latest
      expression: >-
        variables.images.filter(i,
          !image(i).containsDigest() && image(i).tag() == 'latest')
    - name: foreign
      expression: >-
        variables.images.filter(i,
          !(image(i).registry() in variables.allowedRegistries))
    - name: noResources
      expression: >-
        object.spec.containers.filter(c,
          !('cpu' in c.?resources.?requests.orValue({})) ||
          !('memory' in c.?resources.?requests.orValue({})) ||
          !('memory' in c.?resources.?limits.orValue({})))
        .map(c, c.name)
  validations:

image() ist Kyvernos Image-Bibliothek. Sie normalisiert Referenzen: nginxinc/nginx-unprivileged wird zu Registry index.docker.io mit Tag latest. Ein fehlender Tag fällt also automatisch unter „latest”. Mit String-Vergleichen stolperst du dagegen über den Doppelpunkt im Registry-Port (kind-registry:5000/shop/web).

kubectl apply -f image-hygiene.yaml
kubectl apply -f hygiene-pods.yaml 2>&1 | sed 's/.*denied the request: //'
kubectl -n shop delete pod digest

Erwartet:

validatingpolicy.policies.kyverno.io/image-hygiene created
pod/digest created
Policy image-hygiene failed: Fester Tag oder Digest nötig, nicht :latest:
nginxinc/nginx-unprivileged:latest
Policy image-hygiene failed: Fester Tag oder Digest nötig, nicht :latest:
kind-registry:5000/shop/web
Policy image-hygiene failed: Registry nicht erlaubt: quay.io/prometheus/busybox:glibc
(erlaubt: index.docker.io, kind-registry:5000)
Policy image-hygiene failed: requests.cpu, requests.memory und limits.memory fehlen
bei: web
pod/digest deleted from shop namespace

Der Pod digest kommt durch: Ein Digest ist der stärkste „feste Tag”. Sein Image gibt es noch nicht (Tag 10), deshalb gleich wieder löschen.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Autogen – Fehler am Deployment, nicht am Pod

kubectl create deploy web -n tenant-b --image=nginxinc/nginx-unprivileged \
  --dry-run=client -o yaml | kubectl label --local -f - tier=web -o yaml \
  | kubectl apply --dry-run=server -f - 2>&1 | sed 's/.*denied the request: //'

Erwartet:

Policy image-hygiene failed: Fester Tag oder Digest nötig, nicht :latest:
nginxinc/nginx-unprivileged

Ohne Autogen würde das Deployment angelegt, und erst der ReplicaSet-Controller bekäme die Ablehnung beim Pod. kubectl get deploy zeigte dann 0/1, und das Team sucht in den Events. Mit Autogen sieht der Entwickler den Fehler direkt in seinem apply oder in Argo CD. Steuern lässt sich das über spec.autogen.podControllers.controllers.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Parameter aus einer ConfigMap

Die Registry-Liste gehört nicht in jede Policy, sondern an eine zentrale Stelle. ValidatingPolicy kennt in 1.19 kein paramKind wie die native ValidatingAdmissionPolicy (kubectl explain vpol.spec zeigt es nicht). Kyverno löst das mit resource.Get():

grep -A3 'name: allowedRegistries' image-hygiene-cm.yaml
kubectl -n kyverno create configmap allowed-registries \
  --from-literal=registries='index.docker.io,kind-registry:5000,quay.io'
kubectl apply -f image-hygiene-cm.yaml
kubectl apply -f hygiene-pods.yaml --dry-run=server 2>&1 | grep -E 'quay|digest'

Erwartet:

    - name: allowedRegistries
      expression: >-
        resource.Get("v1", "configmaps", "kyverno", "allowed-registries")
        .data.registries.split(",")
configmap/allowed-registries created
validatingpolicy.policies.kyverno.io/image-hygiene configured
pod/quay created (server dry run)
pod/digest created (server dry run)

Die Liste wirkt sofort, ohne die Policy anzufassen. Und wenn die ConfigMap fehlt?

kubectl -n kyverno delete configmap allowed-registries
kubectl apply -f hygiene-pods.yaml --dry-run=server 2>&1 | grep quay \
  | sed 's/.*denied the request: //'
kubectl apply -f image-hygiene.yaml

Erwartet:

configmap "allowed-registries" deleted from kyverno namespace
Policy image-hygiene error: error: no such key: data
validatingpolicy.policies.kyverno.io/image-hygiene configured

Fail-closed: Ohne Parameter wird alles abgelehnt. Das ist sicher, aber ein Ausfallrisiko. Die ConfigMap gehört deshalb ins selbe GitOps-Repo wie die Policy.

Sicherheit: Wer die ConfigMap ändern darf, steuert die Policy. Gib Schreibrechte auf den kyverno-Namespace nur dem Plattform-Team.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
for p in pss-baseline pss-restricted require-labels image-hygiene; do
  [ "$(kubectl get vpol $p -o jsonpath='{.status.conditionStatus.ready}' 2>/dev/null)" \
    = true ] && ok "$p bereit" || nok "$p fehlt"
done
deny() { kubectl apply --dry-run=server -f - >/dev/null 2>&1 && nok "$1" || ok "$1"; }
kubectl run x -n shop -l app=x,tier=web --image=nginxinc/nginx-unprivileged:latest \
  --dry-run=client -o yaml | deny ":latest abgelehnt"
kubectl run x -n shop -l app=x --image=quay.io/prometheus/busybox:glibc \
  --dry-run=client -o yaml | deny "fremde Registry abgelehnt"
kubectl get deploy -n shop frontend -o yaml | kubectl apply --dry-run=server -f - \
  >/dev/null 2>&1 && ok "Demo-frontend weiter gültig" || nok "Demo-frontend abgelehnt"
kyverno apply image-hygiene.yaml -f values.yaml -r ~/guard-lab/code/demo/10-shop.yaml \
  >/dev/null 2>&1 && ok "CLI: Demo-App sauber" || nok "CLI: Demo-App verletzt Policy"

Challenge

Begrenze das Memory-Limit jedes Containers in Demo-Namespaces auf höchstens 512Mi. Die Meldung nennt Container und Wert. Teste nur mit der CLI gegen big-pod.yaml und die Demo-App.

Hinweis: Die Kubernetes-CEL-Bibliothek kennt quantity('1Gi') mit isGreaterThan(), damit vergleichst du 1Gi und 512Mi korrekt.

Lösung

sed -n '/variables:/,$p' max-memory.yaml
kyverno apply max-memory.yaml -f values.yaml -r big-pod.yaml \
  -r ~/guard-lab/code/demo/10-shop.yaml

Erwartet:

  variables:
    - name: tooBig
      expression: >-
        object.spec.containers.filter(c,
          quantity(c.?resources.?limits[?'memory'].orValue('0'))
          .isGreaterThan(quantity('512Mi')))
        .map(c, c.name + '=' + c.resources.limits['memory'])
  validations:
    - expression: "size(variables.tooBig) == 0"
      messageExpression: >-
        'Memory-Limit über 512Mi: ' + variables.tooBig.join(', ')
Applying 1 policy rule(s) to 10 resource(s)...
policy max-memory -> resource shop/Pod/big failed:
1 -  Memory-Limit über 512Mi: web=1Gi

pass: 3, fail: 1, warn: 0, error: 0, skip: 0

Ein String-Vergleich ('1Gi' > '512Mi') wäre falsch: alphabetisch ist 1 kleiner als 5.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Pod Security Admission (PSA) im Namespace-Label ist die erste Linie, Kyverno die zweite: feinere Ausnahmen, bessere Meldungen, Reports (Tag 13).
  • Erlaubte Registries in Produktion: nur die interne Registry bzw. der Pull-Through-Cache (Harbor, Artifactory, Quay), nie direkt docker.io.
  • Meldungen mit Link auf eine interne Wiki-Seite versehen („So behebst du das”). Das spart dem Plattform-Team Tickets.
  • Ausnahmen nicht per matchConditions in jede Policy hineinbauen, sondern zentral über PolicyException mit Ablaufdatum und Ticket-Referenz (Tag 11).
  • Policies vor jedem Rollout per kyverno apply gegen alle Manifeste im Repo prüfen, sonst merkt das erste Team den Fehler im Deployment.