Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: Images verifizieren

Ziel: Images in einer lokalen Registry mit cosign offline signieren, eine SBOM als Attestation anhängen und per ImageValidatingPolicy nur verifizierte, per Digest gepinnte Images zulassen. · Dauer: ca. 120 min · Voraussetzung: Tag 8

Briefing

  • cosign signiert den Digest eines Images. Die Signatur liegt als OCI-Artefakt in derselben Registry wie das Image.
  • cosign v3 schreibt Sigstore-Bundles und will standardmäßig Rekor (Transparency Log). Im Lab signierst du offline mit einer Signing-Config ohne Rekor und TSA.
  • ImageValidatingPolicy prüft Signaturen (verifyImageSignatures) und Attestations (verifyAttestationSignatures, extractPayload) per CEL.
  • mutateDigest (Standard: an) ersetzt Tags durch den geprüften Digest. Was geprüft wurde, läuft auch.
Laptop:  crane copy ──> localhost:5001/shop/web:1.31 ──> cosign sign / attest (SBOM)
                              │ (gleiche Registry, Container kind-registry)
kind:    Pod kind-registry:5000/shop/web:1.31
           └─> Kyverno: Signatur + SBOM prüfen ──> Tag durch @sha256:… ersetzen

Drill 1: Registry mit TLS im kind-Netz

Warum TLS im Lab? Kyverno 1.19.1 fand im Test cosign-v3-Signaturen auf einer reinen HTTP-Registry nicht (no signatures found), auch mit allowInsecure. Über HTTPS mit eigener Lab-CA klappt es. Das Skript erzeugt Zertifikat, Registry und containerd-Config.

mkdir -p ~/guard-lab/tag10 && cd ~/guard-lab/tag10
cp ~/guard-lab/code/kyverno/tag10/*.sh .
sed -n '/^for n/,/^done/p' setup-registry.sh
./setup-registry.sh

Erwartet:

for n in $(kind get nodes --name "$CLUSTER"); do
  docker exec "$n" mkdir -p "/etc/containerd/certs.d/$R"
  docker cp certs/registry.crt "$n:/etc/containerd/certs.d/$R/ca.crt"
  printf '[host."https://%s"]\n  ca = "/etc/containerd/certs.d/%s/ca.crt"\n' "$R" "$R" \
    | docker exec -i "$n" tee "/etc/containerd/certs.d/$R/hosts.toml" >/dev/null
  echo "✔ $n vertraut $R"
done
✔ kyverno-lab-control-plane vertraut kind-registry:5000
✔ Registry erreichbar: https://localhost:5001

Mit drei Nodes siehst du drei ✔-Zeilen. Hier zahlt sich der config_path aus Tag 0 aus: containerd liest hosts.toml ohne Neustart. Jetzt muss auch Kyverno der Lab-CA trauen:

helm upgrade kyverno kyverno/kyverno -n kyverno --version 3.9.1 --reuse-values \
  --set-file global.caCertificates.data=certs/registry.crt --wait --timeout 5m
kubectl -n kyverno rollout restart deploy kyverno-admission-controller \
  kyverno-background-controller kyverno-reports-controller
kubectl -n kyverno rollout status deploy kyverno-admission-controller

Erwartet (gekürzt):

STATUS: deployed
deployment.apps/kyverno-admission-controller restarted
deployment.apps/kyverno-background-controller restarted
deployment.apps/kyverno-reports-controller restarted
deployment "kyverno-admission-controller" successfully rolled out

Achtung: Das Chart legt die CA als ConfigMap an und mountet sie per subPath als /etc/ssl/certs/ca-certificates.crt. subPath-Mounts aktualisieren sich nicht. Ohne rollout restart meldet Kyverno weiter x509: certificate signed by unknown authority. Und: Die Datei ersetzt das System-Bundle. In Produktion gehören alle benötigten CAs hinein, sonst erreicht Kyverno keine öffentliche Registry mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Image in die Registry

crane kopiert direkt von Registry zu Registry, ohne lokalen Docker-Speicher. Du nimmst nur die Plattform deines Nodes, das spart Platz.

ARCH=$(kubectl get node -o jsonpath='{.items[0].status.nodeInfo.architecture}')
crane copy --insecure --platform linux/$ARCH \
  nginxinc/nginx-unprivileged:1.31-alpine localhost:5001/shop/web:1.31 2>/dev/null
crane ls --insecure localhost:5001/shop/web
R=localhost:5001/shop/web
DIGEST=$(crane digest --insecure $R:1.31); echo "$DIGEST"

Erwartet (Digest je nach Architektur anders):

1.31
sha256:33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1

--insecure überspringt bei crane nur die Zertifikatsprüfung gegen die Lab-CA. Zieht der Cluster das Image wirklich aus der Registry?

kubectl -n shop run regtest -l app=regtest --image=kind-registry:5000/shop/web:1.31
kubectl -n shop wait --for=condition=Ready pod/regtest --timeout=90s
docker exec kyverno-lab-control-plane crictl images \
  | awk '/kind-registry|nginx-unpriv/ {print $1, $2, $3}'
kubectl -n shop delete pod regtest

Erwartet:

pod/regtest created
pod/regtest condition met
docker.io/nginxinc/nginx-unprivileged 1.31-alpine 255a4f5f8f233
kind-registry:5000/shop/web 1.31 255a4f5f8f233
pod "regtest" deleted from shop namespace

Gleiche Image-ID wie docker.io/nginxinc/nginx-unprivileged: Es sind dieselben Bytes, nur unter einem anderen Namen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Offline signieren mit cosign v3

export COSIGN_PASSWORD=lab-cosign-pw              # Lab-Passwort
cosign generate-key-pair
cosign signing-config create --out offline.json   # ohne Rekor und TSA
cat offline.json; echo
cosign sign --registry-cacert certs/registry.crt --key cosign.key \
  --signing-config offline.json -y "$R@$DIGEST"
crane ls --insecure $R

Erwartet:

Private key written to cosign.key
Public key written to cosign.pub
{"mediaType":"application/vnd.dev.sigstore.signingconfig.v0.2+json",
"rekorTlogConfig":{}, "tsaConfig":{}}
Signing artifact...
Pushing signature to: localhost:5001/shop/web
1.31
sha256-33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1

Die leere Signing-Config ist der Trick für Offline-Labs: keine Rekor-URL, kein Zeitstempel-Dienst. Das neue Tag sha256-<digest> ist ein OCI-Index, der auf das Sigstore-Bundle zeigt (Referrers-Fallback, weil registry:2 die Referrers-API nicht kennt).

cosign verify --registry-cacert certs/registry.crt --key cosign.pub "$R@$DIGEST" \
  2>&1 | tail -1
cosign verify --registry-cacert certs/registry.crt --key cosign.pub \
  --insecure-ignore-tlog "$R@$DIGEST" 2>&1 | grep -E '^  -'

Erwartet:

error during command execution: no matching attestations: failed to verify log
inclusion: not enough verified log entries from transparency log: 0 < 1
  - The cosign claims were validated
  - Existence of the claims in the transparency log was verified offline
  - The signatures were verified against the specified public key

Ohne Rekor-Eintrag lehnt cosign v3 standardmäßig ab. Im Lab akzeptierst du das bewusst mit --insecure-ignore-tlog. Kyverno braucht dieselbe Ausnahme (Drill 5).

Sicherheit: cosign.key ist ein Lab-Schlüssel mit Lab-Passwort. In Produktion liegt der Schlüssel im KMS oder Vault-Transit (--key hashivault://…), oder du signierst keyless über OIDC aus der CI.

Fortschritt speichern? Kostenlos registrieren

Drill 4: SBOM als signierte Attestation

SYFT_REGISTRY_CA_CERT=certs/registry.crt \
  syft scan registry:$R@$DIGEST -o spdx-json=sbom.spdx.json -q
jq -r '.spdxVersion, (.packages | length)' sbom.spdx.json
cosign attest --registry-cacert certs/registry.crt --key cosign.key \
  --signing-config offline.json -y --type spdxjson --predicate sbom.spdx.json \
  "$R@$DIGEST"
cosign verify-attestation --registry-cacert certs/registry.crt --key cosign.pub \
  --insecure-ignore-tlog --type spdxjson "$R@$DIGEST" 2>/dev/null \
  | jq -r '.payload' | base64 -d \
  | jq -r '.predicateType, .subject[0].digest.sha256, (.predicate.packages | length)'

Erwartet:

SPDX-2.3
71
Using payload from: sbom.spdx.json
Signing artifact...
https://spdx.dev/Document
33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1
71

Die SBOM ist jetzt ein in-toto-Statement: subject ist der Digest, predicate die SPDX-SBOM, alles signiert. Eine SBOM als lose Datei im Wiki kann jeder austauschen, diese nicht.

Fortschritt speichern? Kostenlos registrieren

Drill 5: ImageValidatingPolicy

Das Skript bettet cosign.pub in die Policy ein:

./make-ivpol.sh cosign.pub > verify-shop-images.yaml
sed -n '/matchImageReferences/,$p' verify-shop-images.yaml | grep -v '^            '

Erwartet:

  matchImageReferences:
    - glob: "kind-registry:5000/shop/*"
  attestors:
    - name: lab
      cosign:
        key:
          data: |
        ctlog:
          insecureIgnoreTlog: true
          insecureIgnoreSCT: true
  attestations:
    - name: sbom
      intoto:
        type: https://spdx.dev/Document
  validations:
    - message: "Image ist nicht mit dem Lab-Key signiert."
      expression: >-
        images.containers.map(i, verifyImageSignatures(i, [attestors.lab]))
        .all(n, n > 0)
    - message: "Keine signierte SPDX-SBOM am Image."
      expression: >-
        images.containers.map(i, verifyAttestationSignatures(i,
          attestations.sbom, [attestors.lab])).all(n, n > 0)
    - message: "SBOM ist kein SPDX-2.3-Dokument mit Paketen."
      expression: >-
        images.containers.map(i, extractPayload(i, attestations.sbom))
        .all(p, p.predicate.spdxVersion == 'SPDX-2.3' &&
          size(p.predicate.packages) > 0)

matchImageReferences begrenzt die Prüfung auf deine Repos. Alle anderen Images (etwa docker.io/… der Demo-App) bleiben unberührt. verifyImageSignatures liefert die Zahl der gültigen Signaturen, daher n > 0.

Achtung: Laut Doku liefert extractPayload() direkt das Predicate (also .spdxVersion). In Kyverno 1.19.1 kommt das ganze in-toto-Statement zurück, der Test mit .spdxVersion endet mit no such key: spdxVersion. Darum p.predicate.….

Ein zweites Repo mit demselben Digest, aber ohne Signatur:

kubectl apply -f verify-shop-images.yaml
kubectl get ivpol
crane copy --insecure $R:1.31 localhost:5001/shop/unsigned:1.31 2>/dev/null
kubectl -n shop run web -l app=web --image=kind-registry:5000/shop/web@$DIGEST \
  --dry-run=server -o name
kubectl -n shop run unsigned -l app=unsigned \
  --image=kind-registry:5000/shop/unsigned@$DIGEST --dry-run=server -o name 2>&1 \
  | sed 's/.*denied the request: //'

Erwartet:

imagevalidatingpolicy.policies.kyverno.io/verify-shop-images created
NAME                 AGE   READY
verify-shop-images   5s    true
pod/web
Policy verify-shop-images failed: Image ist nicht mit dem Lab-Key signiert.

Gleiche Bytes, anderes Repo, keine Signatur: Die Signatur hängt am Repo. Ein umkopiertes Image muss neu signiert werden.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Digest-Pinning

Teams schreiben Tags. mutateDigest (Standard true in validationConfigurations) ersetzt den Tag durch den Digest, den Kyverno gerade geprüft hat:

kubectl -n shop run web -l app=web --image=kind-registry:5000/shop/web:1.31 \
  --overrides='{"spec":{"securityContext":{"runAsNonRoot":true}}}'
kubectl -n shop wait --for=condition=Ready pod/web --timeout=90s
kubectl -n shop get pod web -o jsonpath='{.spec.containers[0].image}{"\n"}' \
  | tr '@' '\n'

Erwartet:

pod/web created
pod/web condition met
kind-registry:5000/shop/web:1.31
sha256:33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1

Warum ist das wichtig? Ohne Pinning prüft Kyverno den Digest von jetzt, der Kubelet zieht aber eventuell später, und bis dahin kann der Tag woanders hinzeigen. Jetzt verschiebst du den Tag absichtlich auf ein fremdes Image:

crane copy --insecure --platform linux/$ARCH curlimages/curl:8.22.0 $R:1.31 2>/dev/null
kubectl -n shop run moved -l app=moved --image=kind-registry:5000/shop/web:1.31 \
  --dry-run=server -o name 2>&1 | sed 's/.*denied the request: //'
kubectl -n shop run pinned -l app=pinned --image=kind-registry:5000/shop/web@$DIGEST \
  --dry-run=server -o name
crane tag --insecure $R@$DIGEST 1.31 2>/dev/null; crane digest --insecure $R:1.31

Erwartet:

Policy verify-shop-images failed: Image ist nicht mit dem Lab-Key signiert.
pod/pinned
sha256:33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1

Der verschobene Tag zeigt auf unsigniertes Material und fliegt raus. Wer per Digest deployt, merkt von dem Angriff nichts. Am Ende zeigt der Tag wieder auf das signierte Image.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Fehlerfälle

Drei Angriffe bzw. Pannen, die die Policy abfangen muss: fremder Schlüssel, fehlende SBOM, Registry weg.

COSIGN_PASSWORD=x cosign generate-key-pair --output-key-prefix fremd >/dev/null 2>&1
for r in evil nosbom; do
  crane copy --insecure $R:1.31 localhost:5001/shop/$r:1.31 2>/dev/null
done
COSIGN_PASSWORD=x cosign sign --registry-cacert certs/registry.crt --key fremd.key \
  --signing-config offline.json -y localhost:5001/shop/evil@$DIGEST 2>/dev/null
cosign sign --registry-cacert certs/registry.crt --key cosign.key \
  --signing-config offline.json -y localhost:5001/shop/nosbom@$DIGEST 2>/dev/null
for r in evil nosbom; do
  kubectl -n shop run $r -l app=$r --image=kind-registry:5000/shop/$r:1.31 \
    --dry-run=server -o name 2>&1 | sed 's/.*denied the request: //'
done

Erwartet:

Policy verify-shop-images failed: Image ist nicht mit dem Lab-Key signiert.
Policy verify-shop-images failed: Keine signierte SPDX-SBOM am Image.

evil ist signiert, nur eben mit dem falschen Schlüssel. nosbom hat die richtige Signatur, aber keine Attestation. Jetzt fällt die Registry aus:

docker stop kind-registry
kubectl -n shop run down -l app=down --image=kind-registry:5000/shop/web:1.31 \
  --dry-run=server -o name 2>&1 | sed 's/.*denied the request: //' \
  | grep -o 'error: failed to update digest\|i/o timeout'
docker start kind-registry

Erwartet:

kind-registry
error: failed to update digest
i/o timeout
kind-registry

Fail-closed: Ohne Registry keine Prüfung, ohne Prüfung kein Pod. Das ist gewollt, macht die Registry aber zur kritischen Abhängigkeit jedes Deployments (Tag 12: failurePolicy, Timeouts, Cache imageVerifyCacheTTLDuration, Standard 1 h).

Tipp: Mit kubectl -n kyverno logs deploy/kyverno-admission-controller | grep ERR siehst du den echten Grund, etwa no signatures found oder cosign bundle verification failed. Die Meldung an den Client ist nur deine message.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
try() { kubectl -n shop run t$RANDOM -l app=t --image="$1" --dry-run=server -o name \
  >/dev/null 2>&1; }
curl -s --cacert certs/registry.crt https://localhost:5001/v2/ >/dev/null \
  && ok "Registry mit TLS erreichbar" || nok "Registry nicht erreichbar"
S=$(kubectl get ivpol verify-shop-images \
  -o jsonpath='{.status.conditionStatus.ready}')
[ "$S" = true ] && ok "ImageValidatingPolicy bereit" || nok "Policy nicht bereit"
try kind-registry:5000/shop/web@$DIGEST && ok "signiert + SBOM erlaubt" \
  || nok "signiertes Image abgelehnt"
try kind-registry:5000/shop/unsigned:1.31 && nok "unsigniert erlaubt" \
  || ok "unsigniert abgelehnt"
try kind-registry:5000/shop/evil:1.31 && nok "fremder Schlüssel erlaubt" \
  || ok "fremder Schlüssel abgelehnt"
kubectl -n shop get pod web -o jsonpath='{.spec.containers[0].image}' \
  | grep -q '@sha256' && ok "Pod web per Digest gepinnt" || nok "kein Digest im Pod"

Challenge

Bring shop/nosbom durch die Policy, ohne die Policy anzufassen. Danach soll ein Pod mit kind-registry:5000/shop/nosbom:1.31 angelegt werden können.

Hinweis: Die SBOM aus Drill 4 passt, denn der Digest ist derselbe.

Lösung

cosign attest --registry-cacert certs/registry.crt --key cosign.key \
  --signing-config offline.json -y --type spdxjson --predicate sbom.spdx.json \
  localhost:5001/shop/nosbom@$DIGEST
kubectl -n shop run nosbom -l app=nosbom --image=kind-registry:5000/shop/nosbom:1.31 \
  --dry-run=server -o name

Erwartet (gekürzt, kann je nach Version abweichen):

Using payload from: sbom.spdx.json
Signing artifact...
pod/nosbom

Die Attestation hängt am Repo, genau wie die Signatur. In einer echten Pipeline erzeugt die CI SBOM und Attestation für jedes Repo, in das sie pusht.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

kubectl delete ivpol verify-shop-images
kubectl -n shop delete pod web
docker rm -f kind-registry

Willst du am nächsten Tag weitermachen, lass die Registry stehen. Teil D nutzt den Cluster weiter.

Enterprise-Notiz

  • Keyless signieren: Die CI meldet sich per OIDC bei Fulcio an, Rekor protokolliert. In der Policy stehen dann keyless.identities (Subject, Issuer) statt eines Schlüssels.
  • Air-gapped Kunden: eigene Sigstore-Instanz (Fulcio, Rekor, TUF-Root) oder Schlüssel aus dem KMS bzw. Vault-Transit. insecureIgnoreTlog gehört nicht in Produktion.
  • Die Registry muss Signaturen und Attestations mitspiegeln (cosign copy, Harbor Replication). Wer nur Images spiegelt, blockiert sich selbst.
  • Kyverno braucht Pull-Rechte auf jede geprüfte Registry (credentials.secrets in der Policy oder Credential-Helper) und das volle CA-Bundle.
  • Prüfe neben der SBOM auch SLSA-Provenance (builder.id) und Scan-Attestations. Erst das beweist, wer das Image wie gebaut hat.