Tag 10: Images verifizieren
Ziel: Images in einer lokalen Registry mit cosign offline signieren, eine SBOM als Attestation anhängen und per
ImageValidatingPolicynur verifizierte, per Digest gepinnte Images zulassen. · Dauer: ca. 120 min · Voraussetzung: Tag 8
Briefing
- cosign signiert den Digest eines Images. Die Signatur liegt als OCI-Artefakt in derselben Registry wie das Image.
- cosign v3 schreibt Sigstore-Bundles und will standardmäßig Rekor (Transparency Log). Im Lab signierst du offline mit einer Signing-Config ohne Rekor und TSA.
ImageValidatingPolicyprüft Signaturen (verifyImageSignatures) und Attestations (verifyAttestationSignatures,extractPayload) per CEL.mutateDigest(Standard: an) ersetzt Tags durch den geprüften Digest. Was geprüft wurde, läuft auch.
Laptop: crane copy ──> localhost:5001/shop/web:1.31 ──> cosign sign / attest (SBOM)
│ (gleiche Registry, Container kind-registry)
kind: Pod kind-registry:5000/shop/web:1.31
└─> Kyverno: Signatur + SBOM prüfen ──> Tag durch @sha256:… ersetzen
Drill 1: Registry mit TLS im kind-Netz
Warum TLS im Lab? Kyverno 1.19.1 fand im Test cosign-v3-Signaturen
auf einer reinen HTTP-Registry nicht (no signatures found),
auch mit allowInsecure. Über HTTPS mit eigener Lab-CA
klappt es. Das Skript erzeugt Zertifikat, Registry und
containerd-Config.
mkdir -p ~/guard-lab/tag10 && cd ~/guard-lab/tag10
cp ~/guard-lab/code/kyverno/tag10/*.sh .
sed -n '/^for n/,/^done/p' setup-registry.sh
./setup-registry.shErwartet:
for n in $(kind get nodes --name "$CLUSTER"); do
docker exec "$n" mkdir -p "/etc/containerd/certs.d/$R"
docker cp certs/registry.crt "$n:/etc/containerd/certs.d/$R/ca.crt"
printf '[host."https://%s"]\n ca = "/etc/containerd/certs.d/%s/ca.crt"\n' "$R" "$R" \
| docker exec -i "$n" tee "/etc/containerd/certs.d/$R/hosts.toml" >/dev/null
echo "✔ $n vertraut $R"
done
✔ kyverno-lab-control-plane vertraut kind-registry:5000
✔ Registry erreichbar: https://localhost:5001
Mit drei Nodes siehst du drei ✔-Zeilen. Hier zahlt sich der
config_path aus Tag 0 aus: containerd liest
hosts.toml ohne Neustart. Jetzt muss auch Kyverno der
Lab-CA trauen:
helm upgrade kyverno kyverno/kyverno -n kyverno --version 3.9.1 --reuse-values \
--set-file global.caCertificates.data=certs/registry.crt --wait --timeout 5m
kubectl -n kyverno rollout restart deploy kyverno-admission-controller \
kyverno-background-controller kyverno-reports-controller
kubectl -n kyverno rollout status deploy kyverno-admission-controllerErwartet (gekürzt):
STATUS: deployed
deployment.apps/kyverno-admission-controller restarted
deployment.apps/kyverno-background-controller restarted
deployment.apps/kyverno-reports-controller restarted
deployment "kyverno-admission-controller" successfully rolled out
Achtung: Das Chart legt die CA als ConfigMap an und mountet sie per
subPathals/etc/ssl/certs/ca-certificates.crt.subPath-Mounts aktualisieren sich nicht. Ohnerollout restartmeldet Kyverno weiterx509: certificate signed by unknown authority. Und: Die Datei ersetzt das System-Bundle. In Produktion gehören alle benötigten CAs hinein, sonst erreicht Kyverno keine öffentliche Registry mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Image in die Registry
crane kopiert direkt von Registry zu Registry, ohne
lokalen Docker-Speicher. Du nimmst nur die Plattform deines Nodes, das
spart Platz.
ARCH=$(kubectl get node -o jsonpath='{.items[0].status.nodeInfo.architecture}')
crane copy --insecure --platform linux/$ARCH \
nginxinc/nginx-unprivileged:1.31-alpine localhost:5001/shop/web:1.31 2>/dev/null
crane ls --insecure localhost:5001/shop/web
R=localhost:5001/shop/web
DIGEST=$(crane digest --insecure $R:1.31); echo "$DIGEST"Erwartet (Digest je nach Architektur anders):
1.31
sha256:33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1
--insecure überspringt bei crane nur die
Zertifikatsprüfung gegen die Lab-CA. Zieht der Cluster das Image
wirklich aus der Registry?
kubectl -n shop run regtest -l app=regtest --image=kind-registry:5000/shop/web:1.31
kubectl -n shop wait --for=condition=Ready pod/regtest --timeout=90s
docker exec kyverno-lab-control-plane crictl images \
| awk '/kind-registry|nginx-unpriv/ {print $1, $2, $3}'
kubectl -n shop delete pod regtestErwartet:
pod/regtest created
pod/regtest condition met
docker.io/nginxinc/nginx-unprivileged 1.31-alpine 255a4f5f8f233
kind-registry:5000/shop/web 1.31 255a4f5f8f233
pod "regtest" deleted from shop namespace
Gleiche Image-ID wie
docker.io/nginxinc/nginx-unprivileged: Es sind dieselben
Bytes, nur unter einem anderen Namen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Offline signieren mit cosign v3
export COSIGN_PASSWORD=lab-cosign-pw # Lab-Passwort
cosign generate-key-pair
cosign signing-config create --out offline.json # ohne Rekor und TSA
cat offline.json; echo
cosign sign --registry-cacert certs/registry.crt --key cosign.key \
--signing-config offline.json -y "$R@$DIGEST"
crane ls --insecure $RErwartet:
Private key written to cosign.key
Public key written to cosign.pub
{"mediaType":"application/vnd.dev.sigstore.signingconfig.v0.2+json",
"rekorTlogConfig":{}, "tsaConfig":{}}
Signing artifact...
Pushing signature to: localhost:5001/shop/web
1.31
sha256-33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1
Die leere Signing-Config ist der Trick für Offline-Labs: keine
Rekor-URL, kein Zeitstempel-Dienst. Das neue Tag
sha256-<digest> ist ein OCI-Index, der auf das
Sigstore-Bundle zeigt (Referrers-Fallback, weil registry:2
die Referrers-API nicht kennt).
cosign verify --registry-cacert certs/registry.crt --key cosign.pub "$R@$DIGEST" \
2>&1 | tail -1
cosign verify --registry-cacert certs/registry.crt --key cosign.pub \
--insecure-ignore-tlog "$R@$DIGEST" 2>&1 | grep -E '^ -'Erwartet:
error during command execution: no matching attestations: failed to verify log
inclusion: not enough verified log entries from transparency log: 0 < 1
- The cosign claims were validated
- Existence of the claims in the transparency log was verified offline
- The signatures were verified against the specified public key
Ohne Rekor-Eintrag lehnt cosign v3 standardmäßig ab. Im Lab
akzeptierst du das bewusst mit --insecure-ignore-tlog.
Kyverno braucht dieselbe Ausnahme (Drill 5).
Sicherheit:
cosign.keyist ein Lab-Schlüssel mit Lab-Passwort. In Produktion liegt der Schlüssel im KMS oder Vault-Transit (--key hashivault://…), oder du signierst keyless über OIDC aus der CI.
Fortschritt speichern? Kostenlos registrieren
Drill 4: SBOM als signierte Attestation
SYFT_REGISTRY_CA_CERT=certs/registry.crt \
syft scan registry:$R@$DIGEST -o spdx-json=sbom.spdx.json -q
jq -r '.spdxVersion, (.packages | length)' sbom.spdx.json
cosign attest --registry-cacert certs/registry.crt --key cosign.key \
--signing-config offline.json -y --type spdxjson --predicate sbom.spdx.json \
"$R@$DIGEST"
cosign verify-attestation --registry-cacert certs/registry.crt --key cosign.pub \
--insecure-ignore-tlog --type spdxjson "$R@$DIGEST" 2>/dev/null \
| jq -r '.payload' | base64 -d \
| jq -r '.predicateType, .subject[0].digest.sha256, (.predicate.packages | length)'Erwartet:
SPDX-2.3
71
Using payload from: sbom.spdx.json
Signing artifact...
https://spdx.dev/Document
33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1
71
Die SBOM ist jetzt ein in-toto-Statement: subject ist
der Digest, predicate die SPDX-SBOM, alles signiert. Eine
SBOM als lose Datei im Wiki kann jeder austauschen, diese nicht.
Fortschritt speichern? Kostenlos registrieren
Drill 5: ImageValidatingPolicy
Das Skript bettet cosign.pub in die Policy ein:
./make-ivpol.sh cosign.pub > verify-shop-images.yaml
sed -n '/matchImageReferences/,$p' verify-shop-images.yaml | grep -v '^ 'Erwartet:
matchImageReferences:
- glob: "kind-registry:5000/shop/*"
attestors:
- name: lab
cosign:
key:
data: |
ctlog:
insecureIgnoreTlog: true
insecureIgnoreSCT: true
attestations:
- name: sbom
intoto:
type: https://spdx.dev/Document
validations:
- message: "Image ist nicht mit dem Lab-Key signiert."
expression: >-
images.containers.map(i, verifyImageSignatures(i, [attestors.lab]))
.all(n, n > 0)
- message: "Keine signierte SPDX-SBOM am Image."
expression: >-
images.containers.map(i, verifyAttestationSignatures(i,
attestations.sbom, [attestors.lab])).all(n, n > 0)
- message: "SBOM ist kein SPDX-2.3-Dokument mit Paketen."
expression: >-
images.containers.map(i, extractPayload(i, attestations.sbom))
.all(p, p.predicate.spdxVersion == 'SPDX-2.3' &&
size(p.predicate.packages) > 0)matchImageReferences begrenzt die Prüfung auf deine
Repos. Alle anderen Images (etwa docker.io/… der Demo-App)
bleiben unberührt. verifyImageSignatures liefert die Zahl
der gültigen Signaturen, daher n > 0.
Achtung: Laut Doku liefert
extractPayload()direkt das Predicate (also.spdxVersion). In Kyverno 1.19.1 kommt das ganze in-toto-Statement zurück, der Test mit.spdxVersionendet mitno such key: spdxVersion. Darump.predicate.….
Ein zweites Repo mit demselben Digest, aber ohne Signatur:
kubectl apply -f verify-shop-images.yaml
kubectl get ivpol
crane copy --insecure $R:1.31 localhost:5001/shop/unsigned:1.31 2>/dev/null
kubectl -n shop run web -l app=web --image=kind-registry:5000/shop/web@$DIGEST \
--dry-run=server -o name
kubectl -n shop run unsigned -l app=unsigned \
--image=kind-registry:5000/shop/unsigned@$DIGEST --dry-run=server -o name 2>&1 \
| sed 's/.*denied the request: //'Erwartet:
imagevalidatingpolicy.policies.kyverno.io/verify-shop-images created
NAME AGE READY
verify-shop-images 5s true
pod/web
Policy verify-shop-images failed: Image ist nicht mit dem Lab-Key signiert.
Gleiche Bytes, anderes Repo, keine Signatur: Die Signatur hängt am Repo. Ein umkopiertes Image muss neu signiert werden.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Digest-Pinning
Teams schreiben Tags. mutateDigest (Standard
true in validationConfigurations) ersetzt den
Tag durch den Digest, den Kyverno gerade geprüft hat:
kubectl -n shop run web -l app=web --image=kind-registry:5000/shop/web:1.31 \
--overrides='{"spec":{"securityContext":{"runAsNonRoot":true}}}'
kubectl -n shop wait --for=condition=Ready pod/web --timeout=90s
kubectl -n shop get pod web -o jsonpath='{.spec.containers[0].image}{"\n"}' \
| tr '@' '\n'Erwartet:
pod/web created
pod/web condition met
kind-registry:5000/shop/web:1.31
sha256:33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1
Warum ist das wichtig? Ohne Pinning prüft Kyverno den Digest von jetzt, der Kubelet zieht aber eventuell später, und bis dahin kann der Tag woanders hinzeigen. Jetzt verschiebst du den Tag absichtlich auf ein fremdes Image:
crane copy --insecure --platform linux/$ARCH curlimages/curl:8.22.0 $R:1.31 2>/dev/null
kubectl -n shop run moved -l app=moved --image=kind-registry:5000/shop/web:1.31 \
--dry-run=server -o name 2>&1 | sed 's/.*denied the request: //'
kubectl -n shop run pinned -l app=pinned --image=kind-registry:5000/shop/web@$DIGEST \
--dry-run=server -o name
crane tag --insecure $R@$DIGEST 1.31 2>/dev/null; crane digest --insecure $R:1.31Erwartet:
Policy verify-shop-images failed: Image ist nicht mit dem Lab-Key signiert.
pod/pinned
sha256:33594ea8c022029e6607bafee25871d224b5f7ca6e17c68d187b68718513a5b1
Der verschobene Tag zeigt auf unsigniertes Material und fliegt raus. Wer per Digest deployt, merkt von dem Angriff nichts. Am Ende zeigt der Tag wieder auf das signierte Image.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Fehlerfälle
Drei Angriffe bzw. Pannen, die die Policy abfangen muss: fremder Schlüssel, fehlende SBOM, Registry weg.
COSIGN_PASSWORD=x cosign generate-key-pair --output-key-prefix fremd >/dev/null 2>&1
for r in evil nosbom; do
crane copy --insecure $R:1.31 localhost:5001/shop/$r:1.31 2>/dev/null
done
COSIGN_PASSWORD=x cosign sign --registry-cacert certs/registry.crt --key fremd.key \
--signing-config offline.json -y localhost:5001/shop/evil@$DIGEST 2>/dev/null
cosign sign --registry-cacert certs/registry.crt --key cosign.key \
--signing-config offline.json -y localhost:5001/shop/nosbom@$DIGEST 2>/dev/null
for r in evil nosbom; do
kubectl -n shop run $r -l app=$r --image=kind-registry:5000/shop/$r:1.31 \
--dry-run=server -o name 2>&1 | sed 's/.*denied the request: //'
doneErwartet:
Policy verify-shop-images failed: Image ist nicht mit dem Lab-Key signiert.
Policy verify-shop-images failed: Keine signierte SPDX-SBOM am Image.
evil ist signiert, nur eben mit dem falschen Schlüssel.
nosbom hat die richtige Signatur, aber keine Attestation.
Jetzt fällt die Registry aus:
docker stop kind-registry
kubectl -n shop run down -l app=down --image=kind-registry:5000/shop/web:1.31 \
--dry-run=server -o name 2>&1 | sed 's/.*denied the request: //' \
| grep -o 'error: failed to update digest\|i/o timeout'
docker start kind-registryErwartet:
kind-registry
error: failed to update digest
i/o timeout
kind-registry
Fail-closed: Ohne Registry keine Prüfung, ohne Prüfung kein Pod. Das
ist gewollt, macht die Registry aber zur kritischen Abhängigkeit jedes
Deployments (Tag 12: failurePolicy, Timeouts, Cache
imageVerifyCacheTTLDuration, Standard 1 h).
Tipp: Mit
kubectl -n kyverno logs deploy/kyverno-admission-controller | grep ERRsiehst du den echten Grund, etwano signatures foundodercosign bundle verification failed. Die Meldung an den Client ist nur deinemessage.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ok() { echo "✔ $1"; }; nok() { echo "✘ $1"; }
try() { kubectl -n shop run t$RANDOM -l app=t --image="$1" --dry-run=server -o name \
>/dev/null 2>&1; }
curl -s --cacert certs/registry.crt https://localhost:5001/v2/ >/dev/null \
&& ok "Registry mit TLS erreichbar" || nok "Registry nicht erreichbar"
S=$(kubectl get ivpol verify-shop-images \
-o jsonpath='{.status.conditionStatus.ready}')
[ "$S" = true ] && ok "ImageValidatingPolicy bereit" || nok "Policy nicht bereit"
try kind-registry:5000/shop/web@$DIGEST && ok "signiert + SBOM erlaubt" \
|| nok "signiertes Image abgelehnt"
try kind-registry:5000/shop/unsigned:1.31 && nok "unsigniert erlaubt" \
|| ok "unsigniert abgelehnt"
try kind-registry:5000/shop/evil:1.31 && nok "fremder Schlüssel erlaubt" \
|| ok "fremder Schlüssel abgelehnt"
kubectl -n shop get pod web -o jsonpath='{.spec.containers[0].image}' \
| grep -q '@sha256' && ok "Pod web per Digest gepinnt" || nok "kein Digest im Pod"Challenge
Bring shop/nosbom durch die Policy, ohne die Policy
anzufassen. Danach soll ein Pod mit
kind-registry:5000/shop/nosbom:1.31 angelegt werden
können.
Hinweis: Die SBOM aus Drill 4 passt, denn der Digest ist derselbe.
Lösung
cosign attest --registry-cacert certs/registry.crt --key cosign.key \
--signing-config offline.json -y --type spdxjson --predicate sbom.spdx.json \
localhost:5001/shop/nosbom@$DIGEST
kubectl -n shop run nosbom -l app=nosbom --image=kind-registry:5000/shop/nosbom:1.31 \
--dry-run=server -o nameErwartet (gekürzt, kann je nach Version abweichen):
Using payload from: sbom.spdx.json
Signing artifact...
pod/nosbom
Die Attestation hängt am Repo, genau wie die Signatur. In einer echten Pipeline erzeugt die CI SBOM und Attestation für jedes Repo, in das sie pusht.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
kubectl delete ivpol verify-shop-images
kubectl -n shop delete pod web
docker rm -f kind-registryWillst du am nächsten Tag weitermachen, lass die Registry stehen. Teil D nutzt den Cluster weiter.
Enterprise-Notiz
- Keyless signieren: Die CI meldet sich per OIDC bei Fulcio an, Rekor
protokolliert. In der Policy stehen dann
keyless.identities(Subject, Issuer) statt eines Schlüssels. - Air-gapped Kunden: eigene Sigstore-Instanz (Fulcio, Rekor, TUF-Root)
oder Schlüssel aus dem KMS bzw. Vault-Transit.
insecureIgnoreTloggehört nicht in Produktion. - Die Registry muss Signaturen und Attestations mitspiegeln
(
cosign copy, Harbor Replication). Wer nur Images spiegelt, blockiert sich selbst. - Kyverno braucht Pull-Rechte auf jede geprüfte Registry
(
credentials.secretsin der Policy oder Credential-Helper) und das volle CA-Bundle. - Prüfe neben der SBOM auch SLSA-Provenance (
builder.id) und Scan-Attestations. Erst das beweist, wer das Image wie gebaut hat.