Tag 14: Sicherheit und Zugriff
Ziel: API-Tokens mit Ablaufdatum und Reichweite vergeben, werk auch ohne Rancher erreichbar machen und Pod Security für das ganze Cluster durchsetzen. · Dauer: ca. 60 min · Voraussetzung: Tag 13
Briefing
- API-Tokens öffnen Rancher für Skripte und CI. Gute Tokens laufen ab und gelten nur für ein Cluster.
- Bisher ging jeder Zugriff auf werk durch den Rancher-Proxy. Fällt Rancher aus, steht man vor verschlossener Tür. Der Authorized Cluster Endpoint (ACE) erlaubt den direkten Weg zum API-Server, mit denselben Rancher-Tokens.
- Mit einer Pod Security Admission-Vorlage gilt
restrictedfür alle Namespaces eines Clusters, mit festen Ausnahmen für System-Namespaces.
kubectl ─► Kontext werk ─► Rancher-Proxy ─► cluster-agent ─► API-Server werk1
└─► Kontext werk-werk1 ───────────────────────────────────► API-Server werk1
(kube-api-auth prüft den Token)
Drill 1: Ein Token für die CI
source ~/rancher-lab/setup/env.sh
mkdir -p "$LAB/tag14" && cd "$LAB/tag14"
cp "$LAB/code/tag14/"* .
export KUBECONFIG="$LAB/kube/rancher.yaml"
R="https://rancher.$RANCHER.sslip.io"
H="Authorization: Bearer $(cat "$LAB/rancher-token")"
W_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io werk \
-o jsonpath='{.status.clusterName}')
K_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io k3s \
-o jsonpath='{.status.clusterName}')
( umask 077
curl -sk -X POST -H "$H" -H 'Content-Type: application/json' "$R/v3/tokens" \
-d "{\"type\":\"token\",\"description\":\"ci-werk\",\"clusterId\":\"$W_ID\",
\"ttl\":3600000}" | jq -r .token > ci-token )
T="Authorization: Bearer $(cat ci-token)"
curl -sk -o /dev/null -w 'werk: %{http_code}\n' -H "$T" \
"$R/k8s/clusters/$W_ID/api/v1/namespaces/notes/pods"
curl -sk -o /dev/null -w 'k3s: %{http_code}\n' -H "$T" \
"$R/k8s/clusters/$K_ID/api/v1/namespaces/notes/pods"
curl -sk -o /dev/null -w 'Rancher-API: %{http_code}\n' -H "$T" "$R/v3/clusters"Erwartet:
werk: 200
k3s: 403
Rancher-API: 401
ttl ist in Millisekunden angegeben, hier eine Stunde.
clusterId beschränkt den Token auf werk: dort Zugriff mit
den Rechten des Admins, auf k3s und an der Rancher-API nicht. Für eine
CI ist das der richtige Zuschnitt.
c='DESC:.description,CLUSTER:.clusterName,TTL:.ttl,EXPIRED:.expired'
kubectl get tokens.management.cattle.io -o custom-columns="$c" \
| grep -E 'DESC|ci-werk|cli'Erwartet (gekürzt):
DESC CLUSTER TTL EXPIRED
rancher-lab cli <none> 57600000 false
ci-werk c-m-ct8fr7hj 3600000 false
anna cli <none> 57600000 false
Die Login-Tokens aus Tag 5 und 6 gelten 16 Stunden (57600000 ms). Danach meldest du dich neu an, wie in Tag 5, Drill 7.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Wer welche Schlüssel hat
Unter Account and API Keys (Profilbild oben rechts) stehen alle Tokens des angemeldeten Benutzers:
Auffällig sind die Einträge Kubeconfig token: Jede
mit generateKubeconfig oder Download
KubeConfig erzeugte Datei bringt ihren eigenen Token mit,
gültig 29 Tage. Wer kubeconfigs verteilt, verteilt Schlüssel. Nicht mehr
gebrauchte löschst du hier.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Direkter Zugang zu werk
# tag14/werk-zugang.yaml – Stand Ende Tag 14: Ausschnitt für spec von Cluster werk
# Mit kubectl patch --type merge -p "$(yq -o=json werk-zugang.yaml)" anwenden.
spec:
localClusterAuthEndpoint:
enabled: true # direkter Zugang zu werk1, auch ohne Rancher
defaultPodSecurityAdmissionConfigurationTemplateName: rancher-restrictedErst nur der Zugang, die Pod Security folgt in Drill 5:
kubectl -n fleet-default patch clusters.provisioning.cattle.io werk --type merge \
-p '{"spec":{"localClusterAuthEndpoint":{"enabled":true}}}'
kubectl --kubeconfig "$LAB/kube/werk.yaml" -n cattle-system rollout status \
ds/kube-api-auth --timeout=300s
( umask 077
curl -sk -X POST -H "$H" "$R/v3/clusters/$W_ID?action=generateKubeconfig" \
| jq -r .config > "$LAB/kube/werk-ace.yaml" )
kubectl --kubeconfig "$LAB/kube/werk-ace.yaml" config get-contexts
grep 'server:' "$LAB/kube/werk-ace.yaml"Erwartet (gekürzt):
cluster.provisioning.cattle.io/werk patched
daemon set "kube-api-auth" successfully rolled out
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
* werk werk werk
werk-werk1 werk-werk1 werk
server: "https://rancher.….sslip.io/k8s/clusters/c-m-ct8fr7hj"
server: "https://…:6443"
Die neue kubeconfig hat zwei Kontexte: werk über Rancher
wie bisher, werk-werk1 direkt zum API-Server von werk1.
Rancher hat dafür auf dem Control-Plane-Node den Dienst
kube-api-auth gestartet und den API-Server so
umkonfiguriert, dass er Rancher-Tokens annimmt. Das braucht einen
Neustart von RKE2; bis dahin antwortet werk-werk1 mit
Unauthorized. Nach zwei, drei Minuten:
kubectl --kubeconfig "$LAB/kube/werk-ace.yaml" --context werk-werk1 get nodesErwartet:
NAME STATUS ROLES AGE VERSION
werk1 Ready control-plane,etcd,worker 179m v1.36.5+rke2r1
werk2 Ready worker 174m v1.36.5+rke2r1
werk3 Ready worker 163m v1.36.5+rke2r1
Fortschritt speichern? Kostenlos registrieren
Drill 4: Rancher fällt aus
Jetzt der Beweis. Schalte Rancher ab:
kubectl -n cattle-system scale deploy rancher --replicas=0
kubectl -n cattle-system wait --for=delete pod -l app=rancher --timeout=120s
A="$LAB/kube/werk-ace.yaml"
kubectl --kubeconfig "$A" --context werk get nodes --request-timeout=10s
kubectl --kubeconfig "$A" --context werk-werk1 -n notes get pods | head -3
curl -s "http://notes.$WERK1.sslip.io/api/notes"; echoErwartet (gekürzt):
deployment.apps/rancher scaled
pod/rancher-6d985fd969-v7vrd condition met
Error from server (ServiceUnavailable): the server is currently unable to handle the
request (get nodes)
NAME READY STATUS RESTARTS AGE
api-5968bfb5cc-5smz4 1/1 Running 11 (12m ago) 81m
api-5968bfb5cc-zzpn8 1/1 Running 9 (11m ago) 81m
[{"id":"c0c70ff3-…","text":"aus dem eigenen Katalog"}]
Über Rancher geht nichts mehr, direkt geht alles, und notes läuft ohnehin weiter: Rancher steht nicht im Datenpfad der Anwendungen. Hol Rancher zurück:
kubectl -n cattle-system scale deploy rancher --replicas=1
kubectl -n cattle-system rollout status deploy/rancher --timeout=300sErwartet:
deployment.apps/rancher scaled
…
deployment "rancher" successfully rolled out
Nach anderthalb Minuten geht auch der Kontext werk
wieder.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Pod Security für das ganze Cluster
Bisher schützt nur der Namespace notes seine Pods mit
restricted (Tag 6). Im Namespace default von
werk ist noch alles erlaubt:
W="$LAB/kube/werk.yaml"
o='{"spec":{"containers":[{"name":"priv","image":"busybox:1.37",
"securityContext":{"privileged":true}}]}}'
kubectl --kubeconfig "$W" -n default run priv --image=busybox:1.37 --restart=Never \
--dry-run=server --overrides="$o"
kubectl get podsecurityadmissionconfigurationtemplates.management.cattle.ioErwartet:
pod/priv created (server dry run)
NAME AGE
rancher-privileged 3h41m
rancher-restricted 3h41m
Ein privilegierter Pod, also Root auf dem Node, wäre durchgegangen.
Rancher bringt zwei Vorlagen mit; rancher-restricted setzt
restricted für alle Namespaces außer einer Liste von
System-Namespaces:
kubectl -n fleet-default patch clusters.provisioning.cattle.io werk --type merge \
-p '{"spec":{"defaultPodSecurityAdmissionConfigurationTemplateName":
"rancher-restricted"}}'
kubectl -n fleet-default wait clusters.provisioning.cattle.io/werk \
--for=condition=Updated --timeout=600s
kubectl --kubeconfig "$W" -n default run priv --image=busybox:1.37 --restart=Never \
--dry-run=server --overrides="$o"
kubectl --kubeconfig "$W" -n default run plain --image=busybox:1.37 --restart=Never \
--dry-run=serverErwartet (gekürzt; steht beim ersten Versuch noch
created, eine Minute warten):
cluster.provisioning.cattle.io/werk patched
cluster.provisioning.cattle.io/werk condition met
Error from server (Forbidden): pods "priv" is forbidden: violates PodSecurity
"restricted:latest": privileged (container "priv" must not set
securityContext.privileged=true), allowPrivilegeEscalation …
Error from server (Forbidden): pods "plain" is forbidden: violates PodSecurity
"restricted:latest": allowPrivilegeEscalation != false (container "plain" must set …
Jetzt fällt sogar ein schlichter busybox-Pod durch, weil ihm die
Härtung fehlt. notes läuft weiter: Das Chart ist seit „Kubernetes zum
Anfassen”, Tag 8, restricted-fest.
kubectl get podsecurityadmissionconfigurationtemplates.management.cattle.io \
rancher-restricted -o jsonpath='{.configuration.exemptions.namespaces}' \
| tr ',' '\n' | grep -E 'longhorn|monitoring|kube-system|local-path'Erwartet:
"cattle-monitoring-system"
"kube-system"
"longhorn-system"
Achtung:
local-path-storagesteht nicht auf der Liste. Die Hilfs-Pods von local-path, die neue Volumes anlegen, sind nicht gehärtet und scheitern jetzt. Auf werk stört das nicht mehr, Longhorn ist Standard. Wer local-path behält, nimmt den Namespace in eine eigene Vorlage auf.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl --kubeconfig "$LAB/kube/werk-ace.yaml" config get-contexts -o nameErwartet: beide Kontexte.
werk
werk-werk1
kubectl -n fleet-default get clusters.provisioning.cattle.io werk \
-o jsonpath='{.spec.defaultPodSecurityAdmissionConfigurationTemplateName}'; echoErwartet: rancher-restricted.
rancher-restricted
curl -sk -o /dev/null -w '%{http_code}\n' -H "$T" "$R/v3/clusters"Erwartet: Der CI-Token kommt an Ranchers eigene API nicht heran.
401
Challenge
Beweise, dass ein Token wirklich abläuft. Lege einen für werk an, der nach einer Minute verfällt, und frag einmal sofort und einmal nach 75 Sekunden die Pods von notes ab.
Hinweis: ttl zählt in
Millisekunden.
Lösung
( umask 077
curl -sk -X POST -H "$H" -H 'Content-Type: application/json' "$R/v3/tokens" \
-d "{\"type\":\"token\",\"description\":\"kurz\",\"clusterId\":\"$W_ID\",
\"ttl\":60000}" | jq -r .token > kurz-token )
K="Authorization: Bearer $(cat kurz-token)"
P="$R/k8s/clusters/$W_ID/api/v1/namespaces/notes/pods"
curl -sk -o /dev/null -w 'sofort: %{http_code}\n' -H "$K" "$P"
sleep 75
curl -sk -o /dev/null -w 'nach 75 s: %{http_code}\n' -H "$K" "$P"
rm kurz-tokenErwartet:
sofort: 200
nach 75 s: 403
Nach Ablauf behandelt Rancher den Token wie keinen: Die Antwort nennt
den Benutzer system:unauthenticated. Das Token-Objekt zeigt
eine Weile noch EXPIRED false; Rancher räumt abgelaufene
Tokens zeitversetzt auf.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Anmeldung: Lokale Benutzer und Admin-Passwort sind für den Notfall. Im Alltag melden sich alle über Keycloak, Entra ID, LDAP oder GitHub an, mit Gruppenrechten.
- ACE mit Load Balancer: In Produktion zeigt
localClusterAuthEndpoint.fqdnauf einen Load Balancer vor allen Control-Plane-Nodes, mit Zertifikat incaCerts. - Tokens begrenzen: Die Einstellungen
auth-token-max-ttl-minutesundkubeconfig-default-token-ttl-minuteslegen Obergrenzen für alle Tokens fest. - Audit:
auditLog.levelim Rancher-Chart schreibt jede API-Anfrage mit, wer, wann, was. In regulierten Umgebungen geht das Log in ein SIEM. - Härtung: Das CIS-Profil von RKE2
(
profile: cis) und Ranchers Compliance-Scans (CIS-Benchmark) prüfen Nodes und Cluster gegen anerkannte Vorgaben.