Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Sicherheit und Zugriff

Ziel: API-Tokens mit Ablaufdatum und Reichweite vergeben, werk auch ohne Rancher erreichbar machen und Pod Security für das ganze Cluster durchsetzen. · Dauer: ca. 60 min · Voraussetzung: Tag 13

Briefing

  • API-Tokens öffnen Rancher für Skripte und CI. Gute Tokens laufen ab und gelten nur für ein Cluster.
  • Bisher ging jeder Zugriff auf werk durch den Rancher-Proxy. Fällt Rancher aus, steht man vor verschlossener Tür. Der Authorized Cluster Endpoint (ACE) erlaubt den direkten Weg zum API-Server, mit denselben Rancher-Tokens.
  • Mit einer Pod Security Admission-Vorlage gilt restricted für alle Namespaces eines Clusters, mit festen Ausnahmen für System-Namespaces.
 kubectl ─► Kontext werk       ─► Rancher-Proxy ─► cluster-agent ─► API-Server werk1
        └─► Kontext werk-werk1 ───────────────────────────────────► API-Server werk1
                                                     (kube-api-auth prüft den Token)

Drill 1: Ein Token für die CI

source ~/rancher-lab/setup/env.sh
mkdir -p "$LAB/tag14" && cd "$LAB/tag14"
cp "$LAB/code/tag14/"* .
export KUBECONFIG="$LAB/kube/rancher.yaml"
R="https://rancher.$RANCHER.sslip.io"
H="Authorization: Bearer $(cat "$LAB/rancher-token")"
W_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io werk \
  -o jsonpath='{.status.clusterName}')
K_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io k3s \
  -o jsonpath='{.status.clusterName}')
( umask 077
  curl -sk -X POST -H "$H" -H 'Content-Type: application/json' "$R/v3/tokens" \
    -d "{\"type\":\"token\",\"description\":\"ci-werk\",\"clusterId\":\"$W_ID\",
         \"ttl\":3600000}" | jq -r .token > ci-token )
T="Authorization: Bearer $(cat ci-token)"
curl -sk -o /dev/null -w 'werk: %{http_code}\n' -H "$T" \
  "$R/k8s/clusters/$W_ID/api/v1/namespaces/notes/pods"
curl -sk -o /dev/null -w 'k3s: %{http_code}\n' -H "$T" \
  "$R/k8s/clusters/$K_ID/api/v1/namespaces/notes/pods"
curl -sk -o /dev/null -w 'Rancher-API: %{http_code}\n' -H "$T" "$R/v3/clusters"

Erwartet:

werk: 200
k3s: 403
Rancher-API: 401

ttl ist in Millisekunden angegeben, hier eine Stunde. clusterId beschränkt den Token auf werk: dort Zugriff mit den Rechten des Admins, auf k3s und an der Rancher-API nicht. Für eine CI ist das der richtige Zuschnitt.

c='DESC:.description,CLUSTER:.clusterName,TTL:.ttl,EXPIRED:.expired'
kubectl get tokens.management.cattle.io -o custom-columns="$c" \
  | grep -E 'DESC|ci-werk|cli'

Erwartet (gekürzt):

DESC               CLUSTER        TTL          EXPIRED
rancher-lab cli    <none>         57600000     false
ci-werk            c-m-ct8fr7hj   3600000      false
anna cli           <none>         57600000     false

Die Login-Tokens aus Tag 5 und 6 gelten 16 Stunden (57600000 ms). Danach meldest du dich neu an, wie in Tag 5, Drill 7.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Wer welche Schlüssel hat

Unter Account and API Keys (Profilbild oben rechts) stehen alle Tokens des angemeldeten Benutzers:

API-Schlüssel mit Reichweite und Ablauf

Auffällig sind die Einträge Kubeconfig token: Jede mit generateKubeconfig oder Download KubeConfig erzeugte Datei bringt ihren eigenen Token mit, gültig 29 Tage. Wer kubeconfigs verteilt, verteilt Schlüssel. Nicht mehr gebrauchte löschst du hier.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Direkter Zugang zu werk

# tag14/werk-zugang.yaml – Stand Ende Tag 14: Ausschnitt für spec von Cluster werk
# Mit kubectl patch --type merge -p "$(yq -o=json werk-zugang.yaml)" anwenden.
spec:
  localClusterAuthEndpoint:
    enabled: true                  # direkter Zugang zu werk1, auch ohne Rancher
  defaultPodSecurityAdmissionConfigurationTemplateName: rancher-restricted

Erst nur der Zugang, die Pod Security folgt in Drill 5:

kubectl -n fleet-default patch clusters.provisioning.cattle.io werk --type merge \
  -p '{"spec":{"localClusterAuthEndpoint":{"enabled":true}}}'
kubectl --kubeconfig "$LAB/kube/werk.yaml" -n cattle-system rollout status \
  ds/kube-api-auth --timeout=300s
( umask 077
  curl -sk -X POST -H "$H" "$R/v3/clusters/$W_ID?action=generateKubeconfig" \
    | jq -r .config > "$LAB/kube/werk-ace.yaml" )
kubectl --kubeconfig "$LAB/kube/werk-ace.yaml" config get-contexts
grep 'server:' "$LAB/kube/werk-ace.yaml"

Erwartet (gekürzt):

cluster.provisioning.cattle.io/werk patched
daemon set "kube-api-auth" successfully rolled out
CURRENT   NAME         CLUSTER      AUTHINFO   NAMESPACE
*         werk         werk         werk
          werk-werk1   werk-werk1   werk
    server: "https://rancher.….sslip.io/k8s/clusters/c-m-ct8fr7hj"
    server: "https://…:6443"

Die neue kubeconfig hat zwei Kontexte: werk über Rancher wie bisher, werk-werk1 direkt zum API-Server von werk1. Rancher hat dafür auf dem Control-Plane-Node den Dienst kube-api-auth gestartet und den API-Server so umkonfiguriert, dass er Rancher-Tokens annimmt. Das braucht einen Neustart von RKE2; bis dahin antwortet werk-werk1 mit Unauthorized. Nach zwei, drei Minuten:

kubectl --kubeconfig "$LAB/kube/werk-ace.yaml" --context werk-werk1 get nodes

Erwartet:

NAME    STATUS   ROLES                       AGE    VERSION
werk1   Ready    control-plane,etcd,worker   179m   v1.36.5+rke2r1
werk2   Ready    worker                      174m   v1.36.5+rke2r1
werk3   Ready    worker                      163m   v1.36.5+rke2r1

Fortschritt speichern? Kostenlos registrieren

Drill 4: Rancher fällt aus

Jetzt der Beweis. Schalte Rancher ab:

kubectl -n cattle-system scale deploy rancher --replicas=0
kubectl -n cattle-system wait --for=delete pod -l app=rancher --timeout=120s
A="$LAB/kube/werk-ace.yaml"
kubectl --kubeconfig "$A" --context werk get nodes --request-timeout=10s
kubectl --kubeconfig "$A" --context werk-werk1 -n notes get pods | head -3
curl -s "http://notes.$WERK1.sslip.io/api/notes"; echo

Erwartet (gekürzt):

deployment.apps/rancher scaled
pod/rancher-6d985fd969-v7vrd condition met
Error from server (ServiceUnavailable): the server is currently unable to handle the
request (get nodes)
NAME                   READY   STATUS    RESTARTS       AGE
api-5968bfb5cc-5smz4   1/1     Running   11 (12m ago)   81m
api-5968bfb5cc-zzpn8   1/1     Running   9 (11m ago)    81m
[{"id":"c0c70ff3-…","text":"aus dem eigenen Katalog"}]

Über Rancher geht nichts mehr, direkt geht alles, und notes läuft ohnehin weiter: Rancher steht nicht im Datenpfad der Anwendungen. Hol Rancher zurück:

kubectl -n cattle-system scale deploy rancher --replicas=1
kubectl -n cattle-system rollout status deploy/rancher --timeout=300s

Erwartet:

deployment.apps/rancher scaled
…
deployment "rancher" successfully rolled out

Nach anderthalb Minuten geht auch der Kontext werk wieder.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Pod Security für das ganze Cluster

Bisher schützt nur der Namespace notes seine Pods mit restricted (Tag 6). Im Namespace default von werk ist noch alles erlaubt:

W="$LAB/kube/werk.yaml"
o='{"spec":{"containers":[{"name":"priv","image":"busybox:1.37",
    "securityContext":{"privileged":true}}]}}'
kubectl --kubeconfig "$W" -n default run priv --image=busybox:1.37 --restart=Never \
  --dry-run=server --overrides="$o"
kubectl get podsecurityadmissionconfigurationtemplates.management.cattle.io

Erwartet:

pod/priv created (server dry run)
NAME                 AGE
rancher-privileged   3h41m
rancher-restricted   3h41m

Ein privilegierter Pod, also Root auf dem Node, wäre durchgegangen. Rancher bringt zwei Vorlagen mit; rancher-restricted setzt restricted für alle Namespaces außer einer Liste von System-Namespaces:

kubectl -n fleet-default patch clusters.provisioning.cattle.io werk --type merge \
  -p '{"spec":{"defaultPodSecurityAdmissionConfigurationTemplateName":
       "rancher-restricted"}}'
kubectl -n fleet-default wait clusters.provisioning.cattle.io/werk \
  --for=condition=Updated --timeout=600s
kubectl --kubeconfig "$W" -n default run priv --image=busybox:1.37 --restart=Never \
  --dry-run=server --overrides="$o"
kubectl --kubeconfig "$W" -n default run plain --image=busybox:1.37 --restart=Never \
  --dry-run=server

Erwartet (gekürzt; steht beim ersten Versuch noch created, eine Minute warten):

cluster.provisioning.cattle.io/werk patched
cluster.provisioning.cattle.io/werk condition met
Error from server (Forbidden): pods "priv" is forbidden: violates PodSecurity
"restricted:latest": privileged (container "priv" must not set
securityContext.privileged=true), allowPrivilegeEscalation …
Error from server (Forbidden): pods "plain" is forbidden: violates PodSecurity
"restricted:latest": allowPrivilegeEscalation != false (container "plain" must set …

Jetzt fällt sogar ein schlichter busybox-Pod durch, weil ihm die Härtung fehlt. notes läuft weiter: Das Chart ist seit „Kubernetes zum Anfassen”, Tag 8, restricted-fest.

kubectl get podsecurityadmissionconfigurationtemplates.management.cattle.io \
  rancher-restricted -o jsonpath='{.configuration.exemptions.namespaces}' \
  | tr ',' '\n' | grep -E 'longhorn|monitoring|kube-system|local-path'

Erwartet:

"cattle-monitoring-system"
"kube-system"
"longhorn-system"

Achtung: local-path-storage steht nicht auf der Liste. Die Hilfs-Pods von local-path, die neue Volumes anlegen, sind nicht gehärtet und scheitern jetzt. Auf werk stört das nicht mehr, Longhorn ist Standard. Wer local-path behält, nimmt den Namespace in eine eigene Vorlage auf.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl --kubeconfig "$LAB/kube/werk-ace.yaml" config get-contexts -o name

Erwartet: beide Kontexte.

werk
werk-werk1
kubectl -n fleet-default get clusters.provisioning.cattle.io werk \
  -o jsonpath='{.spec.defaultPodSecurityAdmissionConfigurationTemplateName}'; echo

Erwartet: rancher-restricted.

rancher-restricted
curl -sk -o /dev/null -w '%{http_code}\n' -H "$T" "$R/v3/clusters"

Erwartet: Der CI-Token kommt an Ranchers eigene API nicht heran.

401

Challenge

Beweise, dass ein Token wirklich abläuft. Lege einen für werk an, der nach einer Minute verfällt, und frag einmal sofort und einmal nach 75 Sekunden die Pods von notes ab.

Hinweis: ttl zählt in Millisekunden.

Lösung

( umask 077
  curl -sk -X POST -H "$H" -H 'Content-Type: application/json' "$R/v3/tokens" \
    -d "{\"type\":\"token\",\"description\":\"kurz\",\"clusterId\":\"$W_ID\",
         \"ttl\":60000}" | jq -r .token > kurz-token )
K="Authorization: Bearer $(cat kurz-token)"
P="$R/k8s/clusters/$W_ID/api/v1/namespaces/notes/pods"
curl -sk -o /dev/null -w 'sofort: %{http_code}\n' -H "$K" "$P"
sleep 75
curl -sk -o /dev/null -w 'nach 75 s: %{http_code}\n' -H "$K" "$P"
rm kurz-token

Erwartet:

sofort: 200
nach 75 s: 403

Nach Ablauf behandelt Rancher den Token wie keinen: Die Antwort nennt den Benutzer system:unauthenticated. Das Token-Objekt zeigt eine Weile noch EXPIRED false; Rancher räumt abgelaufene Tokens zeitversetzt auf.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Anmeldung: Lokale Benutzer und Admin-Passwort sind für den Notfall. Im Alltag melden sich alle über Keycloak, Entra ID, LDAP oder GitHub an, mit Gruppenrechten.
  • ACE mit Load Balancer: In Produktion zeigt localClusterAuthEndpoint.fqdn auf einen Load Balancer vor allen Control-Plane-Nodes, mit Zertifikat in caCerts.
  • Tokens begrenzen: Die Einstellungen auth-token-max-ttl-minutes und kubeconfig-default-token-ttl-minutes legen Obergrenzen für alle Tokens fest.
  • Audit: auditLog.level im Rancher-Chart schreibt jede API-Anfrage mit, wer, wann, was. In regulierten Umgebungen geht das Log in ein SIEM.
  • Härtung: Das CIS-Profil von RKE2 (profile: cis) und Ranchers Compliance-Scans (CIS-Benchmark) prüfen Nodes und Cluster gegen anerkannte Vorgaben.