Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Pod-zu-Pod-Verschlüsselung mit Cilium

Ziel: Du weist nach, dass Pod-Verkehr zwischen Nodes im Klartext läuft, schaltest WireGuard-Verschlüsselung in Cilium ein und beweist, dass der Inhalt danach nicht mehr lesbar ist. · Dauer: ca. 60 min · Voraussetzung: Tag 0 und Tag 2

Briefing

  • CKS: Minimize Microservice Vulnerabilities – „Implement Pod-to-Pod encryption using Cilium“.
  • Cilium kapselt Pod-Verkehr zwischen Nodes in VXLAN (UDP 8472). VXLAN ist keine Verschlüsselung: Wer am Node-Netz mitschneidet, liest jeden Request.
  • Mit encryption.type=wireguard baut jeder Cilium-Agent ein Interface cilium_wg0, tauscht seinen öffentlichen Schlüssel über das CiliumNode-Objekt aus und schickt Pod-Verkehr zu anderen Nodes verschlüsselt über UDP 51871.
  • Ablauf heute: Mitschnitt im Klartext, Helm-Werte sichern, WireGuard an, Mitschnitt erneut.
 worker2                                   worker1
 kunde ──> lxc ──> [cilium_wg0] ═══ eth0 ═══> [cilium_wg0] ──> lxc ──> tresor
                    vorher: UDP 8472 (VXLAN, Klartext)
                    nachher: UDP 51871 (WireGuard, verschlüsselt)
mkdir -p ~/cks/tag12 && cd ~/cks/tag12
k create ns tag12
k config set-context --current --namespace=tag12

Drill 1: Zwei Pods auf zwei Nodes

Ein Server auf worker1 liefert ein „Geheimnis“ aus, ein Client auf worker2 holt es alle zwei Sekunden ab. nodeSelector erzwingt, dass der Verkehr wirklich über das Netz geht:

cat > tresor.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: tresor
  labels:
    app: tresor
spec:
  nodeSelector:
    kubernetes.io/hostname: worker1
  containers:
  - name: web
    image: busybox:1.37
    command: ["sh", "-c"]
    args: ["echo KONTO-4711-GEHEIM > /tmp/index.html; httpd -f -p 8080 -h /tmp"]
EOF
cat > kunde.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: kunde
spec:
  nodeSelector:
    kubernetes.io/hostname: worker2
  containers:
  - name: kunde
    image: busybox:1.37
    command: ["sh", "-c"]
    args: ["while true; do wget -qO- http://tresor:8080/; sleep 2; done"]
EOF
k apply -f tresor.yaml -f kunde.yaml
k expose pod tresor --port=8080
k wait --for=condition=Ready pod/tresor pod/kunde
k get pod -o wide
k logs kunde --tail=1

Erwartet (gekürzt):

pod/tresor condition met
pod/kunde condition met
NAME     READY   STATUS    RESTARTS   AGE   IP             NODE      ...
kunde    1/1     Running   0          2s    10.244.1.139   worker2   ...
tresor   1/1     Running   0          2s    10.244.3.118   worker1   ...
KONTO-4711-GEHEIM

Fortschritt speichern? Kostenlos registrieren

Drill 2: Klartext auf dem Draht

Mitschnitt auf worker1 am physischen Interface (von cp1 aus):

ssh [email protected]
ip -br link | grep -E 'eth0|cilium'
sudo timeout 10 tcpdump -lni eth0 -A udp port 8472 | grep -m1 -B6 KONTO

Erwartet (gekürzt):

eth0             UP             bc:24:11:5d:96:ab <BROADCAST,MULTICAST,UP,LOWER_UP>
...
cilium_vxlan     UNKNOWN        92:79:ee:55:62:47 <BROADCAST,MULTICAST,UP,LOWER_UP>
18:19:02.509244 IP 172.16.0.228.41852 > 172.16.0.83.8472: OTV, flags [I] (0x08), ...
IP 10.244.3.118.8080 > 10.244.1.139.50744: Flags [FP.], seq 210:228, ... HTTP
...
.L....D.KONTO-4711-GEHEIM

Die äußere Zeile zeigt Node-IPs und Port 8472 (tcpdump nennt VXLAN hier „OTV“), die innere Zeile die Pod-IPs – und darunter steht der Antworttext lesbar im Paket. -l schaltet die Zeilenpufferung ein, sonst wartet grep vergeblich.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Ausgangslage sichern

Zurück auf cp1. Erst nachsehen, dann sichern, dann ändern:

k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt status
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep -E 'Routing|Encryption'
helm list -n kube-system
helm get values cilium -n kube-system -o yaml | tee cilium-values-backup.yaml
k -n kube-system get cm cilium-config -o yaml > cilium-config-backup.yaml

Erwartet (gekürzt):

Encryption: Disabled
Routing:                 Network: Tunnel [vxlan]   Host: Legacy
Encryption:              Disabled
NAME    NAMESPACE    REVISION  ...  STATUS    CHART          APP VERSION
cilium  kube-system  1         ...  deployed  cilium-1.20.5  1.20.5
cluster:
  name: kubernetes
ipam:
  mode: kubernetes
operator:
  replicas: 1
routingMode: tunnel
tunnelProtocol: vxlan

ds/cilium wählt irgendeinen Agent-Pod aus. Für einen bestimmten Node den Pod per --field-selector spec.nodeName=worker1 suchen (Speed-Drill 1).

Fortschritt speichern? Kostenlos registrieren

Drill 4: WireGuard einschalten

Erst die Wirkung ansehen, dann ausführen. --version immer explizit setzen, sonst nimmt die CLI ihre eigene Standardversion:

cilium upgrade --version 1.20.5 --set encryption.enabled=true \
  --set encryption.type=wireguard --dry-run-helm-values
cilium upgrade --version 1.20.5 --set encryption.enabled=true \
  --set encryption.type=wireguard
k -n kube-system get cm cilium-config -o jsonpath='{.data.enable-wireguard}'; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt status

Erwartet (gekürzt, Symbole am Zeilenanfang weggelassen):

cluster:
  name: kubernetes
encryption:
  enabled: true
  type: wireguard
...
You maybe need to restart Cilium pods for configmap changes to take effect
Using Cilium version 1.20.5
...
true
Encryption: Disabled

Die ConfigMap ist geändert, die Agenten laufen aber noch mit der alten Konfiguration. Erst ein Neustart des DaemonSets aktiviert WireGuard:

k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium --timeout=300s
cilium status --wait | grep -E 'DaemonSet|Cluster Pods'

Erwartet:

daemonset.apps/cilium restarted
...
daemon set "cilium" successfully rolled out
DaemonSet              cilium                   Desired: 3, Ready: 3/3, Available: 3/3
DaemonSet              cilium-envoy             Desired: 3, Ready: 3/3, Available: 3/3
Cluster Pods:          8/8 managed by Cilium

cilium upgrade ist ein Helm-Upgrade: Es übernimmt die bisherigen Werte (--reset-then-reuse-values ist Standard) und ergänzt nur die neuen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Status nachweisen

k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt status
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status | grep Encryption
k get ciliumnodes -o custom-columns=\
NAME:.metadata.name,PUBKEY:.metadata.annotations.network\\.cilium\\.io/wg-pub-key
cilium config view | grep -i wireguard
k logs kunde --tail=1

Erwartet (gekürzt):

Encryption: Wireguard
Interface: cilium_wg0
    Public key: RZe8d6aX4UoD9o4YfLTYtO9R2P3RHFR2MnthFalFG18=
    Number of peers: 2
Encryption:              Wireguard       [NodeEncryption: Disabled, cilium_wg0 (Pubkey:
RZe8d6aX4UoD9o4YfLTYtO9R2P3RHFR2MnthFalFG18=, Port: 51871, Peers: 2)]
NAME      PUBKEY
cp1       RZe8d6aX4UoD9o4YfLTYtO9R2P3RHFR2MnthFalFG18=
worker1   r2PSh6VGk600vOrIBZLZMVHwKjlXc3p6WOc105eqwx8=
worker2   tahz1yCqgx/hu/OLfQsDX3t4GyGOlwE+U71Fchr6FCg=
enable-wireguard                                  true
wireguard-persistent-keepalive                    0s
KONTO-4711-GEHEIM

Drei Nodes, also hat jeder Agent zwei Peers. Die Anwendung merkt nichts: kunde bekommt weiter seine Antwort. NodeEncryption: Disabled heißt, nur Pod-Verkehr wird verschlüsselt – dazu mehr in der Challenge.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Mitschnitt nach der Umstellung

Wieder auf worker1:

ssh [email protected]
sudo timeout 10 tcpdump -lni eth0 -A udp port 8472 | grep -c KONTO
sudo timeout 10 tcpdump -lni eth0 -A udp port 51871 | grep -c KONTO
sudo timeout 5 tcpdump -ni eth0 -c 3 udp port 51871

Erwartet (gekürzt):

0
0
18:22:23.041231 IP 172.16.0.83.51871 > 172.16.0.228.51871: UDP, length 144
18:22:23.042008 IP 172.16.0.228.51871 > 172.16.0.83.51871: UDP, length 144
18:22:23.042959 IP 172.16.0.83.51871 > 172.16.0.228.51871: UDP, length 208
3 packets captured

Über VXLAN läuft zwischen den Nodes kein Pod-Verkehr mehr. Auf Port 51871 sind nur noch undurchsichtige UDP-Pakete zu sehen, Pod-IPs und Inhalt sind verschwunden.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Wo der Klartext bleibt

Verschlüsselt wird nur zwischen den Nodes. Auf dem Node selbst ist der Verkehr vor dem WireGuard-Interface lesbar:

ip -br link show cilium_wg0
sudo timeout 6 tcpdump -lni cilium_wg0 -A | grep -m1 KONTO
exit

Erwartet:

cilium_wg0       UNKNOWN        <POINTOPOINT,NOARP,UP,LOWER_UP>
.O1...[SKONTO-4711-GEHEIM

WireGuard schützt gegen Mitlesen im Netz (Switch, Hypervisor, Cloud-Underlay), nicht gegen root auf dem Node. Dafür braucht es mTLS in der Anwendung oder ein Service Mesh.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige den Verschlüsselungsmodus des Cilium-Agenten auf worker2. Zeitziel: 1 min
  2. Schreibe die Helm-Werte des Releases cilium nach ~/cks/tag12/values.yaml und prüfe, ob encryption darin steht. Zeitziel: 1 min
  3. Zeige ohne cilium CLI, also nur mit helm, wie WireGuard eingeschaltet würde (Probelauf). Zeitziel: 2 min
  4. Prüfe für alle drei Agenten, ob WireGuard aktiv ist. Zeitziel: 2 min

Lösung

P=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $P -c cilium-agent -- cilium-dbg encrypt status

Erwartet: Encryption: Wireguard, Interface: cilium_wg0, Number of peers: 2.

helm get values cilium -n kube-system -o yaml > ~/cks/tag12/values.yaml
grep -A2 encryption ~/cks/tag12/values.yaml

Erwartet: encryption:, enabled: true, type: wireguard.

helm repo add cilium https://helm.cilium.io/
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
  --set encryption.enabled=true --set encryption.type=wireguard --dry-run=client \
  | grep -E '^STATUS|enable-wireguard'

Erwartet:

STATUS: pending-upgrade
  enable-wireguard: "true"

Ohne --dry-run=client folgt danach wie in Drill 4 der Rollout-Neustart des DaemonSets.

for p in $(k -n kube-system get pod -l k8s-app=cilium -o name); do
  echo -n "$p "
  k -n kube-system exec $p -c cilium-agent -- cilium-dbg encrypt status | head -1
done

Erwartet:

pod/cilium-749ms Encryption: Wireguard
pod/cilium-qhtjm Encryption: Wireguard
pod/cilium-zg9q2 Encryption: Wireguard

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt status

Erwartet: Encryption: Wireguard, Number of peers: 2.

helm get values cilium -n kube-system | grep -A2 encryption

Erwartet: enabled: true und type: wireguard.

k get ciliumnodes -o custom-columns=\
NAME:.metadata.name,PUBKEY:.metadata.annotations.network\\.cilium\\.io/wg-pub-key

Erwartet: drei Nodes, jeder mit einem eigenen öffentlichen Schlüssel.

k get pods -A | grep -vc Running

Erwartet: 1 (nur die Kopfzeile) – der Cluster ist nach dem Neustart gesund.

Die Verschlüsselung bleibt aktiv für alle folgenden Tage. Die Sicherung cilium-values-backup.yaml hebst du auf; Aufräumen nach der Challenge.

Challenge

WireGuard ist an. Weise mit einem Mitschnitt nach, dass ein Request von kunde an den Traefik-NodePort von worker1 (172.16.0.228:30080) trotzdem im Klartext über das Netz läuft, und erkläre, welcher Helm-Wert das ändern würde.

Hinweis: Gib dem Request einen auffälligen User-Agent (wget -U …), damit grep ihn findet.

Lösung

Terminal 1, auf worker1:

ssh [email protected]
sudo timeout 30 tcpdump -lni eth0 -A tcp port 30080 | grep -m1 GEHEIM-UA

Terminal 2, auf cp1:

k exec kunde -- wget -qO- -U GEHEIM-UA http://172.16.0.228:30080/

Erwartet (Terminal 1, Terminal 2):

User-Agent: GEHEIM-UA
wget: server returned error: HTTP/1.1 404 Not Found

Das Ziel ist eine Node-IP, kein Pod. Ohne Node-Verschlüsselung geht dieser Verkehr am WireGuard-Tunnel vorbei (der 404 kommt von Traefik, weil kein Ingress passt). Abhilfe wäre --set encryption.nodeEncryption=true; das verschlüsselt auch Verkehr von und zu Nodes und hostNetwork-Pods. Im Labor bleibt es aus, weil es auch den Verkehr zum API-Server und zum kubelet betrifft.

Achtung: Node-Verschlüsselung erst auf einem Testcluster ausprobieren. Ein Fehler trennt Nodes voneinander, und die Control-Plane wird je nach Version standardmäßig ausgenommen.

Aufräumen:

k config set-context --current --namespace=default
k delete ns tag12

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Aufgabe „enable pod-to-pod encryption with Cilium“: Helm-Werte encryption.enabled=true und encryption.type=wireguard, danach k -n kube-system rollout restart ds/cilium. Ohne Neustart zeigt cilium-dbg encrypt status weiter Disabled.
  • Nachweis immer im Agent-Pod: cilium-dbg encrypt status oder cilium-dbg status. Im Container heißt das Werkzeug cilium-dbg, nicht cilium.
  • Doku: docs.cilium.io → Security → Transparent Encryption → WireGuard.

Enterprise-Notiz

  • IPsec ist die zweite Variante in Cilium (FIPS-taugliche Algorithmen, Schlüssel als Secret cilium-ipsec-keys, Rotation per Hand). Kommerzielle Distributionen bieten dafür Support und Schlüsselverwaltung.
  • WireGuard-Schlüssel erzeugt jeder Agent selbst; es gibt keine Rotation per Secret, dafür auch nichts zu verwalten.
  • Die Verschlüsselung kostet CPU und etwas MTU. Vor der Umstellung Durchsatz messen, besonders auf kleinen Nodes.
  • Transparente Verschlüsselung ersetzt keine Identität: mTLS (Service Mesh oder Cilium Mutual Authentication) prüft zusätzlich, wer spricht.
  • Änderungen an Cilium immer mit gesicherten Helm-Werten und gestaffeltem Rollout (zuerst ein Node, dann der Rest).