Tag 13: Verschlüsselung Node und Pod
Ziel: Du verschlüsselst Pod- und Node-Verkehr mit WireGuard, weist per tcpdump nach, was verschlüsselt ist und was nicht, und kennst die Ausnahmen. · Dauer: ca. 60 min · Voraussetzung: Tag 7
Briefing
- CKNE: Network Security and Policy (25 %) – „Implementing Node and Pod Level Encryption“.
- Cilium verschlüsselt transparent zwischen Nodes: WireGuard (UDP
51871, Interface
cilium_wg0) oder IPsec. Pods und Anwendungen merken nichts. - Zwei Stufen: Standard ist Verkehr zu Pods;
encryption.nodeEncryption=truenimmt Node-zu-Node-Verkehr dazu – mit Ausnahme der Control-Plane-Nodes. - Eingriff in den Datenpfad: am Ende des Tages wieder unverschlüsselt.
worker1 worker2
client ──> [VXLAN] ──> [WireGuard] ══UDP 51871══> [WireGuard] ──> [VXLAN] ──> server
Host ──── nodeEncryption? ═══════════════════════════════════════════════════> Host
Drill 1: Klartext auf dem Draht
mkdir -p ~/ckne/tag13 && cd ~/ckne/tag13
k create ns tag13
k config set-context --current --namespace=tag13
k run server --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
--overrides='{"spec":{"nodeName":"worker2"}}' --command -- \
/agnhost netexec --http-port=8080
k run client --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker1"}}' -- sleep infinity
k wait --for=condition=Ready pod --all
k get pods -o wide
SIP=$(k get pod server -o jsonpath='{.status.podIP}')
ssh [email protected] "sudo timeout 7 tcpdump -nn -i eth0 -A \
'host 172.16.0.83 and (udp port 8472 or udp port 51871)' 2>/dev/null \
| grep -oE '\.(8472|51871): |tag13-geheim' | sort | uniq -c" &
sleep 2; k exec client -- curl -s "http://$SIP:8080/echo?msg=tag13-geheim"; echo; waitErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE IP NODE
client 1/1 Running 0 105s 10.0.1.153 worker1
server 1/1 Running 0 6s 10.0.2.41 worker2
tag13-geheim
842 .8472:
3 tag13-geheim
--command ist nötig, weil k run sonst nur
die Argumente des Images ersetzt. Der Mitschnitt auf eth0
von worker1 zählt VXLAN-Pakete zu worker2 und
Treffer des Klartexts: Das Geheimnis steht mehrfach lesbar im Tunnel
(Anfrage-URL, Antwort). VXLAN kapselt nur, es verschlüsselt nicht. Mit
ssh [email protected] curl … statt
k exec client (Node → Pod) sieht es genauso aus.
Fortschritt speichern? Kostenlos registrieren
Drill 2: WireGuard einschalten
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
--set encryption.enabled=true --set encryption.type=wireguard
cilium config view | grep -E 'wireguard|encrypt'
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:|Encryption'Erwartet (gekürzt):
Release "cilium" has been upgraded. Happy Helming!
enable-wireguard true
wireguard-persistent-keepalive 0s
daemon set "cilium" successfully rolled out
/¯¯\__/¯¯\ Cilium: OK
\__/¯¯\__/ Operator: OK
Ein Kernel ab 5.6 bringt WireGuard mit (Ubuntu 24.04: 6.8). Schlüssel brauchst du keine: Jeder Agent erzeugt ein Schlüsselpaar und veröffentlicht den öffentlichen Schlüssel in seinem CiliumNode.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Status nachweisen
W1=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker1 -o name)
k -n kube-system exec $W1 -c cilium-agent -- cilium-dbg status | grep Encryption
k -n kube-system exec $W1 -c cilium-agent -- cilium-dbg encrypt status
ssh [email protected] \
"ip -d link show cilium_wg0 | head -3; sudo ss -ulnp | grep 51871"
k -n kube-system exec $W1 -c cilium-agent -- cilium-dbg debuginfo --output json \
| jq -c '.encryption.wireguard.interfaces[0].peers[] | {endpoint, "allowed-ips"}'Erwartet (gekürzt):
Encryption: Wireguard [NodeEncryption: Disabled, cilium_wg0 (Pubkey:
XXNWg9R5KwSS7Axc+xagefkVF2hDxIo5aya9TiNSgkw=, Port: 51871, Peers: 2)]
Encryption: Wireguard
Interface: cilium_wg0
Public key: XXNWg9R5KwSS7Axc+xagefkVF2hDxIo5aya9TiNSgkw=
Number of peers: 2
169: cilium_wg0: <POINTOPOINT,NOARP,UP,LOWER_UP> mtu 1405 qdisc noqueue state ...
link/none promiscuity 0 allmulti 0 minmtu 0 maxmtu 2147483552
wireguard addrgenmode none ...
UNCONN 0 0 0.0.0.0:51871 0.0.0.0:*
UNCONN 0 0 [::]:51871 [::]:*
{"endpoint":"172.16.0.83:51871","allowed-ips":["172.16.0.83/32"]}
{"endpoint":"172.16.0.126:51871","allowed-ips":["172.16.0.126/32"]}
Zwei Peers – die beiden anderen Nodes. Im Tunnelmodus stehen in
allowed-ips nur die Node-IPs: WireGuard verschlüsselt das
fertige VXLAN-Paket (doppelte Kapselung). Mit Native Routing stünden
dort auch die Pod-CIDRs. Die MTU von cilium_wg0 (1405)
berücksichtigt den WireGuard-Kopf.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Mitschnitt nach der Umstellung
Derselbe Mitschnitt wie in Drill 1, einmal Pod → Pod und einmal Node
→ Pod, danach Node → Node (kubelet-Port von worker2):
ssh [email protected] "sudo timeout 7 tcpdump -nn -i eth0 -A \
'host 172.16.0.83 and (udp port 8472 or udp port 51871)' 2>/dev/null \
| grep -oE '\.(8472|51871): |tag13-geheim' | sort | uniq -c" &
sleep 2; k exec client -- curl -s "http://$SIP:8080/echo?msg=tag13-geheim"; echo; wait
ssh [email protected] "sudo timeout 7 tcpdump -nn -i eth0 -A \
'host 172.16.0.83 and (udp port 8472 or udp port 51871)' 2>/dev/null \
| grep -oE '\.(8472|51871): |tag13-geheim' | sort | uniq -c" &
sleep 2; ssh [email protected] curl -s "http://$SIP:8080/echo?msg=tag13-geheim"
echo; wait
ssh [email protected] "sudo timeout 6 tcpdump -nn -i eth0 -c 2 \
'host 172.16.0.83 and (tcp port 10250 or udp port 51871)' 2>/dev/null" &
sleep 2; ssh [email protected] curl -sk -m3 https://172.16.0.83:10250/healthz
echo; waitErwartet (gekürzt):
tag13-geheim
16 .51871:
tag13-geheim
273 .51871:
Unauthorized
00:21:38.559686 IP 172.16.0.228.33522 > 172.16.0.83.10250: Flags [S], ...
00:21:38.560261 IP 172.16.0.83.10250 > 172.16.0.228.33522: Flags [S.], ...
Pod → Pod und Node → Pod: nur noch UDP 51871, kein VXLAN, kein
Klartext – auch der Node-Verkehr zum Pod läuft im Tunnelmodus durch den
Tunnel und damit durch WireGuard. Node → Node dagegen geht
unverschlüsselt direkt über eth0 (TCP 10250). Das kubelet
spricht zwar TLS, viele andere Node-Dienste nicht.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Node-zu-Node-Verschlüsselung
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
--set encryption.nodeEncryption=true
cilium config view | grep encrypt-node
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:'
W1=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker1 -o name)
k -n kube-system exec $W1 -c cilium-agent -- cilium-dbg status | grep Encryption
ssh [email protected] "sudo timeout 6 tcpdump -nn -i eth0 -c 2 \
'host 172.16.0.83 and (tcp port 10250 or udp port 51871)' 2>/dev/null" &
sleep 2; ssh [email protected] curl -sk -m3 https://172.16.0.83:10250/healthz
echo; waitErwartet (gekürzt):
encrypt-node true
daemon set "cilium" successfully rolled out
Encryption: Wireguard [NodeEncryption: Enabled, cilium_wg0 (Pubkey:
XXNWg9R5KwSS7Axc+xagefkVF2hDxIo5aya9TiNSgkw=, Port: 51871, Peers: 2)]
Unauthorized
00:23:06.196471 IP 172.16.0.228.51871 > 172.16.0.83.51871: UDP, length 96
00:23:06.197691 IP 172.16.0.83.51871 > 172.16.0.228.51871: UDP, length 96
Jetzt läuft auch Worker → Worker durch WireGuard. Die Doku nennt nodeEncryption Beta.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Die Ausnahme Control Plane
ssh [email protected] "sudo timeout 6 tcpdump -nn -i eth0 -c 2 \
'host 172.16.0.126 and (tcp port 6443 or udp port 51871)' 2>/dev/null" &
sleep 2; ssh [email protected] curl -sk -m3 https://172.16.0.126:6443/livez
echo; wait
k get node cp1 --show-labels | grep -o 'node-role.kubernetes.io/control-plane='Erwartet (gekürzt):
ok
00:23:08.508415 IP 172.16.0.228.36888 > 172.16.0.126.6443: Flags [P.], ... length 40
00:23:08.508647 IP 172.16.0.228.36888 > 172.16.0.126.6443: Flags [P.], ... length 505
node-role.kubernetes.io/control-plane=
Worker → cp1 bleibt unverschlüsselt (TCP 6443 im
Klartext-Header, Inhalt per TLS). Cilium nimmt Nodes mit dem Label
node-role.kubernetes.io/control-plane aus der
Node-Verschlüsselung aus: Worker müssen den API-Server erreichen, um die
WireGuard-Schlüssel anderer Nodes zu lernen – sonst ein
Henne-Ei-Problem. Der Selector heißt
node-encryption-opt-out-labels (ConfigMap); leer erzwingt
Verschlüsselung auch zur Control Plane, was die Doku nicht empfiehlt.
Pods auf cp1 sind davon nicht betroffen – ihr Verkehr
bleibt verschlüsselt.
Weitere Grenzen laut Doku: Verkehr innerhalb eines Nodes wird nie verschlüsselt, externe Clients bis zum ersten Node auch nicht, ebenso Nord-Süd-Verkehr, den ein Node per DSR (ohne Geneve) oder XDP an einen anderen weiterreicht.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Zurück auf unverschlüsselt
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 -f values-vorher.yaml
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:'
cilium config view | grep -cE 'wireguard|encrypt'
ssh [email protected] ip -br link show cilium_wg0Erwartet (gekürzt):
GLEICH
daemon set "cilium" successfully rolled out
/¯¯\__/¯¯\ Cilium: OK
\__/¯¯\__/ Operator: OK
0
Device "cilium_wg0" does not exist.
Der Mitschnitt aus Drill 1 zeigt danach wieder .8472:
und 3 tag13-geheim.
WireGuard oder IPsec?
| WireGuard | IPsec | |
|---|---|---|
| Schlüssel | automatisch pro Node | Secret cilium-ipsec-keys, Rotation von Hand |
| Kryptografie | fest (ChaCha20-Poly1305) | wählbar (z. B. AES-GCM, FIPS-tauglich) |
| Node-Verschlüsselung | nodeEncryption (Beta) |
nicht vorgesehen |
| Helm | encryption.type=wireguard |
encryption.type=ipsec |
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige, ob und wie der Cluster verschlüsselt (eine Zeile pro Node). Zeitziel: 45 s
- Zeige, welche Verschlüsselungs-Werte die Helm-Release gerade setzt. Zeitziel: 30 s
- Zeige den UDP-Port, auf dem WireGuard auf
worker2lauscht. Zeitziel: 30 s
Für 3 muss WireGuard eingeschaltet sein (vor Drill 7 üben).
Lösung
for p in $(k -n kube-system get pod -l k8s-app=cilium -o name); do
k -n kube-system exec $p -c cilium-agent -- cilium-dbg status | grep Encryption
done
helm get values cilium -n kube-system | grep -A3 '^encryption' || echo keine
ssh [email protected] "sudo ss -ulnp | grep -E '51871'"Erwartet (gekürzt, nach Drill 7):
Encryption: Disabled
Encryption: Disabled
Encryption: Disabled
keine
Mit WireGuard steht dort je Node
Wireguard [NodeEncryption: …, Peers: 2], Helm zeigt
encryption: enabled: true, type: wireguard, und
ss zeigt 0.0.0.0:51871.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICHErwartet: GLEICH
cilium status | grep -E 'Cilium:|Operator:'Erwartet: beide OK.
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt statusErwartet: Encryption: Disabled
k get nodesErwartet: alle Ready.
Challenge
Ein Auditor will wissen, welcher Verkehr zwischen
worker1 und cp1 bei eingeschalteter
Node-Verschlüsselung trotzdem unverschlüsselt läuft und warum. Begründe
es mit dem Mitschnitt aus Drill 6 und der Konfiguration – ohne den
Cluster zu ändern.
Hinweis: Drill 6 zeigt den Weg; die Begründung
steckt im Label von cp1 und im Default von
node-encryption-opt-out-labels.
Lösung
k get node cp1 -o jsonpath='{.metadata.labels}' | tr ',' '\n' | grep control-plane
cilium config view | grep node-encryption-opt-out-labelsErwartet (gekürzt):
"node-role.kubernetes.io/control-plane":""
Steht der Schlüssel nicht in der ConfigMap, gilt der Default
node-role.kubernetes.io/control-plane – genau das Label von
cp1. Unverschlüsselt bleibt also Host-Verkehr zwischen
Workern und cp1 (API-Server 6443, etcd/kubelet je nach
Aufbau); Pod-Verkehr dorthin ist verschlüsselt. Mit eingeschalteter
Verschlüsselung zeigt der Mitschnitt aus Drill 6 den TCP-Header auf
6443.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
k delete namespace tag13
k config set-context --current --namespace=defaultDie Verschlüsselung ist seit Drill 7 aus.
Prüfungstipp
- Drei Helm-Werte merken:
encryption.enabled,encryption.type=wireguard,encryption.nodeEncryption; danach Agenten neu starten. - Nachweis mit
cilium-dbg status | grep Encryption(Peers = Anzahl anderer Nodes) und tcpdump auf UDP 51871 statt 8472. - Doku-Stelle: docs.cilium.io „WireGuard Transparent Encryption“ (Abschnitte „Node-to-Node Encryption“ und „Limitations“).
Enterprise-Notiz
- UDP 51871 zwischen allen Nodes in Firewalls/Security Groups
freigeben, bei ClusterMesh auch zwischen den Clustern – und alle Cluster
mit derselben Methode verschlüsseln: Ist WireGuard nur in
ostan, erreicht kein Pod ausostmehr einen Pod inwest(im Labor geprüft, curl Exit 28, auch direkt über die Pod-IP). - Verschlüsselung kostet CPU und MTU; mit Tunnel plus WireGuard bleibt wenig Nutzlast – Native Routing (Tag 7) spart eine Kapselung.
- Compliance (FIPS) verlangt oft IPsec mit AES-GCM statt WireGuard; Schlüsselrotation dann als Prozess einplanen.
- Transparente Verschlüsselung ersetzt kein mTLS: Sie schützt die Leitung zwischen Nodes, nicht die Identität der Anwendung (Tag 14).
- Die Ausnahme der Control Plane in Audits dokumentieren; API-Verkehr ist per TLS geschützt, andere Dienste auf diesen Nodes nicht.