Tag 12: Pod-zu-Pod-Verschlüsselung mit Cilium
Ziel: Du weist nach, dass Pod-Verkehr zwischen Nodes im Klartext läuft, schaltest WireGuard-Verschlüsselung in Cilium ein und beweist, dass der Inhalt danach nicht mehr lesbar ist. · Dauer: ca. 60 min · Voraussetzung: Tag 0 und Tag 2
Briefing
- CKS: Minimize Microservice Vulnerabilities – „Implement Pod-to-Pod encryption using Cilium“.
- Cilium kapselt Pod-Verkehr zwischen Nodes in VXLAN (UDP 8472). VXLAN ist keine Verschlüsselung: Wer am Node-Netz mitschneidet, liest jeden Request.
- Mit
encryption.type=wireguardbaut jeder Cilium-Agent ein Interfacecilium_wg0, tauscht seinen öffentlichen Schlüssel über das CiliumNode-Objekt aus und schickt Pod-Verkehr zu anderen Nodes verschlüsselt über UDP 51871. - Ablauf heute: Mitschnitt im Klartext, Helm-Werte sichern, WireGuard an, Mitschnitt erneut.
worker2 worker1
kunde ──> lxc ──> [cilium_wg0] ═══ eth0 ═══> [cilium_wg0] ──> lxc ──> tresor
vorher: UDP 8472 (VXLAN, Klartext)
nachher: UDP 51871 (WireGuard, verschlüsselt)
mkdir -p ~/cks/tag12 && cd ~/cks/tag12
k create ns tag12
k config set-context --current --namespace=tag12Drill 1: Zwei Pods auf zwei Nodes
Ein Server auf worker1 liefert ein „Geheimnis“ aus, ein Client auf
worker2 holt es alle zwei Sekunden ab. nodeSelector
erzwingt, dass der Verkehr wirklich über das Netz geht:
cat > tresor.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: tresor
labels:
app: tresor
spec:
nodeSelector:
kubernetes.io/hostname: worker1
containers:
- name: web
image: busybox:1.37
command: ["sh", "-c"]
args: ["echo KONTO-4711-GEHEIM > /tmp/index.html; httpd -f -p 8080 -h /tmp"]
EOF
cat > kunde.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: kunde
spec:
nodeSelector:
kubernetes.io/hostname: worker2
containers:
- name: kunde
image: busybox:1.37
command: ["sh", "-c"]
args: ["while true; do wget -qO- http://tresor:8080/; sleep 2; done"]
EOF
k apply -f tresor.yaml -f kunde.yaml
k expose pod tresor --port=8080
k wait --for=condition=Ready pod/tresor pod/kunde
k get pod -o wide
k logs kunde --tail=1Erwartet (gekürzt):
pod/tresor condition met
pod/kunde condition met
NAME READY STATUS RESTARTS AGE IP NODE ...
kunde 1/1 Running 0 2s 10.244.1.139 worker2 ...
tresor 1/1 Running 0 2s 10.244.3.118 worker1 ...
KONTO-4711-GEHEIM
Fortschritt speichern? Kostenlos registrieren
Drill 2: Klartext auf dem Draht
Mitschnitt auf worker1 am physischen Interface (von cp1
aus):
ssh [email protected]
ip -br link | grep -E 'eth0|cilium'
sudo timeout 10 tcpdump -lni eth0 -A udp port 8472 | grep -m1 -B6 KONTOErwartet (gekürzt):
eth0 UP bc:24:11:5d:96:ab <BROADCAST,MULTICAST,UP,LOWER_UP>
...
cilium_vxlan UNKNOWN 92:79:ee:55:62:47 <BROADCAST,MULTICAST,UP,LOWER_UP>
18:19:02.509244 IP 172.16.0.228.41852 > 172.16.0.83.8472: OTV, flags [I] (0x08), ...
IP 10.244.3.118.8080 > 10.244.1.139.50744: Flags [FP.], seq 210:228, ... HTTP
...
.L....D.KONTO-4711-GEHEIM
Die äußere Zeile zeigt Node-IPs und Port 8472 (tcpdump nennt VXLAN
hier „OTV“), die innere Zeile die Pod-IPs – und darunter steht der
Antworttext lesbar im Paket. -l schaltet die
Zeilenpufferung ein, sonst wartet grep vergeblich.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Ausgangslage sichern
Zurück auf cp1. Erst nachsehen, dann sichern, dann
ändern:
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt status
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
| grep -E 'Routing|Encryption'
helm list -n kube-system
helm get values cilium -n kube-system -o yaml | tee cilium-values-backup.yaml
k -n kube-system get cm cilium-config -o yaml > cilium-config-backup.yamlErwartet (gekürzt):
Encryption: Disabled
Routing: Network: Tunnel [vxlan] Host: Legacy
Encryption: Disabled
NAME NAMESPACE REVISION ... STATUS CHART APP VERSION
cilium kube-system 1 ... deployed cilium-1.20.5 1.20.5
cluster:
name: kubernetes
ipam:
mode: kubernetes
operator:
replicas: 1
routingMode: tunnel
tunnelProtocol: vxlan
ds/cilium wählt irgendeinen Agent-Pod aus. Für einen
bestimmten Node den Pod per
--field-selector spec.nodeName=worker1 suchen (Speed-Drill
1).
Fortschritt speichern? Kostenlos registrieren
Drill 4: WireGuard einschalten
Erst die Wirkung ansehen, dann ausführen. --version
immer explizit setzen, sonst nimmt die CLI ihre eigene
Standardversion:
cilium upgrade --version 1.20.5 --set encryption.enabled=true \
--set encryption.type=wireguard --dry-run-helm-values
cilium upgrade --version 1.20.5 --set encryption.enabled=true \
--set encryption.type=wireguard
k -n kube-system get cm cilium-config -o jsonpath='{.data.enable-wireguard}'; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt statusErwartet (gekürzt, Symbole am Zeilenanfang weggelassen):
cluster:
name: kubernetes
encryption:
enabled: true
type: wireguard
...
You maybe need to restart Cilium pods for configmap changes to take effect
Using Cilium version 1.20.5
...
true
Encryption: Disabled
Die ConfigMap ist geändert, die Agenten laufen aber noch mit der alten Konfiguration. Erst ein Neustart des DaemonSets aktiviert WireGuard:
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium --timeout=300s
cilium status --wait | grep -E 'DaemonSet|Cluster Pods'Erwartet:
daemonset.apps/cilium restarted
...
daemon set "cilium" successfully rolled out
DaemonSet cilium Desired: 3, Ready: 3/3, Available: 3/3
DaemonSet cilium-envoy Desired: 3, Ready: 3/3, Available: 3/3
Cluster Pods: 8/8 managed by Cilium
cilium upgrade ist ein Helm-Upgrade: Es übernimmt die
bisherigen Werte (--reset-then-reuse-values ist Standard)
und ergänzt nur die neuen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Status nachweisen
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt status
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status | grep Encryption
k get ciliumnodes -o custom-columns=\
NAME:.metadata.name,PUBKEY:.metadata.annotations.network\\.cilium\\.io/wg-pub-key
cilium config view | grep -i wireguard
k logs kunde --tail=1Erwartet (gekürzt):
Encryption: Wireguard
Interface: cilium_wg0
Public key: RZe8d6aX4UoD9o4YfLTYtO9R2P3RHFR2MnthFalFG18=
Number of peers: 2
Encryption: Wireguard [NodeEncryption: Disabled, cilium_wg0 (Pubkey:
RZe8d6aX4UoD9o4YfLTYtO9R2P3RHFR2MnthFalFG18=, Port: 51871, Peers: 2)]
NAME PUBKEY
cp1 RZe8d6aX4UoD9o4YfLTYtO9R2P3RHFR2MnthFalFG18=
worker1 r2PSh6VGk600vOrIBZLZMVHwKjlXc3p6WOc105eqwx8=
worker2 tahz1yCqgx/hu/OLfQsDX3t4GyGOlwE+U71Fchr6FCg=
enable-wireguard true
wireguard-persistent-keepalive 0s
KONTO-4711-GEHEIM
Drei Nodes, also hat jeder Agent zwei Peers. Die Anwendung merkt
nichts: kunde bekommt weiter seine Antwort.
NodeEncryption: Disabled heißt, nur Pod-Verkehr wird
verschlüsselt – dazu mehr in der Challenge.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Mitschnitt nach der Umstellung
Wieder auf worker1:
ssh [email protected]
sudo timeout 10 tcpdump -lni eth0 -A udp port 8472 | grep -c KONTO
sudo timeout 10 tcpdump -lni eth0 -A udp port 51871 | grep -c KONTO
sudo timeout 5 tcpdump -ni eth0 -c 3 udp port 51871Erwartet (gekürzt):
0
0
18:22:23.041231 IP 172.16.0.83.51871 > 172.16.0.228.51871: UDP, length 144
18:22:23.042008 IP 172.16.0.228.51871 > 172.16.0.83.51871: UDP, length 144
18:22:23.042959 IP 172.16.0.83.51871 > 172.16.0.228.51871: UDP, length 208
3 packets captured
Über VXLAN läuft zwischen den Nodes kein Pod-Verkehr mehr. Auf Port 51871 sind nur noch undurchsichtige UDP-Pakete zu sehen, Pod-IPs und Inhalt sind verschwunden.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Wo der Klartext bleibt
Verschlüsselt wird nur zwischen den Nodes. Auf dem Node selbst ist der Verkehr vor dem WireGuard-Interface lesbar:
ip -br link show cilium_wg0
sudo timeout 6 tcpdump -lni cilium_wg0 -A | grep -m1 KONTO
exitErwartet:
cilium_wg0 UNKNOWN <POINTOPOINT,NOARP,UP,LOWER_UP>
.O1...[SKONTO-4711-GEHEIM
WireGuard schützt gegen Mitlesen im Netz (Switch, Hypervisor, Cloud-Underlay), nicht gegen root auf dem Node. Dafür braucht es mTLS in der Anwendung oder ein Service Mesh.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige den Verschlüsselungsmodus des Cilium-Agenten auf worker2. Zeitziel: 1 min
- Schreibe die Helm-Werte des Releases
ciliumnach~/cks/tag12/values.yamlund prüfe, obencryptiondarin steht. Zeitziel: 1 min - Zeige ohne
ciliumCLI, also nur mithelm, wie WireGuard eingeschaltet würde (Probelauf). Zeitziel: 2 min - Prüfe für alle drei Agenten, ob WireGuard aktiv ist. Zeitziel: 2 min
Lösung
P=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $P -c cilium-agent -- cilium-dbg encrypt statusErwartet: Encryption: Wireguard,
Interface: cilium_wg0, Number of peers: 2.
helm get values cilium -n kube-system -o yaml > ~/cks/tag12/values.yaml
grep -A2 encryption ~/cks/tag12/values.yamlErwartet: encryption:,
enabled: true, type: wireguard.
helm repo add cilium https://helm.cilium.io/
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
--set encryption.enabled=true --set encryption.type=wireguard --dry-run=client \
| grep -E '^STATUS|enable-wireguard'Erwartet:
STATUS: pending-upgrade
enable-wireguard: "true"
Ohne --dry-run=client folgt danach wie in Drill 4 der
Rollout-Neustart des DaemonSets.
for p in $(k -n kube-system get pod -l k8s-app=cilium -o name); do
echo -n "$p "
k -n kube-system exec $p -c cilium-agent -- cilium-dbg encrypt status | head -1
doneErwartet:
pod/cilium-749ms Encryption: Wireguard
pod/cilium-qhtjm Encryption: Wireguard
pod/cilium-zg9q2 Encryption: Wireguard
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg encrypt statusErwartet: Encryption: Wireguard,
Number of peers: 2.
helm get values cilium -n kube-system | grep -A2 encryptionErwartet: enabled: true und
type: wireguard.
k get ciliumnodes -o custom-columns=\
NAME:.metadata.name,PUBKEY:.metadata.annotations.network\\.cilium\\.io/wg-pub-keyErwartet: drei Nodes, jeder mit einem eigenen öffentlichen Schlüssel.
k get pods -A | grep -vc RunningErwartet: 1 (nur die Kopfzeile) – der
Cluster ist nach dem Neustart gesund.
Die Verschlüsselung bleibt aktiv für alle folgenden
Tage. Die Sicherung cilium-values-backup.yaml hebst du auf;
Aufräumen nach der Challenge.
Challenge
WireGuard ist an. Weise mit einem Mitschnitt nach, dass ein Request
von kunde an den Traefik-NodePort von worker1
(172.16.0.228:30080) trotzdem im Klartext über das Netz
läuft, und erkläre, welcher Helm-Wert das ändern würde.
Hinweis: Gib dem Request einen auffälligen
User-Agent (wget -U …), damit grep ihn
findet.
Lösung
Terminal 1, auf worker1:
ssh [email protected]
sudo timeout 30 tcpdump -lni eth0 -A tcp port 30080 | grep -m1 GEHEIM-UATerminal 2, auf cp1:
k exec kunde -- wget -qO- -U GEHEIM-UA http://172.16.0.228:30080/Erwartet (Terminal 1, Terminal 2):
User-Agent: GEHEIM-UA
wget: server returned error: HTTP/1.1 404 Not Found
Das Ziel ist eine Node-IP, kein Pod. Ohne Node-Verschlüsselung geht
dieser Verkehr am WireGuard-Tunnel vorbei (der 404 kommt von Traefik,
weil kein Ingress passt). Abhilfe wäre
--set encryption.nodeEncryption=true; das verschlüsselt
auch Verkehr von und zu Nodes und hostNetwork-Pods. Im Labor bleibt es
aus, weil es auch den Verkehr zum API-Server und zum kubelet
betrifft.
Achtung: Node-Verschlüsselung erst auf einem Testcluster ausprobieren. Ein Fehler trennt Nodes voneinander, und die Control-Plane wird je nach Version standardmäßig ausgenommen.
Aufräumen:
k config set-context --current --namespace=default
k delete ns tag12Fortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Aufgabe „enable pod-to-pod encryption with Cilium“: Helm-Werte
encryption.enabled=trueundencryption.type=wireguard, danachk -n kube-system rollout restart ds/cilium. Ohne Neustart zeigtcilium-dbg encrypt statusweiterDisabled. - Nachweis immer im Agent-Pod:
cilium-dbg encrypt statusodercilium-dbg status. Im Container heißt das Werkzeugcilium-dbg, nichtcilium. - Doku: docs.cilium.io → Security → Transparent Encryption → WireGuard.
Enterprise-Notiz
- IPsec ist die zweite Variante in Cilium (FIPS-taugliche Algorithmen,
Schlüssel als Secret
cilium-ipsec-keys, Rotation per Hand). Kommerzielle Distributionen bieten dafür Support und Schlüsselverwaltung. - WireGuard-Schlüssel erzeugt jeder Agent selbst; es gibt keine Rotation per Secret, dafür auch nichts zu verwalten.
- Die Verschlüsselung kostet CPU und etwas MTU. Vor der Umstellung Durchsatz messen, besonders auf kleinen Nodes.
- Transparente Verschlüsselung ersetzt keine Identität: mTLS (Service Mesh oder Cilium Mutual Authentication) prüft zusätzlich, wer spricht.
- Änderungen an Cilium immer mit gesicherten Helm-Werten und gestaffeltem Rollout (zuerst ein Node, dann der Rest).