Tag 16: Egress-Gateway
Ziel: Du schickst ausgehenden Verkehr ausgewählter Pods über einen festen Gateway-Node, sodass ein externes Ziel immer dieselbe Quell-IP sieht. · Dauer: ca. 60 min · Voraussetzung: Tag 6
Briefing
- CKNE: Advanced Traffic Management – „Configuring Egress Gateways for Cluster Exit Traffic“.
- Ohne Gateway verlässt ein Pod den Cluster mit der IP seines Nodes (Masquerading). Firewalls draußen müssten also jeden Node freischalten – und jeden neuen.
- Die
CiliumEgressGatewayPolicy(CEGP) leitet passende Pakete per Tunnel zu einem Gateway-Node, der sie mit seiner IP (der Egress-IP) maskiert. - Voraussetzungen: KPR (läuft seit Tag 0), BPF-Masquerading statt iptables.
tag16/app (worker2) ─VXLAN─> worker1 .228 ─SNAT .228─> router .123:8000
tag16/other (worker2) ──────────────────── SNAT .83 ─> router .123:8000
Drill 1: Ausgangslage – Quell-IP ist die Node-IP
Auf dem router in einem zweiten
Terminal einen Webserver starten, der jede Client-IP
protokolliert:
ssh [email protected]
mkdir -p ~/tag16 && cd ~/tag16
echo 'hallo vom router' > index.html
python3 -m http.server 8000Auf cp1 zwei Pods fest auf worker2:
mkdir -p ~/ckne/tag16 && cd ~/ckne/tag16
k create ns tag16
k config set-context --current --namespace=tag16
k run app --image=nicolaka/netshoot:v0.16 -l app=egress-demo \
--overrides='{"spec":{"nodeName":"worker2"}}' -- sleep infinity
k run other --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker2"}}' -- sleep infinity
k wait --for=condition=Ready pod --all
k get pods -o wide
k exec app -- curl -s -m3 http://172.16.0.123:8000/
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
| grep MasqueradingErwartet (gekürzt):
NAME READY STATUS RESTARTS AGE IP NODE
app 1/1 Running 0 2s 10.0.2.18 worker2
other 1/1 Running 0 2s 10.0.2.117 worker2
hallo vom router
Masquerading: IPTables [IPv4: Enabled, IPv6: Disabled]
Im Server-Terminal:
172.16.0.83 - - [18/Nov/2026 23:47:48] "GET / HTTP/1.1" 200 -
Der Pod (10.0.2.18) kommt als worker2 (172.16.0.83) an – iptables-Masquerading auf seinem Node.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Egress-Gateway einschalten
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 \
--reuse-values --set egressGateway.enabled=true --set bpf.masquerade=true
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep -E 'enable-egress-gateway|enable-bpf-masquerade'
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
| grep Masquerading
k api-resources | grep -i egress
ssh [email protected] "sudo iptables-save | grep -c MASQUERADE"Erwartet (gekürzt):
daemon set "cilium" successfully rolled out
enable-bpf-masquerade true
enable-egress-gateway true
Masquerading: BPF [eth0] 10.0.1.0/24 [IPv4: Enabled, IPv6: Disabled]
ciliumegressgatewaypolicies cegp cilium.io/v2 false CiliumEgressGatewayPolicy
0
Das Masquerading wandert aus iptables in eBPF-Programme an
eth0 – Voraussetzung, weil das Gateway in genau diesem
Schritt die Egress-IP einsetzt. Pods kommen danach weiter ins Internet,
nur ohne iptables-Regel. Beide Werte gehen im Aufräumen zurück:
Egress-Gateway verträgt sich laut Doku nicht mit ClusterMesh (Tag 17),
und BPF-Masquerading ändert den Datenpfad für alle folgenden Tage.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Die Policy
k label node worker1 egress-node=true
cat > egw.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumEgressGatewayPolicy
metadata:
name: tag16-egw
spec:
selectors:
- podSelector:
matchLabels:
app: egress-demo
io.kubernetes.pod.namespace: tag16
destinationCIDRs:
- 172.16.0.123/32
egressGateway:
nodeSelector:
matchLabels:
egress-node: "true"
EOF
k apply -f egw.yaml
k exec app -- curl -s -m3 http://172.16.0.123:8000/
k exec other -- curl -s -m3 http://172.16.0.123:8000/Erwartet: zweimal hallo vom router, im
Server-Terminal:
172.16.0.228 - - [18/Nov/2026 23:51:09] "GET / HTTP/1.1" 200 -
172.16.0.83 - - [18/Nov/2026 23:51:10] "GET / HTTP/1.1" 200 -
app kommt jetzt als worker1 an, obwohl er auf worker2
läuft; other passt nicht zum Selector und bleibt bei .83.
Die CEGP ist clusterweit, deshalb steht der Namespace als Label
io.kubernetes.pod.namespace im
podSelector.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Den Weg nachweisen
Jeder Agent hält die Regel in einer eBPF-Map – mit Unterschied:
C1=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker1 -o name)
C2=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list
k -n kube-system exec $C2 -c cilium-agent -- cilium-dbg bpf egress listErwartet:
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 172.16.0.228 172.16.0.228 2
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 0.0.0.0 172.16.0.228 0
worker2 kennt nur das Ziel-Gateway, nur worker1 kennt die Egress-IP.
Auf der Leitung – in einem dritten Terminal auf worker2 mitschneiden,
dann auf cp1 erneut
k exec app -- curl -s -m3 http://172.16.0.123:8000/:
ssh [email protected] \
"sudo tcpdump -ni eth0 -c 2 udp port 8472 and host 172.16.0.228"Erwartet (gekürzt):
IP 172.16.0.83.56617 > 172.16.0.228.8472: OTV, flags [I] (0x08), overlay 0, ...
IP 10.0.2.18.43378 > 172.16.0.123.8000: Flags [S], seq 2362989376, ...
IP 172.16.0.228.39168 > 172.16.0.83.8472: OTV, flags [I] (0x08), overlay 0, ...
IP 172.16.0.123.8000 > 10.0.2.18.43378: Flags [S.], seq 1472162871, ...
Das SYN reist im VXLAN-Tunnel (UDP 8472) zu worker1, die Antwort auf demselben Weg zurück. Hubble zeigt den Flow auf beiden Nodes:
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
--to-ip 172.16.0.123 --last 2 --print-node-nameErwartet (gekürzt):
Nov 18 23:54:00.223 [worker2]: tag16/app:55464 (ID:59425) -> 172.16.0.123:8000
(world) to-network FORWARDED (TCP Flags: ACK, PSH)
Nov 18 23:54:00.231 [worker1]: tag16/app:55464 (ID:59425) -> 172.16.0.123:8000
(world) to-network FORWARDED (TCP Flags: ACK, PSH)
Fortschritt speichern? Kostenlos registrieren
Drill 5: egressIP und interface
Ohne Angabe nimmt das Gateway die erste IPv4 des Interfaces mit der
Default-Route. Mit egressIP oder interface
legst du sie fest – die IP muss auf dem Gateway-Node wirklich
existieren:
k patch cegp tag16-egw --type=merge \
-p '{"spec":{"egressGateway":{"egressIP":"172.16.0.99"}}}'
k exec app -- curl -s -m3 http://172.16.0.123:8000/; echo "exit=$?"
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
--verdict DROPPED --last 1
k patch cegp tag16-egw --type=merge \
-p '{"spec":{"egressGateway":{"egressIP":"172.16.0.228"}}}'
k exec app -- curl -s -m3 http://172.16.0.123:8000/Erwartet (gekürzt):
command terminated with exit code 28
exit=28
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 0.0.0.0 172.16.0.228 0
Nov 18 23:52:29.608: tag16/app:35854 (ID:59425) <> 172.16.0.123:8000 (world)
No Egress IP configured DROPPED (TCP Flags: SYN)
hallo vom router
Eine IP, die worker1 nicht hat, führt zu Drops mit Grund „No Egress
IP configured“ – nicht zu einem Rückfall auf die Node-IP. In Produktion
bekommen Gateway-Nodes dafür eigene IPs oder ein zweites Interface
(interface: eth1).
Fortschritt speichern? Kostenlos registrieren
Drill 6: Ausfall des Gateway-Nodes
Fällt der Gateway-Node aus oder verliert er sein Label, findet die Policy kein Gateway. Das Entfernen des Labels simuliert den Ausfall:
k patch cegp tag16-egw --type=json \
-p '[{"op":"remove","path":"/spec/egressGateway/egressIP"}]'
k label node worker1 egress-node-
k exec app -- curl -s -m3 http://172.16.0.123:8000/; echo "exit=$?"
k -n kube-system exec $C2 -c cilium-agent -- cilium-dbg bpf egress list
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
--verdict DROPPED --last 1
k label node worker2 egress-node=true
k -n kube-system exec $C2 -c cilium-agent -- cilium-dbg bpf egress list
k exec app -- curl -s -m3 http://172.16.0.123:8000/Erwartet (gekürzt):
exit=28
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 0.0.0.0 Not Found 0
Nov 18 23:52:50.720: tag16/app:37832 (ID:59425) <> 172.16.0.123:8000 (world)
No egress gateway found DROPPED (TCP Flags: SYN)
node/worker2 labeled
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 172.16.0.83 172.16.0.83 2
hallo vom router
Ohne Gateway wird verworfen, nicht direkt ausgeleitet – die Firewall
draußen sieht nie eine unerwartete IP. Ein neuer Gateway-Node übernimmt
sofort, bestehende Verbindungen brechen dabei ab. Bei einem echten
Node-Ausfall hängt die Umschaltzeit daran, wann Kubernetes den Node als
weg erkennt. Mit egressGateways (Liste) verteilt Cilium
Pods auf mehrere Gateways – jeder Pod nutzt aber genau eines. Zurück auf
worker1:
k label node worker2 egress-node-
k label node worker1 egress-node=trueFortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Erweitere
tag16-egwauf das ganze Netz 172.16.0.0/24, aber nimm denrouteraus. Prüfe die Quell-IP. Zeitziel: 90 s - Zeige auf dem Gateway-Node, welche Pod-IPs über ihn ausgehen. Zeitziel: 45 s
- Finde die letzten verworfenen Egress-Pakete von
tag16/appsamt Grund. Zeitziel: 30 s
Lösung
k patch cegp tag16-egw --type=merge -p \
'{"spec":{"destinationCIDRs":["172.16.0.0/24"],"excludedCIDRs":["172.16.0.123/32"]}}'
k exec app -- curl -s -m3 http://172.16.0.123:8000/
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
--verdict DROPPED --last 5
k patch cegp tag16-egw --type=json \
-p '[{"op":"remove","path":"/spec/excludedCIDRs"}]'Erwartet (gekürzt):
hallo vom router
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 172.16.0.228 Excluded CIDR 2
10.0.2.18 172.16.0.0/24 172.16.0.228 172.16.0.228 2
Im Server-Terminal steht wieder 172.16.0.83 – die
Ausnahme schlägt das größere Netz. Nach dem Entfernen von
excludedCIDRs wieder 172.16.0.228.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k exec app -- curl -s -m3 http://172.16.0.123:8000/Erwartet: hallo vom router, im
Server-Terminal Quell-IP 172.16.0.228.
k exec other -- curl -s -m3 http://172.16.0.123:8000/Erwartet: hallo vom router, Quell-IP
172.16.0.83.
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress listErwartet: Zeile mit 10.0.2.18 (IP von
app), Egress IP 172.16.0.228.
k get nodes -l egress-node=trueErwartet: nur worker1.
Challenge
Schicke zusätzlich alle Pods des Namespace
tag16 für das Ziel router über den
Gateway-Node, ohne Pod-Labels zu ändern. Weise nach, dass jetzt auch
other als 172.16.0.228 ankommt.
Hinweis: selectors kennt neben
podSelector auch namespaceSelector.
Lösung
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumEgressGatewayPolicy
metadata:
name: tag16-ns
spec:
selectors:
- namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: tag16
destinationCIDRs:
- 172.16.0.123/32
egressGateway:
nodeSelector:
matchLabels:
egress-node: "true"
EOF
k exec other -- curl -s -m3 http://172.16.0.123:8000/
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress listErwartet (gekürzt):
hallo vom router
Source IP Destination CIDR Egress IP Gateway IP Egress Ifindex
10.0.2.18 172.16.0.123/32 172.16.0.228 172.16.0.228 2
10.0.2.117 172.16.0.123/32 172.16.0.228 172.16.0.228 2
Im Server-Terminal:
172.16.0.228 - - [...] "GET / HTTP/1.1" 200 -. Das Label
kubernetes.io/metadata.name setzt Kubernetes auf jeden
Namespace selbst.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
Im Server-Terminal auf dem router Strg+C, dann
rm -r ~/tag16 und exit. Auf cp1 –
beide Helm-Werte gehen zurück (BPF-Masquerading ändert den Datenpfad,
Egress-Gateway stört ClusterMesh in Tag 17), und zwar genau auf die
Sicherung aus Drill 2:
k delete cegp tag16-egw tag16-ns
k label node worker1 egress-node-
k delete namespace tag16
k config set-context --current --namespace=default
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 -f values-vorher.yaml
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep -E 'enable-egress-gateway|enable-bpf-masquerade'
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
| grep MasqueradingErwartet (gekürzt):
GLEICH
Masquerading: IPTables [IPv4: Enabled, IPv6: Disabled]
enable-egress-gateway und
enable-bpf-masquerade tauchen mit den Chart-Defaults gar
nicht mehr in der ConfigMap auf. BGP aus Tag 15 bleibt unverändert.
Prüfungstipp
- Fehlt eine Voraussetzung (
bpf.masquerade, KPR), wirkt die Policy nicht – erstcilium config view, danncilium-dbg bpf egress listauf dem Gateway-Node prüfen. - Leere Map = Selector trifft nicht (Pod-Labels, Namespace-Label,
Node-Label);
Gateway IP Not Found= kein Node mit passendem Label. - Doku: docs.cilium.io „Egress Gateway“ (Abschnitte „Prerequisites“, „Troubleshooting“).
Enterprise-Notiz
- Feste Egress-IPs sind Pflicht, wenn Partner, Datenbanken oder SaaS per IP-Allowlist freischalten; die Gateway-Nodes bekommen eigene, reservierte IPs (zweites Interface).
- Gateway-Nodes als eigene Node-Gruppe mit Taints, damit dort keine Workloads um Bandbreite konkurrieren.
- Echte Hochverfügbarkeit mit schnellem Umschalten bietet Isovalent
Enterprise; OSS verteilt per
egressGatewaysnur Pods auf mehrere Gateways. - Nicht kombinierbar mit ClusterMesh, CiliumEndpointSlice und
identityAllocationMode=kvstore. - In der Cloud muss das Netz die Egress-IP am Gateway-Node erlauben (Source/Dest-Check, sekundäre IPs per ENI).