Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 16: Egress-Gateway

Ziel: Du schickst ausgehenden Verkehr ausgewählter Pods über einen festen Gateway-Node, sodass ein externes Ziel immer dieselbe Quell-IP sieht. · Dauer: ca. 60 min · Voraussetzung: Tag 6

Briefing

  • CKNE: Advanced Traffic Management – „Configuring Egress Gateways for Cluster Exit Traffic“.
  • Ohne Gateway verlässt ein Pod den Cluster mit der IP seines Nodes (Masquerading). Firewalls draußen müssten also jeden Node freischalten – und jeden neuen.
  • Die CiliumEgressGatewayPolicy (CEGP) leitet passende Pakete per Tunnel zu einem Gateway-Node, der sie mit seiner IP (der Egress-IP) maskiert.
  • Voraussetzungen: KPR (läuft seit Tag 0), BPF-Masquerading statt iptables.
 tag16/app (worker2) ─VXLAN─> worker1 .228 ─SNAT .228─> router .123:8000
 tag16/other (worker2) ──────────────────── SNAT .83 ─> router .123:8000

Drill 1: Ausgangslage – Quell-IP ist die Node-IP

Auf dem router in einem zweiten Terminal einen Webserver starten, der jede Client-IP protokolliert:

ssh [email protected]
mkdir -p ~/tag16 && cd ~/tag16
echo 'hallo vom router' > index.html
python3 -m http.server 8000

Auf cp1 zwei Pods fest auf worker2:

mkdir -p ~/ckne/tag16 && cd ~/ckne/tag16
k create ns tag16
k config set-context --current --namespace=tag16
k run app --image=nicolaka/netshoot:v0.16 -l app=egress-demo \
  --overrides='{"spec":{"nodeName":"worker2"}}' -- sleep infinity
k run other --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker2"}}' -- sleep infinity
k wait --for=condition=Ready pod --all
k get pods -o wide
k exec app -- curl -s -m3 http://172.16.0.123:8000/
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep Masquerading

Erwartet (gekürzt):

NAME    READY   STATUS    RESTARTS   AGE   IP           NODE
app     1/1     Running   0          2s    10.0.2.18    worker2
other   1/1     Running   0          2s    10.0.2.117   worker2
hallo vom router
Masquerading:            IPTables [IPv4: Enabled, IPv6: Disabled]

Im Server-Terminal:

172.16.0.83 - - [18/Nov/2026 23:47:48] "GET / HTTP/1.1" 200 -

Der Pod (10.0.2.18) kommt als worker2 (172.16.0.83) an – iptables-Masquerading auf seinem Node.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Egress-Gateway einschalten

helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 \
  --reuse-values --set egressGateway.enabled=true --set bpf.masquerade=true
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep -E 'enable-egress-gateway|enable-bpf-masquerade'
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep Masquerading
k api-resources | grep -i egress
ssh [email protected] "sudo iptables-save | grep -c MASQUERADE"

Erwartet (gekürzt):

daemon set "cilium" successfully rolled out
enable-bpf-masquerade                             true
enable-egress-gateway                             true
Masquerading:            BPF   [eth0]   10.0.1.0/24  [IPv4: Enabled, IPv6: Disabled]
ciliumegressgatewaypolicies   cegp   cilium.io/v2   false   CiliumEgressGatewayPolicy
0

Das Masquerading wandert aus iptables in eBPF-Programme an eth0 – Voraussetzung, weil das Gateway in genau diesem Schritt die Egress-IP einsetzt. Pods kommen danach weiter ins Internet, nur ohne iptables-Regel. Beide Werte gehen im Aufräumen zurück: Egress-Gateway verträgt sich laut Doku nicht mit ClusterMesh (Tag 17), und BPF-Masquerading ändert den Datenpfad für alle folgenden Tage.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Die Policy

k label node worker1 egress-node=true
cat > egw.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumEgressGatewayPolicy
metadata:
  name: tag16-egw
spec:
  selectors:
  - podSelector:
      matchLabels:
        app: egress-demo
        io.kubernetes.pod.namespace: tag16
  destinationCIDRs:
  - 172.16.0.123/32
  egressGateway:
    nodeSelector:
      matchLabels:
        egress-node: "true"
EOF
k apply -f egw.yaml
k exec app -- curl -s -m3 http://172.16.0.123:8000/
k exec other -- curl -s -m3 http://172.16.0.123:8000/

Erwartet: zweimal hallo vom router, im Server-Terminal:

172.16.0.228 - - [18/Nov/2026 23:51:09] "GET / HTTP/1.1" 200 -
172.16.0.83 - - [18/Nov/2026 23:51:10] "GET / HTTP/1.1" 200 -

app kommt jetzt als worker1 an, obwohl er auf worker2 läuft; other passt nicht zum Selector und bleibt bei .83. Die CEGP ist clusterweit, deshalb steht der Namespace als Label io.kubernetes.pod.namespace im podSelector.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Den Weg nachweisen

Jeder Agent hält die Regel in einer eBPF-Map – mit Unterschied:

C1=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker1 -o name)
C2=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list
k -n kube-system exec $C2 -c cilium-agent -- cilium-dbg bpf egress list

Erwartet:

Source IP   Destination CIDR   Egress IP      Gateway IP     Egress Ifindex
10.0.2.18   172.16.0.123/32    172.16.0.228   172.16.0.228   2
Source IP   Destination CIDR   Egress IP   Gateway IP     Egress Ifindex
10.0.2.18   172.16.0.123/32    0.0.0.0     172.16.0.228   0

worker2 kennt nur das Ziel-Gateway, nur worker1 kennt die Egress-IP. Auf der Leitung – in einem dritten Terminal auf worker2 mitschneiden, dann auf cp1 erneut k exec app -- curl -s -m3 http://172.16.0.123:8000/:

ssh [email protected] \
  "sudo tcpdump -ni eth0 -c 2 udp port 8472 and host 172.16.0.228"

Erwartet (gekürzt):

IP 172.16.0.83.56617 > 172.16.0.228.8472: OTV, flags [I] (0x08), overlay 0, ...
IP 10.0.2.18.43378 > 172.16.0.123.8000: Flags [S], seq 2362989376, ...
IP 172.16.0.228.39168 > 172.16.0.83.8472: OTV, flags [I] (0x08), overlay 0, ...
IP 172.16.0.123.8000 > 10.0.2.18.43378: Flags [S.], seq 1472162871, ...

Das SYN reist im VXLAN-Tunnel (UDP 8472) zu worker1, die Antwort auf demselben Weg zurück. Hubble zeigt den Flow auf beiden Nodes:

hubble observe -P --port-forward-port 0 --from-pod tag16/app \
  --to-ip 172.16.0.123 --last 2 --print-node-name

Erwartet (gekürzt):

Nov 18 23:54:00.223 [worker2]: tag16/app:55464 (ID:59425) -> 172.16.0.123:8000
(world) to-network FORWARDED (TCP Flags: ACK, PSH)
Nov 18 23:54:00.231 [worker1]: tag16/app:55464 (ID:59425) -> 172.16.0.123:8000
(world) to-network FORWARDED (TCP Flags: ACK, PSH)

Fortschritt speichern? Kostenlos registrieren

Drill 5: egressIP und interface

Ohne Angabe nimmt das Gateway die erste IPv4 des Interfaces mit der Default-Route. Mit egressIP oder interface legst du sie fest – die IP muss auf dem Gateway-Node wirklich existieren:

k patch cegp tag16-egw --type=merge \
  -p '{"spec":{"egressGateway":{"egressIP":"172.16.0.99"}}}'
k exec app -- curl -s -m3 http://172.16.0.123:8000/; echo "exit=$?"
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
  --verdict DROPPED --last 1
k patch cegp tag16-egw --type=merge \
  -p '{"spec":{"egressGateway":{"egressIP":"172.16.0.228"}}}'
k exec app -- curl -s -m3 http://172.16.0.123:8000/

Erwartet (gekürzt):

command terminated with exit code 28
exit=28
Source IP   Destination CIDR   Egress IP   Gateway IP     Egress Ifindex
10.0.2.18   172.16.0.123/32    0.0.0.0     172.16.0.228   0
Nov 18 23:52:29.608: tag16/app:35854 (ID:59425) <> 172.16.0.123:8000 (world)
No Egress IP configured DROPPED (TCP Flags: SYN)
hallo vom router

Eine IP, die worker1 nicht hat, führt zu Drops mit Grund „No Egress IP configured“ – nicht zu einem Rückfall auf die Node-IP. In Produktion bekommen Gateway-Nodes dafür eigene IPs oder ein zweites Interface (interface: eth1).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Ausfall des Gateway-Nodes

Fällt der Gateway-Node aus oder verliert er sein Label, findet die Policy kein Gateway. Das Entfernen des Labels simuliert den Ausfall:

k patch cegp tag16-egw --type=json \
  -p '[{"op":"remove","path":"/spec/egressGateway/egressIP"}]'
k label node worker1 egress-node-
k exec app -- curl -s -m3 http://172.16.0.123:8000/; echo "exit=$?"
k -n kube-system exec $C2 -c cilium-agent -- cilium-dbg bpf egress list
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
  --verdict DROPPED --last 1
k label node worker2 egress-node=true
k -n kube-system exec $C2 -c cilium-agent -- cilium-dbg bpf egress list
k exec app -- curl -s -m3 http://172.16.0.123:8000/

Erwartet (gekürzt):

exit=28
Source IP   Destination CIDR   Egress IP   Gateway IP   Egress Ifindex
10.0.2.18   172.16.0.123/32    0.0.0.0     Not Found    0
Nov 18 23:52:50.720: tag16/app:37832 (ID:59425) <> 172.16.0.123:8000 (world)
No egress gateway found DROPPED (TCP Flags: SYN)
node/worker2 labeled
Source IP   Destination CIDR   Egress IP     Gateway IP    Egress Ifindex
10.0.2.18   172.16.0.123/32    172.16.0.83   172.16.0.83   2
hallo vom router

Ohne Gateway wird verworfen, nicht direkt ausgeleitet – die Firewall draußen sieht nie eine unerwartete IP. Ein neuer Gateway-Node übernimmt sofort, bestehende Verbindungen brechen dabei ab. Bei einem echten Node-Ausfall hängt die Umschaltzeit daran, wann Kubernetes den Node als weg erkennt. Mit egressGateways (Liste) verteilt Cilium Pods auf mehrere Gateways – jeder Pod nutzt aber genau eines. Zurück auf worker1:

k label node worker2 egress-node-
k label node worker1 egress-node=true

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Erweitere tag16-egw auf das ganze Netz 172.16.0.0/24, aber nimm den router aus. Prüfe die Quell-IP. Zeitziel: 90 s
  2. Zeige auf dem Gateway-Node, welche Pod-IPs über ihn ausgehen. Zeitziel: 45 s
  3. Finde die letzten verworfenen Egress-Pakete von tag16/app samt Grund. Zeitziel: 30 s

Lösung

k patch cegp tag16-egw --type=merge -p \
  '{"spec":{"destinationCIDRs":["172.16.0.0/24"],"excludedCIDRs":["172.16.0.123/32"]}}'
k exec app -- curl -s -m3 http://172.16.0.123:8000/
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list
hubble observe -P --port-forward-port 0 --from-pod tag16/app \
  --verdict DROPPED --last 5
k patch cegp tag16-egw --type=json \
  -p '[{"op":"remove","path":"/spec/excludedCIDRs"}]'

Erwartet (gekürzt):

hallo vom router
Source IP   Destination CIDR   Egress IP      Gateway IP      Egress Ifindex
10.0.2.18   172.16.0.123/32    172.16.0.228   Excluded CIDR   2
10.0.2.18   172.16.0.0/24      172.16.0.228   172.16.0.228    2

Im Server-Terminal steht wieder 172.16.0.83 – die Ausnahme schlägt das größere Netz. Nach dem Entfernen von excludedCIDRs wieder 172.16.0.228.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k exec app -- curl -s -m3 http://172.16.0.123:8000/

Erwartet: hallo vom router, im Server-Terminal Quell-IP 172.16.0.228.

k exec other -- curl -s -m3 http://172.16.0.123:8000/

Erwartet: hallo vom router, Quell-IP 172.16.0.83.

k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list

Erwartet: Zeile mit 10.0.2.18 (IP von app), Egress IP 172.16.0.228.

k get nodes -l egress-node=true

Erwartet: nur worker1.

Challenge

Schicke zusätzlich alle Pods des Namespace tag16 für das Ziel router über den Gateway-Node, ohne Pod-Labels zu ändern. Weise nach, dass jetzt auch other als 172.16.0.228 ankommt.

Hinweis: selectors kennt neben podSelector auch namespaceSelector.

Lösung

k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumEgressGatewayPolicy
metadata:
  name: tag16-ns
spec:
  selectors:
  - namespaceSelector:
      matchLabels:
        kubernetes.io/metadata.name: tag16
  destinationCIDRs:
  - 172.16.0.123/32
  egressGateway:
    nodeSelector:
      matchLabels:
        egress-node: "true"
EOF
k exec other -- curl -s -m3 http://172.16.0.123:8000/
k -n kube-system exec $C1 -c cilium-agent -- cilium-dbg bpf egress list

Erwartet (gekürzt):

hallo vom router
Source IP    Destination CIDR   Egress IP      Gateway IP     Egress Ifindex
10.0.2.18    172.16.0.123/32    172.16.0.228   172.16.0.228   2
10.0.2.117   172.16.0.123/32    172.16.0.228   172.16.0.228   2

Im Server-Terminal: 172.16.0.228 - - [...] "GET / HTTP/1.1" 200 -. Das Label kubernetes.io/metadata.name setzt Kubernetes auf jeden Namespace selbst.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Im Server-Terminal auf dem router Strg+C, dann rm -r ~/tag16 und exit. Auf cp1 – beide Helm-Werte gehen zurück (BPF-Masquerading ändert den Datenpfad, Egress-Gateway stört ClusterMesh in Tag 17), und zwar genau auf die Sicherung aus Drill 2:

k delete cegp tag16-egw tag16-ns
k label node worker1 egress-node-
k delete namespace tag16
k config set-context --current --namespace=default
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 -f values-vorher.yaml
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep -E 'enable-egress-gateway|enable-bpf-masquerade'
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep Masquerading

Erwartet (gekürzt):

GLEICH
Masquerading:            IPTables [IPv4: Enabled, IPv6: Disabled]

enable-egress-gateway und enable-bpf-masquerade tauchen mit den Chart-Defaults gar nicht mehr in der ConfigMap auf. BGP aus Tag 15 bleibt unverändert.

Prüfungstipp

  • Fehlt eine Voraussetzung (bpf.masquerade, KPR), wirkt die Policy nicht – erst cilium config view, dann cilium-dbg bpf egress list auf dem Gateway-Node prüfen.
  • Leere Map = Selector trifft nicht (Pod-Labels, Namespace-Label, Node-Label); Gateway IP Not Found = kein Node mit passendem Label.
  • Doku: docs.cilium.io „Egress Gateway“ (Abschnitte „Prerequisites“, „Troubleshooting“).

Enterprise-Notiz

  • Feste Egress-IPs sind Pflicht, wenn Partner, Datenbanken oder SaaS per IP-Allowlist freischalten; die Gateway-Nodes bekommen eigene, reservierte IPs (zweites Interface).
  • Gateway-Nodes als eigene Node-Gruppe mit Taints, damit dort keine Workloads um Bandbreite konkurrieren.
  • Echte Hochverfügbarkeit mit schnellem Umschalten bietet Isovalent Enterprise; OSS verteilt per egressGateways nur Pods auf mehrere Gateways.
  • Nicht kombinierbar mit ClusterMesh, CiliumEndpointSlice und identityAllocationMode=kvstore.
  • In der Cloud muss das Netz die Egress-IP am Gateway-Node erlauben (Source/Dest-Check, sekundäre IPs per ENI).