Tag 15: Netze nach außen
Ziel: Du vergibst LoadBalancer-IPs aus einem eigenen Pool, kündigst sie und die Pod-Netze per BGP an einen externen Router an und erreichst sie von außerhalb des Clusters. · Dauer: ca. 75 min · Voraussetzung: Tag 6
Briefing
- CKNE: Advanced Traffic Management – „Implementing Routing to Expose Networks“.
- LB-IPAM füllt
EXTERNAL-IPaus einemCiliumLoadBalancerIPPool. Erreichbar wird die IP erst, wenn jemand dem Netz sagt, wo sie liegt: per BGP (Route) oder per L2 (ARP-Antwort). - Der Pool 10.50.0.0/24 liegt bewusst außerhalb des
Heimnetzes 172.16.0.0/24 – er existiert nur durch die BGP-Routen auf dem
router. - ASN-Plan (privater Bereich 64512–65534):
router= AS 65000, Clusterost(so heißt er ab Tag 17; im Manifest nur ein frei wählbarer Instanzname) = AS 65010, jeder Node ist ein eigener BGP-Sprecher (eBGP).
AS 65000 AS 65010
router .123 (FRR) ──eBGP── cp1 .126 · worker1 .228 · worker2 .83
10.50.0.1/32 via alle Nodes (ECMP) LB-IPAM 10.50.0.0/24
10.0.N.0/24 via Node N Pod-CIDR je Node
Drill 1: Ausgangslage – pending und keine Route
mkdir -p ~/ckne/tag15 && cd ~/ckne/tag15
k create ns tag15
k config set-context --current --namespace=tag15
k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
--replicas=2 --port=8080 -- /agnhost netexec --http-port=8080
k rollout status deployment echo
k expose deployment echo --name=echo-lb --type=LoadBalancer --port=80 \
--target-port=8080
k get svc echo-lb
k get ippools
ssh [email protected] ip route get 10.50.0.1Erwartet (gekürzt):
deployment "echo" successfully rolled out
service/echo-lb exposed
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
echo-lb LoadBalancer 10.102.65.144 <pending> 80:31201/TCP 1s
No resources found
10.50.0.1 via 172.16.0.1 dev eth0 src 172.16.0.123 uid 1000
Kein Pool, keine IP. Und der router würde 10.50.0.0/24
heute an sein Default-Gateway schicken – ins Leere.
Fortschritt speichern? Kostenlos registrieren
Drill 2: LB-IPAM-Pool
cat > pool.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumLoadBalancerIPPool
metadata:
name: tag15-pool
spec:
allowFirstLastIPs: "No"
blocks:
- cidr: 10.50.0.0/24
serviceSelector:
matchLabels:
io.kubernetes.service.namespace: tag15
EOF
k apply -f pool.yaml
k get ippools
k get svc echo-lb
k get svc echo-lb -o jsonpath='{.status}'; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
| grep -A1 '10.50.0'Erwartet (gekürzt):
ciliumloadbalancerippool.cilium.io/tag15-pool created
NAME DISABLED CONFLICTING IPS AVAILABLE AGE
tag15-pool false False 253 4s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
echo-lb LoadBalancer 10.102.65.144 10.50.0.1 80:31201/TCP 1m
{"conditions":[{...,"reason":"satisfied","status":"True",
"type":"cilium.io/IPAMRequestSatisfied"}],"loadBalancer":{"ingress":[{"ip":"10.50.0.1",
"ipMode":"VIP"}]}}
23 10.50.0.1:80/TCP LoadBalancer 1 => 10.0.1.50:8080/TCP (active)
2 => 10.0.1.132:8080/TCP (active)
Ohne allowFirstLastIPs: "No" bekommt der erste Service
10.50.0.0 – technisch gültig, aber manche Router und
Firewalls mögen Netz- und Broadcast-Adresse nicht. Der
serviceSelector mit dem automatischen Label
io.kubernetes.service.namespace beschränkt den Pool auf
tag15; ein Service anderswo bleibt
<pending>:
k -n default create service loadbalancer fremd --tcp=80:80
k -n default get svc fremd
k -n default delete svc fremdErwartet (gekürzt):
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
fremd LoadBalancer 10.99.116.203 <pending> 80:31368/TCP 3s
Fortschritt speichern? Kostenlos registrieren
Drill 3: FRR auf dem router
Der router wird ein echter BGP-Router. Auf Ubuntu genügt
das FRR-Paket; der BGP-Daemon ist ab Werk aus:
ssh [email protected]
sudo apt-get install -y frr
sudo sed -i 's/^bgpd=no/bgpd=yes/' /etc/frr/daemons
sudo systemctl restart frr
sudo vtysh -c 'show version' | head -1
sudo vtyshIn der vtysh (Cisco-ähnliche Shell) die Nachbarn
eintragen:
conf t
router bgp 65000
bgp router-id 172.16.0.123
no bgp ebgp-requires-policy
neighbor CILIUM peer-group
neighbor CILIUM remote-as 65010
neighbor 172.16.0.126 peer-group CILIUM
neighbor 172.16.0.228 peer-group CILIUM
neighbor 172.16.0.83 peer-group CILIUM
address-family ipv4 unicast
maximum-paths 8
end
write memory
show bgp summary
exit
Erwartet (gekürzt):
FRRouting 8.4.4 (prod) on Linux(6.8.0-149-generic).
Integrated configuration saved to /etc/frr/frr.conf
BGP router identifier 172.16.0.123, local AS number 65000 vrf-id 0
Neighbor V AS MsgRcvd MsgSent ... Up/Down State/PfxRcd PfxSnt
172.16.0.83 4 65010 0 0 ... never Idle 0
172.16.0.126 4 65010 0 0 ... never Idle 0
172.16.0.228 4 65010 0 0 ... never Idle 0
no bgp ebgp-requires-policy schaltet die FRR-Vorgabe ab,
eBGP-Routen nur mit Route-Map anzunehmen – im Labor genügt „alles
annehmen“. maximum-paths 8 erlaubt ECMP: dieselbe
Service-IP über mehrere Nodes. Verlasse die vtysh mit exit
und den router mit einem weiteren exit –
zurück auf cp1.
Fortschritt speichern? Kostenlos registrieren
Drill 4: BGP Control Plane einschalten
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 \
--reuse-values --set bgpControlPlane.enabled=true
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep enable-bgp-control-plane
k api-resources | grep -i bgpErwartet (gekürzt):
Release "cilium" has been upgraded. Happy Helming!
daemon set "cilium" successfully rolled out
enable-bgp-control-plane true
enable-bgp-control-plane-status-report true
ciliumbgpadvertisements cbgpadvert cilium.io/v2 false CiliumBGP...
ciliumbgpclusterconfigs cbgpcluster cilium.io/v2 false CiliumBGP...
ciliumbgpnodeconfigoverrides cbgpnodeoverride cilium.io/v2 false CiliumBGP...
ciliumbgpnodeconfigs cbgpnode cilium.io/v2 false CiliumBGP...
ciliumbgppeerconfigs cbgppeer cilium.io/v2 false CiliumBGP...
--reuse-values behält alle bisherigen Werte (auch die
anderer Tage). Die ConfigMap ändert sich sofort, die Agenten lesen sie
aber erst nach dem Neustart. Die BGP-API ist in 1.20
cilium.io/v2; die alte CiliumBGPPeeringPolicy
taucht nicht mehr auf.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Peering aufbauen
Drei Objekte: die ClusterConfig wählt Nodes und Nachbarn, die PeerConfig hält Einstellungen pro Nachbar (Familien, Timer) und zeigt per Label auf die Advertisements:
cat > bgp.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPClusterConfig
metadata:
name: tag15-bgp
spec:
nodeSelector:
matchLabels:
kubernetes.io/os: linux
bgpInstances:
- name: ost
localASN: 65010
peers:
- name: router
peerASN: 65000
peerAddress: 172.16.0.123
peerConfigRef:
name: tag15-peer
---
apiVersion: cilium.io/v2
kind: CiliumBGPPeerConfig
metadata:
name: tag15-peer
spec:
families:
- afi: ipv4
safi: unicast
advertisements:
matchLabels:
advertise: tag15
EOF
k apply -f bgp.yaml
cilium bgp peers
k get ciliumbgpnodeconfigs
ssh [email protected] "sudo vtysh -c 'show bgp summary'" | tail -5Erwartet (gekürzt):
Node Local AS Peer AS Peer Address Session State ... Received Advertised
cp1 65010 65000 172.16.0.123 established ... 0 0
worker1 65010 65000 172.16.0.123 established ... 0 0
worker2 65010 65000 172.16.0.123 established ... 0 0
NAME AGE
cp1 81s
worker1 81s
worker2 81s
Neighbor V AS MsgRcvd MsgSent ... Up/Down State/PfxRcd PfxSnt
172.16.0.83 4 65010 2 2 ... 00:00:16 0 0
172.16.0.126 4 65010 2 2 ... 00:00:16 0 0
172.16.0.228 4 65010 2 2 ... 00:00:16 0 0
Sitzungen stehen, aber Advertised 0: Ohne passendes
CiliumBGPAdvertisement kündigt Cilium nichts an. Die
CiliumBGPNodeConfig-Objekte erzeugt der Operator je Node
aus der ClusterConfig – dort steht im status der Zustand
jeder Sitzung.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Service-IP ankündigen
k label svc echo-lb bgp=on
cat > adv-svc.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
name: tag15-lb
labels:
advertise: tag15
spec:
advertisements:
- advertisementType: Service
service:
addresses:
- LoadBalancerIP
selector:
matchLabels:
bgp: "on"
EOF
k apply -f adv-svc.yaml
cilium bgp routes advertised ipv4 unicastErwartet (gekürzt):
Node VRouter Peer Prefix NextHop Age Attrs
cp1 65010 172.16.0.123 10.50.0.1/32 172.16.0.126 10s [{Origin: i} ...
worker1 65010 172.16.0.123 10.50.0.1/32 172.16.0.228 10s [{Origin: i} ...
worker2 65010 172.16.0.123 10.50.0.1/32 172.16.0.83 10s [{Origin: i} ...
Jetzt auf dem router:
ssh [email protected]
sudo vtysh -c 'show bgp ipv4 unicast'
ip route show 10.50.0.1
for i in 1 2 3 4; do curl -s -m3 http://10.50.0.1/hostname; echo; done
curl -s -m3 http://10.50.0.1/clientip; echo
exitErwartet (gekürzt):
Network Next Hop Metric LocPrf Weight Path
*= 10.50.0.1/32 172.16.0.228 0 65010 i
*> 172.16.0.83 0 65010 i
*= 172.16.0.126 0 65010 i
10.50.0.1 nhid 21 proto bgp metric 20
nexthop via 172.16.0.83 dev eth0 weight 1
nexthop via 172.16.0.126 dev eth0 weight 1
nexthop via 172.16.0.228 dev eth0 weight 1
echo-cc8555f69-xgp7v
echo-cc8555f69-xgp7v
echo-cc8555f69-shgfk
echo-cc8555f69-shgfk
10.0.2.241:54950
*> ist der beste Pfad, *= gleichwertige
Multipath-Pfade – der Kernel verteilt per ECMP auf alle drei Nodes. Die
Client-IP ist cilium_host von worker2: Bei
externalTrafficPolicy: Cluster leitet der Empfangs-Node mit
SNAT weiter (Tag 6).
Fortschritt speichern? Kostenlos registrieren
Drill 7: Pod-CIDR ankündigen und ETP Local
cat > adv-pod.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
name: tag15-podcidr
labels:
advertise: tag15
spec:
advertisements:
- advertisementType: PodCIDR
EOF
k apply -f adv-pod.yaml
k get pods -o wide
ssh [email protected] "ip route | grep '^10\.'"
P=$(k get pod -l app=echo -o jsonpath='{.items[0].status.podIP}'); echo $P
ssh [email protected] curl -s -m3 http://$P:8080/clientip; echoErwartet (gekürzt):
NAME READY STATUS ... IP NODE
echo-cc8555f69-shgfk 1/1 Running ... 10.0.1.50 worker1
echo-cc8555f69-xgp7v 1/1 Running ... 10.0.1.132 worker1
10.0.0.0/24 nhid 16 via 172.16.0.126 dev eth0 proto bgp metric 20
10.0.1.0/24 nhid 22 via 172.16.0.228 dev eth0 proto bgp metric 20
10.0.2.0/24 nhid 15 via 172.16.0.83 dev eth0 proto bgp metric 20
10.50.0.1 nhid 21 proto bgp metric 20
10.0.1.50
172.16.0.123:57256
Jeder Node kündigt seinen eigenen Pod-CIDR aus der CiliumNode an; der
router erreicht Pods direkt, ohne NAT – der Pod sieht die
echte Client-IP. Mit externalTrafficPolicy: Local zieht
Cilium die Service-Route von Nodes ohne Backend zurück:
k patch svc echo-lb -p '{"spec":{"externalTrafficPolicy":"Local"}}'
ssh [email protected] ip route show 10.50.0.1
ssh [email protected] curl -s -m3 http://10.50.0.1/clientip; echoErwartet:
service/echo-lb patched
10.50.0.1 nhid 22 via 172.16.0.228 dev eth0 proto bgp metric 20
172.16.0.123:43742
Nur noch worker1 (beide Pods dort) – das ist der saubere Weg zur echten Client-IP ohne den Umweg über einen tauben Node (Tag 6: curl Exit 7).
Fortschritt speichern? Kostenlos registrieren
Drill 8: L2 Announcements – nur verstehen
Ohne BGP-Router geht es auch auf Layer 2: Cilium beantwortet ARP-Anfragen für LB-IPs, die im Node-Subnetz liegen, und ein Node pro Service hält per Lease die IP.
cilium config view | grep enable-l2
k explain ciliuml2announcementpolicy.spec | grep -E '^ [a-z]'Erwartet (gekürzt):
enable-l2-neigh-discovery false
externalIPs <boolean>
interfaces <[]string>
loadBalancerIPs <boolean>
nodeSelector <Object>
serviceSelector <Object>
Ein Schlüssel enable-l2-announcements fehlt in der
Konfiguration ganz – die Funktion ist aus, nur die CRD ist
installiert.
Eingeschaltet würde es mit l2announcements.enabled=true
(plus höhere k8sClientRateLimit-Werte wegen der Leases) und
einer CiliumL2AnnouncementPolicy. Im Labor bleibt
es aus: L2 braucht einen Pool aus 172.16.0.0/24 – dort vergibt
aber der Heim-Router per DHCP Adressen. Cilium würde ARP für IPs
beantworten, die vielleicht gerade einem Laptop gehören, und ihn aus dem
Netz drängen. BGP mit eigenem Netz 10.50.0.0/24 kollidiert mit
niemandem.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Lege Service
echo-fix(LoadBalancer, 80 → 8080, Labelbgp=on) an und gib ihm fest die IP 10.50.0.50. Zeitziel: 90 s - Setze für alle Peers der PeerConfig Hold-Time 9 s und Keepalive 3 s
und prüfe es auf dem
router. Zeitziel: 90 s - Zeige, welche Präfixe worker1 an den
routerankündigt. Zeitziel: 30 s
Lösung
k expose deployment echo --name=echo-fix --type=LoadBalancer --port=80 \
--target-port=8080 --labels=bgp=on
k annotate svc echo-fix lbipam.cilium.io/ips=10.50.0.50
k get svc echo-fix
ssh [email protected] curl -s -m3 http://10.50.0.50/hostname; echo
k patch ciliumbgppeerconfig tag15-peer --type=merge \
-p '{"spec":{"timers":{"holdTimeSeconds":9,"keepAliveTimeSeconds":3}}}'
cilium bgp peers
ssh [email protected] "sudo vtysh -c 'show bgp neighbors 172.16.0.228'" \
| grep -iE 'hold time|BGP state'
cilium bgp routes advertised ipv4 unicast --node worker1Erwartet (gekürzt):
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
echo-fix LoadBalancer 10.101.250.213 10.50.0.50 80:31309/TCP 5s
echo-cc8555f69-xgp7v
ciliumbgppeerconfig.cilium.io/tag15-peer patched
Node Local AS Peer AS Peer Address Session State Uptime ...
cp1 65010 65000 172.16.0.123 established 5s ...
BGP state = Established, up for 00:00:06
Hold time is 9 seconds, keepalive interval is 3 seconds
Configured hold time is 180 seconds, keepalive interval is 60 seconds
worker1 65010 172.16.0.123 10.0.1.0/24 172.16.0.228 ...
65010 172.16.0.123 10.50.0.1/32 172.16.0.228 ...
65010 172.16.0.123 10.50.0.50/32 172.16.0.228 ...
Die Annotation verschiebt die schon vergebene IP sofort. Neue Timer bauen die Sitzung neu auf (Uptime 5 s) – in Produktion ein kurzer Routenwechsel. Ausgehandelt wird der kleinere Wert beider Seiten, deshalb meldet FRR 9 s statt der eigenen 180 s.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
cilium bgp peersErwartet: drei Zeilen established zum
Peer 172.16.0.123.
k get svc echo-lb -o jsonpath='{.status.loadBalancer.ingress[0].ip}'; echoErwartet: 10.50.0.1
ssh [email protected] curl -s -m3 http://10.50.0.1/hostnameErwartet: ein Pod-Name wie
echo-cc8555f69-xgp7v.
ssh [email protected] "ip route | grep proto.bgp"Erwartet: drei Pod-CIDRs 10.0.N.0/24
und die Service-IPs 10.50.0.x mit
proto bgp.
helm get values cilium -n kube-system | grep -A1 bgpControlPlaneErwartet: enabled: true – bleibt nach
dem Aufräumen für Tag 21 (Runde 7) und Anhang B (Aufgabe 10), ebenso FRR
auf dem router.
Challenge
Kündige zusätzlich die ClusterIP von Service echo
(anlegen: Port 80 → 8080, Label bgp=clusterip) an und rufe
sie vom router auf. Erkläre, was passiert.
Hinweis: Die Route kommt an – ob ein Node die Pakete
annimmt, entscheidet ein Helm-Wert unter bpf..
Lösung
k expose deployment echo --port=80 --target-port=8080 --labels=bgp=clusterip
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
name: tag15-clusterip
labels:
advertise: tag15
spec:
advertisements:
- advertisementType: Service
service:
addresses:
- ClusterIP
selector:
matchLabels:
bgp: clusterip
EOF
CIP=$(k get svc echo -o jsonpath='{.spec.clusterIP}'); echo $CIP
ssh [email protected] ip route show $CIP
ssh [email protected] curl -s -m3 http://$CIP/hostname; echo "exit=$?"
hubble observe -P --port-forward-port 0 --ip $CIP --last 3
cilium config view | grep external-clusteripErwartet (gekürzt):
10.105.95.126
10.105.95.126 nhid 21 proto bgp metric 20
nexthop via 172.16.0.83 dev eth0 weight 1
...
exit=28
Nov 18 23:44:45.943: 172.16.0.123:36726 (world) <> tag15/echo:80 (world) Is a
ClusterIP DROPPED (TCP Flags: SYN)
bpf-lb-external-clusterip false
Die Route stimmt, aber Cilium verwirft Pakete von außen an eine
ClusterIP (Drop-Grund „Is a ClusterIP“). Erst
bpf.lbExternalClusterIP=true öffnet ClusterIPs für
Cluster-externe Clients – im Labor nicht gesetzt; für externe Clients
ist der LoadBalancer-Service der richtige Weg.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
k delete ciliumbgpadvertisement tag15-lb tag15-podcidr tag15-clusterip \
--ignore-not-found
k delete -f bgp.yaml
k delete -f pool.yaml
k delete namespace tag15
k config set-context --current --namespace=default
ssh [email protected] "ip route | grep -c proto.bgp"Erwartet: 0 – ohne Advertisements und
Sitzungen sind alle BGP-Routen weg.
bgpControlPlane.enabled=true und FRR auf dem
router (AS 65000, Nachbarn bleiben konfiguriert, Status
Active) bleiben für den Wettkampf (Tag 21, Runde 7) und die
Probeprüfung (Anhang B, Aufgabe 10) stehen – beides ist additiv und
stört andere Tage nicht.
Prüfungstipp
- Kette prüfen von oben nach unten: Service hat IP
(
k get svc) → Advertisement passt (Label der PeerConfig und Service-Selector) →cilium bgp peersestablished undAdvertised > 0→ Route auf dem Router. Advertised 0bei stehender Sitzung heißt fast immer: Label-Selector der PeerConfig trifft keinCiliumBGPAdvertisement.- Doku: docs.cilium.io „BGP Control Plane“ (Abschnitt „BGP Configuration Resources“), „LoadBalancer IP Address Management (LB IPAM)“, „L2 Announcements“.
Enterprise-Notiz
- Im Rechenzentrum peeren Nodes mit den Top-of-Rack-Switches (oft ein
AS pro Rack,
nodeSelectorper Rack-Label); BFD und Graceful Restart verkürzen Ausfallzeiten. - Router-seitig Präfixfilter (Route-Maps, max-prefix) setzen – sonst kann ein falsch konfigurierter Cluster beliebige Netze ankündigen.
- Sitzungen mit Passwort (
authSecretRef, TCP-MD5) absichern. - Pools pro Mandant oder Umgebung per
serviceSelectortrennen; Kollisionen zeigt die SpalteCONFLICTING. - L2 Announcements nur in eigenen Subnetzen mit reservierten Adressbereichen (aus dem DHCP ausgenommen).