Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Netze nach außen

Ziel: Du vergibst LoadBalancer-IPs aus einem eigenen Pool, kündigst sie und die Pod-Netze per BGP an einen externen Router an und erreichst sie von außerhalb des Clusters. · Dauer: ca. 75 min · Voraussetzung: Tag 6

Briefing

  • CKNE: Advanced Traffic Management – „Implementing Routing to Expose Networks“.
  • LB-IPAM füllt EXTERNAL-IP aus einem CiliumLoadBalancerIPPool. Erreichbar wird die IP erst, wenn jemand dem Netz sagt, wo sie liegt: per BGP (Route) oder per L2 (ARP-Antwort).
  • Der Pool 10.50.0.0/24 liegt bewusst außerhalb des Heimnetzes 172.16.0.0/24 – er existiert nur durch die BGP-Routen auf dem router.
  • ASN-Plan (privater Bereich 64512–65534): router = AS 65000, Cluster ost (so heißt er ab Tag 17; im Manifest nur ein frei wählbarer Instanzname) = AS 65010, jeder Node ist ein eigener BGP-Sprecher (eBGP).
            AS 65000                          AS 65010
 router .123 (FRR) ──eBGP── cp1 .126 · worker1 .228 · worker2 .83
   10.50.0.1/32 via alle Nodes (ECMP)        LB-IPAM 10.50.0.0/24
   10.0.N.0/24  via Node N                   Pod-CIDR je Node

Drill 1: Ausgangslage – pending und keine Route

mkdir -p ~/ckne/tag15 && cd ~/ckne/tag15
k create ns tag15
k config set-context --current --namespace=tag15
k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
  --replicas=2 --port=8080 -- /agnhost netexec --http-port=8080
k rollout status deployment echo
k expose deployment echo --name=echo-lb --type=LoadBalancer --port=80 \
  --target-port=8080
k get svc echo-lb
k get ippools
ssh [email protected] ip route get 10.50.0.1

Erwartet (gekürzt):

deployment "echo" successfully rolled out
service/echo-lb exposed
NAME      TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
echo-lb   LoadBalancer   10.102.65.144   <pending>     80:31201/TCP   1s
No resources found
10.50.0.1 via 172.16.0.1 dev eth0 src 172.16.0.123 uid 1000

Kein Pool, keine IP. Und der router würde 10.50.0.0/24 heute an sein Default-Gateway schicken – ins Leere.

Fortschritt speichern? Kostenlos registrieren

Drill 2: LB-IPAM-Pool

cat > pool.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumLoadBalancerIPPool
metadata:
  name: tag15-pool
spec:
  allowFirstLastIPs: "No"
  blocks:
  - cidr: 10.50.0.0/24
  serviceSelector:
    matchLabels:
      io.kubernetes.service.namespace: tag15
EOF
k apply -f pool.yaml
k get ippools
k get svc echo-lb
k get svc echo-lb -o jsonpath='{.status}'; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  | grep -A1 '10.50.0'

Erwartet (gekürzt):

ciliumloadbalancerippool.cilium.io/tag15-pool created
NAME         DISABLED   CONFLICTING   IPS AVAILABLE   AGE
tag15-pool   false      False         253             4s
NAME      TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
echo-lb   LoadBalancer   10.102.65.144   10.50.0.1     80:31201/TCP   1m
{"conditions":[{...,"reason":"satisfied","status":"True",
"type":"cilium.io/IPAMRequestSatisfied"}],"loadBalancer":{"ingress":[{"ip":"10.50.0.1",
"ipMode":"VIP"}]}}
23   10.50.0.1:80/TCP        LoadBalancer   1 => 10.0.1.50:8080/TCP (active)
                                            2 => 10.0.1.132:8080/TCP (active)

Ohne allowFirstLastIPs: "No" bekommt der erste Service 10.50.0.0 – technisch gültig, aber manche Router und Firewalls mögen Netz- und Broadcast-Adresse nicht. Der serviceSelector mit dem automatischen Label io.kubernetes.service.namespace beschränkt den Pool auf tag15; ein Service anderswo bleibt <pending>:

k -n default create service loadbalancer fremd --tcp=80:80
k -n default get svc fremd
k -n default delete svc fremd

Erwartet (gekürzt):

NAME    TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
fremd   LoadBalancer   10.99.116.203   <pending>     80:31368/TCP   3s

Fortschritt speichern? Kostenlos registrieren

Drill 3: FRR auf dem router

Der router wird ein echter BGP-Router. Auf Ubuntu genügt das FRR-Paket; der BGP-Daemon ist ab Werk aus:

ssh [email protected]
sudo apt-get install -y frr
sudo sed -i 's/^bgpd=no/bgpd=yes/' /etc/frr/daemons
sudo systemctl restart frr
sudo vtysh -c 'show version' | head -1
sudo vtysh

In der vtysh (Cisco-ähnliche Shell) die Nachbarn eintragen:

conf t
router bgp 65000
 bgp router-id 172.16.0.123
 no bgp ebgp-requires-policy
 neighbor CILIUM peer-group
 neighbor CILIUM remote-as 65010
 neighbor 172.16.0.126 peer-group CILIUM
 neighbor 172.16.0.228 peer-group CILIUM
 neighbor 172.16.0.83 peer-group CILIUM
 address-family ipv4 unicast
  maximum-paths 8
end
write memory
show bgp summary
exit

Erwartet (gekürzt):

FRRouting 8.4.4 (prod) on Linux(6.8.0-149-generic).
Integrated configuration saved to /etc/frr/frr.conf
BGP router identifier 172.16.0.123, local AS number 65000 vrf-id 0
Neighbor        V         AS   MsgRcvd   MsgSent ...  Up/Down State/PfxRcd   PfxSnt
172.16.0.83     4      65010         0         0 ...    never         Idle        0
172.16.0.126    4      65010         0         0 ...    never         Idle        0
172.16.0.228    4      65010         0         0 ...    never         Idle        0

no bgp ebgp-requires-policy schaltet die FRR-Vorgabe ab, eBGP-Routen nur mit Route-Map anzunehmen – im Labor genügt „alles annehmen“. maximum-paths 8 erlaubt ECMP: dieselbe Service-IP über mehrere Nodes. Verlasse die vtysh mit exit und den router mit einem weiteren exit – zurück auf cp1.

Fortschritt speichern? Kostenlos registrieren

Drill 4: BGP Control Plane einschalten

helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 \
  --reuse-values --set bgpControlPlane.enabled=true
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep enable-bgp-control-plane
k api-resources | grep -i bgp

Erwartet (gekürzt):

Release "cilium" has been upgraded. Happy Helming!
daemon set "cilium" successfully rolled out
enable-bgp-control-plane                          true
enable-bgp-control-plane-status-report            true
ciliumbgpadvertisements          cbgpadvert          cilium.io/v2   false   CiliumBGP...
ciliumbgpclusterconfigs          cbgpcluster         cilium.io/v2   false   CiliumBGP...
ciliumbgpnodeconfigoverrides     cbgpnodeoverride    cilium.io/v2   false   CiliumBGP...
ciliumbgpnodeconfigs             cbgpnode            cilium.io/v2   false   CiliumBGP...
ciliumbgppeerconfigs             cbgppeer            cilium.io/v2   false   CiliumBGP...

--reuse-values behält alle bisherigen Werte (auch die anderer Tage). Die ConfigMap ändert sich sofort, die Agenten lesen sie aber erst nach dem Neustart. Die BGP-API ist in 1.20 cilium.io/v2; die alte CiliumBGPPeeringPolicy taucht nicht mehr auf.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Peering aufbauen

Drei Objekte: die ClusterConfig wählt Nodes und Nachbarn, die PeerConfig hält Einstellungen pro Nachbar (Familien, Timer) und zeigt per Label auf die Advertisements:

cat > bgp.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPClusterConfig
metadata:
  name: tag15-bgp
spec:
  nodeSelector:
    matchLabels:
      kubernetes.io/os: linux
  bgpInstances:
  - name: ost
    localASN: 65010
    peers:
    - name: router
      peerASN: 65000
      peerAddress: 172.16.0.123
      peerConfigRef:
        name: tag15-peer
---
apiVersion: cilium.io/v2
kind: CiliumBGPPeerConfig
metadata:
  name: tag15-peer
spec:
  families:
  - afi: ipv4
    safi: unicast
    advertisements:
      matchLabels:
        advertise: tag15
EOF
k apply -f bgp.yaml
cilium bgp peers
k get ciliumbgpnodeconfigs
ssh [email protected] "sudo vtysh -c 'show bgp summary'" | tail -5

Erwartet (gekürzt):

Node      Local AS   Peer AS   Peer Address   Session State   ...  Received   Advertised
cp1       65010      65000     172.16.0.123   established     ...  0          0
worker1   65010      65000     172.16.0.123   established     ...  0          0
worker2   65010      65000     172.16.0.123   established     ...  0          0
NAME      AGE
cp1       81s
worker1   81s
worker2   81s
Neighbor        V         AS   MsgRcvd   MsgSent ...  Up/Down State/PfxRcd   PfxSnt
172.16.0.83     4      65010         2         2 ... 00:00:16            0        0
172.16.0.126    4      65010         2         2 ... 00:00:16            0        0
172.16.0.228    4      65010         2         2 ... 00:00:16            0        0

Sitzungen stehen, aber Advertised 0: Ohne passendes CiliumBGPAdvertisement kündigt Cilium nichts an. Die CiliumBGPNodeConfig-Objekte erzeugt der Operator je Node aus der ClusterConfig – dort steht im status der Zustand jeder Sitzung.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Service-IP ankündigen

k label svc echo-lb bgp=on
cat > adv-svc.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
  name: tag15-lb
  labels:
    advertise: tag15
spec:
  advertisements:
  - advertisementType: Service
    service:
      addresses:
      - LoadBalancerIP
    selector:
      matchLabels:
        bgp: "on"
EOF
k apply -f adv-svc.yaml
cilium bgp routes advertised ipv4 unicast

Erwartet (gekürzt):

Node      VRouter   Peer           Prefix         NextHop        Age   Attrs
cp1       65010     172.16.0.123   10.50.0.1/32   172.16.0.126   10s   [{Origin: i} ...
worker1   65010     172.16.0.123   10.50.0.1/32   172.16.0.228   10s   [{Origin: i} ...
worker2   65010     172.16.0.123   10.50.0.1/32   172.16.0.83    10s   [{Origin: i} ...

Jetzt auf dem router:

ssh [email protected]
sudo vtysh -c 'show bgp ipv4 unicast'
ip route show 10.50.0.1
for i in 1 2 3 4; do curl -s -m3 http://10.50.0.1/hostname; echo; done
curl -s -m3 http://10.50.0.1/clientip; echo
exit

Erwartet (gekürzt):

   Network          Next Hop            Metric LocPrf Weight Path
*= 10.50.0.1/32     172.16.0.228                           0 65010 i
*>                  172.16.0.83                            0 65010 i
*=                  172.16.0.126                           0 65010 i
10.50.0.1 nhid 21 proto bgp metric 20
    nexthop via 172.16.0.83 dev eth0 weight 1
    nexthop via 172.16.0.126 dev eth0 weight 1
    nexthop via 172.16.0.228 dev eth0 weight 1
echo-cc8555f69-xgp7v
echo-cc8555f69-xgp7v
echo-cc8555f69-shgfk
echo-cc8555f69-shgfk
10.0.2.241:54950

*> ist der beste Pfad, *= gleichwertige Multipath-Pfade – der Kernel verteilt per ECMP auf alle drei Nodes. Die Client-IP ist cilium_host von worker2: Bei externalTrafficPolicy: Cluster leitet der Empfangs-Node mit SNAT weiter (Tag 6).

Fortschritt speichern? Kostenlos registrieren

Drill 7: Pod-CIDR ankündigen und ETP Local

cat > adv-pod.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
  name: tag15-podcidr
  labels:
    advertise: tag15
spec:
  advertisements:
  - advertisementType: PodCIDR
EOF
k apply -f adv-pod.yaml
k get pods -o wide
ssh [email protected] "ip route | grep '^10\.'"
P=$(k get pod -l app=echo -o jsonpath='{.items[0].status.podIP}'); echo $P
ssh [email protected] curl -s -m3 http://$P:8080/clientip; echo

Erwartet (gekürzt):

NAME                   READY   STATUS    ...   IP           NODE
echo-cc8555f69-shgfk   1/1     Running   ...   10.0.1.50    worker1
echo-cc8555f69-xgp7v   1/1     Running   ...   10.0.1.132   worker1
10.0.0.0/24 nhid 16 via 172.16.0.126 dev eth0 proto bgp metric 20
10.0.1.0/24 nhid 22 via 172.16.0.228 dev eth0 proto bgp metric 20
10.0.2.0/24 nhid 15 via 172.16.0.83 dev eth0 proto bgp metric 20
10.50.0.1 nhid 21 proto bgp metric 20
10.0.1.50
172.16.0.123:57256

Jeder Node kündigt seinen eigenen Pod-CIDR aus der CiliumNode an; der router erreicht Pods direkt, ohne NAT – der Pod sieht die echte Client-IP. Mit externalTrafficPolicy: Local zieht Cilium die Service-Route von Nodes ohne Backend zurück:

k patch svc echo-lb -p '{"spec":{"externalTrafficPolicy":"Local"}}'
ssh [email protected] ip route show 10.50.0.1
ssh [email protected] curl -s -m3 http://10.50.0.1/clientip; echo

Erwartet:

service/echo-lb patched
10.50.0.1 nhid 22 via 172.16.0.228 dev eth0 proto bgp metric 20
172.16.0.123:43742

Nur noch worker1 (beide Pods dort) – das ist der saubere Weg zur echten Client-IP ohne den Umweg über einen tauben Node (Tag 6: curl Exit 7).

Fortschritt speichern? Kostenlos registrieren

Drill 8: L2 Announcements – nur verstehen

Ohne BGP-Router geht es auch auf Layer 2: Cilium beantwortet ARP-Anfragen für LB-IPs, die im Node-Subnetz liegen, und ein Node pro Service hält per Lease die IP.

cilium config view | grep enable-l2
k explain ciliuml2announcementpolicy.spec | grep -E '^  [a-z]'

Erwartet (gekürzt):

enable-l2-neigh-discovery                         false
externalIPs <boolean>
interfaces  <[]string>
loadBalancerIPs <boolean>
nodeSelector    <Object>
serviceSelector <Object>

Ein Schlüssel enable-l2-announcements fehlt in der Konfiguration ganz – die Funktion ist aus, nur die CRD ist installiert.

Eingeschaltet würde es mit l2announcements.enabled=true (plus höhere k8sClientRateLimit-Werte wegen der Leases) und einer CiliumL2AnnouncementPolicy. Im Labor bleibt es aus: L2 braucht einen Pool aus 172.16.0.0/24 – dort vergibt aber der Heim-Router per DHCP Adressen. Cilium würde ARP für IPs beantworten, die vielleicht gerade einem Laptop gehören, und ihn aus dem Netz drängen. BGP mit eigenem Netz 10.50.0.0/24 kollidiert mit niemandem.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Lege Service echo-fix (LoadBalancer, 80 → 8080, Label bgp=on) an und gib ihm fest die IP 10.50.0.50. Zeitziel: 90 s
  2. Setze für alle Peers der PeerConfig Hold-Time 9 s und Keepalive 3 s und prüfe es auf dem router. Zeitziel: 90 s
  3. Zeige, welche Präfixe worker1 an den router ankündigt. Zeitziel: 30 s

Lösung

k expose deployment echo --name=echo-fix --type=LoadBalancer --port=80 \
  --target-port=8080 --labels=bgp=on
k annotate svc echo-fix lbipam.cilium.io/ips=10.50.0.50
k get svc echo-fix
ssh [email protected] curl -s -m3 http://10.50.0.50/hostname; echo
k patch ciliumbgppeerconfig tag15-peer --type=merge \
  -p '{"spec":{"timers":{"holdTimeSeconds":9,"keepAliveTimeSeconds":3}}}'
cilium bgp peers
ssh [email protected] "sudo vtysh -c 'show bgp neighbors 172.16.0.228'" \
  | grep -iE 'hold time|BGP state'
cilium bgp routes advertised ipv4 unicast --node worker1

Erwartet (gekürzt):

NAME       TYPE           CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
echo-fix   LoadBalancer   10.101.250.213   10.50.0.50    80:31309/TCP   5s
echo-cc8555f69-xgp7v
ciliumbgppeerconfig.cilium.io/tag15-peer patched
Node      Local AS   Peer AS   Peer Address   Session State   Uptime   ...
cp1       65010      65000     172.16.0.123   established     5s       ...
  BGP state = Established, up for 00:00:06
  Hold time is 9 seconds, keepalive interval is 3 seconds
  Configured hold time is 180 seconds, keepalive interval is 60 seconds
worker1   65010     172.16.0.123   10.0.1.0/24    172.16.0.228   ...
          65010     172.16.0.123   10.50.0.1/32   172.16.0.228   ...
          65010     172.16.0.123   10.50.0.50/32  172.16.0.228   ...

Die Annotation verschiebt die schon vergebene IP sofort. Neue Timer bauen die Sitzung neu auf (Uptime 5 s) – in Produktion ein kurzer Routenwechsel. Ausgehandelt wird der kleinere Wert beider Seiten, deshalb meldet FRR 9 s statt der eigenen 180 s.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

cilium bgp peers

Erwartet: drei Zeilen established zum Peer 172.16.0.123.

k get svc echo-lb -o jsonpath='{.status.loadBalancer.ingress[0].ip}'; echo

Erwartet: 10.50.0.1

ssh [email protected] curl -s -m3 http://10.50.0.1/hostname

Erwartet: ein Pod-Name wie echo-cc8555f69-xgp7v.

ssh [email protected] "ip route | grep proto.bgp"

Erwartet: drei Pod-CIDRs 10.0.N.0/24 und die Service-IPs 10.50.0.x mit proto bgp.

helm get values cilium -n kube-system | grep -A1 bgpControlPlane

Erwartet: enabled: true – bleibt nach dem Aufräumen für Tag 21 (Runde 7) und Anhang B (Aufgabe 10), ebenso FRR auf dem router.

Challenge

Kündige zusätzlich die ClusterIP von Service echo (anlegen: Port 80 → 8080, Label bgp=clusterip) an und rufe sie vom router auf. Erkläre, was passiert.

Hinweis: Die Route kommt an – ob ein Node die Pakete annimmt, entscheidet ein Helm-Wert unter bpf..

Lösung

k expose deployment echo --port=80 --target-port=8080 --labels=bgp=clusterip
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
  name: tag15-clusterip
  labels:
    advertise: tag15
spec:
  advertisements:
  - advertisementType: Service
    service:
      addresses:
      - ClusterIP
    selector:
      matchLabels:
        bgp: clusterip
EOF
CIP=$(k get svc echo -o jsonpath='{.spec.clusterIP}'); echo $CIP
ssh [email protected] ip route show $CIP
ssh [email protected] curl -s -m3 http://$CIP/hostname; echo "exit=$?"
hubble observe -P --port-forward-port 0 --ip $CIP --last 3
cilium config view | grep external-clusterip

Erwartet (gekürzt):

10.105.95.126
10.105.95.126 nhid 21 proto bgp metric 20
    nexthop via 172.16.0.83 dev eth0 weight 1
    ...
exit=28
Nov 18 23:44:45.943: 172.16.0.123:36726 (world) <> tag15/echo:80 (world) Is a
ClusterIP DROPPED (TCP Flags: SYN)
bpf-lb-external-clusterip                         false

Die Route stimmt, aber Cilium verwirft Pakete von außen an eine ClusterIP (Drop-Grund „Is a ClusterIP“). Erst bpf.lbExternalClusterIP=true öffnet ClusterIPs für Cluster-externe Clients – im Labor nicht gesetzt; für externe Clients ist der LoadBalancer-Service der richtige Weg.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

k delete ciliumbgpadvertisement tag15-lb tag15-podcidr tag15-clusterip \
  --ignore-not-found
k delete -f bgp.yaml
k delete -f pool.yaml
k delete namespace tag15
k config set-context --current --namespace=default
ssh [email protected] "ip route | grep -c proto.bgp"

Erwartet: 0 – ohne Advertisements und Sitzungen sind alle BGP-Routen weg.

bgpControlPlane.enabled=true und FRR auf dem router (AS 65000, Nachbarn bleiben konfiguriert, Status Active) bleiben für den Wettkampf (Tag 21, Runde 7) und die Probeprüfung (Anhang B, Aufgabe 10) stehen – beides ist additiv und stört andere Tage nicht.

Prüfungstipp

  • Kette prüfen von oben nach unten: Service hat IP (k get svc) → Advertisement passt (Label der PeerConfig und Service-Selector) → cilium bgp peers established und Advertised > 0 → Route auf dem Router.
  • Advertised 0 bei stehender Sitzung heißt fast immer: Label-Selector der PeerConfig trifft kein CiliumBGPAdvertisement.
  • Doku: docs.cilium.io „BGP Control Plane“ (Abschnitt „BGP Configuration Resources“), „LoadBalancer IP Address Management (LB IPAM)“, „L2 Announcements“.

Enterprise-Notiz

  • Im Rechenzentrum peeren Nodes mit den Top-of-Rack-Switches (oft ein AS pro Rack, nodeSelector per Rack-Label); BFD und Graceful Restart verkürzen Ausfallzeiten.
  • Router-seitig Präfixfilter (Route-Maps, max-prefix) setzen – sonst kann ein falsch konfigurierter Cluster beliebige Netze ankündigen.
  • Sitzungen mit Passwort (authSecretRef, TCP-MD5) absichern.
  • Pools pro Mandant oder Umgebung per serviceSelector trennen; Kollisionen zeigt die Spalte CONFLICTING.
  • L2 Announcements nur in eigenen Subnetzen mit reservierten Adressbereichen (aus dem DHCP ausgenommen).