Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 3: IPAM und Pod-CIDR

Ziel: Du weißt, wer im Cluster Pod-Adressen vergibt, findest zu jeder Pod-IP Node und Pod und erweiterst den Adress-Pool, ohne den Cluster neu aufzubauen. · Dauer: ca. 60 min · Voraussetzung: Tag 2

Briefing

  • CKNE: Core Infrastructure and CNI (15 %) – „Managing IPAM and Pod CIDR Allocation“.
  • IPAM (IP Address Management) teilt jedem Node ein Pod-Netz zu und vergibt daraus Adressen an Pods. Bei Cilium entscheidet ipam.mode, wer das Node-Netz festlegt.
  • Labor: Modus cluster-pool, Pool 10.0.0.0/16, je Node ein /24.
 Pool 10.0.0.0/16 ──cilium-operator──> CiliumNode cp1      10.0.0.0/24
                                       CiliumNode worker1  10.0.1.0/24
                                       CiliumNode worker2  10.0.2.0/24
                                         └─cilium-agent vergibt 10.0.2.x an Pods

Drill 1: Wer vergibt die Node-Netze?

mkdir -p ~/ckne/tag03 && cd ~/ckne/tag03
k create ns tag03
k config set-context --current --namespace=tag03
cilium config view | grep -E '^ipam |cluster-pool'
k get nodes -o custom-columns=NAME:.metadata.name,PODCIDR:.spec.podCIDR
k -n kube-system get pod kube-controller-manager-cp1 -o yaml | grep -ci cidr

Erwartet:

namespace/tag03 created
Context "kubernetes-admin@kubernetes" modified.
cluster-pool-ipv4-cidr                            10.0.0.0/16
cluster-pool-ipv4-mask-size                       24
ipam                                              cluster-pool
NAME      PODCIDR
cp1       <none>
worker1   <none>
worker2   <none>
0

Kubernetes selbst kennt kein Pod-Netz: Der kube-controller-manager läuft ohne --allocate-node-cidrs, node.spec.podCIDR bleibt leer. Die wichtigsten Modi:

Modus Wer legt das Node-Netz fest? Wo steht es?
cluster-pool (Standard) cilium-operator aus clusterPoolIPv4PodCIDRList CiliumNode
kubernetes kube-controller-manager (--cluster-cidr) node.spec.podCIDR
multi-pool cilium-operator aus CiliumPodIPPools CiliumNode

Im Modus kubernetes wartet der Agent beim Start, bis node.spec.podCIDR gesetzt ist; dafür braucht kubeadm --pod-network-cidr. Cloud-Modi (ENI, Azure, GKE) holen Adressen direkt aus dem Cloud-Netz.

Fortschritt speichern? Kostenlos registrieren

Drill 2: CiliumNode – das Node-Netz im CRD

k get ciliumnodes -o custom-columns='NAME:.metadata.name,PODCIDRS:.spec.ipam.podCIDRs'
k get ciliumnode worker1 -o yaml | grep -A14 '^spec:' | grep -vE '\{\}$'

Erwartet (gekürzt):

NAME      PODCIDRS
cp1       [10.0.0.0/24]
worker1   [10.0.1.0/24]
worker2   [10.0.2.0/24]
spec:
  addresses:
  - ip: 172.16.0.228
    type: InternalIP
  - ip: 10.0.1.116
    type: CiliumInternalIP
  bootid: 761f61cf-d530-498c-8561-2a74a45ed363
  health:
    ipv4: 10.0.1.151
  ingress:
    ipv4: 10.0.1.169
  ipam:
    podCIDRs:

Der Operator schreibt spec.ipam.podCIDRs, der Agent liest es und baut daraus sein lokales Netz. Drei Adressen nimmt sich Cilium selbst: CiliumInternalIP (der cilium_host, Gateway der Pods), health (Endpunkt für Health-Checks) und ingress (Envoy für Gateway API und L7-Policies).

Fortschritt speichern? Kostenlos registrieren

Drill 3: Vergebene Adressen auf einem Node

k create deployment web --image=nginx:1.29 --replicas=2
k rollout status deployment web
k get pods -o wide
CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker1 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status --all-addresses \
  | sed -n '/^IPAM/,/^IPv4 BIG/p'

Erwartet (gekürzt):

deployment "web" successfully rolled out
NAME                   READY   STATUS    RESTARTS   AGE   IP           NODE
web-689b9bdbdd-56f9v   1/1     Running   0          2s    10.0.1.238   worker1
web-689b9bdbdd-xwp4g   1/1     Running   0          2s    10.0.2.158   worker2
IPAM:                   IPv4: 10/254 allocated from 10.0.1.0/24,
Allocated addresses:
  10.0.1.116 (router)
  10.0.1.151 (health)
  10.0.1.169 (ingress)
  10.0.1.190 (kube-system/metrics-server-76558b4bb9-mmn8k [restored])
  10.0.1.238 (tag03/web-689b9bdbdd-56f9v)
  10.0.1.49 (kube-system/coredns-559f6c778d-6png2 [restored])
  ...

(Pods anderer Namespaces können dazwischen stehen.)

router ist die cilium_host-Adresse. [restored] heißt: Der Agent wurde neu gestartet und hat die Zuteilung aus seinem Zustand auf dem Node übernommen – laufende Pods behalten ihre IP. Die Liste steht nur im Agenten, nicht im CiliumNode.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Woher kommt eine Pod-IP? Der ipcache

Jeder Agent kennt alle Pod-IPs des Clusters mit Identity und Ziel-Node – im ipcache. Vom Agenten auf cp1 aus gefragt:

IP=$(k get pod -l app=web -o jsonpath=\
'{.items[?(@.spec.nodeName=="worker1")].status.podIP}'); echo $IP
CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=cp1 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache get $IP
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg ip get -v $IP/32
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache get 10.0.2.1
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache list \
  | grep -E '^10\.0\.[0-9]+\.0/24'

Erwartet:

10.0.1.238
10.0.1.238 maps to identity identity=16219 encryptkey=0 tunnelendpoint=172.16.0.228
flags=hastunnel
IP              IDENTITY                  SOURCE            HOST           ENCRYPT_KEY
10.0.1.238/32   k8s:app=web               custom-resource   172.16.0.228   0
                k8s:io.kubernetes.pod.namespace=tag03
                ...
10.0.2.1 maps to identity identity=2 encryptkey=0 tunnelendpoint=172.16.0.83
flags=hastunnel
10.0.2.0/24         identity=2 encryptkey=0 tunnelendpoint=172.16.0.83 flags=hastunnel
10.0.1.0/24         identity=2 encryptkey=0 tunnelendpoint=172.16.0.228 flags=hastunnel

Die Pod-IP hat einen eigenen /32-Eintrag (Quelle custom-resource = CiliumEndpoint) mit Identity und Tunnel-Endpunkt worker1. Eine unbenutzte Adresse wie 10.0.2.1 trifft per Longest-Prefix-Match den /24-Eintrag des Node-Netzes: Ziel ist worker2, Identity 2 (world). Die /24-Einträge stammen direkt aus den CiliumNodes – das ist die Verbindung von IPAM zum Datenpfad. Der eigene Node fehlt in der Liste (lokale Pods haben eigene Einträge).

Fortschritt speichern? Kostenlos registrieren

Drill 5: Wie groß ist der Pool?

helm get values cilium -n kube-system -o yaml > values-vorher.yaml
grep -A3 'operator:' values-vorher.yaml | head -3
k get node worker1 -o jsonpath='{.status.capacity.pods}'; echo
k get ciliumnodes -o jsonpath=\
'{range .items[*]}{.metadata.name}{"\t"}{.status.ipam.operator-status}{"\n"}{end}'

Erwartet:

  operator:
    clusterPoolIPv4MaskSize: 24
    clusterPoolIPv4PodCIDRList: 10.0.0.0/16
110
cp1 {}
worker1 {}
worker2 {}

Rechnung: Ein /16 enthält 2^(24−16) = 256 Node-Netze à /24, also maximal 256 Nodes. Ein /24 hat 254 nutzbare Adressen (Netz- und Broadcast-Adresse reserviert), drei davon nimmt Cilium selbst; das kubelet erlaubt ohnehin nur 110 Pods. Zwei Arten von Erschöpfung:

  • Node-Netz voll: Neue Pods auf dem Node bleiben in ContainerCreating, das Event meldet einen IPAM-Fehler („range is full“). Abhilfe: Pods verteilen, maxPods senken – die Maske (clusterPoolIPv4MaskSize) lässt sich nachträglich nicht ändern.
  • Pool voll: Ein neuer Node bekommt kein Netz, sein Agent wartet. Der Fehler steht im CiliumNode unter status.ipam.operator-status. Abhilfe: Drill 6.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Pool erweitern – additiv

Laut Doku darfst du vorhandene Einträge der Liste nie ändern, wohl aber neue anhängen:

helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
  --set ipam.operator.clusterPoolIPv4PodCIDRList='{10.0.0.0/16,10.2.0.0/16}'
cilium config view | grep cluster-pool-ipv4-cidr
k -n kube-system rollout restart deployment cilium-operator
k -n kube-system rollout status deployment cilium-operator
k -n kube-system logs deploy/cilium-operator | grep -E "cluster-pool-ipv4-cidr="
k get ciliumnodes -o custom-columns='NAME:.metadata.name,PODCIDRS:.spec.ipam.podCIDRs'

Erwartet (gekürzt):

Release "cilium" has been upgraded. Happy Helming!
cluster-pool-ipv4-cidr                            10.0.0.0/16 10.2.0.0/16
deployment.apps/cilium-operator restarted
deployment "cilium-operator" successfully rolled out
... level=info msg="  --cluster-pool-ipv4-cidr='10.0.0.0/16,10.2.0.0/16'" ...
NAME      PODCIDRS
cp1       [10.0.0.0/24]
worker1   [10.0.1.0/24]
worker2   [10.0.2.0/24]

Die Zuteilung liest nur der Operator – also reicht sein Neustart, die Agenten laufen weiter. Vorhandene Nodes behalten ihr Netz; erst wenn 10.0.0.0/16 voll ist, bekommen neue Nodes ein /24 aus 10.2.0.0/16. Neue Bereiche dürfen weder mit dem Node-Netz (172.16.0.0/24) noch mit dem Service-Netz (10.96.0.0/12) überlappen.

Für das Labor kommt der Eintrag wieder weg – das geht nur, solange kein Node ein Netz daraus hat (wie hier):

helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
  --set ipam.operator.clusterPoolIPv4PodCIDRList=10.0.0.0/16
k -n kube-system rollout restart deployment cilium-operator
k -n kube-system rollout status deployment cilium-operator
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH

Erwartet (gekürzt):

Release "cilium" has been upgraded. Happy Helming!
deployment "cilium-operator" successfully rolled out
GLEICH

Fortschritt speichern? Kostenlos registrieren

Drill 7: Multi-Pool – Pools pro Namespace oder Pod

Mit ipam.mode=multi-pool beschreiben CiliumPodIPPools mehrere Pools, und Pods wählen per Annotation ipam.cilium.io/ip-pool (am Pod oder Namespace) oder per Selector im Pool. Den IPAM-Modus eines laufenden Clusters umzustellen ist nicht vorgesehen – das entscheidest du beim Aufbau. Das CRD gibt es trotzdem schon, also üben wir die Objekte:

k explain ciliumpodippool.spec --recursive | head -12
cat > tag03-pool.yaml <<'EOF'
apiVersion: cilium.io/v2alpha1
kind: CiliumPodIPPool
metadata:
  name: tag03-blau
spec:
  ipv4:
    cidrs:
    - 10.20.0.0/16
    maskSize: 27
EOF
k apply -f tag03-pool.yaml
k run blau --image=nginx:1.29 --annotations=ipam.cilium.io/ip-pool=tag03-blau
k wait --for=condition=Ready pod/blau
k get pod blau -o wide

Erwartet (gekürzt):

KIND:       CiliumPodIPPool
VERSION:    v2alpha1
FIELDS:
  allowFirstIP  <boolean>
  allowLastIP   <boolean>
  ipv4  <Object>
    cidrs   <[]string> -required-
    maskSize    <integer> -required-
...
ciliumpodippool.cilium.io/tag03-blau created
pod/blau created
pod/blau condition met
NAME   READY   STATUS    RESTARTS   AGE   IP           NODE
blau   1/1     Running   0          2s    10.0.2.220   worker2

Die Annotation wirkt nicht: Im Modus cluster-pool liest niemand die Pools, der Pod bekommt eine Adresse aus 10.0.2.0/24. In einem Multi-Pool-Cluster läge sie in 10.20.0.0/16; die Node-Netze (maskSize: 27) teilt der Operator dann pro Pool und Node nach Bedarf zu. Wichtig für den Betrieb: Pools dürfen nicht überlappen, Annotations zählen nur beim Anlegen des Pods, und ohne Tunnel muss das Netz die Pool-CIDRs kennen (autoDirectNodeRoutes oder BGP).

k delete pod blau --now
k delete -f tag03-pool.yaml

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige Pod-CIDR und CiliumInternalIP aller Nodes in einer Tabelle. Zeitziel: 60 s
  2. Wie viele Adressen sind auf worker2 vergeben? Zeitziel: 30 s
  3. Auf welchem Node liegt die Pod-IP 10.0.2.158? Nur mit cilium-dbg. Zeitziel: 45 s
  4. Zeige Pool und Node-Maske der laufenden Konfiguration. Zeitziel: 20 s

Lösung

k get ciliumnodes -o custom-columns='NAME:.metadata.name,CIDR:.spec.ipam.podCIDRs,'\
'HOST:.spec.addresses[?(@.type=="CiliumInternalIP")].ip'
CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status | grep IPAM
k -n kube-system exec ds/cilium -c cilium-agent -- \
  cilium-dbg bpf ipcache get 10.0.2.158
cilium config view | grep cluster-pool

Erwartet (gekürzt):

NAME      CIDR            HOST
cp1       [10.0.0.0/24]   10.0.0.88
worker1   [10.0.1.0/24]   10.0.1.116
worker2   [10.0.2.0/24]   10.0.2.241
IPAM:                    IPv4: 7/254 allocated from 10.0.2.0/24,
10.0.2.158 maps to identity identity=16219 encryptkey=0 tunnelendpoint=172.16.0.83
flags=hastunnel
cluster-pool-ipv4-cidr                            10.0.0.0/16
cluster-pool-ipv4-mask-size                       24

tunnelendpoint=172.16.0.83 ist worker2. Fragst du zufällig den Agenten von worker2 selbst, steht dort statt des Tunnels der lokale Endpunkt (tunnelendpoint=0.0.0.0).

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH

Erwartet: GLEICH – der zweite CIDR ist wieder raus.

cilium config view | grep cluster-pool-ipv4-cidr

Erwartet: cluster-pool-ipv4-cidr 10.0.0.0/16

k get ciliumpodippools

Erwartet: No resources found

k get ciliumnodes -o custom-columns='NAME:.metadata.name,PODCIDRS:.spec.ipam.podCIDRs'

Erwartet: unverändert 10.0.0.0/24, 10.0.1.0/24, 10.0.2.0/24.

Challenge

Du kennst nur die IP 10.0.2.158. Finde Node, Pod (Namespace/Name), Endpoint-ID und Identity – ausschließlich mit cilium-dbg, ohne k get pods.

Hinweis: Der ipcache nennt den Node, der Agent dieses Nodes kennt den Pod.

Lösung

k -n kube-system exec ds/cilium -c cilium-agent -- \
  cilium-dbg bpf ipcache get 10.0.2.158
k get ciliumnodes -o custom-columns='NAME:.metadata.name,'\
'IP:.spec.addresses[?(@.type=="InternalIP")].ip' | grep 172.16.0.83
CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status --all-addresses \
  | grep -F '10.0.2.158 '
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint list \
  | grep -F 10.0.2.158

Erwartet (gekürzt):

10.0.2.158 maps to identity identity=16219 encryptkey=0 tunnelendpoint=172.16.0.83
flags=hastunnel
worker2   172.16.0.83
  10.0.2.158 (tag03/web-689b9bdbdd-xwp4g)
751        Disabled           Disabled          16219      k8s:app=web   ...
10.0.2.158   ready

Endpoint-ID 751, Identity 16219, Pod tag03/web-689b9bdbdd-xwp4g auf worker2.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

k delete namespace tag03
k config set-context --current --namespace=default

Die Helm-Werte sind seit Drill 6 wieder wie in values-vorher.yaml.

Prüfungstipp

  • Pod-CIDR suchen: bei Cilium k get ciliumnodes, nicht node.spec.podCIDR – das ist nur im IPAM-Modus kubernetes gefüllt.
  • clusterPoolIPv4PodCIDRList nur erweitern, nie Einträge ändern; danach den Operator neu starten. Die Maske ist fest.
  • Doku-Stellen: docs.cilium.io „IP Address Management (IPAM)“ (Cluster Scope, Kubernetes Host Scope, Multi-Pool), kubernetes.io „Network Plugins“.

Enterprise-Notiz

  • Pool und Maske beim Aufbau großzügig planen: Nodes × Pods pro Node, Wachstum, ClusterMesh (Pod-CIDRs aller Cluster müssen eindeutig sein, Tag 17).
  • Pod-CIDRs dürfen nicht mit Firmennetzen, VPN-Bereichen oder dem Service-Netz überlappen – sonst routet der Node „nach innen“ statt zum Ziel.
  • Multi-Pool lohnt sich, wenn Teams oder Mandanten eigene, außen routbare Netze brauchen (Firewall-Regeln pro Pool, BGP-Ankündigung) – Entscheidung beim Aufbau.
  • In der Cloud (ENI, Azure IPAM) bekommen Pods echte VPC-Adressen; dort begrenzen Instanztyp und Subnetzgröße die Pods pro Node.
  • IPAM-Zustand überwachen: Metriken des Operators und operator-status der CiliumNodes, bevor neue Nodes ohne Netz hängen bleiben.