Tag 3: IPAM und Pod-CIDR
Ziel: Du weißt, wer im Cluster Pod-Adressen vergibt, findest zu jeder Pod-IP Node und Pod und erweiterst den Adress-Pool, ohne den Cluster neu aufzubauen. · Dauer: ca. 60 min · Voraussetzung: Tag 2
Briefing
- CKNE: Core Infrastructure and CNI (15 %) – „Managing IPAM and Pod CIDR Allocation“.
- IPAM (IP Address Management) teilt jedem Node ein Pod-Netz zu und
vergibt daraus Adressen an Pods. Bei Cilium entscheidet
ipam.mode, wer das Node-Netz festlegt. - Labor: Modus
cluster-pool, Pool 10.0.0.0/16, je Node ein /24.
Pool 10.0.0.0/16 ──cilium-operator──> CiliumNode cp1 10.0.0.0/24
CiliumNode worker1 10.0.1.0/24
CiliumNode worker2 10.0.2.0/24
└─cilium-agent vergibt 10.0.2.x an Pods
Drill 1: Wer vergibt die Node-Netze?
mkdir -p ~/ckne/tag03 && cd ~/ckne/tag03
k create ns tag03
k config set-context --current --namespace=tag03
cilium config view | grep -E '^ipam |cluster-pool'
k get nodes -o custom-columns=NAME:.metadata.name,PODCIDR:.spec.podCIDR
k -n kube-system get pod kube-controller-manager-cp1 -o yaml | grep -ci cidrErwartet:
namespace/tag03 created
Context "kubernetes-admin@kubernetes" modified.
cluster-pool-ipv4-cidr 10.0.0.0/16
cluster-pool-ipv4-mask-size 24
ipam cluster-pool
NAME PODCIDR
cp1 <none>
worker1 <none>
worker2 <none>
0
Kubernetes selbst kennt kein Pod-Netz: Der kube-controller-manager
läuft ohne --allocate-node-cidrs,
node.spec.podCIDR bleibt leer. Die wichtigsten Modi:
| Modus | Wer legt das Node-Netz fest? | Wo steht es? |
|---|---|---|
| cluster-pool (Standard) | cilium-operator aus clusterPoolIPv4PodCIDRList |
CiliumNode |
| kubernetes | kube-controller-manager (--cluster-cidr) |
node.spec.podCIDR |
| multi-pool | cilium-operator aus CiliumPodIPPools | CiliumNode |
Im Modus kubernetes wartet der Agent beim Start, bis
node.spec.podCIDR gesetzt ist; dafür braucht kubeadm
--pod-network-cidr. Cloud-Modi (ENI, Azure, GKE) holen
Adressen direkt aus dem Cloud-Netz.
Fortschritt speichern? Kostenlos registrieren
Drill 2: CiliumNode – das Node-Netz im CRD
k get ciliumnodes -o custom-columns='NAME:.metadata.name,PODCIDRS:.spec.ipam.podCIDRs'
k get ciliumnode worker1 -o yaml | grep -A14 '^spec:' | grep -vE '\{\}$'Erwartet (gekürzt):
NAME PODCIDRS
cp1 [10.0.0.0/24]
worker1 [10.0.1.0/24]
worker2 [10.0.2.0/24]
spec:
addresses:
- ip: 172.16.0.228
type: InternalIP
- ip: 10.0.1.116
type: CiliumInternalIP
bootid: 761f61cf-d530-498c-8561-2a74a45ed363
health:
ipv4: 10.0.1.151
ingress:
ipv4: 10.0.1.169
ipam:
podCIDRs:
Der Operator schreibt spec.ipam.podCIDRs, der Agent
liest es und baut daraus sein lokales Netz. Drei Adressen nimmt sich
Cilium selbst: CiliumInternalIP (der
cilium_host, Gateway der Pods), health
(Endpunkt für Health-Checks) und ingress (Envoy für Gateway
API und L7-Policies).
Fortschritt speichern? Kostenlos registrieren
Drill 3: Vergebene Adressen auf einem Node
k create deployment web --image=nginx:1.29 --replicas=2
k rollout status deployment web
k get pods -o wide
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker1 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status --all-addresses \
| sed -n '/^IPAM/,/^IPv4 BIG/p'Erwartet (gekürzt):
deployment "web" successfully rolled out
NAME READY STATUS RESTARTS AGE IP NODE
web-689b9bdbdd-56f9v 1/1 Running 0 2s 10.0.1.238 worker1
web-689b9bdbdd-xwp4g 1/1 Running 0 2s 10.0.2.158 worker2
IPAM: IPv4: 10/254 allocated from 10.0.1.0/24,
Allocated addresses:
10.0.1.116 (router)
10.0.1.151 (health)
10.0.1.169 (ingress)
10.0.1.190 (kube-system/metrics-server-76558b4bb9-mmn8k [restored])
10.0.1.238 (tag03/web-689b9bdbdd-56f9v)
10.0.1.49 (kube-system/coredns-559f6c778d-6png2 [restored])
...
(Pods anderer Namespaces können dazwischen stehen.)
router ist die cilium_host-Adresse.
[restored] heißt: Der Agent wurde neu gestartet und hat die
Zuteilung aus seinem Zustand auf dem Node übernommen – laufende Pods
behalten ihre IP. Die Liste steht nur im Agenten, nicht im
CiliumNode.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Woher kommt eine Pod-IP? Der ipcache
Jeder Agent kennt alle Pod-IPs des Clusters mit Identity und
Ziel-Node – im ipcache. Vom Agenten auf cp1 aus
gefragt:
IP=$(k get pod -l app=web -o jsonpath=\
'{.items[?(@.spec.nodeName=="worker1")].status.podIP}'); echo $IP
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=cp1 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache get $IP
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg ip get -v $IP/32
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache get 10.0.2.1
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache list \
| grep -E '^10\.0\.[0-9]+\.0/24'Erwartet:
10.0.1.238
10.0.1.238 maps to identity identity=16219 encryptkey=0 tunnelendpoint=172.16.0.228
flags=hastunnel
IP IDENTITY SOURCE HOST ENCRYPT_KEY
10.0.1.238/32 k8s:app=web custom-resource 172.16.0.228 0
k8s:io.kubernetes.pod.namespace=tag03
...
10.0.2.1 maps to identity identity=2 encryptkey=0 tunnelendpoint=172.16.0.83
flags=hastunnel
10.0.2.0/24 identity=2 encryptkey=0 tunnelendpoint=172.16.0.83 flags=hastunnel
10.0.1.0/24 identity=2 encryptkey=0 tunnelendpoint=172.16.0.228 flags=hastunnel
Die Pod-IP hat einen eigenen /32-Eintrag (Quelle
custom-resource = CiliumEndpoint) mit Identity und
Tunnel-Endpunkt worker1. Eine unbenutzte Adresse wie
10.0.2.1 trifft per Longest-Prefix-Match den /24-Eintrag des
Node-Netzes: Ziel ist worker2, Identity 2
(world). Die /24-Einträge stammen direkt aus den
CiliumNodes – das ist die Verbindung von IPAM zum Datenpfad. Der eigene
Node fehlt in der Liste (lokale Pods haben eigene Einträge).
Fortschritt speichern? Kostenlos registrieren
Drill 5: Wie groß ist der Pool?
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
grep -A3 'operator:' values-vorher.yaml | head -3
k get node worker1 -o jsonpath='{.status.capacity.pods}'; echo
k get ciliumnodes -o jsonpath=\
'{range .items[*]}{.metadata.name}{"\t"}{.status.ipam.operator-status}{"\n"}{end}'Erwartet:
operator:
clusterPoolIPv4MaskSize: 24
clusterPoolIPv4PodCIDRList: 10.0.0.0/16
110
cp1 {}
worker1 {}
worker2 {}
Rechnung: Ein /16 enthält 2^(24−16) = 256 Node-Netze à /24, also maximal 256 Nodes. Ein /24 hat 254 nutzbare Adressen (Netz- und Broadcast-Adresse reserviert), drei davon nimmt Cilium selbst; das kubelet erlaubt ohnehin nur 110 Pods. Zwei Arten von Erschöpfung:
- Node-Netz voll: Neue Pods auf dem Node bleiben in
ContainerCreating, das Event meldet einen IPAM-Fehler („range is full“). Abhilfe: Pods verteilen,maxPodssenken – die Maske (clusterPoolIPv4MaskSize) lässt sich nachträglich nicht ändern. - Pool voll: Ein neuer Node bekommt kein Netz, sein
Agent wartet. Der Fehler steht im CiliumNode unter
status.ipam.operator-status. Abhilfe: Drill 6.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Pool erweitern – additiv
Laut Doku darfst du vorhandene Einträge der Liste nie ändern, wohl aber neue anhängen:
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
--set ipam.operator.clusterPoolIPv4PodCIDRList='{10.0.0.0/16,10.2.0.0/16}'
cilium config view | grep cluster-pool-ipv4-cidr
k -n kube-system rollout restart deployment cilium-operator
k -n kube-system rollout status deployment cilium-operator
k -n kube-system logs deploy/cilium-operator | grep -E "cluster-pool-ipv4-cidr="
k get ciliumnodes -o custom-columns='NAME:.metadata.name,PODCIDRS:.spec.ipam.podCIDRs'Erwartet (gekürzt):
Release "cilium" has been upgraded. Happy Helming!
cluster-pool-ipv4-cidr 10.0.0.0/16 10.2.0.0/16
deployment.apps/cilium-operator restarted
deployment "cilium-operator" successfully rolled out
... level=info msg=" --cluster-pool-ipv4-cidr='10.0.0.0/16,10.2.0.0/16'" ...
NAME PODCIDRS
cp1 [10.0.0.0/24]
worker1 [10.0.1.0/24]
worker2 [10.0.2.0/24]
Die Zuteilung liest nur der Operator – also reicht sein Neustart, die Agenten laufen weiter. Vorhandene Nodes behalten ihr Netz; erst wenn 10.0.0.0/16 voll ist, bekommen neue Nodes ein /24 aus 10.2.0.0/16. Neue Bereiche dürfen weder mit dem Node-Netz (172.16.0.0/24) noch mit dem Service-Netz (10.96.0.0/12) überlappen.
Für das Labor kommt der Eintrag wieder weg – das geht nur, solange kein Node ein Netz daraus hat (wie hier):
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
--set ipam.operator.clusterPoolIPv4PodCIDRList=10.0.0.0/16
k -n kube-system rollout restart deployment cilium-operator
k -n kube-system rollout status deployment cilium-operator
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICHErwartet (gekürzt):
Release "cilium" has been upgraded. Happy Helming!
deployment "cilium-operator" successfully rolled out
GLEICH
Fortschritt speichern? Kostenlos registrieren
Drill 7: Multi-Pool – Pools pro Namespace oder Pod
Mit ipam.mode=multi-pool beschreiben CiliumPodIPPools
mehrere Pools, und Pods wählen per Annotation
ipam.cilium.io/ip-pool (am Pod oder Namespace) oder per
Selector im Pool. Den IPAM-Modus eines laufenden Clusters umzustellen
ist nicht vorgesehen – das entscheidest du beim Aufbau. Das CRD gibt es
trotzdem schon, also üben wir die Objekte:
k explain ciliumpodippool.spec --recursive | head -12
cat > tag03-pool.yaml <<'EOF'
apiVersion: cilium.io/v2alpha1
kind: CiliumPodIPPool
metadata:
name: tag03-blau
spec:
ipv4:
cidrs:
- 10.20.0.0/16
maskSize: 27
EOF
k apply -f tag03-pool.yaml
k run blau --image=nginx:1.29 --annotations=ipam.cilium.io/ip-pool=tag03-blau
k wait --for=condition=Ready pod/blau
k get pod blau -o wideErwartet (gekürzt):
KIND: CiliumPodIPPool
VERSION: v2alpha1
FIELDS:
allowFirstIP <boolean>
allowLastIP <boolean>
ipv4 <Object>
cidrs <[]string> -required-
maskSize <integer> -required-
...
ciliumpodippool.cilium.io/tag03-blau created
pod/blau created
pod/blau condition met
NAME READY STATUS RESTARTS AGE IP NODE
blau 1/1 Running 0 2s 10.0.2.220 worker2
Die Annotation wirkt nicht: Im Modus cluster-pool liest
niemand die Pools, der Pod bekommt eine Adresse aus 10.0.2.0/24. In
einem Multi-Pool-Cluster läge sie in 10.20.0.0/16; die Node-Netze
(maskSize: 27) teilt der Operator dann pro Pool und Node
nach Bedarf zu. Wichtig für den Betrieb: Pools dürfen nicht überlappen,
Annotations zählen nur beim Anlegen des Pods, und ohne Tunnel muss das
Netz die Pool-CIDRs kennen (autoDirectNodeRoutes oder
BGP).
k delete pod blau --now
k delete -f tag03-pool.yamlFortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige Pod-CIDR und
CiliumInternalIPaller Nodes in einer Tabelle. Zeitziel: 60 s - Wie viele Adressen sind auf
worker2vergeben? Zeitziel: 30 s - Auf welchem Node liegt die Pod-IP 10.0.2.158? Nur mit
cilium-dbg. Zeitziel: 45 s - Zeige Pool und Node-Maske der laufenden Konfiguration. Zeitziel: 20 s
Lösung
k get ciliumnodes -o custom-columns='NAME:.metadata.name,CIDR:.spec.ipam.podCIDRs,'\
'HOST:.spec.addresses[?(@.type=="CiliumInternalIP")].ip'
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status | grep IPAM
k -n kube-system exec ds/cilium -c cilium-agent -- \
cilium-dbg bpf ipcache get 10.0.2.158
cilium config view | grep cluster-poolErwartet (gekürzt):
NAME CIDR HOST
cp1 [10.0.0.0/24] 10.0.0.88
worker1 [10.0.1.0/24] 10.0.1.116
worker2 [10.0.2.0/24] 10.0.2.241
IPAM: IPv4: 7/254 allocated from 10.0.2.0/24,
10.0.2.158 maps to identity identity=16219 encryptkey=0 tunnelendpoint=172.16.0.83
flags=hastunnel
cluster-pool-ipv4-cidr 10.0.0.0/16
cluster-pool-ipv4-mask-size 24
tunnelendpoint=172.16.0.83 ist worker2.
Fragst du zufällig den Agenten von worker2 selbst, steht
dort statt des Tunnels der lokale Endpunkt
(tunnelendpoint=0.0.0.0).
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICHErwartet: GLEICH – der zweite CIDR ist
wieder raus.
cilium config view | grep cluster-pool-ipv4-cidrErwartet:
cluster-pool-ipv4-cidr 10.0.0.0/16
k get ciliumpodippoolsErwartet: No resources found
k get ciliumnodes -o custom-columns='NAME:.metadata.name,PODCIDRS:.spec.ipam.podCIDRs'Erwartet: unverändert 10.0.0.0/24, 10.0.1.0/24, 10.0.2.0/24.
Challenge
Du kennst nur die IP 10.0.2.158. Finde Node, Pod (Namespace/Name),
Endpoint-ID und Identity – ausschließlich mit cilium-dbg,
ohne k get pods.
Hinweis: Der ipcache nennt den Node, der Agent dieses Nodes kennt den Pod.
Lösung
k -n kube-system exec ds/cilium -c cilium-agent -- \
cilium-dbg bpf ipcache get 10.0.2.158
k get ciliumnodes -o custom-columns='NAME:.metadata.name,'\
'IP:.spec.addresses[?(@.type=="InternalIP")].ip' | grep 172.16.0.83
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status --all-addresses \
| grep -F '10.0.2.158 '
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint list \
| grep -F 10.0.2.158Erwartet (gekürzt):
10.0.2.158 maps to identity identity=16219 encryptkey=0 tunnelendpoint=172.16.0.83
flags=hastunnel
worker2 172.16.0.83
10.0.2.158 (tag03/web-689b9bdbdd-xwp4g)
751 Disabled Disabled 16219 k8s:app=web ...
10.0.2.158 ready
Endpoint-ID 751, Identity 16219, Pod
tag03/web-689b9bdbdd-xwp4g auf worker2.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
k delete namespace tag03
k config set-context --current --namespace=defaultDie Helm-Werte sind seit Drill 6 wieder wie in
values-vorher.yaml.
Prüfungstipp
- Pod-CIDR suchen: bei Cilium
k get ciliumnodes, nichtnode.spec.podCIDR– das ist nur im IPAM-Moduskubernetesgefüllt. clusterPoolIPv4PodCIDRListnur erweitern, nie Einträge ändern; danach den Operator neu starten. Die Maske ist fest.- Doku-Stellen: docs.cilium.io „IP Address Management (IPAM)“ (Cluster Scope, Kubernetes Host Scope, Multi-Pool), kubernetes.io „Network Plugins“.
Enterprise-Notiz
- Pool und Maske beim Aufbau großzügig planen: Nodes × Pods pro Node, Wachstum, ClusterMesh (Pod-CIDRs aller Cluster müssen eindeutig sein, Tag 17).
- Pod-CIDRs dürfen nicht mit Firmennetzen, VPN-Bereichen oder dem Service-Netz überlappen – sonst routet der Node „nach innen“ statt zum Ziel.
- Multi-Pool lohnt sich, wenn Teams oder Mandanten eigene, außen routbare Netze brauchen (Firewall-Regeln pro Pool, BGP-Ankündigung) – Entscheidung beim Aufbau.
- In der Cloud (ENI, Azure IPAM) bekommen Pods echte VPC-Adressen; dort begrenzen Instanztyp und Subnetzgröße die Pods pro Node.
- IPAM-Zustand überwachen: Metriken des Operators und
operator-statusder CiliumNodes, bevor neue Nodes ohne Netz hängen bleiben.