Tag 5: Pods mit mehreren Interfaces
Ziel: Du hängst Pods mit Multus zusätzliche Netze an (macvlan, bridge), prüfst
net1und die Erreichbarkeit darüber und entfernst Multus wieder rückstandsfrei. · Dauer: ca. 70 min · Voraussetzung: Tag 2
Briefing
- CKNE: Core Infrastructure and CNI (15 %) – „Configuring Multi-interface Pods“.
- Kubernetes kennt pro Pod genau ein Netz. Multus ist ein
Meta-Plugin: Es steht als erste CNI-Konfiguration im
Verzeichnis, ruft für
eth0das Standard-CNI (Cilium) auf und danach weitere Plugins fürnet1,net2… - Zusätzliche Netze beschreibt das CRD
NetworkAttachmentDefinition(NAD), Pods wählen sie per Annotationk8s.v1.cni.cncf.io/networks. - Heute ändert sich
/etc/cni/net.dauf allen Nodes – am Ende kommt alles wieder weg.
containerd ──> 00-multus.conf ──> multus-shim ──> multus-daemon (Pod)
├─> cilium-cni -> eth0 10.0.x.x
└─> macvlan -> net1 192.168.77.x
Drill 1: Cilium für ein Meta-Plugin öffnen
Mit cni.exclusive=true (Tag 2, Drill 5) würde Cilium die
Datei von Multus sofort in *.cilium_bak umbenennen. Also
zuerst umstellen:
mkdir -p ~/ckne/tag05 && cd ~/ckne/tag05
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
--set cni.exclusive=false
cilium config view | grep cni-exclusive
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:'Erwartet (gekürzt):
Release "cilium" has been upgraded. Happy Helming!
cni-exclusive false
daemon set "cilium" successfully rolled out
/¯¯\__/¯¯\ Cilium: OK
\__/¯¯\__/ Operator: OK
Fortschritt speichern? Kostenlos registrieren
Drill 2: Multus (thick) installieren
Multus v4 gibt es als „thin“ (nur Binary) und „thick“ (Binary
multus-shim plus Daemon-Pod, der die Arbeit macht). Das
Manifest des Release-Tags zeigt noch auf das Image
snapshot-thick – für reproduzierbare Ergebnisse auf die
Version festnageln. Das Image
ghcr.io/k8snetworkplumbingwg/multus-cni:v4.3.2-thick gibt
es für amd64 und arm64.
curl -sLO https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.3.2/\
deployments/multus-daemonset-thick.yml
sed -i 's/snapshot-thick/v4.3.2-thick/' multus-daemonset-thick.yml
grep image: multus-daemonset-thick.yml
k apply -f multus-daemonset-thick.yml
k -n kube-system rollout status ds/kube-multus-ds
k -n kube-system get pods -l app=multus -o wideErwartet (gekürzt):
image: ghcr.io/k8snetworkplumbingwg/multus-cni:v4.3.2-thick
image: ghcr.io/k8snetworkplumbingwg/multus-cni:v4.3.2-thick
customresourcedefinition.apiextensions.k8s.io/network-attachment-definitions.k8s.cni.
cncf.io created
clusterrole.rbac.authorization.k8s.io/multus created
clusterrolebinding.rbac.authorization.k8s.io/multus created
serviceaccount/multus created
configmap/multus-daemon-config created
daemonset.apps/kube-multus-ds created
daemon set "kube-multus-ds" successfully rolled out
NAME READY STATUS RESTARTS AGE IP NODE
kube-multus-ds-jqmlq 1/1 Running 0 58s 172.16.0.228 worker1
kube-multus-ds-p42bx 1/1 Running 0 58s 172.16.0.83 worker2
kube-multus-ds-t4skn 1/1 Running 0 58s 172.16.0.126 cp1
Was hat sich auf dem Node geändert?
ssh [email protected]
sudo ls -A /etc/cni /etc/cni/net.d
sudo cat /etc/cni/net.d/00-multus.conf; echo
ls /opt/cni/bin | grep multus
exitErwartet:
/etc/cni:
multus net.d
/etc/cni/net.d:
.kubernetes-cni-keep 00-multus.conf 05-cilium.conflist
{"cniVersion":"0.3.1","logLevel":"verbose","logToStderr":true,
"name":"multus-cni-network",
"clusterNetwork":"/host/etc/cni/net.d/05-cilium.conflist","type":"multus-shim"}
multus-shim
00- steht vor 05-, containerd nimmt also
Multus. Die Datei hat der Daemon aus der vorhandenen
Cilium-Konfiguration erzeugt (multusConfigFile: auto):
clusterNetwork ist das Standard-Netz für eth0.
Ab jetzt läuft jede Pod-Erzeugung auf allen Nodes über
Multus – fällt der Daemon aus, entstehen keine neuen Pods mehr.
Fortschritt speichern? Kostenlos registrieren
Drill 3: NetworkAttachmentDefinitions für macvlan und bridge
Welche Adressen sind im Heimnetz sicher? Das Node-Netz ist
172.16.0.0/24 mit DHCP am Router. Für macvlan nehmen wir
statische Adressen aus 192.168.77.0/24 – einem privaten
Bereich, den es im Labor sonst nicht gibt, ohne Gateway und ohne DHCP.
So vergibt nichts doppelt, und kein Paket wird ins Internet geroutet.
Die bridge hängt an einer neuen, node-lokalen Bridge
tag05br0 und erreicht das Heimnetz gar nicht.
k create ns tag05
k config set-context --current --namespace=tag05
cat > nad-macvlan.yaml <<'EOF'
apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
name: macvlan-lab
spec:
config: |
{
"cniVersion": "0.3.1",
"type": "macvlan",
"master": "eth0",
"mode": "bridge",
"capabilities": { "ips": true },
"ipam": { "type": "static" }
}
EOF
cat > nad-bridge.yaml <<'EOF'
apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
name: bridge-lab
spec:
config: |
{
"cniVersion": "0.3.1",
"type": "bridge",
"bridge": "tag05br0",
"ipam": { "type": "host-local", "subnet": "192.168.78.0/24" }
}
EOF
k apply -f nad-macvlan.yaml -f nad-bridge.yaml
k get net-attach-defErwartet:
namespace/tag05 created
Context "kubernetes-admin@kubernetes" modified.
networkattachmentdefinition.k8s.cni.cncf.io/macvlan-lab created
networkattachmentdefinition.k8s.cni.cncf.io/bridge-lab created
NAME AGE
bridge-lab 0s
macvlan-lab 0s
spec.config ist eine ganz normale CNI-Konfiguration als
String – dieselbe Syntax wie in Tag 2, Drill 3. type muss
als Binary in /opt/cni/bin liegen (macvlan, bridge, static,
host-local kamen mit kubernetes-cni).
capabilities.ips erlaubt dem Pod, seine IP in der
Annotation mitzugeben.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Zwei Pods über macvlan verbinden
NET1='[{"name":"macvlan-lab","ips":["192.168.77.11/24"]}]'
NET2='[{"name":"macvlan-lab","ips":["192.168.77.12/24"]}]'
k run m1 --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker1"}}' \
--annotations=k8s.v1.cni.cncf.io/networks="$NET1" -- sleep infinity
k run m2 --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker2"}}' \
--annotations=k8s.v1.cni.cncf.io/networks="$NET2" -- sleep infinity
k wait --for=condition=Ready pod m1 m2
k get pods -o wide
k exec m1 -- ip -br addr
k exec m1 -- ip route
k exec m1 -- ping -c2 -W1 192.168.77.12Erwartet (gekürzt):
NAME READY STATUS RESTARTS AGE IP NODE
m1 1/1 Running 0 8s 10.0.1.57 worker1
m2 1/1 Running 0 8s 10.0.2.244 worker2
lo UNKNOWN 127.0.0.1/8 ::1/128
net1@if2 UP 192.168.77.11/24
fd0e:fdec:438a:328:9c2f:a7ff:fe45:74cf/64
fe80::9c2f:a7ff:fe45:74cf/64
eth0@if202 UP 10.0.1.57/32 fe80::4c51:55ff:fe11:f429/64
default via 10.0.1.116 dev eth0 mtu 1450
10.0.1.116 dev eth0 scope link
192.168.77.0/24 dev net1 proto kernel scope link src 192.168.77.11
64 bytes from 192.168.77.12: icmp_seq=1 ttl=64 time=0.979 ms
64 bytes from 192.168.77.12: icmp_seq=2 ttl=64 time=0.550 ms
eth0 kommt von Cilium (Default-Route), net1
von macvlan mit eigener MAC direkt auf eth0 des Nodes. Die
Pods erreichen sich über das Heimnetz-L2, nicht über den Tunnel.
Achtung:
net1hat zusätzlich eine IPv6-Adresse aus dem Präfix des Heimrouters (SLAAC über Router Advertisements). Ein macvlan-Interface steht wirklich im LAN – mit allen Diensten, die dort laufen. In Produktion gehören solche Netze in ein eigenes VLAN.
Der Beweis auf worker2 (Absender-MAC ist die von
net1 in m1):
ssh [email protected] "sudo timeout 6 tcpdump -nn -e -i eth0 -c 2 \
icmp and host 192.168.77.12" &
sleep 2; k exec m1 -- ping -c1 -W1 192.168.77.12 > /dev/null; waitErwartet (gekürzt):
00:31:02.177656 9e:2f:a7:45:74:cf > a2:18:f5:28:cc:af, ethertype IPv4 (0x0800),
length 98: 192.168.77.11 > 192.168.77.12: ICMP echo request, id 41, seq 1, length 64
00:31:02.177780 a2:18:f5:28:cc:af > 9e:2f:a7:45:74:cf, ethertype IPv4 (0x0800),
length 98: 192.168.77.12 > 192.168.77.11: ICMP echo reply, id 41, seq 1, length 64
Fortschritt speichern? Kostenlos registrieren
Drill 5: Die network-status-Annotation lesen
k get pod m1 \
-o jsonpath='{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/network-status}'; echo
k get events --field-selector reason=AddedInterface \
-o custom-columns=POD:.involvedObject.name,MSG:.messageErwartet (gekürzt):
[{
"name": "cilium",
"interface": "eth0",
"ips": [
"10.0.1.57"
],
"mac": "4e:51:55:11:f4:29",
"default": true,
"dns": {},
"gateway": [
"10.0.1.116"
]
},{
"name": "tag05/macvlan-lab",
"interface": "net1",
"ips": [
"192.168.77.11"
],
"mac": "9e:2f:a7:45:74:cf",
"dns": {}
}]
POD MSG
m1 Add eth0 [10.0.1.57/32] from cilium
m1 Add net1 [192.168.77.11/24] from tag05/macvlan-lab
...
Multus schreibt das Ergebnis aller Plugins in die Annotation
network-status und je Interface ein Event. Erste
Anlaufstelle, wenn ein Zusatznetz fehlt: Steht es nicht in der
Annotation, hat das Plugin nichts geliefert – dann
k describe pod (Events) und die Logs von
kube-multus-ds auf dem Node lesen.
Fortschritt speichern? Kostenlos registrieren
Drill 6: bridge – ein Netz nur auf dem Node
k run b1 --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker1"}}' \
--annotations=k8s.v1.cni.cncf.io/networks=bridge-lab -- sleep infinity
k run b2 --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker1"}}' \
--annotations=k8s.v1.cni.cncf.io/networks=bridge-lab -- sleep infinity
k wait --for=condition=Ready pod b1 b2
k exec b1 -- ip -br addr show net1
B2=$(k exec b2 -- ip -4 -br addr show net1 | awk '{print $3}' | cut -d/ -f1); echo $B2
k exec b1 -- ping -c2 -W1 $B2Erwartet (gekürzt):
net1@if204 UP 192.168.78.2/24 fe80::28ae:aaff:fe8b:9eff/64
192.168.78.3
64 bytes from 192.168.78.3: icmp_seq=1 ttl=64 time=0.253 ms
64 bytes from 192.168.78.3: icmp_seq=2 ttl=64 time=0.236 ms
Die Kurzform der Annotation ist einfach der NAD-Name.
host-local vergibt fortlaufend aus 192.168.78.0/24 – aber
pro Node (Zustand in /var/lib/cni/networks/bridge-lab): Ein
Pod auf worker2 bekäme ebenfalls .2 und hinge an einer
anderen Bridge. Für Netze über Nodes hinweg brauchst du
macvlan/ipvlan/SR-IOV oder ein clusterweites IPAM wie Whereabouts.
Fortschritt speichern? Kostenlos registrieren
Drill 7: net1 läuft an Cilium vorbei
hubble observe -P --port-forward-port 0 --ip 192.168.77.12 --last 20
hubble observe -P --port-forward-port 0 --pod tag05/m1 --protocol icmp --last 5Erwartet: keine Ausgabe.
Der Ping aus Drill 4 taucht in Hubble nicht auf: Cilium verwaltet nur
eth0. NetworkPolicies, Identitäten, Verschlüsselung (Tag
13) und Hubble gelten für Zusatznetze nicht – wer net1
absichern will, braucht Mittel im Zusatznetz selbst (VLAN, Firewall,
multi-networkpolicy).
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Liste alle NetworkAttachmentDefinitions im Cluster. Zeitziel: 15 s
- Zeige Interface, Netz und IP aller Interfaces von
m2in je einer Zeile. Zeitziel: 60 s - Zeige, welches Standard-Netz Multus auf
worker2füreth0verwendet. Zeitziel: 45 s
Lösung
k get net-attach-def -A
k get pod m2 \
-o jsonpath='{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/network-status}' \
| jq -r '.[] | "\(.interface) \(.name) \(.ips[0])"'
ssh [email protected] sudo cat /etc/cni/net.d/00-multus.conf | jq -r .clusterNetworkErwartet (gekürzt):
NAMESPACE NAME AGE
tag05 bridge-lab 4m
tag05 macvlan-lab 4m
eth0 cilium 10.0.2.244
net1 tag05/macvlan-lab 192.168.77.12
/host/etc/cni/net.d/05-cilium.conflist
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k -n kube-system get ds kube-multus-dsErwartet: DESIRED 3,
READY 3 – ein Multus-Pod pro Node.
k get net-attach-defErwartet: bridge-lab und
macvlan-lab.
cilium config view | grep cni-exclusiveErwartet: cni-exclusive false (bis
zum Aufräumen).
k exec m1 -- ping -c1 -W1 192.168.77.12 | grep receivedErwartet:
1 packets transmitted, 1 received, 0% packet loss –
m1 erreicht m2 über macvlan.
Challenge
Lege einen Pod multi auf worker1 an, der
zusätzlich zu eth0 zwei Netze bekommt:
bridge-lab unter dem Interface-Namen lab0 und
macvlan-lab mit 192.168.77.13. Zeige, dass er
m2 über macvlan erreicht.
Hinweis: Die JSON-Form der Annotation kennt pro
Eintrag die Felder name, interface und
ips.
Lösung
NETS='[{"name":"bridge-lab","interface":"lab0"},'\
'{"name":"macvlan-lab","ips":["192.168.77.13/24"]}]'
k run multi --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker1"}}' \
--annotations=k8s.v1.cni.cncf.io/networks="$NETS" -- sleep infinity
k wait --for=condition=Ready pod/multi
k exec multi -- ip -4 -br addr
k exec multi -- ping -c1 -W1 192.168.77.12 | grep received
k get pod multi \
-o jsonpath='{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/network-status}' \
| jq -r '.[] | "\(.interface) \(.name) \(.ips[0])"'Erwartet:
pod/multi created
pod/multi condition met
lo UNKNOWN 127.0.0.1/8
lab0@if208 UP 192.168.78.4/24
net2@if2 UP 192.168.77.13/24
eth0@if207 UP 10.0.1.194/32
1 packets transmitted, 1 received, 0% packet loss, time 0ms
eth0 cilium 10.0.1.194
lab0 tag05/bridge-lab 192.168.78.4
net2 tag05/macvlan-lab 192.168.77.13
Ohne interface zählt Multus nach Position: Der zweite
Eintrag heißt net2, auch wenn der erste umbenannt
wurde.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
Erst die Pods löschen, solange Multus noch läuft (dann baut es auch
die Zusatznetze sauber ab), danach Multus selbst – und sofort die
Dateien auf allen Nodes, denn 00-multus.conf ohne Daemon
blockiert jede neue Pod-Erzeugung:
k delete namespace tag05
k config set-context --current --namespace=default
k delete -f multus-daemonset-thick.yml
sudo rm -f /etc/cni/net.d/00-multus.conf /opt/cni/bin/multus-shim
sudo rm -rf /etc/cni/multus /run/multus /var/lib/cni/multus /run/k8s.cni.cncf.io
for n in 172.16.0.228 172.16.0.83; do
ssh ubuntu@$n "sudo rm -f /etc/cni/net.d/00-multus.conf /opt/cni/bin/multus-shim; \
sudo rm -rf /etc/cni/multus /run/multus /var/lib/cni/multus /run/k8s.cni.cncf.io"
done
ssh [email protected] "sudo ip link del tag05br0; \
sudo rm -rf /var/lib/cni/networks/bridge-lab"Erwartet (gekürzt):
namespace "tag05" deleted
customresourcedefinition.apiextensions.k8s.io "network-attachment-definitions.k8s.cni.
cncf.io" deleted
clusterrole.rbac.authorization.k8s.io "multus" deleted
clusterrolebinding.rbac.authorization.k8s.io "multus" deleted
serviceaccount "multus" deleted from kube-system namespace
configmap "multus-daemon-config" deleted from kube-system namespace
daemonset.apps "kube-multus-ds" deleted from kube-system namespace
Die Bridge tag05br0 bleibt nach DEL stehen
– das bridge-Plugin räumt sie nicht ab. Zum Schluss Cilium wieder
exklusiv:
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 -f values-vorher.yaml
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:'Erwartet (gekürzt):
GLEICH
daemon set "cilium" successfully rolled out
/¯¯\__/¯¯\ Cilium: OK
\__/¯¯\__/ Operator: OK
Danach prüfst du, dass nichts zurückbleibt:
ssh [email protected] sudo ls -A /etc/cni /etc/cni/net.dErwartet: in /etc/cni nur
net.d, darin nur .kubernetes-cni-keep und
05-cilium.conflist.
ssh [email protected] "ls /opt/cni/bin | grep -c multus"Erwartet: 0
k get crd | grep -c cni.cncf.ioErwartet: 0
cilium config view | grep cni-exclusiveErwartet: cni-exclusive true
k get nodesErwartet: alle Ready.
Prüfungstipp
- Annotation exakt:
k8s.v1.cni.cncf.io/networks– Kurzformnameodernamespace/name, JSON-Form mitname,interface,ips; Ergebnis ink8s.v1.cni.cncf.io/network-status. - Fehlt
net1: NAD im richtigen Namespace?typeals Binary in/opt/cni/bin? Steht Multus als erste Datei in/etc/cni/net.d(nicht umbenannt durchcni.exclusive)? - Doku-Stellen: github.com/k8snetworkplumbingwg/multus-cni
(Quickstart, „How to use“), docs.cilium.io „Installation using Helm“
(
cni.exclusive).
Enterprise-Notiz
- Typische Einsätze: Telco/CNF (SR-IOV, DPDK), Speicher- und
Backup-Netze, getrennte Management-Netze – meist mit eigenen VLANs
(
vlan-Plugin oder macvlan auf VLAN-Device). - Multus ist ein zusätzlicher kritischer Pfad: Ohne laufenden Daemon starten keine Pods. Ressourcen-Limits des Daemons beobachten (OOM bei vielen Pods).
- Zusatznetze sind für Cilium unsichtbar: keine Policies, kein Hubble,
keine Verschlüsselung – Absicherung im Netz selbst oder mit
multi-networkpolicy. - Clusterweites IPAM für Zusatznetze (Whereabouts) statt
static/host-localpro Node; Adressbereiche mit dem Netzwerkteam abstimmen. - In OpenShift ist Multus fest eingebaut; dort verwaltet der Cluster-Network-Operator die NADs.