Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 5: Pods mit mehreren Interfaces

Ziel: Du hängst Pods mit Multus zusätzliche Netze an (macvlan, bridge), prüfst net1 und die Erreichbarkeit darüber und entfernst Multus wieder rückstandsfrei. · Dauer: ca. 70 min · Voraussetzung: Tag 2

Briefing

  • CKNE: Core Infrastructure and CNI (15 %) – „Configuring Multi-interface Pods“.
  • Kubernetes kennt pro Pod genau ein Netz. Multus ist ein Meta-Plugin: Es steht als erste CNI-Konfiguration im Verzeichnis, ruft für eth0 das Standard-CNI (Cilium) auf und danach weitere Plugins für net1, net2 …
  • Zusätzliche Netze beschreibt das CRD NetworkAttachmentDefinition (NAD), Pods wählen sie per Annotation k8s.v1.cni.cncf.io/networks.
  • Heute ändert sich /etc/cni/net.d auf allen Nodes – am Ende kommt alles wieder weg.
containerd ──> 00-multus.conf ──> multus-shim ──> multus-daemon (Pod)
                                               ├─> cilium-cni -> eth0 10.0.x.x
                                               └─> macvlan    -> net1 192.168.77.x

Drill 1: Cilium für ein Meta-Plugin öffnen

Mit cni.exclusive=true (Tag 2, Drill 5) würde Cilium die Datei von Multus sofort in *.cilium_bak umbenennen. Also zuerst umstellen:

mkdir -p ~/ckne/tag05 && cd ~/ckne/tag05
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reuse-values \
  --set cni.exclusive=false
cilium config view | grep cni-exclusive
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:'

Erwartet (gekürzt):

Release "cilium" has been upgraded. Happy Helming!
cni-exclusive                                     false
daemon set "cilium" successfully rolled out
 /¯¯\__/¯¯\    Cilium:             OK
 \__/¯¯\__/    Operator:           OK

Fortschritt speichern? Kostenlos registrieren

Drill 2: Multus (thick) installieren

Multus v4 gibt es als „thin“ (nur Binary) und „thick“ (Binary multus-shim plus Daemon-Pod, der die Arbeit macht). Das Manifest des Release-Tags zeigt noch auf das Image snapshot-thick – für reproduzierbare Ergebnisse auf die Version festnageln. Das Image ghcr.io/k8snetworkplumbingwg/multus-cni:v4.3.2-thick gibt es für amd64 und arm64.

curl -sLO https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/v4.3.2/\
deployments/multus-daemonset-thick.yml
sed -i 's/snapshot-thick/v4.3.2-thick/' multus-daemonset-thick.yml
grep image: multus-daemonset-thick.yml
k apply -f multus-daemonset-thick.yml
k -n kube-system rollout status ds/kube-multus-ds
k -n kube-system get pods -l app=multus -o wide

Erwartet (gekürzt):

          image: ghcr.io/k8snetworkplumbingwg/multus-cni:v4.3.2-thick
          image: ghcr.io/k8snetworkplumbingwg/multus-cni:v4.3.2-thick
customresourcedefinition.apiextensions.k8s.io/network-attachment-definitions.k8s.cni.
cncf.io created
clusterrole.rbac.authorization.k8s.io/multus created
clusterrolebinding.rbac.authorization.k8s.io/multus created
serviceaccount/multus created
configmap/multus-daemon-config created
daemonset.apps/kube-multus-ds created
daemon set "kube-multus-ds" successfully rolled out
NAME                   READY   STATUS    RESTARTS   AGE   IP             NODE
kube-multus-ds-jqmlq   1/1     Running   0          58s   172.16.0.228   worker1
kube-multus-ds-p42bx   1/1     Running   0          58s   172.16.0.83    worker2
kube-multus-ds-t4skn   1/1     Running   0          58s   172.16.0.126   cp1

Was hat sich auf dem Node geändert?

ssh [email protected]
sudo ls -A /etc/cni /etc/cni/net.d
sudo cat /etc/cni/net.d/00-multus.conf; echo
ls /opt/cni/bin | grep multus
exit

Erwartet:

/etc/cni:
multus  net.d

/etc/cni/net.d:
.kubernetes-cni-keep  00-multus.conf  05-cilium.conflist
{"cniVersion":"0.3.1","logLevel":"verbose","logToStderr":true,
"name":"multus-cni-network",
"clusterNetwork":"/host/etc/cni/net.d/05-cilium.conflist","type":"multus-shim"}
multus-shim

00- steht vor 05-, containerd nimmt also Multus. Die Datei hat der Daemon aus der vorhandenen Cilium-Konfiguration erzeugt (multusConfigFile: auto): clusterNetwork ist das Standard-Netz für eth0. Ab jetzt läuft jede Pod-Erzeugung auf allen Nodes über Multus – fällt der Daemon aus, entstehen keine neuen Pods mehr.

Fortschritt speichern? Kostenlos registrieren

Drill 3: NetworkAttachmentDefinitions für macvlan und bridge

Welche Adressen sind im Heimnetz sicher? Das Node-Netz ist 172.16.0.0/24 mit DHCP am Router. Für macvlan nehmen wir statische Adressen aus 192.168.77.0/24 – einem privaten Bereich, den es im Labor sonst nicht gibt, ohne Gateway und ohne DHCP. So vergibt nichts doppelt, und kein Paket wird ins Internet geroutet. Die bridge hängt an einer neuen, node-lokalen Bridge tag05br0 und erreicht das Heimnetz gar nicht.

k create ns tag05
k config set-context --current --namespace=tag05
cat > nad-macvlan.yaml <<'EOF'
apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: macvlan-lab
spec:
  config: |
    {
      "cniVersion": "0.3.1",
      "type": "macvlan",
      "master": "eth0",
      "mode": "bridge",
      "capabilities": { "ips": true },
      "ipam": { "type": "static" }
    }
EOF
cat > nad-bridge.yaml <<'EOF'
apiVersion: k8s.cni.cncf.io/v1
kind: NetworkAttachmentDefinition
metadata:
  name: bridge-lab
spec:
  config: |
    {
      "cniVersion": "0.3.1",
      "type": "bridge",
      "bridge": "tag05br0",
      "ipam": { "type": "host-local", "subnet": "192.168.78.0/24" }
    }
EOF
k apply -f nad-macvlan.yaml -f nad-bridge.yaml
k get net-attach-def

Erwartet:

namespace/tag05 created
Context "kubernetes-admin@kubernetes" modified.
networkattachmentdefinition.k8s.cni.cncf.io/macvlan-lab created
networkattachmentdefinition.k8s.cni.cncf.io/bridge-lab created
NAME          AGE
bridge-lab    0s
macvlan-lab   0s

spec.config ist eine ganz normale CNI-Konfiguration als String – dieselbe Syntax wie in Tag 2, Drill 3. type muss als Binary in /opt/cni/bin liegen (macvlan, bridge, static, host-local kamen mit kubernetes-cni). capabilities.ips erlaubt dem Pod, seine IP in der Annotation mitzugeben.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Zwei Pods über macvlan verbinden

NET1='[{"name":"macvlan-lab","ips":["192.168.77.11/24"]}]'
NET2='[{"name":"macvlan-lab","ips":["192.168.77.12/24"]}]'
k run m1 --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker1"}}' \
  --annotations=k8s.v1.cni.cncf.io/networks="$NET1" -- sleep infinity
k run m2 --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker2"}}' \
  --annotations=k8s.v1.cni.cncf.io/networks="$NET2" -- sleep infinity
k wait --for=condition=Ready pod m1 m2
k get pods -o wide
k exec m1 -- ip -br addr
k exec m1 -- ip route
k exec m1 -- ping -c2 -W1 192.168.77.12

Erwartet (gekürzt):

NAME   READY   STATUS    RESTARTS   AGE   IP           NODE
m1     1/1     Running   0          8s    10.0.1.57    worker1
m2     1/1     Running   0          8s    10.0.2.244   worker2
lo               UNKNOWN        127.0.0.1/8 ::1/128
net1@if2         UP             192.168.77.11/24
                                 fd0e:fdec:438a:328:9c2f:a7ff:fe45:74cf/64
                                 fe80::9c2f:a7ff:fe45:74cf/64
eth0@if202       UP             10.0.1.57/32 fe80::4c51:55ff:fe11:f429/64
default via 10.0.1.116 dev eth0 mtu 1450
10.0.1.116 dev eth0 scope link
192.168.77.0/24 dev net1 proto kernel scope link src 192.168.77.11
64 bytes from 192.168.77.12: icmp_seq=1 ttl=64 time=0.979 ms
64 bytes from 192.168.77.12: icmp_seq=2 ttl=64 time=0.550 ms

eth0 kommt von Cilium (Default-Route), net1 von macvlan mit eigener MAC direkt auf eth0 des Nodes. Die Pods erreichen sich über das Heimnetz-L2, nicht über den Tunnel.

Achtung: net1 hat zusätzlich eine IPv6-Adresse aus dem Präfix des Heimrouters (SLAAC über Router Advertisements). Ein macvlan-Interface steht wirklich im LAN – mit allen Diensten, die dort laufen. In Produktion gehören solche Netze in ein eigenes VLAN.

Der Beweis auf worker2 (Absender-MAC ist die von net1 in m1):

ssh [email protected] "sudo timeout 6 tcpdump -nn -e -i eth0 -c 2 \
  icmp and host 192.168.77.12" &
sleep 2; k exec m1 -- ping -c1 -W1 192.168.77.12 > /dev/null; wait

Erwartet (gekürzt):

00:31:02.177656 9e:2f:a7:45:74:cf > a2:18:f5:28:cc:af, ethertype IPv4 (0x0800),
length 98: 192.168.77.11 > 192.168.77.12: ICMP echo request, id 41, seq 1, length 64
00:31:02.177780 a2:18:f5:28:cc:af > 9e:2f:a7:45:74:cf, ethertype IPv4 (0x0800),
length 98: 192.168.77.12 > 192.168.77.11: ICMP echo reply, id 41, seq 1, length 64

Fortschritt speichern? Kostenlos registrieren

Drill 5: Die network-status-Annotation lesen

k get pod m1 \
  -o jsonpath='{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/network-status}'; echo
k get events --field-selector reason=AddedInterface \
  -o custom-columns=POD:.involvedObject.name,MSG:.message

Erwartet (gekürzt):

[{
    "name": "cilium",
    "interface": "eth0",
    "ips": [
        "10.0.1.57"
    ],
    "mac": "4e:51:55:11:f4:29",
    "default": true,
    "dns": {},
    "gateway": [
        "10.0.1.116"
    ]
},{
    "name": "tag05/macvlan-lab",
    "interface": "net1",
    "ips": [
        "192.168.77.11"
    ],
    "mac": "9e:2f:a7:45:74:cf",
    "dns": {}
}]
POD   MSG
m1    Add eth0 [10.0.1.57/32] from cilium
m1    Add net1 [192.168.77.11/24] from tag05/macvlan-lab
...

Multus schreibt das Ergebnis aller Plugins in die Annotation network-status und je Interface ein Event. Erste Anlaufstelle, wenn ein Zusatznetz fehlt: Steht es nicht in der Annotation, hat das Plugin nichts geliefert – dann k describe pod (Events) und die Logs von kube-multus-ds auf dem Node lesen.

Fortschritt speichern? Kostenlos registrieren

Drill 6: bridge – ein Netz nur auf dem Node

k run b1 --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker1"}}' \
  --annotations=k8s.v1.cni.cncf.io/networks=bridge-lab -- sleep infinity
k run b2 --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker1"}}' \
  --annotations=k8s.v1.cni.cncf.io/networks=bridge-lab -- sleep infinity
k wait --for=condition=Ready pod b1 b2
k exec b1 -- ip -br addr show net1
B2=$(k exec b2 -- ip -4 -br addr show net1 | awk '{print $3}' | cut -d/ -f1); echo $B2
k exec b1 -- ping -c2 -W1 $B2

Erwartet (gekürzt):

net1@if204       UP             192.168.78.2/24 fe80::28ae:aaff:fe8b:9eff/64
192.168.78.3
64 bytes from 192.168.78.3: icmp_seq=1 ttl=64 time=0.253 ms
64 bytes from 192.168.78.3: icmp_seq=2 ttl=64 time=0.236 ms

Die Kurzform der Annotation ist einfach der NAD-Name. host-local vergibt fortlaufend aus 192.168.78.0/24 – aber pro Node (Zustand in /var/lib/cni/networks/bridge-lab): Ein Pod auf worker2 bekäme ebenfalls .2 und hinge an einer anderen Bridge. Für Netze über Nodes hinweg brauchst du macvlan/ipvlan/SR-IOV oder ein clusterweites IPAM wie Whereabouts.

Fortschritt speichern? Kostenlos registrieren

Drill 7: net1 läuft an Cilium vorbei

hubble observe -P --port-forward-port 0 --ip 192.168.77.12 --last 20
hubble observe -P --port-forward-port 0 --pod tag05/m1 --protocol icmp --last 5

Erwartet: keine Ausgabe.

Der Ping aus Drill 4 taucht in Hubble nicht auf: Cilium verwaltet nur eth0. NetworkPolicies, Identitäten, Verschlüsselung (Tag 13) und Hubble gelten für Zusatznetze nicht – wer net1 absichern will, braucht Mittel im Zusatznetz selbst (VLAN, Firewall, multi-networkpolicy).

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Liste alle NetworkAttachmentDefinitions im Cluster. Zeitziel: 15 s
  2. Zeige Interface, Netz und IP aller Interfaces von m2 in je einer Zeile. Zeitziel: 60 s
  3. Zeige, welches Standard-Netz Multus auf worker2 für eth0 verwendet. Zeitziel: 45 s

Lösung

k get net-attach-def -A
k get pod m2 \
  -o jsonpath='{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/network-status}' \
  | jq -r '.[] | "\(.interface) \(.name) \(.ips[0])"'
ssh [email protected] sudo cat /etc/cni/net.d/00-multus.conf | jq -r .clusterNetwork

Erwartet (gekürzt):

NAMESPACE   NAME          AGE
tag05       bridge-lab    4m
tag05       macvlan-lab   4m
eth0 cilium 10.0.2.244
net1 tag05/macvlan-lab 192.168.77.12
/host/etc/cni/net.d/05-cilium.conflist

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k -n kube-system get ds kube-multus-ds

Erwartet: DESIRED 3, READY 3 – ein Multus-Pod pro Node.

k get net-attach-def

Erwartet: bridge-lab und macvlan-lab.

cilium config view | grep cni-exclusive

Erwartet: cni-exclusive false (bis zum Aufräumen).

k exec m1 -- ping -c1 -W1 192.168.77.12 | grep received

Erwartet: 1 packets transmitted, 1 received, 0% packet loss – m1 erreicht m2 über macvlan.

Challenge

Lege einen Pod multi auf worker1 an, der zusätzlich zu eth0 zwei Netze bekommt: bridge-lab unter dem Interface-Namen lab0 und macvlan-lab mit 192.168.77.13. Zeige, dass er m2 über macvlan erreicht.

Hinweis: Die JSON-Form der Annotation kennt pro Eintrag die Felder name, interface und ips.

Lösung

NETS='[{"name":"bridge-lab","interface":"lab0"},'\
'{"name":"macvlan-lab","ips":["192.168.77.13/24"]}]'
k run multi --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker1"}}' \
  --annotations=k8s.v1.cni.cncf.io/networks="$NETS" -- sleep infinity
k wait --for=condition=Ready pod/multi
k exec multi -- ip -4 -br addr
k exec multi -- ping -c1 -W1 192.168.77.12 | grep received
k get pod multi \
  -o jsonpath='{.metadata.annotations.k8s\.v1\.cni\.cncf\.io/network-status}' \
  | jq -r '.[] | "\(.interface) \(.name) \(.ips[0])"'

Erwartet:

pod/multi created
pod/multi condition met
lo               UNKNOWN        127.0.0.1/8
lab0@if208       UP             192.168.78.4/24
net2@if2         UP             192.168.77.13/24
eth0@if207       UP             10.0.1.194/32
1 packets transmitted, 1 received, 0% packet loss, time 0ms
eth0 cilium 10.0.1.194
lab0 tag05/bridge-lab 192.168.78.4
net2 tag05/macvlan-lab 192.168.77.13

Ohne interface zählt Multus nach Position: Der zweite Eintrag heißt net2, auch wenn der erste umbenannt wurde.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Erst die Pods löschen, solange Multus noch läuft (dann baut es auch die Zusatznetze sauber ab), danach Multus selbst – und sofort die Dateien auf allen Nodes, denn 00-multus.conf ohne Daemon blockiert jede neue Pod-Erzeugung:

k delete namespace tag05
k config set-context --current --namespace=default
k delete -f multus-daemonset-thick.yml
sudo rm -f /etc/cni/net.d/00-multus.conf /opt/cni/bin/multus-shim
sudo rm -rf /etc/cni/multus /run/multus /var/lib/cni/multus /run/k8s.cni.cncf.io
for n in 172.16.0.228 172.16.0.83; do
  ssh ubuntu@$n "sudo rm -f /etc/cni/net.d/00-multus.conf /opt/cni/bin/multus-shim; \
    sudo rm -rf /etc/cni/multus /run/multus /var/lib/cni/multus /run/k8s.cni.cncf.io"
done
ssh [email protected] "sudo ip link del tag05br0; \
  sudo rm -rf /var/lib/cni/networks/bridge-lab"

Erwartet (gekürzt):

namespace "tag05" deleted
customresourcedefinition.apiextensions.k8s.io "network-attachment-definitions.k8s.cni.
cncf.io" deleted
clusterrole.rbac.authorization.k8s.io "multus" deleted
clusterrolebinding.rbac.authorization.k8s.io "multus" deleted
serviceaccount "multus" deleted from kube-system namespace
configmap "multus-daemon-config" deleted from kube-system namespace
daemonset.apps "kube-multus-ds" deleted from kube-system namespace

Die Bridge tag05br0 bleibt nach DEL stehen – das bridge-Plugin räumt sie nicht ab. Zum Schluss Cilium wieder exklusiv:

helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 -f values-vorher.yaml
diff values-vorher.yaml <(helm get values cilium -n kube-system -o yaml) && echo GLEICH
k -n kube-system rollout restart ds/cilium
k -n kube-system rollout status ds/cilium
cilium status --wait | grep -E 'Cilium:|Operator:'

Erwartet (gekürzt):

GLEICH
daemon set "cilium" successfully rolled out
 /¯¯\__/¯¯\    Cilium:             OK
 \__/¯¯\__/    Operator:           OK

Danach prüfst du, dass nichts zurückbleibt:

ssh [email protected] sudo ls -A /etc/cni /etc/cni/net.d

Erwartet: in /etc/cni nur net.d, darin nur .kubernetes-cni-keep und 05-cilium.conflist.

ssh [email protected] "ls /opt/cni/bin | grep -c multus"

Erwartet: 0

k get crd | grep -c cni.cncf.io

Erwartet: 0

cilium config view | grep cni-exclusive

Erwartet: cni-exclusive true

k get nodes

Erwartet: alle Ready.

Prüfungstipp

  • Annotation exakt: k8s.v1.cni.cncf.io/networks – Kurzform name oder namespace/name, JSON-Form mit name, interface, ips; Ergebnis in k8s.v1.cni.cncf.io/network-status.
  • Fehlt net1: NAD im richtigen Namespace? type als Binary in /opt/cni/bin? Steht Multus als erste Datei in /etc/cni/net.d (nicht umbenannt durch cni.exclusive)?
  • Doku-Stellen: github.com/k8snetworkplumbingwg/multus-cni (Quickstart, „How to use“), docs.cilium.io „Installation using Helm“ (cni.exclusive).

Enterprise-Notiz

  • Typische Einsätze: Telco/CNF (SR-IOV, DPDK), Speicher- und Backup-Netze, getrennte Management-Netze – meist mit eigenen VLANs (vlan-Plugin oder macvlan auf VLAN-Device).
  • Multus ist ein zusätzlicher kritischer Pfad: Ohne laufenden Daemon starten keine Pods. Ressourcen-Limits des Daemons beobachten (OOM bei vielen Pods).
  • Zusatznetze sind für Cilium unsichtbar: keine Policies, kein Hubble, keine Verschlüsselung – Absicherung im Netz selbst oder mit multi-networkpolicy.
  • Clusterweites IPAM für Zusatznetze (Whereabouts) statt static/host-local pro Node; Adressbereiche mit dem Netzwerkteam abstimmen.
  • In OpenShift ist Multus fest eingebaut; dort verwaltet der Cluster-Network-Operator die NADs.