Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 6: Netze

Ziel: Die drei Netzarten von libvirt kennen und bauen: NAT, isoliert und Bridge. Feste Adressen vergeben und VMs beim Namen ansprechen. · Dauer: ca. 90 min · Voraussetzung: Tag 5

Briefing

  • NAT (default): Die VMs hängen an einer Bridge (virbr0) mit privatem Netz. libvirt startet dafür dnsmasq (DHCP und DNS) und maskiert den Verkehr nach außen. Von außen ist keine VM erreichbar.
  • Isoliert: Wie NAT, aber ohne Weiterleitung. Die VMs sehen sich gegenseitig und den Host, sonst nichts. Ideal für eine Datenbank.
  • Bridge: Die Netzkarte des Hosts hängt an einer Linux-Bridge (br0), die VMs auch. Jede VM ist ein eigenes Gerät im LAN und bekommt ihre Adresse vom echten DHCP-Server.
              Internet / LAN 172.16.0.0/24
                        │
                  eth0 ─┴─ br0 (172.16.0.182)  ── web3 enp8s0 (LAN-Adresse)
                        │
   NAT ── virbr0 192.168.122.1 ── web1, web2, web3
   isoliert ── virbr1 10.10.10.1 ── web2, web3       (kein Weg nach außen)

Drill 1: Das NAT-Netz von innen

virsh net-dumpxml default

Erwartet:

<network connections='3'>
  <name>default</name>
  <uuid>8b097cce-e1f7-4521-aa64-561354c324ec</uuid>
  <forward mode='nat'>
    <nat>
      <port start='1024' end='65535'/>
    </nat>
  </forward>
  <bridge name='virbr0' stp='on' delay='0'/>
  <mac address='52:54:00:50:08:29'/>
  <ip address='192.168.122.1' netmask='255.255.255.0'>
    <dhcp>
      <range start='192.168.122.2' end='192.168.122.254'/>
    </dhcp>
  </ip>
</network>

Drei Bausteine stecken dahinter. Der erste ist dnsmasq:

ps -o args= -C dnsmasq | head -1

Erwartet:

/usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/lib/libvirt/libvirt_leaseshelper

Der zweite ist die Weiterleitung im Kernel, der dritte die Maskierung:

sysctl net.ipv4.ip_forward
sudo iptables -t nat -S LIBVIRT_PRT

Erwartet:

net.ipv4.ip_forward = 1
-N LIBVIRT_PRT
-A LIBVIRT_PRT -s 192.168.122.0/24 -d 224.0.0.0/24 -j RETURN
-A LIBVIRT_PRT -s 192.168.122.0/24 -d 255.255.255.255/32 -j RETURN
-A LIBVIRT_PRT -s 192.168.122.0/24 ! -d 192.168.122.0/24 -p tcp -j MASQUERADE --to-ports 1024-65535
-A LIBVIRT_PRT -s 192.168.122.0/24 ! -d 192.168.122.0/24 -p udp -j MASQUERADE --to-ports 1024-65535
-A LIBVIRT_PRT -s 192.168.122.0/24 ! -d 192.168.122.0/24 -j MASQUERADE

Alles, was das Netz 192.168.122.0/24 verlässt, bekommt die Adresse des Hosts. Die Regeln legt libvirt beim Start des Netzes an und entfernt sie beim Stoppen. Von Hand änderst du daran nichts.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Feste Adressen per DHCP

web1 hat bisher eine zufällige Adresse aus dem Bereich. Eine feste Zuordnung hängt an der MAC-Adresse:

virsh domiflist web1

Erwartet (deine MAC weicht ab):

 Interface   Type      Source    Model    MAC
-------------------------------------------------------------
 vnet6       network   default   virtio   52:54:00:5e:a8:8a

Setze im nächsten Befehl deine MAC ein.

virsh net-update default add ip-dhcp-host \
  "<host mac='52:54:00:5e:a8:8a' name='web1' ip='192.168.122.10'/>" \
  --live --config
virsh net-dumpxml default | grep "<host"

Erwartet:

Updated network default persistent config and live state

      <host mac='52:54:00:5e:a8:8a' name='web1' ip='192.168.122.10'/>

--live ändert das laufende dnsmasq, --config die gespeicherte Definition. Ein Neustart des Netzes ist nicht nötig, und die VMs bleiben verbunden.

Ausprobiert: sudo networkctl renew enp1s0 im Gast behält die alte Adresse. Der Gast fragt beim Erneuern nach seiner bisherigen Adresse, und dnsmasq bestätigt den laufenden Lease. Erst ein Neustart des Gasts holt die neue Adresse.

virsh reboot web1
sleep 60
virsh domifaddr web1

Erwartet:

 Name       MAC address          Protocol     Address
-------------------------------------------------------------------------------
 vnet6      52:54:00:5e:a8:8a    ipv4         192.168.122.10/24

Achtung: Zeigt domifaddr noch die alte Adresse, ist der Gast nicht fertig. domifaddr liest die Leases von dnsmasq, und der alte Lease steht dort, bis der Gast einen neuen holt. Warte einige Sekunden und frage noch einmal.

Ab jetzt ist web1 unter 192.168.122.10 erreichbar. Die Datenplatte und alles andere sind geblieben.

Fortschritt speichern? Kostenlos registrieren

Drill 3: VMs beim Namen nennen

dnsmasq kennt die Hostnamen aus den DHCP-Anfragen und beantwortet DNS-Anfragen dazu:

dig +short @192.168.122.1 web2

Erwartet:

192.168.122.141

Der Host fragt aber normalerweise nicht dnsmasq. Die beiden NSS-Module von libvirt machen die Namen für jedes Programm auf dem Host auflösbar:

sudo apt-get install -y libnss-libvirt
sudo sed -i 's/^hosts:.*/hosts:          files libvirt_guest libvirt dns mymachines/' \
  /etc/nsswitch.conf
grep ^hosts /etc/nsswitch.conf
getent hosts web1 web2 web3

Erwartet:

hosts:          files libvirt_guest libvirt dns mymachines
192.168.122.10  web1
192.168.122.141 web2
192.168.122.214 web3
Modul sucht nach
libvirt_guest dem Namen der Domain (virsh list)
libvirt dem Hostnamen, den der Gast per DHCP gemeldet hat
ssh ubuntu@web3 hostname

Erwartet (nach der Bestätigung des Hostschlüssels):

web3

Ab hier verwendet das Buch auf kvm1 die Namen statt der Adressen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ein isoliertes Netz

Ein isoliertes Netz ist ein Netz ohne <forward>. Die DNS-Domain intern sorgt dafür, dass die VMs sich als name.intern finden:

mkdir -p ~/kvm-lab/tag06
cd ~/kvm-lab/tag06
cat > intern.xml <<'EOF'
<network>
  <name>intern</name>
  <bridge name="virbr1"/>
  <domain name="intern" localOnly="yes"/>
  <ip address="10.10.10.1" netmask="255.255.255.0">
    <dhcp>
      <range start="10.10.10.100" end="10.10.10.199"/>
    </dhcp>
  </ip>
</network>
EOF
virsh net-define intern.xml
virsh net-start intern
virsh net-autostart intern
virsh net-list

Erwartet:

Network intern defined from intern.xml

Network intern started

Network intern marked as autostarted

 Name      State    Autostart   Persistent
--------------------------------------------
 default   active   yes         yes
 intern    active   yes         yes

localOnly="yes" heißt: Anfragen für *.intern beantwortet dnsmasq selbst und leitet sie nie weiter. Jetzt bekommen web3 und web2 eine zweite Karte, im laufenden Betrieb:

virsh attach-interface web3 network intern --model virtio --persistent
virsh attach-interface web2 network intern --model virtio --persistent
virsh domiflist web3

Erwartet:

Interface attached successfully

Interface attached successfully

 Interface   Type      Source    Model    MAC
-------------------------------------------------------------
 vnet15      network   default   virtio   52:54:00:40:e6:68
 vnet16      network   intern    virtio   52:54:00:79:64:54
ssh ubuntu@web3 ip -br a
ssh ubuntu@web2 ip -br a

Erwartet:

lo               UNKNOWN        127.0.0.1/8 ::1/128 
enp1s0           UP             192.168.122.214/24 metric 100 fe80::5054:ff:fe40:e668/64 
enp7s0           UP             10.10.10.123/24 metric 100 fe80::5054:ff:fe79:6454/64 
lo               UNKNOWN        127.0.0.1/8 ::1/128 
enp1s0           UP             192.168.122.141/24 metric 100 fe80::5054:ff:fe1a:8de6/64 
enp7s0           DOWN           

web3 hat sofort eine Adresse, web2 nicht. Der Unterschied ist netplan: web3 hat seit Tag 5 die Datei mit match: name: "en*", die jede Karte per DHCP einrichtet. Die Datei von web2 stammt von cloud-init und kennt nur die erste Karte. web2 bekommt eine zweite Datei:

ssh ubuntu@web2
sudo tee /etc/netplan/60-intern.yaml > /dev/null <<'EOF'
network:
  version: 2
  ethernets:
    enp7s0:
      dhcp4: true
EOF
sudo chmod 600 /etc/netplan/60-intern.yaml
sudo netplan apply
ip -br a show enp7s0
exit

Erwartet:

enp7s0           UP             10.10.10.150/24 metric 100 fe80::5054:ff:fe3c:1c90/64 

Jetzt von web3 aus:

ssh ubuntu@web3
ip route
resolvectl domain
ping -c2 web2.intern

Erwartet (gekürzt):

default via 192.168.122.1 dev enp1s0 proto dhcp src 192.168.122.214 metric 100 
10.10.10.0/24 dev enp7s0 proto kernel scope link src 10.10.10.123 metric 100 
…
Link 3 (enp7s0): intern
…
2 packets transmitted, 2 received, 0% packet loss, time 1003ms
  • Es gibt nur eine Default-Route, über das NAT-Netz. Für isolierte Netze verteilt dnsmasq kein Gateway.
  • Die Karte im isolierten Netz hat die Suchdomain intern. Deshalb geht web2.intern und sogar ping web2.

Und der Weg nach draußen über das isolierte Netz:

ping -c2 -W2 -I enp7s0 1.1.1.1
exit

Erwartet (gekürzt):

2 packets transmitted, 0 received, 100% packet loss, time 1057ms

Auf kvm1 siehst du, warum:

sudo iptables -S LIBVIRT_FWO | grep virbr1
sudo iptables -S LIBVIRT_FWI | grep virbr1

Erwartet:

-A LIBVIRT_FWO -i virbr1 -j REJECT --reject-with icmp-port-unreachable
-A LIBVIRT_FWI -o virbr1 -j REJECT --reject-with icmp-port-unreachable

Nichts verlässt virbr1, nichts kommt hinein. Nur der Host selbst ist mit 10.10.10.1 Teil des Netzes. In Tag 7 lebt die Datenbank genau so.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Eine Bridge auf dem Host

Achtung: Dieser Drill baut die Netzkarte von kvm1 um. Geht etwas schief, ist die SSH-Verbindung weg. Halte die Konsole von kvm1 bereit (bei Proxmox: Console der VM). Auf kvm2 machst du nichts.

Notiere zuerst die heutigen Werte von kvm1:

ip -br a show eth0
ip route | grep default
resolvectl dns eth0
cat /etc/netplan/50-cloud-init.yaml

Erwartet (deine Werte weichen ab):

eth0             UP             172.16.0.182/24 metric 100 fd0e:fdec:438a:328:be24:11ff:fe0e:69f/64 fe80::be24:11ff:fe0e:69f/64 
default via 172.16.0.1 dev eth0 proto dhcp src 172.16.0.182 metric 100 
…
network:
  version: 2
  ethernets:
    eth0:
      match:
        macaddress: "bc:24:11:0e:06:9f"
      dhcp4: true
      set-name: "eth0"

Die neue Konfiguration nimmt eth0 die Adresse weg und gibt sie br0. Ersetze MAC, Adresse, Gateway, DNS-Server und Suchdomain durch deine Werte (resolvectl domain eth0):

sudo cp /etc/netplan/50-cloud-init.yaml ~/kvm-lab/tag06/netplan-vorher.yaml
sudo tee /etc/netplan/50-cloud-init.yaml > /dev/null <<'EOF'
network:
  version: 2
  ethernets:
    eth0:
      match:
        macaddress: "bc:24:11:0e:06:9f"
      set-name: "eth0"
      dhcp4: false
  bridges:
    br0:
      interfaces: [eth0]
      macaddress: "bc:24:11:0e:06:9f"
      addresses: [172.16.0.182/24]
      routes:
        - to: default
          via: 172.16.0.1
      nameservers:
        addresses: [172.16.0.15, 1.1.1.1]
        search: [localdomain]
      parameters:
        stp: false
        forward-delay: 0
EOF
echo "network: {config: disabled}" \
  | sudo tee /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
sudo netplan generate
sudo netplan apply
Zeile Zweck
eth0: dhcp4: false die Karte ist nur noch ein Port der Bridge
macaddress an br0 die Bridge tritt mit der MAC der Karte auf
addresses, routes feste Adresse statt DHCP
stp: false, forward-delay: 0 Ports leiten sofort weiter statt nach 15 Sekunden
99-disable-network-config.cfg cloud-init überschreibt die Datei beim Booten nicht mehr

Ausprobiert: Mit dhcp4: true an br0 war kvm1 danach unter einer neuen Adresse (.183) erreichbar, auch mit gleicher MAC. Der DHCP-Server erkennt Clients an der Client-ID, und die Bridge schickt eine andere als vorher eth0. Auch dhcp-identifier: mac lieferte eine neue Adresse (.184). Ein Host mit Bridge bekommt deshalb eine feste Adresse.

Die SSH-Verbindung hängt einige Sekunden und läuft dann weiter. Wenn nicht: neu verbinden, gleiche Adresse.

ip -br a show br0
ip -br a show eth0
bridge link show | grep "master br0"

Erwartet:

br0              UP             172.16.0.182/24 fd0e:fdec:438a:328:be24:11ff:fe0e:69f/64 fe80::be24:11ff:fe0e:69f/64 
eth0             UP             
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 100 

Jetzt eine VM an die Bridge, nur bis zum nächsten Ausschalten:

virsh attach-interface web3 bridge br0 --model virtio
sleep 20
ssh ubuntu@web3 "ip -br a | grep 172.16"

Erwartet (deine Adresse kommt von deinem DHCP-Server):

enp8s0           UP             172.16.0.101/24 metric 100 fd0e:fdec:438a:328:5054:ff:fe56:2240/64 fe80::5054:ff:fe56:2240/64 

web3 ist jetzt ein Gerät im LAN. Von kvm2 aus, ganz ohne Umweg über kvm1:

# auf kvm2
curl -s http://172.16.0.101

Erwartet:

web2 aus cloud-init

Zurück auf kvm1, die Karte wieder weg. Setze im zweiten Befehl deine MAC ein:

virsh domiflist web3
virsh detach-interface web3 bridge --mac 52:54:00:56:22:40

Erwartet:

 Interface   Type      Source    Model    MAC
-------------------------------------------------------------
 vnet15      network   default   virtio   52:54:00:40:e6:68
 vnet16      network   intern    virtio   52:54:00:79:64:54
 vnet18      bridge    br0       virtio   52:54:00:56:22:40

Interface detached successfully

Achtung: Eine VM an der Bridge steht ungeschützt im LAN. Firewall und Updates sind jetzt Sache des Gasts. NAT schützt nicht mehr.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

virsh net-list

Erwartet: default und intern sind active mit Autostart yes.

getent hosts web1

Erwartet: 192.168.122.10 web1.

ssh ubuntu@web3 ping -c1 web2.intern

Erwartet: 1 received.

ip -br a show br0

Erwartet: br0 ist UP und trägt die Adresse von kvm1.

Challenge

attach-interface ... bridge br0 setzt voraus, dass jeder den Namen der Bridge kennt. Lege ein libvirt-Netz lan an, das auf br0 zeigt, und hänge web3 damit ins LAN. Was zeigt virsh net-dhcp-leases lan? Entferne die Karte danach wieder.

Hinweis: Gesucht ist <forward mode="bridge"/>.

Lösung

cd ~/kvm-lab/tag06
cat > lan.xml <<'EOF'
<network>
  <name>lan</name>
  <forward mode="bridge"/>
  <bridge name="br0"/>
</network>
EOF
virsh net-define lan.xml
virsh net-start lan
virsh net-autostart lan
virsh attach-interface web3 network lan --model virtio
sleep 20
ssh ubuntu@web3 "ip -br a | grep 172.16"
virsh net-dhcp-leases lan

Erwartet (gekürzt):

Network lan defined from lan.xml
…
Interface attached successfully

enp8s0           UP             172.16.0.101/24 metric 100 fd0e:fdec:438a:328:5054:ff:fe58:6337/64 fe80::5054:ff:fe58:6337/64 
 Expiry Time   MAC address   Protocol   IP address   Hostname   Client ID or DUID
-----------------------------------------------------------------------------------

Die Liste ist leer: libvirt startet für ein Bridge-Netz kein dnsmasq, die Adresse kommt vom DHCP-Server im LAN. Die Karte hat eine neue MAC, aber dieselbe Adresse wie vorhin. Auch hier erkennt der Server den Gast an der Client-ID, und die hängt an der machine-id. Setze im zweiten Befehl deine MAC ein:

virsh domiflist web3
virsh detach-interface web3 bridge --mac 52:54:00:58:63:37

Erwartet (gekürzt):

 vnet19      bridge    lan       virtio   52:54:00:58:63:37

Interface detached successfully

Ausprobiert: virsh detach-interface web3 network --mac … scheitert mit No interface with MAC address … was found. Im laufenden XML steht die Karte als Typ bridge, obwohl du sie als network angehängt hast. domiflist zeigt den Typ, den detach-interface erwartet.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • VLANs: Ein Server trennt Netze mit VLANs. Mit netplan entsteht pro VLAN ein Gerät (vlans: vlan20: {id: 20, link: bond0}) und darauf eine eigene Bridge. Oder eine Bridge mit vlan_filtering, und libvirt setzt das Tag pro VM.
  • Bonding: Zwei Karten als bond0 unter der Bridge machen den Host ausfallsicher.
  • Open vSwitch: libvirt spricht OVS direkt an (<virtualport type='openvswitch'/>). OVS ist Standard in OpenStack und bringt OpenFlow und Tunnel mit.
  • macvtap: <interface type='direct'> hängt eine VM ohne Bridge an die Karte. Das ist schnell, aber der Host kann den Gast über diese Karte nicht erreichen.
  • nwfilter: libvirt kann pro VM Filter setzen, etwa clean-traffic gegen vorgetäuschte MAC- und IP-Adressen.