Tag 6: Netze
Ziel: Die drei Netzarten von libvirt kennen und bauen: NAT, isoliert und Bridge. Feste Adressen vergeben und VMs beim Namen ansprechen. · Dauer: ca. 90 min · Voraussetzung: Tag 5
Briefing
- NAT (
default): Die VMs hängen an einer Bridge (virbr0) mit privatem Netz. libvirt startet dafür dnsmasq (DHCP und DNS) und maskiert den Verkehr nach außen. Von außen ist keine VM erreichbar. - Isoliert: Wie NAT, aber ohne Weiterleitung. Die VMs sehen sich gegenseitig und den Host, sonst nichts. Ideal für eine Datenbank.
- Bridge: Die Netzkarte des Hosts hängt an einer
Linux-Bridge (
br0), die VMs auch. Jede VM ist ein eigenes Gerät im LAN und bekommt ihre Adresse vom echten DHCP-Server.
Internet / LAN 172.16.0.0/24
│
eth0 ─┴─ br0 (172.16.0.182) ── web3 enp8s0 (LAN-Adresse)
│
NAT ── virbr0 192.168.122.1 ── web1, web2, web3
isoliert ── virbr1 10.10.10.1 ── web2, web3 (kein Weg nach außen)
Drill 1: Das NAT-Netz von innen
virsh net-dumpxml defaultErwartet:
<network connections='3'>
<name>default</name>
<uuid>8b097cce-e1f7-4521-aa64-561354c324ec</uuid>
<forward mode='nat'>
<nat>
<port start='1024' end='65535'/>
</nat>
</forward>
<bridge name='virbr0' stp='on' delay='0'/>
<mac address='52:54:00:50:08:29'/>
<ip address='192.168.122.1' netmask='255.255.255.0'>
<dhcp>
<range start='192.168.122.2' end='192.168.122.254'/>
</dhcp>
</ip>
</network>
Drei Bausteine stecken dahinter. Der erste ist dnsmasq:
ps -o args= -C dnsmasq | head -1Erwartet:
/usr/sbin/dnsmasq --conf-file=/var/lib/libvirt/dnsmasq/default.conf --leasefile-ro --dhcp-script=/usr/lib/libvirt/libvirt_leaseshelper
Der zweite ist die Weiterleitung im Kernel, der dritte die Maskierung:
sysctl net.ipv4.ip_forward
sudo iptables -t nat -S LIBVIRT_PRTErwartet:
net.ipv4.ip_forward = 1
-N LIBVIRT_PRT
-A LIBVIRT_PRT -s 192.168.122.0/24 -d 224.0.0.0/24 -j RETURN
-A LIBVIRT_PRT -s 192.168.122.0/24 -d 255.255.255.255/32 -j RETURN
-A LIBVIRT_PRT -s 192.168.122.0/24 ! -d 192.168.122.0/24 -p tcp -j MASQUERADE --to-ports 1024-65535
-A LIBVIRT_PRT -s 192.168.122.0/24 ! -d 192.168.122.0/24 -p udp -j MASQUERADE --to-ports 1024-65535
-A LIBVIRT_PRT -s 192.168.122.0/24 ! -d 192.168.122.0/24 -j MASQUERADE
Alles, was das Netz 192.168.122.0/24 verlässt, bekommt
die Adresse des Hosts. Die Regeln legt libvirt beim Start des Netzes an
und entfernt sie beim Stoppen. Von Hand änderst du daran nichts.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Feste Adressen per DHCP
web1 hat bisher eine zufällige Adresse aus dem Bereich.
Eine feste Zuordnung hängt an der MAC-Adresse:
virsh domiflist web1Erwartet (deine MAC weicht ab):
Interface Type Source Model MAC
-------------------------------------------------------------
vnet6 network default virtio 52:54:00:5e:a8:8a
Setze im nächsten Befehl deine MAC ein.
virsh net-update default add ip-dhcp-host \
"<host mac='52:54:00:5e:a8:8a' name='web1' ip='192.168.122.10'/>" \
--live --config
virsh net-dumpxml default | grep "<host"Erwartet:
Updated network default persistent config and live state
<host mac='52:54:00:5e:a8:8a' name='web1' ip='192.168.122.10'/>
--live ändert das laufende dnsmasq,
--config die gespeicherte Definition. Ein Neustart des
Netzes ist nicht nötig, und die VMs bleiben verbunden.
Ausprobiert:
sudo networkctl renew enp1s0im Gast behält die alte Adresse. Der Gast fragt beim Erneuern nach seiner bisherigen Adresse, und dnsmasq bestätigt den laufenden Lease. Erst ein Neustart des Gasts holt die neue Adresse.
virsh reboot web1
sleep 60
virsh domifaddr web1Erwartet:
Name MAC address Protocol Address
-------------------------------------------------------------------------------
vnet6 52:54:00:5e:a8:8a ipv4 192.168.122.10/24
Achtung: Zeigt
domifaddrnoch die alte Adresse, ist der Gast nicht fertig.domifaddrliest die Leases von dnsmasq, und der alte Lease steht dort, bis der Gast einen neuen holt. Warte einige Sekunden und frage noch einmal.
Ab jetzt ist web1 unter 192.168.122.10
erreichbar. Die Datenplatte und alles andere sind geblieben.
Fortschritt speichern? Kostenlos registrieren
Drill 3: VMs beim Namen nennen
dnsmasq kennt die Hostnamen aus den DHCP-Anfragen und beantwortet DNS-Anfragen dazu:
dig +short @192.168.122.1 web2Erwartet:
192.168.122.141
Der Host fragt aber normalerweise nicht dnsmasq. Die beiden NSS-Module von libvirt machen die Namen für jedes Programm auf dem Host auflösbar:
sudo apt-get install -y libnss-libvirt
sudo sed -i 's/^hosts:.*/hosts: files libvirt_guest libvirt dns mymachines/' \
/etc/nsswitch.conf
grep ^hosts /etc/nsswitch.conf
getent hosts web1 web2 web3Erwartet:
hosts: files libvirt_guest libvirt dns mymachines
192.168.122.10 web1
192.168.122.141 web2
192.168.122.214 web3
| Modul | sucht nach |
|---|---|
libvirt_guest |
dem Namen der Domain (virsh list) |
libvirt |
dem Hostnamen, den der Gast per DHCP gemeldet hat |
ssh ubuntu@web3 hostnameErwartet (nach der Bestätigung des Hostschlüssels):
web3
Ab hier verwendet das Buch auf kvm1 die Namen statt der Adressen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ein isoliertes Netz
Ein isoliertes Netz ist ein Netz ohne <forward>.
Die DNS-Domain intern sorgt dafür, dass die VMs sich als
name.intern finden:
mkdir -p ~/kvm-lab/tag06
cd ~/kvm-lab/tag06
cat > intern.xml <<'EOF'
<network>
<name>intern</name>
<bridge name="virbr1"/>
<domain name="intern" localOnly="yes"/>
<ip address="10.10.10.1" netmask="255.255.255.0">
<dhcp>
<range start="10.10.10.100" end="10.10.10.199"/>
</dhcp>
</ip>
</network>
EOFvirsh net-define intern.xml
virsh net-start intern
virsh net-autostart intern
virsh net-listErwartet:
Network intern defined from intern.xml
Network intern started
Network intern marked as autostarted
Name State Autostart Persistent
--------------------------------------------
default active yes yes
intern active yes yes
localOnly="yes" heißt: Anfragen für
*.intern beantwortet dnsmasq selbst und leitet sie nie
weiter. Jetzt bekommen web3 und web2 eine
zweite Karte, im laufenden Betrieb:
virsh attach-interface web3 network intern --model virtio --persistent
virsh attach-interface web2 network intern --model virtio --persistent
virsh domiflist web3Erwartet:
Interface attached successfully
Interface attached successfully
Interface Type Source Model MAC
-------------------------------------------------------------
vnet15 network default virtio 52:54:00:40:e6:68
vnet16 network intern virtio 52:54:00:79:64:54
ssh ubuntu@web3 ip -br a
ssh ubuntu@web2 ip -br aErwartet:
lo UNKNOWN 127.0.0.1/8 ::1/128
enp1s0 UP 192.168.122.214/24 metric 100 fe80::5054:ff:fe40:e668/64
enp7s0 UP 10.10.10.123/24 metric 100 fe80::5054:ff:fe79:6454/64
lo UNKNOWN 127.0.0.1/8 ::1/128
enp1s0 UP 192.168.122.141/24 metric 100 fe80::5054:ff:fe1a:8de6/64
enp7s0 DOWN
web3 hat sofort eine Adresse, web2 nicht.
Der Unterschied ist netplan: web3 hat seit Tag 5 die Datei
mit match: name: "en*", die jede Karte per DHCP einrichtet.
Die Datei von web2 stammt von cloud-init und kennt nur die
erste Karte. web2 bekommt eine zweite Datei:
ssh ubuntu@web2sudo tee /etc/netplan/60-intern.yaml > /dev/null <<'EOF'
network:
version: 2
ethernets:
enp7s0:
dhcp4: true
EOF
sudo chmod 600 /etc/netplan/60-intern.yaml
sudo netplan apply
ip -br a show enp7s0
exitErwartet:
enp7s0 UP 10.10.10.150/24 metric 100 fe80::5054:ff:fe3c:1c90/64
Jetzt von web3 aus:
ssh ubuntu@web3ip route
resolvectl domain
ping -c2 web2.internErwartet (gekürzt):
default via 192.168.122.1 dev enp1s0 proto dhcp src 192.168.122.214 metric 100
10.10.10.0/24 dev enp7s0 proto kernel scope link src 10.10.10.123 metric 100
…
Link 3 (enp7s0): intern
…
2 packets transmitted, 2 received, 0% packet loss, time 1003ms
- Es gibt nur eine Default-Route, über das NAT-Netz. Für isolierte Netze verteilt dnsmasq kein Gateway.
- Die Karte im isolierten Netz hat die Suchdomain
intern. Deshalb gehtweb2.internund sogarping web2.
Und der Weg nach draußen über das isolierte Netz:
ping -c2 -W2 -I enp7s0 1.1.1.1
exitErwartet (gekürzt):
2 packets transmitted, 0 received, 100% packet loss, time 1057ms
Auf kvm1 siehst du, warum:
sudo iptables -S LIBVIRT_FWO | grep virbr1
sudo iptables -S LIBVIRT_FWI | grep virbr1Erwartet:
-A LIBVIRT_FWO -i virbr1 -j REJECT --reject-with icmp-port-unreachable
-A LIBVIRT_FWI -o virbr1 -j REJECT --reject-with icmp-port-unreachable
Nichts verlässt virbr1, nichts kommt hinein. Nur der
Host selbst ist mit 10.10.10.1 Teil des Netzes. In Tag 7
lebt die Datenbank genau so.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Eine Bridge auf dem Host
Achtung: Dieser Drill baut die Netzkarte von kvm1 um. Geht etwas schief, ist die SSH-Verbindung weg. Halte die Konsole von kvm1 bereit (bei Proxmox: Console der VM). Auf kvm2 machst du nichts.
Notiere zuerst die heutigen Werte von kvm1:
ip -br a show eth0
ip route | grep default
resolvectl dns eth0
cat /etc/netplan/50-cloud-init.yamlErwartet (deine Werte weichen ab):
eth0 UP 172.16.0.182/24 metric 100 fd0e:fdec:438a:328:be24:11ff:fe0e:69f/64 fe80::be24:11ff:fe0e:69f/64
default via 172.16.0.1 dev eth0 proto dhcp src 172.16.0.182 metric 100
…
network:
version: 2
ethernets:
eth0:
match:
macaddress: "bc:24:11:0e:06:9f"
dhcp4: true
set-name: "eth0"
Die neue Konfiguration nimmt eth0 die Adresse weg und
gibt sie br0. Ersetze MAC, Adresse, Gateway, DNS-Server und
Suchdomain durch deine Werte (resolvectl domain eth0):
sudo cp /etc/netplan/50-cloud-init.yaml ~/kvm-lab/tag06/netplan-vorher.yaml
sudo tee /etc/netplan/50-cloud-init.yaml > /dev/null <<'EOF'
network:
version: 2
ethernets:
eth0:
match:
macaddress: "bc:24:11:0e:06:9f"
set-name: "eth0"
dhcp4: false
bridges:
br0:
interfaces: [eth0]
macaddress: "bc:24:11:0e:06:9f"
addresses: [172.16.0.182/24]
routes:
- to: default
via: 172.16.0.1
nameservers:
addresses: [172.16.0.15, 1.1.1.1]
search: [localdomain]
parameters:
stp: false
forward-delay: 0
EOF
echo "network: {config: disabled}" \
| sudo tee /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
sudo netplan generate
sudo netplan apply| Zeile | Zweck |
|---|---|
eth0: dhcp4: false |
die Karte ist nur noch ein Port der Bridge |
macaddress an br0 |
die Bridge tritt mit der MAC der Karte auf |
addresses, routes |
feste Adresse statt DHCP |
stp: false, forward-delay: 0 |
Ports leiten sofort weiter statt nach 15 Sekunden |
99-disable-network-config.cfg |
cloud-init überschreibt die Datei beim Booten nicht mehr |
Ausprobiert: Mit
dhcp4: trueanbr0war kvm1 danach unter einer neuen Adresse (.183) erreichbar, auch mit gleicher MAC. Der DHCP-Server erkennt Clients an der Client-ID, und die Bridge schickt eine andere als vorhereth0. Auchdhcp-identifier: maclieferte eine neue Adresse (.184). Ein Host mit Bridge bekommt deshalb eine feste Adresse.
Die SSH-Verbindung hängt einige Sekunden und läuft dann weiter. Wenn nicht: neu verbinden, gleiche Adresse.
ip -br a show br0
ip -br a show eth0
bridge link show | grep "master br0"Erwartet:
br0 UP 172.16.0.182/24 fd0e:fdec:438a:328:be24:11ff:fe0e:69f/64 fe80::be24:11ff:fe0e:69f/64
eth0 UP
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 master br0 state forwarding priority 32 cost 100
Jetzt eine VM an die Bridge, nur bis zum nächsten Ausschalten:
virsh attach-interface web3 bridge br0 --model virtio
sleep 20
ssh ubuntu@web3 "ip -br a | grep 172.16"Erwartet (deine Adresse kommt von deinem DHCP-Server):
enp8s0 UP 172.16.0.101/24 metric 100 fd0e:fdec:438a:328:5054:ff:fe56:2240/64 fe80::5054:ff:fe56:2240/64
web3 ist jetzt ein Gerät im LAN. Von kvm2 aus, ganz ohne
Umweg über kvm1:
# auf kvm2
curl -s http://172.16.0.101Erwartet:
web2 aus cloud-init
Zurück auf kvm1, die Karte wieder weg. Setze im zweiten Befehl deine MAC ein:
virsh domiflist web3
virsh detach-interface web3 bridge --mac 52:54:00:56:22:40Erwartet:
Interface Type Source Model MAC
-------------------------------------------------------------
vnet15 network default virtio 52:54:00:40:e6:68
vnet16 network intern virtio 52:54:00:79:64:54
vnet18 bridge br0 virtio 52:54:00:56:22:40
Interface detached successfully
Achtung: Eine VM an der Bridge steht ungeschützt im LAN. Firewall und Updates sind jetzt Sache des Gasts. NAT schützt nicht mehr.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
virsh net-listErwartet: default und intern sind
active mit Autostart yes.
getent hosts web1Erwartet: 192.168.122.10 web1.
ssh ubuntu@web3 ping -c1 web2.internErwartet: 1 received.
ip -br a show br0Erwartet: br0 ist UP und trägt die Adresse
von kvm1.
Challenge
attach-interface ... bridge br0 setzt voraus, dass jeder
den Namen der Bridge kennt. Lege ein libvirt-Netz lan an,
das auf br0 zeigt, und hänge web3 damit ins
LAN. Was zeigt virsh net-dhcp-leases lan? Entferne die
Karte danach wieder.
Hinweis: Gesucht ist
<forward mode="bridge"/>.
Lösung
cd ~/kvm-lab/tag06
cat > lan.xml <<'EOF'
<network>
<name>lan</name>
<forward mode="bridge"/>
<bridge name="br0"/>
</network>
EOF
virsh net-define lan.xml
virsh net-start lan
virsh net-autostart lan
virsh attach-interface web3 network lan --model virtio
sleep 20
ssh ubuntu@web3 "ip -br a | grep 172.16"
virsh net-dhcp-leases lanErwartet (gekürzt):
Network lan defined from lan.xml
…
Interface attached successfully
enp8s0 UP 172.16.0.101/24 metric 100 fd0e:fdec:438a:328:5054:ff:fe58:6337/64 fe80::5054:ff:fe58:6337/64
Expiry Time MAC address Protocol IP address Hostname Client ID or DUID
-----------------------------------------------------------------------------------
Die Liste ist leer: libvirt startet für ein Bridge-Netz kein dnsmasq, die Adresse kommt vom DHCP-Server im LAN. Die Karte hat eine neue MAC, aber dieselbe Adresse wie vorhin. Auch hier erkennt der Server den Gast an der Client-ID, und die hängt an der machine-id. Setze im zweiten Befehl deine MAC ein:
virsh domiflist web3
virsh detach-interface web3 bridge --mac 52:54:00:58:63:37Erwartet (gekürzt):
vnet19 bridge lan virtio 52:54:00:58:63:37
Interface detached successfully
Ausprobiert:
virsh detach-interface web3 network --mac …scheitert mitNo interface with MAC address … was found. Im laufenden XML steht die Karte als Typbridge, obwohl du sie alsnetworkangehängt hast.domiflistzeigt den Typ, dendetach-interfaceerwartet.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- VLANs: Ein Server trennt Netze mit VLANs. Mit
netplan entsteht pro VLAN ein Gerät
(
vlans: vlan20: {id: 20, link: bond0}) und darauf eine eigene Bridge. Oder eine Bridge mitvlan_filtering, und libvirt setzt das Tag pro VM. - Bonding: Zwei Karten als
bond0unter der Bridge machen den Host ausfallsicher. - Open vSwitch: libvirt spricht OVS direkt an
(
<virtualport type='openvswitch'/>). OVS ist Standard in OpenStack und bringt OpenFlow und Tunnel mit. - macvtap:
<interface type='direct'>hängt eine VM ohne Bridge an die Karte. Das ist schnell, aber der Host kann den Gast über diese Karte nicht erreichen. - nwfilter: libvirt kann pro VM Filter setzen, etwa
clean-trafficgegen vorgetäuschte MAC- und IP-Adressen.