Tag 12: Live-Migration
Ziel: Eine laufende VM von kvm1 nach kvm2 verschieben, ohne dass sie neu startet: einmal mit gemeinsamem Speicher über NFS, einmal mit Kopie der Platte. Und wissen, was eine Migration verhindert. · Dauer: ca. 90 min · Voraussetzung: Tag 11
Briefing
- Live-Migration kopiert den RAM einer laufenden VM auf einen anderen Host. Was sich währenddessen ändert, wird in weiteren Runden nachkopiert. Zum Schluss hält die VM kurz an, der Rest wandert, und sie läuft auf dem Ziel weiter.
- Mit gemeinsamem Speicher (NFS, Ceph, iSCSI) sehen beide Hosts dieselbe Platte. Dann wandert nur der RAM.
- Ohne gemeinsamen Speicher kopiert
--copy-storage-alldie Platte mit. Das dauert länger, braucht aber nichts Gemeinsames. - Auf dem Ziel muss alles existieren, was die VM braucht: dieselben Netze, Pools, Pfade und eine passende CPU.
kvm1 kvm2
wander (RAM) ──── Migration, TCP ─────► wander (RAM)
│ │
└── /var/lib/libvirt/nfs ◄── NFS ──► /var/lib/libvirt/nfs
(kvm1:/srv/nfs/kvm, Tag 5)
Drill 1: Gemeinsamer Speicher auf kvm2
Auf kvm2 derselbe Pool wie in Tag 5 auf kvm1, mit demselben Zielpfad:
virsh -c qemu:///system pool-define-as nfs netfs --source-host 172.16.0.182 \
--source-path /srv/nfs/kvm --target /var/lib/libvirt/nfs
virsh -c qemu:///system pool-build nfs
virsh -c qemu:///system pool-start nfsErwartet (gekürzt):
Pool nfs defined
Pool nfs built
error: Failed to start pool nfs
error: internal error: Child process (/usr/bin/mount -o nodev,nosuid,noexec 172.16.0.182:/srv/nfs/kvm /var/lib/libvirt/nfs) unexpected exit status 32: mount: /var/lib/libvirt/nfs: bad option; for several filesystems (e.g. nfs, cifs) you might need a /sbin/mount.<type> helper program.
bad option ist irreführend. Es fehlt der NFS-Client.
kvm1 hatte ihn als Teil des Servers mitbekommen.
sudo apt-get install -y nfs-common
virsh -c qemu:///system pool-start nfs
virsh -c qemu:///system pool-autostart nfs
findmnt /var/lib/libvirt/nfsErwartet (gekürzt):
Pool nfs started
Pool nfs marked as autostarted
TARGET SOURCE FSTYPE OPTIONS
/var/lib/libvirt/nfs 172.16.0.182:/srv/nfs/kvm nfs4 rw,nosuid,nodev,noexec,relatime,vers=4.2,…
Achtung: kvm1 ist NFS-Server und hängt seinen eigenen Export ein. Das ist im Lab bequem, verlängert aber jedes Herunterfahren von kvm1 um Minuten: Der NFS-Server endet vor dem Aushängen, und der Client wartet (
nfs: server 172.16.0.182 not responding). Im Betrieb kommt der gemeinsame Speicher von einem dritten System.
Auf kvm2 fehlt noch der Standard-Pool für lokale
Platten. virt-install hätte ihn angelegt, aber auf kvm2
lief es noch nie:
virsh -c qemu:///system pool-define-as default dir --target /var/lib/libvirt/images
virsh -c qemu:///system pool-build default
virsh -c qemu:///system pool-start default
virsh -c qemu:///system pool-autostart defaultErwartet:
Pool default defined
Pool default built
Pool default started
Pool default marked as autostarted
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Hosts kennen sich
Die Migration geht von kvm1 aus. kvm1 braucht deshalb SSH nach kvm2, wie kvm2 in Tag 11 nach kvm1. Auf kvm1:
cat ~/.ssh/id_ed25519.pubDie Zeile hängst du auf kvm2 an
~/.ssh/authorized_keys an. Dann wieder auf
kvm1:
cat >> ~/.ssh/config <<'EOF'
Host kvm2
HostName 172.16.0.123
User ubuntu
EOF
ssh kvm2 hostnameErwartet (nach der Bestätigung des Hostschlüssels):
kvm2
Und auf beiden Hosts kommen die Namen in
/etc/hosts:
printf "172.16.0.182 kvm1\n172.16.0.123 kvm2\n" | sudo tee -a /etc/hostsWarum, zeigt Drill 4.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Eine VM auf NFS
Die VM wander liegt komplett im NFS-Pool. Ihr
Basis-Image muss dafür auch dort liegen, denn kvm2 kennt
/var/lib/libvirt/images/basis nicht. Auf
kvm1:
sudo cp /var/lib/libvirt/images/basis/noble.qcow2 /var/lib/libvirt/nfs/noble.qcow2
sudo chmod 444 /var/lib/libvirt/nfs/noble.qcow2
virsh pool-refresh nfs
virsh vol-create-as nfs wander.qcow2 10G --format qcow2 \
--backing-vol /var/lib/libvirt/nfs/noble.qcow2 --backing-vol-format qcow2
virsh vol-list nfsErwartet:
Pool nfs refreshed
Vol wander.qcow2 created
Name Path
---------------------------------------------------
noble.qcow2 /var/lib/libvirt/nfs/noble.qcow2
wander.qcow2 /var/lib/libvirt/nfs/wander.qcow2
mkdir -p ~/kvm-lab/tag12
cd ~/kvm-lab/tag12
cat > user-data <<EOF
#cloud-config
users:
- name: ubuntu
sudo: ALL=(ALL) NOPASSWD:ALL
shell: /bin/bash
ssh_authorized_keys:
- $(cat ~/.ssh/id_ed25519.pub)
packages:
- qemu-guest-agent
runcmd:
- systemctl start qemu-guest-agent
EOF
cat > meta-data <<'EOF'
instance-id: wander-001
local-hostname: wander
EOF
virt-install --name wander --osinfo ubuntu24.04 --memory 768 --vcpus 1 --import \
--disk vol=nfs/wander.qcow2,cache=none \
--network network=default \
--cloud-init user-data=user-data,meta-data=meta-data \
--graphics none --noautoconsolecache=none ist bei gemeinsamem Speicher Pflicht. Sonst
lägen nach der Migration noch Schreibvorgänge im Cache von kvm1.
Wenn ssh ubuntu@wander "cloud-init status --wait"
status: done meldet:
virsh domblklist wanderErwartet:
Target Source
-----------------------------------------------------------------
vda /var/lib/libvirt/nfs/wander.qcow2
sda /var/lib/libvirt/boot/virtinst-cxfa73_u-cloudinit.iso
Die Seed-ISO liegt lokal auf kvm1 und würde die Migration verhindern. Sie verschwindet mit dem ersten Aus und Ein (Tag 4):
virsh shutdown wanderWenn wander aus ist:
virsh start wander
virsh domblklist wanderErwartet:
Domain 'wander' started
Target Source
---------------------------------------------
vda /var/lib/libvirt/nfs/wander.qcow2
sda -
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die erste Live-Migration
Ohne die Einträge in /etc/hosts aus Drill 2 endet der
Versuch so:
error: Unable to resolve address 'kvm2' service '49152': Name or service not known
Ausprobiert: Die Steuerung läuft über SSH, und dafür kennt
~/.ssh/configden Namenkvm2. Den RAM schickt QEMU aber direkt per TCP an den Hostnamen des Ziels, Port 49152 und folgende. Diesen Namen muss das System auflösen, nicht SSH.
Mit den Einträgen:
time virsh migrate --live --verbose wander qemu+ssh://kvm2/systemErwartet:
Migration: [ 3.05 %]Migration: [40.33 %]Migration: [100.00 %]
real 0m5.912s
virsh domjobinfo wander --completedErwartet (gekürzt):
Job type: Completed
Operation: Outgoing migration
Time elapsed: 4444 ms
Data processed: 383.199 MiB
Memory total: 769.008 MiB
Iteration: 3
Total downtime: 186 ms
Sechs Sekunden für die ganze Migration, 186 Millisekunden Stillstand.
Nur 383 MiB wurden übertragen: Leere Seiten schickt QEMU nicht (in der
vollen Ausgabe unter Constant pages).
virsh list --all | grep wander
virsh -c qemu+ssh://kvm2/system listErwartet:
- wander shut off
Id Name State
------------------------
2 wander running
Läuft wander wirklich weiter? Die VM hängt jetzt am
NAT-Netz von kvm2 und ist von kvm1 aus nicht mehr
direkt erreichbar, also über kvm2 springen (die Adresse aus
virsh domifaddr vor der Migration):
ssh -J kvm2 [email protected] "hostname; uptime -p; ping -c1 -W2 1.1.1.1 | tail -1"Erwartet:
wander
up 2 minutes
rtt min/avg/max/mdev = 5.180/5.180/5.180/0.000 ms
Kein Neustart, und das Internet kommt jetzt über kvm2. Die Adresse
ist geblieben, weil der Gast sie behält, bis sein Lease abläuft. Das
dnsmasq von kvm2 weiß nichts davon. Mit NAT-Netzen hat jeder Host sein
eigenes 192.168.122.0/24. Im Betrieb migriert man deshalb
VMs an Bridges (Tag 6), deren Adressen im ganzen LAN gelten.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Zurück und dauerhaft
Nach Drill 4 hat kvm2 die VM nur transient, ohne gespeicherte Definition, und kvm1 die ausgeschaltete Definition:
virsh -c qemu+ssh://kvm2/system dominfo wander | grep -E "State|Persistent"Erwartet:
State: running
Persistent: no
Zurück geht es von kvm2 aus, dort läuft sie ja:
virsh -c qemu:///system migrate --live --verbose wander qemu+ssh://kvm1/systemErwartet:
Migration: [26.83 %]Migration: [100.00 %]Migration: [100.00 %]
Ausprobiert:
virsh -c qemu+ssh://kvm2/system migrate … qemu+ssh://kvm1/systemauf kvm1 scheitert mitHost key verification failed. virsh auf kvm1 baut dann eine SSH-Verbindung zu kvm1 selbst auf, und dessen Schlüssel steht nicht in der eigenenknown_hosts.
Jetzt auf kvm1 der saubere Umzug mit Definition:
virsh migrate --live --verbose --persistent --undefinesource \
wander qemu+ssh://kvm2/system
virsh list --all | grep wander
virsh -c qemu+ssh://kvm2/system list --all --persistentErwartet:
Migration: [ 0.00 %]Migration: [32.12 %]Migration: [100.00 %]Migration: [100.00 %]
Id Name State
------------------------
3 wander running
| Option | Wirkung |
|---|---|
--persistent |
speichert die Definition auf dem Ziel |
--undefinesource |
löscht die Definition auf der Quelle |
grep wander auf kvm1 findet nichts mehr.
wander gehört jetzt kvm2.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Ohne gemeinsamen Speicher
web2 (falls aus: virsh start web2) hat eine
lokale Platte. Ein Versuch:
virsh migrate --live --verbose --copy-storage-all web2 qemu+ssh://kvm2/systemErwartet (mit dem Pool default auf kvm2 aus Drill
1):
error: Network not found: no network with matching name 'intern'
Ausprobiert: Ohne den Pool
defaultauf kvm2 war die MeldungStorage pool not found: no storage pool with matching target path '/var/lib/libvirt/images'. libvirt legt die Zielplatte über einen Pool mit demselben Pfad an.
web2 hängt seit Tag 6 im Netz intern, das
es nur auf kvm1 gibt. Eine VM nur mit default geht.
zug entsteht wie wander, aber mit lokaler
Platte:
cd ~/kvm-lab/tag12
sed "s/wander/zug/" meta-data > meta-data-zug
virt-install --name zug --osinfo ubuntu24.04 --memory 768 --vcpus 1 --import \
--disk size=10,backing_store=/var/lib/libvirt/images/basis/noble.qcow2,cache=none \
--network network=default \
--cloud-init user-data=user-data,meta-data=meta-data-zug \
--graphics none --noautoconsoleWenn cloud-init in zug fertig ist, einmal
virsh shutdown zug und virsh start zug für die
Seed-ISO. Dann:
time virsh migrate --live --verbose --copy-storage-all --persistent --undefinesource \
zug qemu+ssh://kvm2/systemErwartet (gekürzt):
Migration: [ 2.67 %]Migration: [ 3.72 %]…Migration: [100.00 %]Migration: [100.00 %]
real 0m29.985s
30 Sekunden statt 6: 2 GB Platte reisen mit. Auf kvm2:
sudo qemu-img info -U \
/var/lib/libvirt/images/zug.qcow2 | grep -E "virtual|disk size|backing"Erwartet:
virtual size: 10 GiB (10737418240 bytes)
disk size: 2.02 GiB
Keine backing-Zeile: Die Kette aus Overlay und Basis ist
auf dem Ziel eine einzige Datei geworden. kvm2 braucht das Basis-Image
nicht.
Achtung:
--undefinesourcelöscht nur die Definition.zug.qcow2liegt weiter auf kvm1. Aufräumen:virsh pool-refresh default virsh vol-delete zug.qcow2 --pool default
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
Auf kvm2:
virsh -c qemu:///system list --allErwartet: wander und zug, beide
running.
virsh -c qemu:///system pool-listErwartet: default und nfs, beide
active.
Auf kvm1:
getent hosts kvm2Erwartet: 172.16.0.123 kvm2.
Challenge
Hol zug ausgeschaltet nach kvm1 zurück
und starte die VM dort. Was nimmt virsh migrate --offline
mit, und was nicht?
Hinweis: Die Platte liegt auf kvm2 und gehört root.
dd kennt conv=sparse.
Lösung
Auf kvm2:
virsh -c qemu:///system shutdown zugWenn zug aus ist:
virsh -c qemu:///system migrate --offline --persistent --undefinesource \
zug qemu+ssh://kvm1/systemAuf kvm1:
virsh start zugErwartet:
error: Failed to start domain 'zug'
error: Cannot access storage file '/var/lib/libvirt/images/zug.qcow2' (as uid:64055, gid:993): No such file or directory
--offline überträgt nur die Definition. Die Platte holst
du selbst, auf kvm1:
ssh kvm2 "sudo cat /var/lib/libvirt/images/zug.qcow2" \
| sudo dd of=/var/lib/libvirt/images/zug.qcow2 bs=4M conv=sparse status=none
sudo du -h /var/lib/libvirt/images/zug.qcow2
virsh start zugErwartet:
2.1G /var/lib/libvirt/images/zug.qcow2
Domain 'zug' started
Ausprobiert: Ohne
conv=sparsebelegte die Kopie 11 GB statt 2,1 GB. Die Datei auf kvm2 ist 10 GiB lang, aber großteils Lücke.catliefert die Lücken als Nullen, und erstconv=sparsemacht wieder Lücken daraus.
Auf kvm2 bleibt die alte Datei:
sudo rm /var/lib/libvirt/images/zug.qcow2
virsh -c qemu:///system pool-refresh defaultFortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Eigenes Migrationsnetz: Migrationen lasten die
Leitung voll aus. Mit
--migrateuri tcp://10.0.50.12geht der RAM über ein eigenes Netz, die Steuerung weiter über das Verwaltungsnetz. - Verschlüsselung: Der RAM wandert unverschlüsselt
per TCP.
--tls(mit Zertifikaten) oder ein abgeschottetes Netz sind Pflicht, wenn das Netz nicht vertrauenswürdig ist. - Hartnäckige VMs: Ändert eine VM ihren RAM
schneller, als das Netz ihn kopiert, endet die Migration nie. Dann
helfen
--auto-converge(bremst die vCPUs) oder--postcopymit--postcopy-after-precopy(die VM wechselt nach einer Kopierrunde, fehlende Seiten kommen nach). - Wartungsmodus: Proxmox, oVirt und OpenStack leeren einen Host vor Updates per Live-Migration. Dahinter steckt derselbe Mechanismus: die Live-Migration von QEMU, bei oVirt und OpenStack über die libvirt-API.