Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Live-Migration

Ziel: Eine laufende VM von kvm1 nach kvm2 verschieben, ohne dass sie neu startet: einmal mit gemeinsamem Speicher über NFS, einmal mit Kopie der Platte. Und wissen, was eine Migration verhindert. · Dauer: ca. 90 min · Voraussetzung: Tag 11

Briefing

  • Live-Migration kopiert den RAM einer laufenden VM auf einen anderen Host. Was sich währenddessen ändert, wird in weiteren Runden nachkopiert. Zum Schluss hält die VM kurz an, der Rest wandert, und sie läuft auf dem Ziel weiter.
  • Mit gemeinsamem Speicher (NFS, Ceph, iSCSI) sehen beide Hosts dieselbe Platte. Dann wandert nur der RAM.
  • Ohne gemeinsamen Speicher kopiert --copy-storage-all die Platte mit. Das dauert länger, braucht aber nichts Gemeinsames.
  • Auf dem Ziel muss alles existieren, was die VM braucht: dieselben Netze, Pools, Pfade und eine passende CPU.
 kvm1                                    kvm2
 wander (RAM) ──── Migration, TCP ─────► wander (RAM)
     │                                       │
     └── /var/lib/libvirt/nfs ◄── NFS ──►  /var/lib/libvirt/nfs
              (kvm1:/srv/nfs/kvm, Tag 5)

Drill 1: Gemeinsamer Speicher auf kvm2

Auf kvm2 derselbe Pool wie in Tag 5 auf kvm1, mit demselben Zielpfad:

virsh -c qemu:///system pool-define-as nfs netfs --source-host 172.16.0.182 \
  --source-path /srv/nfs/kvm --target /var/lib/libvirt/nfs
virsh -c qemu:///system pool-build nfs
virsh -c qemu:///system pool-start nfs

Erwartet (gekürzt):

Pool nfs defined

Pool nfs built

error: Failed to start pool nfs
error: internal error: Child process (/usr/bin/mount -o nodev,nosuid,noexec 172.16.0.182:/srv/nfs/kvm /var/lib/libvirt/nfs) unexpected exit status 32: mount: /var/lib/libvirt/nfs: bad option; for several filesystems (e.g. nfs, cifs) you might need a /sbin/mount.<type> helper program.

bad option ist irreführend. Es fehlt der NFS-Client. kvm1 hatte ihn als Teil des Servers mitbekommen.

sudo apt-get install -y nfs-common
virsh -c qemu:///system pool-start nfs
virsh -c qemu:///system pool-autostart nfs
findmnt /var/lib/libvirt/nfs

Erwartet (gekürzt):

Pool nfs started

Pool nfs marked as autostarted

TARGET               SOURCE                    FSTYPE OPTIONS
/var/lib/libvirt/nfs 172.16.0.182:/srv/nfs/kvm nfs4   rw,nosuid,nodev,noexec,relatime,vers=4.2,…

Achtung: kvm1 ist NFS-Server und hängt seinen eigenen Export ein. Das ist im Lab bequem, verlängert aber jedes Herunterfahren von kvm1 um Minuten: Der NFS-Server endet vor dem Aushängen, und der Client wartet (nfs: server 172.16.0.182 not responding). Im Betrieb kommt der gemeinsame Speicher von einem dritten System.

Auf kvm2 fehlt noch der Standard-Pool für lokale Platten. virt-install hätte ihn angelegt, aber auf kvm2 lief es noch nie:

virsh -c qemu:///system pool-define-as default dir --target /var/lib/libvirt/images
virsh -c qemu:///system pool-build default
virsh -c qemu:///system pool-start default
virsh -c qemu:///system pool-autostart default

Erwartet:

Pool default defined

Pool default built

Pool default started

Pool default marked as autostarted

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Hosts kennen sich

Die Migration geht von kvm1 aus. kvm1 braucht deshalb SSH nach kvm2, wie kvm2 in Tag 11 nach kvm1. Auf kvm1:

cat ~/.ssh/id_ed25519.pub

Die Zeile hängst du auf kvm2 an ~/.ssh/authorized_keys an. Dann wieder auf kvm1:

cat >> ~/.ssh/config <<'EOF'
Host kvm2
  HostName 172.16.0.123
  User ubuntu
EOF
ssh kvm2 hostname

Erwartet (nach der Bestätigung des Hostschlüssels):

kvm2

Und auf beiden Hosts kommen die Namen in /etc/hosts:

printf "172.16.0.182 kvm1\n172.16.0.123 kvm2\n" | sudo tee -a /etc/hosts

Warum, zeigt Drill 4.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Eine VM auf NFS

Die VM wander liegt komplett im NFS-Pool. Ihr Basis-Image muss dafür auch dort liegen, denn kvm2 kennt /var/lib/libvirt/images/basis nicht. Auf kvm1:

sudo cp /var/lib/libvirt/images/basis/noble.qcow2 /var/lib/libvirt/nfs/noble.qcow2
sudo chmod 444 /var/lib/libvirt/nfs/noble.qcow2
virsh pool-refresh nfs
virsh vol-create-as nfs wander.qcow2 10G --format qcow2 \
  --backing-vol /var/lib/libvirt/nfs/noble.qcow2 --backing-vol-format qcow2
virsh vol-list nfs

Erwartet:

Pool nfs refreshed

Vol wander.qcow2 created

 Name           Path
---------------------------------------------------
 noble.qcow2    /var/lib/libvirt/nfs/noble.qcow2
 wander.qcow2   /var/lib/libvirt/nfs/wander.qcow2
mkdir -p ~/kvm-lab/tag12
cd ~/kvm-lab/tag12
cat > user-data <<EOF
#cloud-config
users:
  - name: ubuntu
    sudo: ALL=(ALL) NOPASSWD:ALL
    shell: /bin/bash
    ssh_authorized_keys:
      - $(cat ~/.ssh/id_ed25519.pub)
packages:
  - qemu-guest-agent
runcmd:
  - systemctl start qemu-guest-agent
EOF
cat > meta-data <<'EOF'
instance-id: wander-001
local-hostname: wander
EOF
virt-install --name wander --osinfo ubuntu24.04 --memory 768 --vcpus 1 --import \
  --disk vol=nfs/wander.qcow2,cache=none \
  --network network=default \
  --cloud-init user-data=user-data,meta-data=meta-data \
  --graphics none --noautoconsole

cache=none ist bei gemeinsamem Speicher Pflicht. Sonst lägen nach der Migration noch Schreibvorgänge im Cache von kvm1.

Wenn ssh ubuntu@wander "cloud-init status --wait" status: done meldet:

virsh domblklist wander

Erwartet:

 Target   Source
-----------------------------------------------------------------
 vda      /var/lib/libvirt/nfs/wander.qcow2
 sda      /var/lib/libvirt/boot/virtinst-cxfa73_u-cloudinit.iso

Die Seed-ISO liegt lokal auf kvm1 und würde die Migration verhindern. Sie verschwindet mit dem ersten Aus und Ein (Tag 4):

virsh shutdown wander

Wenn wander aus ist:

virsh start wander
virsh domblklist wander

Erwartet:

Domain 'wander' started

 Target   Source
---------------------------------------------
 vda      /var/lib/libvirt/nfs/wander.qcow2
 sda      -

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die erste Live-Migration

Ohne die Einträge in /etc/hosts aus Drill 2 endet der Versuch so:

error: Unable to resolve address 'kvm2' service '49152': Name or service not known

Ausprobiert: Die Steuerung läuft über SSH, und dafür kennt ~/.ssh/config den Namen kvm2. Den RAM schickt QEMU aber direkt per TCP an den Hostnamen des Ziels, Port 49152 und folgende. Diesen Namen muss das System auflösen, nicht SSH.

Mit den Einträgen:

time virsh migrate --live --verbose wander qemu+ssh://kvm2/system

Erwartet:

Migration: [ 3.05 %]Migration: [40.33 %]Migration: [100.00 %]

real    0m5.912s
virsh domjobinfo wander --completed

Erwartet (gekürzt):

Job type:         Completed   
Operation:        Outgoing migration
Time elapsed:     4444         ms
Data processed:   383.199 MiB
Memory total:     769.008 MiB
Iteration:        3           
Total downtime:   186          ms

Sechs Sekunden für die ganze Migration, 186 Millisekunden Stillstand. Nur 383 MiB wurden übertragen: Leere Seiten schickt QEMU nicht (in der vollen Ausgabe unter Constant pages).

virsh list --all | grep wander
virsh -c qemu+ssh://kvm2/system list

Erwartet:

 -    wander   shut off
 Id   Name     State
------------------------
 2    wander   running

Läuft wander wirklich weiter? Die VM hängt jetzt am NAT-Netz von kvm2 und ist von kvm1 aus nicht mehr direkt erreichbar, also über kvm2 springen (die Adresse aus virsh domifaddr vor der Migration):

ssh -J kvm2 [email protected] "hostname; uptime -p; ping -c1 -W2 1.1.1.1 | tail -1"

Erwartet:

wander
up 2 minutes
rtt min/avg/max/mdev = 5.180/5.180/5.180/0.000 ms

Kein Neustart, und das Internet kommt jetzt über kvm2. Die Adresse ist geblieben, weil der Gast sie behält, bis sein Lease abläuft. Das dnsmasq von kvm2 weiß nichts davon. Mit NAT-Netzen hat jeder Host sein eigenes 192.168.122.0/24. Im Betrieb migriert man deshalb VMs an Bridges (Tag 6), deren Adressen im ganzen LAN gelten.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Zurück und dauerhaft

Nach Drill 4 hat kvm2 die VM nur transient, ohne gespeicherte Definition, und kvm1 die ausgeschaltete Definition:

virsh -c qemu+ssh://kvm2/system dominfo wander | grep -E "State|Persistent"

Erwartet:

State:          running
Persistent:     no

Zurück geht es von kvm2 aus, dort läuft sie ja:

virsh -c qemu:///system migrate --live --verbose wander qemu+ssh://kvm1/system

Erwartet:

Migration: [26.83 %]Migration: [100.00 %]Migration: [100.00 %]

Ausprobiert: virsh -c qemu+ssh://kvm2/system migrate … qemu+ssh://kvm1/system auf kvm1 scheitert mit Host key verification failed. virsh auf kvm1 baut dann eine SSH-Verbindung zu kvm1 selbst auf, und dessen Schlüssel steht nicht in der eigenen known_hosts.

Jetzt auf kvm1 der saubere Umzug mit Definition:

virsh migrate --live --verbose --persistent --undefinesource \
  wander qemu+ssh://kvm2/system
virsh list --all | grep wander
virsh -c qemu+ssh://kvm2/system list --all --persistent

Erwartet:

Migration: [ 0.00 %]Migration: [32.12 %]Migration: [100.00 %]Migration: [100.00 %]
 Id   Name     State
------------------------
 3    wander   running
Option Wirkung
--persistent speichert die Definition auf dem Ziel
--undefinesource löscht die Definition auf der Quelle

grep wander auf kvm1 findet nichts mehr. wander gehört jetzt kvm2.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Ohne gemeinsamen Speicher

web2 (falls aus: virsh start web2) hat eine lokale Platte. Ein Versuch:

virsh migrate --live --verbose --copy-storage-all web2 qemu+ssh://kvm2/system

Erwartet (mit dem Pool default auf kvm2 aus Drill 1):

error: Network not found: no network with matching name 'intern'

Ausprobiert: Ohne den Pool default auf kvm2 war die Meldung Storage pool not found: no storage pool with matching target path '/var/lib/libvirt/images'. libvirt legt die Zielplatte über einen Pool mit demselben Pfad an.

web2 hängt seit Tag 6 im Netz intern, das es nur auf kvm1 gibt. Eine VM nur mit default geht. zug entsteht wie wander, aber mit lokaler Platte:

cd ~/kvm-lab/tag12
sed "s/wander/zug/" meta-data > meta-data-zug
virt-install --name zug --osinfo ubuntu24.04 --memory 768 --vcpus 1 --import \
  --disk size=10,backing_store=/var/lib/libvirt/images/basis/noble.qcow2,cache=none \
  --network network=default \
  --cloud-init user-data=user-data,meta-data=meta-data-zug \
  --graphics none --noautoconsole

Wenn cloud-init in zug fertig ist, einmal virsh shutdown zug und virsh start zug für die Seed-ISO. Dann:

time virsh migrate --live --verbose --copy-storage-all --persistent --undefinesource \
  zug qemu+ssh://kvm2/system

Erwartet (gekürzt):

Migration: [ 2.67 %]Migration: [ 3.72 %]…Migration: [100.00 %]Migration: [100.00 %]

real    0m29.985s

30 Sekunden statt 6: 2 GB Platte reisen mit. Auf kvm2:

sudo qemu-img info -U \
  /var/lib/libvirt/images/zug.qcow2 | grep -E "virtual|disk size|backing"

Erwartet:

virtual size: 10 GiB (10737418240 bytes)
disk size: 2.02 GiB

Keine backing-Zeile: Die Kette aus Overlay und Basis ist auf dem Ziel eine einzige Datei geworden. kvm2 braucht das Basis-Image nicht.

Achtung: --undefinesource löscht nur die Definition. zug.qcow2 liegt weiter auf kvm1. Aufräumen:

virsh pool-refresh default
virsh vol-delete zug.qcow2 --pool default

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

Auf kvm2:

virsh -c qemu:///system list --all

Erwartet: wander und zug, beide running.

virsh -c qemu:///system pool-list

Erwartet: default und nfs, beide active.

Auf kvm1:

getent hosts kvm2

Erwartet: 172.16.0.123 kvm2.

Challenge

Hol zug ausgeschaltet nach kvm1 zurück und starte die VM dort. Was nimmt virsh migrate --offline mit, und was nicht?

Hinweis: Die Platte liegt auf kvm2 und gehört root. dd kennt conv=sparse.

Lösung

Auf kvm2:

virsh -c qemu:///system shutdown zug

Wenn zug aus ist:

virsh -c qemu:///system migrate --offline --persistent --undefinesource \
  zug qemu+ssh://kvm1/system

Auf kvm1:

virsh start zug

Erwartet:

error: Failed to start domain 'zug'
error: Cannot access storage file '/var/lib/libvirt/images/zug.qcow2' (as uid:64055, gid:993): No such file or directory

--offline überträgt nur die Definition. Die Platte holst du selbst, auf kvm1:

ssh kvm2 "sudo cat /var/lib/libvirt/images/zug.qcow2" \
  | sudo dd of=/var/lib/libvirt/images/zug.qcow2 bs=4M conv=sparse status=none
sudo du -h /var/lib/libvirt/images/zug.qcow2
virsh start zug

Erwartet:

2.1G    /var/lib/libvirt/images/zug.qcow2
Domain 'zug' started

Ausprobiert: Ohne conv=sparse belegte die Kopie 11 GB statt 2,1 GB. Die Datei auf kvm2 ist 10 GiB lang, aber großteils Lücke. cat liefert die Lücken als Nullen, und erst conv=sparse macht wieder Lücken daraus.

Auf kvm2 bleibt die alte Datei:

sudo rm /var/lib/libvirt/images/zug.qcow2
virsh -c qemu:///system pool-refresh default

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Eigenes Migrationsnetz: Migrationen lasten die Leitung voll aus. Mit --migrateuri tcp://10.0.50.12 geht der RAM über ein eigenes Netz, die Steuerung weiter über das Verwaltungsnetz.
  • Verschlüsselung: Der RAM wandert unverschlüsselt per TCP. --tls (mit Zertifikaten) oder ein abgeschottetes Netz sind Pflicht, wenn das Netz nicht vertrauenswürdig ist.
  • Hartnäckige VMs: Ändert eine VM ihren RAM schneller, als das Netz ihn kopiert, endet die Migration nie. Dann helfen --auto-converge (bremst die vCPUs) oder --postcopy mit --postcopy-after-precopy (die VM wechselt nach einer Kopierrunde, fehlende Seiten kommen nach).
  • Wartungsmodus: Proxmox, oVirt und OpenStack leeren einen Host vor Updates per Live-Migration. Dahinter steckt derselbe Mechanismus: die Live-Migration von QEMU, bei oVirt und OpenStack über die libvirt-API.