Tag 5: Storage-Pools und Volumes
Ziel: Speicher über libvirt verwalten: Volumes anlegen und an laufende VMs hängen, Pools auf Verzeichnis, LVM und NFS einrichten und VMs sauber klonen. · Dauer: ca. 90 min · Voraussetzung: Tag 4
Briefing
- Ein Pool ist ein Ort, an dem libvirt Platten verwaltet: ein Verzeichnis, eine LVM-Volume-Group, ein NFS-Share, Ceph und mehr. Eine Platte darin heißt Volume.
- Pools machen den Ort austauschbar.
virsh vol-create-asfunktioniert überall gleich, egal ob dahinter eine Datei oder ein Logical Volume entsteht. - Ein Pool kann definiert, gebaut (Verzeichnis oder Volume-Group anlegen), gestartet und auf Autostart gesetzt werden. Vier Schritte, die du gleich mehrmals machst.
Pool default dir /var/lib/libvirt/images web1.qcow2, daten-web1.qcow2
Pool lab dir /var/lib/libvirt/lab
Pool vgkvm logical /dev/vgkvm db-daten (LV, 5 GB)
Pool nfs netfs kvm1:/srv/nfs/kvm → /var/lib/libvirt/nfs (Tag 12)
Drill 1: Die Pools, die schon da sind
virsh pool-list --allErwartet:
Name State Autostart
------------------------------------
basis active yes
boot-scratch active yes
default active yes
Du hast keinen Pool angelegt, aber virt-install hat es
in Tag 4 getan: default für
/var/lib/libvirt/images, basis für das
Unterverzeichnis mit dem Basis-Image und boot-scratch für
die Seed-ISOs. Jedes Verzeichnis, in dem eine Platte liegt, wird für
virt-install zum Pool.
virsh vol-list defaultErwartet:
Name Path
------------------------------------------------------
basis /var/lib/libvirt/images/basis
erste.qcow2 /var/lib/libvirt/images/erste.qcow2
web1.qcow2 /var/lib/libvirt/images/web1.qcow2
web2.qcow2 /var/lib/libvirt/images/web2.qcow2
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein Volume an eine laufende VM
virsh vol-create-as default daten-web1.qcow2 2G --format qcow2
virsh vol-info daten-web1.qcow2 --pool defaultErwartet:
Vol daten-web1.qcow2 created
Name: daten-web1.qcow2
Type: file
Capacity: 2.00 GiB
Allocation: 196.00 KiB
web1 läuft. Die Platte kommt trotzdem dazu:
virsh attach-disk web1 /var/lib/libvirt/images/daten-web1.qcow2 vdb \
--driver qemu --subdriver qcow2 --persistent
virsh domblklist web1Erwartet:
Disk attached successfully
Target Source
----------------------------------------------------
vda /var/lib/libvirt/images/web1.qcow2
vdb /var/lib/libvirt/images/daten-web1.qcow2
sda -
--subdriver qcow2nennt das Format. Ohne die Angabe hält libvirt die Datei für raw, und der Gast sieht den qcow2-Kopf statt einer leeren Platte.--persistentschreibt die Platte auch in die gespeicherte Definition. Ohne die Option ist sie nach dem nächsten Ausschalten wieder weg.
ssh [email protected] lsblk /dev/vdbErwartet:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
vdb 253:16 0 2G 0 disk
Fortschritt speichern? Kostenlos registrieren
Drill 3: Ein eigener Verzeichnis-Pool
virsh pool-define-as lab dir --target /var/lib/libvirt/lab
virsh pool-build lab
virsh pool-start lab
virsh pool-autostart labErwartet:
Pool lab defined
Pool lab built
Pool lab started
Pool lab marked as autostarted
sudo ls -ld /var/lib/libvirt/labErwartet:
drwx--x--x 2 root root 4096 Nov 13 13:33 /var/lib/libvirt/lab
pool-build hat das Verzeichnis angelegt. Ohne
pool-autostart wäre der Pool nach einem Neustart des Hosts
inaktiv, und keine VM mit einer Platte darin würde starten.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ein LVM-Pool
LVM braucht ein Blockgerät. Im Lab tut es eine Datei, die als Loop-Gerät wie eine Platte erscheint. Auf einem echten Server nimmst du eine zweite Platte.
sudo truncate -s 20G /var/lib/kvm-lvm.img
sudo losetup -f --show /var/lib/kvm-lvm.imgErwartet:
/dev/loop0
virsh pool-define-as vgkvm logical --source-dev /dev/loop0 --target /dev/vgkvm
virsh pool-build vgkvm
virsh pool-start vgkvm
sudo vgsErwartet:
Pool vgkvm defined
Pool vgkvm built
Pool vgkvm started
VG #PV #LV #SN Attr VSize VFree
vgkvm 1 0 0 wz--n- <20.00g <20.00g
pool-build hat aus /dev/loop0 ein Physical
Volume und die Volume-Group vgkvm gemacht. Ein Volume darin
ist ein Logical Volume:
virsh vol-create-as vgkvm db-daten 5G
sudo lvs
virsh vol-info db-daten --pool vgkvmErwartet:
Vol db-daten created
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
db-daten vgkvm -wi-a----- 5.00g
Name: db-daten
Type: block
Capacity: 5.00 GiB
Allocation: 5.00 GiB
Ein LV belegt seinen Platz sofort ganz, Allocation
gleich Capacity. Dafür gibt es keine Datei und kein
Dateisystem dazwischen. db-daten bekommt in Tag 7 die
Datenbank.
Ausprobiert:
virsh vol-create-as vgkvm test 1G --format qcow2meldetVol test created, legt aber ein normales LV an. Der Pool-Typlogicalkennt nur Rohdaten und übergeht die Option ohne Warnung.
Achtung: Das Loop-Gerät überlebt keinen Neustart von kvm1. Danach fehlt
/dev/loop0, und der Pool startet nicht. Abhilfe im Lab:sudo losetup -f /var/lib/kvm-lvm.imgundvirsh pool-start vgkvm. Deshalb steht der Pool hier nicht auf Autostart.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Ein NFS-Pool
In Tag 12 brauchen kvm1 und kvm2 gemeinsamen Speicher. Dafür gibt kvm1 ein Verzeichnis per NFS frei. Ersetze die IP durch die von kvm1 und das Netz durch deins:
sudo apt-get install -y nfs-kernel-server
sudo mkdir -p /srv/nfs/kvm
echo "/srv/nfs/kvm 172.16.0.0/24(rw,sync,no_root_squash,no_subtree_check)" \
| sudo tee -a /etc/exports
sudo exportfs -ra
sudo exportfs -vErwartet:
/srv/nfs/kvm 172.16.0.0/24(rw,sync,no_root_squash,no_subtree_check)
/srv/nfs/kvm 172.16.0.0/24(sync,wdelay,hide,no_subtree_check,sec=sys,rw,secure,…
no_root_squash ist nötig, weil libvirt als root die
Dateirechte der Platten setzt. Jetzt der Pool, auch auf kvm1 selbst über
die Netzadresse:
virsh pool-define-as nfs netfs --source-host 172.16.0.182 \
--source-path /srv/nfs/kvm --target /var/lib/libvirt/nfs
virsh pool-build nfs
virsh pool-start nfs
virsh pool-autostart nfs
findmnt /var/lib/libvirt/nfsErwartet (gekürzt):
Pool nfs defined
Pool nfs built
Pool nfs started
Pool nfs marked as autostarted
TARGET SOURCE FSTYPE OPTIONS
/var/lib/libvirt/nfs 172.16.0.182:/srv/nfs/kvm nfs4 rw,nosuid,nodev,noexec,…
Ausprobiert: Ist das Verzeichnis nicht freigegeben, scheitert
pool-startmitmount.nfs: access denied by server while mounting 172.16.0.182:/srv/nfs/kvm. libvirt ruft nurmountauf. Die Fehlermeldungen kommen direkt von NFS.
virsh pool-list --detailsErwartet (gekürzt):
Name State Autostart Persistent Capacity Allocation Available
---------------------------------------------------------------------------------------
…
lab running yes yes 76.45 GiB 8.09 GiB 68.36 GiB
nfs running yes yes 76.45 GiB 8.14 GiB 68.31 GiB
vgkvm running no yes 20.00 GiB 5.00 GiB 15.00 GiB
Fortschritt speichern? Kostenlos registrieren
Drill 6: Klonen
virt-clone kopiert eine ausgeschaltete VM samt Platten.
Die Quelle muss aus sein:
virsh shutdown web2
virsh domstate web2Erwartet (nach einigen Sekunden):
shut off
virt-clone --original web2 --name web3 --auto-cloneErwartet (gekürzt):
Allocating 'web3.qcow2' | 2.0 GB 00:20 ...
Clone 'web3' created successfully.
sudo qemu-img info /var/lib/libvirt/images/web3.qcow2 | head -4Erwartet:
image: /var/lib/libvirt/images/web3.qcow2
file format: qcow2
virtual size: 10 GiB (10737418240 bytes)
disk size: 2.05 GiB
Keine backing file-Zeile: virt-clone
erzeugt eine volle Kopie und kein Overlay. Neu sind
Name, UUID und MAC-Adresse. Alles im Gast ist aber gleich geblieben.
Ausprobiert: Startest du
web3direkt nach dem Klonen, meldet der Gast den Hostnamenweb2, hat dieselbe/etc/machine-idund bekommt keine IP. Die netplan-Datei von cloud-init ist an die MAC vonweb2gebunden, die neue Karte passt nicht. Und cloud-init läuft nicht neu: Der Seed ist seit dem ersten Neustart leer, und unter/var/lib/cloudsteht noch der Lauf vonweb2.
Den Gast räumt virt-sysprep auf, bei ausgeschalteter VM.
Zuerst eine netplan-Datei, die auf jede Karte passt:
mkdir -p ~/kvm-lab/tag05
cd ~/kvm-lab/tag05
cat > netz.yaml <<'EOF'
network:
version: 2
ethernets:
alle:
match:
name: "en*"
dhcp4: true
EOFsudo virt-sysprep -d web3 \
--operations machine-id,ssh-hostkeys,customize \
--hostname web3 \
--run-command "cloud-init clean" \
--run-command "ssh-keygen -A" \
--upload netz.yaml:/etc/netplan/50-cloud-init.yaml \
--chmod 0600:/etc/netplan/50-cloud-init.yamlErwartet (gekürzt):
[ 13.2] Performing "machine-id" ...
[ 13.2] Performing "ssh-hostkeys" ...
[ 13.2] Performing "customize" ...
[ 13.3] Setting the hostname: web3
[ 17.8] Running: cloud-init clean
[ 20.6] Running: ssh-keygen -A
[ 22.5] Uploading: netz.yaml to /etc/netplan/50-cloud-init.yaml
[ 22.5] Changing permissions of /etc/netplan/50-cloud-init.yaml to 0600
| Teil | Wirkung |
|---|---|
machine-id |
leert /etc/machine-id, der Gast erzeugt beim Start eine
neue |
ssh-hostkeys |
löscht die SSH-Hostschlüssel von web2 |
customize |
erst diese Operation führt --hostname,
--run-command und --upload aus |
cloud-init clean |
vergisst den alten Lauf |
ssh-keygen -A |
erzeugt neue Hostschlüssel, sonst startet sshd
nicht |
--upload |
ersetzt die an die alte MAC gebundene netplan-Datei |
Ausprobiert: Ohne
customizein--operationsübergehtvirt-sysprepHostname und Befehle stillschweigend. Ohnessh-keygen -Ahat der Klon Netz, abersshendet mitConnection refused:ssh-hostkeyshat die Schlüssel gelöscht, und nachcloud-init cleanerzeugt sie niemand neu.
virsh start web2
virsh start web3
sleep 60
virsh domifaddr web3Erwartet (deine Adresse weicht ab):
Name MAC address Protocol Address
-------------------------------------------------------------------------------
vnet15 52:54:00:40:e6:68 ipv4 192.168.122.214/24
Die Adresse von web2 holst du mit
virsh domifaddr web2. Bei dir weicht sie ab.
ssh [email protected] "hostname; cat /etc/machine-id"
ssh [email protected] "hostname; cat /etc/machine-id; curl -s localhost"Erwartet (deine IDs sehen anders aus, aber die beiden müssen sich unterscheiden):
web2
9cacff643cbc45cfa1feb1daa5699c89
web3
683d57f8196880e0f9e91162fbf3e057
web2 aus cloud-init
Die Webseite sagt noch web2: Daten im Gast kopiert der
Klon mit, nur die Identität ist neu.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Aufräumen
erste hat ihren Zweck erfüllt. undefine mit
--remove-all-storage löscht die Definition und alle Platten
der Domain:
virsh undefine erste --remove-all-storageErwartet:
Domain 'erste' has been undefined
Volume 'vda'(/var/lib/libvirt/images/erste.qcow2) removed.
Achtung:
--remove-all-storagefragt nicht nach. Hängt eine Datenplatte an mehreren VMs oder liegt die Basis direkt als Platte in der Domain, ist sie weg. Overlays sind sicher: Das Basis-Image ist kein Teil der Domain und bleibt liegen.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
virsh pool-listErwartet: default, lab, nfs
und vgkvm sind active.
virsh vol-list vgkvmErwartet: db-daten mit dem Pfad
/dev/vgkvm/db-daten.
virsh domblklist web1Erwartet: vda und vdb, die zweite ist
daten-web1.qcow2.
Challenge
Die Datenplatte von web1 ist zu klein. Vergrößere
vdb auf 4 GB, ohne web1
anzuhalten. Prüfe die Größe in libvirt und im Gast.
Hinweis: qemu-img resize scheitert an
der Schreibsperre. Gesucht ist ein virsh-Befehl, der über
das laufende QEMU geht.
Lösung
virsh blockresize web1 vdb 4G
virsh vol-info daten-web1.qcow2 --pool default
ssh [email protected] "lsblk /dev/vdb; sudo dmesg | tail -1"Erwartet (gekürzt):
Block device 'vdb' is resized
Capacity: 4.00 GiB
Allocation: 204.00 KiB
vdb 253:16 0 4G 0 disk
[ 7573.495445] vdb: detected capacity change from 4194304 to 8388608
blockresize vergrößert die Datei über das laufende QEMU,
und der virtio-Treiber meldet dem Gast die neue Größe sofort. Ein
Dateisystem darauf müsstest du danach selbst erweitern:
resize2fs direkt auf der Platte, bei einer Partition vorher
growpart. qemu-img resize ginge nur bei
ausgeschalteter VM, weil QEMU die Platte sperrt.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Gemeinsamer Speicher: Für Live-Migration ohne
Kopieren brauchen alle Hosts denselben Speicher: NFS, iSCSI mit
Cluster-LVM oder Ceph RBD (libvirt-Pool-Typ
rbd). - Thin LVM: Normales LVM reserviert alles sofort.
LVM-thin (Proxmox:
lvmthin) reserviert erst beim Schreiben, kann aber bei Überbuchung volllaufen. - Templates statt Klone: Im Betrieb klont man selten
bestehende Server. Man baut ein sauberes Template (Packer,
virt-sysprep) und erzeugt jede VM per cloud-init neu. - Pools sind Konfiguration:
virsh pool-dumpxmlgehört wie die Domain-XML ins Backup.