Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 5: Storage-Pools und Volumes

Ziel: Speicher über libvirt verwalten: Volumes anlegen und an laufende VMs hängen, Pools auf Verzeichnis, LVM und NFS einrichten und VMs sauber klonen. · Dauer: ca. 90 min · Voraussetzung: Tag 4

Briefing

  • Ein Pool ist ein Ort, an dem libvirt Platten verwaltet: ein Verzeichnis, eine LVM-Volume-Group, ein NFS-Share, Ceph und mehr. Eine Platte darin heißt Volume.
  • Pools machen den Ort austauschbar. virsh vol-create-as funktioniert überall gleich, egal ob dahinter eine Datei oder ein Logical Volume entsteht.
  • Ein Pool kann definiert, gebaut (Verzeichnis oder Volume-Group anlegen), gestartet und auf Autostart gesetzt werden. Vier Schritte, die du gleich mehrmals machst.
 Pool default  dir     /var/lib/libvirt/images     web1.qcow2, daten-web1.qcow2
 Pool lab      dir     /var/lib/libvirt/lab
 Pool vgkvm    logical /dev/vgkvm                  db-daten (LV, 5 GB)
 Pool nfs      netfs   kvm1:/srv/nfs/kvm → /var/lib/libvirt/nfs   (Tag 12)

Drill 1: Die Pools, die schon da sind

virsh pool-list --all

Erwartet:

 Name           State    Autostart
------------------------------------
 basis          active   yes
 boot-scratch   active   yes
 default        active   yes

Du hast keinen Pool angelegt, aber virt-install hat es in Tag 4 getan: default für /var/lib/libvirt/images, basis für das Unterverzeichnis mit dem Basis-Image und boot-scratch für die Seed-ISOs. Jedes Verzeichnis, in dem eine Platte liegt, wird für virt-install zum Pool.

virsh vol-list default

Erwartet:

 Name           Path
------------------------------------------------------
 basis          /var/lib/libvirt/images/basis
 erste.qcow2    /var/lib/libvirt/images/erste.qcow2
 web1.qcow2     /var/lib/libvirt/images/web1.qcow2
 web2.qcow2     /var/lib/libvirt/images/web2.qcow2

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein Volume an eine laufende VM

virsh vol-create-as default daten-web1.qcow2 2G --format qcow2
virsh vol-info daten-web1.qcow2 --pool default

Erwartet:

Vol daten-web1.qcow2 created

Name:           daten-web1.qcow2
Type:           file
Capacity:       2.00 GiB
Allocation:     196.00 KiB

web1 läuft. Die Platte kommt trotzdem dazu:

virsh attach-disk web1 /var/lib/libvirt/images/daten-web1.qcow2 vdb \
  --driver qemu --subdriver qcow2 --persistent
virsh domblklist web1

Erwartet:

Disk attached successfully

 Target   Source
----------------------------------------------------
 vda      /var/lib/libvirt/images/web1.qcow2
 vdb      /var/lib/libvirt/images/daten-web1.qcow2
 sda      -
  • --subdriver qcow2 nennt das Format. Ohne die Angabe hält libvirt die Datei für raw, und der Gast sieht den qcow2-Kopf statt einer leeren Platte.
  • --persistent schreibt die Platte auch in die gespeicherte Definition. Ohne die Option ist sie nach dem nächsten Ausschalten wieder weg.
ssh [email protected] lsblk /dev/vdb

Erwartet:

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
vdb  253:16   0   2G  0 disk 

Fortschritt speichern? Kostenlos registrieren

Drill 3: Ein eigener Verzeichnis-Pool

virsh pool-define-as lab dir --target /var/lib/libvirt/lab
virsh pool-build lab
virsh pool-start lab
virsh pool-autostart lab

Erwartet:

Pool lab defined

Pool lab built

Pool lab started

Pool lab marked as autostarted
sudo ls -ld /var/lib/libvirt/lab

Erwartet:

drwx--x--x 2 root root 4096 Nov 13 13:33 /var/lib/libvirt/lab

pool-build hat das Verzeichnis angelegt. Ohne pool-autostart wäre der Pool nach einem Neustart des Hosts inaktiv, und keine VM mit einer Platte darin würde starten.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ein LVM-Pool

LVM braucht ein Blockgerät. Im Lab tut es eine Datei, die als Loop-Gerät wie eine Platte erscheint. Auf einem echten Server nimmst du eine zweite Platte.

sudo truncate -s 20G /var/lib/kvm-lvm.img
sudo losetup -f --show /var/lib/kvm-lvm.img

Erwartet:

/dev/loop0
virsh pool-define-as vgkvm logical --source-dev /dev/loop0 --target /dev/vgkvm
virsh pool-build vgkvm
virsh pool-start vgkvm
sudo vgs

Erwartet:

Pool vgkvm defined

Pool vgkvm built

Pool vgkvm started

  VG    #PV #LV #SN Attr   VSize   VFree  
  vgkvm   1   0   0 wz--n- <20.00g <20.00g

pool-build hat aus /dev/loop0 ein Physical Volume und die Volume-Group vgkvm gemacht. Ein Volume darin ist ein Logical Volume:

virsh vol-create-as vgkvm db-daten 5G
sudo lvs
virsh vol-info db-daten --pool vgkvm

Erwartet:

Vol db-daten created

  LV       VG    Attr       LSize Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  db-daten vgkvm -wi-a----- 5.00g                                                    
Name:           db-daten
Type:           block
Capacity:       5.00 GiB
Allocation:     5.00 GiB

Ein LV belegt seinen Platz sofort ganz, Allocation gleich Capacity. Dafür gibt es keine Datei und kein Dateisystem dazwischen. db-daten bekommt in Tag 7 die Datenbank.

Ausprobiert: virsh vol-create-as vgkvm test 1G --format qcow2 meldet Vol test created, legt aber ein normales LV an. Der Pool-Typ logical kennt nur Rohdaten und übergeht die Option ohne Warnung.

Achtung: Das Loop-Gerät überlebt keinen Neustart von kvm1. Danach fehlt /dev/loop0, und der Pool startet nicht. Abhilfe im Lab: sudo losetup -f /var/lib/kvm-lvm.img und virsh pool-start vgkvm. Deshalb steht der Pool hier nicht auf Autostart.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Ein NFS-Pool

In Tag 12 brauchen kvm1 und kvm2 gemeinsamen Speicher. Dafür gibt kvm1 ein Verzeichnis per NFS frei. Ersetze die IP durch die von kvm1 und das Netz durch deins:

sudo apt-get install -y nfs-kernel-server
sudo mkdir -p /srv/nfs/kvm
echo "/srv/nfs/kvm 172.16.0.0/24(rw,sync,no_root_squash,no_subtree_check)" \
  | sudo tee -a /etc/exports
sudo exportfs -ra
sudo exportfs -v

Erwartet:

/srv/nfs/kvm 172.16.0.0/24(rw,sync,no_root_squash,no_subtree_check)
/srv/nfs/kvm    172.16.0.0/24(sync,wdelay,hide,no_subtree_check,sec=sys,rw,secure,…

no_root_squash ist nötig, weil libvirt als root die Dateirechte der Platten setzt. Jetzt der Pool, auch auf kvm1 selbst über die Netzadresse:

virsh pool-define-as nfs netfs --source-host 172.16.0.182 \
  --source-path /srv/nfs/kvm --target /var/lib/libvirt/nfs
virsh pool-build nfs
virsh pool-start nfs
virsh pool-autostart nfs
findmnt /var/lib/libvirt/nfs

Erwartet (gekürzt):

Pool nfs defined

Pool nfs built

Pool nfs started

Pool nfs marked as autostarted

TARGET               SOURCE                    FSTYPE OPTIONS
/var/lib/libvirt/nfs 172.16.0.182:/srv/nfs/kvm nfs4   rw,nosuid,nodev,noexec,…

Ausprobiert: Ist das Verzeichnis nicht freigegeben, scheitert pool-start mit mount.nfs: access denied by server while mounting 172.16.0.182:/srv/nfs/kvm. libvirt ruft nur mount auf. Die Fehlermeldungen kommen direkt von NFS.

virsh pool-list --details

Erwartet (gekürzt):

 Name           State     Autostart   Persistent   Capacity    Allocation   Available
---------------------------------------------------------------------------------------
 …
 lab            running   yes         yes          76.45 GiB   8.09 GiB     68.36 GiB
 nfs            running   yes         yes          76.45 GiB   8.14 GiB     68.31 GiB
 vgkvm          running   no          yes          20.00 GiB   5.00 GiB     15.00 GiB

Fortschritt speichern? Kostenlos registrieren

Drill 6: Klonen

virt-clone kopiert eine ausgeschaltete VM samt Platten. Die Quelle muss aus sein:

virsh shutdown web2
virsh domstate web2

Erwartet (nach einigen Sekunden):

shut off
virt-clone --original web2 --name web3 --auto-clone

Erwartet (gekürzt):

Allocating 'web3.qcow2'                                     | 2.0 GB  00:20 ...

Clone 'web3' created successfully.
sudo qemu-img info /var/lib/libvirt/images/web3.qcow2 | head -4

Erwartet:

image: /var/lib/libvirt/images/web3.qcow2
file format: qcow2
virtual size: 10 GiB (10737418240 bytes)
disk size: 2.05 GiB

Keine backing file-Zeile: virt-clone erzeugt eine volle Kopie und kein Overlay. Neu sind Name, UUID und MAC-Adresse. Alles im Gast ist aber gleich geblieben.

Ausprobiert: Startest du web3 direkt nach dem Klonen, meldet der Gast den Hostnamen web2, hat dieselbe /etc/machine-id und bekommt keine IP. Die netplan-Datei von cloud-init ist an die MAC von web2 gebunden, die neue Karte passt nicht. Und cloud-init läuft nicht neu: Der Seed ist seit dem ersten Neustart leer, und unter /var/lib/cloud steht noch der Lauf von web2.

Den Gast räumt virt-sysprep auf, bei ausgeschalteter VM. Zuerst eine netplan-Datei, die auf jede Karte passt:

mkdir -p ~/kvm-lab/tag05
cd ~/kvm-lab/tag05
cat > netz.yaml <<'EOF'
network:
  version: 2
  ethernets:
    alle:
      match:
        name: "en*"
      dhcp4: true
EOF
sudo virt-sysprep -d web3 \
  --operations machine-id,ssh-hostkeys,customize \
  --hostname web3 \
  --run-command "cloud-init clean" \
  --run-command "ssh-keygen -A" \
  --upload netz.yaml:/etc/netplan/50-cloud-init.yaml \
  --chmod 0600:/etc/netplan/50-cloud-init.yaml

Erwartet (gekürzt):

[  13.2] Performing "machine-id" ...
[  13.2] Performing "ssh-hostkeys" ...
[  13.2] Performing "customize" ...
[  13.3] Setting the hostname: web3
[  17.8] Running: cloud-init clean
[  20.6] Running: ssh-keygen -A
[  22.5] Uploading: netz.yaml to /etc/netplan/50-cloud-init.yaml
[  22.5] Changing permissions of /etc/netplan/50-cloud-init.yaml to 0600
Teil Wirkung
machine-id leert /etc/machine-id, der Gast erzeugt beim Start eine neue
ssh-hostkeys löscht die SSH-Hostschlüssel von web2
customize erst diese Operation führt --hostname, --run-command und --upload aus
cloud-init clean vergisst den alten Lauf
ssh-keygen -A erzeugt neue Hostschlüssel, sonst startet sshd nicht
--upload ersetzt die an die alte MAC gebundene netplan-Datei

Ausprobiert: Ohne customize in --operations übergeht virt-sysprep Hostname und Befehle stillschweigend. Ohne ssh-keygen -A hat der Klon Netz, aber ssh endet mit Connection refused: ssh-hostkeys hat die Schlüssel gelöscht, und nach cloud-init clean erzeugt sie niemand neu.

virsh start web2
virsh start web3
sleep 60
virsh domifaddr web3

Erwartet (deine Adresse weicht ab):

 Name       MAC address          Protocol     Address
-------------------------------------------------------------------------------
 vnet15     52:54:00:40:e6:68    ipv4         192.168.122.214/24

Die Adresse von web2 holst du mit virsh domifaddr web2. Bei dir weicht sie ab.

ssh [email protected] "hostname; cat /etc/machine-id"
ssh [email protected] "hostname; cat /etc/machine-id; curl -s localhost"

Erwartet (deine IDs sehen anders aus, aber die beiden müssen sich unterscheiden):

web2
9cacff643cbc45cfa1feb1daa5699c89
web3
683d57f8196880e0f9e91162fbf3e057
web2 aus cloud-init

Die Webseite sagt noch web2: Daten im Gast kopiert der Klon mit, nur die Identität ist neu.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Aufräumen

erste hat ihren Zweck erfüllt. undefine mit --remove-all-storage löscht die Definition und alle Platten der Domain:

virsh undefine erste --remove-all-storage

Erwartet:

Domain 'erste' has been undefined
Volume 'vda'(/var/lib/libvirt/images/erste.qcow2) removed.

Achtung: --remove-all-storage fragt nicht nach. Hängt eine Datenplatte an mehreren VMs oder liegt die Basis direkt als Platte in der Domain, ist sie weg. Overlays sind sicher: Das Basis-Image ist kein Teil der Domain und bleibt liegen.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

virsh pool-list

Erwartet: default, lab, nfs und vgkvm sind active.

virsh vol-list vgkvm

Erwartet: db-daten mit dem Pfad /dev/vgkvm/db-daten.

virsh domblklist web1

Erwartet: vda und vdb, die zweite ist daten-web1.qcow2.

Challenge

Die Datenplatte von web1 ist zu klein. Vergrößere vdb auf 4 GB, ohne web1 anzuhalten. Prüfe die Größe in libvirt und im Gast.

Hinweis: qemu-img resize scheitert an der Schreibsperre. Gesucht ist ein virsh-Befehl, der über das laufende QEMU geht.

Lösung

virsh blockresize web1 vdb 4G
virsh vol-info daten-web1.qcow2 --pool default
ssh [email protected] "lsblk /dev/vdb; sudo dmesg | tail -1"

Erwartet (gekürzt):

Block device 'vdb' is resized
Capacity:       4.00 GiB
Allocation:     204.00 KiB
vdb  253:16   0   4G  0 disk 
[ 7573.495445] vdb: detected capacity change from 4194304 to 8388608

blockresize vergrößert die Datei über das laufende QEMU, und der virtio-Treiber meldet dem Gast die neue Größe sofort. Ein Dateisystem darauf müsstest du danach selbst erweitern: resize2fs direkt auf der Platte, bei einer Partition vorher growpart. qemu-img resize ginge nur bei ausgeschalteter VM, weil QEMU die Platte sperrt.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Gemeinsamer Speicher: Für Live-Migration ohne Kopieren brauchen alle Hosts denselben Speicher: NFS, iSCSI mit Cluster-LVM oder Ceph RBD (libvirt-Pool-Typ rbd).
  • Thin LVM: Normales LVM reserviert alles sofort. LVM-thin (Proxmox: lvmthin) reserviert erst beim Schreiben, kann aber bei Überbuchung volllaufen.
  • Templates statt Klone: Im Betrieb klont man selten bestehende Server. Man baut ein sauberes Template (Packer, virt-sysprep) und erzeugt jede VM per cloud-init neu.
  • Pools sind Konfiguration: virsh pool-dumpxml gehört wie die Domain-XML ins Backup.