Tag 10: Performance
Ziel: Messen statt raten: eine Platte mit fio vergleichen, CPU-Modell, Pinning, IOThreads, Cache-Modi und Hugepages einsetzen und wissen, was davon im Lab wirkt. · Dauer: ca. 90 min · Voraussetzung: Tag 9
Briefing
- CPU-Modell:
host-passthroughgibt dem Gast die CPU des Hosts mit allen Flags. Schnell, aber migrierbar nur auf gleiche CPUs. Ein benanntes Modell (Skylake-Server) ist langsamer, aber portabel. - Pinning bindet vCPUs an feste Kerne des Hosts. Das bringt viel auf großen Servern mit mehreren NUMA-Knoten und wenig auf einem kleinen Host.
- IOThread: Ein eigener Thread im QEMU-Prozess für eine Platte, statt alles im Hauptthread.
- Cache-Modus: Bestimmt, ob QEMU den Seitencache des
Hosts benutzt.
nonegeht daran vorbei,writebackbenutzt ihn. - Hugepages: 2-MB-Seiten statt 4-KB-Seiten für den RAM des Gasts. Weniger Verwaltung in der MMU, aber fest reserviert.
Achtung: kvm1 ist selbst eine VM. Alle Zahlen hier gehen durch zwei Schichten Virtualisierung und durch die Platte von Proxmox. Wichtig sind die Verhältnisse, nicht die Werte.
Drill 1: Die Ausgangslage
virsh nodeinfo
virsh dumpxml web1 | grep "<cpu"Erwartet:
CPU model: x86_64
CPU(s): 4
CPU frequency: 2097 MHz
CPU socket(s): 1
Core(s) per socket: 4
Thread(s) per core: 1
NUMA cell(s): 1
Memory size: 8131756 KiB
<cpu mode='host-passthrough' check='none' migratable='on'/>
- Ein Sockel, vier Kerne, ein NUMA-Knoten. Für NUMA-Tuning ist das zu klein, dazu mehr in der Enterprise-Notiz.
virt-installsetzthost-passthroughvon selbst.migratable='on'blendet die wenigen Flags aus, die eine Migration verhindern würden.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Eine Mess-VM
bench bekommt fio und eine zweite, leere Platte zum
Messen:
mkdir -p ~/kvm-lab/tag10
cd ~/kvm-lab/tag10
cat > user-data <<EOF
#cloud-config
users:
- name: ubuntu
sudo: ALL=(ALL) NOPASSWD:ALL
shell: /bin/bash
ssh_authorized_keys:
- $(cat ~/.ssh/id_ed25519.pub)
packages:
- fio
- qemu-guest-agent
runcmd:
- systemctl start qemu-guest-agent
EOF
cat > meta-data <<'EOF'
instance-id: bench-001
local-hostname: bench
EOF
virt-install --name bench --osinfo ubuntu24.04 --memory 1024 --vcpus 2 --import \
--disk size=10,backing_store=/var/lib/libvirt/images/basis/noble.qcow2 \
--disk size=2 \
--network network=default \
--cloud-init user-data=user-data,meta-data=meta-data \
--graphics none --noautoconsole--disk size=2 legt bench-1.qcow2 im Pool
default an. Nach ein paar Minuten:
ssh ubuntu@bench "cloud-init status --wait; fio --version; lsblk /dev/vdb"Erwartet (gekürzt):
status: done
fio-3.36
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
vdb 253:16 0 2G 0 disk
Fortschritt speichern? Kostenlos registrieren
Drill 3: Die erste Messung
Zufälliges Schreiben in 4-KB-Blöcken, 32 Aufträge gleichzeitig, am Seitencache des Gasts vorbei, 30 Sekunden lang:
ssh ubuntu@benchsudo fio --name=zufall --filename=/dev/vdb --rw=randwrite --bs=4k --iodepth=32 \
--ioengine=libaio --direct=1 --size=1G --runtime=30 --time_based --group_reporting \
| grep -E "IOPS|clat \(usec\)|99.00th"
exitErwartet (deine Werte weichen ab):
write: IOPS=9670, BW=37.8MiB/s (39.6MB/s)(1133MiB/30001msec); 0 zone resets
clat (usec): min=227, max=29801, avg=3246.41, stdev=1834.46
| 99.00th=[ 9634], 99.50th=[11076], 99.90th=[15401], 99.95th=[16909],
Merke dir zwei Zahlen: IOPS und die 99-%-Latenz in Mikrosekunden
(99.00th). Ein zweiter Lauf ohne Änderung ergab 9807 IOPS.
Unterschiede unter 5 % sind Rauschen.
Fortschritt speichern? Kostenlos registrieren
Drill 4: IOThread und cache=none
Beides ändert die Definition, also bei ausgeschalteter VM:
virsh shutdown benchWenn virsh domstate bench shut off
zeigt:
virsh iothreadadd bench 1 --config
virt-xml bench --edit target=vdb --disk driver.cache=none,driver.io=native,driver.iothread=1
virsh dumpxml bench | grep -E "<iothreads|bench-1" -B1Erwartet:
Domain 'bench' defined successfully.
<vcpu placement='static'>2</vcpu>
<iothreads>1</iothreads>
--
<driver name='qemu' type='qcow2' cache='none' io='native' discard='unmap' iothread='1'/>
<source file='/var/lib/libvirt/images/bench-1.qcow2'/>
Ausprobiert:
virt-xml bench --edit --iothreads 1meldetNo --iothreads objects found in the XML.virt-xmländert nur, was schon da ist. Den ersten IOThread legtvirsh iothreadaddan.
| Einstellung | Wirkung |
|---|---|
cache='none' |
QEMU öffnet die Datei mit O_DIRECT, am Seitencache des
Hosts vorbei |
io='native' |
Linux-AIO statt eines Pools von Hilfsthreads; nur mit
cache=none oder directsync |
iothread='1' |
die Platte bekommt den eigenen Thread 1 |
virsh start benchNach dem Booten dieselbe Messung wie in Drill 3:
write: IOPS=12.4k, BW=48.3MiB/s (50.6MB/s)(1448MiB/30002msec); 0 zone resets
clat (usec): min=308, max=28656, avg=2548.60, stdev=1243.97
| 99.00th=[ 6652], 99.50th=[ 7504], 99.90th=[10421], 99.95th=[12387],
Rund 28 % mehr IOPS, und die 99-%-Latenz fällt von 9,6 auf 6,7 ms. Das ist mehr als Rauschen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Pinning
Wo laufen die vCPUs jetzt?
virsh vcpuinfo bench | grep -E "^VCPU|^CPU:|Affinity"Erwartet (die Kerne wechseln):
VCPU: 0
CPU: 3
CPU Affinity: yyyy
VCPU: 1
CPU: 1
CPU Affinity: yyyy
yyyy: Jede vCPU darf auf jedem der vier Kerne laufen,
der Scheduler des Hosts entscheidet. Jetzt eine feste Aufteilung: vCPUs
auf Kern 2 und 3, der Rest von QEMU auf 0 und 1, der IOThread auf 1:
virsh vcpupin bench 0 2 --live --config
virsh vcpupin bench 1 3 --live --config
virsh emulatorpin bench 0-1 --live --config
virsh iothreadpin bench 1 1 --live --config
virsh dumpxml bench --inactive | grep -A5 "<cputune"Erwartet:
<cputune>
<vcpupin vcpu='0' cpuset='2'/>
<vcpupin vcpu='1' cpuset='3'/>
<emulatorpin cpuset='0-1'/>
<iothreadpin iothread='1' cpuset='1'/>
</cputune>
--live --config wirkt sofort und dauerhaft. Die Messung
danach:
write: IOPS=13.0k, BW=51.0MiB/s (53.4MB/s)(1529MiB/30001msec); 0 zone resets
| 99.00th=[ 6259], 99.50th=[ 7046], 99.90th=[ 9896], 99.95th=[11994],
5 % mehr, an der Grenze zum Rauschen. Auf vier Kernen mit drei anderen VMs gibt es wenig zu ordnen. Pinning lohnt sich, wenn ein Server viele Kerne, mehrere NUMA-Knoten und VMs mit festen Leistungszusagen hat.
Achtung: Gepinnte vCPUs teilen sich ihren Kern weiter mit allem, was nicht gepinnt ist. Wirklich exklusiv werden Kerne erst, wenn auch der Host sie meidet (
isolcpusodersystemdAllowedCPUs).
Fortschritt speichern? Kostenlos registrieren
Drill 6: Hugepages
Hugepages werden auf dem Host reserviert, bevor eine VM sie nutzt.
600 Seiten zu 2 MB reichen für die 1 GB von bench:
echo "vm.nr_hugepages = 600" | sudo tee /etc/sysctl.d/80-hugepages.conf
sudo sysctl -p /etc/sysctl.d/80-hugepages.conf
grep -E "HugePages_(Total|Free)" /proc/meminfoErwartet:
vm.nr_hugepages = 600
vm.nr_hugepages = 600
HugePages_Total: 600
HugePages_Free: 600
virsh shutdown benchWenn bench aus ist:
virt-xml bench --edit --memorybacking hugepages=on
virsh start bench
grep -E "HugePages_(Total|Free)" /proc/meminfoErwartet:
Domain 'bench' defined successfully.
Domain 'bench' started
HugePages_Total: 600
HugePages_Free: 88
512 Seiten sind belegt, genau 1 GB. Dieser Speicher gehört jetzt
bench und ist für nichts anderes nutzbar. Der Balloon aus
Tag 9 kann ihn nicht zurückgeben.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Beobachten
sudo apt-get install -y virt-top
virt-top -b -n 2 -d 3 --stream | tail -5Erwartet (gekürzt):
ID S RDRQ WRRQ RXBY TXBY %CPU %MEM TIME NAME
1 R 0 0 104 0 1.6 12.0 4:11.63 db
2 R 0 0 4020 86 2.5 12.0 5:10.72 notes
9 R 0 0 52 0 0.7 12.0 3:31.20 web1
13 R 692 30 0 0 50.7 12.0 0:57.87 bench
virt-top ist top für VMs: CPU, Lese- und
Schreibaufträge, Netzbytes pro VM. Ohne -b läuft es
interaktiv. Die Rohdaten dahinter liefert domstats:
virsh domstats bench --vcpu | grep -E "vcpu.0.(time|delay)"Erwartet (deine Werte weichen ab):
vcpu.0.time=29510000000
vcpu.0.delay=710869263
delay ist die Zeit in Nanosekunden, die die vCPU
rechenbereit war, aber auf einen Kern des Hosts warten musste. Wächst
der Wert schnell, ist der Host überbucht.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Aufräumen
Die reservierten Hugepages fehlen dem Rest von kvm1, und in den nächsten Tagen wird der Speicher knapp. Zuerst die VM, dann die Reservierung:
virsh shutdown benchWenn bench aus ist:
sudo rm /etc/sysctl.d/80-hugepages.conf
sudo sysctl vm.nr_hugepages=0
virsh start benchErwartet:
vm.nr_hugepages = 0
error: Failed to start domain 'bench'
error: internal error: QEMU unexpectedly closed the monitor (vm='bench'): 2026-11-13T16:57:02.539583Z qemu-system-x86_64: unable to map backing store for guest RAM: Cannot allocate memory
Absichtlich: Eine VM mit Hugepages startet nur, wenn genug Seiten frei sind. Genau das passiert auf einem Host, der nach einem Neustart weniger Hugepages reserviert. Die Einstellung muss also auch aus der VM:
virt-xml bench --edit --memorybacking clearxml=yes
virsh start benchErwartet:
Domain 'bench' defined successfully.
Domain 'bench' started
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
virsh iothreadinfo benchErwartet: IOThread 1 mit CPU-Affinität
1.
virsh dumpxml bench | grep bench-1 -B1Erwartet: cache='none' io='native' und
iothread='1'.
grep HugePages_Total /proc/meminfoErwartet: 0.
Challenge
Miss vdb mit cache=writeback. Was passiert,
und warum ist none trotzdem die Empfehlung für Server?
Hinweis: io='native' passt nicht zu
jedem Cache-Modus.
Lösung
virsh shutdown benchWenn bench aus ist:
virt-xml bench --edit target=vdb --disk driver.cache=writeback,driver.io=nativeErwartet:
ERROR unsupported configuration: io='native' needs either no disk cache or directsync cache mode
virt-xml bench --edit target=vdb --disk driver.cache=writeback,driver.io=threads
virsh start benchDieselbe fio-Messung nach dem Booten:
write: IOPS=15.7k, BW=61.2MiB/s (64.2MB/s)(1837MiB/30002msec); 0 zone resets
| 99.00th=[ 5800], 99.50th=[ 6521], 99.90th=[ 8848], 99.95th=[10159],
Schneller, obwohl fio mit --direct=1 misst: Das umgeht
nur den Cache im Gast, nicht den des Hosts. Trotzdem gilt
cache=none für Server:
- Der RAM des Hosts wird für die VMs gebraucht, nicht für eine zweite Kopie ihrer Daten. Der Gast hat seinen eigenen Cache.
- Live-Migration mit gemeinsamem Speicher (Tag 12) setzt einen Cache-Modus voraus, der nichts im Host zurückhält.
writebackist sicher, solange der Gast Flushes schickt, und das tun ext4 und xfs. Gefährlich ist erstcache=unsafe, das Flushes ignoriert.
Zurück auf cache=none:
virsh shutdown benchvirt-xml bench --edit target=vdb --disk driver.cache=none,driver.io=native
virsh start benchFortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- NUMA: Auf Servern mit zwei Sockeln gehört eine VM
auf einen Knoten:
<numatune><memory mode='strict' nodeset='0'/></numatune>plus Pinning auf Kerne dieses Knotens. Große VMs bekommen eine eigene virtuelle NUMA-Topologie (<cpu><numa><cell …/>). - tuned: Die Profile
virtual-hostauf dem Host undvirtual-guestim Gast setzen sinnvolle Kernel-Parameter. - 1-GB-Hugepages: Für große Datenbank-VMs, am
zuverlässigsten beim Booten reserviert
(
default_hugepagesz=1G hugepagesz=1G hugepages=16). - Multiqueue:
<driver queues='4'/>an virtio-net und virtio-blk verteilt die Last auf mehrere vCPUs. - Benannte CPU-Modelle: In Clustern mit gemischter Hardware wählst du das kleinste gemeinsame Modell, damit Live-Migration überall geht.