Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: Performance

Ziel: Messen statt raten: eine Platte mit fio vergleichen, CPU-Modell, Pinning, IOThreads, Cache-Modi und Hugepages einsetzen und wissen, was davon im Lab wirkt. · Dauer: ca. 90 min · Voraussetzung: Tag 9

Briefing

  • CPU-Modell: host-passthrough gibt dem Gast die CPU des Hosts mit allen Flags. Schnell, aber migrierbar nur auf gleiche CPUs. Ein benanntes Modell (Skylake-Server) ist langsamer, aber portabel.
  • Pinning bindet vCPUs an feste Kerne des Hosts. Das bringt viel auf großen Servern mit mehreren NUMA-Knoten und wenig auf einem kleinen Host.
  • IOThread: Ein eigener Thread im QEMU-Prozess für eine Platte, statt alles im Hauptthread.
  • Cache-Modus: Bestimmt, ob QEMU den Seitencache des Hosts benutzt. none geht daran vorbei, writeback benutzt ihn.
  • Hugepages: 2-MB-Seiten statt 4-KB-Seiten für den RAM des Gasts. Weniger Verwaltung in der MMU, aber fest reserviert.

Achtung: kvm1 ist selbst eine VM. Alle Zahlen hier gehen durch zwei Schichten Virtualisierung und durch die Platte von Proxmox. Wichtig sind die Verhältnisse, nicht die Werte.

Drill 1: Die Ausgangslage

virsh nodeinfo
virsh dumpxml web1 | grep "<cpu"

Erwartet:

CPU model:           x86_64
CPU(s):              4
CPU frequency:       2097 MHz
CPU socket(s):       1
Core(s) per socket:  4
Thread(s) per core:  1
NUMA cell(s):        1
Memory size:         8131756 KiB

  <cpu mode='host-passthrough' check='none' migratable='on'/>
  • Ein Sockel, vier Kerne, ein NUMA-Knoten. Für NUMA-Tuning ist das zu klein, dazu mehr in der Enterprise-Notiz.
  • virt-install setzt host-passthrough von selbst. migratable='on' blendet die wenigen Flags aus, die eine Migration verhindern würden.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Eine Mess-VM

bench bekommt fio und eine zweite, leere Platte zum Messen:

mkdir -p ~/kvm-lab/tag10
cd ~/kvm-lab/tag10
cat > user-data <<EOF
#cloud-config
users:
  - name: ubuntu
    sudo: ALL=(ALL) NOPASSWD:ALL
    shell: /bin/bash
    ssh_authorized_keys:
      - $(cat ~/.ssh/id_ed25519.pub)
packages:
  - fio
  - qemu-guest-agent
runcmd:
  - systemctl start qemu-guest-agent
EOF
cat > meta-data <<'EOF'
instance-id: bench-001
local-hostname: bench
EOF
virt-install --name bench --osinfo ubuntu24.04 --memory 1024 --vcpus 2 --import \
  --disk size=10,backing_store=/var/lib/libvirt/images/basis/noble.qcow2 \
  --disk size=2 \
  --network network=default \
  --cloud-init user-data=user-data,meta-data=meta-data \
  --graphics none --noautoconsole

--disk size=2 legt bench-1.qcow2 im Pool default an. Nach ein paar Minuten:

ssh ubuntu@bench "cloud-init status --wait; fio --version; lsblk /dev/vdb"

Erwartet (gekürzt):

status: done
fio-3.36
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
vdb  253:16   0   2G  0 disk 

Fortschritt speichern? Kostenlos registrieren

Drill 3: Die erste Messung

Zufälliges Schreiben in 4-KB-Blöcken, 32 Aufträge gleichzeitig, am Seitencache des Gasts vorbei, 30 Sekunden lang:

ssh ubuntu@bench
sudo fio --name=zufall --filename=/dev/vdb --rw=randwrite --bs=4k --iodepth=32 \
  --ioengine=libaio --direct=1 --size=1G --runtime=30 --time_based --group_reporting \
  | grep -E "IOPS|clat \(usec\)|99.00th"
exit

Erwartet (deine Werte weichen ab):

  write: IOPS=9670, BW=37.8MiB/s (39.6MB/s)(1133MiB/30001msec); 0 zone resets
    clat (usec): min=227, max=29801, avg=3246.41, stdev=1834.46
     | 99.00th=[ 9634], 99.50th=[11076], 99.90th=[15401], 99.95th=[16909],

Merke dir zwei Zahlen: IOPS und die 99-%-Latenz in Mikrosekunden (99.00th). Ein zweiter Lauf ohne Änderung ergab 9807 IOPS. Unterschiede unter 5 % sind Rauschen.

Fortschritt speichern? Kostenlos registrieren

Drill 4: IOThread und cache=none

Beides ändert die Definition, also bei ausgeschalteter VM:

virsh shutdown bench

Wenn virsh domstate bench shut off zeigt:

virsh iothreadadd bench 1 --config
virt-xml bench --edit target=vdb --disk driver.cache=none,driver.io=native,driver.iothread=1
virsh dumpxml bench | grep -E "<iothreads|bench-1" -B1

Erwartet:

Domain 'bench' defined successfully.
  <vcpu placement='static'>2</vcpu>
  <iothreads>1</iothreads>
--
      <driver name='qemu' type='qcow2' cache='none' io='native' discard='unmap' iothread='1'/>
      <source file='/var/lib/libvirt/images/bench-1.qcow2'/>

Ausprobiert: virt-xml bench --edit --iothreads 1 meldet No --iothreads objects found in the XML. virt-xml ändert nur, was schon da ist. Den ersten IOThread legt virsh iothreadadd an.

Einstellung Wirkung
cache='none' QEMU öffnet die Datei mit O_DIRECT, am Seitencache des Hosts vorbei
io='native' Linux-AIO statt eines Pools von Hilfsthreads; nur mit cache=none oder directsync
iothread='1' die Platte bekommt den eigenen Thread 1
virsh start bench

Nach dem Booten dieselbe Messung wie in Drill 3:

  write: IOPS=12.4k, BW=48.3MiB/s (50.6MB/s)(1448MiB/30002msec); 0 zone resets
    clat (usec): min=308, max=28656, avg=2548.60, stdev=1243.97
     | 99.00th=[ 6652], 99.50th=[ 7504], 99.90th=[10421], 99.95th=[12387],

Rund 28 % mehr IOPS, und die 99-%-Latenz fällt von 9,6 auf 6,7 ms. Das ist mehr als Rauschen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Pinning

Wo laufen die vCPUs jetzt?

virsh vcpuinfo bench | grep -E "^VCPU|^CPU:|Affinity"

Erwartet (die Kerne wechseln):

VCPU:           0
CPU:            3
CPU Affinity:   yyyy
VCPU:           1
CPU:            1
CPU Affinity:   yyyy

yyyy: Jede vCPU darf auf jedem der vier Kerne laufen, der Scheduler des Hosts entscheidet. Jetzt eine feste Aufteilung: vCPUs auf Kern 2 und 3, der Rest von QEMU auf 0 und 1, der IOThread auf 1:

virsh vcpupin bench 0 2 --live --config
virsh vcpupin bench 1 3 --live --config
virsh emulatorpin bench 0-1 --live --config
virsh iothreadpin bench 1 1 --live --config
virsh dumpxml bench --inactive | grep -A5 "<cputune"

Erwartet:

  <cputune>
    <vcpupin vcpu='0' cpuset='2'/>
    <vcpupin vcpu='1' cpuset='3'/>
    <emulatorpin cpuset='0-1'/>
    <iothreadpin iothread='1' cpuset='1'/>
  </cputune>

--live --config wirkt sofort und dauerhaft. Die Messung danach:

  write: IOPS=13.0k, BW=51.0MiB/s (53.4MB/s)(1529MiB/30001msec); 0 zone resets
     | 99.00th=[ 6259], 99.50th=[ 7046], 99.90th=[ 9896], 99.95th=[11994],

5 % mehr, an der Grenze zum Rauschen. Auf vier Kernen mit drei anderen VMs gibt es wenig zu ordnen. Pinning lohnt sich, wenn ein Server viele Kerne, mehrere NUMA-Knoten und VMs mit festen Leistungszusagen hat.

Achtung: Gepinnte vCPUs teilen sich ihren Kern weiter mit allem, was nicht gepinnt ist. Wirklich exklusiv werden Kerne erst, wenn auch der Host sie meidet (isolcpus oder systemd AllowedCPUs).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Hugepages

Hugepages werden auf dem Host reserviert, bevor eine VM sie nutzt. 600 Seiten zu 2 MB reichen für die 1 GB von bench:

echo "vm.nr_hugepages = 600" | sudo tee /etc/sysctl.d/80-hugepages.conf
sudo sysctl -p /etc/sysctl.d/80-hugepages.conf
grep -E "HugePages_(Total|Free)" /proc/meminfo

Erwartet:

vm.nr_hugepages = 600
vm.nr_hugepages = 600
HugePages_Total:     600
HugePages_Free:      600
virsh shutdown bench

Wenn bench aus ist:

virt-xml bench --edit --memorybacking hugepages=on
virsh start bench
grep -E "HugePages_(Total|Free)" /proc/meminfo

Erwartet:

Domain 'bench' defined successfully.
Domain 'bench' started

HugePages_Total:     600
HugePages_Free:       88

512 Seiten sind belegt, genau 1 GB. Dieser Speicher gehört jetzt bench und ist für nichts anderes nutzbar. Der Balloon aus Tag 9 kann ihn nicht zurückgeben.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Beobachten

sudo apt-get install -y virt-top
virt-top -b -n 2 -d 3 --stream | tail -5

Erwartet (gekürzt):

   ID S RDRQ WRRQ RXBY TXBY %CPU %MEM   TIME    NAME
    1 R    0    0  104    0  1.6 12.0   4:11.63 db
    2 R    0    0 4020   86  2.5 12.0   5:10.72 notes
    9 R    0    0   52    0  0.7 12.0   3:31.20 web1
   13 R  692   30    0    0 50.7 12.0   0:57.87 bench

virt-top ist top für VMs: CPU, Lese- und Schreibaufträge, Netzbytes pro VM. Ohne -b läuft es interaktiv. Die Rohdaten dahinter liefert domstats:

virsh domstats bench --vcpu | grep -E "vcpu.0.(time|delay)"

Erwartet (deine Werte weichen ab):

  vcpu.0.time=29510000000
  vcpu.0.delay=710869263

delay ist die Zeit in Nanosekunden, die die vCPU rechenbereit war, aber auf einen Kern des Hosts warten musste. Wächst der Wert schnell, ist der Host überbucht.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Aufräumen

Die reservierten Hugepages fehlen dem Rest von kvm1, und in den nächsten Tagen wird der Speicher knapp. Zuerst die VM, dann die Reservierung:

virsh shutdown bench

Wenn bench aus ist:

sudo rm /etc/sysctl.d/80-hugepages.conf
sudo sysctl vm.nr_hugepages=0
virsh start bench

Erwartet:

vm.nr_hugepages = 0

error: Failed to start domain 'bench'
error: internal error: QEMU unexpectedly closed the monitor (vm='bench'): 2026-11-13T16:57:02.539583Z qemu-system-x86_64: unable to map backing store for guest RAM: Cannot allocate memory

Absichtlich: Eine VM mit Hugepages startet nur, wenn genug Seiten frei sind. Genau das passiert auf einem Host, der nach einem Neustart weniger Hugepages reserviert. Die Einstellung muss also auch aus der VM:

virt-xml bench --edit --memorybacking clearxml=yes
virsh start bench

Erwartet:

Domain 'bench' defined successfully.
Domain 'bench' started

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

virsh iothreadinfo bench

Erwartet: IOThread 1 mit CPU-Affinität 1.

virsh dumpxml bench | grep bench-1 -B1

Erwartet: cache='none' io='native' und iothread='1'.

grep HugePages_Total /proc/meminfo

Erwartet: 0.

Challenge

Miss vdb mit cache=writeback. Was passiert, und warum ist none trotzdem die Empfehlung für Server?

Hinweis: io='native' passt nicht zu jedem Cache-Modus.

Lösung

virsh shutdown bench

Wenn bench aus ist:

virt-xml bench --edit target=vdb --disk driver.cache=writeback,driver.io=native

Erwartet:

ERROR    unsupported configuration: io='native' needs either no disk cache or directsync cache mode
virt-xml bench --edit target=vdb --disk driver.cache=writeback,driver.io=threads
virsh start bench

Dieselbe fio-Messung nach dem Booten:

  write: IOPS=15.7k, BW=61.2MiB/s (64.2MB/s)(1837MiB/30002msec); 0 zone resets
     | 99.00th=[ 5800], 99.50th=[ 6521], 99.90th=[ 8848], 99.95th=[10159],

Schneller, obwohl fio mit --direct=1 misst: Das umgeht nur den Cache im Gast, nicht den des Hosts. Trotzdem gilt cache=none für Server:

  • Der RAM des Hosts wird für die VMs gebraucht, nicht für eine zweite Kopie ihrer Daten. Der Gast hat seinen eigenen Cache.
  • Live-Migration mit gemeinsamem Speicher (Tag 12) setzt einen Cache-Modus voraus, der nichts im Host zurückhält.
  • writeback ist sicher, solange der Gast Flushes schickt, und das tun ext4 und xfs. Gefährlich ist erst cache=unsafe, das Flushes ignoriert.

Zurück auf cache=none:

virsh shutdown bench
virt-xml bench --edit target=vdb --disk driver.cache=none,driver.io=native
virsh start bench

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • NUMA: Auf Servern mit zwei Sockeln gehört eine VM auf einen Knoten: <numatune><memory mode='strict' nodeset='0'/></numatune> plus Pinning auf Kerne dieses Knotens. Große VMs bekommen eine eigene virtuelle NUMA-Topologie (<cpu><numa><cell …/>).
  • tuned: Die Profile virtual-host auf dem Host und virtual-guest im Gast setzen sinnvolle Kernel-Parameter.
  • 1-GB-Hugepages: Für große Datenbank-VMs, am zuverlässigsten beim Booten reserviert (default_hugepagesz=1G hugepagesz=1G hugepages=16).
  • Multiqueue: <driver queues='4'/> an virtio-net und virtio-blk verteilt die Last auf mehrere vCPUs.
  • Benannte CPU-Modelle: In Clustern mit gemischter Hardware wählst du das kleinste gemeinsame Modell, damit Live-Migration überall geht.