Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Betrieb und Fehlersuche

Ziel: Wissen, wo libvirt und QEMU protokollieren, Ereignisse live verfolgen, die Sicherheitsschichten verstehen, Debug-Logging gezielt ein- und ausschalten und Updates ohne Ausfall einspielen. · Dauer: ca. 75 min · Voraussetzung: Tag 13

Briefing

  • Jede VM ist ein normaler Linux-Prozess qemu-system-x86_64. Er läuft als Benutzer libvirt-qemu und in einem eigenen AppArmor-Profil.
  • libvirtd steuert QEMU über den QMP-Monitor, ein JSON-Protokoll über einen Unix-Socket. Fast jeder virsh-Befehl wird zu QMP-Befehlen.
  • Logs liegen an drei Stellen: pro VM in /var/log/libvirt/qemu/, für den Dienst im Journal, für AppArmor im Kernel-Log.
  • libvirtd und die VMs sind getrennt. Ein Neustart von libvirtd lässt die VMs weiterlaufen.
 virsh ── libvirtd ── QMP (monitor.sock) ── qemu-system-x86_64 (libvirt-qemu, AppArmor)
            │                                    │
         journald                    /var/log/libvirt/qemu/<vm>.log

Drill 1: Wo es steht

ls /var/log/libvirt/qemu/

Erwartet (gekürzt):

bench.log
db.log
erste.log
fern.log
notes.log
tofu1.log
…
web1-fs0-virtiofsd.log
web1.log

Pro VM eine Datei, auch für gelöschte VMs wie erste und fern. Für virtiofs gibt es eine eigene. Jeder Start hängt die vollständige QEMU-Befehlszeile an, Fehler beim Start stehen am Ende:

sudo tail -2 /var/log/libvirt/qemu/web1.log

Erwartet:

char device redirected to /dev/pts/2 (label charserial0)
2026-11-13 16:44:46.638+0000: Domain id=9 is tainted: custom-ga-command

tainted heißt: Jemand hat an libvirt vorbei mit der VM gesprochen. Hier war es qemu-agent-command aus Tag 9. libvirt kann für den Zustand der VM dann nicht mehr garantieren. Der Vermerk ist ein Hinweis für die Fehlersuche, kein Fehler.

Die Meldungen des Dienstes stehen im Journal:

sudo journalctl -u libvirtd -b --no-pager | grep -iE "error|fail" | tail -3

Erwartet (gekürzt), wenn der Autostart in diesem Boot gescheitert ist wie in Tag 8:

… libvirtd[869]: internal error: Failed to autostart VM 'db': Cannot access storage file '/dev/vgkvm/db-daten': No such file or directory

Hier stehen Fehler wie der gescheiterte Autostart von db aus Tag 8.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ereignisse live

In einem zweiten Terminal auf kvm1:

virsh event --all --loop

Im ersten Terminal:

virsh destroy zug
virsh start zug

Erwartet im zweiten Terminal (gekürzt):

event 'lifecycle' for domain 'zug': Shutdown Finished after host request
event 'lifecycle' for domain 'zug': Stopped Destroyed
event 'agent-lifecycle' for domain 'zug': state: 'disconnected' reason: 'domain started'
event 'lifecycle' for domain 'zug': Resumed Unpaused
event 'lifecycle' for domain 'zug': Started Booted

Mit Strg+C beendest du virsh event. Genau diese Ereignisse benutzen Cockpit, virt-manager und Überwachungswerkzeuge, statt ständig nachzufragen. domstate --reason sagt, warum eine VM in ihrem Zustand ist, hier nach dem Start:

virsh domstate zug --reason

Erwartet:

running (booted)

Fortschritt speichern? Kostenlos registrieren

Drill 3: Wer darf was

Zwei Schichten schützen den Host vor einer übernommenen VM:

virsh dumpxml web1 | grep -A3 "<seclabel"

Erwartet:

  <seclabel type='dynamic' model='apparmor' relabel='yes'>
    <label>libvirt-6db3e4ef-b92b-4e3b-ad01-56def6dfb1cb</label>
    <imagelabel>libvirt-6db3e4ef-b92b-4e3b-ad01-56def6dfb1cb</imagelabel>
  </seclabel>
  <seclabel type='dynamic' model='dac' relabel='yes'>
    <label>+64055:+993</label>
    <imagelabel>+64055:+993</imagelabel>
  </seclabel>
Modell Wirkung
dac QEMU läuft als Benutzer 64055 (libvirt-qemu), Gruppe 993 (kvm); libvirt setzt beim Start den Besitzer der Platten auf diesen Benutzer und beim Stopp zurück auf root (Benutzer: Tag 3)
apparmor jede VM bekommt ein eigenes Profil mit der UUID im Namen; darin stehen nur ihre eigenen Dateien
U=$(virsh domuuid zug)
sudo grep -E "zug" /etc/apparmor.d/libvirt/libvirt-$U.files

Erwartet (gekürzt):

  "/var/log/libvirt/**/zug.log" w,
  "/var/lib/libvirt/qemu/domain-zug/monitor.sock" rw,
  …
  "/var/lib/libvirt/images/zug.qcow2" rwk,
  …

virt-aa-helper schreibt diese Datei bei jedem Start aus der Domain-XML. Wer aus einer VM heraus QEMU übernimmt, kommt trotzdem nicht an die Platten der anderen. Blockiert AppArmor etwas, steht es im Kernel-Log:

sudo journalctl -k --no-pager | grep DENIED | tail -1

Erwartet (gekürzt, deine Zeile weicht ab):

… apparmor="DENIED" operation="open" class="file" profile="libvirt-6db3e4ef-b92b-4e3b-ad01-56def6dfb1cb" name="/var/lib/libvirt/images/web1.qcow2.1794587300" pid=2729 comm="qemu-system-x86"

Diese Zeile stammt vom Backup in Tag 8, und das Backup hat trotzdem funktioniert. Nicht jedes DENIED ist ein Fehler. Nachgehen lohnt sich erst, wenn Zeit und Datei zu einem Problem passen.

Achtung: AppArmor für libvirt abschalten (security_driver = "none" in /etc/libvirt/qemu.conf) behebt solche Meldungen, nimmt aber den Schutz zwischen den VMs weg. Das ist eine Diagnose für eine Minute, keine Lösung.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Debug-Logging

Für Fehler, die nirgends stehen, wird libvirtd gesprächig, ohne Neustart:

sudo virt-admin daemon-log-filters
sudo virt-admin daemon-log-outputs

Erwartet:

 Logging filters: 

 Logging outputs: 3:journald

Nur Warnungen und Fehler (ab Stufe 3) gehen ins Journal. Jetzt alles vom QMP-Monitor (Stufe 1, Debug), alles andere nur ab Fehler (4), und die Debug-Meldungen in eine eigene Datei:

sudo virt-admin daemon-log-filters "1:qemu.qemu_monitor 4:*"
sudo virt-admin daemon-log-outputs "1:file:/var/log/libvirt/debug.log 3:journald"
virsh suspend zug
virsh resume zug
sudo grep -oE "QEMU_MONITOR_(SEND_MSG|RECV_REPLY): mon=0x[0-9a-f]+ [a-z]+=.{0,50}" \
  /var/log/libvirt/debug.log | head -4

Erwartet (gekürzt):

Domain 'zug' suspended

Domain 'zug' resumed

QEMU_MONITOR_SEND_MSG: mon=0x7b921c79d970 msg={"execute":"stop","id":"libvirt-453"}
QEMU_MONITOR_RECV_REPLY: mon=0x7b921c79d970 reply={"return": {}, "id": "libvirt-453"}
QEMU_MONITOR_SEND_MSG: mon=0x7b921c79d970 msg={"execute":"cont","id":"libvirt-454"}
QEMU_MONITOR_RECV_REPLY: mon=0x7b921c79d970 reply={"return": {}, "id": "libvirt-454"}

virsh suspend ist für QEMU nur stop, resume ist cont. So findest du heraus, was libvirt wirklich tut.

Ausprobiert: Mit dem Filter allein und der Ausgabe 3:journald kam keine einzige Debug-Zeile an. Filter bestimmen, was erzeugt wird, Ausgaben, was geschrieben wird. Beide brauchen Stufe 1.

Debug-Logging füllt die Platte schnell. Zurück auf den Normalzustand:

sudo virt-admin daemon-log-filters ""
sudo virt-admin daemon-log-outputs "3:journald"
sudo rm /var/log/libvirt/debug.log

Fortschritt speichern? Kostenlos registrieren

Drill 5: libvirtd neu starten und Updates

ps -o pid,etime,args -C qemu-system-x86_64 | cut -c1-66 | head -4
sudo systemctl restart libvirtd
ps -o pid,etime,args -C qemu-system-x86_64 | cut -c1-66 | head -4
virsh list --name

Erwartet (deine PIDs und Zeiten weichen ab):

    PID     ELAPSED COMMAND
   1197    01:25:07 /usr/bin/qemu-system-x86_64 -name guest=db,deb
   1410    01:24:37 /usr/bin/qemu-system-x86_64 -name guest=notes,
   5105    01:01:02 /usr/bin/qemu-system-x86_64 -name guest=web1,d
    PID     ELAPSED COMMAND
   1197    01:25:07 /usr/bin/qemu-system-x86_64 -name guest=db,deb
   1410    01:24:37 /usr/bin/qemu-system-x86_64 -name guest=notes,
   5105    01:01:03 /usr/bin/qemu-system-x86_64 -name guest=web1,d
db
notes
web1
bench
web2
zug

Dieselben PIDs, die Laufzeit zählt weiter: Die VMs haben vom Neustart nichts gemerkt. libvirtd verbindet sich beim Start wieder mit den Monitor-Sockets. Ein Update von libvirt ist deshalb unkritisch.

Anders bei QEMU: Ein Update ersetzt die Datei, aber laufende VMs benutzen bis zum nächsten Kaltstart die alte. Darauf achtet Ubuntus needrestart bei jedem apt-get install. Die Zeile kennst du aus jeder Installation dieses Buchs:

No VM guests are running outdated hypervisor (qemu) binaries on this host.

Nach einem QEMU-Update listet needrestart an dieser Stelle die betroffenen VMs. Für die gibt es drei Wege: ausschalten und wieder starten (virsh reboot reicht nicht, der Prozess bleibt), per Live-Migration auf einen anderen Host und zurück (Tag 12), denn dort startet ein neuer Prozess, oder das nächste Wartungsfenster abwarten.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

sudo virt-admin daemon-log-outputs

Erwartet: Logging outputs: 3:journald.

virsh dumpxml zug | grep -c "<seclabel"

Erwartet: 2.

ls /var/log/libvirt/debug.log

Erwartet: ls: cannot access '/var/log/libvirt/debug.log': No such file or directory.

Challenge

Ein Kollege hat zug eine zweite Netzkarte gegeben und meldet: „zug startet nicht mehr.“ Baue das nach und finde die Ursache:

mkdir -p ~/kvm-lab/tag14
cd ~/kvm-lab/tag14
cat > test.xml <<'EOF'
<network>
  <name>test</name>
  <bridge name="virbr9"/>
  <ip address="10.99.0.1" netmask="255.255.255.0"/>
</network>
EOF
virsh net-define test.xml
virsh shutdown zug

Wenn zug aus ist:

virsh attach-interface zug network test --model virtio --config
virsh start zug

Repariere es so, dass zug wieder startet, und räume danach auf.

Hinweis: Lies die Fehlermeldung genau und vergleiche mit virsh net-list --all.

Lösung

Erwartet beim Start:

error: Failed to start domain 'zug'
error: Requested operation is not valid: network 'test' is not active
virsh net-list --all | grep test

Erwartet:

 test      inactive   no          yes

net-define legt ein Netz nur an, gestartet ist es nicht. Schnelle Hilfe:

virsh net-start test
virsh start zug

Erwartet:

Network test started

Domain 'zug' started

Dauerhaft wäre noch net-autostart nötig, sonst kommt der Fehler nach dem nächsten Neustart des Hosts wieder. Hier soll die Karte aber ganz weg:

virsh domiflist zug
virsh detach-interface zug network --mac 52:54:00:cc:59:31 --live --config
virsh net-destroy test
virsh net-undefine test

Erwartet (gekürzt, die MAC-Adressen weichen ab):

 vnet37      network   default   virtio   52:54:00:e3:36:57
 vnet38      network   test      virtio   52:54:00:cc:59:31

Interface detached successfully

Network test destroyed

Network test has been undefined

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Überwachung: Der Prometheus-Exporter für libvirt liest dieselben Werte wie virsh domstats und liefert CPU, Platte und Netz pro VM. Für Alarme zählen vcpu.delay (Tag 10) und Plattenfehler (virsh domblkerror).
  • Zentrale Logs: /var/log/libvirt/qemu/*.log gehören mit dem Journal ins zentrale Logging, sonst sind sie mit dem Host weg.
  • Modulare Dienste: Neuere Distributionen ersetzen libvirtd durch einzelne Dienste (virtqemud, virtnetworkd, virtstoraged). Auf Ubuntu 24.04 läuft noch der monolithische libvirtd, die Befehle bleiben gleich.
  • Updates im Cluster: Host leeren per Live-Migration, aktualisieren, neu starten, VMs zurückholen. So entstehen keine Ausfälle und keine veralteten QEMU-Prozesse.