Tag 7: notes-api als VM-Appliance
Ziel: Eine Anwendung aus zwei VMs bauen: Postgres in einer isolierten VM mit eigener Datenplatte, notes-api in einer zweiten VM, die im LAN erreichbar ist. Alles per cloud-init, ohne Handarbeit im Gast. · Dauer: ca. 90 min · Voraussetzung: Tag 6
Briefing
- Die Bausteine kennst du: Overlay auf der Basis (Tag 4), Volume im
LVM-Pool (Tag 5), Netze
internundlan(Tag 6). Heute setzt du sie zusammen. - db bekommt das LV
db-datenals zweite Platte. cloud-init formatiert und hängt es nach/var/lib/postgresql. Die Daten liegen damit außerhalb des Overlays. - notes startet den Container
notes-apials systemd-Dienst mit Podman. Er findet die Datenbank unter dem Namendb.intern. - Zum Installieren braucht db Internet. Danach nimmst du ihr das NAT-Netz weg.
kvm2 / LAN ──► notes (lan: 172.16.0.x, :8080)
│ intern 10.10.10.30
▼
db (intern 10.10.10.20, :5432) vda Overlay, vdb = /dev/vgkvm/db-daten
Drill 1: Feste Adressen im Netz intern
Beide VMs bekommen eine MAC-Adresse, die du selbst festlegst. Dann kann dnsmasq ihnen schon vor dem ersten Start eine feste Adresse geben:
virsh net-update intern add ip-dhcp-host \
"<host mac='52:54:00:10:10:20' name='db' ip='10.10.10.20'/>" --live --config
virsh net-update intern add ip-dhcp-host \
"<host mac='52:54:00:10:10:30' name='notes' ip='10.10.10.30'/>" --live --configErwartet:
Updated network intern persistent config and live state
Updated network intern persistent config and live state
Die MAC-Adressen beginnen mit 52:54:00, dem Präfix von
QEMU. Der Rest ist frei gewählt und erinnert an die IP.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Die Dateien für db
mkdir -p ~/kvm-lab/tag07
cd ~/kvm-lab/tag07
cat > db-user-data <<EOF
#cloud-config
users:
- name: ubuntu
sudo: ALL=(ALL) NOPASSWD:ALL
shell: /bin/bash
ssh_authorized_keys:
- $(cat ~/.ssh/id_ed25519.pub)
fs_setup:
- label: pgdaten
filesystem: ext4
device: /dev/vdb
mounts:
- [LABEL=pgdaten, /var/lib/postgresql, ext4, "defaults,nofail", "0", "2"]
packages:
- postgresql
- qemu-guest-agent
runcmd:
- systemctl start qemu-guest-agent
- echo "listen_addresses = '*'" >> /etc/postgresql/16/main/postgresql.conf
- echo "host notes notes 10.10.10.0/24 scram-sha-256" >> /etc/postgresql/16/main/pg_hba.conf
- systemctl restart postgresql
- su postgres -c "psql -c \"CREATE USER notes PASSWORD 'lab-db-pw-123'\""
- su postgres -c "createdb -O notes notes"
EOF
cat > db-meta-data <<'EOF'
instance-id: db-001
local-hostname: db
EOF| Abschnitt | Wirkung |
|---|---|
fs_setup |
legt ext4 mit dem Label pgdaten auf
/dev/vdb an, nur wenn dort noch nichts ist |
mounts |
trägt das Dateisystem in /etc/fstab ein und hängt es
ein |
packages |
installiert Postgres; dessen Daten landen schon auf
vdb |
runcmd |
öffnet Postgres für das Netz intern und legt Benutzer
und Datenbank an |
Die Reihenfolge stimmt von selbst: cloud-init hängt Platten ein, bevor es Pakete installiert.
Die dritte Datei beschreibt das Netz im Gast. Ohne sie richtet cloud-init nur die erste Karte ein:
cat > netz-config <<'EOF'
version: 2
ethernets:
alle:
match:
name: "en*"
dhcp4: true
EOFDas ist dieselbe Regel wie netz.yaml aus Tag 5, diesmal
von Anfang an.
Fortschritt speichern? Kostenlos registrieren
Drill 3: db bauen
virt-install --name db --osinfo ubuntu24.04 --memory 1024 --vcpus 1 --import \
--disk size=10,backing_store=/var/lib/libvirt/images/basis/noble.qcow2 \
--disk vol=vgkvm/db-daten \
--network network=default \
--network network=intern,mac=52:54:00:10:10:20 \
--cloud-init user-data=db-user-data,meta-data=db-meta-data,network-config=netz-config \
--noautoconsoleErwartet (gekürzt):
WARNING Requested memory 1024 MiB is less than the recommended 3072 MiB for OS ubuntu24.04
Starting install...
…
Domain creation completed.
--disk vol=vgkvm/db-datennimmt das Volume aus Tag 5 über den Pool, ohne Pfad.network-config=ist der dritte Teil des NoCloud-Seeds.
virsh domblklist dbErwartet:
Target Source
-----------------------------------------------------------------
vda /var/lib/libvirt/images/db.qcow2
vdb /dev/vgkvm/db-daten
sda /var/lib/libvirt/boot/virtinst-f7thcexs-cloudinit.iso
Ausprobiert: Zwei Minuten nach dem Start hatte
dbnoch keine Adresse, undssh ubuntu@dbmeldeteCould not resolve hostname. Der Gast war noch in der ersten cloud-init-Phase. Eine Minute später standen beide Leases da.
virsh net-dhcp-leases intern | grep db
getent hosts dbErwartet (gekürzt):
2026-11-13 16:55:06 52:54:00:10:10:20 ipv4 10.10.10.20/24 db ff:5d:…
192.168.122.29 db
10.10.10.20 db
db hat zwei Adressen. Die Adresse in intern
ist die feste aus Drill 1. Jetzt auf das Ende von cloud-init warten, das
dauert einige Minuten:
ssh ubuntu@dbcloud-init status --wait
findmnt /var/lib/postgresql
sudo -u postgres psql -c "\l notes"
ss -ltn | grep 5432
exitErwartet (gekürzt):
status: done
TARGET SOURCE FSTYPE OPTIONS
/var/lib/postgresql /dev/vdb ext4 rw,relatime
Name | Owner | Encoding | Locale Provider | Collate | Ctype | …
-------+-------+----------+-----------------+---------+---------+ …
notes | notes | UTF8 | libc | C.UTF-8 | C.UTF-8 | …
LISTEN 0 200 0.0.0.0:5432 0.0.0.0:*
LISTEN 0 200 [::]:5432 [::]:*
Fortschritt speichern? Kostenlos registrieren
Drill 4: db isolieren
Die Pakete sind installiert, das NAT-Netz wird nicht mehr gebraucht. Die NAT-Karte entfernst du im laufenden Betrieb und dauerhaft:
virsh domiflist dbErwartet (deine MAC weicht in der ersten Zeile ab):
Interface Type Source Model MAC
-------------------------------------------------------------
vnet20 network default virtio 52:54:00:b7:c1:f9
vnet21 network intern virtio 52:54:00:10:10:20
virsh detach-interface db network --mac 52:54:00:b7:c1:f9 --live --config
virsh domiflist dbErwartet:
Interface detached successfully
Interface Type Source Model MAC
------------------------------------------------------------
vnet21 network intern virtio 52:54:00:10:10:20
Der Name db kann noch auf den alten NAT-Lease zeigen,
bis er abläuft. Deshalb hier die feste Adresse:
ip -br a
ip route
ping -c1 -W2 1.1.1.1
exitErwartet:
lo UNKNOWN 127.0.0.1/8 ::1/128
enp2s0 UP 10.10.10.20/24 metric 100 fe80::5054:ff:fe10:1020/64
10.10.10.0/24 dev enp2s0 proto kernel scope link src 10.10.10.20 metric 100
10.10.10.1 dev enp2s0 proto dhcp scope link src 10.10.10.20 metric 100
ping: connect: Network is unreachable
Keine Default-Route, kein Weg nach draußen. db ist nur
noch für den Host und die VMs im Netz intern sichtbar.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Die Dateien für notes
notes-api läuft als Container. systemd startet ihn, führt vorher die Migration der Datenbank aus und startet ihn neu, wenn er abstürzt:
cd ~/kvm-lab/tag07
cat > notes-user-data <<EOF
#cloud-config
users:
- name: ubuntu
sudo: ALL=(ALL) NOPASSWD:ALL
shell: /bin/bash
ssh_authorized_keys:
- $(cat ~/.ssh/id_ed25519.pub)
packages:
- podman
- qemu-guest-agent
write_files:
- path: /etc/systemd/system/notes.service
content: |
[Unit]
Description=notes-api
Wants=network-online.target
After=network-online.target
[Service]
Environment=NOTES_DB_URL=postgres://notes:[email protected]:5432/notes?sslmode=disable
Environment=NOTES_API_KEY=lab-api-key-123
ExecStartPre=-/usr/bin/podman rm -f notes
ExecStartPre=/usr/bin/podman run --rm --network host -e NOTES_DB_URL ghcr.io/thomaszachmann/notes-api:0.7.1 migrate
ExecStart=/usr/bin/podman run --rm --name notes --network host -e NOTES_DB_URL -e NOTES_API_KEY ghcr.io/thomaszachmann/notes-api:0.7.1
ExecStop=/usr/bin/podman stop notes
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
runcmd:
- systemctl start qemu-guest-agent
- systemctl daemon-reload
- systemctl enable --now notes
EOF
cat > notes-meta-data <<'EOF'
instance-id: notes-001
local-hostname: notes
EOF-e NOTES_DB_URLohne Wert reicht die Variable aus der Umgebung von systemd an den Container weiter. Das Passwort steht so nur einmal in der Datei.--network host: Der Container nutzt die Karten der VM direkt. Port 8080 ist damit der Port der VM.db.internlöst dnsmasq im Netzinternauf (Tag 6, Drill 4).
Fortschritt speichern? Kostenlos registrieren
Drill 6: notes bauen
notes hängt im LAN (Netz lan aus der Challenge von Tag
6) und in intern:
virt-install --name notes --osinfo ubuntu24.04 --memory 1024 --vcpus 1 --import \
--disk size=10,backing_store=/var/lib/libvirt/images/basis/noble.qcow2 \
--network network=lan \
--network network=intern,mac=52:54:00:10:10:30 \
--cloud-init user-data=notes-user-data,meta-data=notes-meta-data,network-config=netz-config \
--noautoconsoleIm LAN verteilt dein Router die Adresse. libvirt kennt sie nicht, der Gast-Agent schon. Sobald er läuft, nach ein paar Minuten:
virsh domifaddr notes --source agentErwartet (deine LAN-Adresse weicht ab):
Name MAC address Protocol Address
-------------------------------------------------------------------------------
lo 00:00:00:00:00:00 ipv4 127.0.0.1/8
- - ipv6 ::1/128
enp1s0 52:54:00:06:29:61 ipv4 172.16.0.81/24
- - ipv6 fd0e:fdec:438a:328:5054:ff:fe06:2961/64
- - ipv6 fe80::5054:ff:fe06:2961/64
enp2s0 52:54:00:10:10:30 ipv4 10.10.10.30/24
- - ipv6 fe80::5054:ff:fe10:1030/64
Meldet virsh Guest agent is not responding,
ist cloud-init noch beim Installieren. Warte und frage noch einmal.
cloud-init status --wait
systemctl is-active notes
sudo podman ps
getent hosts db.intern
sudo journalctl -u notes --no-pager | grep -E "migration|listening" | tail -2
exitErwartet (gekürzt):
status: done
active
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b37334d290b3 ghcr.io/thomaszachmann/notes-api:0.7.1 3 seconds ago Up 3 seconds notes
10.10.10.20 db.intern
… msg="migration complete" table=notes
… msg=listening addr=:8080 version=0.7.1 pid=1
Fortschritt speichern? Kostenlos registrieren
Drill 7: Von außen benutzen
Auf kvm2, also von einem anderen Rechner im LAN:
# auf kvm2
curl -s 172.16.0.81:8080/version; echo
curl -s -H "X-API-Key: lab-api-key-123" -d '{"text":"Hallo KVM"}' 172.16.0.81:8080/notes; echo
curl -s 172.16.0.81:8080/notes; echoErwartet (die ID weicht ab):
0.7.1
{"id":"cf22f506-42d4-41d5-be58-476e8ac6abf3","text":"Hallo KVM"}
[{"id":"cf22f506-42d4-41d5-be58-476e8ac6abf3","text":"Hallo KVM"}]
Und auf kvm1 in der Datenbank selbst:
ssh [email protected] 'sudo -u postgres psql -d notes -c "SELECT text FROM notes"'Erwartet:
text
-----------
Hallo KVM
(1 row)
Die Notiz ist auf dem Weg kvm2 → LAN → notes → intern →
db im Logical Volume db-daten gelandet.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
virsh listErwartet: db und notes sind
running, dazu web1 bis web3.
virsh domiflist dbErwartet: nur eine Karte, im Netz intern.
virsh domblklist db | grep vdbErwartet: vdb /dev/vgkvm/db-daten.
# auf kvm2
curl -s 172.16.0.81:8080/notesErwartet (von kvm2): die Notiz Hallo KVM.
Challenge
Starte db neu und frage dabei laufend notes-api ab. Was
antwortet notes, solange die Datenbank fehlt? Muss notes danach neu
gestartet werden?
Hinweis: Erinnere dich an Tag 4: Was passiert beim
ersten Neustart nach virt-install?
Lösung
virsh reboot db
sleep 60
virsh domstate dbErwartet:
Domain 'db' is being rebooted
shut off
Ausprobiert: Der erste Neustart beendet die VM, genau wie bei
web1in Tag 4. In der Installationsphase steht in der laufenden Definition<on_reboot>destroy</on_reboot>. Erst nach einem neuen Start giltrestart.
virsh start db
virsh dumpxml db | grep on_rebootErwartet:
Domain 'db' started
<on_reboot>restart</on_reboot>
Jetzt der eigentliche Versuch:
virsh reboot db
for i in 1 2 3 4 5 6 7 8; do sleep 10; echo "$i: $(curl -s -m5 172.16.0.81:8080/notes)"; doneErwartet (ungefähr, gekürzt):
Domain 'db' is being rebooted
1:
2:
3: {"error":"storage"}
4: {"error":"storage"}
5: {"error":"storage"}
6: {"error":"storage"}
7: [{"id":"cf22f506-42d4-41d5-be58-476e8ac6abf3","text":"Hallo KVM"}]
…
Zuerst hängt die Anfrage, solange die alte Verbindung ins Leere
läuft. Dann meldet notes-api sauber storage als Fehler.
Nach etwa einer Minute ist Postgres zurück, und notes verbindet sich von
selbst neu. Ein Neustart von notes ist nicht nötig:
ssh [email protected] systemctl show notes -p NRestartsErwartet:
NRestarts=0
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Images statt Installation: Beide VMs laden beim
Start Pakete und ein Container-Image. Im Betrieb baut man fertige Images
(Packer,
virt-customize --install), damit ein Start nicht vom Internet abhängt. - Geheimnisse: Das Datenbankpasswort steht im
Klartext in der user-data auf dem Host und im Gast unter
/var/lib/cloud. In echten Umgebungen kommt es aus einem Secret-Store, oder die VM holt es beim Start selbst (Vault-Agent). - Datenplatte trennen: Weil Postgres auf einem eigenen Volume liegt, lässt sich das Betriebssystem neu aufsetzen, ohne die Daten anzufassen. Das LV ist auch die Einheit für Backups (Tag 8).
- Hochverfügbarkeit: Eine einzelne db-VM ist ein Single Point of Failure. Der nächste Schritt ist Replikation (Patroni) oder ein Cluster-Manager (Pacemaker), der VMs auf einem anderen Host startet.