Tag 6: notes-api als Appliance
Ziel: notes-api mit Postgres aus zwei Templates bauen: eine Datenbank-VM mit persistenter Platte im internen Netz und eine API-VM, die sich per Kontext mit ihr verbindet. · Dauer: ca. 90 min · Voraussetzung: Tag 5
Briefing
- Eine Appliance ist eine VM, die nach dem Start ohne Handarbeit einen Dienst anbietet. Hier entsteht sie aus dem schlanken Alpine plus einem Startskript, das bei jedem Start läuft.
- Die Aufteilung:
| VM | Netze | Platten | Dienst |
|---|---|---|---|
db |
vnet (nur für Pakete), intern mit fester
IP 10.10.10.20 |
Alpine + notes-daten (persistent) |
Postgres 16 |
notes |
vnet (Port 8080), intern |
Alpine | notes-api als Container |
- Postgres lauscht nur im internen Netz. Im
vnetbekommtdbdie Security Groupwebaus Tag 5, und die lässt Port 5432 nicht herein. - Geheimnisse wie das Datenbank-Passwort kommen als
USER_INPUTS vom Typ
password. Sunstone zeigt sie verdeckt an, in der VM landen sie im Kontext.
Browser/curl ──► notes (192.168.150.x:8080) ── intern ──► db (10.10.10.20:5432)
Podman: notes-api Postgres 16
/var/lib/postgresql ⇐ notes-daten
Drill 1: Die Datenplatte
oneimage create --name notes-daten --type DATABLOCK --size 1024 --persistent \
--datastore defaultErwartet:
ID: 4
Fortschritt speichern? Kostenlos registrieren
Drill 2: Das Skript der Datenbank
mkdir -p ~/one-lab/tag06
cd ~/one-lab/tag06
cat > db.sh <<'EOF'
#!/bin/sh
# Postgres-Appliance: Datenplatte einhängen, Datenbank anlegen, im internen Netz anbieten
. /run/one-context/one_env
apk add -q postgresql16 e2fsprogs
blkid /dev/sda >/dev/null || mkfs.ext4 -q /dev/sda
mkdir -p /var/lib/postgresql
grep -q /var/lib/postgresql /etc/fstab || echo "/dev/sda /var/lib/postgresql ext4 defaults 0 2" >> /etc/fstab
mount -a
chown postgres:postgres /var/lib/postgresql
# Konfiguration bei den Daten lassen, nicht auf der flüchtigen Systemplatte
echo conf_dir=/var/lib/postgresql/16/data >> /etc/conf.d/postgresql
if [ ! -f /var/lib/postgresql/16/data/PG_VERSION ]; then
rc-service postgresql setup
echo "listen_addresses = '*'" >> /var/lib/postgresql/16/data/postgresql.conf
echo "host notes notes 10.10.10.0/24 scram-sha-256" >> /var/lib/postgresql/16/data/pg_hba.conf
rc-service postgresql start
su postgres -c "psql -c \"CREATE USER notes PASSWORD '$DB_PASSWORD'\""
su postgres -c "createdb -O notes notes"
fi
rc-update add postgresql
rc-service postgresql start
EOF
sh -n db.sh && echo okErwartet:
ok
Das Skript läuft bei jedem Start, also muss es mit beidem klarkommen:
- Erster Start: Die Platte ist leer.
blkidfindet kein Dateisystem, alsomkfs.ext4. Danach legtsetupdie Datenbank an. - Jeder weitere Start, auch in einer neuen VM: Dateisystem und Datenbank sind da. Das Skript hängt nur ein und startet.
Ausprobiert: Ohne die Zeile mit
conf_dirverschiebt Alpinespostgresql setupdie Konfiguration nach/etc/postgresql16, also auf die nicht persistente Systemplatte, und lässt auf der Datenplatte nur Verweise zurück. Die erste VM läuft. Jede neue VM mit derselben Datenplatte scheitert mitcould not access the server configuration file. Alles, was eine Appliance überleben soll, gehört auf die persistente Platte.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Das Skript der API
cat > notes.sh <<'EOF'
#!/bin/sh
# notes-api-Appliance: auf Postgres warten, Schema anlegen, Container starten
. /run/one-context/one_env
apk add -q podman
rc-update add cgroups
rc-service cgroups start
until nc -z -w2 "$DB_HOST" 5432; do sleep 5; done
URL="postgres://notes:$DB_PASSWORD@$DB_HOST:5432/notes?sslmode=disable"
IMG="ghcr.io/thomaszachmann/notes-api:$NOTES_VERSION"
podman run --rm --network host -e NOTES_DB_URL="$URL" "$IMG" migrate
podman rm -f notes
podman run -d --name notes --network host -e NOTES_API_KEY="$API_KEY" -e NOTES_DB_URL="$URL" "$IMG"
EOF
sh -n notes.sh && echo okErwartet:
ok
rc-service cgroups: Ohne diesen Dienst scheitert Podman unter Alpine mitcrun: invalid file system type on /sys/fs/cgroup.- Die Schleife mit
nc -zwartet, bis Postgres antwortet. Die beiden VMs starten unabhängig voneinander, und OpenNebula garantiert keine Reihenfolge. Das kann erst OneFlow (Tag 9). migratelegt das Schema an. Das ist bei jedem Start harmlos.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Templates
cat > db.tpl <<'EOF'
NAME = "notes-db"
CPU = "0.5"
VCPU = "1"
MEMORY = "512"
DISK = [ IMAGE = "Alpine Linux 3.20", IMAGE_UNAME = "oneadmin" ]
DISK = [ IMAGE = "notes-daten", IMAGE_UNAME = "oneadmin" ]
NIC = [ NETWORK = "vnet", NETWORK_UNAME = "oneadmin" ]
NIC = [ NETWORK = "intern", NETWORK_UNAME = "oneadmin", IP = "10.10.10.20" ]
GRAPHICS = [ TYPE = "vnc", LISTEN = "0.0.0.0" ]
USER_INPUTS = [ DB_PASSWORD = "M|password|Passwort für den Datenbank-Benutzer notes" ]
CONTEXT = [
NETWORK = "YES",
SSH_PUBLIC_KEY = "$USER[SSH_PUBLIC_KEY]",
SET_HOSTNAME = "$NAME",
DB_PASSWORD = "$DB_PASSWORD",
START_SCRIPT_BASE64 = "SKRIPT" ]
EOF
sed -i "s|SKRIPT|$(base64 -w0 db.sh)|" db.tpl
cat > notes.tpl <<'EOF'
NAME = "notes"
CPU = "0.5"
VCPU = "1"
MEMORY = "384"
DISK = [ IMAGE = "Alpine Linux 3.20", IMAGE_UNAME = "oneadmin" ]
NIC = [ NETWORK = "vnet", NETWORK_UNAME = "oneadmin" ]
NIC = [ NETWORK = "intern", NETWORK_UNAME = "oneadmin" ]
GRAPHICS = [ TYPE = "vnc", LISTEN = "0.0.0.0" ]
USER_INPUTS = [
DB_PASSWORD = "M|password|Passwort für den Datenbank-Benutzer notes",
API_KEY = "M|password|API-Key für notes-api",
NOTES_VERSION = "O|text|Version von notes-api||0.7.1" ]
CONTEXT = [
NETWORK = "YES",
SSH_PUBLIC_KEY = "$USER[SSH_PUBLIC_KEY]",
SET_HOSTNAME = "$NAME",
DB_HOST = "10.10.10.20",
DB_PASSWORD = "$DB_PASSWORD",
API_KEY = "$API_KEY",
NOTES_VERSION = "$NOTES_VERSION",
START_SCRIPT_BASE64 = "SKRIPT" ]
EOF
sed -i "s|SKRIPT|$(base64 -w0 notes.sh)|" notes.tpl
onetemplate create db.tpl
onetemplate create notes.tplErwartet:
ID: 4
ID: 5
M vor password heißt mandatory:
ohne Wert kein Start. In der Reihenfolge des Templates bestimmt die
Reihenfolge der NICs, welche Karte eth0 wird.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Starten
onetemplate instantiate notes-db --name db --user-inputs DB_PASSWORD=lab-db-pass-123
onetemplate instantiate notes --name notes \
--user-inputs DB_PASSWORD=lab-db-pass-123,API_KEY=lab-api-key-123,NOTES_VERSION=0.7.1Erwartet (IDs weichen ab):
VM ID: 20
VM ID: 21
Pakete laden, Datenbank anlegen, Container holen: Das dauert zwei bis drei Minuten. Dann:
IP=$(onevm show notes | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
curl -s $IP:8080/version; echo
curl -s -H "X-API-Key: lab-api-key-123" -d '{"text":"Hallo OpenNebula"}' $IP:8080/notes; echoErwartet (die ID weicht ab):
0.7.1
{"id":"602722bb-05ab-4559-ac6e-47609ba9ab2b","text":"Hallo OpenNebula"}
Antwortet curl nicht, sieh nach, wo das Skript steht.
one-context schreibt mit, und ps zeigt, ob die Schleife
noch auf Postgres wartet:
ssh root@$IP "ps | grep -E 'nc -z|podman' | grep -v grep"Fortschritt speichern? Kostenlos registrieren
Drill 6: Die Daten überleben
Die Datenbank-VM wird gelöscht und neu angelegt, die Platte bleibt:
onevm terminate dbEine halbe Minute warten, bis onevm list die VM nicht
mehr zeigt, dann:
onetemplate instantiate notes-db --name db --user-inputs DB_PASSWORD=lab-db-pass-123Nach zwei Minuten:
curl -s $IP:8080/notes; echoErwartet:
[{"id":"602722bb-05ab-4559-ac6e-47609ba9ab2b","text":"Hallo OpenNebula"}]
Die Notiz ist da. Die neue db hat dieselbe interne IP
(fest im Template), dieselbe Datenplatte und dieselbe Konfiguration.
notes-api hat die Verbindung von selbst neu aufgebaut.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
onevm listErwartet: db und notes, beide
runn.
onevm show db | grep -A4 '^VM NICS'Erwartet (gekürzt):
0 vnet minionebr 192.168.150.22 02:00:c0:a8:96:16
1 intern intern0 10.10.10.20 02:00:0a:0a:0a:14
diff ~/one-lab/tag06/db.sh ~/one-lab/code/loesung/tag06/db.shErwartet: keine Ausgabe.
Challenge
Ist Postgres wirklich nur intern erreichbar? Prüf von einer VM im
vnet aus, ob Port 5432 der Datenbank über ihre
vnet-Adresse offen ist, und über die interne Adresse.
Hinweis: Tag 5 hat gezeigt, warum du dafür nicht den
Host nehmen darfst. notes hängt in beiden Netzen.
Lösung
IP_DB=$(onevm show db | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh root@$IP "nc -w2 $IP_DB 5432 </dev/null && echo vnet offen || echo vnet zu; \
nc -w2 10.10.10.20 5432 </dev/null && echo intern offen || echo intern zu"Erwartet:
vnet zu
intern offen
Postgres lauscht auf allen Karten
(listen_addresses = '*'). Die Security Group
web am vnet blockt 5432 trotzdem, im Netz
intern gilt nur die Gruppe default. Doppelt
hält besser: pg_hba.conf erlaubt den Benutzer
notes ohnehin nur aus 10.10.10.0/24.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Fertige Appliances: Der Marketplace hat Appliances,
die mit Kontext-Variablen konfiguriert werden, etwa für WordPress oder
den Virtual Router. Das Muster ist dasselbe wie hier:
ONEAPP_*-Variablen im Kontext, ein Skript in der VM. - Startzeit: Pakete bei jedem Start zu installieren kostet Minuten und braucht Internet. Im Betrieb baut man das Image vorher fertig (Tag 10) oder mit Packer, und das Startskript konfiguriert nur noch.
- Datenbanken als Dienst: Wer viele Datenbanken braucht, baut daraus eine eigene Appliance mit Backups (Tag 7) und Überwachung (Tag 11). Damit entsteht ein kleines „Database as a Service“ auf OpenNebula.