Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Wettkampf

Ziel: Fünf Störungen finden und beheben, jede so passiert beim Testen dieses Buchs. · Dauer: ca. 120 min · Voraussetzung: Tag 0–14

Spielregeln

  • Jede Runde beginnt mit einer Lage: Was ist passiert, was meldet das Team?
  • Du findest die Ursache mit den Werkzeugen aus dem Buch: onevm show, onehost show, die Logs unter /var/log/one, SSH in die VMs. Erst dann reparierst du.
  • Die Dateien für die Runden liegen in ~/one-lab/code/wettkampf/.
  • Für jede Runde gibt es einen Hinweis. Lies ihn erst, wenn du zehn Minuten nicht weiterkommst.
  • Zähl die Runden, die du ohne Hinweis schaffst.

Runde 1: Kein htop

Lage: Ein Kollege hat „aufgeräumt“ und dabei eine Zeile entfernt, die er nicht kannte:

sudo sed -i '/IGNORE_RESOLVCONF=yes/d' /etc/default/dnsmasq
sudo systemctl restart dnsmasq

Seitdem meldet das Team: Die VMs aus alpine-start haben kein htop mehr, obwohl das Startskript durchläuft.

onetemplate instantiate alpine-start --name wk1 --user-inputs GRUSS=wk

Nach anderthalb Minuten:

IP=$(onevm show wk1 | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh $IP "cat /root/start.log; which htop"

Erwartet:

fertig

Das Skript schreibt „fertig“, aber htop fehlt.

Hinweis: Das Startskript bricht bei Fehlern nicht ab. Prüf in der VM, ob sie das Internet erreicht, und zwar einmal per IP und einmal per Name.

Lösung

ssh $IP "ping -c1 -W2 1.1.1.1 | tail -1; nslookup dl-cdn.alpinelinux.org 2>&1 | tail -1"

Erwartet:

round-trip min/avg/max = 5.424/5.424/5.424 ms
** server can't find dl-cdn.alpinelinux.org: REFUSED

Per IP geht es, per Name nicht: Das ist der DNS-Fehler aus Tag 1. apk add ist gescheitert, und echo fertig lief trotzdem.

echo "IGNORE_RESOLVCONF=yes" | sudo tee -a /etc/default/dnsmasq
sudo systemctl restart dnsmasq
onevm terminate --hard wk1
onetemplate instantiate alpine-start --name wk1b --user-inputs GRUSS=wk

Nach anderthalb Minuten:

IP=$(onevm show wk1b | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh $IP which htop
onevm terminate --hard wk1b

Erwartet (gekürzt):

/usr/bin/htop

Vorbeugen: Startskripte mit set -e beginnen, dann bricht ein gescheitertes apk add das Skript ab, statt es „fertig“ melden zu lassen. Und die Korrektur aus Tag 1 gehört mit einem Kommentar in die Datei, damit niemand sie für Müll hält.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Die zweite Datenbank

Lage: Ein Team hat eine eigene Postgres-Appliance gebaut, mit einem älteren Skript von dir. Die erste VM lief wunderbar. Nach einem Neuaufbau mit derselben Datenplatte startet Postgres nicht mehr.

mkdir -p ~/one-lab/wk2
cd ~/one-lab/wk2
cp ~/one-lab/code/wettkampf/runde2/db.sh .
sed -e 's/^NAME = "notes-db"/NAME = "wk-db"/' -e 's/IMAGE = "notes-daten"/IMAGE = "wk-daten"/' \
  -e 's/10.10.10.20/10.10.10.28/' \
  -e 's|START_SCRIPT_BASE64 = "[^"]*"|START_SCRIPT_BASE64 = "SKRIPT"|' \
  ../tag06/db.tpl > wk-db.tpl
sed -i "s|SKRIPT|$(base64 -w0 db.sh)|" wk-db.tpl
oneimage create --name wk-daten --type DATABLOCK --size 512 --persistent --datastore default
onetemplate create wk-db.tpl
onetemplate instantiate wk-db --name wk --user-inputs DB_PASSWORD=wk-pass

Nach zwei Minuten läuft Postgres:

IP=$(onevm show wk | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh $IP rc-service postgresql status

Erwartet:

 * status: started

Neuaufbau:

onevm terminate wk

Wenn onevm list wk nicht mehr zeigt:

onetemplate instantiate wk-db --name wk --user-inputs DB_PASSWORD=wk-pass

Nach zwei Minuten:

IP=$(onevm show wk | grep -o 'ETH0_IP="[0-9.]*' | cut -d'"' -f2)
ssh $IP "rc-service postgresql status; tail -1 /var/log/postgresql/postmaster.log"

Erwartet:

 * status: stopped
postgres: could not access the server configuration file "/var/lib/postgresql/16/data/postgresql.conf": No such file or directory

Hinweis: ls -la im Datenverzeichnis. Und vergleich das Skript mit dem aus Tag 6.

Lösung

ssh $IP "ls -la /var/lib/postgresql/16/data/*.conf"
diff ~/one-lab/tag06/db.sh db.sh

Erwartet (gekürzt):

lrwxrwxrwx 1 root root 29 … pg_hba.conf -> /etc/postgresql16/pg_hba.conf
lrwxrwxrwx 1 root root 31 … pg_ident.conf -> /etc/postgresql16/pg_ident.conf
lrwxrwxrwx 1 root root 33 … postgresql.conf -> /etc/postgresql16/postgresql.conf
10,11d9
< # Konfiguration bei den Daten lassen, nicht auf der flüchtigen Systemplatte
< echo conf_dir=/var/lib/postgresql/16/data >> /etc/conf.d/postgresql

Der Fall aus Tag 6: Ohne conf_dir lagen die Konfigurationsdateien auf der Systemplatte der ersten VM, und die gibt es nicht mehr. Die Daten sind unversehrt, nur die drei Dateien fehlen. Du baust sie neu, diesmal auf der Datenplatte:

ssh $IP 'cd /var/lib/postgresql/16/data && \
  rm postgresql.conf pg_hba.conf pg_ident.conf && \
  install -o postgres -g postgres -m 600 /usr/share/postgresql16/postgresql.conf.sample postgresql.conf && \
  install -o postgres -g postgres -m 600 /usr/share/postgresql16/pg_ident.conf.sample pg_ident.conf && \
  echo "listen_addresses = '"'"'*'"'"'" >> postgresql.conf && \
  printf "local all all peer\nhost notes notes 10.10.10.0/24 scram-sha-256\n" > pg_hba.conf && \
  echo conf_dir=/var/lib/postgresql/16/data >> /etc/conf.d/postgresql && \
  rc-service postgresql start'

Erwartet (gekürzt):

 * Starting PostgreSQL 16 ... [ ok ]

pg_hba.conf wird nicht aus der Vorlage kopiert: Die enthält Platzhalter wie @remove-line-for-nolocal@, an denen Postgres scheitert. Danach gehört das Skript repariert, sonst passiert es beim nächsten Neuaufbau wieder. Fürs Lab räumst du ab:

onevm terminate --hard wk
onetemplate delete wk-db

Wenn onevm list wk nicht mehr zeigt:

oneimage delete wk-daten

Fortschritt speichern? Kostenlos registrieren

Runde 3: Freigegeben, aber nicht ganz

Lage: Team blau soll notes-schnell aus Tag 10 nutzen. Ein Kollege hat das Template freigegeben:

onetemplate chmod notes-schnell 604
A="--user blau-dev --password lab-blau-pass-123"
onetemplate instantiate notes-schnell --name wk3 \
  --user-inputs DB_PASSWORD=x,API_KEY=y,NOTES_VERSION=0.7.1 $A

Erwartet:

[one.template.instantiate] User [2] : Not authorized to perform USE IMAGE [9].

Hinweis: Woraus besteht eine VM aus diesem Template?

Lösung

Die Meldung nennt das Objekt: Image 9, also notes-basis. In Tag 8 waren es das Image Alpine Linux 3.20 und die Security Group. Eine VM zu starten heißt, jedes Objekt zu benutzen, aus dem sie besteht. Die Freigabe muss vollständig sein:

oneimage show notes-basis | grep -A3 PERMISSIONS

Erwartet:

PERMISSIONS
OWNER          : um-
GROUP          : ---
OTHER          : ---

Mit oneimage chmod notes-basis 604 würde es klappen. Denk aber an die Challenge von Tag 10: Die VM käme dann ins Netz intern. Fürs Lab nimmst du die Freigabe zurück:

onetemplate chmod notes-schnell 600

Fortschritt speichern? Kostenlos registrieren

Runde 4: Der namenlose Hook

Lage: Ein Kollege hat einen „einfacheren“ Hook gebaut, ganz ohne Skript:

onehook create ~/one-lab/code/wettkampf/runde4/kurz.hook
onetemplate instantiate alpine --name wk4 --user-inputs GRUSS=w

Nach einer Minute:

sudo journalctl -t opennebula-hook --since "-2min" --no-pager | tail -2

Erwartet (Zeiten weichen ab):

Nov 12 20:58:21 one opennebula-hook[1338534]: VM ist gestartet
Nov 12 20:58:21 one opennebula-hook[1338542]: VM wk4 läuft

Die zweite Zeile kommt von deinem Hook aus Tag 11. Die erste soll die VM-ID nennen, tut es aber nicht.

Hinweis: cat ~/one-lab/code/wettkampf/runde4/kurz.hook

Lösung

ARGUMENTS = "-t opennebula-hook VM $ID ist gestartet"

OpenNebula ersetzt in ARGUMENTS nur bestimmte Platzhalter, vor allem $TEMPLATE. $ID gehört nicht dazu und bleibt leer. Der richtige Weg ist der aus Tag 11: das Template übergeben und im Skript auslesen. Der Hook ist damit überflüssig:

onehook delete vm-kurz
onevm terminate --hard wk4

Fortschritt speichern? Kostenlos registrieren

Runde 5: Die Reserve, die keine ist

Lage: Ein Kollege wollte die Reserve aus Tag 14 auf 2 GB erhöhen:

echo 'RESERVED_MEM="2G"' > /tmp/r.txt
onehost update localhost --append /tmp/r.txt
onehost list

Erwartet:

  ID NAME            CLUSTER    TVM      ALLOCATED_CPU      ALLOCATED_MEM STAT
   0 localhost       default      3    150 / 200 (75%)  1.3G / 3.8G (32%) on

Statt weniger stehen plötzlich wieder 3,8 GB für VMs zur Verfügung.

Hinweis: Tag 14, Drill 1.

Lösung

RESERVED_MEM erwartet Kilobyte. 2G ist keine Zahl, also gilt gar keine Reserve mehr, auch die alte ist weg. Das ist schlimmer als vorher. 2 GB sind 2097152 KB:

echo 'RESERVED_MEM="2097152"' > /tmp/r.txt
onehost update localhost --append /tmp/r.txt
onehost list

Erwartet:

   0 localhost       default      3    150 / 200 (75%)  1.3G / 1.8G (68%) on

Für das Lab stellst du den Wert aus Tag 14 wieder her:

echo 'RESERVED_MEM="1572864"' > /tmp/r.txt
onehost update localhost --append /tmp/r.txt

Vorbeugen: Einheiten-Fehler fallen nur auf, wenn man nach jeder Änderung nachsieht. onehost list direkt danach ist Pflicht.

Fortschritt speichern? Kostenlos registrieren

Auswertung

Runden ohne Hinweis Urteil
5 Du kannst OpenNebula betreiben.
3–4 Solide. Lies die Tage zu den verpatzten Runden noch einmal.
0–2 Mach Tag 1, 6, 8, 11 und 14 noch einmal.

Vier der fünf Fehler meldete OpenNebula nicht als Fehler: ein Skript, das „fertig“ sagt, ein Hook mit leerem Platzhalter, eine ignorierte Einheit, eine Konfiguration auf der falschen Platte. Der Lehrstoff dieses Tages: nach jeder Änderung prüfen, ob das Ergebnis stimmt, nicht nur, ob der Befehl durchlief.