Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Mehrere Server mit ssh und rsync

Ziel: Befehle und Skripte auf einem anderen Server ausführen, dabei richtig quoten, Dateien mit rsync abgleichen, einen Tunnel öffnen und den Werkzeugkasten mit notes-deploy auf mehrere Server verteilen. · Dauer: ca. 90 min · Voraussetzung: Tag 13

Briefing

  • ssh host befehl führt einen Befehl auf einem anderen Rechner aus. Der Exit-Code kommt zurück, stdin und stdout fließen durch die Verbindung.
  • Eine Befehlszeile wird zweimal gelesen: erst von deiner Shell, dann von der Shell auf dem Zielrechner. Einfache Anführungszeichen schützen vor deiner, doppelte nur teilweise.
  • rsync gleicht Verzeichnisse ab und überträgt nur, was sich geändert hat. --delete entfernt, was es im Original nicht mehr gibt. -n zeigt vorher, was passieren würde.
  • Ein Eintrag in ~/.ssh/config gibt einem Server einen kurzen Namen mit allen Einstellungen – Skripte schreiben dann nur noch ssh ziel.
 VM sh ──ssh/rsync──► VM ziel: ~/sh-werkzeug/{bin,lib}
   notes-deploy ziel ─► rsync ─► ssh ziel 'bash -n …'
   ssh -R 18080:127.0.0.1:8080 ziel ─► notes-check auf ziel prüft notes auf sh

Drill 1: Schlüssel und Zielserver

Auf dem Laptop die zweite VM:

multipass launch 26.04 --name ziel --cpus 1 --memory 1G --disk 10G
multipass info ziel | grep IPv4

Auf der VM sh ein eigener Schlüssel für das Labor:

source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag14 && cd ~/sh-lab/tag14
ssh-keygen -q -t ed25519 -N '' -C sh-lab -f ~/.ssh/sh-lab_ed25519
cat ~/.ssh/sh-lab_ed25519.pub | cut -c1-30

Erwartet:

ssh-ed25519 AAAAC3NzaC1lZDI1

Den öffentlichen Schlüssel trägst du auf ziel ein, vom Laptop aus:

multipass exec ziel -- bash -c "echo '<Inhalt von sh-lab_ed25519.pub>' \
  >> ~/.ssh/authorized_keys"

Zurück auf sh: Ein Eintrag in der SSH-Konfiguration (die IP von ziel setzt du ein):

ZIEL_IP=192.168.64.9
cat >> ~/.ssh/config <<EOF

Host ziel
  HostName $ZIEL_IP
  User ubuntu
  IdentityFile ~/.ssh/sh-lab_ed25519
  StrictHostKeyChecking accept-new
EOF
chmod 600 ~/.ssh/config
ssh ziel 'hostname; bash --version | head -1' 2>&1 | grep -v '^Warning: Permanently'

Erwartet:

ziel
GNU bash, version 5.3.9(1)-release (x86_64-pc-linux-gnu)

accept-new übernimmt den Schlüssel eines neuen Servers beim ersten Kontakt, lehnt aber einen geänderten ab – ein vernünftiger Mittelweg für Skripte. Der eigene Schlüssel sh-lab_ed25519 lässt einen vorhandenen id_ed25519 unberührt.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Befehle aus der Ferne

ssh ziel "echo Zuhause ist $HOSTNAME"
ssh ziel 'echo Zuhause ist $HOSTNAME'
ssh ziel 'exit 3'; echo "Exit: $?"
ssh ziel 'ls /gibtsnicht' 2>&1; echo "Exit: $?"
datei="Notiz mit Leerzeichen.txt"
ssh ziel "touch /tmp/$datei; ls -1 /tmp/Notiz* mit Leerzeichen.txt"
ssh ziel "rm -f /tmp/Notiz mit Leerzeichen.txt; touch /tmp/$(printf '%q' "$datei")"
ssh ziel 'ls -1 /tmp/Notiz*'

Erwartet:

Zuhause ist sh
Zuhause ist ziel
Exit: 3
ls: cannot access '/gibtsnicht': No such file or directory
Exit: 2
/tmp/Notiz
Leerzeichen.txt
mit
/tmp/Notiz mit Leerzeichen.txt
  • In doppelten Anführungszeichen ersetzt deine Shell $HOSTNAME, bevor ssh startet. In einfachen kommt $HOSTNAME unverändert an und wird drüben ersetzt.
  • touch /tmp/$datei kommt drüben als touch /tmp/Notiz mit Leerzeichen.txt an – und die Shell dort macht drei Dateien daraus: /tmp/Notiz sowie mit und Leerzeichen.txt im Home-Verzeichnis. Die Anführungszeichen hat deine Shell schon verbraucht.
  • printf '%q' quotet für die zweite Shell. Für mehr als einen Wert ist ein Skript über stdin sauberer:
cat > remote-info <<'EOF'
set -euo pipefail
echo "Host:   $(hostname)"
echo "Platte: $(df -h / | awk 'NR == 2 {print $5}') belegt"
echo "Argument: [$1]"
EOF
ssh ziel bash -s -- "'zwei Wörter'" < remote-info | sed -E 's/[0-9]+%/…%/'

Erwartet:

Host:   ziel
Platte: …% belegt
Argument: [zwei Wörter]

bash -s liest das Skript von stdin, -- trennt die Argumente ab. Das Argument braucht zwei Lagen Anführungszeichen: die äußeren für deine Shell, die inneren für die drüben.

Fortschritt speichern? Kostenlos registrieren

Drill 3: rsync

opts=(-az --delete --exclude .git --exclude tests)
rsync "${opts[@]}" ~/sh-lab/werkzeug/ ziel:sh-werkzeug/
ssh ziel 'ls sh-werkzeug; ls sh-werkzeug/bin | wc -l'
rsync "${opts[@]}" -n -i ~/sh-lab/werkzeug/ ziel:sh-werkzeug/ | wc -l
touch ~/sh-lab/werkzeug/bin/hallo
rsync "${opts[@]}" -n -i ~/sh-lab/werkzeug/ ziel:sh-werkzeug/

Erwartet:

bin
ci.sh
lib
14
0
<f..t...... bin/hallo
  • Der Schrägstrich am Ende von werkzeug/ heißt „den Inhalt übertragen”. Ohne ihn landet ein Ordner werkzeug in sh-werkzeug.
  • -a erhält Rechte und Zeiten, -z komprimiert, -n ist der Probelauf, -i zeigt je Datei, was sich ändert. <f..t...... heißt: Datei würde gesendet, die Zeit ist anders. Die Optionen stehen in einem Array – wie an Tag 5.
  • Der zweite Probelauf ist leer – rsync überträgt nur Unterschiede.

Fortschritt speichern? Kostenlos registrieren

Drill 4: notes-deploy

cat > ~/sh-lab/werkzeug/bin/notes-deploy <<'EOF'
#!/usr/bin/env bash
# notes-deploy – verteilt den Werkzeugkasten: notes-deploy [-n] host…
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
need rsync ssh
probe=()
if [[ ${1:-} == -n ]]; then
  probe=(-n)
  shift
fi
(($# > 0)) || die "Aufruf: $PROG [-n] host…" 2
quelle="$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/.."

verteile() {
  local host=$1
  rsync -az "${probe[@]}" --delete --exclude .git --exclude tests \
    "$quelle/" "$host:sh-werkzeug/"
  ssh -o BatchMode=yes -o ConnectTimeout=5 "$host" \
    'for f in sh-werkzeug/bin/* sh-werkzeug/lib/*.sh; do bash -n "$f" || exit 1; done'
}

declare -A pid
for host in "$@"; do
  verteile "$host" >"/tmp/notes-deploy.$host.log" 2>&1 &
  pid[$host]=$!
done
fehler=0
for host in "$@"; do
  if wait "${pid[$host]}"; then
    info "$host: ok"
  else
    warn "$host: gescheitert – siehe /tmp/notes-deploy.$host.log"
    fehler=1
  fi
done
exit "$fehler"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-deploy
~/sh-lab/werkzeug/ci.sh | tail -1
notes-deploy ziel 2>&1 | sed -E 's/^[0-9:]{8}/…/'
notes-deploy ziel gibtsnicht.invalid 2>&1 | sed -E 's/^[0-9:]{8}/…/'
echo "Exit: ${PIPESTATUS[0]}"

Erwartet:

ci: alles grün
… notes-deploy: INFO ziel: ok
… notes-deploy: INFO ziel: ok
… notes-deploy: WARN gibtsnicht.invalid: gescheitert – siehe /tmp/notes-deploy.gibtsnic…
Exit: 1
  • Alle Server gleichzeitig, jeder mit eigenem Log – und ein ehrlicher Gesamt-Exit-Code. $? hinter der Pipe wäre der von sed; ${PIPESTATUS[0]} ist der von notes-deploy.
  • verteile läuft mit & in einer Unter-Shell, in der set -e gilt: Scheitert rsync, kommt ssh gar nicht mehr dran.
  • bash -n prüft die Syntax ohne auszuführen – ein schneller Test, ob die Dateien vollständig angekommen sind.
  • BatchMode=yes verhindert, dass ssh nach einem Passwort fragt und ein Skript hängen bleibt.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Ein Tunnel

notes hört auf der VM sh nur auf 127.0.0.1 – von ziel aus ist es nicht erreichbar. Ein Rückwärts-Tunnel bringt den Port mit:

ssh ziel 'curl -s -o /dev/null -w "%{http_code}\n" --max-time 2 \
  http://127.0.0.1:18080/healthz'
ssh -R 18080:127.0.0.1:8080 ziel \
  'NOTES_URL=http://127.0.0.1:18080 sh-werkzeug/bin/notes-check -v'

Erwartet:

000
200 /healthz
200 /notes
200 /version
3 ok, 0 Fehler

-R 18080:127.0.0.1:8080 öffnet auf ziel den Port 18080 und leitet ihn durch die SSH-Verbindung zu 127.0.0.1:8080 auf sh. Solange der Befehl läuft, besteht der Tunnel. Umgekehrt holt -L einen Port von drüben zu dir.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

ssh ziel 'ls sh-werkzeug/bin | grep -c notes-'

Erwartet: alle notes-Werkzeuge auf ziel.

13
ssh -o BatchMode=yes ziel true && echo "ssh ohne Passwort"

Erwartet:

ssh ohne Passwort
rsync -azn -i --delete --exclude .git --exclude tests \
  ~/sh-lab/werkzeug/ ziel:sh-werkzeug/ | wc -l

Erwartet: nichts mehr zu übertragen.

0

Challenge

Schreib notes-remote host befehl…: Es führt einen Befehl aus dem Werkzeugkasten auf dem Host aus und reicht dabei per Tunnel notes von sh durch. notes-remote ziel notes-check -q; echo $? soll 0 liefern.

Hinweis: ssh -R, NOTES_URL drüben setzen und die Argumente mit printf '%q ' für die zweite Shell aufbereiten.

Lösung

cat > ~/sh-lab/werkzeug/bin/notes-remote <<'EOF'
#!/usr/bin/env bash
# notes-remote – Werkzeug auf einem Host ausführen: notes-remote host werkzeug [args…]
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
(($# >= 2)) || die "Aufruf: $PROG host werkzeug [args…]" 2
host=$1
shift
befehl=$(printf '%q ' "$@")
port=$((18000 + RANDOM % 1000))
ssh -o BatchMode=yes -o ExitOnForwardFailure=yes \
  -R "$port:127.0.0.1:${NOTES_URL##*:}" "$host" \
  "NOTES_URL=http://127.0.0.1:$port PATH=\$HOME/sh-werkzeug/bin:\$PATH $befehl"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-remote
~/sh-lab/werkzeug/ci.sh | tail -1
notes-deploy ziel 2>/dev/null
notes-remote ziel notes-check -q; echo "Exit: $?"
notes-remote ziel notes-check -v /healthz '/ad*min'; echo "Exit: $?"

Erwartet:

ci: alles grün
Exit: 0
200 /healthz
404 /ad*min
1 ok, 1 Fehler
Exit: 1
  • ${NOTES_URL##*:} nimmt den Port aus der URL.
  • Ein zufälliger Port vermeidet Zusammenstöße, wenn zwei Läufe gleichzeitig tunneln; ExitOnForwardFailure bricht ab, statt ohne Tunnel weiterzumachen.
  • /ad*min kommt dank printf '%q' unverändert drüben an. Ohne würde die Shell dort den Stern als Muster für Dateinamen deuten.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Schlüssel mit Zweck: Ein eigener Schlüssel je Automatisierung, in authorized_keys eingeschränkt mit command=, from= und no-port-forwarding – nicht der persönliche Schlüssel eines Admins.
  • Viele Server: Ab einer Handvoll Servern übernehmen Werkzeuge wie Ansible das Verteilen, mit Inventar, Idempotenz und Berichten. Die Muster hier – parallel, eigenes Log je Host, ehrlicher Exit-Code – bleiben dieselben.
  • ControlMaster: ControlMaster auto und ControlPersist 60s in ~/.ssh/config halten eine Verbindung offen. Viele kurze ssh-Aufrufe werden so deutlich schneller.