Tag 14: Mehrere Server mit ssh und rsync
Ziel: Befehle und Skripte auf einem anderen Server ausführen, dabei richtig quoten, Dateien mit rsync abgleichen, einen Tunnel öffnen und den Werkzeugkasten mit
notes-deployauf mehrere Server verteilen. · Dauer: ca. 90 min · Voraussetzung: Tag 13
Briefing
ssh host befehlführt einen Befehl auf einem anderen Rechner aus. Der Exit-Code kommt zurück, stdin und stdout fließen durch die Verbindung.- Eine Befehlszeile wird zweimal gelesen: erst von deiner Shell, dann von der Shell auf dem Zielrechner. Einfache Anführungszeichen schützen vor deiner, doppelte nur teilweise.
- rsync gleicht Verzeichnisse ab und überträgt nur,
was sich geändert hat.
--deleteentfernt, was es im Original nicht mehr gibt.-nzeigt vorher, was passieren würde. - Ein Eintrag in
~/.ssh/configgibt einem Server einen kurzen Namen mit allen Einstellungen – Skripte schreiben dann nur nochssh ziel.
VM sh ──ssh/rsync──► VM ziel: ~/sh-werkzeug/{bin,lib}
notes-deploy ziel ─► rsync ─► ssh ziel 'bash -n …'
ssh -R 18080:127.0.0.1:8080 ziel ─► notes-check auf ziel prüft notes auf sh
Drill 1: Schlüssel und Zielserver
Auf dem Laptop die zweite VM:
multipass launch 26.04 --name ziel --cpus 1 --memory 1G --disk 10G
multipass info ziel | grep IPv4
Auf der VM sh ein eigener Schlüssel für das Labor:
source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag14 && cd ~/sh-lab/tag14
ssh-keygen -q -t ed25519 -N '' -C sh-lab -f ~/.ssh/sh-lab_ed25519
cat ~/.ssh/sh-lab_ed25519.pub | cut -c1-30Erwartet:
ssh-ed25519 AAAAC3NzaC1lZDI1
Den öffentlichen Schlüssel trägst du auf ziel ein, vom Laptop aus:
multipass exec ziel -- bash -c "echo '<Inhalt von sh-lab_ed25519.pub>' \
>> ~/.ssh/authorized_keys"
Zurück auf sh: Ein Eintrag in der SSH-Konfiguration
(die IP von ziel setzt du ein):
ZIEL_IP=192.168.64.9
cat >> ~/.ssh/config <<EOF
Host ziel
HostName $ZIEL_IP
User ubuntu
IdentityFile ~/.ssh/sh-lab_ed25519
StrictHostKeyChecking accept-new
EOF
chmod 600 ~/.ssh/config
ssh ziel 'hostname; bash --version | head -1' 2>&1 | grep -v '^Warning: Permanently'Erwartet:
ziel
GNU bash, version 5.3.9(1)-release (x86_64-pc-linux-gnu)
accept-new übernimmt den Schlüssel eines
neuen Servers beim ersten Kontakt, lehnt aber einen
geänderten ab – ein vernünftiger Mittelweg für Skripte. Der eigene
Schlüssel sh-lab_ed25519 lässt einen vorhandenen
id_ed25519 unberührt.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Befehle aus der Ferne
ssh ziel "echo Zuhause ist $HOSTNAME"
ssh ziel 'echo Zuhause ist $HOSTNAME'
ssh ziel 'exit 3'; echo "Exit: $?"
ssh ziel 'ls /gibtsnicht' 2>&1; echo "Exit: $?"
datei="Notiz mit Leerzeichen.txt"
ssh ziel "touch /tmp/$datei; ls -1 /tmp/Notiz* mit Leerzeichen.txt"
ssh ziel "rm -f /tmp/Notiz mit Leerzeichen.txt; touch /tmp/$(printf '%q' "$datei")"
ssh ziel 'ls -1 /tmp/Notiz*'Erwartet:
Zuhause ist sh
Zuhause ist ziel
Exit: 3
ls: cannot access '/gibtsnicht': No such file or directory
Exit: 2
/tmp/Notiz
Leerzeichen.txt
mit
/tmp/Notiz mit Leerzeichen.txt
- In doppelten Anführungszeichen ersetzt deine Shell
$HOSTNAME, bevorsshstartet. In einfachen kommt$HOSTNAMEunverändert an und wird drüben ersetzt. touch /tmp/$dateikommt drüben alstouch /tmp/Notiz mit Leerzeichen.txtan – und die Shell dort macht drei Dateien daraus:/tmp/NotizsowiemitundLeerzeichen.txtim Home-Verzeichnis. Die Anführungszeichen hat deine Shell schon verbraucht.printf '%q'quotet für die zweite Shell. Für mehr als einen Wert ist ein Skript über stdin sauberer:
cat > remote-info <<'EOF'
set -euo pipefail
echo "Host: $(hostname)"
echo "Platte: $(df -h / | awk 'NR == 2 {print $5}') belegt"
echo "Argument: [$1]"
EOF
ssh ziel bash -s -- "'zwei Wörter'" < remote-info | sed -E 's/[0-9]+%/…%/'Erwartet:
Host: ziel
Platte: …% belegt
Argument: [zwei Wörter]
bash -s liest das Skript von stdin, --
trennt die Argumente ab. Das Argument braucht zwei Lagen
Anführungszeichen: die äußeren für deine Shell, die inneren für die
drüben.
Fortschritt speichern? Kostenlos registrieren
Drill 3: rsync
opts=(-az --delete --exclude .git --exclude tests)
rsync "${opts[@]}" ~/sh-lab/werkzeug/ ziel:sh-werkzeug/
ssh ziel 'ls sh-werkzeug; ls sh-werkzeug/bin | wc -l'
rsync "${opts[@]}" -n -i ~/sh-lab/werkzeug/ ziel:sh-werkzeug/ | wc -l
touch ~/sh-lab/werkzeug/bin/hallo
rsync "${opts[@]}" -n -i ~/sh-lab/werkzeug/ ziel:sh-werkzeug/Erwartet:
bin
ci.sh
lib
14
0
<f..t...... bin/hallo
- Der Schrägstrich am Ende von
werkzeug/heißt „den Inhalt übertragen”. Ohne ihn landet ein Ordnerwerkzeuginsh-werkzeug. -aerhält Rechte und Zeiten,-zkomprimiert,-nist der Probelauf,-izeigt je Datei, was sich ändert.<f..t......heißt: Datei würde gesendet, die Zeit ist anders. Die Optionen stehen in einem Array – wie an Tag 5.- Der zweite Probelauf ist leer – rsync überträgt nur Unterschiede.
Fortschritt speichern? Kostenlos registrieren
Drill 4: notes-deploy
cat > ~/sh-lab/werkzeug/bin/notes-deploy <<'EOF'
#!/usr/bin/env bash
# notes-deploy – verteilt den Werkzeugkasten: notes-deploy [-n] host…
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
need rsync ssh
probe=()
if [[ ${1:-} == -n ]]; then
probe=(-n)
shift
fi
(($# > 0)) || die "Aufruf: $PROG [-n] host…" 2
quelle="$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/.."
verteile() {
local host=$1
rsync -az "${probe[@]}" --delete --exclude .git --exclude tests \
"$quelle/" "$host:sh-werkzeug/"
ssh -o BatchMode=yes -o ConnectTimeout=5 "$host" \
'for f in sh-werkzeug/bin/* sh-werkzeug/lib/*.sh; do bash -n "$f" || exit 1; done'
}
declare -A pid
for host in "$@"; do
verteile "$host" >"/tmp/notes-deploy.$host.log" 2>&1 &
pid[$host]=$!
done
fehler=0
for host in "$@"; do
if wait "${pid[$host]}"; then
info "$host: ok"
else
warn "$host: gescheitert – siehe /tmp/notes-deploy.$host.log"
fehler=1
fi
done
exit "$fehler"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-deploy
~/sh-lab/werkzeug/ci.sh | tail -1
notes-deploy ziel 2>&1 | sed -E 's/^[0-9:]{8}/…/'
notes-deploy ziel gibtsnicht.invalid 2>&1 | sed -E 's/^[0-9:]{8}/…/'
echo "Exit: ${PIPESTATUS[0]}"Erwartet:
ci: alles grün
… notes-deploy: INFO ziel: ok
… notes-deploy: INFO ziel: ok
… notes-deploy: WARN gibtsnicht.invalid: gescheitert – siehe /tmp/notes-deploy.gibtsnic…
Exit: 1
- Alle Server gleichzeitig, jeder mit eigenem Log – und ein ehrlicher
Gesamt-Exit-Code.
$?hinter der Pipe wäre der vonsed;${PIPESTATUS[0]}ist der vonnotes-deploy. verteileläuft mit&in einer Unter-Shell, in derset -egilt: Scheitertrsync, kommtsshgar nicht mehr dran.bash -nprüft die Syntax ohne auszuführen – ein schneller Test, ob die Dateien vollständig angekommen sind.BatchMode=yesverhindert, dasssshnach einem Passwort fragt und ein Skript hängen bleibt.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Ein Tunnel
notes hört auf der VM sh nur auf 127.0.0.1 – von ziel
aus ist es nicht erreichbar. Ein Rückwärts-Tunnel
bringt den Port mit:
ssh ziel 'curl -s -o /dev/null -w "%{http_code}\n" --max-time 2 \
http://127.0.0.1:18080/healthz'
ssh -R 18080:127.0.0.1:8080 ziel \
'NOTES_URL=http://127.0.0.1:18080 sh-werkzeug/bin/notes-check -v'Erwartet:
000
200 /healthz
200 /notes
200 /version
3 ok, 0 Fehler
-R 18080:127.0.0.1:8080 öffnet auf ziel den Port 18080
und leitet ihn durch die SSH-Verbindung zu 127.0.0.1:8080
auf sh. Solange der Befehl läuft, besteht der Tunnel. Umgekehrt holt
-L einen Port von drüben zu dir.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
ssh ziel 'ls sh-werkzeug/bin | grep -c notes-'Erwartet: alle notes-Werkzeuge auf ziel.
13
ssh -o BatchMode=yes ziel true && echo "ssh ohne Passwort"Erwartet:
ssh ohne Passwort
rsync -azn -i --delete --exclude .git --exclude tests \
~/sh-lab/werkzeug/ ziel:sh-werkzeug/ | wc -lErwartet: nichts mehr zu übertragen.
0
Challenge
Schreib notes-remote host befehl…: Es führt einen Befehl
aus dem Werkzeugkasten auf dem Host aus und reicht dabei per Tunnel
notes von sh durch.
notes-remote ziel notes-check -q; echo $? soll 0
liefern.
Hinweis: ssh -R, NOTES_URL
drüben setzen und die Argumente mit printf '%q ' für die
zweite Shell aufbereiten.
Lösung
cat > ~/sh-lab/werkzeug/bin/notes-remote <<'EOF'
#!/usr/bin/env bash
# notes-remote – Werkzeug auf einem Host ausführen: notes-remote host werkzeug [args…]
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
(($# >= 2)) || die "Aufruf: $PROG host werkzeug [args…]" 2
host=$1
shift
befehl=$(printf '%q ' "$@")
port=$((18000 + RANDOM % 1000))
ssh -o BatchMode=yes -o ExitOnForwardFailure=yes \
-R "$port:127.0.0.1:${NOTES_URL##*:}" "$host" \
"NOTES_URL=http://127.0.0.1:$port PATH=\$HOME/sh-werkzeug/bin:\$PATH $befehl"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-remote
~/sh-lab/werkzeug/ci.sh | tail -1
notes-deploy ziel 2>/dev/null
notes-remote ziel notes-check -q; echo "Exit: $?"
notes-remote ziel notes-check -v /healthz '/ad*min'; echo "Exit: $?"Erwartet:
ci: alles grün
Exit: 0
200 /healthz
404 /ad*min
1 ok, 1 Fehler
Exit: 1
${NOTES_URL##*:}nimmt den Port aus der URL.- Ein zufälliger Port vermeidet Zusammenstöße, wenn zwei Läufe
gleichzeitig tunneln;
ExitOnForwardFailurebricht ab, statt ohne Tunnel weiterzumachen. /ad*minkommt dankprintf '%q'unverändert drüben an. Ohne würde die Shell dort den Stern als Muster für Dateinamen deuten.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Schlüssel mit Zweck: Ein eigener Schlüssel je
Automatisierung, in
authorized_keyseingeschränkt mitcommand=,from=undno-port-forwarding– nicht der persönliche Schlüssel eines Admins. - Viele Server: Ab einer Handvoll Servern übernehmen Werkzeuge wie Ansible das Verteilen, mit Inventar, Idempotenz und Berichten. Die Muster hier – parallel, eigenes Log je Host, ehrlicher Exit-Code – bleiben dieselben.
- ControlMaster:
ControlMaster autoundControlPersist 60sin~/.ssh/confighalten eine Verbindung offen. Viele kurzessh-Aufrufe werden so deutlich schneller.