Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 9: find, xargs, mktemp

Ziel: Dateien nach Name, Alter und Größe finden, sicher mit Leerzeichen und Zeilenumbrüchen in Namen umgehen, Befehle mit xargs auf viele Dateien und parallel anwenden, Zwischendateien mit mktemp anlegen. Am Ende räumt notes-aufraeumen alte Exporte auf. · Dauer: ca. 75 min · Voraussetzung: Tag 8

Briefing

  • find ordner bedingungen aktion durchsucht Verzeichnisbäume: -name, -type f, -mtime +7 (älter als 7 Tage), -size +1M; Aktionen -print, -delete, -exec … {} +.
  • Dateinamen dürfen alles enthalten außer / und dem Null-Byte – auch Leerzeichen und Zeilenumbrüche. Sicher trennt nur das Null-Byte: find -print0 | xargs -0.
  • xargs macht aus Zeilen Argumente und kann Befehle parallel starten (-P).
  • mktemp legt Dateien und Ordner mit zufälligem Namen an. Feste Namen wie /tmp/export.csv sind ein Sicherheitsrisiko und kollidieren, wenn ein Skript zweimal läuft.
 notes-aufraeumen -n 30 ~/sh-lab/exporte
   └─► find … -name 'notes-*.csv' -mtime +30 -print0 ─► anzeigen (-n) oder löschen
 notes-export ─► mktemp ─► fertig? ─► mv nach exporte/notes-JJJJ-MM-TT.csv

Drill 1: find

source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag09 && cd ~/sh-lab/tag09
find ~/sh-lab/werkzeug -type f -name 'notes-*' | sort
find ~/sh-lab/werkzeug -type f -newer ~/sh-lab/werkzeug/bin/notes-report \
  -printf '%f\n' | sort
find ~/sh-lab -maxdepth 2 -type d -name 'tag0*' | wc -l
find /etc -maxdepth 1 -type f -size +20k -printf '%s %f\n' 2>/dev/null \
  | sort -n | tail -2

Erwartet (die letzten zwei Zeilen weichen ab):

/home/ubuntu/sh-lab/werkzeug/bin/notes-add
/home/ubuntu/sh-lab/werkzeug/bin/notes-check
/home/ubuntu/sh-lab/werkzeug/bin/notes-export
/home/ubuntu/sh-lab/werkzeug/bin/notes-find
/home/ubuntu/sh-lab/werkzeug/bin/notes-last
/home/ubuntu/sh-lab/werkzeug/bin/notes-ping
/home/ubuntu/sh-lab/werkzeug/bin/notes-report
/home/ubuntu/sh-lab/werkzeug/bin/notes-wait
notes-add
notes-export
notes-find
9
24171 ld.so.cache
78419 mime.types
  • Bedingungen hintereinander sind mit „und” verknüpft. -newer datei findet, was jünger ist als datei: hier alles, was nach dem Report von Tag 7 entstand.
  • -printf (GNU) formatiert: %f Dateiname, %s Größe, %TY-%Tm-%Td Datum.
  • -maxdepth begrenzt die Tiefe – ohne sucht find den ganzen Baum ab.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Böse Dateinamen

mkdir -p boese && cd boese
touch 'mit leerzeichen.csv' "$(printf 'mit\numbruch.csv')" -- '-rf.csv' normal.csv
ls | wc -l
echo "--- for über find (falsch):"
for f in $(find . -name '*.csv'); do echo "[$f]"; done | sort
echo "--- -print0 und read -d '' (richtig):"
while IFS= read -r -d '' f; do printf '[%q]\n' "$f"; done \
  < <(find . -name '*.csv' -print0 | sort -z)
cd ..

Erwartet:

5
--- for über find (falsch):
[./-rf.csv]
[./mit]
[./mit]
[./normal.csv]
[leerzeichen.csv]
[umbruch.csv]
--- -print0 und read -d '' (richtig):
[./-rf.csv]
[$'./mit\numbruch.csv']
[./mit\ leerzeichen.csv]
[./normal.csv]

Moment: ls | wc -l zählt 5 Zeilen für 4 Dateien – der Name mit Umbruch ist zwei Zeilen lang. Genau so zerfällt er in jeder zeilenbasierten Verarbeitung.

  • for f in $(find …) zerlegt die Ausgabe an Leerzeichen und Umbrüchen.
  • -print0 trennt mit Null-Bytes, read -d '' liest bis zum nächsten Null-Byte, sort -z sortiert solche Listen.
  • find liefert Pfade mit ./ vorne – deshalb ist -rf.csv hier harmlos. touch -- beendet die Optionen; ohne -- hielte touch -rf.csv für Optionen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: xargs und -exec

find boese -name '*.csv' -print0 | xargs -0 ls -1 | wc -l
find boese -name '*.csv' -exec printf '%s|' {} + ; echo
printf '%s\n' /healthz /notes /version /admin \
  | xargs -P 4 -I {} curl -s -o /dev/null -w '%{http_code} {}\n' "$NOTES_URL{}" | sort
TIMEFORMAT='%1Rs'
time (printf '%s\n' 1 1 1 | xargs -n 1 sleep)
time (printf '%s\n' 1 1 1 | xargs -n 1 -P 3 sleep)

Erwartet (die Reihenfolge in Zeile 2 und 3 hängt vom Dateisystem ab):

5
boese/mit leerzeichen.csv|boese/-rf.csv|boese/mit
umbruch.csv|boese/normal.csv|
200 /healthz
200 /notes
200 /version
404 /admin
3.0s
1.0s
Form Wirkung
xargs -0 befehl Null-getrennte Eingabe als Argumente
xargs -n 1 je Aufruf ein Argument
xargs -I {} … {} … Platzhalter, je Zeile ein Aufruf
xargs -P 4 bis zu 4 Aufrufe gleichzeitig
find … -exec befehl {} + wie xargs, ohne Pipe – sicher für jeden Namen
find … -exec befehl {} \; ein Aufruf je Datei (langsam)

Die Reihenfolge der parallelen curl-Ausgaben ist zufällig – deshalb sort. TIMEFORMAT legt fest, was time ausgibt: hier nur die echte Zeit mit einer Nachkommastelle. Drei Sekunden nacheinander, eine Sekunde parallel.

Fortschritt speichern? Kostenlos registrieren

Drill 4: mktemp

f=$(mktemp)
d=$(mktemp -d)
stat -c '%A %n' "$f" "$d"
t=$(mktemp --tmpdir notes-export.XXXXXX.csv); echo "$t"
rm -rf "$f" "$d" "$t"

Erwartet (die Namen sind bei dir andere):

-rw------- /tmp/tmp.k2XqP8mWZd
drwx------ /tmp/tmp.Gq1o7nUyfT
/tmp/notes-export.Hb3Kx9.csv

mktemp erzeugt die Datei sofort, nur für dich lesbar (600), mit einem Namen, den niemand vorhersagen kann. Die X im Muster ersetzt es durch Zufallszeichen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Exporte und notes-aufraeumen

Ein Export soll entweder vollständig dasein oder gar nicht – nie halb geschrieben. Dazu schreibst du in eine temporäre Datei im selben Ordner und benennst sie am Ende um. mv innerhalb eines Dateisystems ist atomar.

mkdir -p ~/sh-lab/exporte && cd ~/sh-lab/exporte
tmp=$(mktemp ./.notes-XXXXXX.csv)
notes-export > "$tmp" && mv "$tmp" "notes-$(date +%F).csv"
for tage in 10 40 70; do
  touch -d "$tage days ago" "notes-$(date -d "$tage days ago" +%F).csv"
done
ls -1 | sed -E 's/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'

Erwartet:

notes-JJJJ-MM-TT.csv
notes-JJJJ-MM-TT.csv
notes-JJJJ-MM-TT.csv
notes-JJJJ-MM-TT.csv

Jetzt das Werkzeug, das alte Exporte löscht – mit Probelauf:

cat > ~/sh-lab/werkzeug/bin/notes-aufraeumen <<'EOF'
#!/usr/bin/env bash
# notes-aufraeumen – löscht alte Exporte: notes-aufraeumen [-n] tage ordner
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
probe=0
if [[ ${1:-} == -n ]]; then probe=1; shift; fi
(($# == 2)) || die "Aufruf: $PROG [-n] tage ordner" 2
tage=$1 ordner=$2
[[ $tage =~ ^[0-9]+$ ]] || die "tage muss eine Zahl sein: $tage" 2
[[ -d $ordner ]] || die "kein Ordner: $ordner"

n=0
while IFS= read -r -d '' datei; do
  if ((probe)); then
    echo "würde löschen: $datei"
  else
    rm -f -- "$datei"
    info "gelöscht: $datei"
  fi
  n=$((n + 1))
done < <(find "$ordner" -maxdepth 1 -type f -name 'notes-*.csv' -mtime +"$tage" -print0)
echo "$n Datei(en) älter als $tage Tage"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-aufraeumen
shellcheck -x ~/sh-lab/werkzeug/bin/notes-aufraeumen && echo sauber
notes-aufraeumen -n 30 . | sed -E 's/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'
notes-aufraeumen 30 . 2>&1 \
  | sed -E 's/^[0-9:]{8}/…/; s/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'
ls -1 | wc -l

Erwartet (die Reihenfolge der ersten zwei Zeilen kann wechseln):

sauber
würde löschen: ./notes-JJJJ-MM-TT.csv
würde löschen: ./notes-JJJJ-MM-TT.csv
2 Datei(en) älter als 30 Tage
… notes-aufraeumen: INFO gelöscht: ./notes-JJJJ-MM-TT.csv
… notes-aufraeumen: INFO gelöscht: ./notes-JJJJ-MM-TT.csv
2 Datei(en) älter als 30 Tage
2
  • -mtime +30 heißt „älter als 30 volle Tage”. touch -d setzt das Änderungsdatum – so testest du ohne zu warten.
  • rm -f -- "$datei": -- beendet die Optionen, falls ein Name doch mit - beginnt.
  • Der Probelauf -n zeigt, was passieren würde. Jedes Werkzeug, das löscht, braucht einen.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

find ~/sh-lab/exporte -name 'notes-*.csv' -mtime -1 | wc -l

Erwartet: nur der heutige Export – -mtime -1 heißt „jünger als ein Tag”.

1
find ~/sh-lab/tag09/boese -type f -print0 | xargs -0 -n 1 echo | wc -l

Erwartet: vier Dateien, aber fünf Zeilen – der Umbruch im Namen.

5
ls -A ~/sh-lab/exporte | grep -c '^\.notes-'

Erwartet: keine temporäre Datei liegen geblieben.

0

Challenge

Mach daraus ein Werkzeug notes-sichern [ordner]: Es schreibt den Export atomar als notes-JJJJ-MM-TT.csv in den Ordner (Standard ~/sh-lab/exporte) und gibt den Pfad aus. Scheitert der Export, darf keine halbe Datei und keine temporäre Datei zurückbleiben.

Hinweis: notes-export > "$tmp" || { rm -f "$tmp"; die …; }

Lösung

cat > ~/sh-lab/werkzeug/bin/notes-sichern <<'EOF'
#!/usr/bin/env bash
# notes-sichern – Export atomar ablegen: notes-sichern [ordner]
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
ordner="${1:-$HOME/sh-lab/exporte}"
mkdir -p "$ordner"
ziel="$ordner/notes-$(date +%F).csv"
tmp=$(mktemp "$ordner/.notes-XXXXXX.csv")
notes-export > "$tmp" || { rm -f "$tmp"; die "Export gescheitert"; }
mv "$tmp" "$ziel"
echo "$ziel"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-sichern
shellcheck -x ~/sh-lab/werkzeug/bin/notes-sichern && echo sauber
notes-sichern | sed -E 's/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'
NOTES_URL=http://127.0.0.1:9 notes-sichern 2>&1 | tail -1 | sed -E 's/^[0-9:]{8}/…/'
ls -A ~/sh-lab/exporte | grep -c '^\.notes-'

Erwartet:

sauber
/home/ubuntu/sh-lab/exporte/notes-JJJJ-MM-TT.csv
… notes-sichern: FEHLER Export gescheitert
0

An Tag 10 räumt trap solche Reste auch dann auf, wenn das Skript an einer ganz anderen Stelle abbricht.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Löschen nur mit Grenzen: find "$ordner" mit leerem $ordner durchsucht das aktuelle Verzeichnis, rm -rf "$ordner/"* mit leerem Wert … Deshalb prüfen Skripte Pflichtwerte (${x:?}) und begrenzen mit -maxdepth und genauen Mustern.
  • Atomar schreiben gilt für alles, was ein anderer Prozess lesen könnte: Konfiguration, Exporte, Statusdateien. Schreiben, sync bei Bedarf, dann mv.
  • /tmp ist nicht für die Ewigkeit: systemd räumt /tmp beim Neustart oder nach 10 Tagen auf. Was bleiben soll, gehört nach /var/lib/<dienst>.