Tag 9: find, xargs, mktemp
Ziel: Dateien nach Name, Alter und Größe finden, sicher mit Leerzeichen und Zeilenumbrüchen in Namen umgehen, Befehle mit
xargsauf viele Dateien und parallel anwenden, Zwischendateien mitmktempanlegen. Am Ende räumtnotes-aufraeumenalte Exporte auf. · Dauer: ca. 75 min · Voraussetzung: Tag 8
Briefing
find ordner bedingungen aktiondurchsucht Verzeichnisbäume:-name,-type f,-mtime +7(älter als 7 Tage),-size +1M; Aktionen-print,-delete,-exec … {} +.- Dateinamen dürfen alles enthalten außer
/und dem Null-Byte – auch Leerzeichen und Zeilenumbrüche. Sicher trennt nur das Null-Byte:find -print0 | xargs -0. xargsmacht aus Zeilen Argumente und kann Befehle parallel starten (-P).- mktemp legt Dateien und Ordner mit zufälligem Namen
an. Feste Namen wie
/tmp/export.csvsind ein Sicherheitsrisiko und kollidieren, wenn ein Skript zweimal läuft.
notes-aufraeumen -n 30 ~/sh-lab/exporte
└─► find … -name 'notes-*.csv' -mtime +30 -print0 ─► anzeigen (-n) oder löschen
notes-export ─► mktemp ─► fertig? ─► mv nach exporte/notes-JJJJ-MM-TT.csv
Drill 1: find
source ~/sh-lab/setup/env.sh
mkdir -p ~/sh-lab/tag09 && cd ~/sh-lab/tag09
find ~/sh-lab/werkzeug -type f -name 'notes-*' | sort
find ~/sh-lab/werkzeug -type f -newer ~/sh-lab/werkzeug/bin/notes-report \
-printf '%f\n' | sort
find ~/sh-lab -maxdepth 2 -type d -name 'tag0*' | wc -l
find /etc -maxdepth 1 -type f -size +20k -printf '%s %f\n' 2>/dev/null \
| sort -n | tail -2Erwartet (die letzten zwei Zeilen weichen ab):
/home/ubuntu/sh-lab/werkzeug/bin/notes-add
/home/ubuntu/sh-lab/werkzeug/bin/notes-check
/home/ubuntu/sh-lab/werkzeug/bin/notes-export
/home/ubuntu/sh-lab/werkzeug/bin/notes-find
/home/ubuntu/sh-lab/werkzeug/bin/notes-last
/home/ubuntu/sh-lab/werkzeug/bin/notes-ping
/home/ubuntu/sh-lab/werkzeug/bin/notes-report
/home/ubuntu/sh-lab/werkzeug/bin/notes-wait
notes-add
notes-export
notes-find
9
24171 ld.so.cache
78419 mime.types
- Bedingungen hintereinander sind mit „und” verknüpft.
-newer dateifindet, was jünger ist alsdatei: hier alles, was nach dem Report von Tag 7 entstand. -printf(GNU) formatiert:%fDateiname,%sGröße,%TY-%Tm-%TdDatum.-maxdepthbegrenzt die Tiefe – ohne suchtfindden ganzen Baum ab.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Böse Dateinamen
mkdir -p boese && cd boese
touch 'mit leerzeichen.csv' "$(printf 'mit\numbruch.csv')" -- '-rf.csv' normal.csv
ls | wc -l
echo "--- for über find (falsch):"
for f in $(find . -name '*.csv'); do echo "[$f]"; done | sort
echo "--- -print0 und read -d '' (richtig):"
while IFS= read -r -d '' f; do printf '[%q]\n' "$f"; done \
< <(find . -name '*.csv' -print0 | sort -z)
cd ..Erwartet:
5
--- for über find (falsch):
[./-rf.csv]
[./mit]
[./mit]
[./normal.csv]
[leerzeichen.csv]
[umbruch.csv]
--- -print0 und read -d '' (richtig):
[./-rf.csv]
[$'./mit\numbruch.csv']
[./mit\ leerzeichen.csv]
[./normal.csv]
Moment: ls | wc -l zählt 5 Zeilen für 4 Dateien – der
Name mit Umbruch ist zwei Zeilen lang. Genau so zerfällt er in jeder
zeilenbasierten Verarbeitung.
for f in $(find …)zerlegt die Ausgabe an Leerzeichen und Umbrüchen.-print0trennt mit Null-Bytes,read -d ''liest bis zum nächsten Null-Byte,sort -zsortiert solche Listen.findliefert Pfade mit./vorne – deshalb ist-rf.csvhier harmlos.touch --beendet die Optionen; ohne--hieltetouch-rf.csvfür Optionen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: xargs und -exec
find boese -name '*.csv' -print0 | xargs -0 ls -1 | wc -l
find boese -name '*.csv' -exec printf '%s|' {} + ; echo
printf '%s\n' /healthz /notes /version /admin \
| xargs -P 4 -I {} curl -s -o /dev/null -w '%{http_code} {}\n' "$NOTES_URL{}" | sort
TIMEFORMAT='%1Rs'
time (printf '%s\n' 1 1 1 | xargs -n 1 sleep)
time (printf '%s\n' 1 1 1 | xargs -n 1 -P 3 sleep)Erwartet (die Reihenfolge in Zeile 2 und 3 hängt vom Dateisystem ab):
5
boese/mit leerzeichen.csv|boese/-rf.csv|boese/mit
umbruch.csv|boese/normal.csv|
200 /healthz
200 /notes
200 /version
404 /admin
3.0s
1.0s
| Form | Wirkung |
|---|---|
xargs -0 befehl |
Null-getrennte Eingabe als Argumente |
xargs -n 1 |
je Aufruf ein Argument |
xargs -I {} … {} … |
Platzhalter, je Zeile ein Aufruf |
xargs -P 4 |
bis zu 4 Aufrufe gleichzeitig |
find … -exec befehl {} + |
wie xargs, ohne Pipe – sicher für jeden Namen |
find … -exec befehl {} \; |
ein Aufruf je Datei (langsam) |
Die Reihenfolge der parallelen curl-Ausgaben ist
zufällig – deshalb sort. TIMEFORMAT legt fest,
was time ausgibt: hier nur die echte Zeit mit einer
Nachkommastelle. Drei Sekunden nacheinander, eine Sekunde parallel.
Fortschritt speichern? Kostenlos registrieren
Drill 4: mktemp
f=$(mktemp)
d=$(mktemp -d)
stat -c '%A %n' "$f" "$d"
t=$(mktemp --tmpdir notes-export.XXXXXX.csv); echo "$t"
rm -rf "$f" "$d" "$t"Erwartet (die Namen sind bei dir andere):
-rw------- /tmp/tmp.k2XqP8mWZd
drwx------ /tmp/tmp.Gq1o7nUyfT
/tmp/notes-export.Hb3Kx9.csv
mktemp erzeugt die Datei sofort, nur für dich lesbar
(600), mit einem Namen, den niemand vorhersagen kann. Die
X im Muster ersetzt es durch Zufallszeichen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Exporte und notes-aufraeumen
Ein Export soll entweder vollständig dasein oder gar nicht – nie halb
geschrieben. Dazu schreibst du in eine temporäre Datei im selben
Ordner und benennst sie am Ende um. mv innerhalb
eines Dateisystems ist atomar.
mkdir -p ~/sh-lab/exporte && cd ~/sh-lab/exporte
tmp=$(mktemp ./.notes-XXXXXX.csv)
notes-export > "$tmp" && mv "$tmp" "notes-$(date +%F).csv"
for tage in 10 40 70; do
touch -d "$tage days ago" "notes-$(date -d "$tage days ago" +%F).csv"
done
ls -1 | sed -E 's/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'Erwartet:
notes-JJJJ-MM-TT.csv
notes-JJJJ-MM-TT.csv
notes-JJJJ-MM-TT.csv
notes-JJJJ-MM-TT.csv
Jetzt das Werkzeug, das alte Exporte löscht – mit Probelauf:
cat > ~/sh-lab/werkzeug/bin/notes-aufraeumen <<'EOF'
#!/usr/bin/env bash
# notes-aufraeumen – löscht alte Exporte: notes-aufraeumen [-n] tage ordner
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
probe=0
if [[ ${1:-} == -n ]]; then probe=1; shift; fi
(($# == 2)) || die "Aufruf: $PROG [-n] tage ordner" 2
tage=$1 ordner=$2
[[ $tage =~ ^[0-9]+$ ]] || die "tage muss eine Zahl sein: $tage" 2
[[ -d $ordner ]] || die "kein Ordner: $ordner"
n=0
while IFS= read -r -d '' datei; do
if ((probe)); then
echo "würde löschen: $datei"
else
rm -f -- "$datei"
info "gelöscht: $datei"
fi
n=$((n + 1))
done < <(find "$ordner" -maxdepth 1 -type f -name 'notes-*.csv' -mtime +"$tage" -print0)
echo "$n Datei(en) älter als $tage Tage"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-aufraeumen
shellcheck -x ~/sh-lab/werkzeug/bin/notes-aufraeumen && echo sauber
notes-aufraeumen -n 30 . | sed -E 's/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'
notes-aufraeumen 30 . 2>&1 \
| sed -E 's/^[0-9:]{8}/…/; s/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'
ls -1 | wc -lErwartet (die Reihenfolge der ersten zwei Zeilen kann wechseln):
sauber
würde löschen: ./notes-JJJJ-MM-TT.csv
würde löschen: ./notes-JJJJ-MM-TT.csv
2 Datei(en) älter als 30 Tage
… notes-aufraeumen: INFO gelöscht: ./notes-JJJJ-MM-TT.csv
… notes-aufraeumen: INFO gelöscht: ./notes-JJJJ-MM-TT.csv
2 Datei(en) älter als 30 Tage
2
-mtime +30heißt „älter als 30 volle Tage”.touch -dsetzt das Änderungsdatum – so testest du ohne zu warten.rm -f -- "$datei":--beendet die Optionen, falls ein Name doch mit-beginnt.- Der Probelauf
-nzeigt, was passieren würde. Jedes Werkzeug, das löscht, braucht einen.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
find ~/sh-lab/exporte -name 'notes-*.csv' -mtime -1 | wc -lErwartet: nur der heutige Export – -mtime -1 heißt
„jünger als ein Tag”.
1
find ~/sh-lab/tag09/boese -type f -print0 | xargs -0 -n 1 echo | wc -lErwartet: vier Dateien, aber fünf Zeilen – der Umbruch im Namen.
5
ls -A ~/sh-lab/exporte | grep -c '^\.notes-'Erwartet: keine temporäre Datei liegen geblieben.
0
Challenge
Mach daraus ein Werkzeug notes-sichern [ordner]: Es
schreibt den Export atomar als notes-JJJJ-MM-TT.csv in den
Ordner (Standard ~/sh-lab/exporte) und gibt den Pfad aus.
Scheitert der Export, darf keine halbe Datei und keine temporäre Datei
zurückbleiben.
Hinweis:
notes-export > "$tmp" || { rm -f "$tmp"; die …; }
Lösung
cat > ~/sh-lab/werkzeug/bin/notes-sichern <<'EOF'
#!/usr/bin/env bash
# notes-sichern – Export atomar ablegen: notes-sichern [ordner]
set -euo pipefail
source "$(dirname "$(readlink -f "${BASH_SOURCE[0]}")")/../lib/lib.sh"
ordner="${1:-$HOME/sh-lab/exporte}"
mkdir -p "$ordner"
ziel="$ordner/notes-$(date +%F).csv"
tmp=$(mktemp "$ordner/.notes-XXXXXX.csv")
notes-export > "$tmp" || { rm -f "$tmp"; die "Export gescheitert"; }
mv "$tmp" "$ziel"
echo "$ziel"
EOF
chmod +x ~/sh-lab/werkzeug/bin/notes-sichern
shellcheck -x ~/sh-lab/werkzeug/bin/notes-sichern && echo sauber
notes-sichern | sed -E 's/[0-9]{4}-[0-9]{2}-[0-9]{2}/JJJJ-MM-TT/'
NOTES_URL=http://127.0.0.1:9 notes-sichern 2>&1 | tail -1 | sed -E 's/^[0-9:]{8}/…/'
ls -A ~/sh-lab/exporte | grep -c '^\.notes-'Erwartet:
sauber
/home/ubuntu/sh-lab/exporte/notes-JJJJ-MM-TT.csv
… notes-sichern: FEHLER Export gescheitert
0
An Tag 10 räumt trap solche Reste auch dann auf, wenn
das Skript an einer ganz anderen Stelle abbricht.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Löschen nur mit Grenzen:
find "$ordner"mit leerem$ordnerdurchsucht das aktuelle Verzeichnis,rm -rf "$ordner/"*mit leerem Wert … Deshalb prüfen Skripte Pflichtwerte (${x:?}) und begrenzen mit-maxdepthund genauen Mustern. - Atomar schreiben gilt für alles, was ein anderer
Prozess lesen könnte: Konfiguration, Exporte, Statusdateien. Schreiben,
syncbei Bedarf, dannmv. /tmpist nicht für die Ewigkeit: systemd räumt/tmpbeim Neustart oder nach 10 Tagen auf. Was bleiben soll, gehört nach/var/lib/<dienst>.