Anhang A: Spickzettel
Die wichtigsten Befehle aus Tag 0 bis 20, nach Thema geordnet. Die
Tage stehen in Klammern. Platzhalter wie $R oder
$K (Ressourcenname eines PVC) und $L
(LINSTOR-Version, Tag 3) setzt du vorher; IPs sind die des Labors. Alle
Befehle laufen auf k0s-ctrl, sofern die erste Zeile nichts
anderes sagt. Werte wie lab-pg-123 sind Laborwerte.
Messen (Tag 8, 10)
Das Messgerät des ganzen Buchs: pg-client schreibt jede
Sekunde und meldet ok oder FEHLER.
# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=3
kubectl -n demo logs deploy/pg-client --since=5m | grep -c FEHLER
kubectl -n demo logs deploy/pg-client | uniq -c -f1
kubectl -n demo logs -f deploy/pg-client --since=1s > puls-wartung.log &
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'Zwei Zahlen reichen fürs Lagebild: FEHLER im Messgerät
und Zeilen in --faulty. Beide 0 heißt:
Anwendung schreibt, alle Kopien gesund.
Gelände und Netze (Tag 0)
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'hostname; ip -br -4 addr show ens19'; done
ssh k0s-w1 'ip route get 10.10.0.13; ping -c2 -W1 -q 10.10.0.13 | tail -1'# auf k0s-w1
sudo netplan apply
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2- Storage-Netz 10.10.0.0/24 ohne Gateway auf
ens19(/etc/netplan/60-storage.yaml, Rechte 600),k0s-ctrldort ohne Adresse. - Immer erst
lsblk– die Datenplatte heißt nicht überallsdb.
k0s und k0sctl (Tag 1, 2, 15)
# auf k0s-ctrl
k0sctl apply --config k0sctl.yaml
k0sctl apply --config k0sctl.yaml --dry-run 2>&1 | grep dry-run: | cut -c1-80
k0sctl apply --config k0sctl.yaml --concurrency 1 2>&1 | tee apply.log
k0sctl kubeconfig --config k0sctl.yaml > ~/.kube/config
sudo k0s status | grep -E '^(Version|Role)'
sudo k0s etcd member-list
ssh k0s-w1 sudo k0s status
ssh k0s-w1 'sudo k0s sysinfo | grep -v "(pass)"'
ssh k0s-w1 'sudo k0s ctr -n k8s.io tasks ls | grep -c RUNNING'
ssh k0s-w1 "systemctl list-units 'k0s*' --no-legend"- Dienste:
k0scontrollerauf dem Controller,k0sworkerauf den Workern. Konfiguration nur überk0sctl.yamlundk0sctl apply, nie von Hand auf dem Host. - kubelet-Pfad von k0s:
/var/lib/k0s/kubelet– wichtig für CSI (Tag 7) und den Velero-Node-Agent (Tag 13). - Version wechseln:
spec.k0s.versionink0sctl.yaml, dannapply --concurrency 1.
Pakete (Tag 3, 15)
# auf k0s-w1
sudo add-apt-repository -y ppa:linbit/linbit-drbd9-stack
sudo apt-get install -y linux-headers-$(uname -r) drbd-dkms drbd-utils \
drbd-reactor linstor-client thin-provisioning-tools default-jre-headless
sudo apt-get install -y ./linstor-common_${L}_all.deb ./linstor-satellite_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite drbd-dkms drbd-utils
sudo modprobe drbd
cat /proc/drbd
dkms status
sudo lvmconfig devices/global_filter- LINSTOR-Server immer in fester Version aus
packages.linbit.com(trixie/misc), Prüfsumme gegen den Paketindex, danachapt-mark hold. - Nach der Installation läuft auf jedem Kandidaten ein Controller:
sudo systemctl disable --now linstor-controller(Tag 3). - Vor einem Kernel-Neustart zwei Zeilen in
dkms status– sonst kommt DRBD nicht hoch.
LINSTOR-Cluster (Tag 4, 5)
# auf k0s-ctrl
linstor node create k0s-w1 10.10.0.11 --node-type satellite
linstor node create k0s-ctrl 172.16.0.176 --node-type satellite
linstor node interface create k0s-w1 mgmt 172.16.0.186
linstor node-connection path create k0s-w1 k0s-ctrl witness mgmt mgmt
linstor node set-property k0s-w1 Aux/zone a
linstor storage-pool create lvm k0s-w1 pool_data data
linstor storage-pool create lvm k0s-w1 pool_nvme cache
linstor resource-group create rg-k8s --storage-pool pool_data --place-count 2 \
--replicas-on-different zone --layer-list drbd,writecache,storage
linstor resource-group set-property rg-k8s Writecache/PoolName pool_nvme
linstor resource-group set-property rg-k8s Writecache/Size 5%
linstor volume-group create rg-k8s
linstor resource-group spawn-resources rg-k8s tag05-a 1G
linstor --no-utf8 --no-color resource-group query-size-info rg-k8sLesen:
# auf k0s-ctrl
linstor --no-utf8 --no-color node list
linstor --no-utf8 --no-color node list-properties k0s-w2
linstor --no-utf8 --no-color node-connection list
linstor --no-utf8 --no-color storage-pool list -s pool_data pool_nvme | cut -c1-59
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
linstor --no-utf8 --no-color volume list -r $R | cut -d'|' -f3,6-11
linstor --no-utf8 --no-color resource-group list-properties rg-k8s
linstor --no-utf8 --no-color resource-definition list-properties $R
linstor --no-utf8 --no-color controller list-properties
linstor controller versionVon Hand, ohne Resource-Group (Tag 4, 12):
# auf k0s-ctrl
linstor resource-definition create tag12-probe
linstor volume-definition create tag12-probe 20G
linstor --no-utf8 --no-color resource create tag12-probe --auto-place 2 \
--storage-pool pool_data | grep 'Used nodes'
linstor resource create k0s-ctrl tag04-hand --drbd-diskless
linstor resource-definition delete tag12-probe- Mit
replicasOnDifferent Aux/zonelandet der Tiebreaker immer diskless auf der Witness; ohne Zonenregel oft auf einem Worker (Tag 5). - Die erste Kopie einer Ressource darf nicht diskless sein (Tag 4).
- Mit
--resource-groupangelegte Definitionen erben Layer, Writecache, Zonen und Quorum:resource-definition create … --resource-group rg-k8s(Tag 11). - Ab Tag 8 hat
rg-k8skeine Volume-Group mehr (der CSI-Treiber entfernt sie):spawn-resourceslegt dann Ressourcen ohne Volume an (Tag 8).
DRBD lesen und eingreifen (Tag 9, 11)
# auf k0s-w3
sudo drbdadm status $R
sudo drbdsetup status --verbose --statistics $R
sudo drbdsetup events2 --timestamps $R
sudo drbdsetup show $R
sudo drbdadm -d adjust $R
sudo drbdadm adjust $R
sudo drbdadm primary $R
sudo drbdadm secondary $R
sudo journalctl -k --since -3min | grep 'Split-Brain detected'| Feld | Bedeutung | Tag |
|---|---|---|
disk:UpToDate / Outdated /
Inconsistent |
eigene Kopie aktuell / veraltet / im Abgleich | 9 |
connection:Connecting / StandAlone |
sucht Partner / hat aufgegeben | 9, 11 |
quorum:no |
sieht keine Mehrheit | 11 |
suspended:quorum |
I/O angehalten (on-no-quorum suspend-io) |
11, 18 |
force-io-failures:yes |
abgesetzter alter Primary liefert I/O-Fehler | 10, 11 |
disk:Diskless client:no |
sollte Daten haben, Platte fehlt | 14 |
Split-Brain auflösen (Tag 11), erst auf beiden Seiten nur lesend einhängen:
Achtung:
--discard-my-dataverwirft unwiderruflich alle Änderungen dieses Nodes seit der Trennung – nur auf dem Verlierer.
# auf k0s-w2
sudo drbdadm disconnect sbtest
sudo drbdadm secondary sbtest
sudo drbdadm connect --discard-my-data sbtest# auf k0s-w1
sudo drbdadm connect sbtestQuorum einer Ressource (Tag 11):
# auf k0s-ctrl
linstor resource-definition drbd-options --quorum off sbtest
linstor resource-definition drbd-options --unset-quorum sbtestController-HA (Tag 6)
# auf k0s-w1
sudo drbd-reactorctl status linstor_db
sudo drbd-reactorctl evict linstor_db
sudo systemctl mask --runtime drbd-services@linstor_db.target
sudo systemctl unmask --runtime drbd-services@linstor_db.target
sudo drbdadm status linstor_db | grep Primary# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h: $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"; done
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
&& echo "VIP auf $h"; done
date +%T; until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T- Kette in
/etc/drbd-reactor.d/linstor_db.toml:linstor_dbPrimary → Mount/var/lib/linstor→ VIP 10.10.0.100 (IPaddr2) →linstor-controller. - Gezielt auf einen Node umziehen: auf dem unerwünschten Kandidaten
mask --runtime, auf dem aktivenevict, danachunmask(Tag 6, 10). - Kein
| headhinterevict– die geschlossene Pipe bricht es ab (Tag 15). drbd-reactorstoppen oder neu starten fährt auf dem aktiven Node die ganze Kette herunter (stop-services-on-exit); Konfiguration neu laden mitreload(Tag 16, 20).
Piraeus und CSI (Tag 7, 8, 15)
# auf k0s-ctrl
helm repo add piraeus-charts https://piraeus.io/helm-charts/
helm install linstor-cluster piraeus-charts/linstor-cluster --version 1.3.2 \
-n piraeus-datastore -f werte-1.yaml
helm upgrade linstor-cluster piraeus-charts/linstor-cluster --version 1.3.2 \
-n piraeus-datastore -f werte-4.yaml
helm -n piraeus-datastore get values linstor-cluster | grep -c 'piraeus-csi:v1.12.0'
kubectl -n piraeus-datastore get pods -l app.kubernetes.io/component=linstor-csi-node
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C,KEYS:.spec.drivers[*].topologyKeys"
linstor node set-property k0s-w1 Aux/topology/linbit.com/hostname k0s-w1
kubectl get sc linstor-replicated -o jsonpath='{.parameters}' \
| jq -r 'to_entries[] | "\(.key | sub(".*/"; "")) = \(.value)"'| Falle | Symptom | Lösung | Tag |
|---|---|---|---|
nodeSelector gilt auch für CSI |
CSI-Pods Pending |
null im podTemplate |
7 |
| kubelet-Pfad von k0s | Treiber nicht registriert | Pfade /var/lib/k0s/kubelet |
7 |
| Topologie-Eigenschaft fehlt | CSI-Node immer Sekunden alt | Aux/topology/linbit.com/hostname |
7, 20 |
SC nur mit resourceGroup |
1 Kopie, kein Writecache | alle Parameter in die SC | 8 |
| CSI zu neu für LINSTOR | CSI-Controller in CrashLoop | erst LINSTOR, dann CSI | 7, 15 |
- CSI v1.13 braucht LINSTOR ab 1.35 (REST-API 1.29), v1.12 läuft mit 1.34.
- Der Operator setzt am Controller u. a.
AutoEvictAllowEviction false; Änderungen von Hand setzt er nach etwa einer Minute zurück – dauerhaft überlinstorCluster.properties(Tag 7).
Wartung und Ausfall (Tag 10)
# auf k0s-ctrl
kubectl drain k0s-w3 --ignore-daemonsets --delete-emptydir-data
ssh k0s-w3 'sudo systemctl reboot'
ssh k0s-w3 uptime -s
kubectl uncordon k0s-w3
kubectl -n demo get events --field-selector involvedObject.name=pg-0 \
--sort-by=.lastTimestamp \
-o custom-columns=ZEIT:.lastTimestamp,GRUND:.reason,MELDUNG:.message
kubectl taint node k0s-w2 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute
kubectl taint node k0s-w2 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute-
kubectl get nodes -o custom-columns=NAME:.metadata.name,TAINTS:.spec.taints[*].key- Liegt der Controller auf dem Node: vorher
evict. - Nach
rebootzeigt LINSTOR noch bis zu gut einer MinuteOnline– mituptime -sprüfen, ob der Node wirklich neu gestartet ist. - Out-of-Service-Taint nur auf einen Node, der sicher aus ist, und nach seiner Rückkehr wieder entfernen (Tag 20, Runde 4).
Platz und Vergrößern (Tag 12)
# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
-p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'
kubectl -n kapazitaet describe pvc zu-gross | grep -m1 -o 'Not enough available nodes'Writecache-Gerät von Hand auf die neue Länge bringen, auf jedem Node mit Kopie:
# auf k0s-w1
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.table
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $DDanach nur auf dem Primary:
# auf k0s-w1
sudo drbdadm resize $K
sudo resize2fs $(sudo drbdadm sh-dev $K)- LINSTOR verlangt den vollen Zuwachs auch im Cache-Pool, und
dm-writecachewächst nicht mit (LINSTOR 1.34.2 und 1.35.3). - Ein PVC ist
Pending, wenn eine Zone keinen Node mit genug Platz hat – auch wenn die Summe reicht.
Plattentausch (Tag 14)
Achtung:
wipefsundvgremove -flöschen ohne Rückfrage – nur auf dem Node mit der defekten Platte, nursdb.
# auf k0s-w2
sudo dmsetup info -c -o name,open
sudo dmsetup remove linstor_writecache_${R}_00000
sudo dmsetup remove cache-${M}.cache_00000
sudo dmsetup remove data-${M}_00000
sudo vgremove -f data cache
sudo wipefs -a /dev/sdb1 /dev/sdb2 /dev/sdb# auf k0s-ctrl
linstor --no-utf8 --no-color resource list | grep -c SkipDisk
linstor resource set-property k0s-w2 $R DrbdOptions/SkipDisk
linstor resource set-property k0s-w2 linstor_db DrbdOptions/SkipDiskM=${R//-/--}: Device-Mapper verdoppelt Bindestriche im LV-Namen.- Die neue Platte bekommt dieselben VG-Namen (
data,cache) wie in Tag 0. DanachSkipDiskohne Wert setzen = löschen; LINSTOR legt die LVs neu an, Resync folgt.
Backup und Snapshots (Tag 13, 15)
# auf k0s-ctrl
velero -n velero backup-location get | cut -c1-70
velero -n velero backup create demo-1 --include-namespaces demo --wait
velero -n velero backup describe demo-1 --details --colorized=false
velero -n velero backup get | cut -c1-60
velero -n velero restore create demo-1-restore --from-backup demo-1 --wait
velero -n velero schedule create demo-taeglich --schedule="0 2 * * *" \
--include-namespaces demo --ttl 168h
velero -n velero backup create demo-move --include-namespaces demo \
--snapshot-volumes --snapshot-move-data --default-volumes-to-fs-backup=false --wait
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-
kubectl label volumesnapshotclass linstor-snapshots \
velero.io/csi-volumesnapshot-class=true- Dateibasiertes Backup einer laufenden Datenbank ist nicht
absturzkonsistent – Pre-Hook mit
pg_dumpoder CSI-Snapshot (Tag 13). - Snapshots mit thick LVM erst ab LINSTOR 1.35
(
CanSnapshots True). - CSI-Snapshots in Velero 1.18 nur mit
configuration.features: EnableCSI(Tag 15).
Updates (Tag 15)
Reihenfolge: Backup → Satellites (Witness zuletzt vor dem Controller)
→ aktiven Controller-Node erst nach evict → CSI → Kernel
Node für Node → k0s.
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h 'echo $(hostname) \
$(dpkg-query -W linstor-satellite | cut -f2) $(cat /sys/module/drbd/version) \
$(uname -r)'; done
linstor --no-utf8 --no-color node list | cut -d'|' -f2,5,6- Ein aktualisierter Satellite zeigt
OFFLINE(VERSION MISMATCH), bis der Controller dieselbe Version hat; DRBD läuft unberührt weiter. - Der erste Start einer neuen Controller-Version migriert die
Datenbank (API-Pause gut 35 s), alte Stände liegen als
auto_db_export_*.json.gzin/var/lib/linstor.
Ansible (Tag 16)
# auf k0s-ctrl
ansible all -m ping -o
ansible-inventory --graph
ansible-playbook site.yml --check --diff | tail -5
ansible-playbook site.yml --limit k0s-w3 --check --diff
ansible-playbook site.yml | tail -5
ansible linstor_satellites -m command -a 'dpkg-query -W linstor-satellite' -o- Zweimal
changed=0heißt idempotent.--checküberspringtcommand-Aufgaben. - Nicht in die Rollen: Registrierung, Pools, Resource-Groups, DB-Umzug, Dienststart des Controllers.
Überwachung (Tag 17, 18)
# auf k0s-ctrl
kubectl -n monitoring port-forward svc/kps-prometheus 9090:9090
kubectl -n monitoring port-forward svc/kps-grafana 3000:80
kubectl -n monitoring port-forward svc/kps-alertmanager 9093:9093
kubectl -n monitoring port-forward svc/loki 3100:3100
kubectl -n monitoring port-forward svc/mailpit 8025:8025# auf k0s-ctrl
curl -s localhost:9090/api/v1/query --data-urlencode 'query=up{job=~"linstor.*"}' \
| jq -r '.data.result[] | "\(.metric.job) \(.metric.instance) \(.value[1])"'
curl -s localhost:9090/api/v1/alerts | jq -r '.data.alerts[]
| select(.labels.team=="storage")
| "\(.labels.alertname) \(.labels.severity) \(.state) \(.annotations.summary)"'
curl -s localhost:8025/api/v1/messages | jq -r '.messages[] | .Subject[0:60]'
curl -sG localhost:3100/loki/api/v1/query_range --data-urlencode 'since=10m' \
--data-urlencode 'query={transport="kernel", host="k0s-w1"} |~ "PingAck|susp-io"' \
| jq -r '.data.result[].values[][1]' | cut -c1-80
promtool check rules regeln.yaml
promtool test rules regeln-test.yaml| Quelle | Adresse | Inhalt |
|---|---|---|
| drbd-reactor | jeder Host :9942/metrics |
Ist-Zustand DRBD |
| LINSTOR-Controller | VIP 10.10.0.100:3370/metrics |
Soll, Nodes, Pools, Fehlerberichte |
| Loki | Journal und Kernel-Log über Alloy | Meldungen wie PingAck, susp-io |
suspendedund Quorum-Verlust nur auf dem Primarycritical; auf einem Secondary setzt DRBDsusp-ioebenfalls, die Anwendung merkt davon nichts (Tag 18).
Fehlerbilder
| Symptom | Erster Befehl | Häufige Ursache | Tag |
|---|---|---|---|
| Drei Controller laufen | systemctl is-active linstor-controller |
nach Installation aktiv | 3 |
Witness-Verbindung Connecting |
linstor node-connection list |
Pfad witness fehlt |
4 |
ImplementationError beim Anlegen |
linstor error-reports list |
erste Kopie diskless | 4, 9 |
| Tiebreaker auf einem Worker | linstor resource list -r <res> |
keine Zonenregel | 5 |
| API weg, Kette steht | drbd-reactorctl status linstor_db |
drbd-reactor gestoppt | 6, 20 |
CSI-Pods Pending |
kubectl describe pod |
nodeSelector des Operators |
7 |
| Volume mit 1 Kopie, ohne Cache | linstor resource list -r $R |
SC nur mit resourceGroup |
8 |
LINSTOR Unknown, DRBD gesund |
drbdadm status auf dem Node |
Ressource down |
9, 20 |
Satellite OFFLINE, Daten laufen |
systemctl status linstor-satellite |
Dienst gestoppt | 9, 20 |
Pod hängt in Terminating |
kubectl get node |
Node weg, Taint fehlt | 10 |
| Mount scheitert nach Boot | Events FailedMount |
CSI noch nicht registriert | 10 |
| Kurze Schreibpause von ~10 s | drbdadm status |
Partner weg, ping-int |
11 |
StandAlone auf beiden Seiten |
journalctl -k, Split-Brain |
ohne Quorum getrennt | 11, 20 |
PVC größer, df nicht |
dmsetup table, blockdev --getsz |
Writecache wächst nicht | 12, 20 |
PVC Pending trotz Platz |
kubectl describe pvc |
Zone ohne Platz oder offline | 12, 20 |
| Snapshot scheitert | linstor storage-pool list |
thick LVM vor 1.35 | 13 |
Kopie Diskless, SkipDisk |
linstor resource list --faulty |
Platte defekt | 14 |
OFFLINE(VERSION MISMATCH) |
linstor node list |
Versionsmix beim Update | 15 |
| CSI-Controller CrashLoop | Log linstor-csi |
CSI neuer als LINSTOR-API | 7, 15 |
Connecting zwischen zwei Nodes |
sudo iptables -S (Ports 7000:7999) |
Firewall-Rest | 20 |
Ports
| Port | Dienst | Wer verbindet sich | Tag |
|---|---|---|---|
| 3366/tcp | LINSTOR-Satellite | der Controller | 3 |
| 3370/tcp | LINSTOR-Controller (REST, Metriken) | Client, CSI, Prometheus | 3, 17 |
| 7000–7999/tcp | DRBD, ein Port je Ressource und Node | die anderen Nodes | 4 |
| 9942/tcp | drbd-reactor Prometheus | Prometheus | 17 |
| 8333/tcp | SeaweedFS S3 auf k0s-ctrl |
Velero | 13 |
| 3000, 3100, 8025, 9090, 9093 | Grafana, Loki, Mailpit, Prometheus, Alertmanager | Port-Forward | 17, 18 |
Wichtige Dateien
| Datei | Host | Inhalt | Tag |
|---|---|---|---|
/etc/netplan/60-storage.yaml |
Worker | Storage-Netz | 0 |
~/k0s-lab/tag15/k0sctl.yaml |
k0s-ctrl |
k0s-Cluster, Version | 1, 15 |
/etc/linstor/linstor-client.conf |
alle | Controller-Adressen für den Client | 4, 6 |
/etc/drbd-reactor.d/linstor_db.toml |
Kandidaten | Promoter-Kette mit VIP | 6 |
/etc/drbd-reactor.d/prometheus.toml |
alle | Metriken auf :9942 |
17 |
/var/lib/linstor |
aktiver Controller | Controller-DB auf linstor_db |
6, 15 |
~/k0s-lab/tag15/werte-4.yaml |
k0s-ctrl |
Helm-Werte Piraeus mit CSI v1.13.2 | 15 |