Zum Inhalt springen
Trainingslager IT-Trainingslager

Anhang A: Spickzettel

Die wichtigsten Befehle aus Tag 0 bis 20, nach Thema geordnet. Die Tage stehen in Klammern. Platzhalter wie $R oder $K (Ressourcenname eines PVC) und $L (LINSTOR-Version, Tag 3) setzt du vorher; IPs sind die des Labors. Alle Befehle laufen auf k0s-ctrl, sofern die erste Zeile nichts anderes sagt. Werte wie lab-pg-123 sind Laborwerte.

Messen (Tag 8, 10)

Das Messgerät des ganzen Buchs: pg-client schreibt jede Sekunde und meldet ok oder FEHLER.

# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=3
kubectl -n demo logs deploy/pg-client --since=5m | grep -c FEHLER
kubectl -n demo logs deploy/pg-client | uniq -c -f1
kubectl -n demo logs -f deploy/pg-client --since=1s > puls-wartung.log &
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'

Zwei Zahlen reichen fürs Lagebild: FEHLER im Messgerät und Zeilen in --faulty. Beide 0 heißt: Anwendung schreibt, alle Kopien gesund.

Gelände und Netze (Tag 0)

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h 'hostname; ip -br -4 addr show ens19'; done
ssh k0s-w1 'ip route get 10.10.0.13; ping -c2 -W1 -q 10.10.0.13 | tail -1'
# auf k0s-w1
sudo netplan apply
sudo parted -s /dev/sdb mklabel gpt mkpart data 1MiB 30GiB mkpart cache 30GiB 100%
sudo pvcreate /dev/sdb1 /dev/sdb2
sudo vgcreate data /dev/sdb1
sudo vgcreate cache /dev/sdb2
  • Storage-Netz 10.10.0.0/24 ohne Gateway auf ens19 (/etc/netplan/60-storage.yaml, Rechte 600), k0s-ctrl dort ohne Adresse.
  • Immer erst lsblk – die Datenplatte heißt nicht überall sdb.

k0s und k0sctl (Tag 1, 2, 15)

# auf k0s-ctrl
k0sctl apply --config k0sctl.yaml
k0sctl apply --config k0sctl.yaml --dry-run 2>&1 | grep dry-run: | cut -c1-80
k0sctl apply --config k0sctl.yaml --concurrency 1 2>&1 | tee apply.log
k0sctl kubeconfig --config k0sctl.yaml > ~/.kube/config
sudo k0s status | grep -E '^(Version|Role)'
sudo k0s etcd member-list
ssh k0s-w1 sudo k0s status
ssh k0s-w1 'sudo k0s sysinfo | grep -v "(pass)"'
ssh k0s-w1 'sudo k0s ctr -n k8s.io tasks ls | grep -c RUNNING'
ssh k0s-w1 "systemctl list-units 'k0s*' --no-legend"
  • Dienste: k0scontroller auf dem Controller, k0sworker auf den Workern. Konfiguration nur über k0sctl.yaml und k0sctl apply, nie von Hand auf dem Host.
  • kubelet-Pfad von k0s: /var/lib/k0s/kubelet – wichtig für CSI (Tag 7) und den Velero-Node-Agent (Tag 13).
  • Version wechseln: spec.k0s.version in k0sctl.yaml, dann apply --concurrency 1.

Pakete (Tag 3, 15)

# auf k0s-w1
sudo add-apt-repository -y ppa:linbit/linbit-drbd9-stack
sudo apt-get install -y linux-headers-$(uname -r) drbd-dkms drbd-utils \
  drbd-reactor linstor-client thin-provisioning-tools default-jre-headless
sudo apt-get install -y ./linstor-common_${L}_all.deb ./linstor-satellite_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite drbd-dkms drbd-utils
sudo modprobe drbd
cat /proc/drbd
dkms status
sudo lvmconfig devices/global_filter
  • LINSTOR-Server immer in fester Version aus packages.linbit.com (trixie/misc), Prüfsumme gegen den Paketindex, danach apt-mark hold.
  • Nach der Installation läuft auf jedem Kandidaten ein Controller: sudo systemctl disable --now linstor-controller (Tag 3).
  • Vor einem Kernel-Neustart zwei Zeilen in dkms status – sonst kommt DRBD nicht hoch.

LINSTOR-Cluster (Tag 4, 5)

# auf k0s-ctrl
linstor node create k0s-w1 10.10.0.11 --node-type satellite
linstor node create k0s-ctrl 172.16.0.176 --node-type satellite
linstor node interface create k0s-w1 mgmt 172.16.0.186
linstor node-connection path create k0s-w1 k0s-ctrl witness mgmt mgmt
linstor node set-property k0s-w1 Aux/zone a
linstor storage-pool create lvm k0s-w1 pool_data data
linstor storage-pool create lvm k0s-w1 pool_nvme cache
linstor resource-group create rg-k8s --storage-pool pool_data --place-count 2 \
  --replicas-on-different zone --layer-list drbd,writecache,storage
linstor resource-group set-property rg-k8s Writecache/PoolName pool_nvme
linstor resource-group set-property rg-k8s Writecache/Size 5%
linstor volume-group create rg-k8s
linstor resource-group spawn-resources rg-k8s tag05-a 1G
linstor --no-utf8 --no-color resource-group query-size-info rg-k8s

Lesen:

# auf k0s-ctrl
linstor --no-utf8 --no-color node list
linstor --no-utf8 --no-color node list-properties k0s-w2
linstor --no-utf8 --no-color node-connection list
linstor --no-utf8 --no-color storage-pool list -s pool_data pool_nvme | cut -c1-59
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110
linstor --no-utf8 --no-color volume list -r $R | cut -d'|' -f3,6-11
linstor --no-utf8 --no-color resource-group list-properties rg-k8s
linstor --no-utf8 --no-color resource-definition list-properties $R
linstor --no-utf8 --no-color controller list-properties
linstor controller version

Von Hand, ohne Resource-Group (Tag 4, 12):

# auf k0s-ctrl
linstor resource-definition create tag12-probe
linstor volume-definition create tag12-probe 20G
linstor --no-utf8 --no-color resource create tag12-probe --auto-place 2 \
  --storage-pool pool_data | grep 'Used nodes'
linstor resource create k0s-ctrl tag04-hand --drbd-diskless
linstor resource-definition delete tag12-probe
  • Mit replicasOnDifferent Aux/zone landet der Tiebreaker immer diskless auf der Witness; ohne Zonenregel oft auf einem Worker (Tag 5).
  • Die erste Kopie einer Ressource darf nicht diskless sein (Tag 4).
  • Mit --resource-group angelegte Definitionen erben Layer, Writecache, Zonen und Quorum: resource-definition create … --resource-group rg-k8s (Tag 11).
  • Ab Tag 8 hat rg-k8s keine Volume-Group mehr (der CSI-Treiber entfernt sie): spawn-resources legt dann Ressourcen ohne Volume an (Tag 8).

DRBD lesen und eingreifen (Tag 9, 11)

# auf k0s-w3
sudo drbdadm status $R
sudo drbdsetup status --verbose --statistics $R
sudo drbdsetup events2 --timestamps $R
sudo drbdsetup show $R
sudo drbdadm -d adjust $R
sudo drbdadm adjust $R
sudo drbdadm primary $R
sudo drbdadm secondary $R
sudo journalctl -k --since -3min | grep 'Split-Brain detected'
Feld Bedeutung Tag
disk:UpToDate / Outdated / Inconsistent eigene Kopie aktuell / veraltet / im Abgleich 9
connection:Connecting / StandAlone sucht Partner / hat aufgegeben 9, 11
quorum:no sieht keine Mehrheit 11
suspended:quorum I/O angehalten (on-no-quorum suspend-io) 11, 18
force-io-failures:yes abgesetzter alter Primary liefert I/O-Fehler 10, 11
disk:Diskless client:no sollte Daten haben, Platte fehlt 14

Split-Brain auflösen (Tag 11), erst auf beiden Seiten nur lesend einhängen:

Achtung: --discard-my-data verwirft unwiderruflich alle Änderungen dieses Nodes seit der Trennung – nur auf dem Verlierer.

# auf k0s-w2
sudo drbdadm disconnect sbtest
sudo drbdadm secondary sbtest
sudo drbdadm connect --discard-my-data sbtest
# auf k0s-w1
sudo drbdadm connect sbtest

Quorum einer Ressource (Tag 11):

# auf k0s-ctrl
linstor resource-definition drbd-options --quorum off sbtest
linstor resource-definition drbd-options --unset-quorum sbtest

Controller-HA (Tag 6)

# auf k0s-w1
sudo drbd-reactorctl status linstor_db
sudo drbd-reactorctl evict linstor_db
sudo systemctl mask --runtime drbd-services@linstor_db.target
sudo systemctl unmask --runtime drbd-services@linstor_db.target
sudo drbdadm status linstor_db | grep Primary
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h: $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"; done
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
  && echo "VIP auf $h"; done
date +%T; until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T
  • Kette in /etc/drbd-reactor.d/linstor_db.toml: linstor_db Primary → Mount /var/lib/linstor → VIP 10.10.0.100 (IPaddr2) → linstor-controller.
  • Gezielt auf einen Node umziehen: auf dem unerwünschten Kandidaten mask --runtime, auf dem aktiven evict, danach unmask (Tag 6, 10).
  • Kein | head hinter evict – die geschlossene Pipe bricht es ab (Tag 15).
  • drbd-reactor stoppen oder neu starten fährt auf dem aktiven Node die ganze Kette herunter (stop-services-on-exit); Konfiguration neu laden mit reload (Tag 16, 20).

Piraeus und CSI (Tag 7, 8, 15)

# auf k0s-ctrl
helm repo add piraeus-charts https://piraeus.io/helm-charts/
helm install linstor-cluster piraeus-charts/linstor-cluster --version 1.3.2 \
  -n piraeus-datastore -f werte-1.yaml
helm upgrade linstor-cluster piraeus-charts/linstor-cluster --version 1.3.2 \
  -n piraeus-datastore -f werte-4.yaml
helm -n piraeus-datastore get values linstor-cluster | grep -c 'piraeus-csi:v1.12.0'
kubectl -n piraeus-datastore get pods -l app.kubernetes.io/component=linstor-csi-node
C='NODE:.metadata.name,DRIVERS:.spec.drivers[*].name'
kubectl get csinodes -o "custom-columns=$C,KEYS:.spec.drivers[*].topologyKeys"
linstor node set-property k0s-w1 Aux/topology/linbit.com/hostname k0s-w1
kubectl get sc linstor-replicated -o jsonpath='{.parameters}' \
  | jq -r 'to_entries[] | "\(.key | sub(".*/"; "")) = \(.value)"'
Falle Symptom Lösung Tag
nodeSelector gilt auch für CSI CSI-Pods Pending null im podTemplate 7
kubelet-Pfad von k0s Treiber nicht registriert Pfade /var/lib/k0s/kubelet 7
Topologie-Eigenschaft fehlt CSI-Node immer Sekunden alt Aux/topology/linbit.com/hostname 7, 20
SC nur mit resourceGroup 1 Kopie, kein Writecache alle Parameter in die SC 8
CSI zu neu für LINSTOR CSI-Controller in CrashLoop erst LINSTOR, dann CSI 7, 15
  • CSI v1.13 braucht LINSTOR ab 1.35 (REST-API 1.29), v1.12 läuft mit 1.34.
  • Der Operator setzt am Controller u. a. AutoEvictAllowEviction false; Änderungen von Hand setzt er nach etwa einer Minute zurück – dauerhaft über linstorCluster.properties (Tag 7).

Wartung und Ausfall (Tag 10)

# auf k0s-ctrl
kubectl drain k0s-w3 --ignore-daemonsets --delete-emptydir-data
ssh k0s-w3 'sudo systemctl reboot'
ssh k0s-w3 uptime -s
kubectl uncordon k0s-w3
kubectl -n demo get events --field-selector involvedObject.name=pg-0 \
  --sort-by=.lastTimestamp \
  -o custom-columns=ZEIT:.lastTimestamp,GRUND:.reason,MELDUNG:.message
kubectl taint node k0s-w2 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute
kubectl taint node k0s-w2 node.kubernetes.io/out-of-service=nodeshutdown:NoExecute-
kubectl get nodes -o custom-columns=NAME:.metadata.name,TAINTS:.spec.taints[*].key
  • Liegt der Controller auf dem Node: vorher evict.
  • Nach reboot zeigt LINSTOR noch bis zu gut einer Minute Online – mit uptime -s prüfen, ob der Node wirklich neu gestartet ist.
  • Out-of-Service-Taint nur auf einen Node, der sicher aus ist, und nach seiner Rückkehr wieder entfernen (Tag 20, Runde 4).

Platz und Vergrößern (Tag 12)

# auf k0s-ctrl
kubectl -n kapazitaet patch pvc klein \
  -p '{"spec":{"resources":{"requests":{"storage":"2Gi"}}}}'
kubectl -n kapazitaet describe pvc zu-gross | grep -m1 -o 'Not enough available nodes'

Writecache-Gerät von Hand auf die neue Länge bringen, auf jedem Node mit Kopie:

# auf k0s-w1
D=linstor_writecache_${K}_00000
N=$(sudo blockdev --getsz /dev/data/${K}_00000)
sudo dmsetup table $D | awk -v n=$N '{$2 = n; print}' > /tmp/neu.table
cat /tmp/neu.table
sudo dmsetup suspend $D
sudo dmsetup reload $D /tmp/neu.table
sudo dmsetup resume $D

Danach nur auf dem Primary:

# auf k0s-w1
sudo drbdadm resize $K
sudo resize2fs $(sudo drbdadm sh-dev $K)
  • LINSTOR verlangt den vollen Zuwachs auch im Cache-Pool, und dm-writecache wächst nicht mit (LINSTOR 1.34.2 und 1.35.3).
  • Ein PVC ist Pending, wenn eine Zone keinen Node mit genug Platz hat – auch wenn die Summe reicht.

Plattentausch (Tag 14)

Achtung: wipefs und vgremove -f löschen ohne Rückfrage – nur auf dem Node mit der defekten Platte, nur sdb.

# auf k0s-w2
sudo dmsetup info -c -o name,open
sudo dmsetup remove linstor_writecache_${R}_00000
sudo dmsetup remove cache-${M}.cache_00000
sudo dmsetup remove data-${M}_00000
sudo vgremove -f data cache
sudo wipefs -a /dev/sdb1 /dev/sdb2 /dev/sdb
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list | grep -c SkipDisk
linstor resource set-property k0s-w2 $R DrbdOptions/SkipDisk
linstor resource set-property k0s-w2 linstor_db DrbdOptions/SkipDisk
  • M=${R//-/--}: Device-Mapper verdoppelt Bindestriche im LV-Namen.
  • Die neue Platte bekommt dieselben VG-Namen (data, cache) wie in Tag 0. Danach SkipDisk ohne Wert setzen = löschen; LINSTOR legt die LVs neu an, Resync folgt.

Backup und Snapshots (Tag 13, 15)

# auf k0s-ctrl
velero -n velero backup-location get | cut -c1-70
velero -n velero backup create demo-1 --include-namespaces demo --wait
velero -n velero backup describe demo-1 --details --colorized=false
velero -n velero backup get | cut -c1-60
velero -n velero restore create demo-1-restore --from-backup demo-1 --wait
velero -n velero schedule create demo-taeglich --schedule="0 2 * * *" \
  --include-namespaces demo --ttl 168h
velero -n velero backup create demo-move --include-namespaces demo \
  --snapshot-volumes --snapshot-move-data --default-volumes-to-fs-backup=false --wait
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-
kubectl label volumesnapshotclass linstor-snapshots \
  velero.io/csi-volumesnapshot-class=true
  • Dateibasiertes Backup einer laufenden Datenbank ist nicht absturzkonsistent – Pre-Hook mit pg_dump oder CSI-Snapshot (Tag 13).
  • Snapshots mit thick LVM erst ab LINSTOR 1.35 (CanSnapshots True).
  • CSI-Snapshots in Velero 1.18 nur mit configuration.features: EnableCSI (Tag 15).

Updates (Tag 15)

Reihenfolge: Backup → Satellites (Witness zuletzt vor dem Controller) → aktiven Controller-Node erst nach evict → CSI → Kernel Node für Node → k0s.

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h 'echo $(hostname) \
  $(dpkg-query -W linstor-satellite | cut -f2) $(cat /sys/module/drbd/version) \
  $(uname -r)'; done
linstor --no-utf8 --no-color node list | cut -d'|' -f2,5,6
  • Ein aktualisierter Satellite zeigt OFFLINE(VERSION MISMATCH), bis der Controller dieselbe Version hat; DRBD läuft unberührt weiter.
  • Der erste Start einer neuen Controller-Version migriert die Datenbank (API-Pause gut 35 s), alte Stände liegen als auto_db_export_*.json.gz in /var/lib/linstor.

Ansible (Tag 16)

# auf k0s-ctrl
ansible all -m ping -o
ansible-inventory --graph
ansible-playbook site.yml --check --diff | tail -5
ansible-playbook site.yml --limit k0s-w3 --check --diff
ansible-playbook site.yml | tail -5
ansible linstor_satellites -m command -a 'dpkg-query -W linstor-satellite' -o
  • Zweimal changed=0 heißt idempotent. --check überspringt command-Aufgaben.
  • Nicht in die Rollen: Registrierung, Pools, Resource-Groups, DB-Umzug, Dienststart des Controllers.

Überwachung (Tag 17, 18)

# auf k0s-ctrl
kubectl -n monitoring port-forward svc/kps-prometheus 9090:9090
kubectl -n monitoring port-forward svc/kps-grafana 3000:80
kubectl -n monitoring port-forward svc/kps-alertmanager 9093:9093
kubectl -n monitoring port-forward svc/loki 3100:3100
kubectl -n monitoring port-forward svc/mailpit 8025:8025
# auf k0s-ctrl
curl -s localhost:9090/api/v1/query --data-urlencode 'query=up{job=~"linstor.*"}' \
  | jq -r '.data.result[] | "\(.metric.job) \(.metric.instance) \(.value[1])"'
curl -s localhost:9090/api/v1/alerts | jq -r '.data.alerts[]
  | select(.labels.team=="storage")
  | "\(.labels.alertname) \(.labels.severity) \(.state) \(.annotations.summary)"'
curl -s localhost:8025/api/v1/messages | jq -r '.messages[] | .Subject[0:60]'
curl -sG localhost:3100/loki/api/v1/query_range --data-urlencode 'since=10m' \
  --data-urlencode 'query={transport="kernel", host="k0s-w1"} |~ "PingAck|susp-io"' \
  | jq -r '.data.result[].values[][1]' | cut -c1-80
promtool check rules regeln.yaml
promtool test rules regeln-test.yaml
Quelle Adresse Inhalt
drbd-reactor jeder Host :9942/metrics Ist-Zustand DRBD
LINSTOR-Controller VIP 10.10.0.100:3370/metrics Soll, Nodes, Pools, Fehlerberichte
Loki Journal und Kernel-Log über Alloy Meldungen wie PingAck, susp-io
  • suspended und Quorum-Verlust nur auf dem Primary critical; auf einem Secondary setzt DRBD susp-io ebenfalls, die Anwendung merkt davon nichts (Tag 18).

Fehlerbilder

Symptom Erster Befehl Häufige Ursache Tag
Drei Controller laufen systemctl is-active linstor-controller nach Installation aktiv 3
Witness-Verbindung Connecting linstor node-connection list Pfad witness fehlt 4
ImplementationError beim Anlegen linstor error-reports list erste Kopie diskless 4, 9
Tiebreaker auf einem Worker linstor resource list -r <res> keine Zonenregel 5
API weg, Kette steht drbd-reactorctl status linstor_db drbd-reactor gestoppt 6, 20
CSI-Pods Pending kubectl describe pod nodeSelector des Operators 7
Volume mit 1 Kopie, ohne Cache linstor resource list -r $R SC nur mit resourceGroup 8
LINSTOR Unknown, DRBD gesund drbdadm status auf dem Node Ressource down 9, 20
Satellite OFFLINE, Daten laufen systemctl status linstor-satellite Dienst gestoppt 9, 20
Pod hängt in Terminating kubectl get node Node weg, Taint fehlt 10
Mount scheitert nach Boot Events FailedMount CSI noch nicht registriert 10
Kurze Schreibpause von ~10 s drbdadm status Partner weg, ping-int 11
StandAlone auf beiden Seiten journalctl -k, Split-Brain ohne Quorum getrennt 11, 20
PVC größer, df nicht dmsetup table, blockdev --getsz Writecache wächst nicht 12, 20
PVC Pending trotz Platz kubectl describe pvc Zone ohne Platz oder offline 12, 20
Snapshot scheitert linstor storage-pool list thick LVM vor 1.35 13
Kopie Diskless, SkipDisk linstor resource list --faulty Platte defekt 14
OFFLINE(VERSION MISMATCH) linstor node list Versionsmix beim Update 15
CSI-Controller CrashLoop Log linstor-csi CSI neuer als LINSTOR-API 7, 15
Connecting zwischen zwei Nodes sudo iptables -S (Ports 7000:7999) Firewall-Rest 20

Ports

Port Dienst Wer verbindet sich Tag
3366/tcp LINSTOR-Satellite der Controller 3
3370/tcp LINSTOR-Controller (REST, Metriken) Client, CSI, Prometheus 3, 17
7000–7999/tcp DRBD, ein Port je Ressource und Node die anderen Nodes 4
9942/tcp drbd-reactor Prometheus Prometheus 17
8333/tcp SeaweedFS S3 auf k0s-ctrl Velero 13
3000, 3100, 8025, 9090, 9093 Grafana, Loki, Mailpit, Prometheus, Alertmanager Port-Forward 17, 18

Wichtige Dateien

Datei Host Inhalt Tag
/etc/netplan/60-storage.yaml Worker Storage-Netz 0
~/k0s-lab/tag15/k0sctl.yaml k0s-ctrl k0s-Cluster, Version 1, 15
/etc/linstor/linstor-client.conf alle Controller-Adressen für den Client 4, 6
/etc/drbd-reactor.d/linstor_db.toml Kandidaten Promoter-Kette mit VIP 6
/etc/drbd-reactor.d/prometheus.toml alle Metriken auf :9942 17
/var/lib/linstor aktiver Controller Controller-DB auf linstor_db 6, 15
~/k0s-lab/tag15/werte-4.yaml k0s-ctrl Helm-Werte Piraeus mit CSI v1.13.2 15