Tag 15: Updates – LINSTOR, CSI, Kernel, k0s
Ziel: Du hebst LINSTOR von 1.34.2 auf 1.35.3, den CSI-Treiber von v1.12.0 auf v1.13.2, den Kernel mit neu gebautem DRBD-Modul und k0s von 1.36 auf 1.37 – in der richtigen Reihenfolge und ohne die Datenbank zu verlieren. Danach holst du die Snapshots aus Tag 13 nach. · Dauer: ca. 90 min · Voraussetzung: Tag 14
Briefing
- Erst LINSTOR, dann CSI: CSI v1.13 verlangt die REST-API 1.29, die erst LINSTOR 1.35 mitbringt (Tag 7).
- LINSTOR Node für Node: Satellites mit anderer
Version als der Controller sind
OFFLINE, DRBD läuft weiter. Den Node mit dem aktiven Controller zuletzt, vorherevict. - Kernel: DKMS baut das DRBD-Modul für den neuen Kernel beim Installieren. Installieren darfst du überall vorab, neu starten nur Node für Node (Tag 10).
- k0s:
k0sctl applymit neuer Version, ein Worker nach dem anderen. - Vor allem anderen: eine frische Sicherung.
Backup -> LINSTOR (w2, w3, ctrl, evict, aktiver Node) -> CSI v1.13.2
-> Kernel (installieren überall, reboot einzeln) -> k0s 1.37 -> Snapshots
Drill 1: Bestandsaufnahme
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag15 && cd ~/k0s-lab/tag15
velero -n velero backup create vor-update --include-namespaces demo --wait
linstor controller version
ssh k0s-w2 'curl -s http://10.10.0.100:3370/v1/controller/version' | tr ',' '\n'
kubectl -n piraeus-datastore get deploy linstor-csi-controller \
-o jsonpath='{.spec.template.spec.containers[?(@.name=="linstor-csi")].image}{"\n"}'
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"
done | grep 'this node'Erwartet (gekürzt):
Backup completed with status: Completed. ...
linstor controller 1.34.2; GIT-hash: 92d55e45f88b4ef96f5ee468677f395513b2eee2
{"version":"1.34.2"
...
"rest_api_version":"1.28.0"}
quay.io/piraeusdatastore/piraeus-csi:v1.12.0
k0s-w1 Promoter: Resource linstor_db currently active on this node
Die VIP liegt im Storage-Netz – curl darauf geht von
einem Worker, nicht von k0s-ctrl. Wo der Controller bei dir
läuft, bestimmt die Reihenfolge unten.
| LINSTOR | REST-API | passender CSI-Treiber |
|---|---|---|
| 1.34.2 | 1.28.0 | v1.12.x |
| 1.35.3 | 1.29.1 | v1.13.x |
Die falsche Reihenfolge kennst du aus Tag 7: CSI v1.13.2 gegen
LINSTOR 1.34.2 endet in CrashLoopBackOff mit
level=fatal msg="LINSTOR 1.34.2 (REST API 1.28.0) is not supported: the driver requires
REST API 1.29 or newer in the 1.x series, shipped with LINSTOR 1.35"
Laufende Volumes überleben das, aber neue PVCs, Mounts nach einem
Pod-Neustart und Vergrößerungen gehen nicht. Der Pin auf v1.12.0 in
werte-3.yaml fällt deshalb erst nach dem
LINSTOR-Update.
Fortschritt speichern? Kostenlos registrieren
Drill 2: LINSTOR Node für Node
Wie an Tag 3 aus dem trixie-Pool, gegen den Paketindex geprüft – auf
allen vier Hosts, auf k0s-ctrl ohne
linstor-controller:
# auf k0s-w1
cd ~/debs
B=https://packages.linbit.com/public/dists/trixie/misc/pool
L=1.35.3-1
curl -sSfLO $B/linstor-common_${L}_all.deb
curl -sSfLO $B/linstor-satellite_${L}_all.deb
curl -sSfLO $B/linstor-controller_${L}_all.deb
ARCH=$(dpkg --print-architecture)
curl -sSfLo Packages \
https://packages.linbit.com/public/dists/trixie/misc/binary-$ARCH/Packages
grep -A4 "linstor-[a-z]*_${L}_all.deb" Packages \
| awk '/Filename/ {sub(/.*\//, "", $2); f=$2} /SHA256/ {print $2 " " f}' \
| sha256sum -c --ignore-missingErwartet:
linstor-common_1.35.3-1_all.deb: OK
linstor-controller_1.35.3-1_all.deb: OK
linstor-satellite_1.35.3-1_all.deb: OK
Wiederhole das auf k0s-w2, k0s-w3 und
k0s-ctrl (dort ohne die Controller-Zeile;
--ignore-missing überspringt das fehlende Paket).
Dann das Update, zuerst auf einem Node ohne aktiven Controller:
# auf k0s-w2
cd ~/debs
L=1.35.3-1
sudo apt-mark unhold linstor-common linstor-satellite linstor-controller
sudo apt-get install -y ./linstor-common_${L}_all.deb \
./linstor-satellite_${L}_all.deb ./linstor-controller_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite linstor-controller
systemctl is-active linstor-satellite
systemctl is-enabled linstor-controllerErwartet (gekürzt):
Setting up linstor-common (1.35.3-1) ...
Setting up linstor-satellite (1.35.3-1) ...
Setting up linstor-controller (1.35.3-1) ...
linstor-common set on hold.
...
active
disabled
linstor-controller bleibt disabled –
drbd-reactor behält die Kontrolle. Die Sicht des Controllers:
# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,5,6
ssh k0s-w2 'sudo drbdadm status linstor_db | head -2'Erwartet:
Node | Addresses | State
======================================================================
k0s-ctrl | 172.16.0.176:3366 (PLAIN) | Online
k0s-w1 | 10.10.0.11:3366 (PLAIN) | Online
k0s-w2 | 10.10.0.12:3366 (PLAIN) | OFFLINE(VERSION MISMATCH)
k0s-w3 | 10.10.0.13:3366 (PLAIN) | Online
linstor_db role:Secondary
disk:UpToDate open:no
Der Controller (1.34.2) redet nicht mit dem Satellite (1.35.3), DRBD
repliziert davon unberührt weiter. Dasselbe auf k0s-w3,
dann auf der Witness ohne Controller-Paket:
# auf k0s-ctrl
cd ~/debs
L=1.35.3-1
sudo apt-mark unhold linstor-common linstor-satellite
sudo apt-get install -y ./linstor-common_${L}_all.deb ./linstor-satellite_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satelliteJetzt der Node mit dem aktiven Controller. Erst abgeben, dann tauschen – sonst stoppt das Paket den laufenden Controller, und drbd-reactor fährt ungeplant die ganze Kette herunter.
Achtung: Hänge kein
| headanevict. Im Labor hat die geschlossene Pipe den Befehl nach der ersten Zeile abgebrochen – es wurde nichts abgegeben.
# auf k0s-w1
sudo drbd-reactorctl evict linstor_dbErwartet (gekürzt):
Evicting linstor_db
20..19..
Node 'k0s-w3' took over
Re-enabling linstor_db
# auf k0s-ctrl
date +%T; until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T
linstor controller versionErwartet:
02:58:15
02:58:51
linstor controller 1.35.3; GIT-hash: 75d5fa72d504ccfe55c421ccccda9505af8371f8
Ab dem Ende von evict gut 35 Sekunden ohne API – länger
als an Tag 10, weil der neue Controller beim ersten Start seine
Datenbank migriert (Drill 3). Erst jetzt das Paket auf
k0s-w1, wie oben auf k0s-w2. Danach:
# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,5,6
linstor --no-utf8 --no-color resource list --faulty | cut -c1-70
kubectl -n demo logs deploy/pg-client --since=10m | grep -c FEHLERErwartet:
Node | Addresses | State
======================================================================
k0s-ctrl | 172.16.0.176:3366 (PLAIN) | Online
k0s-w1 | 10.10.0.11:3366 (PLAIN) | Online
k0s-w2 | 10.10.0.12:3366 (PLAIN) | Online
k0s-w3 | 10.10.0.13:3366 (PLAIN) | Online
+-------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|=============================================================|
+-------------------------------------------------------------+
0
Das ganze LINSTOR-Update ohne einen Fehler in der Datenbank.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Was mit der Controller-Datenbank passiert
# auf k0s-w3
systemctl cat linstor-controller | grep -o 'linstor-database migrate-h2 --yes'
sudo ls /var/lib/linstor/Erwartet:
linstor-database migrate-h2 --yes
auto_db_export_2026-11-20_02-58-50.json.gz
linstordb.mv.db
linstordb.mv.db.h2v1.bak
lost+found
Vor dem ersten Start von 1.35 migriert der Controller seine
H2-Datenbank in ein neues Format und legt zwei Sicherungen an: die alte
Datei als .h2v1.bak und einen JSON-Export. Beide liegen auf
linstor_db, also dreifach repliziert. Die Migration ist
eine Einbahnstraße: Ein Controller 1.34 liest die neue Datei nicht mehr.
Wo du das liest, hängt davon ab, wo der Controller gerade läuft –
/var/lib/linstor ist nur dort gemountet.
Fortschritt speichern? Kostenlos registrieren
Drill 4: CSI aktualisieren
Jetzt darf der Pin fallen:
# auf k0s-ctrl
sed 's/piraeus-csi:v1.12.0/piraeus-csi:v1.13.2/' ../tag07/werte-3.yaml > werte-4.yaml
diff ../tag07/werte-3.yaml werte-4.yaml
helm upgrade linstor-cluster piraeus-charts/linstor-cluster --version 1.3.2 \
-n piraeus-datastore -f werte-4.yaml
sleep 60
kubectl -n piraeus-datastore get pod \
-o custom-columns=IMAGE:.spec.containers[0].image | grep -c csi:v1.13.2Erwartet (gekürzt):
19c19
< image: quay.io/piraeusdatastore/piraeus-csi:v1.12.0
---
> image: quay.io/piraeusdatastore/piraeus-csi:v1.13.2
27c27
< image: quay.io/piraeusdatastore/piraeus-csi:v1.12.0
---
> image: quay.io/piraeusdatastore/piraeus-csi:v1.13.2
...
REVISION: 8
4
diff zeigt zwei Stellen: Zeile 19 ist das Image unter
csiController, Zeile 27 das unter csiNode.
helm upgrade ändert nur die
LinstorCluster-Ressource, die Pods tauscht danach der
Operator – deshalb sleep statt rollout status,
das sofort zurückkäme. 4: Controller und drei Node-Pods
laufen mit v1.13.2. Das Ergebnis:
# auf k0s-ctrl
kubectl get linstorcluster \
-o jsonpath='{..conditions[?(@.type=="Available")].message}' | fold -w 80Erwartet:
Controller 1.35.3 (API: 1.29.1, Git: 75d5fa72d504ccfe55c421ccccda9505af8371f8) r
eachable at 'http://10.10.0.100:3370'
Fortschritt speichern? Kostenlos registrieren
Drill 5: Kernel-Update mit DKMS
Seit Tag 3 sind die Kernel-Pakete gesperrt: In der Challenge von Tag
3 hast du die Metapakete mit apt-mark hold festgehalten und
linux- per
/etc/apt/apt.conf.d/51k0s-lab-kernel-hold aus
unattended-upgrades ausgeschlossen. Heb genau diese Sperre jetzt auf
allen vier Hosts auf:
# auf k0s-w1
sudo apt-mark unhold linux-image-virtual linux-virtual \
linux-headers-virtual linux-headers-generic
sudo rm /etc/apt/apt.conf.d/51k0s-lab-kernel-hold
sudo apt-get update
apt-cache policy linux-image-virtual | grep -E 'Installed|Candidate'Erwartet (gekürzt):
Canceled hold on linux-image-virtual.
...
Installed: 6.8.0-149.149
Candidate: 6.8.0-151.151
Installieren ist ungefährlich – der neue Kernel greift erst beim Neustart. DKMS baut dabei das DRBD-Modul für ihn:
# auf k0s-w1
sudo apt-get install -y linux-virtual linux-image-virtual \
linux-headers-virtual linux-headers-generic
dkms status
ls /var/run/reboot-requiredErwartet (gekürzt, ca. 4 Minuten):
Setting up linux-headers-6.8.0-151-generic (6.8.0-151.151) ...
* dkms: running auto installation service for kernel 6.8.0-151-generic
Building module:
...
dkms autoinstall on 6.8.0-151-generic/x86_64 succeeded for drbd
Setting up linux-image-6.8.0-151-generic (6.8.0-151.151) ...
...
drbd/9.3.4-1ppa1~noble1, 6.8.0-149-generic, x86_64: installed
drbd/9.3.4-1ppa1~noble1, 6.8.0-151-generic, x86_64: installed
/var/run/reboot-required
Zwei Zeilen in dkms status: Das Modul gibt es für den
laufenden und den neuen Kernel. Fehlt die zweite, starte
nicht neu – ohne Modul kommt DRBD nicht hoch.
Wiederhole das auf k0s-w2, k0s-w3 und
k0s-ctrl; parallel geht, der Build braucht je rund vier
Minuten.
Tipp: Die Sperre aus Tag 3 hat ihren Zweck erfüllt: Kein unbeaufsichtigtes Update hat zwischendurch einen neuen Kernel installiert. In Produktion gehört der Kernel in geplante Wartungsfenster, nicht zu unattended-upgrades.
Jetzt die Neustarts mit dem Ablauf aus Tag 10, beginnend mit einem
Node ohne Controller und ohne pg-0:
# auf k0s-ctrl
kubectl drain k0s-w1 --ignore-daemonsets --delete-emptydir-data
ssh k0s-w1 'sudo drbd-reactorctl status linstor_db | sed -n 2p'
ssh k0s-w1 'sudo systemctl reboot'Läuft der Controller dort, gibst du ihn vorher mit evict
ab. Wenn ssh k0s-w1 uptime -s eine neue Zeit zeigt:
# auf k0s-ctrl
ssh k0s-w1 'uname -r; modinfo -F version drbd; head -1 /proc/drbd'
ssh k0s-w1 'sudo drbdadm status linstor_db | head -2'
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'
kubectl uncordon k0s-w1Erwartet:
6.8.0-151-generic
9.3.4
version: 9.3.4 (api:2/proto:118-125)
linstor_db role:Secondary
disk:UpToDate open:no
0
node/k0s-w1 uncordoned
Dasselbe auf k0s-w2 und k0s-w3, dann auf
k0s-ctrl. Beim Neustart von k0s-ctrl ist die
Kubernetes-API rund eine Minute weg und jede Ressource verliert kurz die
Witness-Stimme – die Workloads laufen weiter. Im Labor:
| Node | Besonderheit | Fehler im Messgerät |
|---|---|---|
k0s-w1 |
nichts darauf | 0 |
k0s-w2 |
Kopie von data-pg-0 |
0 |
k0s-w3 |
Controller und pg-0: evict, Drain |
4 (ca. 12 s) |
k0s-ctrl |
k0s-Controller, Witness, SeaweedFS | 0 |
Fortschritt speichern? Kostenlos registrieren
Drill 6: k0s 1.36 → 1.37
Die neue Version kommt in eine Kopie der Cluster-Beschreibung:
# auf k0s-ctrl
sed 's/v1.36.6+k0s.0/v1.37.2+k0s.1/' ../tag02/k0sctl.yaml > k0sctl.yaml
diff ../tag02/k0sctl.yaml k0sctl.yaml
k0sctl apply --config k0sctl.yaml --concurrency 1 2>&1 | tee apply.log \
| grep -E 'upgrade|Finished'Erwartet (gekürzt):
19c19
< version: v1.36.6+k0s.0
---
> version: v1.37.2+k0s.1
level=warning msg="172.16.0.176:22: k0s will be upgraded"
...
level=info msg="172.16.0.176:22: starting upgrade"
level=info msg="172.16.0.186:22: starting upgrade"
level=info msg="172.16.0.186:22: upgrade finished"
level=info msg="172.16.0.36:22: starting upgrade"
level=info msg="172.16.0.36:22: upgrade finished"
level=info msg="172.16.0.72:22: starting upgrade"
level=info msg="172.16.0.72:22: upgrade finished"
level=info msg="==> Finished in 5m23s"
k0sctl aktualisiert erst den Controller, dann die Worker einzeln, jeden mit Drain. Danach:
# auf k0s-ctrl
kubectl get nodes
kubectl -n demo get pod pg-0 -o wide | cut -c1-80
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110Erwartet (gekürzt):
NAME STATUS ROLES AGE VERSION
k0s-w1 Ready <none> 3h36m v1.37.2+k0s
k0s-w2 Ready <none> 3h36m v1.37.2+k0s
k0s-w3 Ready <none> 3h36m v1.37.2+k0s
pg-0 1/1 Running 0 2m33s 10.244.2.33 k0s-w1
...
| k0s-w1 | DRBD,STORAGE | InUse | Ok | Diskless |
| k0s-w2 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate |
| k0s-w3 | DRBD,WRITECACHE,STORAGE | Unused | Ok | UpToDate |
Die Drains haben pg-0 zweimal verschoben, zuletzt auf
k0s-w1 – einen Node ohne Kopie. Zurück auf einen Node mit
Daten (Tag 8):
# auf k0s-ctrl
kubectl cordon k0s-w1
kubectl -n demo delete pod pg-0
kubectl -n demo wait --for=condition=Ready pod/pg-0 --timeout=120s
kubectl uncordon k0s-w1
kubectl -n demo get pod pg-0 -o wide | cut -c1-80Erwartet (gekürzt):
node/k0s-w1 cordoned
pod "pg-0" deleted from demo namespace
pod/pg-0 condition met
node/k0s-w1 uncordoned
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE
pg-0 1/1 Running 0 8s 10.244.0.57 k0s-w3 <none>
pg-0 läuft wieder auf einem Node mit Kopie
(k0s-w2 oder k0s-w3).
Tipp:
kubectl1.36 spricht mit einem 1.37-Server – eine Minor-Version Abstand ist erlaubt. Hebe es beim nächsten Mal mit an (Tag 1).
Fortschritt speichern? Kostenlos registrieren
Drill 7: Snapshots nachholen
Was an Tag 13 scheiterte, geht jetzt:
# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_data | cut -d'|' -f2,3,8 \
| cut -c1-40
kubectl apply -f ../tag13/snapshot.yaml
sleep 15
kubectl -n demo get volumesnapshot | cut -c1-60
ssh k0s-w2 'sudo lvs --noheadings -o lv_attr,lv_size,lv_name data' | cut -c1-60Erwartet (gekürzt):
StoragePool | Node | CanSnapshots
...
pool_data | k0s-w1 | True
...
volumesnapshot.snapshot.storage.k8s.io/pg-vor-update created
NAME READYTOUSE SOURCEPVC SOURCESNAPSHOTCONTENT RESTORESIZE
pg-vor-update true data-pg-0 2Gi
-wi-ao---- 204.00m linstor_db_00000
owi-aos--- 2.00g pvc-11dccaf7-f197-4448-b834-1b5db5b0b52
sri-a-s--k 2.00g pvc-11dccaf7-f197-4448-b834-1b5db5b0b52
Ein klassischer LVM-Snapshot (s im Attribut) reserviert
sofort die volle Größe des Volumes, hier 2 GiB auf
jedem Node mit Kopie (vgs data zeigt 2 GiB weniger frei).
Zehn Snapshots einer 100-GB-Datenbank brauchen 1 TB. Snapshots sind hier
ein Werkzeug für kurze Zeit, etwa vor einem riskanten Update. Ein PVC
aus dem Snapshot:
# auf k0s-ctrl
cat > aus-snapshot.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: aus-snapshot, namespace: demo}
spec:
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 2Gi}}
dataSource:
apiGroup: snapshot.storage.k8s.io
kind: VolumeSnapshot
name: pg-vor-update
---
apiVersion: v1
kind: Pod
metadata: {name: snap-leser, namespace: demo}
spec:
containers:
- name: shell
image: busybox:1.37
command: [sleep, infinity]
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: aus-snapshot}
EOF
kubectl apply -f aus-snapshot.yaml
kubectl -n demo wait --for=condition=Ready pod/snap-leser --timeout=180s
kubectl -n demo exec snap-leser -- ls /daten/18/docker | head -3Erwartet:
persistentvolumeclaim/aus-snapshot created
pod/snap-leser created
pod/snap-leser condition met
PG_VERSION
base
global
Und der Writecache-Fehler aus Tag 12? Vergrößere dieses Test-Volume:
# auf k0s-ctrl
A=$(kubectl -n demo get pvc aus-snapshot -o jsonpath='{.spec.volumeName}')
kubectl -n demo patch pvc aus-snapshot \
-p '{"spec":{"resources":{"requests":{"storage":"2500Mi"}}}}'
sleep 60
N=$(kubectl -n demo get pod snap-leser -o jsonpath='{.spec.nodeName}')
ssh $N "sudo dmsetup table linstor_writecache_${A}_00000 | cut -d' ' -f2;
sudo blockdev --getsz /dev/data/${A}_00000"
kubectl -n demo exec snap-leser -- df -h /daten | tail -1Erwartet:
4202496
5128192
/dev/drbd1002 1.9G 39.6M 1.7G 2% /daten
Unverändert in 1.35.3: Das LV ist gewachsen, das Writecache-Gerät nicht. Der Ausweg aus Tag 12 bleibt nötig. Aufräumen:
# auf k0s-ctrl
kubectl delete -f aus-snapshot.yaml
kubectl -n demo delete volumesnapshot pg-vor-updateFortschritt speichern? Kostenlos registrieren
Drill 8: Velero mit CSI-Snapshots
Velero nutzt CSI-Snapshots, wenn die Funktion eingeschaltet und die Snapshot-Klasse markiert ist:
# auf k0s-ctrl
kubectl label volumesnapshotclass linstor-snapshots \
velero.io/csi-volumesnapshot-class=true
cp ../tag13/velero-werte.yaml velero-werte.yaml
sed -i 's/^configuration:/configuration:\n features: EnableCSI/' velero-werte.yaml
helm upgrade velero vmware-tanzu/velero --version 12.2.5 -n velero -f velero-werte.yaml
kubectl -n velero rollout status deploy/veleroOhne EnableCSI läuft ein Backup mit
--snapshot-volumes durch, enthält aber keinen Snapshot
(CSI Snapshots: <none included>) – im Labor genau so
passiert.
# auf k0s-ctrl
velero -n velero backup create demo-move --include-namespaces demo \
--snapshot-volumes --snapshot-move-data --default-volumes-to-fs-backup=false --wait
velero -n velero backup describe demo-move --details --colorized=false \
| sed -n '/CSI Snapshots/,/Result/p'Erwartet:
Backup completed with status: Completed. ...
CSI Snapshots:
demo/data-pg-0:
Data Movement:
Operation ID: du-dca2b1c1-9dba-42da-b1de-9ba540be2e92.11dccaf7-f197-4448344f5
Data Mover: velero
Uploader Type: kopia
Moved data Size (bytes): 41323982
Incremental data Size (bytes): 41323982
Result: succeeded
Velero macht einen CSI-Snapshot, der Node-Agent liest daraus einen
eingefrorenen Stand und schiebt ihn per Kopia nach S3, dann löscht
Velero den Snapshot wieder. Ohne --snapshot-move-data
bliebe nur der Snapshot im Cluster (InCluster://…) – auf
denselben Platten wie die Daten, also kein Backup.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig für alle vier Hosts Satellite-Version, laufenden Kernel und DRBD-Modul. Zeitziel: 45 s
- Zeig kubelet-Version und Kernel aller Worker. Zeitziel: 20 s
- Zeig, welche LINSTOR-Version der Piraeus-Operator sieht. Zeitziel: 20 s
Lösung
# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
ssh $h 'echo $(hostname) $(dpkg-query -W linstor-satellite | cut -f2) \
$(uname -r) $(modinfo -F version drbd)'
done
kubectl get nodes -o custom-columns=NAME:.metadata.name,\
KUBELET:.status.nodeInfo.kubeletVersion,KERNEL:.status.nodeInfo.kernelVersion
kubectl get linstorcluster \
-o jsonpath='{..conditions[?(@.type=="Available")].message}' | cut -c1-40Erwartet:
k0s-ctrl 1.35.3-1 6.8.0-151-generic 9.3.4
k0s-w1 1.35.3-1 6.8.0-151-generic 9.3.4
k0s-w2 1.35.3-1 6.8.0-151-generic 9.3.4
k0s-w3 1.35.3-1 6.8.0-151-generic 9.3.4
NAME KUBELET KERNEL
k0s-w1 v1.37.2+k0s 6.8.0-151-generic
k0s-w2 v1.37.2+k0s 6.8.0-151-generic
k0s-w3 v1.37.2+k0s 6.8.0-151-generic
Controller 1.35.3 (API: 1.29.1, Git: 75d
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faultyErwartet: eine leere Tabelle.
# auf k0s-ctrl
ssh k0s-w1 'apt-mark showhold'Erwartet: drbd-dkms,
drbd-utils, linstor-common,
linstor-controller, linstor-satellite – keine
linux--Pakete mehr.
# auf k0s-ctrl
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-Erwartet: 0 – kein vergessener Snapshot
belegt Platz.
# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=3Erwartet: nur ok-Zeilen.
Challenge
Der automatische Datenbank-Export von vor der Migration liegt nur auf
linstor_db. Kopiere ihn nach ~/k0s-lab/tag15/
auf k0s-ctrl und prüfe, dass er lesbar ist und alle drei
Worker kennt.
Hinweis: Der Export liegt nur auf dem Node mit dem aktiven Controller, und er ist mit gzip gepackt.
Lösung
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"
done | grep 'this node'
ssh k0s-w2 'sudo sh -c "cat /var/lib/linstor/auto_db_export_*.json.gz"' \
> linstor-db-1.34.json.gz
gunzip -t linstor-db-1.34.json.gz && echo gz-ok
zcat linstor-db-1.34.json.gz | head -c 120; echo
zcat linstor-db-1.34.json.gz | grep -o '"k0s-w[0-9]"' | sort -uErwartet:
k0s-w2 Promoter: Resource linstor_db currently active on this node
gz-ok
{"linstor_version":"1.35.3","export_timestamp_ms":1795143530656,"exported_from":"sql/h2
","data_version":"v1-34-0"
"k0s-w1"
"k0s-w2"
"k0s-w3"
data_version v1-34-0: der Stand vor der Migration. Für
einen Rückweg auf 1.34 wäre das die Grundlage; lege die Datei zusätzlich
außerhalb des Clusters ab.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
Nichts – die Sicherungen vor-update und
demo-move bleiben.
Interview-Notiz
- In welcher Reihenfolge aktualisierst du LINSTOR und den
CSI-Treiber? Erst LINSTOR (Satellites, Witness, aktiven Controller
zuletzt nach
evict), dann CSI – der neue Treiber verlangt die neue REST-API. - Wie aktualisierst du den Kernel auf einem DRBD-Node? Neuen
Kernel installieren, prüfen, dass DKMS das Modul gebaut hat, dann Node
für Node: drain, evict, reboot,
--faultyleer, uncordon. - Sind LVM-Snapshots ein Backup? Nein: Sie liegen auf
denselben Platten und belegen mit thick LVM die volle Größe. Erst
--snapshot-move-datamacht daraus ein Backup in S3.
Enterprise-Notiz
- Updates erst in einer Staging-Umgebung mit gleicher Topologie; Versionsmatrix (LINSTOR, CSI, DRBD, Kernel, k0s) versioniert pflegen.
- Die Controller-Migration ist eine Einbahnstraße: DB-Export vorher sichern und außerhalb des Clusters ablegen.
- Kernel-Updates per Livepatch überbrücken, Neustarts in Wellen mit
Prüfpunkten (Monitoring grün,
--faultyleer) automatisieren (Tag 16). - Datenbanken mit nur einer Instanz verlieren bei jedem Drain Sekunden; für echte Verfügbarkeit Replikation auf Anwendungsebene (z. B. CloudNativePG) zusätzlich.
- LINBIT SDS (kommerziell) bietet getestete Versionskombinationen und Support.