Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Updates – LINSTOR, CSI, Kernel, k0s

Ziel: Du hebst LINSTOR von 1.34.2 auf 1.35.3, den CSI-Treiber von v1.12.0 auf v1.13.2, den Kernel mit neu gebautem DRBD-Modul und k0s von 1.36 auf 1.37 – in der richtigen Reihenfolge und ohne die Datenbank zu verlieren. Danach holst du die Snapshots aus Tag 13 nach. · Dauer: ca. 90 min · Voraussetzung: Tag 14

Briefing

  • Erst LINSTOR, dann CSI: CSI v1.13 verlangt die REST-API 1.29, die erst LINSTOR 1.35 mitbringt (Tag 7).
  • LINSTOR Node für Node: Satellites mit anderer Version als der Controller sind OFFLINE, DRBD läuft weiter. Den Node mit dem aktiven Controller zuletzt, vorher evict.
  • Kernel: DKMS baut das DRBD-Modul für den neuen Kernel beim Installieren. Installieren darfst du überall vorab, neu starten nur Node für Node (Tag 10).
  • k0s: k0sctl apply mit neuer Version, ein Worker nach dem anderen.
  • Vor allem anderen: eine frische Sicherung.
 Backup -> LINSTOR (w2, w3, ctrl, evict, aktiver Node) -> CSI v1.13.2
        -> Kernel (installieren überall, reboot einzeln) -> k0s 1.37 -> Snapshots

Drill 1: Bestandsaufnahme

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag15 && cd ~/k0s-lab/tag15
velero -n velero backup create vor-update --include-namespaces demo --wait
linstor controller version
ssh k0s-w2 'curl -s http://10.10.0.100:3370/v1/controller/version' | tr ',' '\n'
kubectl -n piraeus-datastore get deploy linstor-csi-controller \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="linstor-csi")].image}{"\n"}'
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"
done | grep 'this node'

Erwartet (gekürzt):

Backup completed with status: Completed. ...
linstor controller 1.34.2; GIT-hash: 92d55e45f88b4ef96f5ee468677f395513b2eee2
{"version":"1.34.2"
...
"rest_api_version":"1.28.0"}
quay.io/piraeusdatastore/piraeus-csi:v1.12.0
k0s-w1 Promoter: Resource linstor_db currently active on this node

Die VIP liegt im Storage-Netz – curl darauf geht von einem Worker, nicht von k0s-ctrl. Wo der Controller bei dir läuft, bestimmt die Reihenfolge unten.

LINSTOR REST-API passender CSI-Treiber
1.34.2 1.28.0 v1.12.x
1.35.3 1.29.1 v1.13.x

Die falsche Reihenfolge kennst du aus Tag 7: CSI v1.13.2 gegen LINSTOR 1.34.2 endet in CrashLoopBackOff mit

level=fatal msg="LINSTOR 1.34.2 (REST API 1.28.0) is not supported: the driver requires
REST API 1.29 or newer in the 1.x series, shipped with LINSTOR 1.35"

Laufende Volumes überleben das, aber neue PVCs, Mounts nach einem Pod-Neustart und Vergrößerungen gehen nicht. Der Pin auf v1.12.0 in werte-3.yaml fällt deshalb erst nach dem LINSTOR-Update.

Fortschritt speichern? Kostenlos registrieren

Drill 2: LINSTOR Node für Node

Wie an Tag 3 aus dem trixie-Pool, gegen den Paketindex geprüft – auf allen vier Hosts, auf k0s-ctrl ohne linstor-controller:

# auf k0s-w1
cd ~/debs
B=https://packages.linbit.com/public/dists/trixie/misc/pool
L=1.35.3-1
curl -sSfLO $B/linstor-common_${L}_all.deb
curl -sSfLO $B/linstor-satellite_${L}_all.deb
curl -sSfLO $B/linstor-controller_${L}_all.deb
ARCH=$(dpkg --print-architecture)
curl -sSfLo Packages \
  https://packages.linbit.com/public/dists/trixie/misc/binary-$ARCH/Packages
grep -A4 "linstor-[a-z]*_${L}_all.deb" Packages \
  | awk '/Filename/ {sub(/.*\//, "", $2); f=$2} /SHA256/ {print $2 "  " f}' \
  | sha256sum -c --ignore-missing

Erwartet:

linstor-common_1.35.3-1_all.deb: OK
linstor-controller_1.35.3-1_all.deb: OK
linstor-satellite_1.35.3-1_all.deb: OK

Wiederhole das auf k0s-w2, k0s-w3 und k0s-ctrl (dort ohne die Controller-Zeile; --ignore-missing überspringt das fehlende Paket).

Dann das Update, zuerst auf einem Node ohne aktiven Controller:

# auf k0s-w2
cd ~/debs
L=1.35.3-1
sudo apt-mark unhold linstor-common linstor-satellite linstor-controller
sudo apt-get install -y ./linstor-common_${L}_all.deb \
  ./linstor-satellite_${L}_all.deb ./linstor-controller_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite linstor-controller
systemctl is-active linstor-satellite
systemctl is-enabled linstor-controller

Erwartet (gekürzt):

Setting up linstor-common (1.35.3-1) ...
Setting up linstor-satellite (1.35.3-1) ...
Setting up linstor-controller (1.35.3-1) ...
linstor-common set on hold.
...
active
disabled

linstor-controller bleibt disabled – drbd-reactor behält die Kontrolle. Die Sicht des Controllers:

# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,5,6
ssh k0s-w2 'sudo drbdadm status linstor_db | head -2'

Erwartet:

 Node     | Addresses                 | State
======================================================================
 k0s-ctrl | 172.16.0.176:3366 (PLAIN) | Online
 k0s-w1   | 10.10.0.11:3366 (PLAIN)   | Online
 k0s-w2   | 10.10.0.12:3366 (PLAIN)   | OFFLINE(VERSION MISMATCH)
 k0s-w3   | 10.10.0.13:3366 (PLAIN)   | Online
linstor_db role:Secondary
  disk:UpToDate open:no

Der Controller (1.34.2) redet nicht mit dem Satellite (1.35.3), DRBD repliziert davon unberührt weiter. Dasselbe auf k0s-w3, dann auf der Witness ohne Controller-Paket:

# auf k0s-ctrl
cd ~/debs
L=1.35.3-1
sudo apt-mark unhold linstor-common linstor-satellite
sudo apt-get install -y ./linstor-common_${L}_all.deb ./linstor-satellite_${L}_all.deb
sudo apt-mark hold linstor-common linstor-satellite

Jetzt der Node mit dem aktiven Controller. Erst abgeben, dann tauschen – sonst stoppt das Paket den laufenden Controller, und drbd-reactor fährt ungeplant die ganze Kette herunter.

Achtung: Hänge kein | head an evict. Im Labor hat die geschlossene Pipe den Befehl nach der ersten Zeile abgebrochen – es wurde nichts abgegeben.

# auf k0s-w1
sudo drbd-reactorctl evict linstor_db

Erwartet (gekürzt):

Evicting linstor_db
20..19..
Node 'k0s-w3' took over
Re-enabling linstor_db
# auf k0s-ctrl
date +%T; until linstor node list >/dev/null 2>&1; do sleep 1; done; date +%T
linstor controller version

Erwartet:

02:58:15
02:58:51
linstor controller 1.35.3; GIT-hash: 75d5fa72d504ccfe55c421ccccda9505af8371f8

Ab dem Ende von evict gut 35 Sekunden ohne API – länger als an Tag 10, weil der neue Controller beim ersten Start seine Datenbank migriert (Drill 3). Erst jetzt das Paket auf k0s-w1, wie oben auf k0s-w2. Danach:

# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,5,6
linstor --no-utf8 --no-color resource list --faulty | cut -c1-70
kubectl -n demo logs deploy/pg-client --since=10m | grep -c FEHLER

Erwartet:

 Node     | Addresses                 | State
======================================================================
 k0s-ctrl | 172.16.0.176:3366 (PLAIN) | Online
 k0s-w1   | 10.10.0.11:3366 (PLAIN)   | Online
 k0s-w2   | 10.10.0.12:3366 (PLAIN)   | Online
 k0s-w3   | 10.10.0.13:3366 (PLAIN)   | Online
+-------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|=============================================================|
+-------------------------------------------------------------+
0

Das ganze LINSTOR-Update ohne einen Fehler in der Datenbank.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Was mit der Controller-Datenbank passiert

# auf k0s-w3
systemctl cat linstor-controller | grep -o 'linstor-database migrate-h2 --yes'
sudo ls /var/lib/linstor/

Erwartet:

linstor-database migrate-h2 --yes
auto_db_export_2026-11-20_02-58-50.json.gz
linstordb.mv.db
linstordb.mv.db.h2v1.bak
lost+found

Vor dem ersten Start von 1.35 migriert der Controller seine H2-Datenbank in ein neues Format und legt zwei Sicherungen an: die alte Datei als .h2v1.bak und einen JSON-Export. Beide liegen auf linstor_db, also dreifach repliziert. Die Migration ist eine Einbahnstraße: Ein Controller 1.34 liest die neue Datei nicht mehr. Wo du das liest, hängt davon ab, wo der Controller gerade läuft – /var/lib/linstor ist nur dort gemountet.

Fortschritt speichern? Kostenlos registrieren

Drill 4: CSI aktualisieren

Jetzt darf der Pin fallen:

# auf k0s-ctrl
sed 's/piraeus-csi:v1.12.0/piraeus-csi:v1.13.2/' ../tag07/werte-3.yaml > werte-4.yaml
diff ../tag07/werte-3.yaml werte-4.yaml
helm upgrade linstor-cluster piraeus-charts/linstor-cluster --version 1.3.2 \
  -n piraeus-datastore -f werte-4.yaml
sleep 60
kubectl -n piraeus-datastore get pod \
  -o custom-columns=IMAGE:.spec.containers[0].image | grep -c csi:v1.13.2

Erwartet (gekürzt):

19c19
<             image: quay.io/piraeusdatastore/piraeus-csi:v1.12.0
---
>             image: quay.io/piraeusdatastore/piraeus-csi:v1.13.2
27c27
<             image: quay.io/piraeusdatastore/piraeus-csi:v1.12.0
---
>             image: quay.io/piraeusdatastore/piraeus-csi:v1.13.2
...
REVISION: 8
4

diff zeigt zwei Stellen: Zeile 19 ist das Image unter csiController, Zeile 27 das unter csiNode. helm upgrade ändert nur die LinstorCluster-Ressource, die Pods tauscht danach der Operator – deshalb sleep statt rollout status, das sofort zurückkäme. 4: Controller und drei Node-Pods laufen mit v1.13.2. Das Ergebnis:

# auf k0s-ctrl
kubectl get linstorcluster \
  -o jsonpath='{..conditions[?(@.type=="Available")].message}' | fold -w 80

Erwartet:

Controller 1.35.3 (API: 1.29.1, Git: 75d5fa72d504ccfe55c421ccccda9505af8371f8) r
eachable at 'http://10.10.0.100:3370'

Fortschritt speichern? Kostenlos registrieren

Drill 5: Kernel-Update mit DKMS

Seit Tag 3 sind die Kernel-Pakete gesperrt: In der Challenge von Tag 3 hast du die Metapakete mit apt-mark hold festgehalten und linux- per /etc/apt/apt.conf.d/51k0s-lab-kernel-hold aus unattended-upgrades ausgeschlossen. Heb genau diese Sperre jetzt auf allen vier Hosts auf:

# auf k0s-w1
sudo apt-mark unhold linux-image-virtual linux-virtual \
  linux-headers-virtual linux-headers-generic
sudo rm /etc/apt/apt.conf.d/51k0s-lab-kernel-hold
sudo apt-get update
apt-cache policy linux-image-virtual | grep -E 'Installed|Candidate'

Erwartet (gekürzt):

Canceled hold on linux-image-virtual.
...
  Installed: 6.8.0-149.149
  Candidate: 6.8.0-151.151

Installieren ist ungefährlich – der neue Kernel greift erst beim Neustart. DKMS baut dabei das DRBD-Modul für ihn:

# auf k0s-w1
sudo apt-get install -y linux-virtual linux-image-virtual \
  linux-headers-virtual linux-headers-generic
dkms status
ls /var/run/reboot-required

Erwartet (gekürzt, ca. 4 Minuten):

Setting up linux-headers-6.8.0-151-generic (6.8.0-151.151) ...
 * dkms: running auto installation service for kernel 6.8.0-151-generic
Building module:
...
dkms autoinstall on 6.8.0-151-generic/x86_64 succeeded for drbd
Setting up linux-image-6.8.0-151-generic (6.8.0-151.151) ...
...
drbd/9.3.4-1ppa1~noble1, 6.8.0-149-generic, x86_64: installed
drbd/9.3.4-1ppa1~noble1, 6.8.0-151-generic, x86_64: installed
/var/run/reboot-required

Zwei Zeilen in dkms status: Das Modul gibt es für den laufenden und den neuen Kernel. Fehlt die zweite, starte nicht neu – ohne Modul kommt DRBD nicht hoch. Wiederhole das auf k0s-w2, k0s-w3 und k0s-ctrl; parallel geht, der Build braucht je rund vier Minuten.

Tipp: Die Sperre aus Tag 3 hat ihren Zweck erfüllt: Kein unbeaufsichtigtes Update hat zwischendurch einen neuen Kernel installiert. In Produktion gehört der Kernel in geplante Wartungsfenster, nicht zu unattended-upgrades.

Jetzt die Neustarts mit dem Ablauf aus Tag 10, beginnend mit einem Node ohne Controller und ohne pg-0:

# auf k0s-ctrl
kubectl drain k0s-w1 --ignore-daemonsets --delete-emptydir-data
ssh k0s-w1 'sudo drbd-reactorctl status linstor_db | sed -n 2p'
ssh k0s-w1 'sudo systemctl reboot'

Läuft der Controller dort, gibst du ihn vorher mit evict ab. Wenn ssh k0s-w1 uptime -s eine neue Zeit zeigt:

# auf k0s-ctrl
ssh k0s-w1 'uname -r; modinfo -F version drbd; head -1 /proc/drbd'
ssh k0s-w1 'sudo drbdadm status linstor_db | head -2'
linstor --no-utf8 --no-color resource list --faulty | grep -c '| k0s'
kubectl uncordon k0s-w1

Erwartet:

6.8.0-151-generic
9.3.4
version: 9.3.4 (api:2/proto:118-125)
linstor_db role:Secondary
  disk:UpToDate open:no
0
node/k0s-w1 uncordoned

Dasselbe auf k0s-w2 und k0s-w3, dann auf k0s-ctrl. Beim Neustart von k0s-ctrl ist die Kubernetes-API rund eine Minute weg und jede Ressource verliert kurz die Witness-Stimme – die Workloads laufen weiter. Im Labor:

Node Besonderheit Fehler im Messgerät
k0s-w1 nichts darauf 0
k0s-w2 Kopie von data-pg-0 0
k0s-w3 Controller und pg-0: evict, Drain 4 (ca. 12 s)
k0s-ctrl k0s-Controller, Witness, SeaweedFS 0

Fortschritt speichern? Kostenlos registrieren

Drill 6: k0s 1.36 → 1.37

Die neue Version kommt in eine Kopie der Cluster-Beschreibung:

# auf k0s-ctrl
sed 's/v1.36.6+k0s.0/v1.37.2+k0s.1/' ../tag02/k0sctl.yaml > k0sctl.yaml
diff ../tag02/k0sctl.yaml k0sctl.yaml
k0sctl apply --config k0sctl.yaml --concurrency 1 2>&1 | tee apply.log \
  | grep -E 'upgrade|Finished'

Erwartet (gekürzt):

19c19
<     version: v1.36.6+k0s.0
---
>     version: v1.37.2+k0s.1
level=warning msg="172.16.0.176:22: k0s will be upgraded"
...
level=info msg="172.16.0.176:22: starting upgrade"
level=info msg="172.16.0.186:22: starting upgrade"
level=info msg="172.16.0.186:22: upgrade finished"
level=info msg="172.16.0.36:22: starting upgrade"
level=info msg="172.16.0.36:22: upgrade finished"
level=info msg="172.16.0.72:22: starting upgrade"
level=info msg="172.16.0.72:22: upgrade finished"
level=info msg="==> Finished in 5m23s"

k0sctl aktualisiert erst den Controller, dann die Worker einzeln, jeden mit Drain. Danach:

# auf k0s-ctrl
kubectl get nodes
kubectl -n demo get pod pg-0 -o wide | cut -c1-80
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | cut -c44-110

Erwartet (gekürzt):

NAME     STATUS   ROLES    AGE     VERSION
k0s-w1   Ready    <none>   3h36m   v1.37.2+k0s
k0s-w2   Ready    <none>   3h36m   v1.37.2+k0s
k0s-w3   Ready    <none>   3h36m   v1.37.2+k0s
pg-0   1/1     Running   0          2m33s   10.244.2.33   k0s-w1
...
| k0s-w1   | DRBD,STORAGE            | InUse  | Ok    | Diskless |
| k0s-w2   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate |
| k0s-w3   | DRBD,WRITECACHE,STORAGE | Unused | Ok    | UpToDate |

Die Drains haben pg-0 zweimal verschoben, zuletzt auf k0s-w1 – einen Node ohne Kopie. Zurück auf einen Node mit Daten (Tag 8):

# auf k0s-ctrl
kubectl cordon k0s-w1
kubectl -n demo delete pod pg-0
kubectl -n demo wait --for=condition=Ready pod/pg-0 --timeout=120s
kubectl uncordon k0s-w1
kubectl -n demo get pod pg-0 -o wide | cut -c1-80

Erwartet (gekürzt):

node/k0s-w1 cordoned
pod "pg-0" deleted from demo namespace
pod/pg-0 condition met
node/k0s-w1 uncordoned
NAME   READY   STATUS    RESTARTS   AGE   IP            NODE     NOMINATED NODE
pg-0   1/1     Running   0          8s    10.244.0.57   k0s-w3   <none>

pg-0 läuft wieder auf einem Node mit Kopie (k0s-w2 oder k0s-w3).

Tipp: kubectl 1.36 spricht mit einem 1.37-Server – eine Minor-Version Abstand ist erlaubt. Hebe es beim nächsten Mal mit an (Tag 1).

Fortschritt speichern? Kostenlos registrieren

Drill 7: Snapshots nachholen

Was an Tag 13 scheiterte, geht jetzt:

# auf k0s-ctrl
linstor --no-utf8 --no-color storage-pool list -s pool_data | cut -d'|' -f2,3,8 \
  | cut -c1-40
kubectl apply -f ../tag13/snapshot.yaml
sleep 15
kubectl -n demo get volumesnapshot | cut -c1-60
ssh k0s-w2 'sudo lvs --noheadings -o lv_attr,lv_size,lv_name data' | cut -c1-60

Erwartet (gekürzt):

 StoragePool | Node   | CanSnapshots
...
 pool_data   | k0s-w1 | True
...
volumesnapshot.snapshot.storage.k8s.io/pg-vor-update created
NAME            READYTOUSE   SOURCEPVC   SOURCESNAPSHOTCONTENT   RESTORESIZE
pg-vor-update   true         data-pg-0                           2Gi
  -wi-ao---- 204.00m linstor_db_00000
  owi-aos---   2.00g pvc-11dccaf7-f197-4448-b834-1b5db5b0b52
  sri-a-s--k   2.00g pvc-11dccaf7-f197-4448-b834-1b5db5b0b52

Ein klassischer LVM-Snapshot (s im Attribut) reserviert sofort die volle Größe des Volumes, hier 2 GiB auf jedem Node mit Kopie (vgs data zeigt 2 GiB weniger frei). Zehn Snapshots einer 100-GB-Datenbank brauchen 1 TB. Snapshots sind hier ein Werkzeug für kurze Zeit, etwa vor einem riskanten Update. Ein PVC aus dem Snapshot:

# auf k0s-ctrl
cat > aus-snapshot.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: aus-snapshot, namespace: demo}
spec:
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 2Gi}}
  dataSource:
    apiGroup: snapshot.storage.k8s.io
    kind: VolumeSnapshot
    name: pg-vor-update
---
apiVersion: v1
kind: Pod
metadata: {name: snap-leser, namespace: demo}
spec:
  containers:
    - name: shell
      image: busybox:1.37
      command: [sleep, infinity]
      volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
    - name: daten
      persistentVolumeClaim: {claimName: aus-snapshot}
EOF
kubectl apply -f aus-snapshot.yaml
kubectl -n demo wait --for=condition=Ready pod/snap-leser --timeout=180s
kubectl -n demo exec snap-leser -- ls /daten/18/docker | head -3

Erwartet:

persistentvolumeclaim/aus-snapshot created
pod/snap-leser created
pod/snap-leser condition met
PG_VERSION
base
global

Und der Writecache-Fehler aus Tag 12? Vergrößere dieses Test-Volume:

# auf k0s-ctrl
A=$(kubectl -n demo get pvc aus-snapshot -o jsonpath='{.spec.volumeName}')
kubectl -n demo patch pvc aus-snapshot \
  -p '{"spec":{"resources":{"requests":{"storage":"2500Mi"}}}}'
sleep 60
N=$(kubectl -n demo get pod snap-leser -o jsonpath='{.spec.nodeName}')
ssh $N "sudo dmsetup table linstor_writecache_${A}_00000 | cut -d' ' -f2;
  sudo blockdev --getsz /dev/data/${A}_00000"
kubectl -n demo exec snap-leser -- df -h /daten | tail -1

Erwartet:

4202496
5128192
/dev/drbd1002             1.9G     39.6M      1.7G   2% /daten

Unverändert in 1.35.3: Das LV ist gewachsen, das Writecache-Gerät nicht. Der Ausweg aus Tag 12 bleibt nötig. Aufräumen:

# auf k0s-ctrl
kubectl delete -f aus-snapshot.yaml
kubectl -n demo delete volumesnapshot pg-vor-update

Fortschritt speichern? Kostenlos registrieren

Drill 8: Velero mit CSI-Snapshots

Velero nutzt CSI-Snapshots, wenn die Funktion eingeschaltet und die Snapshot-Klasse markiert ist:

# auf k0s-ctrl
kubectl label volumesnapshotclass linstor-snapshots \
  velero.io/csi-volumesnapshot-class=true
cp ../tag13/velero-werte.yaml velero-werte.yaml
sed -i 's/^configuration:/configuration:\n  features: EnableCSI/' velero-werte.yaml
helm upgrade velero vmware-tanzu/velero --version 12.2.5 -n velero -f velero-werte.yaml
kubectl -n velero rollout status deploy/velero

Ohne EnableCSI läuft ein Backup mit --snapshot-volumes durch, enthält aber keinen Snapshot (CSI Snapshots: <none included>) – im Labor genau so passiert.

# auf k0s-ctrl
velero -n velero backup create demo-move --include-namespaces demo \
  --snapshot-volumes --snapshot-move-data --default-volumes-to-fs-backup=false --wait
velero -n velero backup describe demo-move --details --colorized=false \
  | sed -n '/CSI Snapshots/,/Result/p'

Erwartet:

Backup completed with status: Completed. ...
  CSI Snapshots:
    demo/data-pg-0:
      Data Movement:
        Operation ID: du-dca2b1c1-9dba-42da-b1de-9ba540be2e92.11dccaf7-f197-4448344f5
        Data Mover: velero
        Uploader Type: kopia
        Moved data Size (bytes): 41323982
        Incremental data Size (bytes): 41323982
        Result: succeeded

Velero macht einen CSI-Snapshot, der Node-Agent liest daraus einen eingefrorenen Stand und schiebt ihn per Kopia nach S3, dann löscht Velero den Snapshot wieder. Ohne --snapshot-move-data bliebe nur der Snapshot im Cluster (InCluster://…) – auf denselben Platten wie die Daten, also kein Backup.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig für alle vier Hosts Satellite-Version, laufenden Kernel und DRBD-Modul. Zeitziel: 45 s
  2. Zeig kubelet-Version und Kernel aller Worker. Zeitziel: 20 s
  3. Zeig, welche LINSTOR-Version der Piraeus-Operator sieht. Zeitziel: 20 s

Lösung

# auf k0s-ctrl
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do
  ssh $h 'echo $(hostname) $(dpkg-query -W linstor-satellite | cut -f2) \
    $(uname -r) $(modinfo -F version drbd)'
done
kubectl get nodes -o custom-columns=NAME:.metadata.name,\
KUBELET:.status.nodeInfo.kubeletVersion,KERNEL:.status.nodeInfo.kernelVersion
kubectl get linstorcluster \
  -o jsonpath='{..conditions[?(@.type=="Available")].message}' | cut -c1-40

Erwartet:

k0s-ctrl 1.35.3-1 6.8.0-151-generic 9.3.4
k0s-w1 1.35.3-1 6.8.0-151-generic 9.3.4
k0s-w2 1.35.3-1 6.8.0-151-generic 9.3.4
k0s-w3 1.35.3-1 6.8.0-151-generic 9.3.4
NAME     KUBELET       KERNEL
k0s-w1   v1.37.2+k0s   6.8.0-151-generic
k0s-w2   v1.37.2+k0s   6.8.0-151-generic
k0s-w3   v1.37.2+k0s   6.8.0-151-generic
Controller 1.35.3 (API: 1.29.1, Git: 75d

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty

Erwartet: eine leere Tabelle.

# auf k0s-ctrl
ssh k0s-w1 'apt-mark showhold'

Erwartet: drbd-dkms, drbd-utils, linstor-common, linstor-controller, linstor-satellite – keine linux--Pakete mehr.

# auf k0s-ctrl
linstor --no-utf8 --no-color snapshot list | grep -c snapshot-

Erwartet: 0 – kein vergessener Snapshot belegt Platz.

# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=3

Erwartet: nur ok-Zeilen.

Challenge

Der automatische Datenbank-Export von vor der Migration liegt nur auf linstor_db. Kopiere ihn nach ~/k0s-lab/tag15/ auf k0s-ctrl und prüfe, dass er lesbar ist und alle drei Worker kennt.

Hinweis: Der Export liegt nur auf dem Node mit dem aktiven Controller, und er ist mit gzip gepackt.

Lösung

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h sudo drbd-reactorctl status linstor_db | sed -n 2p)"
done | grep 'this node'
ssh k0s-w2 'sudo sh -c "cat /var/lib/linstor/auto_db_export_*.json.gz"' \
  > linstor-db-1.34.json.gz
gunzip -t linstor-db-1.34.json.gz && echo gz-ok
zcat linstor-db-1.34.json.gz | head -c 120; echo
zcat linstor-db-1.34.json.gz | grep -o '"k0s-w[0-9]"' | sort -u

Erwartet:

k0s-w2 Promoter: Resource linstor_db currently active on this node
gz-ok
{"linstor_version":"1.35.3","export_timestamp_ms":1795143530656,"exported_from":"sql/h2
","data_version":"v1-34-0"
"k0s-w1"
"k0s-w2"
"k0s-w3"

data_version v1-34-0: der Stand vor der Migration. Für einen Rückweg auf 1.34 wäre das die Grundlage; lege die Datei zusätzlich außerhalb des Clusters ab.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Nichts – die Sicherungen vor-update und demo-move bleiben.

Interview-Notiz

  • In welcher Reihenfolge aktualisierst du LINSTOR und den CSI-Treiber? Erst LINSTOR (Satellites, Witness, aktiven Controller zuletzt nach evict), dann CSI – der neue Treiber verlangt die neue REST-API.
  • Wie aktualisierst du den Kernel auf einem DRBD-Node? Neuen Kernel installieren, prüfen, dass DKMS das Modul gebaut hat, dann Node für Node: drain, evict, reboot, --faulty leer, uncordon.
  • Sind LVM-Snapshots ein Backup? Nein: Sie liegen auf denselben Platten und belegen mit thick LVM die volle Größe. Erst --snapshot-move-data macht daraus ein Backup in S3.

Enterprise-Notiz

  • Updates erst in einer Staging-Umgebung mit gleicher Topologie; Versionsmatrix (LINSTOR, CSI, DRBD, Kernel, k0s) versioniert pflegen.
  • Die Controller-Migration ist eine Einbahnstraße: DB-Export vorher sichern und außerhalb des Clusters ablegen.
  • Kernel-Updates per Livepatch überbrücken, Neustarts in Wellen mit Prüfpunkten (Monitoring grün, --faulty leer) automatisieren (Tag 16).
  • Datenbanken mit nur einer Instanz verlieren bei jedem Drain Sekunden; für echte Verfügbarkeit Replikation auf Anwendungsebene (z. B. CloudNativePG) zusätzlich.
  • LINBIT SDS (kommerziell) bietet getestete Versionskombinationen und Support.