Tag 19: Vom Labor zur Produktion
Ziel: Du prüfst das Labor so, als hättest du es von einem fremden Team übernommen – mit festen Prüffragen und je einem Befehl als Nachweis – und kennst die Stellen, an denen Produktion anders aussehen muss. · Dauer: ca. 45 min · Voraussetzung: Tag 18
Briefing
- Ein Audit ist eine Liste von Fragen, auf die jeder Befehl eine eindeutige Antwort gibt. Was nicht nachgewiesen ist, gilt als offen.
- Die Fragen kommen aus den Fehlern der letzten Tage: Versionsmix (Tag 15), zwei Controller (Tag 3), StorageClass gegen Resource-Group (Tag 8), Writecache am falschen Ort (Tag 8), fehlende Topologie-Eigenschaft (Tag 7), übersehene Fehlerberichte (Tag 9).
- Danach der Blick nach vorn: Was im Labor eine bewusste Abkürzung war.
| Nr. | Prüffrage | Drill |
|---|---|---|
| 1 | Passen alle Versionen zusammen? | 1 |
| 2 | Läuft genau ein Controller, dort wo die VIP ist? | 2 |
| 3 | Ist DRBD überall gesund? | 3 |
| 4 | Liegt jeder Writecache im schnellen Pool? | 4 |
| 5 | Was setzt der Operator, was die StorageClass? | 5 |
| 6 | Stimmen Zonen und Topologie an allen Stellen? | 6 |
| 7 | Welche Fehlerberichte gibt es wirklich? | Challenge |
Drill 1: Versionen
# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag19 && cd ~/k0s-lab/tag19
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h 'echo $(hostname) \
$(dpkg-query -W linstor-satellite | cut -f2) $(cat /sys/module/drbd/version) \
$(uname -r)'; done
linstor controller version
kubectl -n piraeus-datastore get pod \
-o custom-columns=NAME:.metadata.name,IMAGE:.spec.containers[0].image | cut -c1-88
kubectl version | grep ServerErwartet (gekürzt):
k0s-ctrl 1.35.3-1 9.3.4 6.8.0-151-generic
k0s-w1 1.35.3-1 9.3.4 6.8.0-151-generic
k0s-w2 1.35.3-1 9.3.4 6.8.0-151-generic
k0s-w3 1.35.3-1 9.3.4 6.8.0-151-generic
linstor controller 1.35.3; GIT-hash: 75d5fa72d504ccfe55c421ccccda9505af8371f8
NAME IMAGE
linstor-csi-controller-85876bd7f4-nk2dk quay.io/piraeusdatastore/piraeus-
...
piraeus-operator-controller-manager-77f676b49d-j2v7t quay.io/piraeusdatastore/piraeus-
Server Version: v1.37.2+k0s
/sys/module/drbd/version ist das
geladene Modul, nicht das installierte Paket – nach
einem Update von drbd-dkms ohne Neustart können beide
auseinanderlaufen. Satellites, Controller und CSI-Treiber gehören
zusammen: 1.35.3 mit CSI v1.13.x.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Genau ein Controller
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
echo "$h $(ssh $h systemctl is-active linstor-controller)"; done
sudo drbdadm status linstor_db | grep Primary
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
&& echo "VIP auf $h"; doneErwartet:
k0s-w1 inactive
k0s-w2 active
k0s-w3 inactive
k0s-w2 role:Primary
VIP auf k0s-w2
Drei Antworten, ein Node: Controller, Primary von
linstor_db und VIP liegen zusammen. Zwei
active wären die Falle aus Tag 3 – zwei Controller mit
eigener Datenbank.
Fortschritt speichern? Kostenlos registrieren
Drill 3: DRBD gesund
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h sudo drbdadm status \
| grep -c -E 'StandAlone|Outdated|Inconsistent')"; doneErwartet:
+-------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|=============================================================|
+-------------------------------------------------------------+
k0s-ctrl 0
k0s-w1 0
k0s-w2 0
k0s-w3 0
Erst LINSTOR, dann DRBD auf jedem Host: --faulty zeigt
das Soll, drbdadm status das Ist. Ein
StandAlone heilt nicht von selbst – meist ist es ein
Split-Brain, das niemand aufgelöst hat (Tag 11).
Fortschritt speichern? Kostenlos registrieren
Drill 4: Liegt der Writecache richtig?
An Tag 8 hat toggle-disk ein Cache-LV in den langsamen
Pool gelegt. Zähle je Host, in welcher VG die Cache-LVs liegen:
# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo lvs --noheadings \
-o vg_name,lv_name' | grep cache_ | awk '{print $1}' | sort | uniq -c | xargs)"; done
linstor --no-utf8 --no-color storage-pool list -s pool_nvme | cut -d'|' -f2,3,6,7Erwartet:
k0s-w1 1 cache
k0s-w2 3 cache
k0s-w3 2 cache
+-----------------------------------------------------------------------------------...
StoragePool | Node | FreeCapacity | TotalCapacity
========================================================================================
pool_nvme | k0s-w1 | 1.74 GiB | 2.00 GiB
pool_nvme | k0s-w2 | 1.39 GiB | 2.00 GiB
pool_nvme | k0s-w3 | 1.64 GiB | 2.00 GiB
Nur cache – gut. Stünde dort data, liefe
der Writecache auf der langsamen Platte: kein Fehler, nur kein Nutzen.
Der Preis: 5 % jedes Volumes je Kopie auf dem schnellen Medium.
k0s-w2 trägt drei Volumes und hat schon 0,6 GiB von 2 GiB
verbraucht.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Operator, StorageClass, Resource-Group
# auf k0s-ctrl
linstor --no-utf8 --no-color controller list-properties \
| grep -E 'DrbdOptions/(Auto|Net|Resource)' | cut -c1-76
kubectl get sc linstor-replicated -o jsonpath='{.parameters}' \
| jq -r 'to_entries[] | "\(.key | sub(".*/"; "")) = \(.value)"'
linstor --no-utf8 --no-color resource-group list -r rg-k8s | cut -c1-70Erwartet (gekürzt):
| DrbdOptions/AutoEvictAllowEviction | false
| DrbdOptions/Net/rr-conflict | retry-connect
| DrbdOptions/Resource/on-no-data-accessible | suspend-io
| DrbdOptions/Resource/on-no-quorum | suspend-io
| DrbdOptions/Resource/on-suspended-primary-outdated | force-secondary
fstype = ext4
layerList = drbd writecache storage
placementCount = 2
replicasOnDifferent = Aux/zone
resourceGroup = rg-k8s
storagePool = pool_data
on-no-quorum = suspend-io
on-suspended-primary-outdated = force-secondary
quorum = majority
PoolName = pool_nvme
Size = 5%
...
| rg-k8s | PlaceCount: 2 |
| | StoragePool(s): pool_data |
| | ReplicasOnDifferent: ['Aux/zone'] |
| | LayerStack: ['DRBD', 'WRITECACHE', 'STORAGE'] |
Drei Ebenen, eine Wahrheit: Die Controller-Eigenschaften setzt der
Operator (Tag 7) und setzt sie nach jeder Hand-Änderung zurück.
Platzierung und Layer kommen aus der StorageClass, die Resource-Group
spiegelt sie nur (Tag 8). Wer rg-k8s von Hand ändert,
verliert die Änderung beim nächsten PVC.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Zonen und Topologie
# auf k0s-ctrl
kubectl get nodes -L topology.kubernetes.io/zone
for h in k0s-w1 k0s-w2 k0s-w3; do linstor --no-utf8 --no-color node list-properties $h \
| grep -E 'Aux/(zone|topology)' | tr -d '|' | xargs echo $h; doneErwartet:
NAME STATUS ROLES AGE VERSION ZONE
k0s-w1 Ready <none> 5h5m v1.37.2+k0s a
k0s-w2 Ready <none> 5h5m v1.37.2+k0s b
k0s-w3 Ready <none> 5h5m v1.37.2+k0s a
k0s-w1 Aux/topology/linbit.com/hostname k0s-w1 Aux/zone a
k0s-w2 Aux/topology/linbit.com/hostname k0s-w2 Aux/zone b
k0s-w3 Aux/topology/linbit.com/hostname k0s-w3 Aux/zone a
Die Zone steht an drei Stellen: im k0s-Label (Tag 1), in
Aux/zone (Tag 4) und im Ansible-Inventory (Tag 16). Fehlt
Aux/topology/linbit.com/hostname, startet der CSI-Node-Pod
in einer Schleife neu (Tag 7).
Fortschritt speichern? Kostenlos registrieren
Drill 7: Labor gegen Produktion
Das Labor hat bewusst abgekürzt. Prüfe eine Abkürzung selbst:
# auf k0s-ctrl
sudo k0s status | grep -E '^(Version|Role)'
kubectl get pv -o custom-columns=PVC:.spec.claimRef.name,SC:.spec.storageClassName \
--no-headersErwartet:
Version: v1.37.2+k0s.1
Role: controller
data-pg-0 linstor-replicated
prometheus-kps-prometheus-db-prometheus-kps-prometheus-0 linstor-replicated
storage-loki-0 linstor-replicated
Ein einziger k0s-Controller und ein Monitoring, das auf dem Speicher
liegt, den es überwacht. Fällt k0s-ctrl aus, ist die
Kubernetes-API weg (Tag 15: eine Minute beim Neustart); hängt DRBD unter
dem Prometheus-Volume, fehlen genau dann die Metriken.
| Thema | Labor | Produktion |
|---|---|---|
| k0s-Controller | einer auf k0s-ctrl |
drei, mit Load Balancer und api.externalAddress |
| Storage-Netz | eine NIC, kein Gateway | Bond oder zwei DRBD-Pfade, eigene Switches |
| Witness | VM neben den Workern | dritter Standort, eigener Strom und Uplink |
| Writecache | 2 GiB Partition „NVMe“ | echte NVMe, gespiegelt oder bewusst ohne |
| Snapshots | thick LVM, volle Größe | LVM-Thin oder ZFS, Backup per Kopia nach S3 |
| Monitoring | auf linstor-replicated, 2 Tage |
lokal oder extern, Langzeit in Thanos/Mimir |
| Zugang | Laborpasswörter im Klartext | Secrets aus Vault, TLS für Controller und Satellites |
Der Writecache verdient einen zweiten Blick: Er hält geschriebene Blöcke, bis sie auf die langsame Platte zurückgeschrieben sind. Stirbt das schnelle Medium vorher, ist die Kopie auf diesem Node unbrauchbar – DRBD holt sie von der anderen Kopie zurück (Tag 14). Mit zwei Kopien heißt das: Während dieses Resyncs gibt es keine Redundanz.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig die Version des CSI-Treibers. Zeitziel: 20 s
- Zeig, wie viele Kopien mit Daten das Volume von
data-pg-0hat. Zeitziel: 30 s - Zeig, auf welchem Node die VIP liegt. Zeitziel: 20 s
Lösung
# auf k0s-ctrl
kubectl -n piraeus-datastore get deploy linstor-csi-controller \
-o jsonpath='{.spec.template.spec.containers[?(@.name=="linstor-csi")].image}{"\n"}'
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | grep -c UpToDate
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
&& echo "VIP auf $h"; doneErwartet:
quay.io/piraeusdatastore/piraeus-csi:v1.13.2
2
VIP auf k0s-w2
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,6Erwartet: vier Nodes Online.
# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faultyErwartet: eine leere Tabelle.
# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=1Erwartet: eine ok-Zeile mit aktueller
Uhrzeit.
Challenge
Prüffrage 7: Wie viele Fehlerberichte gibt es im Cluster wirklich?
Vergleiche, was linstor error-reports list zeigt, mit dem,
was auf den Hosts liegt, und finde heraus, woher die Berichte
stammen.
Hinweis: Controller und Satellites schreiben ihre
Berichte nach /var/log/linstor-* auf dem eigenen Host.
Lösung
# auf k0s-ctrl
linstor --no-utf8 --no-color error-reports list | grep -c '^| [0-9A-F]'
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo ls \
/var/log/linstor-controller /var/log/linstor-satellite 2>/dev/null' \
| grep -c ErrorReport)"; done
ssh k0s-w1 'cd /var/log/linstor-controller && sudo grep -h -m1 "^Error message:" \
ErrorReport-*.log' | cut -c37-100 | sort | uniq -cErwartet:
1
k0s-ctrl 1
k0s-w1 18
k0s-w2 4
k0s-w3 1
11 Cannot grow the volume definition by 2097152KiB, as the followin
6 Storage driver 'LVM' does not support snapshots.
Die Liste zeigt einen Bericht, auf den Hosts liegen 24. Zwei Gründe:
Die Berichte eines Controllers liegen auf dem Node, auf dem er damals
lief – hier k0s-w1 bis Tag 15, seither läuft er auf
k0s-w2. Und beim Update auf 1.35 wurde der Index
error-report.mv.db migriert (….h2v1-….bak
daneben); ältere Berichte fehlen seither in der Liste, die Dateien sind
noch da. Die 17 Controller-Berichte auf k0s-w1 (der
achtzehnte ist ein Satellite-Bericht) stammen aus Tag 12
(Writecache-Vergrößerung) und Tag 13 (Snapshots mit thick LVM). Ein
Audit liest deshalb die Verzeichnisse auf allen Hosts, nicht nur die
Liste.
Fortschritt speichern? Kostenlos registrieren
Interview-Notiz
- Wie prüfst du ein übernommenes LINSTOR-Setup? Mit festen
Fragen: Versionen, ein Controller,
--faultyleer und kein StandAlone, Pools und Writecache, Operator- und StorageClass-Werte, Topologie, Fehlerberichte auf allen Hosts. - Was ist der größte Unterschied zwischen Labor und Produktion? Redundanz an den Stellen, die im Labor einfach waren: drei k0s-Controller, redundantes Storage-Netz, Witness am dritten Standort.
- Was kostet der Writecache? Schnellen Speicher (hier 5 % je Kopie) und ein Risiko: Fällt das Medium mit ungeschriebenen Daten aus, muss die Kopie komplett neu synchronisieren.
Enterprise-Notiz
- Die Prüffragen als regelmäßigen Job (CronJob oder Ansible-Lauf mit
--check) mit Ergebnis im Monitoring – nicht als einmaliges Audit. - Änderungen nur über Git: k0sctl-Datei, Helm-Werte, Ansible-Rollen, StorageClass, Regeln.
- Restore-Proben einplanen: Ein Backup gilt erst, wenn ein Restore in eine leere Umgebung geklappt hat (Tag 13).
- Kapazitätsplanung pro Zone und pro Cache-Pool, nicht pro Cluster (Tag 12).
- Für Support und getestete Versionskombinationen: LINBIT SDS bzw. ein Wartungsvertrag für k0s.