Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 19: Vom Labor zur Produktion

Ziel: Du prüfst das Labor so, als hättest du es von einem fremden Team übernommen – mit festen Prüffragen und je einem Befehl als Nachweis – und kennst die Stellen, an denen Produktion anders aussehen muss. · Dauer: ca. 45 min · Voraussetzung: Tag 18

Briefing

  • Ein Audit ist eine Liste von Fragen, auf die jeder Befehl eine eindeutige Antwort gibt. Was nicht nachgewiesen ist, gilt als offen.
  • Die Fragen kommen aus den Fehlern der letzten Tage: Versionsmix (Tag 15), zwei Controller (Tag 3), StorageClass gegen Resource-Group (Tag 8), Writecache am falschen Ort (Tag 8), fehlende Topologie-Eigenschaft (Tag 7), übersehene Fehlerberichte (Tag 9).
  • Danach der Blick nach vorn: Was im Labor eine bewusste Abkürzung war.
Nr. Prüffrage Drill
1 Passen alle Versionen zusammen? 1
2 Läuft genau ein Controller, dort wo die VIP ist? 2
3 Ist DRBD überall gesund? 3
4 Liegt jeder Writecache im schnellen Pool? 4
5 Was setzt der Operator, was die StorageClass? 5
6 Stimmen Zonen und Topologie an allen Stellen? 6
7 Welche Fehlerberichte gibt es wirklich? Challenge

Drill 1: Versionen

# auf k0s-ctrl
mkdir -p ~/k0s-lab/tag19 && cd ~/k0s-lab/tag19
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do ssh $h 'echo $(hostname) \
  $(dpkg-query -W linstor-satellite | cut -f2) $(cat /sys/module/drbd/version) \
  $(uname -r)'; done
linstor controller version
kubectl -n piraeus-datastore get pod \
  -o custom-columns=NAME:.metadata.name,IMAGE:.spec.containers[0].image | cut -c1-88
kubectl version | grep Server

Erwartet (gekürzt):

k0s-ctrl 1.35.3-1 9.3.4 6.8.0-151-generic
k0s-w1 1.35.3-1 9.3.4 6.8.0-151-generic
k0s-w2 1.35.3-1 9.3.4 6.8.0-151-generic
k0s-w3 1.35.3-1 9.3.4 6.8.0-151-generic
linstor controller 1.35.3; GIT-hash: 75d5fa72d504ccfe55c421ccccda9505af8371f8
NAME                                                   IMAGE
linstor-csi-controller-85876bd7f4-nk2dk                quay.io/piraeusdatastore/piraeus-
...
piraeus-operator-controller-manager-77f676b49d-j2v7t   quay.io/piraeusdatastore/piraeus-
Server Version: v1.37.2+k0s

/sys/module/drbd/version ist das geladene Modul, nicht das installierte Paket – nach einem Update von drbd-dkms ohne Neustart können beide auseinanderlaufen. Satellites, Controller und CSI-Treiber gehören zusammen: 1.35.3 mit CSI v1.13.x.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Genau ein Controller

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do
  echo "$h $(ssh $h systemctl is-active linstor-controller)"; done
sudo drbdadm status linstor_db | grep Primary
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
  && echo "VIP auf $h"; done

Erwartet:

k0s-w1 inactive
k0s-w2 active
k0s-w3 inactive
  k0s-w2 role:Primary
VIP auf k0s-w2

Drei Antworten, ein Node: Controller, Primary von linstor_db und VIP liegen zusammen. Zwei active wären die Falle aus Tag 3 – zwei Controller mit eigener Datenbank.

Fortschritt speichern? Kostenlos registrieren

Drill 3: DRBD gesund

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h sudo drbdadm status \
  | grep -c -E 'StandAlone|Outdated|Inconsistent')"; done

Erwartet:

+-------------------------------------------------------------+
| ResourceName | Node | Layers | Usage | Conns | State | Vote |
|=============================================================|
+-------------------------------------------------------------+
k0s-ctrl 0
k0s-w1 0
k0s-w2 0
k0s-w3 0

Erst LINSTOR, dann DRBD auf jedem Host: --faulty zeigt das Soll, drbdadm status das Ist. Ein StandAlone heilt nicht von selbst – meist ist es ein Split-Brain, das niemand aufgelöst hat (Tag 11).

Fortschritt speichern? Kostenlos registrieren

Drill 4: Liegt der Writecache richtig?

An Tag 8 hat toggle-disk ein Cache-LV in den langsamen Pool gelegt. Zähle je Host, in welcher VG die Cache-LVs liegen:

# auf k0s-ctrl
for h in k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo lvs --noheadings \
  -o vg_name,lv_name' | grep cache_ | awk '{print $1}' | sort | uniq -c | xargs)"; done
linstor --no-utf8 --no-color storage-pool list -s pool_nvme | cut -d'|' -f2,3,6,7

Erwartet:

k0s-w1 1 cache
k0s-w2 3 cache
k0s-w3 2 cache
+-----------------------------------------------------------------------------------...
 StoragePool | Node   | FreeCapacity | TotalCapacity
========================================================================================
 pool_nvme   | k0s-w1 |     1.74 GiB |      2.00 GiB
 pool_nvme   | k0s-w2 |     1.39 GiB |      2.00 GiB
 pool_nvme   | k0s-w3 |     1.64 GiB |      2.00 GiB

Nur cache – gut. Stünde dort data, liefe der Writecache auf der langsamen Platte: kein Fehler, nur kein Nutzen. Der Preis: 5 % jedes Volumes je Kopie auf dem schnellen Medium. k0s-w2 trägt drei Volumes und hat schon 0,6 GiB von 2 GiB verbraucht.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Operator, StorageClass, Resource-Group

# auf k0s-ctrl
linstor --no-utf8 --no-color controller list-properties \
  | grep -E 'DrbdOptions/(Auto|Net|Resource)' | cut -c1-76
kubectl get sc linstor-replicated -o jsonpath='{.parameters}' \
  | jq -r 'to_entries[] | "\(.key | sub(".*/"; "")) = \(.value)"'
linstor --no-utf8 --no-color resource-group list -r rg-k8s | cut -c1-70

Erwartet (gekürzt):

| DrbdOptions/AutoEvictAllowEviction                 | false
| DrbdOptions/Net/rr-conflict                        | retry-connect
| DrbdOptions/Resource/on-no-data-accessible         | suspend-io
| DrbdOptions/Resource/on-no-quorum                  | suspend-io
| DrbdOptions/Resource/on-suspended-primary-outdated | force-secondary
fstype = ext4
layerList = drbd writecache storage
placementCount = 2
replicasOnDifferent = Aux/zone
resourceGroup = rg-k8s
storagePool = pool_data
on-no-quorum = suspend-io
on-suspended-primary-outdated = force-secondary
quorum = majority
PoolName = pool_nvme
Size = 5%
...
| rg-k8s        | PlaceCount: 2                                 |
|               | StoragePool(s): pool_data                     |
|               | ReplicasOnDifferent: ['Aux/zone']             |
|               | LayerStack: ['DRBD', 'WRITECACHE', 'STORAGE'] |

Drei Ebenen, eine Wahrheit: Die Controller-Eigenschaften setzt der Operator (Tag 7) und setzt sie nach jeder Hand-Änderung zurück. Platzierung und Layer kommen aus der StorageClass, die Resource-Group spiegelt sie nur (Tag 8). Wer rg-k8s von Hand ändert, verliert die Änderung beim nächsten PVC.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Zonen und Topologie

# auf k0s-ctrl
kubectl get nodes -L topology.kubernetes.io/zone
for h in k0s-w1 k0s-w2 k0s-w3; do linstor --no-utf8 --no-color node list-properties $h \
  | grep -E 'Aux/(zone|topology)' | tr -d '|' | xargs echo $h; done

Erwartet:

NAME     STATUS   ROLES    AGE    VERSION       ZONE
k0s-w1   Ready    <none>   5h5m   v1.37.2+k0s   a
k0s-w2   Ready    <none>   5h5m   v1.37.2+k0s   b
k0s-w3   Ready    <none>   5h5m   v1.37.2+k0s   a
k0s-w1 Aux/topology/linbit.com/hostname k0s-w1 Aux/zone a
k0s-w2 Aux/topology/linbit.com/hostname k0s-w2 Aux/zone b
k0s-w3 Aux/topology/linbit.com/hostname k0s-w3 Aux/zone a

Die Zone steht an drei Stellen: im k0s-Label (Tag 1), in Aux/zone (Tag 4) und im Ansible-Inventory (Tag 16). Fehlt Aux/topology/linbit.com/hostname, startet der CSI-Node-Pod in einer Schleife neu (Tag 7).

Fortschritt speichern? Kostenlos registrieren

Drill 7: Labor gegen Produktion

Das Labor hat bewusst abgekürzt. Prüfe eine Abkürzung selbst:

# auf k0s-ctrl
sudo k0s status | grep -E '^(Version|Role)'
kubectl get pv -o custom-columns=PVC:.spec.claimRef.name,SC:.spec.storageClassName \
  --no-headers

Erwartet:

Version: v1.37.2+k0s.1
Role: controller
data-pg-0                                                  linstor-replicated
prometheus-kps-prometheus-db-prometheus-kps-prometheus-0   linstor-replicated
storage-loki-0                                             linstor-replicated

Ein einziger k0s-Controller und ein Monitoring, das auf dem Speicher liegt, den es überwacht. Fällt k0s-ctrl aus, ist die Kubernetes-API weg (Tag 15: eine Minute beim Neustart); hängt DRBD unter dem Prometheus-Volume, fehlen genau dann die Metriken.

Thema Labor Produktion
k0s-Controller einer auf k0s-ctrl drei, mit Load Balancer und api.externalAddress
Storage-Netz eine NIC, kein Gateway Bond oder zwei DRBD-Pfade, eigene Switches
Witness VM neben den Workern dritter Standort, eigener Strom und Uplink
Writecache 2 GiB Partition „NVMe“ echte NVMe, gespiegelt oder bewusst ohne
Snapshots thick LVM, volle Größe LVM-Thin oder ZFS, Backup per Kopia nach S3
Monitoring auf linstor-replicated, 2 Tage lokal oder extern, Langzeit in Thanos/Mimir
Zugang Laborpasswörter im Klartext Secrets aus Vault, TLS für Controller und Satellites

Der Writecache verdient einen zweiten Blick: Er hält geschriebene Blöcke, bis sie auf die langsame Platte zurückgeschrieben sind. Stirbt das schnelle Medium vorher, ist die Kopie auf diesem Node unbrauchbar – DRBD holt sie von der anderen Kopie zurück (Tag 14). Mit zwei Kopien heißt das: Während dieses Resyncs gibt es keine Redundanz.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig die Version des CSI-Treibers. Zeitziel: 20 s
  2. Zeig, wie viele Kopien mit Daten das Volume von data-pg-0 hat. Zeitziel: 30 s
  3. Zeig, auf welchem Node die VIP liegt. Zeitziel: 20 s

Lösung

# auf k0s-ctrl
kubectl -n piraeus-datastore get deploy linstor-csi-controller \
  -o jsonpath='{.spec.template.spec.containers[?(@.name=="linstor-csi")].image}{"\n"}'
R=$(kubectl -n demo get pvc data-pg-0 -o jsonpath='{.spec.volumeName}')
linstor --no-utf8 --no-color resource list -r $R | grep -c UpToDate
for h in k0s-w1 k0s-w2 k0s-w3; do ssh $h ip -br addr show ens19 | grep -q '\.100/' \
  && echo "VIP auf $h"; done

Erwartet:

quay.io/piraeusdatastore/piraeus-csi:v1.13.2
2
VIP auf k0s-w2

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf k0s-ctrl
linstor --no-utf8 --no-color node list | cut -d'|' -f2,6

Erwartet: vier Nodes Online.

# auf k0s-ctrl
linstor --no-utf8 --no-color resource list --faulty

Erwartet: eine leere Tabelle.

# auf k0s-ctrl
kubectl -n demo logs deploy/pg-client --tail=1

Erwartet: eine ok-Zeile mit aktueller Uhrzeit.

Challenge

Prüffrage 7: Wie viele Fehlerberichte gibt es im Cluster wirklich? Vergleiche, was linstor error-reports list zeigt, mit dem, was auf den Hosts liegt, und finde heraus, woher die Berichte stammen.

Hinweis: Controller und Satellites schreiben ihre Berichte nach /var/log/linstor-* auf dem eigenen Host.

Lösung

# auf k0s-ctrl
linstor --no-utf8 --no-color error-reports list | grep -c '^| [0-9A-F]'
for h in k0s-ctrl k0s-w1 k0s-w2 k0s-w3; do echo "$h $(ssh $h 'sudo ls \
  /var/log/linstor-controller /var/log/linstor-satellite 2>/dev/null' \
  | grep -c ErrorReport)"; done
ssh k0s-w1 'cd /var/log/linstor-controller && sudo grep -h -m1 "^Error message:" \
  ErrorReport-*.log' | cut -c37-100 | sort | uniq -c

Erwartet:

1
k0s-ctrl 1
k0s-w1 18
k0s-w2 4
k0s-w3 1
     11 Cannot grow the volume definition by 2097152KiB, as the followin
      6 Storage driver 'LVM' does not support snapshots.

Die Liste zeigt einen Bericht, auf den Hosts liegen 24. Zwei Gründe: Die Berichte eines Controllers liegen auf dem Node, auf dem er damals lief – hier k0s-w1 bis Tag 15, seither läuft er auf k0s-w2. Und beim Update auf 1.35 wurde der Index error-report.mv.db migriert (….h2v1-….bak daneben); ältere Berichte fehlen seither in der Liste, die Dateien sind noch da. Die 17 Controller-Berichte auf k0s-w1 (der achtzehnte ist ein Satellite-Bericht) stammen aus Tag 12 (Writecache-Vergrößerung) und Tag 13 (Snapshots mit thick LVM). Ein Audit liest deshalb die Verzeichnisse auf allen Hosts, nicht nur die Liste.

Fortschritt speichern? Kostenlos registrieren

Interview-Notiz

  • Wie prüfst du ein übernommenes LINSTOR-Setup? Mit festen Fragen: Versionen, ein Controller, --faulty leer und kein StandAlone, Pools und Writecache, Operator- und StorageClass-Werte, Topologie, Fehlerberichte auf allen Hosts.
  • Was ist der größte Unterschied zwischen Labor und Produktion? Redundanz an den Stellen, die im Labor einfach waren: drei k0s-Controller, redundantes Storage-Netz, Witness am dritten Standort.
  • Was kostet der Writecache? Schnellen Speicher (hier 5 % je Kopie) und ein Risiko: Fällt das Medium mit ungeschriebenen Daten aus, muss die Kopie komplett neu synchronisieren.

Enterprise-Notiz

  • Die Prüffragen als regelmäßigen Job (CronJob oder Ansible-Lauf mit --check) mit Ergebnis im Monitoring – nicht als einmaliges Audit.
  • Änderungen nur über Git: k0sctl-Datei, Helm-Werte, Ansible-Rollen, StorageClass, Regeln.
  • Restore-Proben einplanen: Ein Backup gilt erst, wenn ein Restore in eine leere Umgebung geklappt hat (Tag 13).
  • Kapazitätsplanung pro Zone und pro Cache-Pool, nicht pro Cluster (Tag 12).
  • Für Support und getestete Versionskombinationen: LINBIT SDS bzw. ein Wartungsvertrag für k0s.