Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 9: Fleet für viele Cluster

Ziel: notes aus demselben Repository auf k3s und werk ausrollen, die Ziel-Cluster per Label und ClusterGroup auswählen und jedem Cluster eigene Werte geben. · Dauer: ca. 60 min · Voraussetzung: Tag 8

Briefing

  • Fleet ist für viele Cluster gebaut. Statt Clustern einzeln zu nennen, wählst du sie über Labels aus, am bequemsten über eine ClusterGroup.
  • Ein Bundle, viele Ziele: targetCustomizations in fleet.yaml überschreiben Werte für bestimmte Cluster, etwa weniger Repliken oder andere Images.
  • Fleet kennt von jedem Cluster ein paar Labels von selbst, zum Beispiel die Distribution in provider.cattle.io.
  • Verliert ein Cluster sein Label, nimmt Fleet ihm die Anwendung wieder weg.
                    Gitea lab/notes-fleet: fleet.yaml
                       values (alle)  +  targetCustomizations (k3s)
                                   │
              Fleet: ClusterGroup notes  (notes=ja)
                ┌──────────────────┴──────────────────┐
     k3s (provider k3s)                       werk (provider rke2)
     api 1 Replik, Images importiert          api 2 Repliken, Images aus Gitea

Drill 1: Was Fleet über die Cluster weiß

source ~/rancher-lab/setup/env.sh
mkdir -p "$LAB/tag09" && cd "$LAB/tag09"
cp "$LAB/code/tag09/clustergroup.yaml" .
export KUBECONFIG="$LAB/kube/rancher.yaml"
f='{range .items[*]}{.metadata.name}: '
f+='{.metadata.labels.provider\.cattle\.io}{"\n"}{end}'
kubectl -n fleet-default get clusters.fleet.cattle.io -o jsonpath="$f"

Erwartet:

k3s: k3s
werk: rke2

Neben Rancher-Clustern (clusters.provisioning.cattle.io) gibt es Fleet-Cluster (clusters.fleet.cattle.io). Rancher legt sie an und gibt ihnen Labels mit, darunter die Distribution. Danach kann fleet.yaml gleich unterscheiden.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein Label für die Zielgruppe

Beide Cluster sollen notes bekommen. Markiere sie mit notes=ja. Bei einem importierten Cluster reicht Rancher Labels nur vom Management-Cluster an Fleet weiter; also setzt du es dort:

kubectl -n fleet-default label clusters.provisioning.cattle.io k3s werk notes=ja
K3S_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io k3s \
  -o jsonpath='{.status.clusterName}')
kubectl label clusters.management.cattle.io "$K3S_ID" notes=ja
f='{range .items[*]}{.metadata.name}: notes={.metadata.labels.notes}{"\n"}{end}'
kubectl -n fleet-default get clusters.fleet.cattle.io -o jsonpath="$f"

Erwartet:

cluster.provisioning.cattle.io/k3s labeled
cluster.provisioning.cattle.io/werk labeled
cluster.management.cattle.io/c-m-5pjkcmvg labeled
k3s: notes=ja
werk: notes=ja

Achtung: Im Test kam das Label am Provisioning-Objekt bei werk (angelegt) bis zu Fleet durch, bei k3s (importiert) nicht. Erst das Label am Management-Cluster wirkte. Prüfe deshalb immer am Fleet-Cluster, was dort wirklich ankommt.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Die ClusterGroup

# tag09/clustergroup.yaml – Stand Ende Tag 9: alle Cluster mit dem Label notes=ja
apiVersion: fleet.cattle.io/v1alpha1
kind: ClusterGroup
metadata:
  name: notes
  namespace: fleet-default
spec:
  selector:
    matchLabels:
      notes: ja
kubectl apply -f clustergroup.yaml
kubectl -n fleet-default get clustergroups.fleet.cattle.io

Erwartet (gekürzt):

clustergroup.fleet.cattle.io/notes created
NAME    CLUSTERS-READY   BUNDLES-READY   STATUS
notes   2/2              …

Eine Gruppe ist nur ein gespeicherter Selektor. Kommt ein neues Cluster mit dem Label dazu, gehört es sofort dazu, ohne dass jemand das GitRepo anfasst.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Werte pro Cluster

k3s hat keinen Zugang zur Gitea-Registry, aber die importierten Images aus Tag 2, und es ist klein. fleet.yaml bekommt einen Abschnitt targetCustomizations:

# notes-fleet/fleet.yaml (Ausschnitt) – Stand Ende Tag 9
targetCustomizations:                # … außer hier überschrieben
  - name: k3s
    clusterSelector:
      matchLabels:
        provider.cattle.io: k3s
    helm:
      values:
        api:
          replicas: 1                # kleine VM
          image:
            repository: notes-api    # importierte Images aus Tag 2, keine Registry
        web:
          image:
            repository: notes-web
        worker:
          image:
            repository: notes-worker

Die Werte unter targetCustomizations legen sich über die allgemeinen values; alles andere gilt für k3s genauso wie für werk. Die vollständige Datei liegt im Begleitcode code/tag09/notes-fleet/.

Auf k3s läuft notes noch als Helm-Release aus Tag 2. Nimm es weg, damit Fleet übernehmen kann; das Volume bleibt wie in Tag 8:

helm --kubeconfig "$LAB/kube/k3s.yaml" -n notes uninstall notes --wait
cd "$LAB/tag08/notes-fleet"
sed "s/RANCHER_IP/$RANCHER/g" "$LAB/code/tag09/notes-fleet/fleet.yaml" > fleet.yaml
git diff --stat
git commit -qam "notes auch auf k3s" && git push -q origin HEAD:main
cd "$LAB/tag09"

Erwartet:

release "notes" uninstalled
 fleet.yaml | 23 ++++++++++++++++++++---
 1 file changed, 20 insertions(+), 3 deletions(-)

Fortschritt speichern? Kostenlos registrieren

Drill 5: Das GitRepo zielt auf die Gruppe

kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
  -p '{"spec":{"targets":[{"clusterGroup":"notes"}]}}'
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes
kubectl get bundledeployments.fleet.cattle.io -A | grep -E 'NAME|notes'

Erwartet (gekürzt, nach etwa einer halben Minute):

gitrepo.fleet.cattle.io/notes patched
NAME    REPO                                     COMMIT          BUNDLEDEPLOYMENTS-READY
notes   https://gitea.….sslip.io/lab/notes-fleet.git   24248b0ca91f…   2/2
NAMESPACE                                 NAME    DEPLOYED   MONITORED   STATUS
cluster-fleet-default-k3s-f32e230524ab    notes   True       True
cluster-fleet-default-werk-36fc7629803c   notes   True       True

Ein Bundle, zwei BundleDeployments: eins pro Ziel-Cluster, jedes mit seinen eigenen Werten. Für die Dauerhaftigkeit gehört das Ziel in gitrepo.yaml; der Patch zeigt nur den kürzesten Weg.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Ein Bundle, zwei Gesichter

c='NAME:.metadata.name,READY:.status.readyReplicas'
c+=',IMAGE:.spec.template.spec.containers[0].image'
for k in k3s werk; do
  echo "== $k"
  kubectl --kubeconfig "$LAB/kube/$k.yaml" -n notes get deploy -o custom-columns="$c"
done
curl -s "http://notes.$K3S.sslip.io/api/notes"; echo

Erwartet:

== k3s
NAME     READY   IMAGE
api      1       notes-api:0.2.0
web      2       notes-web:0.1.0
worker   1       notes-worker:0.1.0
== werk
NAME     READY   IMAGE
api      2       gitea.….sslip.io/lab/notes-api:0.2.0
web      2       gitea.….sslip.io/lab/notes-web:0.1.0
worker   1       gitea.….sslip.io/lab/notes-worker:0.1.0
[{"id":"395a46da-…","text":"läuft auf k3s"}]

Auf k3s eine api mit den importierten Images, auf werk zwei aus Gitea. Die Notiz aus Tag 2 hat den Wechsel zu Fleet überlebt.

In der Oberfläche zeigt Continuous Delivery › Clusters beide Cluster mit ihren Labels:

Fleet-Cluster mit dem Label notes=ja

Unter Cluster Groups steht die Gruppe mit zwei bereiten Clustern:

ClusterGroup notes mit zwei Clustern

Und das GitRepo zählt jetzt zwei Deployments und doppelt so viele Ressourcen:

GitRepo notes mit zwei Deployments

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl -n fleet-default get clustergroups.fleet.cattle.io notes

Erwartet: zwei Cluster in der Gruppe.

NAME    CLUSTERS-READY   BUNDLES-READY   STATUS
notes   2/2              4/4
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
  -o jsonpath='{.status.display.readyBundleDeployments}'; echo

Erwartet: 2/2.

2/2
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n notes get deploy api

Erwartet: auf k3s eine einzige api-Replik.

NAME   READY   UP-TO-DATE   AVAILABLE   AGE
api    1/1     1            1           5m

Challenge

Was passiert mit notes auf k3s, wenn das Cluster sein Label verliert? Entferne notes=ja von k3s, beobachte das Release und hol k3s danach zurück in die Gruppe.

Hinweis: kubectl label … notes- entfernt ein Label.

Lösung

kubectl label clusters.management.cattle.io "$K3S_ID" notes-
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes-
helm --kubeconfig "$LAB/kube/k3s.yaml" -n notes list
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n notes get pvc
kubectl label clusters.management.cattle.io "$K3S_ID" notes=ja
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes=ja
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
  -o jsonpath='{.status.display.readyBundleDeployments}'; echo

Erwartet (gekürzt, vor dem letzten Befehl eine halbe Minute warten):

cluster.management.cattle.io/c-m-5pjkcmvg unlabeled
cluster.provisioning.cattle.io/k3s unlabeled
NAME    NAMESPACE   REVISION   UPDATED   STATUS   CHART   APP VERSION
NAME        STATUS   VOLUME                                     CAPACITY   …
data-db-0   Bound    pvc-1cc33490-4219-4c30-9a23-96c6b5e39798   1Gi        …
cluster.management.cattle.io/c-m-5pjkcmvg labeled
cluster.provisioning.cattle.io/k3s labeled
2/2

Drei Sekunden nach dem Entfernen des Labels hat Fleet das Release auf k3s gelöscht. Das ist gewollt: Was nicht mehr Ziel ist, räumt Fleet ab. Das Volume überlebt, und mit dem Label kommt notes samt Daten nach einer halben Minute zurück. Ein falsch gesetztes Label kann also eine Anwendung abschalten; Labels gehören deshalb in dieselbe Kontrolle wie der Code.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Labels als Vertrag: Umgebung (env=prod), Region, Kunde, Hardware: Ein klares Label-Schema entscheidet, wohin was ausgerollt wird. Rancher kann Labels schon beim Anlegen des Clusters setzen.
  • Gestaffelt ausrollen: Mehrere GitRepos oder Branches für dev, staging und prod, oder rolloutStrategy in fleet.yaml mit Partitionen, damit ein Fehler nicht alle Cluster gleichzeitig trifft.
  • Plattform-Bundles: Neben Anwendungen verteilt Fleet auch Grundausstattung wie Kataloge, Monitoring-Agents oder Richtlinien auf jedes neue Cluster.
  • Löschen absichern: keepResources: true im GitRepo lässt Ressourcen stehen, wenn ein Cluster aus dem Ziel fällt. Für Datenbanken ist das oft die sicherere Wahl.
  • Viele Cluster: Fleet ist auf Tausende Cluster ausgelegt, etwa Filialen oder Edge-Standorte mit k3s.