Tag 9: Fleet für viele Cluster
Ziel: notes aus demselben Repository auf k3s und werk ausrollen, die Ziel-Cluster per Label und ClusterGroup auswählen und jedem Cluster eigene Werte geben. · Dauer: ca. 60 min · Voraussetzung: Tag 8
Briefing
- Fleet ist für viele Cluster gebaut. Statt Clustern einzeln zu nennen, wählst du sie über Labels aus, am bequemsten über eine ClusterGroup.
- Ein Bundle, viele Ziele: targetCustomizations in
fleet.yamlüberschreiben Werte für bestimmte Cluster, etwa weniger Repliken oder andere Images. - Fleet kennt von jedem Cluster ein paar Labels von selbst, zum
Beispiel die Distribution in
provider.cattle.io. - Verliert ein Cluster sein Label, nimmt Fleet ihm die Anwendung wieder weg.
Gitea lab/notes-fleet: fleet.yaml
values (alle) + targetCustomizations (k3s)
│
Fleet: ClusterGroup notes (notes=ja)
┌──────────────────┴──────────────────┐
k3s (provider k3s) werk (provider rke2)
api 1 Replik, Images importiert api 2 Repliken, Images aus Gitea
Drill 1: Was Fleet über die Cluster weiß
source ~/rancher-lab/setup/env.sh
mkdir -p "$LAB/tag09" && cd "$LAB/tag09"
cp "$LAB/code/tag09/clustergroup.yaml" .
export KUBECONFIG="$LAB/kube/rancher.yaml"
f='{range .items[*]}{.metadata.name}: '
f+='{.metadata.labels.provider\.cattle\.io}{"\n"}{end}'
kubectl -n fleet-default get clusters.fleet.cattle.io -o jsonpath="$f"Erwartet:
k3s: k3s
werk: rke2
Neben Rancher-Clustern (clusters.provisioning.cattle.io)
gibt es Fleet-Cluster (clusters.fleet.cattle.io). Rancher
legt sie an und gibt ihnen Labels mit, darunter die Distribution. Danach
kann fleet.yaml gleich unterscheiden.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein Label für die Zielgruppe
Beide Cluster sollen notes bekommen. Markiere sie mit
notes=ja. Bei einem importierten Cluster reicht Rancher
Labels nur vom Management-Cluster an Fleet weiter; also setzt du es
dort:
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s werk notes=ja
K3S_ID=$(kubectl -n fleet-default get clusters.provisioning.cattle.io k3s \
-o jsonpath='{.status.clusterName}')
kubectl label clusters.management.cattle.io "$K3S_ID" notes=ja
f='{range .items[*]}{.metadata.name}: notes={.metadata.labels.notes}{"\n"}{end}'
kubectl -n fleet-default get clusters.fleet.cattle.io -o jsonpath="$f"Erwartet:
cluster.provisioning.cattle.io/k3s labeled
cluster.provisioning.cattle.io/werk labeled
cluster.management.cattle.io/c-m-5pjkcmvg labeled
k3s: notes=ja
werk: notes=ja
Achtung: Im Test kam das Label am Provisioning-Objekt bei werk (angelegt) bis zu Fleet durch, bei k3s (importiert) nicht. Erst das Label am Management-Cluster wirkte. Prüfe deshalb immer am Fleet-Cluster, was dort wirklich ankommt.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Die ClusterGroup
# tag09/clustergroup.yaml – Stand Ende Tag 9: alle Cluster mit dem Label notes=ja
apiVersion: fleet.cattle.io/v1alpha1
kind: ClusterGroup
metadata:
name: notes
namespace: fleet-default
spec:
selector:
matchLabels:
notes: jakubectl apply -f clustergroup.yaml
kubectl -n fleet-default get clustergroups.fleet.cattle.ioErwartet (gekürzt):
clustergroup.fleet.cattle.io/notes created
NAME CLUSTERS-READY BUNDLES-READY STATUS
notes 2/2 …
Eine Gruppe ist nur ein gespeicherter Selektor. Kommt ein neues Cluster mit dem Label dazu, gehört es sofort dazu, ohne dass jemand das GitRepo anfasst.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Werte pro Cluster
k3s hat keinen Zugang zur Gitea-Registry, aber die importierten
Images aus Tag 2, und es ist klein. fleet.yaml bekommt
einen Abschnitt targetCustomizations:
# notes-fleet/fleet.yaml (Ausschnitt) – Stand Ende Tag 9
targetCustomizations: # … außer hier überschrieben
- name: k3s
clusterSelector:
matchLabels:
provider.cattle.io: k3s
helm:
values:
api:
replicas: 1 # kleine VM
image:
repository: notes-api # importierte Images aus Tag 2, keine Registry
web:
image:
repository: notes-web
worker:
image:
repository: notes-workerDie Werte unter targetCustomizations legen sich über die
allgemeinen values; alles andere gilt für k3s genauso wie
für werk. Die vollständige Datei liegt im Begleitcode
code/tag09/notes-fleet/.
Auf k3s läuft notes noch als Helm-Release aus Tag 2. Nimm es weg, damit Fleet übernehmen kann; das Volume bleibt wie in Tag 8:
helm --kubeconfig "$LAB/kube/k3s.yaml" -n notes uninstall notes --wait
cd "$LAB/tag08/notes-fleet"
sed "s/RANCHER_IP/$RANCHER/g" "$LAB/code/tag09/notes-fleet/fleet.yaml" > fleet.yaml
git diff --stat
git commit -qam "notes auch auf k3s" && git push -q origin HEAD:main
cd "$LAB/tag09"Erwartet:
release "notes" uninstalled
fleet.yaml | 23 ++++++++++++++++++++---
1 file changed, 20 insertions(+), 3 deletions(-)
Fortschritt speichern? Kostenlos registrieren
Drill 5: Das GitRepo zielt auf die Gruppe
kubectl -n fleet-default patch gitrepos.fleet.cattle.io notes --type merge \
-p '{"spec":{"targets":[{"clusterGroup":"notes"}]}}'
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes
kubectl get bundledeployments.fleet.cattle.io -A | grep -E 'NAME|notes'Erwartet (gekürzt, nach etwa einer halben Minute):
gitrepo.fleet.cattle.io/notes patched
NAME REPO COMMIT BUNDLEDEPLOYMENTS-READY
notes https://gitea.….sslip.io/lab/notes-fleet.git 24248b0ca91f… 2/2
NAMESPACE NAME DEPLOYED MONITORED STATUS
cluster-fleet-default-k3s-f32e230524ab notes True True
cluster-fleet-default-werk-36fc7629803c notes True True
Ein Bundle, zwei BundleDeployments: eins pro Ziel-Cluster, jedes mit
seinen eigenen Werten. Für die Dauerhaftigkeit gehört das Ziel in
gitrepo.yaml; der Patch zeigt nur den kürzesten Weg.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Ein Bundle, zwei Gesichter
c='NAME:.metadata.name,READY:.status.readyReplicas'
c+=',IMAGE:.spec.template.spec.containers[0].image'
for k in k3s werk; do
echo "== $k"
kubectl --kubeconfig "$LAB/kube/$k.yaml" -n notes get deploy -o custom-columns="$c"
done
curl -s "http://notes.$K3S.sslip.io/api/notes"; echoErwartet:
== k3s
NAME READY IMAGE
api 1 notes-api:0.2.0
web 2 notes-web:0.1.0
worker 1 notes-worker:0.1.0
== werk
NAME READY IMAGE
api 2 gitea.….sslip.io/lab/notes-api:0.2.0
web 2 gitea.….sslip.io/lab/notes-web:0.1.0
worker 1 gitea.….sslip.io/lab/notes-worker:0.1.0
[{"id":"395a46da-…","text":"läuft auf k3s"}]
Auf k3s eine api mit den importierten Images, auf werk zwei aus Gitea. Die Notiz aus Tag 2 hat den Wechsel zu Fleet überlebt.
In der Oberfläche zeigt Continuous Delivery › Clusters beide Cluster mit ihren Labels:
Unter Cluster Groups steht die Gruppe mit zwei bereiten Clustern:
Und das GitRepo zählt jetzt zwei Deployments und doppelt so viele Ressourcen:
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl -n fleet-default get clustergroups.fleet.cattle.io notesErwartet: zwei Cluster in der Gruppe.
NAME CLUSTERS-READY BUNDLES-READY STATUS
notes 2/2 4/4
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
-o jsonpath='{.status.display.readyBundleDeployments}'; echoErwartet: 2/2.
2/2
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n notes get deploy apiErwartet: auf k3s eine einzige api-Replik.
NAME READY UP-TO-DATE AVAILABLE AGE
api 1/1 1 1 5m
Challenge
Was passiert mit notes auf k3s, wenn das Cluster sein Label verliert?
Entferne notes=ja von k3s, beobachte das Release und hol
k3s danach zurück in die Gruppe.
Hinweis: kubectl label … notes-
entfernt ein Label.
Lösung
kubectl label clusters.management.cattle.io "$K3S_ID" notes-
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes-
helm --kubeconfig "$LAB/kube/k3s.yaml" -n notes list
kubectl --kubeconfig "$LAB/kube/k3s.yaml" -n notes get pvc
kubectl label clusters.management.cattle.io "$K3S_ID" notes=ja
kubectl -n fleet-default label clusters.provisioning.cattle.io k3s notes=ja
kubectl -n fleet-default get gitrepos.fleet.cattle.io notes \
-o jsonpath='{.status.display.readyBundleDeployments}'; echoErwartet (gekürzt, vor dem letzten Befehl eine halbe Minute warten):
cluster.management.cattle.io/c-m-5pjkcmvg unlabeled
cluster.provisioning.cattle.io/k3s unlabeled
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
NAME STATUS VOLUME CAPACITY …
data-db-0 Bound pvc-1cc33490-4219-4c30-9a23-96c6b5e39798 1Gi …
cluster.management.cattle.io/c-m-5pjkcmvg labeled
cluster.provisioning.cattle.io/k3s labeled
2/2
Drei Sekunden nach dem Entfernen des Labels hat Fleet das Release auf k3s gelöscht. Das ist gewollt: Was nicht mehr Ziel ist, räumt Fleet ab. Das Volume überlebt, und mit dem Label kommt notes samt Daten nach einer halben Minute zurück. Ein falsch gesetztes Label kann also eine Anwendung abschalten; Labels gehören deshalb in dieselbe Kontrolle wie der Code.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Labels als Vertrag: Umgebung
(
env=prod), Region, Kunde, Hardware: Ein klares Label-Schema entscheidet, wohin was ausgerollt wird. Rancher kann Labels schon beim Anlegen des Clusters setzen. - Gestaffelt ausrollen: Mehrere GitRepos oder
Branches für
dev,stagingundprod, oderrolloutStrategyinfleet.yamlmit Partitionen, damit ein Fehler nicht alle Cluster gleichzeitig trifft. - Plattform-Bundles: Neben Anwendungen verteilt Fleet auch Grundausstattung wie Kataloge, Monitoring-Agents oder Richtlinien auf jedes neue Cluster.
- Löschen absichern:
keepResources: trueim GitRepo lässt Ressourcen stehen, wenn ein Cluster aus dem Ziel fällt. Für Datenbanken ist das oft die sicherere Wahl. - Viele Cluster: Fleet ist auf Tausende Cluster ausgelegt, etwa Filialen oder Edge-Standorte mit k3s.