Tag 10: RGD-Chaining: die Flotte
Ziel: Eine zweite API
NotesFleetbaut aufNotesAppauf: Ein Team sagt „gelb, Umgebungen dev und prod“, und kro legt pro Umgebung einen Namespace und eine komplette NotesApp an. · Dauer: ca. 45 min · Voraussetzung: Tag 9
Briefing
- Jede RGD erzeugt eine CRD. Diese CRD kann eine andere RGD als Objekt benutzen, wie ein Deployment oder einen Service. Das nennt kro RGD-Chaining.
- So entstehen Bausteine: kleine RGDs mit klarem Spec (Eingang) und Status (Ausgang), aus denen größere zusammengesetzt werden.
scope: Clustermacht die Instanzen cluster-weit. Jedes namespaced Objekt darin braucht dann einen ausdrücklichennamespace.- Fehlersuche geht von außen nach innen: erst die Flotte, dann die NotesApp, dann ihr Deployment.
NotesFleet/gelb (cluster-weit)
├─ namespaces[0] Namespace gelb-dev
├─ namespaces[1] Namespace gelb-prod
├─ apps[0] NotesApp gelb-dev/notes (31000) ─► 9 Objekte
└─ apps[1] NotesApp gelb-prod/notes (31001) ─► 9 Objekte
Drill 1: Die RGD der Flotte
mkdir -p ~/kro-lab/tag10
cd ~/kro-lab/tag10
cat > fleet-rgd.yaml <<'EOF'
apiVersion: kro.run/v1alpha1
kind: ResourceGraphDefinition
metadata:
name: notesfleet
spec:
schema:
apiVersion: v1alpha1
kind: NotesFleet
group: lab.example.com
scope: Cluster
spec:
team: string | required=true pattern="^[a-z][a-z0-9-]*$"
environments: "[]string | required=true minItems=1 maxItems=3"
basePort: integer | default=31000 minimum=30000 maximum=32700
status:
apps: ${apps.map(a, a.metadata.namespace + "=" + a.status.?state.orValue("?")).join(", ")}
resources:
- id: namespaces
forEach:
- env: ${schema.spec.environments}
template:
apiVersion: v1
kind: Namespace
metadata:
name: ${schema.spec.team + "-" + env}
- id: apps
forEach:
- idx: ${lists.range(size(schema.spec.environments))}
template:
apiVersion: lab.example.com/v1alpha1
kind: NotesApp
metadata:
name: notes
namespace: ${namespaces[idx].metadata.name}
spec:
apiKey: ${random.seededString(20, schema.metadata.name + "/" + schema.spec.environments[idx])}
nodePort: ${schema.spec.basePort + idx}
readyWhen:
- ${each.status.?state.orValue("") == "ACTIVE"}
EOFlists.range(n)liefert[0, 1, …, n-1]. Mit dem Indexidxgreifst du auf die Umgebung und auf den passenden Namespace der ersten Collection zu.${namespaces[idx].metadata.name}machtappsvonnamespacesabhängig. kro legt erst alle Namespaces an.nodePort: ${schema.spec.basePort + idx}: dev bekommt 31000, prod 31001.readyWhenmiteachgilt für jedes Element einzeln. Die Collection ist bereit, wenn alle NotesAppsACTIVEsind.maxItems=3schützt den Cluster: Jede Umgebung bringt eine eigene Datenbank mit.
kubectl apply -f fleet-rgd.yaml
kubectl get rgd notesfleet -o wideErwartet:
resourcegraphdefinition.kro.run/notesfleet created
NAME APIVERSION KIND STATE READY TOPOLOGICALORDER AGE
notesfleet v1alpha1 NotesFleet Active True ["namespaces","apps"] 8s
kro hat beim Prüfen das Schema der CRD
notesapps.lab.example.com gelesen, genau wie das eines
Deployments. Ein Tippfehler in apiKey oder ein Text in
nodePort wäre hier schon aufgefallen.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Eine Flotte
cat > team-gelb.yaml <<'EOF'
apiVersion: lab.example.com/v1alpha1
kind: NotesFleet
metadata:
name: gelb
spec:
team: gelb
environments:
- dev
- prod
EOF
kubectl apply -f team-gelb.yaml
kubectl get notesfleet -wErwartet (mit Strg+C beenden):
notesfleet.lab.example.com/gelb created
NAME STATE READY AGE
gelb IN_PROGRESS False 10s
gelb IN_PROGRESS False 21s
gelb ACTIVE True 31s
Kein namespace in den Metadaten: Die Flotte ist
cluster-weit. Nach einer halben Minute stehen zwei Umgebungen mit je
einer Datenbank:
kubectl get notesfleet gelb -o jsonpath='{.status.apps}{"\n"}'
kubectl get notesapp -A
curl -s localhost:31000/version
curl -s localhost:31001/versionErwartet:
gelb-dev=ACTIVE, gelb-prod=ACTIVE
NAMESPACE NAME REPLICAS AVAILABLE PORT STATE
app notes 1 1 30080 ACTIVE
gelb-dev notes 1 1 31000 ACTIVE
gelb-prod notes 1 1 31001 ACTIVE
0.5.1
0.5.1
Eine Instanz mit sechs Zeilen Spec hat 2 Namespaces, 2 NotesApps und darunter 18 Objekte entstehen lassen. Jede NotesApp hält sich an alles, was du in Tag 4 bis 9 gebaut hast: Readiness, Datenbank, Checks, das Image aus der Plattform-ConfigMap.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Von außen nach innen
Die Labels zeigen, wer wen angelegt hat:
kubectl get namespace -l kro.run/instance-name=gelb
kubectl -n gelb-dev get notesapp notes \
-o jsonpath='{.metadata.labels.kro\.run/instance-kind}{"\n"}'
kubectl -n gelb-dev get deploy -l kro.run/instance-kind=NotesAppErwartet:
NAME STATUS AGE
gelb-dev Active 2m
gelb-prod Active 2m
NotesFleet
NAME READY UP-TO-DATE AVAILABLE AGE
notes 1/1 1 1 2m
- Die Namespaces gehören zur Instanz
gelb. - Die NotesApp in
gelb-devträgtinstance-kind=NotesFleet: Sie wurde von der Flotte angelegt. - Das Deployment darin trägt
instance-kind=NotesApp: Es wurde von der NotesApp angelegt.
Hängt eine Flotte, gehst du in dieser Reihenfolge vor:
kubectl get notesfleet, dann die Conditions der NotesApps,
dann deren Objekte.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Die Flotte auflösen
kubectl delete -f team-gelb.yaml
kubectl get namespace -l kro.run/instance-name=gelbErwartet (das Löschen dauert eine knappe Minute):
notesfleet.lab.example.com "gelb" deleted
No resources found
kubectl delete wartet, bis der Finalizer der Instanz weg
ist, und den entfernt kro erst, wenn alles aufgeräumt ist. kro löscht in
umgekehrter Reihenfolge: erst die NotesApps, die ihre neun Objekte
abräumen, dann die Namespaces. Die PVCs mit Orphaned
bleiben dabei nicht stehen, denn ein Namespace nimmt beim Löschen alles
mit, was in ihm liegt. Die Deletion Policy schützt vor kro, nicht vor
einem gelöschten Namespace.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl get rgd notesfleetErwartet: STATE Active.
kubectl apply -f team-gelb.yaml
kubectl wait notesfleet/gelb --for=condition=Ready --timeout=180sErwartet:
notesfleet.lab.example.com/gelb created
notesfleet.lab.example.com/gelb condition met
diff fleet-rgd.yaml ~/kro-lab/code/loesung/tag10/fleet-rgd.yamlErwartet: keine Ausgabe.
Challenge
Ersetze bei gelb die Umgebung prod durch
test. Was passiert mit gelb-prod, und welchen
Port bekommt gelb-test?
Hinweis: Der Index bestimmt den Port.
Lösung
kubectl patch notesfleet gelb --type merge -p '{"spec":{"environments":["dev","test"]}}'
kubectl wait notesfleet/gelb --for=condition=Ready --timeout=180s
kubectl get notesfleet gelb -o jsonpath='{.status.apps}{"\n"}'
kubectl get notesapp -AErwartet:
notesfleet.lab.example.com/gelb patched
notesfleet.lab.example.com/gelb condition met
gelb-dev=ACTIVE, gelb-test=ACTIVE
NAMESPACE NAME REPLICAS AVAILABLE PORT STATE
app notes 1 1 30080 ACTIVE
gelb-dev notes 1 1 31000 ACTIVE
gelb-test notes 1 1 31001 ACTIVE
gelb-prod ist samt Datenbank gelöscht,
gelb-test übernimmt Index 1 und damit Port 31001. Hängt ein
Port am Index, verschiebt jede Änderung in der Mitte der Liste die Ports
aller folgenden Umgebungen. Für echte Plattformen gehört der Port
deshalb in die Liste selbst
(environments: [{name: dev, port: 31000}]).
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Bausteine statt Monolith: Eine RGD, die alles kann, wird schnell unübersichtlich. Kleine RGDs (Datenbank, App, Umgebung) mit klaren Ein- und Ausgängen lassen sich einzeln testen und kombinieren.
- Tiefe begrenzen: Jede Ebene ist ein eigener Controller-Lauf mit eigener Readiness. Zwei bis drei Ebenen sind gut zu überblicken, bei mehr wird die Fehlersuche mühsam.
- Namespaces anlegen ist Macht: Wer eine NotesFleet anlegen darf, erzeugt Namespaces. In einer echten Plattform gehören Quotas, Rollen und NetworkPolicies dazu (siehe Graph-Decorator an Tag 14).