Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 10: RGD-Chaining: die Flotte

Ziel: Eine zweite API NotesFleet baut auf NotesApp auf: Ein Team sagt „gelb, Umgebungen dev und prod“, und kro legt pro Umgebung einen Namespace und eine komplette NotesApp an. · Dauer: ca. 45 min · Voraussetzung: Tag 9

Briefing

  • Jede RGD erzeugt eine CRD. Diese CRD kann eine andere RGD als Objekt benutzen, wie ein Deployment oder einen Service. Das nennt kro RGD-Chaining.
  • So entstehen Bausteine: kleine RGDs mit klarem Spec (Eingang) und Status (Ausgang), aus denen größere zusammengesetzt werden.
  • scope: Cluster macht die Instanzen cluster-weit. Jedes namespaced Objekt darin braucht dann einen ausdrücklichen namespace.
  • Fehlersuche geht von außen nach innen: erst die Flotte, dann die NotesApp, dann ihr Deployment.
 NotesFleet/gelb  (cluster-weit)
   ├─ namespaces[0]  Namespace gelb-dev
   ├─ namespaces[1]  Namespace gelb-prod
   ├─ apps[0]        NotesApp gelb-dev/notes   (31000) ─► 9 Objekte
   └─ apps[1]        NotesApp gelb-prod/notes  (31001) ─► 9 Objekte

Drill 1: Die RGD der Flotte

mkdir -p ~/kro-lab/tag10
cd ~/kro-lab/tag10
cat > fleet-rgd.yaml <<'EOF'
apiVersion: kro.run/v1alpha1
kind: ResourceGraphDefinition
metadata:
  name: notesfleet
spec:
  schema:
    apiVersion: v1alpha1
    kind: NotesFleet
    group: lab.example.com
    scope: Cluster
    spec:
      team: string | required=true pattern="^[a-z][a-z0-9-]*$"
      environments: "[]string | required=true minItems=1 maxItems=3"
      basePort: integer | default=31000 minimum=30000 maximum=32700
    status:
      apps: ${apps.map(a, a.metadata.namespace + "=" + a.status.?state.orValue("?")).join(", ")}
  resources:
    - id: namespaces
      forEach:
        - env: ${schema.spec.environments}
      template:
        apiVersion: v1
        kind: Namespace
        metadata:
          name: ${schema.spec.team + "-" + env}
    - id: apps
      forEach:
        - idx: ${lists.range(size(schema.spec.environments))}
      template:
        apiVersion: lab.example.com/v1alpha1
        kind: NotesApp
        metadata:
          name: notes
          namespace: ${namespaces[idx].metadata.name}
        spec:
          apiKey: ${random.seededString(20, schema.metadata.name + "/" + schema.spec.environments[idx])}
          nodePort: ${schema.spec.basePort + idx}
      readyWhen:
        - ${each.status.?state.orValue("") == "ACTIVE"}
EOF
  • lists.range(n) liefert [0, 1, …, n-1]. Mit dem Index idx greifst du auf die Umgebung und auf den passenden Namespace der ersten Collection zu.
  • ${namespaces[idx].metadata.name} macht apps von namespaces abhängig. kro legt erst alle Namespaces an.
  • nodePort: ${schema.spec.basePort + idx}: dev bekommt 31000, prod 31001.
  • readyWhen mit each gilt für jedes Element einzeln. Die Collection ist bereit, wenn alle NotesApps ACTIVE sind.
  • maxItems=3 schützt den Cluster: Jede Umgebung bringt eine eigene Datenbank mit.
kubectl apply -f fleet-rgd.yaml
kubectl get rgd notesfleet -o wide

Erwartet:

resourcegraphdefinition.kro.run/notesfleet created
NAME         APIVERSION   KIND         STATE    READY   TOPOLOGICALORDER        AGE
notesfleet   v1alpha1     NotesFleet   Active   True    ["namespaces","apps"]   8s

kro hat beim Prüfen das Schema der CRD notesapps.lab.example.com gelesen, genau wie das eines Deployments. Ein Tippfehler in apiKey oder ein Text in nodePort wäre hier schon aufgefallen.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Eine Flotte

cat > team-gelb.yaml <<'EOF'
apiVersion: lab.example.com/v1alpha1
kind: NotesFleet
metadata:
  name: gelb
spec:
  team: gelb
  environments:
    - dev
    - prod
EOF
kubectl apply -f team-gelb.yaml
kubectl get notesfleet -w

Erwartet (mit Strg+C beenden):

notesfleet.lab.example.com/gelb created
NAME   STATE         READY   AGE
gelb   IN_PROGRESS   False   10s
gelb   IN_PROGRESS   False   21s
gelb   ACTIVE        True    31s

Kein namespace in den Metadaten: Die Flotte ist cluster-weit. Nach einer halben Minute stehen zwei Umgebungen mit je einer Datenbank:

kubectl get notesfleet gelb -o jsonpath='{.status.apps}{"\n"}'
kubectl get notesapp -A
curl -s localhost:31000/version
curl -s localhost:31001/version

Erwartet:

gelb-dev=ACTIVE, gelb-prod=ACTIVE
NAMESPACE   NAME    REPLICAS   AVAILABLE   PORT    STATE
app         notes   1          1           30080   ACTIVE
gelb-dev    notes   1          1           31000   ACTIVE
gelb-prod   notes   1          1           31001   ACTIVE
0.5.1
0.5.1

Eine Instanz mit sechs Zeilen Spec hat 2 Namespaces, 2 NotesApps und darunter 18 Objekte entstehen lassen. Jede NotesApp hält sich an alles, was du in Tag 4 bis 9 gebaut hast: Readiness, Datenbank, Checks, das Image aus der Plattform-ConfigMap.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Von außen nach innen

Die Labels zeigen, wer wen angelegt hat:

kubectl get namespace -l kro.run/instance-name=gelb
kubectl -n gelb-dev get notesapp notes \
  -o jsonpath='{.metadata.labels.kro\.run/instance-kind}{"\n"}'
kubectl -n gelb-dev get deploy -l kro.run/instance-kind=NotesApp

Erwartet:

NAME        STATUS   AGE
gelb-dev    Active   2m
gelb-prod   Active   2m
NotesFleet
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
notes   1/1     1            1           2m
  • Die Namespaces gehören zur Instanz gelb.
  • Die NotesApp in gelb-dev trägt instance-kind=NotesFleet: Sie wurde von der Flotte angelegt.
  • Das Deployment darin trägt instance-kind=NotesApp: Es wurde von der NotesApp angelegt.

Hängt eine Flotte, gehst du in dieser Reihenfolge vor: kubectl get notesfleet, dann die Conditions der NotesApps, dann deren Objekte.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Die Flotte auflösen

kubectl delete -f team-gelb.yaml
kubectl get namespace -l kro.run/instance-name=gelb

Erwartet (das Löschen dauert eine knappe Minute):

notesfleet.lab.example.com "gelb" deleted
No resources found

kubectl delete wartet, bis der Finalizer der Instanz weg ist, und den entfernt kro erst, wenn alles aufgeräumt ist. kro löscht in umgekehrter Reihenfolge: erst die NotesApps, die ihre neun Objekte abräumen, dann die Namespaces. Die PVCs mit Orphaned bleiben dabei nicht stehen, denn ein Namespace nimmt beim Löschen alles mit, was in ihm liegt. Die Deletion Policy schützt vor kro, nicht vor einem gelöschten Namespace.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get rgd notesfleet

Erwartet: STATE Active.

kubectl apply -f team-gelb.yaml
kubectl wait notesfleet/gelb --for=condition=Ready --timeout=180s

Erwartet:

notesfleet.lab.example.com/gelb created
notesfleet.lab.example.com/gelb condition met
diff fleet-rgd.yaml ~/kro-lab/code/loesung/tag10/fleet-rgd.yaml

Erwartet: keine Ausgabe.

Challenge

Ersetze bei gelb die Umgebung prod durch test. Was passiert mit gelb-prod, und welchen Port bekommt gelb-test?

Hinweis: Der Index bestimmt den Port.

Lösung

kubectl patch notesfleet gelb --type merge -p '{"spec":{"environments":["dev","test"]}}'
kubectl wait notesfleet/gelb --for=condition=Ready --timeout=180s
kubectl get notesfleet gelb -o jsonpath='{.status.apps}{"\n"}'
kubectl get notesapp -A

Erwartet:

notesfleet.lab.example.com/gelb patched
notesfleet.lab.example.com/gelb condition met
gelb-dev=ACTIVE, gelb-test=ACTIVE
NAMESPACE   NAME    REPLICAS   AVAILABLE   PORT    STATE
app         notes   1          1           30080   ACTIVE
gelb-dev    notes   1          1           31000   ACTIVE
gelb-test   notes   1          1           31001   ACTIVE

gelb-prod ist samt Datenbank gelöscht, gelb-test übernimmt Index 1 und damit Port 31001. Hängt ein Port am Index, verschiebt jede Änderung in der Mitte der Liste die Ports aller folgenden Umgebungen. Für echte Plattformen gehört der Port deshalb in die Liste selbst (environments: [{name: dev, port: 31000}]).

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Bausteine statt Monolith: Eine RGD, die alles kann, wird schnell unübersichtlich. Kleine RGDs (Datenbank, App, Umgebung) mit klaren Ein- und Ausgängen lassen sich einzeln testen und kombinieren.
  • Tiefe begrenzen: Jede Ebene ist ein eigener Controller-Lauf mit eigener Readiness. Zwei bis drei Ebenen sind gut zu überblicken, bei mehr wird die Fehlersuche mühsam.
  • Namespaces anlegen ist Macht: Wer eine NotesFleet anlegen darf, erzeugt Namespaces. In einer echten Plattform gehören Quotas, Rollen und NetworkPolicies dazu (siehe Graph-Decorator an Tag 14).