Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: GitOps, Upgrade und Ausblick

Ziel: RGDs und Instanzen aus einem Ordner in der richtigen Reihenfolge ausrollen, kro sicher aktualisieren, die neue Graph-API ausprobieren und einen Blick auf Cloud-Ressourcen werfen. · Dauer: ca. 60 min · Voraussetzung: Tag 13

Briefing

  • RGD und Instanz im selben kubectl apply scheitern: Die CRD gibt es erst, wenn kro die RGD verarbeitet hat. GitOps-Werkzeuge brauchen deshalb eine Reihenfolge.
  • Ein Upgrade von kro hat zwei Teile: zuerst die CRDs per Server-Side Apply (Helm aktualisiert keine CRDs), dann das Chart.
  • Graph ist neu in 0.10.0 und Alpha: Ein Graph ist ein namespaced Objekt mit Knoten, ohne eigenes Schema und ohne Instanzen. Er eignet sich für Bündel und Decorators, die an vorhandene Objekte etwas anhängen.
  • Für Cloud-Ressourcen braucht kro einen Controller, der sie als Kubernetes-Objekte anbietet, etwa ACK (AWS), Config Connector (Google Cloud), ASO (Azure) oder Crossplane.

Drill 1: Ein Ordner, zwei Arten

Simuliere einen frischen Cluster für die Flotte. Lösche in der richtigen Reihenfolge aus Tag 11:

mkdir -p ~/kro-lab/tag14/gitops
cd ~/kro-lab/tag14
kubectl delete notesfleet gelb
kubectl delete rgd notesfleet
kubectl delete crd notesfleets.lab.example.com

Erwartet:

notesfleet.lab.example.com "gelb" deleted
resourcegraphdefinition.kro.run "notesfleet" deleted
customresourcedefinition.apiextensions.k8s.io "notesfleets.lab.example.com" deleted

Jetzt der Ordner, wie er in einem Git-Repository liegen könnte:

cp ../tag10/fleet-rgd.yaml gitops/10-fleet-rgd.yaml
cat > gitops/20-team-blau.yaml <<'EOF'
apiVersion: lab.example.com/v1alpha1
kind: NotesFleet
metadata:
  name: blau
spec:
  team: blau
  environments:
    - dev
  basePort: 31100
EOF
kubectl apply -f gitops/

Erwartet:

resourcegraphdefinition.kro.run/notesfleet created
Error from server (NotFound): error when creating "gitops/20-team-blau.yaml": the
server could not find the requested resource (post notesfleets.lab.example.com)

Die Nummern im Dateinamen sorgen dafür, dass kubectl die RGD zuerst schickt. Das reicht aber nicht: Zwischen „RGD angelegt“ und „CRD bereit“ liegen ein paar Sekunden. Die Lösung ist Warten auf die Condition Ready der RGD:

kubectl wait --for=condition=Ready rgd/notesfleet --timeout=60s
kubectl apply -f gitops/
kubectl wait notesfleet/blau --for=condition=Ready --timeout=180s

Erwartet:

resourcegraphdefinition.kro.run/notesfleet condition met
resourcegraphdefinition.kro.run/notesfleet unchanged
notesfleet.lab.example.com/blau created
notesfleet.lab.example.com/blau condition met

So machen es die GitOps-Werkzeuge:

Werkzeug Mittel
Argo CD Sync-Waves (argocd.argoproj.io/sync-wave) und die Sync-Option SkipDryRunOnMissingResource=true an den Instanzen
Flux zwei Kustomization-Objekte, das zweite mit dependsOn auf das erste und wait: true
Pipeline kubectl wait --for=condition=Ready rgd/… zwischen zwei apply

Beim Löschen gilt die umgekehrte Reihenfolge: erst Instanzen, dann RGD (Tag 11). Argo CD und Flux löschen bei prune ohne Reihenfolge, also nimm RGDs nie zusammen mit ihren Instanzen aus Git heraus.

Fortschritt speichern? Kostenlos registrieren

Drill 2: kro aktualisieren

Vor jedem Upgrade liest du die Hinweise der Zielversion unter „Upgrading“ auf kro.run. Für 0.10.0 stehen dort drei Punkte: neue CRDs, strengere Prüfung von ${…} und Status-Rechte im Modus aggregation. Die CRDs zuerst:

V=0.10.0
U=https://raw.githubusercontent.com/kubernetes-sigs/kro/v$V/helm/crds
kubectl apply --server-side -f $U/kro.run_resourcegraphdefinitions.yaml
kubectl apply --server-side -f $U/internal.kro.run_graphrevisions.yaml
kubectl apply --server-side -f $U/kro.run_graphs.yaml

Erwartet:

customresourcedefinition.apiextensions.k8s.io/resourcegraphdefinitions.kro.run serverside-applied
customresourcedefinition.apiextensions.k8s.io/graphrevisions.internal.kro.run serverside-applied
customresourcedefinition.apiextensions.k8s.io/graphs.kro.run serverside-applied

--server-side ist nötig, weil die CRDs zu groß für die Annotation sind, die ein normales kubectl apply anlegt. Dann der Controller, gleich mit dem Feature Gate für Drill 3:

cat > ~/kro-lab/kro-values.yaml <<'EOF'
rbac:
  mode: aggregation
config:
  featureGates:
    DeletionPolicy: true
    InstanceConditionEvents: true
    GraphKind: true
EOF
helm upgrade kro oci://registry.k8s.io/kro/charts/kro -n kro-system \
  --version $V -f ~/kro-lab/kro-values.yaml
kubectl -n kro-system rollout status deploy/kro
helm history kro -n kro-system

Erwartet (gekürzt):

Release "kro" has been upgraded. Happy Helming!
STATUS: deployed
REVISION: 4
deployment "kro" successfully rolled out
REVISION  UPDATED                   STATUS      CHART        APP VERSION  DESCRIPTION
1         Wed Nov 11 17:28:00 2026  superseded  kro-v0.10.0  v0.10.0      Install complete
2         Wed Nov 11 17:46:08 2026  superseded  kro-v0.10.0  v0.10.0      Upgrade complete
3         Wed Nov 11 18:05:32 2026  superseded  kro-v0.10.0  v0.10.0      Upgrade complete
4         Wed Nov 11 18:14:00 2026  deployed    kro-v0.10.0  v0.10.0      Upgrade complete

Bei einem echten Versionssprung setzt du V auf die neue Version, sonst ist alles gleich. Ein helm rollback setzt nur den Controller zurück, nicht die CRDs.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Ein Graph als Decorator

Jeder Namespace mit dem Label notes.lab/quota=standard soll eine ResourceQuota bekommen, egal wer ihn angelegt hat. Eine RGD passt hier nicht, denn es gibt keine Instanz, die jemand anlegt. Ein Graph schon.

Ein Graph legt seine Objekte nicht mit kros Rechten an, sondern im Namen eines ServiceAccounts in seinem Namespace. Der braucht passende Rechte, und kro selbst braucht list und watch:

cat > quota-rbac.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata:
  name: quota-decorator
  namespace: kro-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: quota-decorator
rules:
  - apiGroups: [""]
    resources: ["namespaces"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["resourcequotas"]
    verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: quota-decorator
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: quota-decorator
subjects:
  - kind: ServiceAccount
    name: quota-decorator
    namespace: kro-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: kro:controller:graph-quota
  labels:
    rbac.kro.run/aggregate-to-controller: "true"
rules:
  - apiGroups: [""]
    resources: ["namespaces", "resourcequotas"]
    verbs: ["list", "watch"]
EOF
cat > quota-graph.yaml <<'EOF'
apiVersion: kro.run/v1alpha1
kind: Graph
metadata:
  name: quota-decorator
  namespace: kro-system
spec:
  serviceAccountName: quota-decorator
  nodes:
    - id: namespaces
      ref:
        apiVersion: v1
        kind: Namespace
        metadata:
          selector:
            matchLabels:
              notes.lab/quota: standard
    - id: quotas
      forEach:
        - ns: ${namespaces}
      template:
        apiVersion: v1
        kind: ResourceQuota
        metadata:
          name: standard
          namespace: ${ns.metadata.name}
        spec:
          hard:
            pods: "10"
            requests.storage: 5Gi
EOF
kubectl apply -f quota-rbac.yaml
kubectl apply -f quota-graph.yaml
  • nodes statt resources, ref statt externalRef: sonst sieht ein Graph aus wie eine RGD.
  • Der Knoten namespaces liest alle passenden Namespaces als Liste. quotas legt per forEach eine Quota in jeden.
kubectl -n kro-system get graph
kubectl label namespace blau-dev notes.lab/quota=standard
kubectl -n blau-dev get resourcequota

Erwartet:

NAME              READY   AGE
quota-decorator   True    40s
namespace/blau-dev labeled
NAME       REQUEST                                 LIMIT   AGE
standard   pods: 2/10, requests.storage: 1Gi/5Gi           5s

Zwei Pods und ein Volume von 1 GiB: Die Quota zählt sofort mit, was die NotesApp in blau-dev schon belegt. Label weg, Quota weg:

kubectl label namespace blau-dev notes.lab/quota-
kubectl -n blau-dev get resourcequota

Erwartet:

namespace/blau-dev unlabeled
No resources found in blau-dev namespace.

Wer einen Graph anlegen darf, darf im Namen jedes ServiceAccounts seines Namespaces handeln. Das Chart nimmt graphs deshalb absichtlich nicht in die Rollen edit und admin auf. Lies vor dem Einsatz in einem gemeinsamen Cluster den Abschnitt „Graph and ServiceAccount impersonation“ unter „Access Control“ auf kro.run.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Ausblick auf die Cloud

Dieser Drill ist zum Lesen, du brauchst dafür ein Cloud-Konto. kro selbst spricht keine Cloud-API. Ein Controller wie ACK übersetzt Kubernetes-Objekte in Cloud-Ressourcen, und kro verbindet sie mit allem anderen. Aus den Beispielen auf kro.run, gekürzt:

  resources:
    - id: dbinstance
      template:
        apiVersion: rds.services.k8s.aws/v1alpha1
        kind: DBInstance
        metadata:
          name: ${schema.spec.applicationName}-dbinstance
        spec:
          engine: postgres
          dbInstanceIdentifier: ${schema.spec.applicationName}-dbinstance
          allocatedStorage: 20
          dbInstanceClass: db.t3.micro
    - id: pod
      template:
        apiVersion: v1
        kind: Pod
        ...
                env:
                  - name: POSTGRES_ENDPOINT
                    value: ${dbinstance.status.endpoint.address}

Das Prinzip kennst du aus Tag 6: Der Pod wartet, bis die Datenbank eine Adresse in ihrem Status hat. Nur dauert das bei RDS zehn Minuten statt zehn Sekunden. Crossplane funktioniert genauso, nur mit anderen Arten (Managed Resources). Viele Teams nutzen beides: Crossplane oder ACK für die Cloud-Bausteine, kro für die API, die die Teams sehen.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl get notesfleet

Erwartet:

NAME   STATE    READY   AGE
blau   ACTIVE   True    5m
kubectl -n kro-system get graph quota-decorator

Erwartet: READY True.

helm get values kro -n kro-system

Erwartet: GraphKind: true unter featureGates.

diff -r gitops ~/kro-lab/code/loesung/tag14/gitops

Erwartet: keine Ausgabe.

Challenge

Die neue Prüfung in 0.10.0 lehnt RGDs mit einem ${ ohne schließendes } ab. Die Upgrade-Hinweise empfehlen dafür eine Suche. Findet sie bei dir etwas, und warum zeigt sie trotzdem Treffer?

Hinweis: kubectl get rgd -o yaml | grep -n '\${[^}]*$'

Lösung

kubectl get rgd -o yaml | grep -n '\${[^}]*$'

Erwartet (gekürzt):

380:          ${runtime.newCondition({
387:          ${runtime.newCondition({
394:          ${checkJobs.map(j, runtime.newCondition({

Die Suche schaut zeilenweise. Deine Conditions aus Tag 5 und 8 sind mehrzeilige Ausdrücke, das } steht ein paar Zeilen tiefer. Das sind falsche Treffer. Ein echtes offenes ${ hätte die RGD schon beim Anlegen auf Inactive gesetzt.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Alles in Git: RGDs, ihre ClusterRoles und die Instanzen gehören in Git. Der Cluster ist nur das Ergebnis. Wie das mit Flux geht, zeigt das kommende Buch „Flux zum Anfassen“, mit Argo CD „GitOps mit Argo CD zum Anfassen“.
  • Upgrades üben: Spiel jedes kro-Upgrade erst in einem Wegwerf-Cluster durch, mit einer Kopie deiner RGDs. Die Liste der Breaking Changes in den Upgrade-Hinweisen ist kurz, aber sie betrifft genau die RGDs, die alle Teams benutzen.
  • Graph ist Alpha: Für Decorators und Bündel ist er praktisch. Die API kann sich noch ändern, also nichts darauf bauen, was du nicht schnell umbauen kannst.