Tag 14: GitOps, Upgrade und Ausblick
Ziel: RGDs und Instanzen aus einem Ordner in der richtigen Reihenfolge ausrollen, kro sicher aktualisieren, die neue Graph-API ausprobieren und einen Blick auf Cloud-Ressourcen werfen. · Dauer: ca. 60 min · Voraussetzung: Tag 13
Briefing
- RGD und Instanz im selben
kubectl applyscheitern: Die CRD gibt es erst, wenn kro die RGD verarbeitet hat. GitOps-Werkzeuge brauchen deshalb eine Reihenfolge. - Ein Upgrade von kro hat zwei Teile: zuerst die CRDs per Server-Side Apply (Helm aktualisiert keine CRDs), dann das Chart.
- Graph ist neu in 0.10.0 und Alpha: Ein Graph ist ein namespaced Objekt mit Knoten, ohne eigenes Schema und ohne Instanzen. Er eignet sich für Bündel und Decorators, die an vorhandene Objekte etwas anhängen.
- Für Cloud-Ressourcen braucht kro einen Controller, der sie als Kubernetes-Objekte anbietet, etwa ACK (AWS), Config Connector (Google Cloud), ASO (Azure) oder Crossplane.
Drill 1: Ein Ordner, zwei Arten
Simuliere einen frischen Cluster für die Flotte. Lösche in der richtigen Reihenfolge aus Tag 11:
mkdir -p ~/kro-lab/tag14/gitops
cd ~/kro-lab/tag14
kubectl delete notesfleet gelb
kubectl delete rgd notesfleet
kubectl delete crd notesfleets.lab.example.comErwartet:
notesfleet.lab.example.com "gelb" deleted
resourcegraphdefinition.kro.run "notesfleet" deleted
customresourcedefinition.apiextensions.k8s.io "notesfleets.lab.example.com" deleted
Jetzt der Ordner, wie er in einem Git-Repository liegen könnte:
cp ../tag10/fleet-rgd.yaml gitops/10-fleet-rgd.yaml
cat > gitops/20-team-blau.yaml <<'EOF'
apiVersion: lab.example.com/v1alpha1
kind: NotesFleet
metadata:
name: blau
spec:
team: blau
environments:
- dev
basePort: 31100
EOF
kubectl apply -f gitops/Erwartet:
resourcegraphdefinition.kro.run/notesfleet created
Error from server (NotFound): error when creating "gitops/20-team-blau.yaml": the
server could not find the requested resource (post notesfleets.lab.example.com)
Die Nummern im Dateinamen sorgen dafür, dass kubectl die
RGD zuerst schickt. Das reicht aber nicht: Zwischen „RGD angelegt“ und
„CRD bereit“ liegen ein paar Sekunden. Die Lösung ist Warten auf die
Condition Ready der RGD:
kubectl wait --for=condition=Ready rgd/notesfleet --timeout=60s
kubectl apply -f gitops/
kubectl wait notesfleet/blau --for=condition=Ready --timeout=180sErwartet:
resourcegraphdefinition.kro.run/notesfleet condition met
resourcegraphdefinition.kro.run/notesfleet unchanged
notesfleet.lab.example.com/blau created
notesfleet.lab.example.com/blau condition met
So machen es die GitOps-Werkzeuge:
| Werkzeug | Mittel |
|---|---|
| Argo CD | Sync-Waves (argocd.argoproj.io/sync-wave) und die
Sync-Option SkipDryRunOnMissingResource=true an den
Instanzen |
| Flux | zwei Kustomization-Objekte, das zweite mit
dependsOn auf das erste und wait: true |
| Pipeline | kubectl wait --for=condition=Ready rgd/… zwischen zwei
apply |
Beim Löschen gilt die umgekehrte Reihenfolge: erst Instanzen, dann
RGD (Tag 11). Argo CD und Flux löschen bei prune ohne
Reihenfolge, also nimm RGDs nie zusammen mit ihren Instanzen aus Git
heraus.
Fortschritt speichern? Kostenlos registrieren
Drill 2: kro aktualisieren
Vor jedem Upgrade liest du die Hinweise der Zielversion unter
„Upgrading“ auf kro.run. Für 0.10.0 stehen dort drei
Punkte: neue CRDs, strengere Prüfung von ${…} und
Status-Rechte im Modus aggregation. Die CRDs zuerst:
V=0.10.0
U=https://raw.githubusercontent.com/kubernetes-sigs/kro/v$V/helm/crds
kubectl apply --server-side -f $U/kro.run_resourcegraphdefinitions.yaml
kubectl apply --server-side -f $U/internal.kro.run_graphrevisions.yaml
kubectl apply --server-side -f $U/kro.run_graphs.yamlErwartet:
customresourcedefinition.apiextensions.k8s.io/resourcegraphdefinitions.kro.run serverside-applied
customresourcedefinition.apiextensions.k8s.io/graphrevisions.internal.kro.run serverside-applied
customresourcedefinition.apiextensions.k8s.io/graphs.kro.run serverside-applied
--server-side ist nötig, weil die CRDs zu groß für die
Annotation sind, die ein normales kubectl apply anlegt.
Dann der Controller, gleich mit dem Feature Gate für Drill 3:
cat > ~/kro-lab/kro-values.yaml <<'EOF'
rbac:
mode: aggregation
config:
featureGates:
DeletionPolicy: true
InstanceConditionEvents: true
GraphKind: true
EOF
helm upgrade kro oci://registry.k8s.io/kro/charts/kro -n kro-system \
--version $V -f ~/kro-lab/kro-values.yaml
kubectl -n kro-system rollout status deploy/kro
helm history kro -n kro-systemErwartet (gekürzt):
Release "kro" has been upgraded. Happy Helming!
STATUS: deployed
REVISION: 4
deployment "kro" successfully rolled out
REVISION UPDATED STATUS CHART APP VERSION DESCRIPTION
1 Wed Nov 11 17:28:00 2026 superseded kro-v0.10.0 v0.10.0 Install complete
2 Wed Nov 11 17:46:08 2026 superseded kro-v0.10.0 v0.10.0 Upgrade complete
3 Wed Nov 11 18:05:32 2026 superseded kro-v0.10.0 v0.10.0 Upgrade complete
4 Wed Nov 11 18:14:00 2026 deployed kro-v0.10.0 v0.10.0 Upgrade complete
Bei einem echten Versionssprung setzt du V auf die neue
Version, sonst ist alles gleich. Ein helm rollback setzt
nur den Controller zurück, nicht die CRDs.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Ein Graph als Decorator
Jeder Namespace mit dem Label notes.lab/quota=standard
soll eine ResourceQuota bekommen, egal wer ihn angelegt hat. Eine RGD
passt hier nicht, denn es gibt keine Instanz, die jemand anlegt. Ein
Graph schon.
Ein Graph legt seine Objekte nicht mit kros Rechten an, sondern
im Namen eines ServiceAccounts in seinem Namespace. Der
braucht passende Rechte, und kro selbst braucht list und
watch:
cat > quota-rbac.yaml <<'EOF'
apiVersion: v1
kind: ServiceAccount
metadata:
name: quota-decorator
namespace: kro-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: quota-decorator
rules:
- apiGroups: [""]
resources: ["namespaces"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["resourcequotas"]
verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: quota-decorator
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: quota-decorator
subjects:
- kind: ServiceAccount
name: quota-decorator
namespace: kro-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: kro:controller:graph-quota
labels:
rbac.kro.run/aggregate-to-controller: "true"
rules:
- apiGroups: [""]
resources: ["namespaces", "resourcequotas"]
verbs: ["list", "watch"]
EOF
cat > quota-graph.yaml <<'EOF'
apiVersion: kro.run/v1alpha1
kind: Graph
metadata:
name: quota-decorator
namespace: kro-system
spec:
serviceAccountName: quota-decorator
nodes:
- id: namespaces
ref:
apiVersion: v1
kind: Namespace
metadata:
selector:
matchLabels:
notes.lab/quota: standard
- id: quotas
forEach:
- ns: ${namespaces}
template:
apiVersion: v1
kind: ResourceQuota
metadata:
name: standard
namespace: ${ns.metadata.name}
spec:
hard:
pods: "10"
requests.storage: 5Gi
EOF
kubectl apply -f quota-rbac.yaml
kubectl apply -f quota-graph.yamlnodesstattresources,refstattexternalRef: sonst sieht ein Graph aus wie eine RGD.- Der Knoten
namespacesliest alle passenden Namespaces als Liste.quotaslegt perforEacheine Quota in jeden.
kubectl -n kro-system get graph
kubectl label namespace blau-dev notes.lab/quota=standard
kubectl -n blau-dev get resourcequotaErwartet:
NAME READY AGE
quota-decorator True 40s
namespace/blau-dev labeled
NAME REQUEST LIMIT AGE
standard pods: 2/10, requests.storage: 1Gi/5Gi 5s
Zwei Pods und ein Volume von 1 GiB: Die Quota zählt sofort mit, was
die NotesApp in blau-dev schon belegt. Label weg, Quota
weg:
kubectl label namespace blau-dev notes.lab/quota-
kubectl -n blau-dev get resourcequotaErwartet:
namespace/blau-dev unlabeled
No resources found in blau-dev namespace.
Wer einen Graph anlegen darf, darf im Namen jedes ServiceAccounts
seines Namespaces handeln. Das Chart nimmt graphs deshalb
absichtlich nicht in die Rollen edit und admin
auf. Lies vor dem Einsatz in einem gemeinsamen Cluster den Abschnitt
„Graph and ServiceAccount impersonation“ unter „Access Control“ auf
kro.run.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Ausblick auf die Cloud
Dieser Drill ist zum Lesen, du brauchst dafür ein Cloud-Konto. kro
selbst spricht keine Cloud-API. Ein Controller wie ACK übersetzt
Kubernetes-Objekte in Cloud-Ressourcen, und kro verbindet sie mit allem
anderen. Aus den Beispielen auf kro.run, gekürzt:
resources:
- id: dbinstance
template:
apiVersion: rds.services.k8s.aws/v1alpha1
kind: DBInstance
metadata:
name: ${schema.spec.applicationName}-dbinstance
spec:
engine: postgres
dbInstanceIdentifier: ${schema.spec.applicationName}-dbinstance
allocatedStorage: 20
dbInstanceClass: db.t3.micro
- id: pod
template:
apiVersion: v1
kind: Pod
...
env:
- name: POSTGRES_ENDPOINT
value: ${dbinstance.status.endpoint.address}
Das Prinzip kennst du aus Tag 6: Der Pod wartet, bis die Datenbank
eine Adresse in ihrem Status hat. Nur dauert das bei RDS zehn Minuten
statt zehn Sekunden. Crossplane funktioniert genauso, nur mit anderen
Arten (Managed Resources). Viele Teams nutzen beides:
Crossplane oder ACK für die Cloud-Bausteine, kro für die API, die die
Teams sehen.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
kubectl get notesfleetErwartet:
NAME STATE READY AGE
blau ACTIVE True 5m
kubectl -n kro-system get graph quota-decoratorErwartet: READY True.
helm get values kro -n kro-systemErwartet: GraphKind: true unter
featureGates.
diff -r gitops ~/kro-lab/code/loesung/tag14/gitopsErwartet: keine Ausgabe.
Challenge
Die neue Prüfung in 0.10.0 lehnt RGDs mit einem ${ ohne
schließendes } ab. Die Upgrade-Hinweise empfehlen dafür
eine Suche. Findet sie bei dir etwas, und warum zeigt sie trotzdem
Treffer?
Hinweis:
kubectl get rgd -o yaml | grep -n '\${[^}]*$'
Lösung
kubectl get rgd -o yaml | grep -n '\${[^}]*$'Erwartet (gekürzt):
380: ${runtime.newCondition({
387: ${runtime.newCondition({
394: ${checkJobs.map(j, runtime.newCondition({
Die Suche schaut zeilenweise. Deine Conditions aus Tag 5 und 8 sind
mehrzeilige Ausdrücke, das } steht ein paar Zeilen tiefer.
Das sind falsche Treffer. Ein echtes offenes ${ hätte die
RGD schon beim Anlegen auf Inactive gesetzt.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Alles in Git: RGDs, ihre ClusterRoles und die Instanzen gehören in Git. Der Cluster ist nur das Ergebnis. Wie das mit Flux geht, zeigt das kommende Buch „Flux zum Anfassen“, mit Argo CD „GitOps mit Argo CD zum Anfassen“.
- Upgrades üben: Spiel jedes kro-Upgrade erst in einem Wegwerf-Cluster durch, mit einer Kopie deiner RGDs. Die Liste der Breaking Changes in den Upgrade-Hinweisen ist kurz, aber sie betrifft genau die RGDs, die alle Teams benutzen.
- Graph ist Alpha: Für Decorators und Bündel ist er praktisch. Die API kann sich noch ändern, also nichts darauf bauen, was du nicht schnell umbauen kannst.