Tag 15: Wettkampf
Ziel: Fünf Störungen, wie sie im Betrieb einer Plattform mit kro vorkommen. Du findest die Ursache nur mit
kubectl get, den Conditions und den Logs von kro und behebst sie. · Dauer: ca. 90 min · Voraussetzung: Tag 0–14
Spielregeln
- Jede Runde beginnt mit einem Befehl aus
~/kro-lab/code/wettkampf/. Danach beantwortest du die Fragen der Runde. - Erst
kubectl get, dann die Conditions (-o jsonpath=…conditions…), dann die Logs von kro. Ins YAML der Dateien schaust du erst, wenn du weißt, wonach du suchst. - Jede Runde hat ein Zeitlimit. Wer es reißt, liest erst den Hinweis, dann die Lösung.
- Die fertigen Dateien liegen in
wettkampf/loesung/.
mkdir -p ~/kro-lab/tag15
cd ~/kro-lab/tag15
cp -r ~/kro-lab/code/wettkampf/runde* .Runde 1: Die Ankündigungs-API
Zeitlimit: 15 Minuten
Ein Kollege hat eine API Banner gebaut: Ein Team
schreibt eine Ankündigung, und kro legt dafür eine ConfigMap mit dem
Label aus Tag 9 im Namespace platform an. Sie geht
nicht.
kubectl apply -f runde1/banner-rgd.yamlBeantworte:
- Woran scheitert der erste Versuch?
- Woran scheitert die RGD, wenn der erste Fehler behoben ist?
- Woran scheitert sie danach noch?
- Taucht
umzug-banneram Ende instatus.announcementsvonnotesauf?
Hinweis: Es sind drei Fehler, jeder versteckt den nächsten. Tag 3, Drill 2 und 1, dann Tag 12, Drill 3.
Lösung
Der erste Versuch scheitert schon im YAML:
error: error parsing runde1/banner-rgd.yaml: error converting YAML to JSON: yaml:
line 25: mapping values are not allowed in this context
In Zeile 25 steht ein Ausdruck mit "DRINGEND: ", und der
Doppelpunkt mit Leerzeichen beginnt für YAML einen Schlüssel. Die Zeile
gehört in einfache Anführungszeichen:
text: '${schema.spec.urgent ? "DRINGEND: " + schema.spec.text : schema.spec.text}'
Danach ist die RGD Inactive:
kubectl apply -f runde1/banner-rgd.yaml
kubectl get rgd banner \
-o jsonpath='{.status.conditions[?(@.type=="GraphAccepted")].message}{"\n"}'failed to validate resource "config": type mismatch in resource "config" at path
"data.ttl": expression "schema.spec.ttlMinutes" returns type "int" but expected
"string": type kind mismatch: got "int", expected "string"
ttl: ${string(schema.spec.ttlMinutes)}. Danach bleibt
die RGD trotzdem Inactive:
kubectl get rgd banner \
-o jsonpath='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'GraphAccepted=True resource graph and schema are valid
GraphRevisionsResolved=True revision 1 compiled and active
KindReady=True kind Banner has been accepted and ready
ControllerReady=False add parent handler lab.example.com/v1alpha1, Resource=banners:
cache sync timeout for lab.example.com/v1alpha1, Resource=banners
Ready=False add parent handler lab.example.com/v1alpha1, Resource=banners: cache sync
timeout for lab.example.com/v1alpha1, Resource=banners
Die CRD gibt es, aber kro kann keinen Controller dafür starten. Die Logs sagen warum:
kubectl -n kro-system logs deploy/kro --since=2m | grep -m1 banners... ERROR dynamic-controller.watch-manager Watch error {"gvr": "lab.example.com/v1alpha1,
Resource=banners", "error": "failed to list *v1.PartialObjectMetadata:
banners.lab.example.com is forbidden: User \"system:serviceaccount:kro-system:kro\"
cannot list resource \"banners\" in API group \"lab.example.com\" at the cluster
scope"}
Seit Tag 12 läuft kro im Modus aggregation. Jede neue
Art braucht ihre Rechte:
kubectl apply -f ~/kro-lab/code/wettkampf/loesung/banner-rbac.yaml
kubectl wait --for=condition=Ready rgd/banner --timeout=90s
kubectl apply -f runde1/umzug.yaml
kubectl -n app wait banner/umzug --for=condition=Ready --timeout=30s
kubectl -n platform get configmap umzug-banner -o jsonpath='{.data}{"\n"}'
kubectl -n app get notesapp notes -o jsonpath='{.status.announcements}{"\n"}'Erwartet:
clusterrole.rbac.authorization.k8s.io/kro:controller:banner created
resourcegraphdefinition.kro.run/banner condition met
banner.lab.example.com/umzug created
banner.lab.example.com/umzug condition met
{"text":"DRINGEND: Umzug in den neuen Cluster am Montag","ttl":"60"}
umzug-banner
Eine Instanz in app legt eine ConfigMap in
platform an, und die NotesApp sieht sie über ihre externe
Collection. Zwei RGDs, die nichts voneinander wissen, arbeiten über ein
Label zusammen.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Alles grün
Zeitlimit: 15 Minuten
Das Plattform-Team rollt eine neue Version aus:
kubectl apply -f runde2/platform.yamlBeantworte nach einer Minute:
- Welchen Zustand meldet
notes? - Welche Version liefert
curl -s localhost:30080/version? - Was läuft schief, und warum merkt die Instanz es nicht?
Hinweis:
kubectl -n app get pods -l app=notes. Was zählt
availableReplicas während eines Rollouts?
Lösung
kubectl -n app get notesapp notes
kubectl -n app get pods -l app=notes
curl -s localhost:30080/versionErwartet:
NAME REPLICAS AVAILABLE PORT STATE
notes 1 1 30080 ACTIVE
NAME READY STATUS RESTARTS AGE
notes-55cc956545-fc49n 1/1 Running 0 70s
notes-79c46dfb9c-l8dxx 0/1 Init:ImagePullBackOff 0 46s
0.5.1
Die Version 0.9.99 gibt es nicht, der neue Pod hängt im
Init-Container. Der alte Pod läuft weiter, also ist
availableReplicas gleich replicas, und das
readyWhen aus Tag 5 ist zufrieden. Alles grün, obwohl der
Rollout steht.
Die Lösung ist eine zweite Bedingung. Ergänze in
~/kro-lab/tag09/notesapp-rgd.yaml beim
deployment:
readyWhen:
- ${deployment.status.?availableReplicas.orValue(0) == deployment.spec.replicas}
- ${deployment.status.?unavailableReplicas.orValue(0) == 0}
kubectl apply -f ~/kro-lab/tag09/notesapp-rgd.yaml
kubectl -n app get notesapp notes
kubectl -n app get notesapp notes \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}'Erwartet:
resourcegraphdefinition.kro.run/notesapp configured
NAME REPLICAS AVAILABLE PORT STATE
notes 1 1 IN_PROGRESS
waiting for unresolved resource: apply "deployment": node "deployment": readyWhen
"deployment.status.?unavailableReplicas.orValue(0) == 0" is false: waiting for
readiness (executor: node not ready)
Jetzt sagt die Instanz die Wahrheit. Zurück auf die gute Version:
kubectl apply -f ~/kro-lab/tag09/platform.yaml
kubectl -n app wait notesapp/notes --for=condition=Ready --timeout=120sFortschritt speichern? Kostenlos registrieren
Runde 3: Doppelt hält nicht besser
Zeitlimit: 10 Minuten
Team Grau bekommt seine erste NotesApp:
kubectl create namespace team-grau
kubectl apply -f runde3/grau.yamlBeantworte:
- Welchen Zustand hat die Instanz nach einer Minute?
- Wie viele CronJobs gibt es in
team-grau? - Was ist die Ursache, und warum hat der API-Server die Instanz nicht abgelehnt?
Hinweis: Tag 8, die Namen der Collection.
Lösung
kubectl -n team-grau get notesapp
kubectl -n team-grau get notesapp notes \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}'
kubectl -n team-grau get cronjobErwartet:
NAME REPLICAS AVAILABLE PORT STATE
notes 1 1 30083 ERROR
resource reconciliation failed: apply "checkJobs": resolve: node "checkJobs":
duplicate identity in collection: batch/v1/CronJob//notes-check-health
No resources found in team-grau namespace.
Beide Checks heißen health, also sollen zwei CronJobs
mit demselben Namen entstehen. kro bricht die ganze Collection ab, auch
der richtige Check fehlt. Das Schema erlaubt doppelte Namen, denn es
prüft jedes Element einzeln. Die schnelle Lösung ist die Instanz: Ändere
den zweiten Namen in runde3/grau.yaml auf
version.
kubectl apply -f runde3/grau.yaml
kubectl -n team-grau get cronjobErwartet:
notesapp.lab.example.com/notes configured
NAME SCHEDULE TIMEZONE SUSPEND ACTIVE LAST SCHEDULE AGE
notes-check-health * * * * * <none> False 0 <none> 3s
notes-check-version * * * * * <none> False 0 <none> 3s
Aufräumen:
kubectl delete -f runde3/grau.yaml
kubectl delete namespace team-grauFortschritt speichern? Kostenlos registrieren
Runde 4: Aufräumen mit Folgen
Zeitlimit: 10 Minuten
Jemand räumt alte APIs auf:
kubectl delete rgd notes-settings
kubectl -n app delete nset blau --timeout=15sBeantworte:
- Ist
blauweg? - Gibt es die ConfigMap
blau-settingsnoch? - Wie bekommst du beides sauber gelöscht?
Hinweis: Tag 11, Drill 6.
Lösung
resourcegraphdefinition.kro.run "notes-settings" deleted
notessettings.lab.example.com "blau" deleted from app namespace
error: timed out waiting for the condition on notessettings/blau
blau hängt am Finalizer von kro, und für
NotesSettings läuft kein Controller mehr. Die ConfigMap ist
noch da. RGD zurück, warten, fertig:
kubectl apply -f ~/kro-lab/tag03/settings-rgd.yaml
kubectl wait --for=condition=Ready rgd/notes-settings --timeout=60s
kubectl -n app get nset
kubectl -n app get configmap blau-settingsErwartet:
resourcegraphdefinition.kro.run/notes-settings created
resourcegraphdefinition.kro.run/notes-settings condition met
No resources found in app namespace.
Error from server (NotFound): configmaps "blau-settings" not found
Zeigt kubectl get nset noch blau mit
DELETING, warte ein paar Sekunden. Danach die RGD in der
richtigen Reihenfolge entfernen, wenn du sie wirklich loswerden willst:
kubectl delete rgd notes-settings und
kubectl delete crd notessettings.lab.example.com.
Fortschritt speichern? Kostenlos registrieren
Runde 5: Team Rot will auch
Zeitlimit: 10 Minuten
kubectl apply -f runde5/team-rot.yamlBeantworte nach zwei Minuten:
- Welchen Zustand haben die Flotte und ihre NotesApp?
- Welches Objekt fehlt, und warum?
- Wie behebst du es, ohne die Flotte zu löschen?
Hinweis: Von außen nach innen (Tag 10, Drill 3). Welche Ports sind belegt?
Lösung
kubectl get notesfleet rot -o jsonpath='{.status.apps}{"\n"}'
kubectl -n rot-dev get notesapp notes \
-o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}'
kubectl -n rot-dev get svcErwartet:
rot-dev=ERROR
resource reconciliation failed: apply "service": Service "notes" is invalid:
spec.ports[0].nodePort: Invalid value: 30080: provided port is already allocated
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
notes-db ClusterIP 10.43.169.104 <none> 5432/TCP 74s
Port 30080 gehört seit Tag 4 der NotesApp in app.
NodePorts gelten für den ganzen Cluster, das Schema kann das nicht
prüfen. Die Datenbank läuft schon, nur der Service fehlt. Ein freier
Port behebt es:
kubectl patch notesfleet rot --type merge -p '{"spec":{"basePort":31200}}'
kubectl wait notesfleet/rot --for=condition=Ready --timeout=120s
kubectl get notesfleet rot -o jsonpath='{.status.apps}{"\n"}'
kubectl delete notesfleet rotErwartet:
notesfleet.lab.example.com/rot patched
notesfleet.lab.example.com/rot condition met
rot-dev=ACTIVE
notesfleet.lab.example.com "rot" deleted
Fortschritt speichern? Kostenlos registrieren
Auswertung
| Runde | Werkzeug, das die Ursache zeigte |
|---|---|
| 1 | kubectl apply, Condition GraphAccepted,
Logs von kro |
| 2 | Pods, dann eine bessere readyWhen-Bedingung |
| 3 | Condition Ready der Instanz |
| 4 | Finalizer der Instanz |
| 5 | Status der Flotte, dann Condition der inneren NotesApp |
Fünf von fünf ohne Lösung: Du kannst eine Plattform mit kro betreiben. Drei bis vier: Lies die Briefings von Tag 3, 5 und 11 noch einmal. Weniger: Spiel die Runden morgen noch einmal, diesmal mit Zeitlimit.