Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 15: Wettkampf

Ziel: Fünf Störungen, wie sie im Betrieb einer Plattform mit kro vorkommen. Du findest die Ursache nur mit kubectl get, den Conditions und den Logs von kro und behebst sie. · Dauer: ca. 90 min · Voraussetzung: Tag 0–14

Spielregeln

  • Jede Runde beginnt mit einem Befehl aus ~/kro-lab/code/wettkampf/. Danach beantwortest du die Fragen der Runde.
  • Erst kubectl get, dann die Conditions (-o jsonpath=…conditions…), dann die Logs von kro. Ins YAML der Dateien schaust du erst, wenn du weißt, wonach du suchst.
  • Jede Runde hat ein Zeitlimit. Wer es reißt, liest erst den Hinweis, dann die Lösung.
  • Die fertigen Dateien liegen in wettkampf/loesung/.
mkdir -p ~/kro-lab/tag15
cd ~/kro-lab/tag15
cp -r ~/kro-lab/code/wettkampf/runde* .

Runde 1: Die Ankündigungs-API

Zeitlimit: 15 Minuten

Ein Kollege hat eine API Banner gebaut: Ein Team schreibt eine Ankündigung, und kro legt dafür eine ConfigMap mit dem Label aus Tag 9 im Namespace platform an. Sie geht nicht.

kubectl apply -f runde1/banner-rgd.yaml

Beantworte:

  1. Woran scheitert der erste Versuch?
  2. Woran scheitert die RGD, wenn der erste Fehler behoben ist?
  3. Woran scheitert sie danach noch?
  4. Taucht umzug-banner am Ende in status.announcements von notes auf?

Hinweis: Es sind drei Fehler, jeder versteckt den nächsten. Tag 3, Drill 2 und 1, dann Tag 12, Drill 3.

Lösung

Der erste Versuch scheitert schon im YAML:

error: error parsing runde1/banner-rgd.yaml: error converting YAML to JSON: yaml:
line 25: mapping values are not allowed in this context

In Zeile 25 steht ein Ausdruck mit "DRINGEND: ", und der Doppelpunkt mit Leerzeichen beginnt für YAML einen Schlüssel. Die Zeile gehört in einfache Anführungszeichen:

          text: '${schema.spec.urgent ? "DRINGEND: " + schema.spec.text : schema.spec.text}'

Danach ist die RGD Inactive:

kubectl apply -f runde1/banner-rgd.yaml
kubectl get rgd banner \
  -o jsonpath='{.status.conditions[?(@.type=="GraphAccepted")].message}{"\n"}'
failed to validate resource "config": type mismatch in resource "config" at path
"data.ttl": expression "schema.spec.ttlMinutes" returns type "int" but expected
"string": type kind mismatch: got "int", expected "string"

ttl: ${string(schema.spec.ttlMinutes)}. Danach bleibt die RGD trotzdem Inactive:

kubectl get rgd banner \
  -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'
GraphAccepted=True resource graph and schema are valid
GraphRevisionsResolved=True revision 1 compiled and active
KindReady=True kind Banner has been accepted and ready
ControllerReady=False add parent handler lab.example.com/v1alpha1, Resource=banners:
cache sync timeout for lab.example.com/v1alpha1, Resource=banners
Ready=False add parent handler lab.example.com/v1alpha1, Resource=banners: cache sync
timeout for lab.example.com/v1alpha1, Resource=banners

Die CRD gibt es, aber kro kann keinen Controller dafür starten. Die Logs sagen warum:

kubectl -n kro-system logs deploy/kro --since=2m | grep -m1 banners
... ERROR dynamic-controller.watch-manager Watch error {"gvr": "lab.example.com/v1alpha1,
Resource=banners", "error": "failed to list *v1.PartialObjectMetadata:
banners.lab.example.com is forbidden: User \"system:serviceaccount:kro-system:kro\"
cannot list resource \"banners\" in API group \"lab.example.com\" at the cluster
scope"}

Seit Tag 12 läuft kro im Modus aggregation. Jede neue Art braucht ihre Rechte:

kubectl apply -f ~/kro-lab/code/wettkampf/loesung/banner-rbac.yaml
kubectl wait --for=condition=Ready rgd/banner --timeout=90s
kubectl apply -f runde1/umzug.yaml
kubectl -n app wait banner/umzug --for=condition=Ready --timeout=30s
kubectl -n platform get configmap umzug-banner -o jsonpath='{.data}{"\n"}'
kubectl -n app get notesapp notes -o jsonpath='{.status.announcements}{"\n"}'

Erwartet:

clusterrole.rbac.authorization.k8s.io/kro:controller:banner created
resourcegraphdefinition.kro.run/banner condition met
banner.lab.example.com/umzug created
banner.lab.example.com/umzug condition met
{"text":"DRINGEND: Umzug in den neuen Cluster am Montag","ttl":"60"}
umzug-banner

Eine Instanz in app legt eine ConfigMap in platform an, und die NotesApp sieht sie über ihre externe Collection. Zwei RGDs, die nichts voneinander wissen, arbeiten über ein Label zusammen.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Alles grün

Zeitlimit: 15 Minuten

Das Plattform-Team rollt eine neue Version aus:

kubectl apply -f runde2/platform.yaml

Beantworte nach einer Minute:

  1. Welchen Zustand meldet notes?
  2. Welche Version liefert curl -s localhost:30080/version?
  3. Was läuft schief, und warum merkt die Instanz es nicht?

Hinweis: kubectl -n app get pods -l app=notes. Was zählt availableReplicas während eines Rollouts?

Lösung

kubectl -n app get notesapp notes
kubectl -n app get pods -l app=notes
curl -s localhost:30080/version

Erwartet:

NAME    REPLICAS   AVAILABLE   PORT    STATE
notes   1          1           30080   ACTIVE
NAME                     READY   STATUS                  RESTARTS   AGE
notes-55cc956545-fc49n   1/1     Running                 0          70s
notes-79c46dfb9c-l8dxx   0/1     Init:ImagePullBackOff   0          46s
0.5.1

Die Version 0.9.99 gibt es nicht, der neue Pod hängt im Init-Container. Der alte Pod läuft weiter, also ist availableReplicas gleich replicas, und das readyWhen aus Tag 5 ist zufrieden. Alles grün, obwohl der Rollout steht.

Die Lösung ist eine zweite Bedingung. Ergänze in ~/kro-lab/tag09/notesapp-rgd.yaml beim deployment:

      readyWhen:
        - ${deployment.status.?availableReplicas.orValue(0) == deployment.spec.replicas}
        - ${deployment.status.?unavailableReplicas.orValue(0) == 0}
kubectl apply -f ~/kro-lab/tag09/notesapp-rgd.yaml
kubectl -n app get notesapp notes
kubectl -n app get notesapp notes \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}'

Erwartet:

resourcegraphdefinition.kro.run/notesapp configured
NAME    REPLICAS   AVAILABLE   PORT   STATE
notes   1          1                  IN_PROGRESS
waiting for unresolved resource: apply "deployment": node "deployment": readyWhen
"deployment.status.?unavailableReplicas.orValue(0) == 0" is false: waiting for
readiness (executor: node not ready)

Jetzt sagt die Instanz die Wahrheit. Zurück auf die gute Version:

kubectl apply -f ~/kro-lab/tag09/platform.yaml
kubectl -n app wait notesapp/notes --for=condition=Ready --timeout=120s

Fortschritt speichern? Kostenlos registrieren

Runde 3: Doppelt hält nicht besser

Zeitlimit: 10 Minuten

Team Grau bekommt seine erste NotesApp:

kubectl create namespace team-grau
kubectl apply -f runde3/grau.yaml

Beantworte:

  1. Welchen Zustand hat die Instanz nach einer Minute?
  2. Wie viele CronJobs gibt es in team-grau?
  3. Was ist die Ursache, und warum hat der API-Server die Instanz nicht abgelehnt?

Hinweis: Tag 8, die Namen der Collection.

Lösung

kubectl -n team-grau get notesapp
kubectl -n team-grau get notesapp notes \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}'
kubectl -n team-grau get cronjob

Erwartet:

NAME    REPLICAS   AVAILABLE   PORT    STATE
notes   1          1           30083   ERROR
resource reconciliation failed: apply "checkJobs": resolve: node "checkJobs":
duplicate identity in collection: batch/v1/CronJob//notes-check-health
No resources found in team-grau namespace.

Beide Checks heißen health, also sollen zwei CronJobs mit demselben Namen entstehen. kro bricht die ganze Collection ab, auch der richtige Check fehlt. Das Schema erlaubt doppelte Namen, denn es prüft jedes Element einzeln. Die schnelle Lösung ist die Instanz: Ändere den zweiten Namen in runde3/grau.yaml auf version.

kubectl apply -f runde3/grau.yaml
kubectl -n team-grau get cronjob

Erwartet:

notesapp.lab.example.com/notes configured
NAME                  SCHEDULE    TIMEZONE   SUSPEND   ACTIVE   LAST SCHEDULE   AGE
notes-check-health    * * * * *   <none>     False     0        <none>          3s
notes-check-version   * * * * *   <none>     False     0        <none>          3s

Aufräumen:

kubectl delete -f runde3/grau.yaml
kubectl delete namespace team-grau

Fortschritt speichern? Kostenlos registrieren

Runde 4: Aufräumen mit Folgen

Zeitlimit: 10 Minuten

Jemand räumt alte APIs auf:

kubectl delete rgd notes-settings
kubectl -n app delete nset blau --timeout=15s

Beantworte:

  1. Ist blau weg?
  2. Gibt es die ConfigMap blau-settings noch?
  3. Wie bekommst du beides sauber gelöscht?

Hinweis: Tag 11, Drill 6.

Lösung

resourcegraphdefinition.kro.run "notes-settings" deleted
notessettings.lab.example.com "blau" deleted from app namespace
error: timed out waiting for the condition on notessettings/blau

blau hängt am Finalizer von kro, und für NotesSettings läuft kein Controller mehr. Die ConfigMap ist noch da. RGD zurück, warten, fertig:

kubectl apply -f ~/kro-lab/tag03/settings-rgd.yaml
kubectl wait --for=condition=Ready rgd/notes-settings --timeout=60s
kubectl -n app get nset
kubectl -n app get configmap blau-settings

Erwartet:

resourcegraphdefinition.kro.run/notes-settings created
resourcegraphdefinition.kro.run/notes-settings condition met
No resources found in app namespace.
Error from server (NotFound): configmaps "blau-settings" not found

Zeigt kubectl get nset noch blau mit DELETING, warte ein paar Sekunden. Danach die RGD in der richtigen Reihenfolge entfernen, wenn du sie wirklich loswerden willst: kubectl delete rgd notes-settings und kubectl delete crd notessettings.lab.example.com.

Fortschritt speichern? Kostenlos registrieren

Runde 5: Team Rot will auch

Zeitlimit: 10 Minuten

kubectl apply -f runde5/team-rot.yaml

Beantworte nach zwei Minuten:

  1. Welchen Zustand haben die Flotte und ihre NotesApp?
  2. Welches Objekt fehlt, und warum?
  3. Wie behebst du es, ohne die Flotte zu löschen?

Hinweis: Von außen nach innen (Tag 10, Drill 3). Welche Ports sind belegt?

Lösung

kubectl get notesfleet rot -o jsonpath='{.status.apps}{"\n"}'
kubectl -n rot-dev get notesapp notes \
  -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}{"\n"}'
kubectl -n rot-dev get svc

Erwartet:

rot-dev=ERROR
resource reconciliation failed: apply "service": Service "notes" is invalid:
spec.ports[0].nodePort: Invalid value: 30080: provided port is already allocated
NAME       TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
notes-db   ClusterIP   10.43.169.104   <none>        5432/TCP   74s

Port 30080 gehört seit Tag 4 der NotesApp in app. NodePorts gelten für den ganzen Cluster, das Schema kann das nicht prüfen. Die Datenbank läuft schon, nur der Service fehlt. Ein freier Port behebt es:

kubectl patch notesfleet rot --type merge -p '{"spec":{"basePort":31200}}'
kubectl wait notesfleet/rot --for=condition=Ready --timeout=120s
kubectl get notesfleet rot -o jsonpath='{.status.apps}{"\n"}'
kubectl delete notesfleet rot

Erwartet:

notesfleet.lab.example.com/rot patched
notesfleet.lab.example.com/rot condition met
rot-dev=ACTIVE
notesfleet.lab.example.com "rot" deleted

Fortschritt speichern? Kostenlos registrieren

Auswertung

Runde Werkzeug, das die Ursache zeigte
1 kubectl apply, Condition GraphAccepted, Logs von kro
2 Pods, dann eine bessere readyWhen-Bedingung
3 Condition Ready der Instanz
4 Finalizer der Instanz
5 Status der Flotte, dann Condition der inneren NotesApp

Fünf von fünf ohne Lösung: Du kannst eine Plattform mit kro betreiben. Drei bis vier: Lies die Briefings von Tag 3, 5 und 11 noch einmal. Weniger: Spiel die Runden morgen noch einmal, diesmal mit Zeitlimit.