Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 8: Collections mit forEach

Ziel: Das Team gibt eine Liste von Pfaden an, und kro legt pro Pfad einen CronJob an, der jede Minute prüft, ob notes-api antwortet. Jeder Check bekommt eine eigene Condition. · Dauer: ca. 50 min · Voraussetzung: Tag 7

Briefing

  • forEach macht aus einem Objekt eine Collection: ein Objekt pro Element einer Liste. Die Liste kommt aus einem Ausdruck, meist aus schema.spec.
  • Die Laufvariable (hier check) steht im Template zur Verfügung. Sie gehört in den Namen, sonst bekommen alle Objekte denselben Namen.
  • Mehrere Iteratoren ergeben das kartesische Produkt: 2 Regionen × 3 Stufen = 6 Objekte. Ist eine Liste leer, entstehen null Objekte.
  • Andere Objekte sehen die Collection als Liste: size(checkJobs), checkJobs.map(j, …).
  • Wird die Liste kürzer, räumt kro die überzähligen Objekte ab.
 spec.checks: [health, version]
         │ forEach
         ├─► CronJob notes-check-health   (curl http://notes/healthz)
         └─► CronJob notes-check-version  (curl http://notes/version)

Drill 1: Ein Typ und eine Liste

mkdir -p ~/kro-lab/tag08
cd ~/kro-lab/tag08
cp ../tag07/notesapp-rgd.yaml .

Ergänze über spec: einen eigenen Typ und unter networkPolicy die Liste:

    group: lab.example.com
    types:
      Check:
        name: string | required=true pattern="^[a-z0-9-]+$"
        path: string | required=true pattern="^/"
    spec:
      ...
      networkPolicy: boolean | default=false
      checks: "[]Check"

name landet im Namen eines CronJobs. Das Muster erzwingt deshalb Kleinbuchstaben, Ziffern und Bindestriche, wie Kubernetes sie in Namen verlangt.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Die Collection

Hänge ans Ende der Datei an:

    - id: checkJobs
      forEach:
        - check: ${schema.spec.?checks.orValue([])}
      template:
        apiVersion: batch/v1
        kind: CronJob
        metadata:
          name: ${schema.metadata.name + '-check-' + check.name}
          labels:
            check: ${check.name}
        spec:
          schedule: "* * * * *"
          successfulJobsHistoryLimit: 1
          failedJobsHistoryLimit: 1
          jobTemplate:
            spec:
              backoffLimit: 0
              template:
                spec:
                  restartPolicy: Never
                  containers:
                    - name: curl
                      image: curlimages/curl:8.23.0
                      args:
                        - -fsS
                        - http://${service.metadata.name}${check.path}
  • forEach ist eine Liste aus Einträgen mit genau einem Schlüssel: dem Namen der Laufvariable.
  • ?checks.orValue([]): Ohne Checks ist die Liste leer, und es entsteht kein CronJob.
  • -f lässt curl bei einem HTTP-Fehler mit einem Fehlercode enden. Dann schlägt der Job fehl.
  • ${service.metadata.name} macht die Checks vom Service abhängig. Sie starten also erst, wenn es notes-api gibt.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Status aus der Collection

Ergänze unter storage: ein Zählfeld:

      storage: ${dbData.spec.resources.requests.storage}
      checks: ${size(checkJobs)}

Und hänge an die Liste conditions einen dritten Eintrag an:

        - |-
          ${checkJobs.map(j, runtime.newCondition({
            type: 'Check-' + j.metadata.labels.check,
            status: j.status.?lastSuccessfulTime.hasValue() ? 'True' : 'Unknown',
            reason: 'CronJob',
            message: j.spec.jobTemplate.spec.template.spec.containers[0].args[1]
          }))}

Ein Eintrag, der eine Liste von Conditions liefert: Die Zahl der Conditions wächst mit der Zahl der Checks. Ein CronJob hat lastSuccessfulTime, sobald ein Lauf geklappt hat.

kubectl apply -f notesapp-rgd.yaml
kubectl get rgd notesapp \
  -o jsonpath='{.status.state}: {.status.conditions[?(@.type=="GraphAccepted")].message}{"\n"}'

Erwartet:

resourcegraphdefinition.kro.run/notesapp configured
Active: resource graph and schema are valid

Springt notes danach auf ERROR mit schema not found for field checks, kennst du das Mittel aus Tag 6: kubectl -n kro-system rollout restart deploy/kro.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Zwei Checks

cat > notes.yaml <<'EOF'
apiVersion: lab.example.com/v1alpha1
kind: NotesApp
metadata:
  name: notes
  namespace: app
spec:
  apiKey: lab-api-key-123
  nodePort: 30080
  networkPolicy: true
  checks:
    - name: health
      path: /healthz
    - name: version
      path: /version
EOF
kubectl apply -f notes.yaml
kubectl -n app get cronjob

Erwartet:

notesapp.lab.example.com/notes configured
NAME                  SCHEDULE    TIMEZONE   SUSPEND   ACTIVE   LAST SCHEDULE   AGE
notes-check-health    * * * * *   <none>     False     0        <none>          16s
notes-check-version   * * * * *   <none>     False     0        <none>          16s

Ab jetzt ist notes.yaml die Datei, die die Instanz beschreibt. Nach spätestens einer Minute laufen die ersten Jobs:

kubectl -n app get jobs
kubectl -n app get notesapp notes \
  -o jsonpath='{.status.checks}{"\n"}{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'

Erwartet:

NAME                                     STATUS     COMPLETIONS   DURATION   AGE
notes-check-health-29906997              Complete   1/1           8s         58s
notes-check-version-29906997             Complete   1/1           8s         58s
2
Ready=True all resources are created and ready
ApiAvailable=True 1 von 1 Pods bereit
Check-health=True http://notes/healthz
Check-version=True http://notes/version

Fortschritt speichern? Kostenlos registrieren

Drill 5: Ein kaputter Check

Tausche version gegen einen Pfad, den es nicht gibt. Ändere in notes.yaml den zweiten Check:

    - name: kaputt
      path: /gibtsnicht
kubectl apply -f notes.yaml
kubectl -n app get cronjob

Erwartet:

notesapp.lab.example.com/notes configured
NAME                 SCHEDULE    TIMEZONE   SUSPEND   ACTIVE   LAST SCHEDULE   AGE
notes-check-health   * * * * *   <none>     False     0        24s             3m3s
notes-check-kaputt   * * * * *   <none>     False     0        <none>          5s

notes-check-version ist weg: Die Liste ist kürzer geworden, und kro hat aufgeräumt. Nach einer Minute:

kubectl -n app get jobs
kubectl -n app logs -l job-name --prefix --tail=1

Erwartet:

NAME                                    STATUS     COMPLETIONS   DURATION   AGE
notes-check-health-29906999             Complete   1/1           4s         24s
notes-check-kaputt-29906999             Failed     0/1           24s        24s
[pod/notes-check-health-29906999-6mq67/curl] ok
[pod/notes-check-kaputt-29906999-r49kn/curl] curl: (22) The requested URL returned
error: 404
kubectl -n app get notesapp notes \
  -o jsonpath='{range .status.conditions[*]}{.type}={.status} {.message}{"\n"}{end}'

Erwartet:

Ready=True all resources are created and ready
ApiAvailable=True 1 von 1 Pods bereit
Check-health=True http://notes/healthz
Check-kaputt=Unknown http://notes/gibtsnicht

Check-kaputt bleibt Unknown, weil es nie einen erfolgreichen Lauf gab. Ready bleibt True, denn für kro ist der CronJob angelegt und damit fertig. Ein fehlschlagender Check hält die App nicht auf, er macht nur auf sich aufmerksam.

Stell notes.yaml wieder auf version und /version zurück und wende an.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl -n app get cronjob

Erwartet: notes-check-health und notes-check-version.

kubectl -n app get notesapp notes -o jsonpath='{.status.checks}{"\n"}'

Erwartet: 2.

diff notesapp-rgd.yaml ~/kro-lab/code/loesung/tag08/notesapp-rgd.yaml

Erwartet: keine Ausgabe.

Challenge

Die Prüfung soll für jeden Check zwei CronJobs anlegen: einen gegen den Service notes und einen gegen den Service notes-db (Port 5432 ist kein HTTP, der Lauf schlägt fehl, darum geht es hier nicht). Wie sieht forEach aus, und wie heißen die Objekte?

Hinweis: Zwei Iteratoren ergeben das kartesische Produkt. Beide Variablen gehören in den Namen.

Lösung

      forEach:
        - check: ${schema.spec.?checks.orValue([])}
        - target: ${["notes", "notes-db"]}
      template:
        ...
        metadata:
          name: ${schema.metadata.name + '-' + target + '-' + check.name}

Mit zwei Checks entstehen vier CronJobs: notes-notes-health, notes-notes-version, notes-notes-db-health und notes-notes-db-version. Die erste Liste ist die äußere Schleife. Wende das nicht an, die NotesApp behält ihre zwei Checks.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Grenzen: kro begrenzt eine Collection auf 1000 Objekte und auf 10 Iteratoren (config.rgd.maxCollectionSize und maxCollectionDimensionSize im Chart). Begrenze Listen im Schema zusätzlich mit maxItems, damit niemand aus Versehen hundert CronJobs anlegt.
  • Maps sortieren: Iterierst du über die Schlüssel einer Map, sortiere sie (.map(k, k).sort()). Maps haben keine feste Reihenfolge, und eine wechselnde Reihenfolge erzeugt unnötige Änderungen.
  • Synthetische Checks: Für echtes Monitoring gibt es den Blackbox Exporter von Prometheus. Die CronJobs hier zeigen das Muster: eine Liste im Spec, ein Objekt pro Eintrag, eine Condition pro Objekt.