Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 8: ApplicationSets

Ziel: Ein ApplicationSet erzeugt die Applications für alle Umgebungen von notes. Eine neue Umgebung ist ein neuer Ordner im Fleet-Repo, sonst nichts. · Dauer: ca. 45 min · Voraussetzung: Tag 7

Briefing

  • notes.yaml und notes-dev.yaml in applications unterscheiden sich nur in Name, Pfad und Namespace. Bei zehn Umgebungen wären es zehn fast gleiche Dateien.
  • Ein ApplicationSet besteht aus Generatoren und einer Vorlage (template). Jeder Generator liefert eine Liste von Parametern, und für jeden Eintrag entsteht eine Application aus der Vorlage.
  • Der List-Generator nimmt die Einträge aus der Datei selbst. Der Git-Generator liest sie aus Dateien oder Ordnern im Repo.
  • Mit goTemplate: true schreibst du Platzhalter als {{.name}}. missingkey=error bricht ab, wenn ein Parameter fehlt, statt leer einzusetzen.
  • Ein eigener Controller, der ApplicationSet-Controller, legt die Applications an, ändert und löscht sie. Er läuft seit Tag 1 mit.
 ApplicationSet notes
   generator: Git-Dateien apps/notes/overlays/*/env.yaml
     ├─ overlays/prod/env.yaml ─► Application notes     ─► ns notes
     └─ overlays/dev/env.yaml  ─► Application notes-dev ─► ns notes-dev

Drill 1: List-Generator

Das ApplicationSet kommt nach applications, damit root es verwaltet:

cd ~/argo-lab/argocd-fleet
cat > applications/notes-appset.yaml <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: notes
  namespace: argocd
spec:
  goTemplate: true
  goTemplateOptions: ["missingkey=error"]
  generators:
    - list:
        elements:
          - name: notes
            env: prod
            namespace: notes
          - name: notes-dev
            env: dev
            namespace: notes-dev
  template:
    metadata:
      name: "{{.name}}"
    spec:
      project: default
      source:
        repoURL: [email protected]:<du>/argocd-fleet.git
        targetRevision: main
        path: "apps/notes/overlays/{{.env}}"
      destination:
        server: https://kubernetes.default.svc
        namespace: "{{.namespace}}"
      syncPolicy:
        automated:
          selfHeal: true
          prune: true
        syncOptions:
          - CreateNamespace=true
EOF
git add -A
git commit -m "ApplicationSet notes (List)"
git push
argocd app get root --refresh
sleep 20
kubectl -n argocd get applicationset

Erwartet (gekürzt):

NAME    AGE
notes   19s

Die Vorlage erzeugt genau die beiden Applications, die es schon gibt. Wem gehören sie jetzt?

kubectl -n argocd get app notes notes-dev \
  -o custom-columns=NAME:.metadata.name,OWNER:.metadata.ownerReferences[0].kind
argocd app get root | sed -n "/GROUP/,\$p" | cut -c1-66

Erwartet:

NAME        OWNER
notes       ApplicationSet
notes-dev   ApplicationSet
GROUP        KIND            NAMESPACE  NAME           STATUS
argoproj.io  Application     argocd     notes-dev      OutOfSync
argoproj.io  Application     argocd     notes          Synced
argoproj.io  Application     argocd     argocd-extras  Synced
argoproj.io  ApplicationSet  argocd     notes          Synced

Ausprobiert: Das ApplicationSet hat beide Applications übernommen und sich als Besitzer eingetragen. Gleichzeitig verwaltet root sie noch über die alten Dateien. Zwei Controller schreiben also in dasselbe Objekt. notes-dev ist für root OutOfSync, denn die Vorlage kennt das ignoreDifferences aus Tag 6 nicht und hat es entfernt. Jede Application darf nur eine Quelle haben.

Die alten Dateien müssen deshalb weg:

git rm applications/notes.yaml applications/notes-dev.yaml
git commit -m "notes-Applications kommen jetzt aus dem ApplicationSet"
git push
argocd app get root --refresh
sleep 25
argocd app list -o name
argocd app resources root

Erwartet (gekürzt):

argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/root
GROUP        KIND            NAMESPACE  NAME           ORPHANED
argoproj.io  Application     argocd     argocd-extras  No
argoproj.io  ApplicationSet  argocd     notes          No

root hat prune: true und hätte die beiden Applications löschen dürfen. Sie bleiben trotzdem, denn sie haben einen Besitzer, das ApplicationSet. root verwaltet nur noch das ApplicationSet selbst. Die Daten sind unberührt:

curl -s localhost:30080/notes

Erwartet:

[{"id":"3fef3430-d55d-431b-bad7-c314189bd7a9","text":"Hallo Argo CD"}]

Deine id ist eine andere. Der Text ist der aus Tag 4.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Git-Generator

Mit dem List-Generator steht jede Umgebung noch zweimal im Repo: als Ordner und als Eintrag in der Liste. Besser beschreibt jeder Ordner sich selbst. Dafür bekommt jedes Overlay eine kleine Datei env.yaml:

cat > apps/notes/overlays/prod/env.yaml <<'EOF'
name: notes
namespace: notes
EOF
cat > apps/notes/overlays/dev/env.yaml <<'EOF'
name: notes-dev
namespace: notes-dev
EOF

Kustomize liest nur Dateien, die in kustomization.yaml stehen. env.yaml landet also nicht im Cluster. Der Git-Generator sucht alle Dateien, die zum Muster passen, und macht ihre Felder zu Parametern. Das ganze ApplicationSet:

cat > applications/notes-appset.yaml <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: notes
  namespace: argocd
spec:
  goTemplate: true
  goTemplateOptions: ["missingkey=error"]
  generators:
    - git:
        repoURL: [email protected]:<du>/argocd-fleet.git
        revision: main
        files:
          - path: "apps/notes/overlays/*/env.yaml"
  template:
    metadata:
      name: "{{.name}}"
    spec:
      project: default
      source:
        repoURL: [email protected]:<du>/argocd-fleet.git
        targetRevision: main
        path: "{{.path.path}}"
      destination:
        server: https://kubernetes.default.svc
        namespace: "{{.namespace}}"
      syncPolicy:
        automated:
          selfHeal: true
          prune: true
        syncOptions:
          - CreateNamespace=true
EOF
git add -A
git commit -m "ApplicationSet notes: Git-Generator"
git push
argocd app get root --refresh
sleep 25
kubectl -n argocd get app -o custom-columns=NAME:.metadata.name,\
PATH:.spec.source.path,NS:.spec.destination.namespace,\
CREATED:.metadata.creationTimestamp

Erwartet:

NAME            PATH                       NS          CREATED
argocd-extras   platform/argocd            argocd      2026-11-14T09:06:11Z
notes           apps/notes/overlays/prod   notes       2026-11-14T08:36:18Z
notes-dev       apps/notes/overlays/dev    notes-dev   2026-11-14T08:52:31Z
root            applications               argocd      2026-11-14T09:03:08Z
  • {{.name}} und {{.namespace}} kommen aus env.yaml.
  • {{.path.path}} liefert der Generator selbst: den Ordner, in dem die Datei liegt. {{.path.basename}} wäre nur der letzte Teil, also prod oder dev.
  • CREATED hat sich nicht geändert. Es sind dieselben Applications wie vorher, nur aus einer anderen Quelle beschrieben.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Eine neue Umgebung

Eine Umgebung test mit eigenem NodePort. Drei kleine Dateien, keine Application:

mkdir -p apps/notes/overlays/test
cat > apps/notes/overlays/test/env.yaml <<'EOF'
name: notes-test
namespace: notes-test
EOF
cat > apps/notes/overlays/test/kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - ../../base
patches:
  - path: nodeport.yaml
EOF
cat > apps/notes/overlays/test/nodeport.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
  name: notes
spec:
  ports:
    - port: 80
      targetPort: 8080
      nodePort: 30083
EOF
git add -A
git commit -m "Umgebung test"
git push

Der Git-Generator fragt das Repo alle drei Minuten ab. Damit du nicht wartest, stößt eine Annotation den Abgleich sofort an:

kubectl -n argocd annotate appset notes \
  argocd.argoproj.io/application-set-refresh=true --overwrite
sleep 15
argocd app list -o name

Erwartet:

applicationset.argoproj.io/notes annotated
argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/notes-test
argocd/root

Der Controller entfernt die Annotation nach dem Abgleich wieder. Jetzt wartest du, bis Datenbank, Migration und notes-api stehen:

argocd app wait notes-test --health --operation --timeout 300 \
  | grep -E "Health Status|^Phase"
curl -s localhost:30083/version

Erwartet:

Health Status:      Healthy
Phase:              Succeeded
0.5.3

Eine komplette Umgebung mit Postgres, Volume und Hooks aus Tag 4, nur durch einen neuen Ordner.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Eine Umgebung entfernen

Vor dem Löschen ein Blick auf die neue Application:

kubectl -n argocd get app notes-test -o jsonpath='{.metadata.finalizers}'

Erwartet:

["resources-finalizer.argocd.argoproj.io"]

Den Finalizer hast du nie gesetzt. Das ApplicationSet trägt ihn standardmäßig in jede Application ein. Was das bedeutet, zeigt das Entfernen des Ordners:

git rm -r apps/notes/overlays/test
git commit -m "Umgebung test entfernt"
git push
kubectl -n argocd annotate appset notes \
  argocd.argoproj.io/application-set-refresh=true --overwrite
sleep 20
argocd app list -o name
kubectl -n notes-test get deploy,pvc

Erwartet:

applicationset.argoproj.io/notes annotated
argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/root
No resources found in notes-test namespace.

Alles weg, auch das Volume mit der Datenbank. Für test ist das gewollt. Aber notes und notes-dev haben den Finalizer inzwischen auch:

kubectl -n argocd get app notes notes-dev \
  -o custom-columns=NAME:.metadata.name,FINALIZER:.metadata.finalizers

Erwartet:

NAME        FINALIZER
notes       [resources-finalizer.argocd.argoproj.io]
notes-dev   [resources-finalizer.argocd.argoproj.io]

Ausprobiert: In Tag 7 hast du den Finalizer für notes bewusst weggelassen. Das ApplicationSet hat ihn beim Übernehmen still ergänzt. Ein versehentlich gelöschter Ordner overlays/prod oder ein Tippfehler im Muster des Generators würde jetzt die Produktionsdatenbank löschen.

Der leere Namespace bleibt stehen. Du räumst ihn ab:

kubectl delete ns notes-test

Dagegen hilft preserveResourcesOnDeletion. Du ergänzt in applications/notes-appset.yaml direkt vor template: einen Block, sodass die Datei an dieser Stelle so aussieht:

        files:
          - path: "apps/notes/overlays/*/env.yaml"
  syncPolicy:
    preserveResourcesOnDeletion: true
  template:
git commit -am "ApplicationSet: Ressourcen beim Löschen behalten"
git push
argocd app get root --refresh
sleep 20
kubectl -n argocd get app notes notes-dev \
  -o custom-columns=NAME:.metadata.name,FINALIZER:.metadata.finalizers

Erwartet (gekürzt):

NAME        FINALIZER
notes       <none>
notes-dev   <none>

Der Controller hat den Finalizer wieder entfernt. Verschwindet jetzt ein Ordner, löscht er nur die Application. Deployment, Volume und Datenbank bleiben stehen, wie in Tag 3 beim Löschen ohne Finalizer.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

kubectl -n argocd get appset notes -o jsonpath='{.status.resources[*].name}'

Erwartet: notes notes-dev.

kubectl -n argocd get app notes notes-dev \
  -o custom-columns=NAME:.metadata.name,OWNER:.metadata.ownerReferences[0].kind,\
FINALIZER:.metadata.finalizers

Erwartet:

NAME        OWNER            FINALIZER
notes       ApplicationSet   <none>
notes-dev   ApplicationSet   <none>
ls ~/argo-lab/argocd-fleet/applications

Erwartet: argocd-extras.yaml notes-appset.yaml.

curl -s localhost:30080/notes

Erwartet: deine Notiz Hallo Argo CD aus Tag 4.

Challenge

Lege eine Umgebung staging mit NodePort 30084 an. Prüfe, dass sie läuft. Entferne den Ordner danach wieder. Was bleibt im Cluster übrig, und warum anders als bei test?

Hinweis: Die Dateien aus Drill 3 passen fast unverändert.

Lösung

cd ~/argo-lab/argocd-fleet
mkdir -p apps/notes/overlays/staging
cat > apps/notes/overlays/staging/env.yaml <<'EOF'
name: notes-staging
namespace: notes-staging
EOF
cat > apps/notes/overlays/staging/kustomization.yaml <<'EOF'
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
  - ../../base
patches:
  - path: nodeport.yaml
EOF
cat > apps/notes/overlays/staging/nodeport.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
  name: notes
spec:
  ports:
    - port: 80
      targetPort: 8080
      nodePort: 30084
EOF
git add -A
git commit -m "Umgebung staging"
git push
kubectl -n argocd annotate appset notes \
  argocd.argoproj.io/application-set-refresh=true --overwrite
sleep 10
argocd app wait notes-staging --health --operation --timeout 300 | grep "^Phase"
curl -s localhost:30084/version

Erwartet (gekürzt):

Phase:              Succeeded
0.5.3
git rm -r apps/notes/overlays/staging
git commit -m "Umgebung staging entfernt"
git push
kubectl -n argocd annotate appset notes \
  argocd.argoproj.io/application-set-refresh=true --overwrite
sleep 20
argocd app list -o name
kubectl -n notes-staging get deploy

Erwartet (gekürzt):

argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/root
NAME       READY   UP-TO-DATE   AVAILABLE   AGE
notes      2/2     2            2           32s
notes-db   1/1     1            1           53s

Die Application ist weg, notes-api und Datenbank laufen weiter. Wegen preserveResourcesOnDeletion fehlt der Finalizer, Argo CD löscht nur die Application. Die Objekte verwaltet jetzt niemand mehr. Du räumst sie mit dem Namespace ab:

kubectl delete ns notes-staging

Erwartet:

namespace "notes-staging" deleted

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Ein ApplicationSet ist mächtig: Ein falsches Muster im Generator kann alle Applications auf einmal löschen. preserveResourcesOnDeletion gehört deshalb in jedes ApplicationSet, das Daten verwaltet.
  • Zusätzlich gibt es in der Konfiguration des Controllers die Policy create-update. Damit legt er Applications an und ändert sie, löscht aber keine.
  • Statt Polling melden Webhooks von GitHub oder GitLab neue Commits sofort, auch an den ApplicationSet-Controller.
  • Weitere Generatoren erzeugen Applications pro Cluster, pro Pull-Request oder als Kombination zweier Generatoren (Matrix). Cluster und Matrix kommen in Tag 11.