Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 11: Multi-Cluster

Ziel: Argo CD auf argo verwaltet einen zweiten Cluster auf prod. Ein ApplicationSet verteilt Plattform-Dienste auf alle passenden Cluster. · Dauer: ca. 50 min · Voraussetzung: Tag 8

Briefing

  • Bisher schreibt Argo CD nur in den eigenen Cluster. Der heißt in-cluster und ist unter https://kubernetes.default.svc erreichbar.
  • Weitere Cluster meldest du mit argocd cluster add an. Argo CD legt dort einen ServiceAccount an und speichert dessen Token als Secret im Namespace argocd.
  • Ein Argo CD für viele Cluster heißt Hub and Spoke. Auf prod läuft kein Argo CD, nur k3s.
  • Der Cluster-Generator erzeugt eine Application pro angemeldetem Cluster. Labels am Cluster filtern, welche Cluster gemeint sind.
  • Der Matrix-Generator kombiniert zwei Generatoren: jeder Eintrag des einen mit jedem Eintrag des anderen. Zwei Dienste mal zwei Cluster ergeben vier Applications.
 VM argo                                       VM prod
 └─ k3s                                         └─ k3s
     └─ Argo CD ── https://172.16.0.123:6443 ──►    ├─ ns podinfo
         ├─ in-cluster (stufe=dev)                  └─ ns plattform-info
         └─ prod       (stufe=prod)

Drill 1: k3s auf prod

Starte die VM prod, falls sie aus ist, und melde dich an:

In der VM prod installierst du k3s genau wie in Tag 0:

curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION=v1.37.2+k3s1 \
  sh -s - --disable traefik --disable servicelb
sudo k3s kubectl get nodes

Erwartet (gekürzt):

[INFO]  Using v1.37.2+k3s1 as release
…
[INFO]  systemd: Starting k3s
NAME   STATUS   ROLES           AGE   VERSION
prod   Ready    control-plane   20s   v1.37.2+k3s1

Mehr brauchst du auf prod nicht. Alles Weitere erledigt Argo CD von argo aus. Melde dich wieder ab:

exit

Fortschritt speichern? Kostenlos registrieren

Drill 2: Zugangsdaten nach argo

Argo CD braucht einmal Admin-Zugang zu prod, um sich dort einzurichten. Die Datei /etc/rancher/k3s/k3s.yaml von prod muss also nach argo. Auf dem Laptop leitest du sie von einer VM zur anderen, ohne sie zwischenzuspeichern:

ssh [email protected] "sudo cat /etc/rancher/k3s/k3s.yaml" \
  | ssh [email protected] "cat > ~/.kube/prod.yaml && chmod 600 ~/.kube/prod.yaml"

Ab hier wieder in der VM argo. In der Datei zeigt der Server auf 127.0.0.1, und Cluster, Benutzer und Kontext heißen alle default, genau wie in deiner eigenen ~/.kube/config. Beides änderst du:

sed -i "s/127.0.0.1/172.16.0.123/; s/: default$/: prod/" ~/.kube/prod.yaml
grep -nE "server:|name:|cluster:|user:|current-context" ~/.kube/prod.yaml
kubectl --kubeconfig ~/.kube/prod.yaml get nodes

Erwartet:

5:    server: https://172.16.0.123:6443
6:  name: prod
9:    cluster: prod
10:    user: prod
11:  name: prod
12:current-context: prod
15:- name: prod
16:  user:
NAME   STATUS   ROLES           AGE   VERSION
prod   Ready    control-plane   34s   v1.37.2+k3s1

Das Zertifikat von k3s gilt auch für die IP-Adresse der VM. Deshalb klappt der Zugriff ohne --insecure-skip-tls-verify.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Den Cluster anmelden

argocd cluster add prod --kubeconfig ~/.kube/prod.yaml --name prod -y
argocd cluster list

Erwartet (gekürzt):

{"level":"info","msg":"ServiceAccount \"argocd-manager\" created in namespace \"kube-system\"",…}
{"level":"info","msg":"ClusterRole \"argocd-manager-role\" created",…}
{"level":"info","msg":"ClusterRoleBinding \"argocd-manager-role-binding\" created",…}
{"level":"info","msg":"Created bearer token secret \"argocd-manager-long-lived-token\" for ServiceAccount \"argocd-manager\"",…}
Cluster 'https://172.16.0.123:6443' added
SERVER                          NAME        VERSION  STATUS      MESSAGE  PROJECT
https://172.16.0.123:6443       prod        v1.37.2  Successful
https://kubernetes.default.svc  in-cluster  v1.37.2  Successful
  • Das erste prod ist der Kontext in der Datei, --name prod der Name in Argo CD.
  • Auf prod gibt es jetzt den ServiceAccount argocd-manager mit vollen Rechten. Argo CD benutzt dessen Token, nicht deine Admin-Datei.

Der Zugang liegt als Secret mit einem besonderen Label:

kubectl -n argocd get secret -l argocd.argoproj.io/secret-type=cluster

Erwartet (gekürzt):

NAME                              TYPE     DATA   AGE
cluster-172.16.0.123-3405776406   Opaque   3      1s

~/.kube/prod.yaml brauchst du ab jetzt nur noch für eigene Blicke auf prod.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Cluster-Generator

podinfo kommt zurück, diesmal als Plattform-Dienst auf jedem Cluster. Damit der Ordner für jeden Cluster gleich ist, liegen die Manifeste als einfache Datei im Fleet-Repo:

cd ~/argo-lab/argocd-fleet
mkdir -p addons/podinfo
cat > addons/podinfo/podinfo.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: podinfo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: podinfo
  template:
    metadata:
      labels:
        app: podinfo
    spec:
      containers:
        - name: podinfo
          image: ghcr.io/stefanprodan/podinfo:6.17.0
          ports:
            - containerPort: 9898
---
apiVersion: v1
kind: Service
metadata:
  name: podinfo
spec:
  type: NodePort
  selector:
    app: podinfo
  ports:
    - port: 9898
      targetPort: 9898
      nodePort: 30090
EOF

Das ApplicationSet hat einen Cluster-Generator ohne Filter. {{.name}} und {{.server}} liefert der Generator für jeden Cluster:

cat > applications/podinfo-appset.yaml <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: podinfo
  namespace: argocd
spec:
  goTemplate: true
  goTemplateOptions: ["missingkey=error"]
  generators:
    - clusters: {}
  template:
    metadata:
      name: "podinfo-{{.name}}"
    spec:
      project: default
      source:
        repoURL: [email protected]:<du>/argocd-fleet.git
        targetRevision: main
        path: addons/podinfo
      destination:
        server: "{{.server}}"
        namespace: podinfo
      syncPolicy:
        automated:
          selfHeal: true
          prune: true
        syncOptions:
          - CreateNamespace=true
EOF
git add -A
git commit -m "podinfo auf allen Clustern"
git push
argocd app get root --refresh
sleep 30
kubectl -n argocd get app -o custom-columns=NAME:.metadata.name,\
SERVER:.spec.destination.server,SYNC:.status.sync.status

Erwartet:

NAME                 SERVER                           SYNC
argocd-extras        https://kubernetes.default.svc   Synced
notes                https://kubernetes.default.svc   Synced
notes-dev            https://kubernetes.default.svc   Synced
podinfo-in-cluster   https://kubernetes.default.svc   Synced
podinfo-prod         https://172.16.0.123:6443        Synced
root                 https://kubernetes.default.svc   Synced

Zwei Applications aus einer Vorlage. Der eigene Cluster zählt mit, obwohl es für ihn kein Secret gibt. Beide podinfos antworten:

curl -s 172.16.0.123:30090 | grep '"version'
curl -s 172.16.0.182:30090 | grep '"version'

Erwartet:

  "version": "6.17.0",
  "version": "6.17.0",

Fortschritt speichern? Kostenlos registrieren

Drill 5: Labels am Cluster

Plattform-Dienste sollen nicht immer überall laufen. Dafür bekommen die Cluster Labels:

argocd cluster set prod --label stufe=prod
argocd cluster set in-cluster --label stufe=dev
kubectl -n argocd get secret -l argocd.argoproj.io/secret-type=cluster -L stufe

Erwartet (gekürzt):

Cluster 'prod' updated.
Cluster 'in-cluster' updated.
NAME                                        TYPE     DATA   AGE   STUFE
cluster-172.16.0.123-3405776406             Opaque   3      60s   prod
cluster-kubernetes.default.svc-3396314289   Opaque   3      0s    dev

Für in-cluster hat Argo CD jetzt auch ein Secret angelegt, denn irgendwo muss das Label stehen.

Das podinfo-ApplicationSet hat seinen Zweck erfüllt. Seine Applications haben den Finalizer aus Tag 8, also verschwindet podinfo beim Entfernen von beiden Clustern:

git rm applications/podinfo-appset.yaml
git commit -m "podinfo-ApplicationSet entfernt"
git push
argocd app get root --refresh
sleep 25
argocd app list -o name
kubectl --kubeconfig ~/.kube/prod.yaml -n podinfo get all

Erwartet:

argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/root
No resources found in podinfo namespace.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Matrix-Generator

Jetzt die übliche Form für Plattform-Dienste: Jeder Ordner unter addons ist ein Dienst, und jeder Dienst kommt auf jeden Cluster mit stufe=prod. Ein zweiter Dienst kommt dazu, eine kleine ConfigMap:

mkdir -p addons/plattform-info
cat > addons/plattform-info/configmap.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
  name: plattform-info
data:
  team: plattform
  kontakt: [email protected]
EOF

Der Matrix-Generator kombiniert einen Git-Generator für Ordner mit dem Cluster-Generator:

cat > applications/addons-appset.yaml <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
  name: addons
  namespace: argocd
spec:
  goTemplate: true
  goTemplateOptions: ["missingkey=error"]
  generators:
    - matrix:
        generators:
          - git:
              repoURL: [email protected]:<du>/argocd-fleet.git
              revision: main
              directories:
                - path: "addons/*"
          - clusters:
              selector:
                matchLabels:
                  stufe: prod
  template:
    metadata:
      name: "{{.path.basename}}-{{.name}}"
    spec:
      project: default
      source:
        repoURL: [email protected]:<du>/argocd-fleet.git
        targetRevision: main
        path: "{{.path.path}}"
      destination:
        server: "{{.server}}"
        namespace: "{{.path.basename}}"
      syncPolicy:
        automated:
          selfHeal: true
          prune: true
        syncOptions:
          - CreateNamespace=true
EOF
git add -A
git commit -m "Addons per Matrix auf prod"
git push
argocd app get root --refresh
sleep 30
kubectl -n argocd get app -o custom-columns=NAME:.metadata.name,\
SERVER:.spec.destination.server,NS:.spec.destination.namespace

Erwartet:

NAME                  SERVER                           NS
argocd-extras         https://kubernetes.default.svc   argocd
notes                 https://kubernetes.default.svc   notes
notes-dev             https://kubernetes.default.svc   notes-dev
plattform-info-prod   https://172.16.0.123:6443        plattform-info
podinfo-prod          https://172.16.0.123:6443        podinfo
root                  https://kubernetes.default.svc   argocd
  • directories statt files: Der Git-Generator liefert jeden passenden Ordner. {{.path.basename}} ist der Ordnername, er dient hier als Name und als Namespace.
  • {{.name}} und {{.server}} kommen aus dem Cluster-Generator. Die Vorlage sieht die Parameter beider Generatoren.
  • Zwei Ordner mal ein Cluster ergibt zwei Applications. in-cluster fehlt, denn er hat stufe=dev.
kubectl --kubeconfig ~/.kube/prod.yaml -n plattform-info get cm plattform-info
kubectl --kubeconfig ~/.kube/prod.yaml -n podinfo get deploy

Erwartet:

NAME             DATA   AGE
plattform-info   2      27s
NAME      READY   UP-TO-DATE   AVAILABLE   AGE
podinfo   1/1     1            1           29s

Auf argo steht vom ersten Versuch noch der leere Namespace podinfo. Du räumst ihn ab:

kubectl delete ns podinfo

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

argocd cluster list

Erwartet: prod und in-cluster, beide Successful.

argocd cluster get prod -o json | grep -A2 '"labels"'

Erwartet: "stufe": "prod".

argocd app list -o name | grep prod

Erwartet: argocd/plattform-info-prod und argocd/podinfo-prod.

Challenge

Die Addons sollen auf jedem Cluster laufen, der überhaupt ein Label stufe hat, egal mit welchem Wert. Ein neuer Cluster bekommt sie dann automatisch, sobald er das Label trägt.

Hinweis: Ein Label-Selektor kennt außer matchLabels auch matchExpressions mit dem Operator Exists.

Lösung

In applications/addons-appset.yaml ersetzt du den Selektor. Der Teil sieht danach so aus:

          - clusters:
              selector:
                matchExpressions:
                  - key: stufe
                    operator: Exists
git commit -am "Addons auf allen Clustern mit Stufe"
git push
argocd app get root --refresh
sleep 30
argocd app list -o name
curl -s localhost:30090 | grep '"version'

Erwartet (gekürzt):

argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/plattform-info-in-cluster
argocd/plattform-info-prod
argocd/podinfo-in-cluster
argocd/podinfo-prod
argocd/root
  "version": "6.17.0",

Vier Applications: zwei Dienste mal zwei Cluster.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • argocd-manager hat auf dem Zielcluster cluster-admin-Rechte. Wer auf argocd Secrets lesen darf, hat damit alle Cluster. Der Namespace argocd gehört deshalb geschützt wie ein Tresor.
  • Das Projekt notes aus Tag 9 erlaubt nur https://kubernetes.default.svc. Ein Team kann so nicht versehentlich nach prod deployen. Soll es das dürfen, kommt der Cluster ausdrücklich in destinations.
  • Cluster-Secrets lassen sich auch deklarativ anlegen, etwa verschlüsselt mit SOPS aus Tag 10. Dann steht auch die Liste der Cluster in Git.
  • Bei sehr vielen Clustern wird ein einzelner Application-Controller zum Engpass. Argo CD verteilt die Cluster dann auf mehrere Controller-Replikas (Sharding).