Tag 11: Multi-Cluster
Ziel: Argo CD auf
argoverwaltet einen zweiten Cluster aufprod. Ein ApplicationSet verteilt Plattform-Dienste auf alle passenden Cluster. · Dauer: ca. 50 min · Voraussetzung: Tag 8
Briefing
- Bisher schreibt Argo CD nur in den eigenen Cluster. Der heißt
in-clusterund ist unterhttps://kubernetes.default.svcerreichbar. - Weitere Cluster meldest du mit
argocd cluster addan. Argo CD legt dort einen ServiceAccount an und speichert dessen Token als Secret im Namespaceargocd. - Ein Argo CD für viele Cluster heißt Hub and Spoke.
Auf
prodläuft kein Argo CD, nur k3s. - Der Cluster-Generator erzeugt eine Application pro angemeldetem Cluster. Labels am Cluster filtern, welche Cluster gemeint sind.
- Der Matrix-Generator kombiniert zwei Generatoren: jeder Eintrag des einen mit jedem Eintrag des anderen. Zwei Dienste mal zwei Cluster ergeben vier Applications.
VM argo VM prod
└─ k3s └─ k3s
└─ Argo CD ── https://172.16.0.123:6443 ──► ├─ ns podinfo
├─ in-cluster (stufe=dev) └─ ns plattform-info
└─ prod (stufe=prod)
Drill 1: k3s auf prod
Starte die VM prod, falls sie aus ist, und melde dich
an:
In der VM prod installierst du k3s
genau wie in Tag 0:
curl -sfL https://get.k3s.io | INSTALL_K3S_VERSION=v1.37.2+k3s1 \
sh -s - --disable traefik --disable servicelb
sudo k3s kubectl get nodesErwartet (gekürzt):
[INFO] Using v1.37.2+k3s1 as release
…
[INFO] systemd: Starting k3s
NAME STATUS ROLES AGE VERSION
prod Ready control-plane 20s v1.37.2+k3s1
Mehr brauchst du auf prod nicht. Alles Weitere erledigt
Argo CD von argo aus. Melde dich wieder ab:
exitFortschritt speichern? Kostenlos registrieren
Drill 2: Zugangsdaten nach argo
Argo CD braucht einmal Admin-Zugang zu prod, um sich
dort einzurichten. Die Datei /etc/rancher/k3s/k3s.yaml von
prod muss also nach argo. Auf dem
Laptop leitest du sie von einer VM zur anderen, ohne sie
zwischenzuspeichern:
ssh [email protected] "sudo cat /etc/rancher/k3s/k3s.yaml" \
| ssh [email protected] "cat > ~/.kube/prod.yaml && chmod 600 ~/.kube/prod.yaml"Ab hier wieder in der VM argo. In der
Datei zeigt der Server auf 127.0.0.1, und Cluster, Benutzer
und Kontext heißen alle default, genau wie in deiner
eigenen ~/.kube/config. Beides änderst du:
sed -i "s/127.0.0.1/172.16.0.123/; s/: default$/: prod/" ~/.kube/prod.yaml
grep -nE "server:|name:|cluster:|user:|current-context" ~/.kube/prod.yaml
kubectl --kubeconfig ~/.kube/prod.yaml get nodesErwartet:
5: server: https://172.16.0.123:6443
6: name: prod
9: cluster: prod
10: user: prod
11: name: prod
12:current-context: prod
15:- name: prod
16: user:
NAME STATUS ROLES AGE VERSION
prod Ready control-plane 34s v1.37.2+k3s1
Das Zertifikat von k3s gilt auch für die IP-Adresse der VM. Deshalb
klappt der Zugriff ohne --insecure-skip-tls-verify.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Den Cluster anmelden
argocd cluster add prod --kubeconfig ~/.kube/prod.yaml --name prod -y
argocd cluster listErwartet (gekürzt):
{"level":"info","msg":"ServiceAccount \"argocd-manager\" created in namespace \"kube-system\"",…}
{"level":"info","msg":"ClusterRole \"argocd-manager-role\" created",…}
{"level":"info","msg":"ClusterRoleBinding \"argocd-manager-role-binding\" created",…}
{"level":"info","msg":"Created bearer token secret \"argocd-manager-long-lived-token\" for ServiceAccount \"argocd-manager\"",…}
Cluster 'https://172.16.0.123:6443' added
SERVER NAME VERSION STATUS MESSAGE PROJECT
https://172.16.0.123:6443 prod v1.37.2 Successful
https://kubernetes.default.svc in-cluster v1.37.2 Successful
- Das erste
prodist der Kontext in der Datei,--name prodder Name in Argo CD. - Auf
prodgibt es jetzt den ServiceAccountargocd-managermit vollen Rechten. Argo CD benutzt dessen Token, nicht deine Admin-Datei.
Der Zugang liegt als Secret mit einem besonderen Label:
kubectl -n argocd get secret -l argocd.argoproj.io/secret-type=clusterErwartet (gekürzt):
NAME TYPE DATA AGE
cluster-172.16.0.123-3405776406 Opaque 3 1s
~/.kube/prod.yaml brauchst du ab jetzt nur noch für
eigene Blicke auf prod.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Cluster-Generator
podinfo kommt zurück, diesmal als Plattform-Dienst auf jedem Cluster. Damit der Ordner für jeden Cluster gleich ist, liegen die Manifeste als einfache Datei im Fleet-Repo:
cd ~/argo-lab/argocd-fleet
mkdir -p addons/podinfo
cat > addons/podinfo/podinfo.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
name: podinfo
spec:
replicas: 1
selector:
matchLabels:
app: podinfo
template:
metadata:
labels:
app: podinfo
spec:
containers:
- name: podinfo
image: ghcr.io/stefanprodan/podinfo:6.17.0
ports:
- containerPort: 9898
---
apiVersion: v1
kind: Service
metadata:
name: podinfo
spec:
type: NodePort
selector:
app: podinfo
ports:
- port: 9898
targetPort: 9898
nodePort: 30090
EOFDas ApplicationSet hat einen Cluster-Generator ohne Filter.
{{.name}} und {{.server}} liefert der
Generator für jeden Cluster:
cat > applications/podinfo-appset.yaml <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
name: podinfo
namespace: argocd
spec:
goTemplate: true
goTemplateOptions: ["missingkey=error"]
generators:
- clusters: {}
template:
metadata:
name: "podinfo-{{.name}}"
spec:
project: default
source:
repoURL: [email protected]:<du>/argocd-fleet.git
targetRevision: main
path: addons/podinfo
destination:
server: "{{.server}}"
namespace: podinfo
syncPolicy:
automated:
selfHeal: true
prune: true
syncOptions:
- CreateNamespace=true
EOF
git add -A
git commit -m "podinfo auf allen Clustern"
git push
argocd app get root --refresh
sleep 30
kubectl -n argocd get app -o custom-columns=NAME:.metadata.name,\
SERVER:.spec.destination.server,SYNC:.status.sync.statusErwartet:
NAME SERVER SYNC
argocd-extras https://kubernetes.default.svc Synced
notes https://kubernetes.default.svc Synced
notes-dev https://kubernetes.default.svc Synced
podinfo-in-cluster https://kubernetes.default.svc Synced
podinfo-prod https://172.16.0.123:6443 Synced
root https://kubernetes.default.svc Synced
Zwei Applications aus einer Vorlage. Der eigene Cluster zählt mit, obwohl es für ihn kein Secret gibt. Beide podinfos antworten:
curl -s 172.16.0.123:30090 | grep '"version'
curl -s 172.16.0.182:30090 | grep '"version'Erwartet:
"version": "6.17.0",
"version": "6.17.0",
Fortschritt speichern? Kostenlos registrieren
Drill 5: Labels am Cluster
Plattform-Dienste sollen nicht immer überall laufen. Dafür bekommen die Cluster Labels:
argocd cluster set prod --label stufe=prod
argocd cluster set in-cluster --label stufe=dev
kubectl -n argocd get secret -l argocd.argoproj.io/secret-type=cluster -L stufeErwartet (gekürzt):
Cluster 'prod' updated.
Cluster 'in-cluster' updated.
NAME TYPE DATA AGE STUFE
cluster-172.16.0.123-3405776406 Opaque 3 60s prod
cluster-kubernetes.default.svc-3396314289 Opaque 3 0s dev
Für in-cluster hat Argo CD jetzt auch ein Secret
angelegt, denn irgendwo muss das Label stehen.
Das podinfo-ApplicationSet hat seinen Zweck erfüllt. Seine Applications haben den Finalizer aus Tag 8, also verschwindet podinfo beim Entfernen von beiden Clustern:
git rm applications/podinfo-appset.yaml
git commit -m "podinfo-ApplicationSet entfernt"
git push
argocd app get root --refresh
sleep 25
argocd app list -o name
kubectl --kubeconfig ~/.kube/prod.yaml -n podinfo get allErwartet:
argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/root
No resources found in podinfo namespace.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Matrix-Generator
Jetzt die übliche Form für Plattform-Dienste: Jeder Ordner unter
addons ist ein Dienst, und jeder Dienst kommt auf jeden
Cluster mit stufe=prod. Ein zweiter Dienst kommt dazu, eine
kleine ConfigMap:
mkdir -p addons/plattform-info
cat > addons/plattform-info/configmap.yaml <<'EOF'
apiVersion: v1
kind: ConfigMap
metadata:
name: plattform-info
data:
team: plattform
kontakt: [email protected]
EOFDer Matrix-Generator kombiniert einen Git-Generator für Ordner mit dem Cluster-Generator:
cat > applications/addons-appset.yaml <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
name: addons
namespace: argocd
spec:
goTemplate: true
goTemplateOptions: ["missingkey=error"]
generators:
- matrix:
generators:
- git:
repoURL: [email protected]:<du>/argocd-fleet.git
revision: main
directories:
- path: "addons/*"
- clusters:
selector:
matchLabels:
stufe: prod
template:
metadata:
name: "{{.path.basename}}-{{.name}}"
spec:
project: default
source:
repoURL: [email protected]:<du>/argocd-fleet.git
targetRevision: main
path: "{{.path.path}}"
destination:
server: "{{.server}}"
namespace: "{{.path.basename}}"
syncPolicy:
automated:
selfHeal: true
prune: true
syncOptions:
- CreateNamespace=true
EOF
git add -A
git commit -m "Addons per Matrix auf prod"
git push
argocd app get root --refresh
sleep 30
kubectl -n argocd get app -o custom-columns=NAME:.metadata.name,\
SERVER:.spec.destination.server,NS:.spec.destination.namespaceErwartet:
NAME SERVER NS
argocd-extras https://kubernetes.default.svc argocd
notes https://kubernetes.default.svc notes
notes-dev https://kubernetes.default.svc notes-dev
plattform-info-prod https://172.16.0.123:6443 plattform-info
podinfo-prod https://172.16.0.123:6443 podinfo
root https://kubernetes.default.svc argocd
directoriesstattfiles: Der Git-Generator liefert jeden passenden Ordner.{{.path.basename}}ist der Ordnername, er dient hier als Name und als Namespace.{{.name}}und{{.server}}kommen aus dem Cluster-Generator. Die Vorlage sieht die Parameter beider Generatoren.- Zwei Ordner mal ein Cluster ergibt zwei Applications.
in-clusterfehlt, denn er hatstufe=dev.
kubectl --kubeconfig ~/.kube/prod.yaml -n plattform-info get cm plattform-info
kubectl --kubeconfig ~/.kube/prod.yaml -n podinfo get deployErwartet:
NAME DATA AGE
plattform-info 2 27s
NAME READY UP-TO-DATE AVAILABLE AGE
podinfo 1/1 1 1 29s
Auf argo steht vom ersten Versuch noch der leere
Namespace podinfo. Du räumst ihn ab:
kubectl delete ns podinfoFortschritt speichern? Kostenlos registrieren
Kontrollpunkt
argocd cluster listErwartet: prod und in-cluster, beide
Successful.
argocd cluster get prod -o json | grep -A2 '"labels"'Erwartet: "stufe": "prod".
argocd app list -o name | grep prodErwartet: argocd/plattform-info-prod und
argocd/podinfo-prod.
Challenge
Die Addons sollen auf jedem Cluster laufen, der überhaupt ein Label
stufe hat, egal mit welchem Wert. Ein neuer Cluster bekommt
sie dann automatisch, sobald er das Label trägt.
Hinweis: Ein Label-Selektor kennt außer
matchLabels auch matchExpressions mit dem
Operator Exists.
Lösung
In applications/addons-appset.yaml ersetzt du den
Selektor. Der Teil sieht danach so aus:
- clusters:
selector:
matchExpressions:
- key: stufe
operator: Existsgit commit -am "Addons auf allen Clustern mit Stufe"
git push
argocd app get root --refresh
sleep 30
argocd app list -o name
curl -s localhost:30090 | grep '"version'Erwartet (gekürzt):
argocd/argocd-extras
argocd/notes
argocd/notes-dev
argocd/plattform-info-in-cluster
argocd/plattform-info-prod
argocd/podinfo-in-cluster
argocd/podinfo-prod
argocd/root
"version": "6.17.0",
Vier Applications: zwei Dienste mal zwei Cluster.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
argocd-managerhat auf dem Zielclustercluster-admin-Rechte. Wer aufargocdSecrets lesen darf, hat damit alle Cluster. Der Namespaceargocdgehört deshalb geschützt wie ein Tresor.- Das Projekt
notesaus Tag 9 erlaubt nurhttps://kubernetes.default.svc. Ein Team kann so nicht versehentlich nachproddeployen. Soll es das dürfen, kommt der Cluster ausdrücklich indestinations. - Cluster-Secrets lassen sich auch deklarativ anlegen, etwa verschlüsselt mit SOPS aus Tag 10. Dann steht auch die Liste der Cluster in Git.
- Bei sehr vielen Clustern wird ein einzelner Application-Controller zum Engpass. Argo CD verteilt die Cluster dann auf mehrere Controller-Replikas (Sharding).