Tag 14: Betrieb
Ziel: Du sicherst Argo CD, liest seine Metriken und hebst es von 3.5.7 auf 3.6.1, ohne dass eine Application ausfällt. Zum Schluss ein Blick auf Flux. · Dauer: ca. 50 min · Voraussetzung: Tag 13
Briefing
- Fast alles, was Argo CD ausmacht, steht im Fleet-Repo. Was fehlt,
liegt in Kubernetes-Objekten im Namespace
argocd: Applications, die nicht aus Git kommen, Zugänge zu Repos und Clustern, lokale Benutzer. argocd admin exportschreibt diese Objekte in eine YAML-Datei.argocd admin importspielt sie zurück.- Jede Komponente von Argo CD liefert Metriken im Prometheus-Format, etwa wie viele Applications gesund sind und wie viele Syncs gescheitert sind.
- Argo CD hat in Tag 1
install.yamlinstalliert, also kommt das Upgrade auf demselben Weg: neue Datei, serverseitig anwenden. Vorher liest du die Upgrade-Hinweise.
Drill 1: Ein Backup
mkdir -p ~/argo-lab/tag14
cd ~/argo-lab/tag14
argocd admin export -n argocd > backup-3.5.7.yaml
ls -l backup-3.5.7.yaml
grep "^kind:" backup-3.5.7.yaml | sort | uniq -cErwartet:
-rw-rw-r-- 1 ubuntu ubuntu 94641 Nov 15 08:46 backup-3.5.7.yaml
2 kind: AppProject
11 kind: Application
2 kind: ApplicationSet
4 kind: ConfigMap
4 kind: Secret
Welche ConfigMaps und Secrets genau? In der Datei steht
kind erst nach data, ein grep
reicht deshalb nicht. Python liest die Dokumente der Reihe nach und
schreibt Art und Name jedes Objekts in eine Liste:
python3 -c 'import yaml; [print(d["kind"], d["metadata"]["name"])
for d in yaml.safe_load_all(open("backup-3.5.7.yaml")) if d]' > inhalt.txt
grep -E "^(ConfigMap|Secret)" inhalt.txtErwartet:
ConfigMap argocd-cm
ConfigMap argocd-rbac-cm
ConfigMap argocd-ssh-known-hosts-cm
ConfigMap argocd-tls-certs-cm
Secret argocd-secret
Secret cluster-172.16.0.123-3405776406
Secret cluster-kubernetes.default.svc-3396314289
Secret repo-3993372767
argocd-secretenthält die Passwörter von admin und alice.repo-…ist der Deploy-Key aus Tag 2,cluster-…sind die Zugänge aus Tag 11.- Die Datei enthält damit Schlüssel zu allem. Sie gehört verschlüsselt an einen sicheren Ort, nie ins Fleet-Repo.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Metriken
Der Application-Controller liefert seine Metriken über den Service
argocd-metrics. Ohne Port-Forward kommst du über den
API-Server heran:
M=/api/v1/namespaces/argocd/services/argocd-metrics:metrics/proxy/metrics
kubectl get --raw $M | grep "^argocd_app_info" \
| grep -o 'health_status="[^"]*"\|name="[^"]*"' | paste - -Erwartet:
health_status="Healthy" name="argo-rollouts"
health_status="Healthy" name="argocd-extras"
health_status="Healthy" name="root"
health_status="Healthy" name="echo"
health_status="Healthy" name="notes"
health_status="Healthy" name="notes-dev"
health_status="Healthy" name="notes-rollout"
health_status="Healthy" name="plattform-info-prod"
health_status="Healthy" name="plattform-info-in-cluster"
health_status="Healthy" name="podinfo-prod"
health_status="Healthy" name="podinfo-in-cluster"
argocd_app_info gibt es einmal pro Application. Die
Labels enthalten Projekt, Ziel, Sync- und Health-Status. Ein Alarm auf
health_status="Degraded" hätte den Abbruch aus Tag 13
gemeldet.
kubectl get --raw $M | grep "^argocd_app_sync_total" | grep 'phase="Failed"'Erwartet:
argocd_app_sync_total{dest_server="https://kubernetes.default.svc",dry_run="false",name="argo-rollouts",namespace="argocd",phase="Failed",project="default"} 1
Der gescheiterte Sync wegen der zu großen CRDs aus Tag 13.
argocd_app_sync_total zählt seit dem letzten Neustart des
Controllers. Nach dem Upgrade in Drill 3 beginnt er wieder bei null.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Das Upgrade
Zuerst die Hinweise. Jede Version hat eine Seite unter
docs/operator-manual/upgrading/ im Repo von Argo CD:
CD_RAW=https://raw.githubusercontent.com/argoproj/argo-cd/v3.6.1
curl -s $CD_RAW/docs/operator-manual/upgrading/3.5-3.6.md | grep "^##"Erwartet (gekürzt):
## Breaking Changes
### OpenTelemetry
…
### Default local include paths now include Helm template helpers and Chart.lock
…
## Behavioral Improvements / Fixes
### Server-Side Apply now uses Server-Side Diff
…
## API Changes
…
Die Änderungen, die Handarbeit verlangen, betreffen Tracing mit
OpenTelemetry und argocd app diff --local. Beides nutzt das
Lab nicht. Jetzt die neue Installationsdatei:
curl -sLO $CD_RAW/manifests/install.yaml
grep -c "image: quay.io/argoproj/argocd:v3.6.1" install.yaml
argocd version | grep -E "argocd(-server)?:"Erwartet:
8
argocd: v3.5.7+6d73296
argocd-server: v3.5.7
Angewendet wird wie in Tag 1:
kubectl apply -n argocd --server-side --force-conflicts -f install.yaml \
| awk '{print $NF}' | sort | uniq -c
kubectl -n argocd rollout status deploy argocd-server --timeout 180s
kubectl -n argocd rollout status deploy argocd-repo-server --timeout 180s
kubectl -n argocd rollout status sts argocd-application-controller --timeout 180sErwartet (gekürzt):
60 serverside-applied
…
deployment "argocd-server" successfully rolled out
deployment "argocd-repo-server" successfully rolled out
partitioned roll out complete: 1 new pods have been updated...
Was ist mit den Änderungen von Hand aus Tag 9 und Tag 10?
kubectl -n argocd get pods \
-o custom-columns=NAME:.metadata.name,IMAGE:.spec.containers[0].image,\
INIT:.spec.initContainers[*].nameErwartet:
NAME IMAGE INIT
argocd-application-controller-0 quay.io/argoproj/argocd:v3.6.1 <none>
argocd-applicationset-controller-794bb95c9d-rsdch quay.io/argoproj/argocd:v3.6.1 <none>
argocd-dex-server-66cf64bfcf-r9f4l ghcr.io/dexidp/dex:v2.46.0 copyutil
argocd-image-updater-controller-5f6c7cb6d-sg4j5 quay.io/argoprojlabs/argocd-image-updater:v1.5.0 <none>
argocd-notifications-controller-5878c8d644-xhwl7 quay.io/argoproj/argocd:v3.6.1 <none>
argocd-redis-5869b7547-jczcg public.ecr.aws/docker/library/redis:8.10.1-alpine secret-init
argocd-repo-server-dcfdddcf8-cgwxq quay.io/argoproj/argocd:v3.6.1 install-ksops,copyutil
argocd-server-85b849c688-bn5gk quay.io/argoproj/argocd:v3.6.1 <none>
kubectl -n argocd get cm argocd-cm \
-o jsonpath='{.data.accounts\.alice} | {.data.kustomize\.buildOptions}'
echoErwartet:
login | --enable-alpha-plugins --enable-exec
Ausprobiert: Der Init-Container
install-ksopsund die Einträge inargocd-cmhaben das Upgrade überstanden. Beim serverseitigen Anwenden gehört jedes Feld einem Besitzer.install.yamlüberschreibt nur die Felder, die es selbst setzt. Waskubectl patchergänzt hat, bleibt stehen.
Ob KSOPS mit der neuen Version noch entschlüsselt, zeigt ein Neuberechnen ohne Cache:
argocd app get notes --hard-refresh | grep -E "Sync Status|Health Status"
sleep 20
argocd app list | awk 'NR>1 {print $5, $6}' | sort | uniq -cErwartet:
Sync Status: Synced to main (f5bb443)
Health Status: Healthy
11 Synced Healthy
Zum Schluss die CLI, damit sie zum Server passt:
CD_REL=https://github.com/argoproj/argo-cd/releases/download/v3.6.1
curl -sLo ~/.local/bin/argocd $CD_REL/argocd-linux-amd64
chmod +x ~/.local/bin/argocd
argocd version | grep -E "argocd(-server)?:"Erwartet:
argocd: v3.6.1+94037c4
argocd-server: v3.6.1
Fortschritt speichern? Kostenlos registrieren
Drill 4: Typische Fehler
Die meisten Fehler dieses Buchs hast du selbst ausgelöst. Hier stehen sie zum Nachschlagen beisammen:
| Symptom | Ursache | Tag |
|---|---|---|
metadata.annotations: Too long |
CRD zu groß für clientseitiges apply |
1, 13 |
Hook hängt, secret … not found |
Hook läuft vor dem Objekt, das er braucht | 4 |
field is immutable beim Hook |
Alter Job steht noch, BeforeHookCreation fehlt |
4 |
auto-sync will wipe out all resources |
Pfad leer oder falsch, Schutz von Argo CD | 6 |
Selector field is immutable |
commonLabels ändert die Selektoren |
6 |
| Feld wird trotz Self-Heal nicht zurückgesetzt | Feld steht nicht in Git | 3, 5, 7 |
| Ordner gelöscht, Datenbank weg | Finalizer am ApplicationSet | 8 |
InvalidSpecError, Sync hängt |
Ziel oder Quelle nicht im Projekt erlaubt | 9 |
ComparisonError … external plugins disabled |
KSOPS oder Build-Optionen fehlen | 10 |
| Zwei Controller drehen ein Feld hin und her | Image Updater mit argocd gegen ApplicationSet |
12 |
| Trigger feuert nie | Bedingung falsch, trigger run zeigt
false |
12 |
| Neue Option wirkt nicht | Alter Sync läuft noch, terminate-op |
13 |
Synced und Degraded |
Rollout abgebrochen, Git noch nicht korrigiert | 13 |
token is expired |
CLI-Anmeldung älter als 24 Stunden | 13 |
Die Fragen, die fast immer weiterhelfen:
argocd app get <name>: Was sagenCONDITIONundMessage?- Stimmt der Sollzustand?
argocd app manifests <name>zeigt, was der repo-server gerendert hat. - Was weicht ab?
argocd app diff <name>. - Was sagt der Controller?
kubectl -n argocd logs sts/argocd-application-controller.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Argo CD und Flux
Flux ist das zweite große GitOps-Werkzeug der CNCF. Beide gleichen den Cluster mit Git ab, aber mit unterschiedlichem Schwerpunkt:
| Argo CD | Flux | |
|---|---|---|
| Grundeinheit | Application |
GitRepository plus Kustomization oder
HelmRelease |
| Weboberfläche | eingebaut, mit Diff und Baumansicht | keine eigene, Zusatzprojekte |
| Helm | rendert mit helm template, kein Release |
echtes Helm-Release mit helm |
| Mandanten | Projekte und RBAC in Argo CD | Kubernetes-RBAC und Namespaces |
| Mehrere Cluster | ein Argo CD für viele Cluster | meist ein Flux pro Cluster |
| Secrets | über Plugins wie KSOPS | SOPS direkt eingebaut |
| Image-Updates | Image Updater als Zusatzprojekt | Image Automation eingebaut |
| Benachrichtigungen | Notifications-Controller | Notification-Controller |
Argo CD passt gut, wenn ein Plattform-Team viele Cluster zentral betreibt und Entwickler den Zustand im Browser sehen sollen. Flux passt gut, wenn jeder Cluster sich selbst verwaltet und alles über Kubernetes-Objekte laufen soll. Beide lesen dasselbe Fleet-Repo: Kustomize und Helm bleiben gleich, nur die Objekte drumherum ändern sich.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
argocd version | grep -E "argocd(-server)?:"Erwartet: beide v3.6.1.
argocd app list -o name | wc -lErwartet: 11.
ls -l ~/argo-lab/tag14/backup-3.5.7.yamlErwartet: die Datei aus Drill 1, etwa 95 KB.
Challenge
Reicht das Backup, um Argo CD auf einem leeren Cluster wieder aufzubauen? Prüfe, ob die Secrets aus Tag 10 und die Benachrichtigungen aus Tag 12 darin stehen.
Hinweis: Wie heißen die Objekte, und woher kommen sie?
Lösung
cd ~/argo-lab/tag14
grep -c "sops-age\|notifications" inhalt.txtErwartet:
0
Ein grep direkt auf backup-3.5.7.yaml würde
argocd-notifications-cm finden, aber nur als Eintrag im
Status der Application argocd-extras, nicht als eigenes
Objekt.
argocd-notifications-cmfehlt, ist aber kein Problem: Sie steht inplatform/argocd, undargocd-extraslegt sie wieder an.sops-agefehlt, und das ist ein Problem.argocd admin exportnimmt nur Objekte mit, die zu Argo CD gehören. Ohne den privaten age-Schlüssel kann der repo-server nach einem Neuaufbau kein Secret mehr entschlüsseln. Der Schlüssel aus~/argo-lab/age.keygehört deshalb zusätzlich in den Tresor.- Auch die Patches am repo-server und an
argocd-cmstehen nur im Backup, nicht in Git. Im Betrieb gehören sie in Helm-Werte oder ein Kustomize-Overlay für Argo CD.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Upgrades immer nur eine Minor-Version auf einmal, also 3.5 → 3.6 → 3.7. Jede Stufe hat eigene Hinweise.
- Ein zweiter Cluster mit derselben Argo-CD-Version zum Ausprobieren
erspart Überraschungen. Mit
rootund dem Backup ist er in Minuten aufgebaut. - Die Metriken gehören in Prometheus mit Alarmen auf
Degraded,OutOfSyncüber längere Zeit und gescheiterte Syncs. Argo CD bringt ein fertiges Grafana-Dashboard mit. - Viele Teams betreiben Argo CD mit dem offiziellen Helm-Chart und lassen es sich selbst verwalten. Dann ist ein Upgrade ein Commit mit einer neuen Chart-Version.