Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Betrieb

Ziel: Du sicherst Argo CD, liest seine Metriken und hebst es von 3.5.7 auf 3.6.1, ohne dass eine Application ausfällt. Zum Schluss ein Blick auf Flux. · Dauer: ca. 50 min · Voraussetzung: Tag 13

Briefing

  • Fast alles, was Argo CD ausmacht, steht im Fleet-Repo. Was fehlt, liegt in Kubernetes-Objekten im Namespace argocd: Applications, die nicht aus Git kommen, Zugänge zu Repos und Clustern, lokale Benutzer.
  • argocd admin export schreibt diese Objekte in eine YAML-Datei. argocd admin import spielt sie zurück.
  • Jede Komponente von Argo CD liefert Metriken im Prometheus-Format, etwa wie viele Applications gesund sind und wie viele Syncs gescheitert sind.
  • Argo CD hat in Tag 1 install.yaml installiert, also kommt das Upgrade auf demselben Weg: neue Datei, serverseitig anwenden. Vorher liest du die Upgrade-Hinweise.

Drill 1: Ein Backup

mkdir -p ~/argo-lab/tag14
cd ~/argo-lab/tag14
argocd admin export -n argocd > backup-3.5.7.yaml
ls -l backup-3.5.7.yaml
grep "^kind:" backup-3.5.7.yaml | sort | uniq -c

Erwartet:

-rw-rw-r-- 1 ubuntu ubuntu 94641 Nov 15 08:46 backup-3.5.7.yaml
      2 kind: AppProject
     11 kind: Application
      2 kind: ApplicationSet
      4 kind: ConfigMap
      4 kind: Secret

Welche ConfigMaps und Secrets genau? In der Datei steht kind erst nach data, ein grep reicht deshalb nicht. Python liest die Dokumente der Reihe nach und schreibt Art und Name jedes Objekts in eine Liste:

python3 -c 'import yaml; [print(d["kind"], d["metadata"]["name"])
  for d in yaml.safe_load_all(open("backup-3.5.7.yaml")) if d]' > inhalt.txt
grep -E "^(ConfigMap|Secret)" inhalt.txt

Erwartet:

ConfigMap argocd-cm
ConfigMap argocd-rbac-cm
ConfigMap argocd-ssh-known-hosts-cm
ConfigMap argocd-tls-certs-cm
Secret argocd-secret
Secret cluster-172.16.0.123-3405776406
Secret cluster-kubernetes.default.svc-3396314289
Secret repo-3993372767
  • argocd-secret enthält die Passwörter von admin und alice.
  • repo-… ist der Deploy-Key aus Tag 2, cluster-… sind die Zugänge aus Tag 11.
  • Die Datei enthält damit Schlüssel zu allem. Sie gehört verschlüsselt an einen sicheren Ort, nie ins Fleet-Repo.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Metriken

Der Application-Controller liefert seine Metriken über den Service argocd-metrics. Ohne Port-Forward kommst du über den API-Server heran:

M=/api/v1/namespaces/argocd/services/argocd-metrics:metrics/proxy/metrics
kubectl get --raw $M | grep "^argocd_app_info" \
  | grep -o 'health_status="[^"]*"\|name="[^"]*"' | paste - -

Erwartet:

health_status="Healthy" name="argo-rollouts"
health_status="Healthy" name="argocd-extras"
health_status="Healthy" name="root"
health_status="Healthy" name="echo"
health_status="Healthy" name="notes"
health_status="Healthy" name="notes-dev"
health_status="Healthy" name="notes-rollout"
health_status="Healthy" name="plattform-info-prod"
health_status="Healthy" name="plattform-info-in-cluster"
health_status="Healthy" name="podinfo-prod"
health_status="Healthy" name="podinfo-in-cluster"

argocd_app_info gibt es einmal pro Application. Die Labels enthalten Projekt, Ziel, Sync- und Health-Status. Ein Alarm auf health_status="Degraded" hätte den Abbruch aus Tag 13 gemeldet.

kubectl get --raw $M | grep "^argocd_app_sync_total" | grep 'phase="Failed"'

Erwartet:

argocd_app_sync_total{dest_server="https://kubernetes.default.svc",dry_run="false",name="argo-rollouts",namespace="argocd",phase="Failed",project="default"} 1

Der gescheiterte Sync wegen der zu großen CRDs aus Tag 13. argocd_app_sync_total zählt seit dem letzten Neustart des Controllers. Nach dem Upgrade in Drill 3 beginnt er wieder bei null.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Das Upgrade

Zuerst die Hinweise. Jede Version hat eine Seite unter docs/operator-manual/upgrading/ im Repo von Argo CD:

CD_RAW=https://raw.githubusercontent.com/argoproj/argo-cd/v3.6.1
curl -s $CD_RAW/docs/operator-manual/upgrading/3.5-3.6.md | grep "^##"

Erwartet (gekürzt):

## Breaking Changes
### OpenTelemetry
…
### Default local include paths now include Helm template helpers and Chart.lock
…
## Behavioral Improvements / Fixes
### Server-Side Apply now uses Server-Side Diff
…
## API Changes
…

Die Änderungen, die Handarbeit verlangen, betreffen Tracing mit OpenTelemetry und argocd app diff --local. Beides nutzt das Lab nicht. Jetzt die neue Installationsdatei:

curl -sLO $CD_RAW/manifests/install.yaml
grep -c "image: quay.io/argoproj/argocd:v3.6.1" install.yaml
argocd version | grep -E "argocd(-server)?:"

Erwartet:

8
argocd: v3.5.7+6d73296
argocd-server: v3.5.7

Angewendet wird wie in Tag 1:

kubectl apply -n argocd --server-side --force-conflicts -f install.yaml \
  | awk '{print $NF}' | sort | uniq -c
kubectl -n argocd rollout status deploy argocd-server --timeout 180s
kubectl -n argocd rollout status deploy argocd-repo-server --timeout 180s
kubectl -n argocd rollout status sts argocd-application-controller --timeout 180s

Erwartet (gekürzt):

     60 serverside-applied
…
deployment "argocd-server" successfully rolled out
deployment "argocd-repo-server" successfully rolled out
partitioned roll out complete: 1 new pods have been updated...

Was ist mit den Änderungen von Hand aus Tag 9 und Tag 10?

kubectl -n argocd get pods \
  -o custom-columns=NAME:.metadata.name,IMAGE:.spec.containers[0].image,\
INIT:.spec.initContainers[*].name

Erwartet:

NAME                                                IMAGE                                               INIT
argocd-application-controller-0                     quay.io/argoproj/argocd:v3.6.1                      <none>
argocd-applicationset-controller-794bb95c9d-rsdch   quay.io/argoproj/argocd:v3.6.1                      <none>
argocd-dex-server-66cf64bfcf-r9f4l                  ghcr.io/dexidp/dex:v2.46.0                          copyutil
argocd-image-updater-controller-5f6c7cb6d-sg4j5     quay.io/argoprojlabs/argocd-image-updater:v1.5.0    <none>
argocd-notifications-controller-5878c8d644-xhwl7    quay.io/argoproj/argocd:v3.6.1                      <none>
argocd-redis-5869b7547-jczcg                        public.ecr.aws/docker/library/redis:8.10.1-alpine   secret-init
argocd-repo-server-dcfdddcf8-cgwxq                  quay.io/argoproj/argocd:v3.6.1                      install-ksops,copyutil
argocd-server-85b849c688-bn5gk                      quay.io/argoproj/argocd:v3.6.1                      <none>
kubectl -n argocd get cm argocd-cm \
  -o jsonpath='{.data.accounts\.alice} | {.data.kustomize\.buildOptions}'
echo

Erwartet:

login | --enable-alpha-plugins --enable-exec

Ausprobiert: Der Init-Container install-ksops und die Einträge in argocd-cm haben das Upgrade überstanden. Beim serverseitigen Anwenden gehört jedes Feld einem Besitzer. install.yaml überschreibt nur die Felder, die es selbst setzt. Was kubectl patch ergänzt hat, bleibt stehen.

Ob KSOPS mit der neuen Version noch entschlüsselt, zeigt ein Neuberechnen ohne Cache:

argocd app get notes --hard-refresh | grep -E "Sync Status|Health Status"
sleep 20
argocd app list | awk 'NR>1 {print $5, $6}' | sort | uniq -c

Erwartet:

Sync Status:        Synced to main (f5bb443)
Health Status:      Healthy
     11 Synced Healthy

Zum Schluss die CLI, damit sie zum Server passt:

CD_REL=https://github.com/argoproj/argo-cd/releases/download/v3.6.1
curl -sLo ~/.local/bin/argocd $CD_REL/argocd-linux-amd64
chmod +x ~/.local/bin/argocd
argocd version | grep -E "argocd(-server)?:"

Erwartet:

argocd: v3.6.1+94037c4
argocd-server: v3.6.1

Fortschritt speichern? Kostenlos registrieren

Drill 4: Typische Fehler

Die meisten Fehler dieses Buchs hast du selbst ausgelöst. Hier stehen sie zum Nachschlagen beisammen:

Symptom Ursache Tag
metadata.annotations: Too long CRD zu groß für clientseitiges apply 1, 13
Hook hängt, secret … not found Hook läuft vor dem Objekt, das er braucht 4
field is immutable beim Hook Alter Job steht noch, BeforeHookCreation fehlt 4
auto-sync will wipe out all resources Pfad leer oder falsch, Schutz von Argo CD 6
Selector field is immutable commonLabels ändert die Selektoren 6
Feld wird trotz Self-Heal nicht zurückgesetzt Feld steht nicht in Git 3, 5, 7
Ordner gelöscht, Datenbank weg Finalizer am ApplicationSet 8
InvalidSpecError, Sync hängt Ziel oder Quelle nicht im Projekt erlaubt 9
ComparisonError … external plugins disabled KSOPS oder Build-Optionen fehlen 10
Zwei Controller drehen ein Feld hin und her Image Updater mit argocd gegen ApplicationSet 12
Trigger feuert nie Bedingung falsch, trigger run zeigt false 12
Neue Option wirkt nicht Alter Sync läuft noch, terminate-op 13
Synced und Degraded Rollout abgebrochen, Git noch nicht korrigiert 13
token is expired CLI-Anmeldung älter als 24 Stunden 13

Die Fragen, die fast immer weiterhelfen:

  1. argocd app get <name>: Was sagen CONDITION und Message?
  2. Stimmt der Sollzustand? argocd app manifests <name> zeigt, was der repo-server gerendert hat.
  3. Was weicht ab? argocd app diff <name>.
  4. Was sagt der Controller? kubectl -n argocd logs sts/argocd-application-controller.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Argo CD und Flux

Flux ist das zweite große GitOps-Werkzeug der CNCF. Beide gleichen den Cluster mit Git ab, aber mit unterschiedlichem Schwerpunkt:

Argo CD Flux
Grundeinheit Application GitRepository plus Kustomization oder HelmRelease
Weboberfläche eingebaut, mit Diff und Baumansicht keine eigene, Zusatzprojekte
Helm rendert mit helm template, kein Release echtes Helm-Release mit helm
Mandanten Projekte und RBAC in Argo CD Kubernetes-RBAC und Namespaces
Mehrere Cluster ein Argo CD für viele Cluster meist ein Flux pro Cluster
Secrets über Plugins wie KSOPS SOPS direkt eingebaut
Image-Updates Image Updater als Zusatzprojekt Image Automation eingebaut
Benachrichtigungen Notifications-Controller Notification-Controller

Argo CD passt gut, wenn ein Plattform-Team viele Cluster zentral betreibt und Entwickler den Zustand im Browser sehen sollen. Flux passt gut, wenn jeder Cluster sich selbst verwaltet und alles über Kubernetes-Objekte laufen soll. Beide lesen dasselbe Fleet-Repo: Kustomize und Helm bleiben gleich, nur die Objekte drumherum ändern sich.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

argocd version | grep -E "argocd(-server)?:"

Erwartet: beide v3.6.1.

argocd app list -o name | wc -l

Erwartet: 11.

ls -l ~/argo-lab/tag14/backup-3.5.7.yaml

Erwartet: die Datei aus Drill 1, etwa 95 KB.

Challenge

Reicht das Backup, um Argo CD auf einem leeren Cluster wieder aufzubauen? Prüfe, ob die Secrets aus Tag 10 und die Benachrichtigungen aus Tag 12 darin stehen.

Hinweis: Wie heißen die Objekte, und woher kommen sie?

Lösung

cd ~/argo-lab/tag14
grep -c "sops-age\|notifications" inhalt.txt

Erwartet:

0

Ein grep direkt auf backup-3.5.7.yaml würde argocd-notifications-cm finden, aber nur als Eintrag im Status der Application argocd-extras, nicht als eigenes Objekt.

  • argocd-notifications-cm fehlt, ist aber kein Problem: Sie steht in platform/argocd, und argocd-extras legt sie wieder an.
  • sops-age fehlt, und das ist ein Problem. argocd admin export nimmt nur Objekte mit, die zu Argo CD gehören. Ohne den privaten age-Schlüssel kann der repo-server nach einem Neuaufbau kein Secret mehr entschlüsseln. Der Schlüssel aus ~/argo-lab/age.key gehört deshalb zusätzlich in den Tresor.
  • Auch die Patches am repo-server und an argocd-cm stehen nur im Backup, nicht in Git. Im Betrieb gehören sie in Helm-Werte oder ein Kustomize-Overlay für Argo CD.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Upgrades immer nur eine Minor-Version auf einmal, also 3.5 → 3.6 → 3.7. Jede Stufe hat eigene Hinweise.
  • Ein zweiter Cluster mit derselben Argo-CD-Version zum Ausprobieren erspart Überraschungen. Mit root und dem Backup ist er in Minuten aufgebaut.
  • Die Metriken gehören in Prometheus mit Alarmen auf Degraded, OutOfSync über längere Zeit und gescheiterte Syncs. Argo CD bringt ein fertiges Grafana-Dashboard mit.
  • Viele Teams betreiben Argo CD mit dem offiziellen Helm-Chart und lassen es sich selbst verwalten. Dann ist ein Upgrade ein Commit mit einer neuen Chart-Version.