Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: Hochverfügbarkeit und Betrieb

Ziel: Dein Gateway übersteht Node-Drain, Rolling Restart und Upgrade ohne Fehler, Zertifikate rotieren nachweislich, und du kannst Konfiguration debuggen, belegen und sichern. · Dauer: ca. 120 min · Voraussetzung: Tag 11

Briefing

  • Envoy-Pods skaliert der HPA aus envoyHpa; envoyPDB und topologySpreadConstraints halten sie über Nodes verteilt und drain-fest.
  • Beim Beenden leert der shutdown-manager die Listener (Graceful Drain), bevor Envoy stoppt.
  • Upgrade-Reihenfolge: Release Notes → CRDs → Controller → Proxys rollen nach. Helm aktualisiert CRDs nicht.
  • Die Policy safe-upgrades.gateway.networking.k8s.io blockt Downgrades unter v1.5 und Experimental über Standard.
  • Konfiguration lebt in Git; der Cluster ist nur ein Abbild davon.
 rke2-wk-1        rke2-wk-2        rke2-wk-3
 envoy-…-a        envoy-…-b        (envoy-…-c bei Last)
     └──────── PDB minAvailable: 1 ────────┘
 HPA 2..6 (CPU 60 %) · Service 10.10.20.100 (Cilium L2, Cluster)

Achtung: Alle Drills laufen auf dem RKE2-Cluster aus Tag 9–11. Manifeste und Helm-Renderings sind mit kubeconform gegen die CRDs von Envoy Gateway v1.9.2 geprüft. Ausgaben sind nicht live erzeugt.

Drill 1: HPA statt fester Replikas

Tag 10 hat envoyDeployment.replicas: 2 gesetzt. Mit envoyHpa musst du das Feld entfernen: Envoy Gateway lässt replicas im Deployment dann ganz weg, damit es dem HPA die Pod-Zahl nicht bei jedem Reconcile zurückdreht. Steht es noch drin, wird es nur ignoriert – aber jeder, der die Datei liest, glaubt an zwei feste Pods.

export KUBECONFIG=~/.kube/rke2-lab.yaml
mkdir -p ~/gw-lab/tag12 && cd ~/gw-lab/code/tag12
diff <(yq '.spec.provider' ../tag11/envoyproxy-telemetry.yaml) \
     <(yq '.spec.provider' envoyproxy-ha.yaml)

Erwartet:

4c4,13
<     replicas: 2
---
>     # replicas: 2 aus Tag 10 entfernt - ab jetzt zählt nur envoyHpa
>     pod:
>       topologySpreadConstraints: # neu: max. 1 Pod Unterschied je Node
>         - maxSkew: 1
>           topologyKey: kubernetes.io/hostname
>           whenUnsatisfiable: DoNotSchedule
>           labelSelector:
>             matchLabels:
>               gateway.envoyproxy.io/owning-gateway-name: web
>               gateway.envoyproxy.io/owning-gateway-namespace: infra
9c18,30
<   envoyService:
---
>   envoyHpa: # neu: 2-6 Pods nach CPU
>     minReplicas: 2
>     maxReplicas: 6
>     metrics:
>       - type: Resource
>         resource:
>           name: cpu
>           target:
>             type: Utilization
>             averageUtilization: 60
>   envoyPDB: # neu: Node-Drain lässt 1 Pod stehen
>     minAvailable: 1
>   envoyService: # unverändert aus Tag 9/10

envoyService mit externalTrafficPolicy: Cluster und lbipam.cilium.io/ips bleibt gleich, telemetry aus Tag 11 ebenso. Dazu kommt oben spec.shutdown (Drill 3). RKE2 bringt metrics-server mit, der HPA hat also CPU-Werte.

kubectl apply -f envoyproxy-ha.yaml
SEL=gateway.envoyproxy.io/owning-gateway-name=web
kubectl -n envoy-gateway-system rollout status deploy -l "$SEL" --timeout=5m
kubectl -n envoy-gateway-system get hpa,pdb
kubectl -n envoy-gateway-system get pod -l "$SEL" \
  -o custom-columns=POD:.metadata.name,NODE:.spec.nodeName

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                                    REFERENCE              TARGETS      MINPODS
horizontalpodautoscaler.../envoy-infra-web-a97fc3bf  Deployment/envoy-…  cpu: 3%/60%  2
NAME                                    MIN AVAILABLE   ALLOWED DISRUPTIONS
poddisruptionbudget.../envoy-infra-web-a97fc3bf      1               1
POD                                        NODE
envoy-infra-web-a97fc3bf-5d9c7b8f6-k2m4x   rke2-wk-1
envoy-infra-web-a97fc3bf-5d9c7b8f6-q8t7n   rke2-wk-3

Zwei Pods auf zwei Nodes. DoNotSchedule mit maxSkew: 1 verhindert, dass der HPA bei Last drei Pods auf einen Node packt.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Node-Drain unter Last

Eine eigene Messroute ohne das Rate Limit aus Tag 10:

kubectl apply -f route-ha.yaml
curl -s http://ha.apps.lab.internal/ | jq -r .service

Erwartet (gekürzt, kann je nach Version abweichen):

shop-v1

Im ersten Terminal läuft die Messung, im zweiten drainst du den Node mit einem Envoy-Pod:

./drain-test.sh http://ha.apps.lab.internal/ 90
N=$(kubectl -n envoy-gateway-system get pod -l "$SEL" \
  -o jsonpath='{.items[0].spec.nodeName}')
kubectl drain "$N" --ignore-daemonsets --delete-emptydir-data --timeout=3m
kubectl -n envoy-gateway-system get pod -l "$SEL" -o wide | awk '{print $1,$3,$7}'
kubectl uncordon "$N"

Erwartet (gekürzt, kann je nach Version abweichen):

node/rke2-wk-1 cordoned
evicting pod envoy-gateway-system/envoy-infra-web-a97fc3bf-5d9c7b8f6-k2m4x
pod/envoy-infra-web-a97fc3bf-5d9c7b8f6-k2m4x evicted
node/rke2-wk-1 drained
NAME STATUS NODE
envoy-infra-web-a97fc3bf-5d9c7b8f6-q8t7n Running rke2-wk-3
envoy-infra-web-a97fc3bf-5d9c7b8f6-w3z9p Running rke2-wk-2
node/rke2-wk-1 uncordoned

Und im ersten Terminal nach 90 Sekunden:

   1543 200

Keine 000 und keine 503. Der PDB hat die Eviction erst erlaubt, weil der zweite Pod lief; der Drain hat den Pod über den shutdown-manager sauber beendet.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Graceful Drain beim Rolling Restart

Ein Upgrade oder eine EnvoyProxy-Änderung rollt die Envoy-Pods neu. Der shutdown-manager im Pod fängt SIGTERM ab, lässt Envoy die Listener leeren und meldet den Pod per Readiness ab. Die Werte aus envoyproxy-ha.yaml:

spec:
  shutdown:                              # neu: Graceful Drain
    drainTimeout: 45s                    # Grace Period = drainTimeout + 300 s
    minDrainDuration: 5s
kubectl -n envoy-gateway-system get deploy -l "$SEL" -o jsonpath=\
'{.items[0].spec.template.spec.terminationGracePeriodSeconds}{"\n"}'
kubectl -n envoy-gateway-system get deploy -l "$SEL" -o jsonpath=\
'{.items[0].spec.template.spec.containers[*].name}{"\n"}'

Erwartet (gekürzt, kann je nach Version abweichen):

345
envoy shutdown-manager

Warum 345? Envoy Gateway setzt die Grace Period selbst auf drainTimeout plus 300 Sekunden – Kubernetes soll den Pod nie mitten im Drain töten.

Messung in Terminal 1, Restart in Terminal 2:

./drain-test.sh http://ha.apps.lab.internal/ 120
kubectl -n envoy-gateway-system rollout restart deploy -l "$SEL"
kubectl -n envoy-gateway-system rollout status deploy -l "$SEL" --timeout=5m

Erwartet in Terminal 1 (gekürzt, kann je nach Version abweichen):

   2061 200

Gegenprobe: Mit drainTimeout: 1s und minDrainDuration: 1s können beim Restart einzelne 000 auftauchen – Verbindungen, die Envoy beendet, bevor Cilium den Endpunkt aus dem Load Balancing genommen hat.

Tipp: Hängt vor dem Gateway noch ein externer Load Balancer mit eigenen Health Checks, setz zusätzlich shutdown.healthCheckFailureDelay, damit er den Pod vor dem Listener-Drain aus dem Pool nimmt.

Fortschritt speichern? Kostenlos registrieren

Drill 4: CRD-Stand prüfen und die Upgrade-Sperre kennen

./crd-check.sh

Erwartet (aus den CRDs des Charts v1.9.2 ermittelt):

backendtlspolicies.gateway.networking.k8s.io  v1.6.1  experimental  v1,v1alpha3
gatewayclasses.gateway.networking.k8s.io      v1.6.1  experimental  v1,v1beta1
gateways.gateway.networking.k8s.io            v1.6.1  experimental  v1,v1beta1
grpcroutes.gateway.networking.k8s.io          v1.6.1  experimental  v1
httproutes.gateway.networking.k8s.io          v1.6.1  experimental  v1,v1beta1
listenersets.gateway.networking.k8s.io        v1.6.1  experimental  v1
referencegrants.gateway.networking.k8s.io     v1.6.1  experimental  v1,v1beta1
tcproutes.gateway.networking.k8s.io           v1.6.1  experimental  v1,v1alpha2
tlsroutes.gateway.networking.k8s.io           v1.6.1  experimental  v1,v1alpha2,v1alpha3
udproutes.gateway.networking.k8s.io           v1.6.1  experimental  v1,v1alpha2

Die Spalte rechts sind die served Versionen. v1alpha2 bei TCPRoute/UDPRoute gibt es nur noch im Experimental-Channel; im Standard-Channel v1.6 ist es weg. Wer dort noch v1alpha2-Manifeste hat, verliert beim CRD-Upgrade die Routen.

Jetzt die Sperre. Ein versehentliches Downgrade auf v1.4.1 als Server-Dry-Run:

U=https://github.com/kubernetes-sigs/gateway-api/releases/download
kubectl get validatingadmissionpolicy safe-upgrades.gateway.networking.k8s.io
kubectl apply --server-side --dry-run=server --force-conflicts \
  -f $U/v1.4.1/experimental-install.yaml 2>&1 | head -2

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                                      VALIDATIONS   PARAMKIND   AGE
safe-upgrades.gateway.networking.k8s.io   2             <unset>     5d
Error from server (Invalid): customresourcedefinitions.apiextensions.k8s.io
"backendtlspolicies.gateway.networking.k8s.io" is forbidden: ValidatingAdmissionPolicy
'safe-upgrades.gateway.networking.k8s.io' with binding
'safe-upgrades.gateway.networking.k8s.io' denied request: Installing CRDs with
version other than v0.0.0-dev or v1.5+ is prohibited by default. ...

Die Policy hat zwei Regeln: kein Bundle unter v1.5 und kein Experimental über Standard. Die Gegenrichtung lässt sie durch – und genau die ist gefährlich:

kubectl apply --server-side --dry-run=server --force-conflicts \
  -f $U/v1.6.1/standard-install.yaml 2>&1 | grep -c 'server dry run'

Erwartet (gekürzt, kann je nach Version abweichen):

12

Zehn CRDs plus Policy und Binding – alles würde angenommen.

Achtung: Standard über Experimental geht durch. Danach kennt die API Felder wie retry an HTTPRoute (Tag 3) nicht mehr, gespeicherte Werte werden beim nächsten Schreiben verworfen, und zurück auf Experimental blockt die Policy. Kanalwechsel nur geplant, mit Inventur der Experimental-Felder vorher.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Envoy Gateway upgraden – in der richtigen Reihenfolge

Die Regel aus den Release Notes von v1.9: erst CRDs, dann Controller. Sonst sucht der neue Controller CRD-Versionen, die es noch nicht gibt (v1.9 liest TCPRoute/UDPRoute als v1, das kam erst mit Gateway API v1.6), und überspringt Routen still. upgrade-eg.sh macht genau das und zeigt ohne --apply nur den CRD-Diff:

sed -n '/^crds()/,/^}/p' upgrade-eg.sh
./upgrade-eg.sh v1.9.2

Erwartet (gekürzt, kann je nach Version abweichen):

crds() {
  helm template eg-crds oci://docker.io/envoyproxy/gateway-crds-helm \
    --version "$V" --set crds.gatewayAPI.enabled=true \
    --set crds.gatewayAPI.channel=experimental \
    --set crds.envoyGateway.enabled=true
}
== 1. CRD-Diff
(nur Diff, --apply zum Ausführen)

Kein Diff, wir sind auf v1.9.2. Beim nächsten Release siehst du hier Zeilen wie - gateway.networking.k8s.io/bundle-version: v1.6.1 / + ...: v1.6.2. Warum helm template | kubectl apply --server-side? Helm installiert CRDs aus crds/ nur beim ersten install und fasst sie danach nie wieder an.

Den Lauf mit --apply nutzen wir gleich, um den Controller selbst hochverfügbar zu machen (eg-ha-values.yaml: zwei Replikas mit Leader Election, PDB):

cat eg-ha-values.yaml
./upgrade-eg.sh v1.9.2 --apply
helm -n envoy-gateway-system history eg --max 3
kubectl -n envoy-gateway-system get deploy envoy-gateway

Erwartet (gekürzt, kann je nach Version abweichen):

# Envoy Gateway Controller hochverfügbar (Tag 12), zusätzlich zu tag10/eg-values.yaml
deployment:
  replicas: 2              # Leader Election ist Standard, einer arbeitet
podDisruptionBudget:
  minAvailable: 1
== 1. CRD-Diff
== 2. CRDs anwenden (vor dem Controller!)
== 3. Controller
Release "eg" has been upgraded. Happy Helming!
deployment "envoy-gateway" successfully rolled out
== 4. Proxys rollen nach (neues Envoy-Image)
deployment "envoy-infra-web-a97fc3bf" successfully rolled out
REVISION  UPDATED                   STATUS      CHART               DESCRIPTION
2         Mon Oct 12 09:14:02 2026  superseded  gateway-helm-v1.9.2 Upgrade complete
3         Mon Oct 12 11:02:37 2026  deployed    gateway-helm-v1.9.2 Upgrade complete
NAME            READY   UP-TO-DATE   AVAILABLE   AGE
envoy-gateway   2/2     2            2           5d

Achtung: helm rollback eg rollt nur den Controller zurück, nicht die CRDs. Ein CRD-Downgrade unter v1.5 blockt die Policy aus Drill 4, und auch sonst sind neuere Felder dann schon gespeichert. Rollback-Plan heißt deshalb: Snapshot (etcd/Velero) und Git-Stand vor dem Upgrade, nicht helm rollback.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Zertifikatsrotation nachweisen

cert-manager erneuert das Wildcard-Zertifikat aus Tag 9 automatisch. Die Frage im Betrieb ist: Liefert Envoy danach wirklich das neue aus – ohne Neustart?

brew install cmctl                 # cert-manager CLI
./cert-check.sh

Erwartet (gekürzt, kann je nach Version abweichen):

Envoy:  serial=3A9F0C61D2B4E8A1 notAfter=Jan 10 09:14:02 2027 GMT
Secret: serial=3A9F0C61D2B4E8A1 notAfter=Jan 10 09:14:02 2027 GMT
✔ Envoy liefert das aktuelle Zertifikat

Jetzt eine Rotation erzwingen und die Envoy-Pods dabei beobachten:

B=~/gw-lab/tag12/pods.before
kubectl -n envoy-gateway-system get pod -l "$SEL" -o name > $B
cmctl renew -n infra apps-wildcard-tls
kubectl -n infra wait certificate apps-wildcard-tls --for=condition=Ready --timeout=2m
sleep 10 && ./cert-check.sh
kubectl -n envoy-gateway-system get pod -l "$SEL" -o name | diff - $B \
  && echo "Pods unverändert"

Erwartet (gekürzt, kann je nach Version abweichen):

Manually triggered issuance of Certificate infra/apps-wildcard-tls
certificate.cert-manager.io/apps-wildcard-tls condition met
Envoy:  serial=71C2E0B94F3A6D58 notAfter=Jan 12 11:20:44 2027 GMT
Secret: serial=71C2E0B94F3A6D58 notAfter=Jan 12 11:20:44 2027 GMT
✔ Envoy liefert das aktuelle Zertifikat
Pods unverändert

Envoy Gateway schiebt das neue Secret per xDS in die laufenden Envoys. Für den Alarm reicht eine Envoy-Metrik – sie sieht, was wirklich ausgeliefert wird:

kubectl -n monitoring port-forward svc/kps-kube-prometheus-stack-prometheus 9090 \
  >/dev/null 2>&1 &                 # falls nicht mehr aus Tag 11 offen
curl -s localhost:9090/api/v1/query \
  --data-urlencode 'query=min(envoy_server_days_until_first_cert_expiring)' \
  | jq -r '.data.result[0].value[1]'

Erwartet (gekürzt, kann je nach Version abweichen):

89

Als Alert: min(envoy_server_days_until_first_cert_expiring) < 14. Bei 90-Tage- Zertifikaten und Erneuerung nach 60 Tagen feuert er nur, wenn die Rotation hängt.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Debuggen mit egctl

kubectl zeigt dir, was du willst. egctl zeigt, was Envoy tatsächlich hat (Installation siehe Tag 11):

POD=$(kubectl -n envoy-gateway-system get pod -l "$SEL" -o name | head -1)
POD=${POD#pod/}
egctl config envoy-proxy route -n envoy-gateway-system "$POD" \
  | jq -r '.. | .virtualHosts? // empty | .[].name' | sort -u

Erwartet (gekürzt, kann je nach Version abweichen):

infra/web/http/beta_apps_lab_internal
infra/web/http/ha_apps_lab_internal
infra/web/http/shop_apps_lab_internal
infra/web/https/shop_apps_lab_internal

Ein Virtual Host pro Listener und Hostname. Fehlt hier ein Host, hat der Controller die Route nicht übersetzt – dann zuerst den Status prüfen:

egctl x status all -A --quiet | grep -v True

Erwartet (gekürzt, kann je nach Version abweichen):

NAMESPACE   NAME   TYPE   STATUS   REASON

Nur Kopfzeilen: kein Objekt mit False. Für Clusterzustand (Endpunkte, Health Flags) gibt es egctl config envoy-proxy cluster, für die Sicht des Controllers egctl config envoy-gateway all -n envoy-gateway-system.

Tipp: egctl x dashboard envoy-proxy -n envoy-gateway-system <pod> öffnet die Envoy-Admin-Oberfläche per Port-Forward – /config_dump, /clusters, /stats.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Conformance-Report lesen

Envoy Gateway veröffentlicht für jedes Release einen Conformance-Report im Repo der Gateway API. Er sagt dir, welche Features geprüft sind – die Grundlage, wenn ein Kunde fragt, ob „Gateway API” bei euch auch Feature X kann.

R=https://raw.githubusercontent.com/kubernetes-sigs/gateway-api/main
R=$R/conformance/reports/v1.6/envoy-gateway/experimental-v1.9.0-default-report.yaml
curl -s $R -o eg-report.yaml
yq '.implementation.version + " / Gateway API " + .gatewayAPIVersion' eg-report.yaml
yq '.profiles[] | .name + ": core " + .core.result + ", ext. "
  + ((.extended.supportedFeatures // []) | length | tostring) + " Features"' \
  eg-report.yaml

Erwartet (live gegen den veröffentlichten Report geprüft):

v1.9.0 / Gateway API v1.6.1
GATEWAY-TLS: core success, ext. 10 Features
GATEWAY-HTTP: core success, ext. 36 Features
GATEWAY-GRPC: core success, ext. 8 Features

Selbst laufen lassen geht mit der Testsuite der Gateway API gegen deinen Cluster – nur in einem Wegwerf-Cluster, die Tests legen eigene Namespaces und Gateways an:

git clone --depth 1 -b v1.6.1 https://github.com/kubernetes-sigs/gateway-api
cd gateway-api
go test ./conformance -run TestConformance -timeout 30m -args \
  --gateway-class=eg --conformance-profiles=GATEWAY-HTTP \
  --supported-features=HTTPRouteQueryParamMatching,HTTPRouteMethodMatching \
  --organization=lab --project=envoy-gateway --version=v1.9.2 \
  --report-output=lab-report.yaml

Die Testsuite muss die Gateway-Adressen direkt erreichen – im Heimnetz mit Cilium L2 klappt das, auf dem Mac mit kind meist nicht.

Fortschritt speichern? Kostenlos registrieren

Drill 9: Konfiguration nach Git sichern

Backup heißt hier: Der Soll-Zustand liegt in Git, nicht im etcd. Für Bestandscluster ohne GitOps exportiert export-gw-config.sh alle Gateway-API- und Envoy-Gateway-Objekte ohne status, managedFields und UIDs:

cd ~/gw-lab/tag12
~/gw-lab/code/tag12/export-gw-config.sh gitops-export
yq '.[].metadata | .namespace + "/" + .name' gitops-export/envoyproxies.yaml
grep -c '^  status:' gitops-export/*.yaml | grep -v ':0$' || echo "kein status"

Erwartet (gekürzt, kann je nach Version abweichen):

gatewayclasses: 2
gateways: 2
httproutes: 9
referencegrants: 1
backendtlspolicies: 1
envoyproxies: 1
clienttrafficpolicies: 1
backendtrafficpolicies: 1
securitypolicies: 4
backends: 1
infra/web-proxy
kein status

Die Dateien sind Listen; für Argo CD oder Flux legst du sie in ein Repo und lässt den Controller ab dann der einzige Schreiber sein. Secrets (Zertifikate, OIDC-Client-Secrets) gehören nicht in diesen Export – die erzeugt cert-manager neu oder sie kommen aus Vault.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

cat > ~/gw-lab/tag12/check.sh <<'EOF'
#!/usr/bin/env bash
NS=envoy-gateway-system; SEL=gateway.envoyproxy.io/owning-gateway-name=web
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "HPA für web vorhanden"       "kubectl -n $NS get hpa -l $SEL -o name | grep -q ."
check "PDB für web vorhanden"       "kubectl -n $NS get pdb -o name | grep -q infra-web"
check "Envoy auf >= 2 Nodes" "[ \$(kubectl -n $NS get pod -l $SEL \
  -o jsonpath='{.items[*].spec.nodeName}' | tr ' ' '\n' | sort -u | wc -l) -ge 2 ]"
check "replicas nicht im EnvoyProxy" "! kubectl -n infra get envoyproxy web-proxy \
  -o jsonpath='{.spec.provider.kubernetes.envoyDeployment.replicas}' | grep -q ."
check "Controller 2 Replikas" "[ \$(kubectl -n $NS get deploy envoy-gateway \
  -o jsonpath='{.status.readyReplicas}') = 2 ]"
check "safe-upgrades Policy aktiv" \
  "kubectl get validatingadmissionpolicy safe-upgrades.gateway.networking.k8s.io"
check "Gateway-IP unverändert" "[ \$(kubectl -n infra get gateway web \
  -o jsonpath='{.status.addresses[0].value}') = 10.10.20.100 ]"
check "Zertifikat aktuell" "~/gw-lab/code/tag12/cert-check.sh | grep -q '✔'"
EOF
chmod +x ~/gw-lab/tag12/check.sh && ~/gw-lab/tag12/check.sh

Erwartet (gekürzt, kann je nach Version abweichen):

✔ HPA für web vorhanden
✔ PDB für web vorhanden
✔ Envoy auf >= 2 Nodes
✔ replicas nicht im EnvoyProxy
✔ Controller 2 Replikas
✔ safe-upgrades Policy aktiv
✔ Gateway-IP unverändert
✔ Zertifikat aktuell

Challenge

Simuliere Last, bis der HPA hochskaliert, und beweise, dass dabei kein Node zwei Envoy-Pods mehr hat als ein anderer.

Hinweis: Ein paar curl-Schleifen reichen nicht; ein In-Cluster-Lastgenerator wie fortio in einem Pod erzeugt genug CPU gegen die 100m-Requests.

Lösung

SVC=$(kubectl -n envoy-gateway-system get svc -l "$SEL" -o name | head -1)
kubectl -n shop run last --rm -i --restart=Never --image=fortio/fortio -- \
  load -t 3m -c 50 -qps 0 -H 'Host: ha.apps.lab.internal' \
  "http://${SVC#service/}.envoy-gateway-system.svc/" >/dev/null &
watch -n5 kubectl -n envoy-gateway-system get hpa
kubectl -n envoy-gateway-system get pod -l "$SEL" \
  -o jsonpath='{range .items[*]}{.spec.nodeName}{"\n"}{end}' | sort | uniq -c

Erwartet (gekürzt, kann je nach Version abweichen):

      2 rke2-wk-1
      1 rke2-wk-2
      2 rke2-wk-3

Fünf Pods auf drei Nodes, Unterschied höchstens 1 – das ist maxSkew: 1. Nach dem Test skaliert der HPA nach etwa fünf Minuten Stabilisierung wieder auf 2.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Envoy Gateway nur über Minor-Versionen einzeln upgraden (v1.8 → v1.9 → v1.10), jede Release Note lesen; Kompatibilitätsmatrix: v1.9 ist auf Kubernetes v1.33–v1.36 getestet.
  • CRDs gehören einem Besitzer: entweder Envoy Gateway (crds.enabled) oder ein eigener Plattform-Job – nie beide. Bringt die Distribution eigene CRDs mit (wie Traefik bei RKE2, Tag 8), dort abschalten.
  • Upgrades erst in einer Staging-Umgebung mit identischen CRDs und Policies, inklusive Drain-Test aus Drill 3 als Abnahmekriterium.
  • Zertifikatsablauf aus Sicht des Envoys alarmieren (Drill 6), nicht nur aus cert-manager: ein Secret ohne ausgerollte Konfiguration hilft niemandem.
  • Für echte Ausfallsicherheit über Zonen topologyKey: topology.kubernetes.io/zone und einen PDB mit maxUnavailable: 1 statt fester Mindestzahl.