Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 14: Wettkampf – Desaster-Drills

Ziel: Du findest und behebst acht typische Gateway-Ausfälle unter Zeitdruck – vom fehlenden ReferenceGrant bis zum verlorenen L2-Announcement. · Dauer: ca. 150 min · Voraussetzung: Tag 13

Briefing

  • Jeder Drill hat einen Auslöser (den du selbst ausführst), ein Zeitlimit, die Symptome, einen Diagnose-Pfad, die Lösung und die Lessons.
  • Lies nach dem Auslösen nur noch die Symptome. Diagnose und Lösung erst aufdecken, wenn du fertig bist oder die Zeit abgelaufen ist.
  • Die Stoppuhr läuft ab dem Auslöser und stoppt, wenn die Prüfzeile des Drills ✔ zeigt.
  • Reihenfolge der Diagnose, immer: Status (conds.sh, egctl x status) → Envoy (Access Log, egctl config) → Netz (LB-IP, ARP, DNS) → Abhängigkeiten (cert-manager, Redis, Keycloak).
  • Alle Drills laufen auf dem RKE2-Cluster aus Tag 9–13. Ausgaben sind nicht live erzeugt.
 Laptop ── DNS *.apps.lab.internal ──► 10.10.20.100 (Cilium L2, Lease auf einem Worker)
                                           │
                    Envoy-Pods infra/web (envoy-infra-web-a97fc3bf, HPA 2..6)
          ┌──────────────┬─────────────┼──────────────┬──────────────┐
     cert-manager      Redis        Keycloak       ReferenceGrant   shop-v1/v2
     (Drill 2)       (Drill 6)     (Drill 7)        (Drill 1)      (Drill 5, 8)

Achtung: Proxmox, Mehrknoten-RKE2 und ARP lassen sich nicht in kind nachstellen. Alle Manifeste sind mit kubeconform gegen die CRD-Schemas von Gateway API v1.6.1 und Envoy Gateway v1.9.2 geprüft, Skripte mit shellcheck. Ausgaben sind „(gekürzt, kann je nach Version abweichen)“.

Vorbereitung: Sicherheitsnetz und Übungsobjekte

Bevor du etwas kaputt machst: Konfiguration nach Git exportieren (Tag 12) und einen etcd-Snapshot ziehen (Tag 8).

export KUBECONFIG=~/.kube/rke2-lab.yaml
export PATH="$HOME/gw-lab/code/demo:$PATH"
mkdir -p ~/gw-lab/tag14 && cd ~/gw-lab/tag14
~/gw-lab/code/tag12/export-gw-config.sh vorher
ssh [email protected] 'sudo rke2 etcd-snapshot save --name vor-wettkampf' \
  2>&1 | tail -1

Erwartet (gekürzt, kann je nach Version abweichen):

gatewayclasses: 2
gateways: 2
httproutes: 10
...
Snapshot vor-wettkampf-rke2-cp-1-1791712345 saved.

Drei Übungsobjekte kommen dazu: die Payments-API aus Tag 7 mit Checkout-Route und ReferenceGrant sowie eine Canary-Route canary.apps.lab.internal wie an Tag 5.

kubectl apply -f ~/gw-lab/code/tag07/payments-api.yaml \
  -f ~/gw-lab/code/tag07/refgrant-backend.yaml
cat > wettkampf-routes.yaml <<'EOF'
# Tag 14: Übungsrouten auf RKE2 (Checkout über ReferenceGrant, Canary 90/10)
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: checkout
  namespace: shop
spec:
  parentRefs:
    - {name: web, namespace: infra, sectionName: https}
  hostnames: [checkout.apps.lab.internal]
  rules:
    - backendRefs:
        - {name: payments-api, namespace: payments, port: 80}
---
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: canary
  namespace: shop
spec:
  parentRefs:
    - {name: web, namespace: infra, sectionName: http}
  hostnames: [canary.apps.lab.internal]
  rules:
    - backendRefs:
        - {name: shop-v1, port: 80, weight: 90}
        - {name: shop-v2, port: 80, weight: 10}
EOF
kubectl apply -f wettkampf-routes.yaml
kubectl -n payments rollout status deploy/payments-api --timeout=2m

Erwartet (gekürzt, kann je nach Version abweichen):

deployment.apps/payments-api created
service/payments-api created
referencegrant.gateway.networking.k8s.io/shop-to-payments-api created
httproute.gateway.networking.k8s.io/checkout created
httproute.gateway.networking.k8s.io/canary created
deployment "payments-api" successfully rolled out

Dazu die Werkzeuge für alle Drills – Stoppuhr, Kurz-curl und die Envoy-Logs mit dem JSON-Schema aus Tag 11:

cat > ~/gw-lab/tag14/wk.sh <<'EOF'
# Tag 14: Hilfsfunktionen – laden mit: source ~/gw-lab/tag14/wk.sh
export KUBECONFIG=~/.kube/rke2-lab.yaml
export CA=~/gw-lab/tag09/rke2-lab-ca.crt
NS=envoy-gateway-system
SEL=gateway.envoyproxy.io/owning-gateway-name=web
start() { T0=$(date +%s); echo "Stoppuhr läuft"; }
stopp() { echo "Zeit: $(( ($(date +%s) - T0) / 60 )) min"; }
hc() { curl -s -o /dev/null -w '%{http_code}\n' --max-time 3 --cacert "$CA" "$@"; }
elog() { kubectl -n $NS logs -l "$SEL" -c envoy --since="${1:-2m}" \
  | grep '^{' | jq -r '"\(.status) \(.flags) \(.route)"' | sort | uniq -c; }
EOF
source ~/gw-lab/tag14/wk.sh
hc https://checkout.apps.lab.internal/
hc http://canary.apps.lab.internal/

Erwartet (gekürzt, kann je nach Version abweichen):

200
200

Der Export in vorher/ enthält die Übungsobjekte nicht – das ist Absicht: Am Ende räumst du sie mit genau dieser Datei wieder ab.

Drill 1: Checkout liefert 500 – ReferenceGrant weg

Szenario/Auslöser: Das Payments-Team räumt sein GitOps-Repo auf. Die ReferenceGrant fehlt dort, Argo CD löscht sie per Prune.

start
kubectl -n payments delete referencegrant shop-to-payments-api

Zeitlimit: 5 min

Symptome: https://checkout.apps.lab.internal/ antwortet mit 500, alle anderen Hosts laufen. Das Shop-Team hat nichts geändert.

hc https://checkout.apps.lab.internal/

Erwartet (gekürzt, kann je nach Version abweichen):

500

Diagnose-Pfad:

conds.sh httproute checkout shop
kubectl get referencegrant -A
elog 1m | grep checkout

Erwartet (gekürzt, kann je nach Version abweichen):

parent infra/web/https:
  Accepted=True (Accepted): Route is accepted
  ResolvedRefs=False (RefNotPermitted): Failed to process route rule 0 backendRef 0:
Backend ref to Service payments/payments-api not permitted by any ReferenceGrant.
No resources found
      4 500 - httproute/shop/checkout/rule/0/match/0/checkout_apps_lab_internal

Accepted=True heißt nur: Die Route hängt am Listener. ResolvedRefs=False mit RefNotPermitted zeigt auf den Besitzer des Ziels – das Payments-Team.

Lösung:

kubectl apply -f ~/gw-lab/code/tag07/refgrant-backend.yaml
sleep 5
hc https://checkout.apps.lab.internal/ && stopp

Erwartet (gekürzt, kann je nach Version abweichen):

referencegrant.gateway.networking.k8s.io/shop-to-payments-api created
200
Zeit: 3 min

Runde 2 – Accepted=False: Das Plattform-Team benennt den Listener https in https-apps um, ohne die Teams zu fragen:

kubectl -n infra patch gateway web --type=json \
  -p '[{"op":"replace","path":"/spec/listeners/1/name","value":"https-apps"}]'
sleep 5
conds.sh httproute checkout shop | head -2
kubectl apply -f ~/gw-lab/code/tag09/gateway-web.yaml

Erwartet (gekürzt, kann je nach Version abweichen):

gateway.gateway.networking.k8s.io/web patched
parent infra/web/https:
  Accepted=False (NoMatchingParent): No listeners match this parent ref
gateway.gateway.networking.k8s.io/web configured

Lessons:

  • RefNotPermitted → ReferenceGrant im Ziel-Namespace. NoMatchingParent → sectionName passt nicht. NotAllowedByListeners → allowedRoutes (Tag 7).
  • ReferenceGrants gehören ins Repo des Ziel-Teams und brauchen dort einen Kommentar, wer sie nutzt – sonst fallen sie dem nächsten Aufräumen zum Opfer.
  • Listener-Namen sind eine Schnittstelle zu allen Teams: umbenennen nur mit Ankündigung.

Fortschritt speichern? Kostenlos registrieren

Drill 2: HTTPS tot – Zertifikat weg, cert-manager erneuert nicht

Szenario/Auslöser: Nach einem Wartungsfenster läuft der cert-manager-Controller nicht mehr (jemand hat ihn „vorübergehend” auf 0 skaliert). Kurz darauf verschwindet das Wildcard-Secret – im echten Leben: abgelaufen und von einem Aufräumjob gelöscht.

start
kubectl -n cert-manager scale deploy cert-manager --replicas=0
kubectl -n infra delete secret apps-wildcard-tls

Zeitlimit: 10 min

Symptome: Alles unter https://*.apps.lab.internal ist weg, HTTP auf Port 80 geht weiter. Auch Keycloak (Tag 10) ist nicht mehr erreichbar.

hc https://shop.apps.lab.internal/; echo "Exit: $?"
hc http://ha.apps.lab.internal/

Erwartet (gekürzt, kann je nach Version abweichen):

000
Exit: 7
200

Diagnose-Pfad:

conds.sh gateway web infra | grep -A3 'listener https'
kubectl -n infra get certificate apps-wildcard-tls
kubectl -n infra get secret apps-wildcard-tls
kubectl -n cert-manager get deploy

Erwartet (gekürzt, kann je nach Version abweichen):

listener https (attachedRoutes=6):
  Programmed=False (Invalid): Listener is invalid, see other Conditions ...
  ResolvedRefs=False (InvalidCertificateRef): Secret infra/apps-wildcard-tls
  does not exist.
NAME                READY   SECRET              AGE
apps-wildcard-tls   True    apps-wildcard-tls   6d
Error from server (NotFound): secrets "apps-wildcard-tls" not found
NAME                      READY   UP-TO-DATE   AVAILABLE   AGE
cert-manager              0/0     0            0           6d
cert-manager-cainjector   1/1     1            1           6d
cert-manager-webhook      1/1     1            1           6d

Die Falle: Das Certificate steht weiter auf READY True. Den Status pflegt der Controller – ist er weg, friert der letzte Stand ein. Ohne gültiges Secret nimmt Envoy Gateway den HTTPS-Listener aus der Konfiguration, Port 443 lehnt Verbindungen ab.

Lösung:

kubectl -n cert-manager scale deploy cert-manager --replicas=1
kubectl -n cert-manager rollout status deploy/cert-manager --timeout=2m
kubectl -n infra wait certificate apps-wildcard-tls --for=condition=Ready \
  --timeout=2m
GW_IP=10.10.20.100 ~/gw-lab/code/tag12/cert-check.sh && stopp

Erwartet (gekürzt, kann je nach Version abweichen):

deployment "cert-manager" successfully rolled out
certificate.cert-manager.io/apps-wildcard-tls condition met
Envoy:  serial=5C0A93E1F27B4D86 notAfter=Jan  8 10:02:11 2027 GMT
Secret: serial=5C0A93E1F27B4D86 notAfter=Jan  8 10:02:11 2027 GMT
✔ Envoy liefert das aktuelle Zertifikat
Zeit: 6 min

cert-manager sieht beim Start: Certificate da, Secret fehlt – und stellt sofort neu aus. Läuft der Controller, aber das Zertifikat wird trotzdem nicht erneuert, schau in die Kette Certificate → CertificateRequest → Issuer:

cmctl status certificate -n infra apps-wildcard-tls | sed -n '1,12p'
kubectl get clusterissuer lab-ca
kubectl -n cert-manager logs deploy/cert-manager --since=10m | grep -iE 'error|fail'

Lessons:

  • Ein Ready-Status ist nur so aktuell wie sein Controller. Alarme deshalb auf das, was Envoy ausliefert: min(envoy_server_days_until_first_cert_expiring) < 14 (Tag 12).
  • Zusätzlich certmanager_certificate_ready_status und die Verfügbarkeit des cert-manager-Deployments überwachen – ein toter Controller fällt sonst erst nach Wochen auf.
  • Ein Wildcard-Listener ist ein Single Point of Failure: ein Secret, alle Hosts.
  • Ablaufdatum direkt am Gateway prüfen: openssl s_client ... | openssl x509 -noout -checkend 1209600 (14 Tage).

Fortschritt speichern? Kostenlos registrieren

Drill 3: LB-IP weg nach Node-Drain – L2-Announcement verloren

Szenario/Auslöser: Ein Kollege hat die L2-Policy auf einen „Edge-Node” eingeschränkt (Label gw-lab/edge=true) – das Label trägt aber nur rke2-wk-2. Heute ist Wartung: Drain, danach fährt die VM herunter.

kubectl label node rke2-wk-2 gw-lab/edge=true
kubectl patch ciliuml2announcementpolicy lab-l2 --type=merge \
  -p '{"spec":{"nodeSelector":{"matchLabels":{"gw-lab/edge":"true"}}}}'
sleep 20
kubectl -n kube-system get lease | grep l2announce

Erwartet (gekürzt, kann je nach Version abweichen):

node/rke2-wk-2 labeled
ciliuml2announcementpolicy.cilium.io/lab-l2 patched
cilium-l2announce-envoy-gateway-system-envoy-infra-web-a97fc3bf   rke2-wk-2   9d
cilium-l2announce-infra-cilium-gateway-web-cilium                rke2-wk-2   5d

Alle Leases liegen jetzt auf rke2-wk-2. Jetzt die Wartung:

start
kubectl drain rke2-wk-2 --ignore-daemonsets --delete-emptydir-data --timeout=3m
hc http://ha.apps.lab.internal/
VMID=$(ssh [email protected] "qm list | awk '\$2==\"rke2-wk-2\"{print \$1}'")
ssh [email protected] "qm shutdown $VMID"

Zeitlimit: 10 min

Symptome: Nach dem Drain geht noch alles (der Cilium-Agent ist ein DaemonSet und bleibt). Nach dem Herunterfahren ist 10.10.20.100 nicht mehr erreichbar – ebenso .101. Die Envoy-Pods laufen und sind Ready.

hc http://ha.apps.lab.internal/
arping -c 2 10.10.20.100
kubectl -n envoy-gateway-system get pod -l "$SEL" -o wide | awk '{print $1,$2,$7}'

Erwartet (gekürzt, kann je nach Version abweichen):

000
Timeout
--- 10.10.20.100 statistics ---
2 packets transmitted, 0 packets received, 100% packet loss
NAME READY NODE
envoy-infra-web-a97fc3bf-5d9c7b8f6-q8t7n 2/2 rke2-wk-3
envoy-infra-web-a97fc3bf-5d9c7b8f6-w3z9p 2/2 rke2-wk-1

Diagnose-Pfad: Pods gesund, Service hat eine IP – also liegt es an der Ankündigung.

kubectl -n envoy-gateway-system get svc -l "$SEL"
kubectl -n kube-system get lease \
  cilium-l2announce-envoy-gateway-system-envoy-infra-web-a97fc3bf \
  -o jsonpath='{.spec.holderIdentity} {.spec.renewTime}{"\n"}'
kubectl get ciliuml2announcementpolicy lab-l2 -o jsonpath='{.spec.nodeSelector}{"\n"}'
kubectl get nodes -l gw-lab/edge=true

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                       TYPE           CLUSTER-IP     EXTERNAL-IP
envoy-infra-web-a97fc3bf   LoadBalancer   10.43.18.77    10.10.20.100
rke2-wk-2 2026-10-14T09:41:07.112233Z
{"matchExpressions":[{"key":"node-role.kubernetes.io/control-plane",
"operator":"DoesNotExist"}],"matchLabels":{"gw-lab/edge":"true"}}
NAME        STATUS     ROLES    AGE   VERSION
rke2-wk-2   NotReady   <none>   9d    v1.36.5+rke2r1

Die Lease wird nicht mehr erneuert, aber kein anderer Node darf sie übernehmen: Die Policy passt nur auf einen Node, und der ist aus.

Lösung: Selector zurück auf alle Worker – das ist der Stand aus Tag 9.

kubectl patch ciliuml2announcementpolicy lab-l2 --type=merge \
  -p '{"spec":{"nodeSelector":{"matchLabels":null}}}'
sleep 20
kubectl -n kube-system get lease | grep l2announce
hc http://ha.apps.lab.internal/ && stopp
ssh [email protected] "qm start $VMID"
kubectl wait node rke2-wk-2 --for=condition=Ready --timeout=5m
kubectl uncordon rke2-wk-2
kubectl label node rke2-wk-2 gw-lab/edge-

Erwartet (gekürzt, kann je nach Version abweichen):

ciliuml2announcementpolicy.cilium.io/lab-l2 patched
cilium-l2announce-envoy-gateway-system-envoy-infra-web-a97fc3bf   rke2-wk-1   9d
...
200
Zeit: 7 min
node/rke2-wk-2 uncordoned
node/rke2-wk-2 unlabeled

Der neue Halter schickt Gratuitous ARP; Clients und Switch lernen die neue MAC sofort. Bleibt ein Client hängen, hat er einen ARP-Eintrag gecacht (arp -d 10.10.20.100).

Lessons:

  • L2-Announcements sind nur so hochverfügbar wie die Menge der Nodes, auf die die Policy passt. Immer mindestens zwei Kandidaten, idealerweise in getrennten Racks.
  • kubectl drain verschiebt keine Lease – erst der Ausfall des Cilium-Agents. Teste Failover mit Herunterfahren, nicht nur mit Drain.
  • Diagnose für LB-IPs: Pods → Service-IP → Lease-Halter → Policy-Selector → ARP.
  • Wartungsrunbooks prüfen vorher, wer die Leases hält, und verteilen sie bei Bedarf (Lease löschen; Cilium wählt neu).

Fortschritt speichern? Kostenlos registrieren

Drill 4: CRD-Upgrade blockiert – falscher Channel

Szenario/Auslöser: Ein neues Plattform-Repo installiert „die offiziellen” Gateway-API- CRDs – aus dem Standard-Channel. Das geht durch. Beim nächsten Envoy-Gateway-Upgrade (Tag 12) knallt es.

U=https://github.com/kubernetes-sigs/gateway-api/releases/download
kubectl apply --server-side --force-conflicts -f $U/v1.6.1/standard-install.yaml \
  | tail -2
start
cd ~/gw-lab/code/tag12 && ./upgrade-eg.sh v1.9.2 --apply; cd ~/gw-lab/tag14

Zeitlimit: 15 min

Symptome: Schritt 2 von upgrade-eg.sh bricht ab, der Controller wird nicht aktualisiert. Der Datenverkehr läuft (noch) normal.

Erwartet (gekürzt, kann je nach Version abweichen):

customresourcedefinition.apiextensions.k8s.io/udproutes.gateway.networking.k8s.io
  serverside-applied
validatingadmissionpolicybinding.admissionregistration.k8s.io/safe-upgrades.gateway
  .networking.k8s.io serverside-applied
Stoppuhr läuft
== 1. CRD-Diff
== 2. CRDs anwenden (vor dem Controller!)
Error from server (Invalid): ... "httproutes.gateway.networking.k8s.io" is forbidden:
ValidatingAdmissionPolicy 'safe-upgrades.gateway.networking.k8s.io' with binding
'safe-upgrades.gateway.networking.k8s.io' denied request: Installing experimental
CRDs on top of standard channel CRDs is prohibited by default. ...

Diagnose-Pfad:

~/gw-lab/code/tag12/crd-check.sh | awk '{print $1, $2, $3}'
kubectl explain httproute.spec.rules.retry 2>&1 | head -1
kubectl get crd -o name | grep -c 'gateway.networking.x-k8s.io'

Erwartet (gekürzt, kann je nach Version abweichen):

backendtlspolicies.gateway.networking.k8s.io  v1.6.1  standard
gatewayclasses.gateway.networking.k8s.io      v1.6.1  standard
...
udproutes.gateway.networking.k8s.io           v1.6.1  standard
error: field "retry" does not exist
3

Die zehn geteilten CRDs stehen jetzt auf standard, die drei x-k8s.io-CRDs bleiben experimentell liegen. Die Policy lässt Experimental über Standard nicht zu (Tag 12) – genau das will upgrade-eg.sh aber installieren.

Lösung: Entscheiden, welcher Channel gilt. Brauchst du keine experimentellen Felder, ist Standard die richtige Wahl: --set crds.gatewayAPI.channel=standard in upgrade-eg.sh und das Plattform-Repo als einzigen CRD-Besitzer festlegen. Für das Lab gehen wir zurück auf Experimental – mit bewusst und kurz abgeschalteter Sperre:

B=safe-upgrades.gateway.networking.k8s.io
kubectl get validatingadmissionpolicybinding $B -o yaml | yq 'del(.metadata.uid,
  .metadata.resourceVersion, .metadata.creationTimestamp, .metadata.managedFields)' \
  > binding-backup.yaml
kubectl delete validatingadmissionpolicybinding $B
helm template eg-crds oci://docker.io/envoyproxy/gateway-crds-helm \
  --version v1.9.2 --set crds.gatewayAPI.enabled=true \
  --set crds.gatewayAPI.channel=experimental --set crds.envoyGateway.enabled=true \
  | yq 'select(.kind == "CustomResourceDefinition")' \
  | kubectl apply --server-side --force-conflicts -f - | grep -c serverside
cd ~/gw-lab/code/tag12 && ./upgrade-eg.sh v1.9.2 --apply | tail -2
cd ~/gw-lab/tag14
kubectl apply -f binding-backup.yaml
kubectl get validatingadmissionpolicybinding $B && stopp

Erwartet (gekürzt, kann je nach Version abweichen):

validatingadmissionpolicybinding.admissionregistration.k8s.io "safe-upgrades..."
  deleted
27
== 4. Proxys rollen nach (neues Envoy-Image)
deployment "envoy-infra-web-a97fc3bf" successfully rolled out
validatingadmissionpolicybinding.admissionregistration.k8s.io/safe-upgrades... created
NAME                                      POLICY                                    ...
safe-upgrades.gateway.networking.k8s.io   safe-upgrades.gateway.networking.k8s.io  ...
Zeit: 11 min

Erst die CRDs allein (ohne Binding), dann das normale Upgrade, zuletzt die Binding aus dem Backup – die Sperre ist zurück. Meldet apply „unchanged”, hat das Upgrade sie schon selbst wieder eingespielt.

Lessons:

  • Genau ein Besitzer für die Gateway-API-CRDs (Tag 12). Zwei Quellen mit verschiedenem Channel enden immer so.
  • Die Policy schützt nur in eine Richtung: Standard über Experimental geht durch und verwirft experimentelle Felder beim nächsten Schreiben.
  • Die Sperre nie dauerhaft entfernen. Abschalten, gezielt anwenden, wieder einschalten – und das im Change dokumentieren.
  • Vor jedem CRD-Apply: kubectl diff --server-side und crd-check.sh lesen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Canary schickt 100 % an ein kaputtes v2

Szenario/Auslöser: Die Rollout-Pipeline hat canary auf 0/100 gedreht – das Gate prüfte nur „Pods Ready”. Zehn Minuten später stürzt v2 ab (hier: keine Pods mehr).

kubectl -n shop patch httproute canary --type=json -p '[
  {"op":"replace","path":"/spec/rules/0/backendRefs/0/weight","value":0},
  {"op":"replace","path":"/spec/rules/0/backendRefs/1/weight","value":100}]'
start
kubectl -n shop scale deploy shop-v2 --replicas=0

Zeitlimit: 5 min

Symptome: Jeder Request auf canary.apps.lab.internal liefert 503. Route und Gateway melden überall True.

for i in $(seq 10); do hc http://canary.apps.lab.internal/; done | sort | uniq -c
conds.sh httproute canary shop

Erwartet (gekürzt, kann je nach Version abweichen):

     10 503
parent infra/web/http:
  Accepted=True (Accepted): Route is accepted
  ResolvedRefs=True (ResolvedRefs): Resolved all the Object references for the Route

Diagnose-Pfad: Der Status ist grün, also zuerst ins Access Log – das Flag sagt, wo es hakt:

elog 1m | grep canary
kubectl -n shop get httproute canary \
  -o jsonpath='{range .spec.rules[0].backendRefs[*]}{.name}={.weight} {end}{"\n"}'
kubectl -n shop get endpointslice -l kubernetes.io/service-name=shop-v2 \
  -o jsonpath='{.items[*].endpoints}{"\n"}'

Erwartet (gekürzt, kann je nach Version abweichen):

     10 503 UH httproute/shop/canary/rule/0/match/0/canary_apps_lab_internal
shop-v1=0 shop-v2=100
[]

UH = „no healthy upstream”: Envoy kennt den Cluster, aber er hat keinen Endpunkt. ResolvedRefs prüft nur, ob der Service existiert – nicht, ob dahinter Pods laufen.

Lösung: Erst den Traffic retten, dann v2 reparieren. Der Rollback ist ein Patch (Tag 5):

kubectl -n shop patch httproute canary --type=json -p '[
  {"op":"replace","path":"/spec/rules/0/backendRefs/0/weight","value":100},
  {"op":"replace","path":"/spec/rules/0/backendRefs/1/weight","value":0}]'
sleep 3
for i in $(seq 10); do hc http://canary.apps.lab.internal/; done | sort | uniq -c
stopp
kubectl -n shop scale deploy shop-v2 --replicas=1

Erwartet (gekürzt, kann je nach Version abweichen):

httproute.gateway.networking.k8s.io/canary patched
     10 200
Zeit: 3 min
deployment.apps/shop-v2 scaled

Lessons:

  • Gewichte kennen keine Health. Ein Rollout-Gate muss die Fehlerrate der Route messen (route:error5xx:ratio5m, Tag 11), nicht den Pod-Status.
  • Auch nach 100 % das alte Backend mit Gewicht 0 in der Route lassen – dann ist der Rollback ein Zahlendreher statt einer Neukonstruktion.
  • Response-Flags im Access Log sind die schnellste Diagnose: UH keine Endpunkte, UF Verbindung abgelehnt, UT Timeout, RL Rate Limit, RLSE Rate-Limit-Dienst kaputt.
  • shop-v2 hängt auch an api und shop-beta – ein Ausfall trifft mehrere Routen.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Redis weg – das globale Rate Limit blockiert alles

Szenario/Auslöser: Die Security hat „Rate Limits dürfen nie umgangen werden” durchgesetzt: failClosed: true in der Envoy-Gateway-Konfiguration. Dann fällt Redis aus.

cat > ~/gw-lab/tag14/eg-failclosed.yaml <<'EOF'
# Tag 14: Rate-Limit-Dienst nicht erreichbar -> Request ablehnen (500)
config:
  envoyGateway:
    rateLimit:
      failClosed: true
EOF
C=~/gw-lab/code
helm upgrade eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.2 \
  -n envoy-gateway-system -f $C/tag10/eg-values.yaml -f $C/tag12/eg-ha-values.yaml \
  -f ~/gw-lab/tag14/eg-failclosed.yaml --wait | head -1
kubectl -n envoy-gateway-system rollout restart deploy/envoy-gateway
kubectl -n envoy-gateway-system rollout status deploy/envoy-gateway
start
kubectl -n redis-system scale deploy redis --replicas=0

Zeitlimit: 10 min

Symptome: shop.apps.lab.internal liefert für jeden Request 500 – auch für den ersten der Minute. ha.apps.lab.internal und canary.apps.lab.internal laufen.

for i in $(seq 5); do hc http://shop.apps.lab.internal/; done | sort | uniq -c
hc http://ha.apps.lab.internal/

Erwartet (gekürzt, kann je nach Version abweichen):

      5 500
200

Diagnose-Pfad: Nur eine Route betroffen → was hängt an genau dieser Route?

elog 1m | grep 'shop/shop/'
kubectl get backendtrafficpolicy -A
kubectl -n envoy-gateway-system logs deploy/envoy-ratelimit --since=5m | tail -2
kubectl -n redis-system get deploy redis
kubectl -n envoy-gateway-system get cm envoy-gateway-config -o yaml \
  | grep -A6 'rateLimit:'

Erwartet (gekürzt, kann je nach Version abweichen):

      5 500 RLSE httproute/shop/shop/rule/0/match/0/shop_apps_lab_internal
NAMESPACE   NAME   AGE
shop        shop   4d
... redis: dial tcp 10.43.120.14:6379: connect: connection refused
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
redis   0/0     0            0           4d
      rateLimit:
        backend:
          redis:
            url: redis.redis-system.svc.cluster.local:6379
          type: Redis
        failClosed: true

RLSE = Rate Limit Service Error: Envoy hat den Rate-Limit-Dienst gefragt und keine Antwort bekommen. Mit failClosed: true wird daraus ein 500.

Lösung: Sofort Redis zurückholen. Danach entscheiden, ob fail-closed wirklich gewollt ist.

kubectl -n redis-system scale deploy redis --replicas=1
kubectl -n redis-system rollout status deploy/redis --timeout=2m
kubectl -n envoy-gateway-system rollout restart deploy/envoy-ratelimit
kubectl -n envoy-gateway-system rollout status deploy/envoy-ratelimit
hc http://shop.apps.lab.internal/ && stopp

Erwartet (gekürzt, kann je nach Version abweichen):

deployment "redis" successfully rolled out
deployment "envoy-ratelimit" successfully rolled out
200
Zeit: 6 min

Zurück auf den Default (fail-open), wie an Tag 10:

helm upgrade eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.2 \
  -n envoy-gateway-system -f $C/tag10/eg-values.yaml -f $C/tag12/eg-ha-values.yaml \
  --wait | head -1
kubectl -n envoy-gateway-system rollout restart deploy/envoy-gateway

Lessons:

  • Default ist fail-open (failClosed: false): Fällt Redis aus, gibt es gar kein Limit mehr – still, ohne Fehler. Das ist das häufigere und gefährlichere Szenario.
  • fail-closed nur mit hochverfügbarem Redis (Sentinel/Cluster) und eigenem Alarm auf RLSE im Access Log bzw. die Verfügbarkeit von envoy-ratelimit.
  • Das Timeout zum Rate-Limit-Dienst ist 20 ms (rateLimit.timeout). Ein langsames Redis wirkt deshalb wie ein ausgefallenes.
  • Ein lokales Limit (Tag 10) als zweite Linie braucht keine externe Abhängigkeit.

Fortschritt speichern? Kostenlos registrieren

Drill 7: JWT-Prüfung scheitert – Issuer nicht erreichbar

Szenario/Auslöser: Keycloak fällt aus (hier: auf 0 skaliert). Kurz danach rollen die Envoy-Pods neu aus – etwa durch eine EnvoyProxy-Änderung. Hol dir vorher ein Token (Tag 10, Drill 6).

TOKEN=$(curl -s --cacert $CA \
  https://keycloak.apps.lab.internal/realms/lab/protocol/openid-connect/token \
  -d grant_type=client_credentials -d client_id=api-client \
  -d client_secret=lab-api-secret-1234 | jq -r .access_token)
hc -H "Authorization: Bearer $TOKEN" https://api.apps.lab.internal/
start
kubectl -n keycloak scale deploy keycloak --replicas=0
kubectl -n envoy-gateway-system rollout restart deploy -l "$SEL"
kubectl -n envoy-gateway-system rollout status deploy -l "$SEL" --timeout=5m

Zeitlimit: 10 min

Symptome: Die API lehnt auch gültige Tokens mit 401 ab. Das Portal leitet zum Login um, die Login-Seite liefert 503.

curl -s --cacert $CA -H "Authorization: Bearer $TOKEN" https://api.apps.lab.internal/
echo
hc https://portal.apps.lab.internal/
hc https://keycloak.apps.lab.internal/realms/lab

Erwartet (gekürzt, kann je nach Version abweichen):

Jwks remote fetch is failed
302
503

Diagnose-Pfad:

conds.sh securitypolicy api-jwt shop
kubectl -n keycloak get deploy keycloak
kubectl run jwks --rm -i --restart=Never -q --image=curlimages/curl -- \
  curl -sk -o /dev/null -w '%{http_code}\n' \
  https://keycloak.apps.lab.internal/realms/lab/protocol/openid-connect/certs

Erwartet (gekürzt, kann je nach Version abweichen):

ancestor infra/web/:
  Accepted=True (Accepted): Policy has been accepted.
NAME       READY   UP-TO-DATE   AVAILABLE   AGE
keycloak   0/0     0            0           4d
503

Die Policy ist gültig – sie kann den Schlüssel nur nicht holen. Envoy hält die JWKS im Speicher (remoteJWKS.cacheDuration, Default 300 s). Laufende Pods hätten den Ausfall bis zum Ablauf überbrückt; die frisch gestarteten Pods hatten nie einen Schlüssel.

Lösung:

kubectl -n keycloak scale deploy keycloak --replicas=1
kubectl -n keycloak rollout status deploy/keycloak --timeout=5m
TOKEN=$(curl -s --cacert $CA \
  https://keycloak.apps.lab.internal/realms/lab/protocol/openid-connect/token \
  -d grant_type=client_credentials -d client_id=api-client \
  -d client_secret=lab-api-secret-1234 | jq -r .access_token)
sleep 30
hc -H "Authorization: Bearer $TOKEN" https://api.apps.lab.internal/ && stopp

Erwartet (gekürzt, kann je nach Version abweichen):

deployment "keycloak" successfully rolled out
200
Zeit: 8 min

Warum ein neues Token? Keycloak läuft im Lab im Dev-Modus ohne Datenbank (Tag 10). Nach dem Neustart hat der Realm neue Signaturschlüssel – alte Tokens sind ungültig. In Produktion mit Postgres bleiben die Schlüssel erhalten. Bis Envoy nach einem Fehlschlag erneut holt, vergeht etwas Zeit (failedRefetchDuration), daher das sleep.

Lessons:

  • Der Identity Provider ist eine harte Abhängigkeit des Gateways – HA wie das Gateway selbst, mit eigenem Monitoring.
  • Envoy-Restarts und IdP-Ausfälle nie gleichzeitig: Wartungsfenster koordinieren.
  • cacheDuration erhöhen verlängert die Überbrückung, verzögert aber Schlüsselrotation. Für interne Dienste ist localJWKS aus einer ConfigMap eine Option ohne Laufzeit- Abhängigkeit.
  • Envoy-Metriken jwks_fetch_failed und 401-Rate pro Route als Alarm.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Routenkonflikt – ein fremdes Team kapert den Shop

Szenario/Auslöser: Das Payments-Team kopiert eine Route als Vorlage und vergisst den Hostname zu ändern. Der Listener erlaubt seit Tag 9 Routes aus allen Namespaces.

start
kubectl apply -f - <<'EOF'
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: pay-portal
  namespace: payments
spec:
  parentRefs:
    - {name: web, namespace: infra}
  hostnames: [shop.apps.lab.internal]      # kopiert, nicht angepasst
  rules:
    - matches:
        - path: {type: PathPrefix, value: /}
          method: GET
      backendRefs:
        - {name: payments-api, port: 80}
EOF

Zeitlimit: 10 min

Symptome: Der Shop zeigt plötzlich die Payments-API. POST-Requests landen noch beim Shop. Kein Team hat an der Route shop etwas geändert.

curl -s http://shop.apps.lab.internal/ | jq -r .service
curl -s -X POST http://shop.apps.lab.internal/ | jq -r .service

Erwartet (gekürzt, kann je nach Version abweichen):

payments-api
shop-v1

Diagnose-Pfad: Wer beansprucht diesen Hostname? Alle Routen über alle Namespaces:

H=shop.apps.lab.internal
kubectl get httproute -A -o json | jq -r --arg h "$H" '.items[]
  | select(.spec.hostnames // [] | index($h))
  | "\(.metadata.namespace)/\(.metadata.name) \(.metadata.creationTimestamp)"'
conds.sh httproute pay-portal payments
elog 1m | grep -E 'pay-portal|shop/shop/'

Erwartet (gekürzt, kann je nach Version abweichen):

shop/shop 2026-10-04T08:12:40Z
shop/shop-admin 2026-10-05T10:03:12Z
payments/pay-portal 2026-10-14T11:20:05Z
parent infra/web/http:
  Accepted=True (Accepted): Route is accepted
  ResolvedRefs=True (ResolvedRefs): Resolved all the Object references for the Route
parent infra/web/https:
  Accepted=True (Accepted): Route is accepted
  ResolvedRefs=True (ResolvedRefs): Resolved all the Object references for the Route
      3 200 - httproute/payments/pay-portal/rule/0/match/0/shop_apps_lab_internal

Kein Fehler, kein RouteRulesOverlap: Die neue Regel ist nicht gleich, sondern spezifischer (method: GET schlägt eine reine Pfad-Regel, Tag 7). „Älteste Route gewinnt” gilt nur bei Gleichstand. Nebenbei umgeht die fremde Route das Rate Limit und die Policies, die an shop/shop hängen.

Lösung: Route entfernen, dann die Ursache abstellen. allowedRoutes hilft hier nicht: Beide Teams dürfen an den Wildcard-Listener, und das soll so bleiben. Was fehlt, ist eine Regel für den Hostname-Besitz – als ValidatingAdmissionPolicy:

kubectl -n payments delete httproute pay-portal
curl -s http://shop.apps.lab.internal/ | jq -r .service && stopp
cat > hostname-owner.yaml <<'EOF'
# Tag 14: shop.apps.lab.internal darf nur aus dem Namespace shop kommen
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicy
metadata:
  name: hostname-owner
spec:
  failurePolicy: Fail
  matchConstraints:
    resourceRules:
      - apiGroups: [gateway.networking.k8s.io]
        apiVersions: ["*"]
        operations: [CREATE, UPDATE]
        resources: [httproutes, grpcroutes]
  validations:
    - expression: >-
        object.metadata.namespace == 'shop' || !has(object.spec.hostnames) ||
        object.spec.hostnames.all(h, h != 'shop.apps.lab.internal')
      message: "Hostname shop.apps.lab.internal gehört dem Namespace shop"
---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicyBinding
metadata:
  name: hostname-owner
spec:
  policyName: hostname-owner
  validationActions: [Deny]
EOF
kubectl apply -f hostname-owner.yaml

Erwartet (gekürzt, kann je nach Version abweichen):

httproute.gateway.networking.k8s.io "pay-portal" deleted from payments namespace
shop-v1
Zeit: 6 min
validatingadmissionpolicy.admissionregistration.k8s.io/hostname-owner created
validatingadmissionpolicybinding.admissionregistration.k8s.io/hostname-owner created

Gegenprobe: Wiederhole den Auslöser. Jetzt lehnt der API-Server die Route ab.

Erwartet (gekürzt, kann je nach Version abweichen):

The httproutes "pay-portal" is invalid: : ValidatingAdmissionPolicy 'hostname-owner'
with binding 'hostname-owner' denied request: Hostname shop.apps.lab.internal gehört
dem Namespace shop

Achtung: Eine Route ohne hostnames erbt den Wildcard des Listeners und rutscht durch diese einfache Regel. In Produktion pflegst du die Zuordnung Hostname → Team als Parameter (paramKind) oder mit Kyverno und verlangst hostnames an jeder Route.

Lessons:

  • Konflikte sind meistens kein Statusfehler. RouteRulesOverlap meldet nur Gleichstand; Vorrang durch Spezifität ist aus Sicht der API gewolltes Verhalten.
  • Hostname-Besitz gehört in eine Policy: allowedRoutes per Namespace-Selector, ListenerSets pro Team (Tag 7) oder eine Admission-Regel „Hostname X nur aus Namespace Y” (Kyverno/ValidatingAdmissionPolicy).
  • Die jq-Abfrage „wer beansprucht Hostname X” gehört ins Runbook und in die CI der App-Teams.

Fortschritt speichern? Kostenlos registrieren

Ausblick: Gateway API Inference Extension

LLM-Backends passen schlecht zu Round Robin: Ein Request belegt eine GPU sekundenlang, der KV-Cache entscheidet über die Latenz. Die Gateway API Inference Extension (GAIE) ergänzt deshalb ein eigenes Backend-Objekt, den InferencePool. Ein Endpoint Picker (EPP) wählt per Envoy ext_proc für jeden Request den passenden Pod – nach Queue-Länge, KV-Cache-Auslastung und geladenen LoRA-Adaptern.

Objekt API Stand (GAIE v1.6.2)
InferencePool inference.networking.k8s.io/v1 GA
InferencePoolImport inference.networking.x-k8s.io/v1alpha1 Alpha, Multi-Cluster
InferenceObjective früher inference.networking.x-k8s.io/v1alpha2 seit v1.6.0 entfernt

InferenceObjective (Priorität/Kritikalität pro Modell, Nachfolger von InferenceModel) und der voll ausgebaute EPP sind mit GAIE v1.6.0 ins Projekt llm-d umgezogen. GAIE selbst liefert nur noch Spezifikation, CRDs, Conformance und einen leichten Referenz-EPP (lwepp) für Tests.

Envoy Gateway v1.9 übersetzt InferencePool nicht selbst. Die Unterstützung kommt über das Extension-Management: Der Controller des früheren Envoy AI Gateway (heute „Agent Router”, theagentrouter/agent-router) registriert sich als Extension-Server und übernimmt die Backend-Art InferencePool. Ausschnitt aus dessen Helm-Values für Envoy Gateway:

# Nur Doku – nicht im Lab ausgerollt (Werte aus agent-router/examples/inference-pool)
config:
  envoyGateway:
    extensionManager:
      backendResources:
        - group: inference.networking.k8s.io
          kind: InferencePool
          version: v1

Die Route bleibt eine normale HTTPRoute, nur das Backend ist ein Pool:

apiVersion: inference.networking.k8s.io/v1
kind: InferencePool
metadata:
  name: mistral
  namespace: llm
spec:
  selector:
    matchLabels:
      app: mistral-vllm
  targetPorts:
    - number: 8000
  endpointPickerRef:          # seit GAIE v1.6.0 optional, praktisch aber nötig
    name: mistral-epp
    port:
      number: 9002
---
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: llm
  namespace: llm
spec:
  parentRefs:
    - {name: web, namespace: infra}
  hostnames: [llm.apps.lab.internal]
  rules:
    - matches:
        - path: {type: PathPrefix, value: /v1}
      backendRefs:
        - group: inference.networking.k8s.io
          kind: InferencePool
          name: mistral

(Nur gegen die offizielle Doku geprüft, nicht im Lab ausgerollt.) Für den Wettkampf heißt das: Bei Inference-Backends kommt eine weitere Abhängigkeit dazu – fällt der EPP aus, steht die Route. Der Diagnose-Pfad bleibt derselbe: Status des Pools, Access Log, dann die Abhängigkeit.

Bewertung

Drill Zeitlimit Punkte geschafft
1 ReferenceGrant weg (+ Runde 2) 5 min 10 [ ]
2 Zertifikat weg, cert-manager aus 10 min 15 [ ]
3 L2-Announcement verloren 10 min 15 [ ]
4 CRD-Channel und safe-upgrades 15 min 15 [ ]
5 Canary 100 % auf kaputtes v2 5 min 10 [ ]
6 Redis weg, fail-closed 10 min 10 [ ]
7 JWKS nicht erreichbar 10 min 15 [ ]
8 Routenkonflikt 10 min 10 [ ]
Summe 75 min 100

Volle Punkte nur in der Zeit; bis zum doppelten Zeitlimit die Hälfte. Ab 70 Punkten bist du bereit für die Rufbereitschaft. Schreib zu jedem verpassten Limit eine Zeile ins Runbook: Welches Symptom hat dich auf die falsche Spur gebracht?

Kontrollpunkt

Nach allen Drills muss das Lab wieder im Stand von Tag 13 sein – plus die Hostname-Policy aus Drill 8.

cat > ~/gw-lab/tag14/check.sh <<'EOF'
#!/usr/bin/env bash
# Tag 14: Ist nach dem Wettkampf alles wieder heil?
source ~/gw-lab/tag14/wk.sh
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "ReferenceGrant zurück" \
  'kubectl -n payments get referencegrant shop-to-payments-api'
check "Checkout 200" '[ "$(hc https://checkout.apps.lab.internal/)" = 200 ]'
check "cert-manager läuft" \
  'kubectl -n cert-manager rollout status deploy/cert-manager --timeout=5s'
check "Envoy liefert aktuelles Zertifikat" \
  '"$HOME"/gw-lab/code/tag12/cert-check.sh | grep -q "✔"'
check "L2-Policy ohne Edge-Label" \
  '! kubectl get ciliuml2announcementpolicy lab-l2 -o yaml | grep -q gw-lab/edge'
check "alle Nodes Ready" '! kubectl get nodes --no-headers | grep -v " Ready "'
check "CRDs alle experimental" \
  '! "$HOME"/gw-lab/code/tag12/crd-check.sh | grep -q standard'
check "safe-upgrades-Binding aktiv" 'kubectl get validatingadmissionpolicybinding \
  safe-upgrades.gateway.networking.k8s.io'
check "Canary zurück auf v1" '[ "$(kubectl -n shop get httproute canary \
  -o jsonpath="{.spec.rules[0].backendRefs[0].weight}")" = 100 ]'
check "Redis läuft" 'kubectl -n redis-system rollout status deploy/redis --timeout=5s'
check "Rate Limit wieder fail-open" '! kubectl -n envoy-gateway-system get cm \
  envoy-gateway-config -o yaml | grep -q "failClosed: true"'
check "Keycloak läuft" \
  'kubectl -n keycloak rollout status deploy/keycloak --timeout=5s'
check "keine fremde Shop-Route" '! kubectl -n payments get httproute pay-portal'
check "Hostname-Policy aktiv" 'kubectl get validatingadmissionpolicy hostname-owner'
EOF
chmod +x ~/gw-lab/tag14/check.sh && ~/gw-lab/tag14/check.sh

Erwartet (gekürzt, kann je nach Version abweichen):

✔ ReferenceGrant zurück
✔ Checkout 200
✔ cert-manager läuft
✔ Envoy liefert aktuelles Zertifikat
✔ L2-Policy ohne Edge-Label
✔ alle Nodes Ready
✔ CRDs alle experimental
✔ safe-upgrades-Binding aktiv
✔ Canary zurück auf v1
✔ Redis läuft
✔ Rate Limit wieder fail-open
✔ Keycloak läuft
✔ keine fremde Shop-Route
✔ Hostname-Policy aktiv

Danach die Übungsrouten abräumen: kubectl delete -f ~/gw-lab/tag14/wettkampf-routes.yaml.

Challenge

Schreib ein Triage-Skript triage.sh, das in unter zehn Sekunden ein Lagebild liefert: alle Gateway-API-Objekte und Envoy-Gateway-Policies mit einer Condition False (oder RouteRulesOverlap=True), alle Certificates, die nicht Ready sind, und die Response-Flags der letzten fünf Minuten aus dem Access Log. Es soll Drill 1, 2, 5 und 6 auf einen Blick zeigen.

Hinweis: Routes melden in status.parents, Policies in status.ancestors, Gateways in status.conditions und status.listeners – eine jq-Abfrage pro Form reicht.

Lösung

cat > ~/gw-lab/tag14/triage.sh <<'EOF'
#!/usr/bin/env bash
# Tag 14: Lagebild für Gateway-Störungen
set -uo pipefail
NS=envoy-gateway-system
SEL=gateway.envoyproxy.io/owning-gateway-name=web
bad='select(.status == "False" or (.type == "RouteRulesOverlap"
  and .status == "True"))'
echo "== Gateways / Listener"
kubectl get gateway -A -o json | jq -r ".items[] | . as \$g
  | ((.status.conditions // []), (.status.listeners[]?.conditions // []))
  | .[] | $bad | \"\(\$g.metadata.namespace)/\(\$g.metadata.name)\"
    + \" \(.type)=\(.status) \(.reason)\""
echo "== Routes und Policies"
for k in httproute grpcroute tlsroute tcproute udproute backendtlspolicy \
  clienttrafficpolicy backendtrafficpolicy securitypolicy; do
  kubectl get "$k" -A -o json 2>/dev/null | jq -r --arg k "$k" ".items[] | . as \$r
    | ((.status.parents // []) + (.status.ancestors // []))[]
    | .conditions[]? | $bad
    | \"\(\$k) \(\$r.metadata.namespace)/\(\$r.metadata.name)\"
      + \" \(.type)=\(.status) \(.reason)\""
done
echo "== Certificates nicht Ready"
kubectl get certificate -A -o json | jq -r '.items[]
  | select([.status.conditions[]? | select(.type == "Ready")
    | .status] != ["True"])
  | "\(.metadata.namespace)/\(.metadata.name)"'
echo "== Response-Flags (5 min, ohne '-')"
kubectl -n "$NS" logs -l "$SEL" -c envoy --since=5m 2>/dev/null | grep '^{' \
  | jq -r 'select(.flags != "-") | "\(.status) \(.flags) \(.route)"' \
  | sort | uniq -c | sort -rn | head
EOF
chmod +x ~/gw-lab/tag14/triage.sh
kubectl -n payments delete referencegrant shop-to-payments-api
for i in 1 2 3; do hc https://checkout.apps.lab.internal/; done >/dev/null
~/gw-lab/tag14/triage.sh
kubectl apply -f ~/gw-lab/code/tag07/refgrant-backend.yaml

Erwartet (gekürzt, kann je nach Version abweichen):

referencegrant.gateway.networking.k8s.io "shop-to-payments-api" deleted
== Gateways / Listener
== Routes und Policies
httproute shop/checkout ResolvedRefs=False RefNotPermitted
== Certificates nicht Ready
== Response-Flags (5 min, ohne '-')
      3 500 - httproute/shop/checkout/rule/0/match/0/checkout_apps_lab_internal
referencegrant.gateway.networking.k8s.io/shop-to-payments-api created

Der 500 von Drill 1 hat kein Flag – Envoy beantwortet ihn selbst über eine Direct Response. Deshalb zeigt das Skript die Statuszeile mit, nicht nur die Flags: Hier hilft der Status, bei Drill 5 und 6 das Flag. Ohne Filter sähe die letzte Sektion alle Requests; so bleiben nur Auffälligkeiten.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Desaster-Drills regelmäßig im Staging als Gameday fahren, mit Beobachter und Protokoll – ein Runbook, das nie geübt wurde, ist eine Vermutung.
  • Jede Abhängigkeit des Gateways (cert-manager, Redis, IdP, CRD-Pipeline, L2/BGP) hat einen Owner, einen Alarm und einen dokumentierten Fallback (fail-open/fail-closed).
  • Admission-Policies sind die billigste Prävention: Hostname-Besitz, Pflicht-hostnames, keine Gewichte auf Backends ohne Endpunkte (per CI), geschützte Namespace-Labels.
  • Rollback-Wege vorher festlegen: Gewichte (Sekunden), DNS (TTL), GitOps-Revert (Minuten), etcd-Snapshot (letzter Ausweg, Tag 8).
  • Inference-Backends (InferencePool, EPP) bringen GPU-Kapazität und Modell-Server als neue Ausfallklassen – Drills dafür erst, wenn die Plattform sie produktiv betreibt.