Tag 14: Wettkampf – Desaster-Drills
Ziel: Du findest und behebst acht typische Gateway-Ausfälle unter Zeitdruck – vom fehlenden ReferenceGrant bis zum verlorenen L2-Announcement. · Dauer: ca. 150 min · Voraussetzung: Tag 13
Briefing
- Jeder Drill hat einen Auslöser (den du selbst ausführst), ein Zeitlimit, die Symptome, einen Diagnose-Pfad, die Lösung und die Lessons.
- Lies nach dem Auslösen nur noch die Symptome. Diagnose und Lösung erst aufdecken, wenn du fertig bist oder die Zeit abgelaufen ist.
- Die Stoppuhr läuft ab dem Auslöser und stoppt, wenn die Prüfzeile des Drills ✔ zeigt.
- Reihenfolge der Diagnose, immer: Status (
conds.sh,egctl x status) → Envoy (Access Log,egctl config) → Netz (LB-IP, ARP, DNS) → Abhängigkeiten (cert-manager, Redis, Keycloak). - Alle Drills laufen auf dem RKE2-Cluster aus Tag 9–13. Ausgaben sind nicht live erzeugt.
Laptop ── DNS *.apps.lab.internal ──► 10.10.20.100 (Cilium L2, Lease auf einem Worker)
│
Envoy-Pods infra/web (envoy-infra-web-a97fc3bf, HPA 2..6)
┌──────────────┬─────────────┼──────────────┬──────────────┐
cert-manager Redis Keycloak ReferenceGrant shop-v1/v2
(Drill 2) (Drill 6) (Drill 7) (Drill 1) (Drill 5, 8)
Achtung: Proxmox, Mehrknoten-RKE2 und ARP lassen sich nicht in kind nachstellen. Alle Manifeste sind mit
kubeconformgegen die CRD-Schemas von Gateway API v1.6.1 und Envoy Gateway v1.9.2 geprüft, Skripte mitshellcheck. Ausgaben sind „(gekürzt, kann je nach Version abweichen)“.
Vorbereitung: Sicherheitsnetz und Übungsobjekte
Bevor du etwas kaputt machst: Konfiguration nach Git exportieren (Tag 12) und einen etcd-Snapshot ziehen (Tag 8).
export KUBECONFIG=~/.kube/rke2-lab.yaml
export PATH="$HOME/gw-lab/code/demo:$PATH"
mkdir -p ~/gw-lab/tag14 && cd ~/gw-lab/tag14
~/gw-lab/code/tag12/export-gw-config.sh vorher
ssh [email protected] 'sudo rke2 etcd-snapshot save --name vor-wettkampf' \
2>&1 | tail -1Erwartet (gekürzt, kann je nach Version abweichen):
gatewayclasses: 2
gateways: 2
httproutes: 10
...
Snapshot vor-wettkampf-rke2-cp-1-1791712345 saved.
Drei Übungsobjekte kommen dazu: die Payments-API aus Tag 7 mit
Checkout-Route und ReferenceGrant sowie eine Canary-Route
canary.apps.lab.internal wie an Tag 5.
kubectl apply -f ~/gw-lab/code/tag07/payments-api.yaml \
-f ~/gw-lab/code/tag07/refgrant-backend.yaml
cat > wettkampf-routes.yaml <<'EOF'
# Tag 14: Übungsrouten auf RKE2 (Checkout über ReferenceGrant, Canary 90/10)
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
name: checkout
namespace: shop
spec:
parentRefs:
- {name: web, namespace: infra, sectionName: https}
hostnames: [checkout.apps.lab.internal]
rules:
- backendRefs:
- {name: payments-api, namespace: payments, port: 80}
---
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
name: canary
namespace: shop
spec:
parentRefs:
- {name: web, namespace: infra, sectionName: http}
hostnames: [canary.apps.lab.internal]
rules:
- backendRefs:
- {name: shop-v1, port: 80, weight: 90}
- {name: shop-v2, port: 80, weight: 10}
EOF
kubectl apply -f wettkampf-routes.yaml
kubectl -n payments rollout status deploy/payments-api --timeout=2mErwartet (gekürzt, kann je nach Version abweichen):
deployment.apps/payments-api created
service/payments-api created
referencegrant.gateway.networking.k8s.io/shop-to-payments-api created
httproute.gateway.networking.k8s.io/checkout created
httproute.gateway.networking.k8s.io/canary created
deployment "payments-api" successfully rolled out
Dazu die Werkzeuge für alle Drills – Stoppuhr, Kurz-curl und die Envoy-Logs mit dem JSON-Schema aus Tag 11:
cat > ~/gw-lab/tag14/wk.sh <<'EOF'
# Tag 14: Hilfsfunktionen – laden mit: source ~/gw-lab/tag14/wk.sh
export KUBECONFIG=~/.kube/rke2-lab.yaml
export CA=~/gw-lab/tag09/rke2-lab-ca.crt
NS=envoy-gateway-system
SEL=gateway.envoyproxy.io/owning-gateway-name=web
start() { T0=$(date +%s); echo "Stoppuhr läuft"; }
stopp() { echo "Zeit: $(( ($(date +%s) - T0) / 60 )) min"; }
hc() { curl -s -o /dev/null -w '%{http_code}\n' --max-time 3 --cacert "$CA" "$@"; }
elog() { kubectl -n $NS logs -l "$SEL" -c envoy --since="${1:-2m}" \
| grep '^{' | jq -r '"\(.status) \(.flags) \(.route)"' | sort | uniq -c; }
EOF
source ~/gw-lab/tag14/wk.sh
hc https://checkout.apps.lab.internal/
hc http://canary.apps.lab.internal/Erwartet (gekürzt, kann je nach Version abweichen):
200
200
Der Export in vorher/ enthält die Übungsobjekte nicht –
das ist Absicht: Am Ende räumst du sie mit genau dieser Datei wieder
ab.
Drill 1: Checkout liefert 500 – ReferenceGrant weg
Szenario/Auslöser: Das Payments-Team räumt sein GitOps-Repo auf. Die ReferenceGrant fehlt dort, Argo CD löscht sie per Prune.
start
kubectl -n payments delete referencegrant shop-to-payments-apiZeitlimit: 5 min
Symptome:
https://checkout.apps.lab.internal/ antwortet mit 500, alle
anderen Hosts laufen. Das Shop-Team hat nichts geändert.
hc https://checkout.apps.lab.internal/Erwartet (gekürzt, kann je nach Version abweichen):
500
Diagnose-Pfad:
conds.sh httproute checkout shop
kubectl get referencegrant -A
elog 1m | grep checkoutErwartet (gekürzt, kann je nach Version abweichen):
parent infra/web/https:
Accepted=True (Accepted): Route is accepted
ResolvedRefs=False (RefNotPermitted): Failed to process route rule 0 backendRef 0:
Backend ref to Service payments/payments-api not permitted by any ReferenceGrant.
No resources found
4 500 - httproute/shop/checkout/rule/0/match/0/checkout_apps_lab_internal
Accepted=True heißt nur: Die Route hängt am Listener.
ResolvedRefs=False mit RefNotPermitted zeigt
auf den Besitzer des Ziels – das Payments-Team.
Lösung:
kubectl apply -f ~/gw-lab/code/tag07/refgrant-backend.yaml
sleep 5
hc https://checkout.apps.lab.internal/ && stoppErwartet (gekürzt, kann je nach Version abweichen):
referencegrant.gateway.networking.k8s.io/shop-to-payments-api created
200
Zeit: 3 min
Runde 2 – Accepted=False: Das
Plattform-Team benennt den Listener https in
https-apps um, ohne die Teams zu fragen:
kubectl -n infra patch gateway web --type=json \
-p '[{"op":"replace","path":"/spec/listeners/1/name","value":"https-apps"}]'
sleep 5
conds.sh httproute checkout shop | head -2
kubectl apply -f ~/gw-lab/code/tag09/gateway-web.yamlErwartet (gekürzt, kann je nach Version abweichen):
gateway.gateway.networking.k8s.io/web patched
parent infra/web/https:
Accepted=False (NoMatchingParent): No listeners match this parent ref
gateway.gateway.networking.k8s.io/web configured
Lessons:
RefNotPermitted→ ReferenceGrant im Ziel-Namespace.NoMatchingParent→sectionNamepasst nicht.NotAllowedByListeners→allowedRoutes(Tag 7).- ReferenceGrants gehören ins Repo des Ziel-Teams und brauchen dort einen Kommentar, wer sie nutzt – sonst fallen sie dem nächsten Aufräumen zum Opfer.
- Listener-Namen sind eine Schnittstelle zu allen Teams: umbenennen nur mit Ankündigung.
Fortschritt speichern? Kostenlos registrieren
Drill 2: HTTPS tot – Zertifikat weg, cert-manager erneuert nicht
Szenario/Auslöser: Nach einem Wartungsfenster läuft der cert-manager-Controller nicht mehr (jemand hat ihn „vorübergehend” auf 0 skaliert). Kurz darauf verschwindet das Wildcard-Secret – im echten Leben: abgelaufen und von einem Aufräumjob gelöscht.
start
kubectl -n cert-manager scale deploy cert-manager --replicas=0
kubectl -n infra delete secret apps-wildcard-tlsZeitlimit: 10 min
Symptome: Alles unter
https://*.apps.lab.internal ist weg, HTTP auf Port 80 geht
weiter. Auch Keycloak (Tag 10) ist nicht mehr erreichbar.
hc https://shop.apps.lab.internal/; echo "Exit: $?"
hc http://ha.apps.lab.internal/Erwartet (gekürzt, kann je nach Version abweichen):
000
Exit: 7
200
Diagnose-Pfad:
conds.sh gateway web infra | grep -A3 'listener https'
kubectl -n infra get certificate apps-wildcard-tls
kubectl -n infra get secret apps-wildcard-tls
kubectl -n cert-manager get deployErwartet (gekürzt, kann je nach Version abweichen):
listener https (attachedRoutes=6):
Programmed=False (Invalid): Listener is invalid, see other Conditions ...
ResolvedRefs=False (InvalidCertificateRef): Secret infra/apps-wildcard-tls
does not exist.
NAME READY SECRET AGE
apps-wildcard-tls True apps-wildcard-tls 6d
Error from server (NotFound): secrets "apps-wildcard-tls" not found
NAME READY UP-TO-DATE AVAILABLE AGE
cert-manager 0/0 0 0 6d
cert-manager-cainjector 1/1 1 1 6d
cert-manager-webhook 1/1 1 1 6d
Die Falle: Das Certificate steht weiter auf READY True.
Den Status pflegt der Controller – ist er weg, friert der letzte Stand
ein. Ohne gültiges Secret nimmt Envoy Gateway den HTTPS-Listener aus der
Konfiguration, Port 443 lehnt Verbindungen ab.
Lösung:
kubectl -n cert-manager scale deploy cert-manager --replicas=1
kubectl -n cert-manager rollout status deploy/cert-manager --timeout=2m
kubectl -n infra wait certificate apps-wildcard-tls --for=condition=Ready \
--timeout=2m
GW_IP=10.10.20.100 ~/gw-lab/code/tag12/cert-check.sh && stoppErwartet (gekürzt, kann je nach Version abweichen):
deployment "cert-manager" successfully rolled out
certificate.cert-manager.io/apps-wildcard-tls condition met
Envoy: serial=5C0A93E1F27B4D86 notAfter=Jan 8 10:02:11 2027 GMT
Secret: serial=5C0A93E1F27B4D86 notAfter=Jan 8 10:02:11 2027 GMT
✔ Envoy liefert das aktuelle Zertifikat
Zeit: 6 min
cert-manager sieht beim Start: Certificate da, Secret fehlt – und
stellt sofort neu aus. Läuft der Controller, aber das Zertifikat wird
trotzdem nicht erneuert, schau in die Kette Certificate →
CertificateRequest → Issuer:
cmctl status certificate -n infra apps-wildcard-tls | sed -n '1,12p'
kubectl get clusterissuer lab-ca
kubectl -n cert-manager logs deploy/cert-manager --since=10m | grep -iE 'error|fail'Lessons:
- Ein
Ready-Status ist nur so aktuell wie sein Controller. Alarme deshalb auf das, was Envoy ausliefert:min(envoy_server_days_until_first_cert_expiring) < 14(Tag 12). - Zusätzlich
certmanager_certificate_ready_statusund die Verfügbarkeit des cert-manager-Deployments überwachen – ein toter Controller fällt sonst erst nach Wochen auf. - Ein Wildcard-Listener ist ein Single Point of Failure: ein Secret, alle Hosts.
- Ablaufdatum direkt am Gateway prüfen:
openssl s_client ... | openssl x509 -noout -checkend 1209600(14 Tage).
Fortschritt speichern? Kostenlos registrieren
Drill 3: LB-IP weg nach Node-Drain – L2-Announcement verloren
Szenario/Auslöser: Ein Kollege hat die L2-Policy auf
einen „Edge-Node” eingeschränkt (Label gw-lab/edge=true) –
das Label trägt aber nur rke2-wk-2. Heute ist Wartung:
Drain, danach fährt die VM herunter.
kubectl label node rke2-wk-2 gw-lab/edge=true
kubectl patch ciliuml2announcementpolicy lab-l2 --type=merge \
-p '{"spec":{"nodeSelector":{"matchLabels":{"gw-lab/edge":"true"}}}}'
sleep 20
kubectl -n kube-system get lease | grep l2announceErwartet (gekürzt, kann je nach Version abweichen):
node/rke2-wk-2 labeled
ciliuml2announcementpolicy.cilium.io/lab-l2 patched
cilium-l2announce-envoy-gateway-system-envoy-infra-web-a97fc3bf rke2-wk-2 9d
cilium-l2announce-infra-cilium-gateway-web-cilium rke2-wk-2 5d
Alle Leases liegen jetzt auf rke2-wk-2. Jetzt die
Wartung:
start
kubectl drain rke2-wk-2 --ignore-daemonsets --delete-emptydir-data --timeout=3m
hc http://ha.apps.lab.internal/
VMID=$(ssh [email protected] "qm list | awk '\$2==\"rke2-wk-2\"{print \$1}'")
ssh [email protected] "qm shutdown $VMID"Zeitlimit: 10 min
Symptome: Nach dem Drain geht noch alles (der
Cilium-Agent ist ein DaemonSet und bleibt). Nach dem Herunterfahren ist
10.10.20.100 nicht mehr erreichbar – ebenso
.101. Die Envoy-Pods laufen und sind Ready.
hc http://ha.apps.lab.internal/
arping -c 2 10.10.20.100
kubectl -n envoy-gateway-system get pod -l "$SEL" -o wide | awk '{print $1,$2,$7}'Erwartet (gekürzt, kann je nach Version abweichen):
000
Timeout
--- 10.10.20.100 statistics ---
2 packets transmitted, 0 packets received, 100% packet loss
NAME READY NODE
envoy-infra-web-a97fc3bf-5d9c7b8f6-q8t7n 2/2 rke2-wk-3
envoy-infra-web-a97fc3bf-5d9c7b8f6-w3z9p 2/2 rke2-wk-1
Diagnose-Pfad: Pods gesund, Service hat eine IP – also liegt es an der Ankündigung.
kubectl -n envoy-gateway-system get svc -l "$SEL"
kubectl -n kube-system get lease \
cilium-l2announce-envoy-gateway-system-envoy-infra-web-a97fc3bf \
-o jsonpath='{.spec.holderIdentity} {.spec.renewTime}{"\n"}'
kubectl get ciliuml2announcementpolicy lab-l2 -o jsonpath='{.spec.nodeSelector}{"\n"}'
kubectl get nodes -l gw-lab/edge=trueErwartet (gekürzt, kann je nach Version abweichen):
NAME TYPE CLUSTER-IP EXTERNAL-IP
envoy-infra-web-a97fc3bf LoadBalancer 10.43.18.77 10.10.20.100
rke2-wk-2 2026-10-14T09:41:07.112233Z
{"matchExpressions":[{"key":"node-role.kubernetes.io/control-plane",
"operator":"DoesNotExist"}],"matchLabels":{"gw-lab/edge":"true"}}
NAME STATUS ROLES AGE VERSION
rke2-wk-2 NotReady <none> 9d v1.36.5+rke2r1
Die Lease wird nicht mehr erneuert, aber kein anderer Node darf sie übernehmen: Die Policy passt nur auf einen Node, und der ist aus.
Lösung: Selector zurück auf alle Worker – das ist der Stand aus Tag 9.
kubectl patch ciliuml2announcementpolicy lab-l2 --type=merge \
-p '{"spec":{"nodeSelector":{"matchLabels":null}}}'
sleep 20
kubectl -n kube-system get lease | grep l2announce
hc http://ha.apps.lab.internal/ && stopp
ssh [email protected] "qm start $VMID"
kubectl wait node rke2-wk-2 --for=condition=Ready --timeout=5m
kubectl uncordon rke2-wk-2
kubectl label node rke2-wk-2 gw-lab/edge-Erwartet (gekürzt, kann je nach Version abweichen):
ciliuml2announcementpolicy.cilium.io/lab-l2 patched
cilium-l2announce-envoy-gateway-system-envoy-infra-web-a97fc3bf rke2-wk-1 9d
...
200
Zeit: 7 min
node/rke2-wk-2 uncordoned
node/rke2-wk-2 unlabeled
Der neue Halter schickt Gratuitous ARP; Clients und Switch lernen die
neue MAC sofort. Bleibt ein Client hängen, hat er einen ARP-Eintrag
gecacht (arp -d 10.10.20.100).
Lessons:
- L2-Announcements sind nur so hochverfügbar wie die Menge der Nodes, auf die die Policy passt. Immer mindestens zwei Kandidaten, idealerweise in getrennten Racks.
kubectl drainverschiebt keine Lease – erst der Ausfall des Cilium-Agents. Teste Failover mit Herunterfahren, nicht nur mit Drain.- Diagnose für LB-IPs: Pods → Service-IP → Lease-Halter → Policy-Selector → ARP.
- Wartungsrunbooks prüfen vorher, wer die Leases hält, und verteilen sie bei Bedarf (Lease löschen; Cilium wählt neu).
Fortschritt speichern? Kostenlos registrieren
Drill 4: CRD-Upgrade blockiert – falscher Channel
Szenario/Auslöser: Ein neues Plattform-Repo installiert „die offiziellen” Gateway-API- CRDs – aus dem Standard-Channel. Das geht durch. Beim nächsten Envoy-Gateway-Upgrade (Tag 12) knallt es.
U=https://github.com/kubernetes-sigs/gateway-api/releases/download
kubectl apply --server-side --force-conflicts -f $U/v1.6.1/standard-install.yaml \
| tail -2
start
cd ~/gw-lab/code/tag12 && ./upgrade-eg.sh v1.9.2 --apply; cd ~/gw-lab/tag14Zeitlimit: 15 min
Symptome: Schritt 2 von upgrade-eg.sh
bricht ab, der Controller wird nicht aktualisiert. Der Datenverkehr
läuft (noch) normal.
Erwartet (gekürzt, kann je nach Version abweichen):
customresourcedefinition.apiextensions.k8s.io/udproutes.gateway.networking.k8s.io
serverside-applied
validatingadmissionpolicybinding.admissionregistration.k8s.io/safe-upgrades.gateway
.networking.k8s.io serverside-applied
Stoppuhr läuft
== 1. CRD-Diff
== 2. CRDs anwenden (vor dem Controller!)
Error from server (Invalid): ... "httproutes.gateway.networking.k8s.io" is forbidden:
ValidatingAdmissionPolicy 'safe-upgrades.gateway.networking.k8s.io' with binding
'safe-upgrades.gateway.networking.k8s.io' denied request: Installing experimental
CRDs on top of standard channel CRDs is prohibited by default. ...
Diagnose-Pfad:
~/gw-lab/code/tag12/crd-check.sh | awk '{print $1, $2, $3}'
kubectl explain httproute.spec.rules.retry 2>&1 | head -1
kubectl get crd -o name | grep -c 'gateway.networking.x-k8s.io'Erwartet (gekürzt, kann je nach Version abweichen):
backendtlspolicies.gateway.networking.k8s.io v1.6.1 standard
gatewayclasses.gateway.networking.k8s.io v1.6.1 standard
...
udproutes.gateway.networking.k8s.io v1.6.1 standard
error: field "retry" does not exist
3
Die zehn geteilten CRDs stehen jetzt auf standard, die
drei x-k8s.io-CRDs bleiben experimentell liegen. Die Policy
lässt Experimental über Standard nicht zu (Tag 12) – genau das will
upgrade-eg.sh aber installieren.
Lösung: Entscheiden, welcher Channel gilt. Brauchst
du keine experimentellen Felder, ist Standard die richtige Wahl:
--set crds.gatewayAPI.channel=standard in
upgrade-eg.sh und das Plattform-Repo als einzigen
CRD-Besitzer festlegen. Für das Lab gehen wir zurück auf Experimental –
mit bewusst und kurz abgeschalteter Sperre:
B=safe-upgrades.gateway.networking.k8s.io
kubectl get validatingadmissionpolicybinding $B -o yaml | yq 'del(.metadata.uid,
.metadata.resourceVersion, .metadata.creationTimestamp, .metadata.managedFields)' \
> binding-backup.yaml
kubectl delete validatingadmissionpolicybinding $B
helm template eg-crds oci://docker.io/envoyproxy/gateway-crds-helm \
--version v1.9.2 --set crds.gatewayAPI.enabled=true \
--set crds.gatewayAPI.channel=experimental --set crds.envoyGateway.enabled=true \
| yq 'select(.kind == "CustomResourceDefinition")' \
| kubectl apply --server-side --force-conflicts -f - | grep -c serverside
cd ~/gw-lab/code/tag12 && ./upgrade-eg.sh v1.9.2 --apply | tail -2
cd ~/gw-lab/tag14
kubectl apply -f binding-backup.yaml
kubectl get validatingadmissionpolicybinding $B && stoppErwartet (gekürzt, kann je nach Version abweichen):
validatingadmissionpolicybinding.admissionregistration.k8s.io "safe-upgrades..."
deleted
27
== 4. Proxys rollen nach (neues Envoy-Image)
deployment "envoy-infra-web-a97fc3bf" successfully rolled out
validatingadmissionpolicybinding.admissionregistration.k8s.io/safe-upgrades... created
NAME POLICY ...
safe-upgrades.gateway.networking.k8s.io safe-upgrades.gateway.networking.k8s.io ...
Zeit: 11 min
Erst die CRDs allein (ohne Binding), dann das normale Upgrade,
zuletzt die Binding aus dem Backup – die Sperre ist zurück. Meldet
apply „unchanged”, hat das Upgrade sie schon selbst wieder
eingespielt.
Lessons:
- Genau ein Besitzer für die Gateway-API-CRDs (Tag 12). Zwei Quellen mit verschiedenem Channel enden immer so.
- Die Policy schützt nur in eine Richtung: Standard über Experimental geht durch und verwirft experimentelle Felder beim nächsten Schreiben.
- Die Sperre nie dauerhaft entfernen. Abschalten, gezielt anwenden, wieder einschalten – und das im Change dokumentieren.
- Vor jedem CRD-Apply:
kubectl diff --server-sideundcrd-check.shlesen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Canary schickt 100 % an ein kaputtes v2
Szenario/Auslöser: Die Rollout-Pipeline hat
canary auf 0/100 gedreht – das Gate prüfte nur „Pods
Ready”. Zehn Minuten später stürzt v2 ab (hier: keine Pods mehr).
kubectl -n shop patch httproute canary --type=json -p '[
{"op":"replace","path":"/spec/rules/0/backendRefs/0/weight","value":0},
{"op":"replace","path":"/spec/rules/0/backendRefs/1/weight","value":100}]'
start
kubectl -n shop scale deploy shop-v2 --replicas=0Zeitlimit: 5 min
Symptome: Jeder Request auf
canary.apps.lab.internal liefert 503. Route und Gateway
melden überall True.
for i in $(seq 10); do hc http://canary.apps.lab.internal/; done | sort | uniq -c
conds.sh httproute canary shopErwartet (gekürzt, kann je nach Version abweichen):
10 503
parent infra/web/http:
Accepted=True (Accepted): Route is accepted
ResolvedRefs=True (ResolvedRefs): Resolved all the Object references for the Route
Diagnose-Pfad: Der Status ist grün, also zuerst ins Access Log – das Flag sagt, wo es hakt:
elog 1m | grep canary
kubectl -n shop get httproute canary \
-o jsonpath='{range .spec.rules[0].backendRefs[*]}{.name}={.weight} {end}{"\n"}'
kubectl -n shop get endpointslice -l kubernetes.io/service-name=shop-v2 \
-o jsonpath='{.items[*].endpoints}{"\n"}'Erwartet (gekürzt, kann je nach Version abweichen):
10 503 UH httproute/shop/canary/rule/0/match/0/canary_apps_lab_internal
shop-v1=0 shop-v2=100
[]
UH = „no healthy upstream”: Envoy kennt den Cluster,
aber er hat keinen Endpunkt. ResolvedRefs prüft nur, ob der
Service existiert – nicht, ob dahinter Pods laufen.
Lösung: Erst den Traffic retten, dann v2 reparieren. Der Rollback ist ein Patch (Tag 5):
kubectl -n shop patch httproute canary --type=json -p '[
{"op":"replace","path":"/spec/rules/0/backendRefs/0/weight","value":100},
{"op":"replace","path":"/spec/rules/0/backendRefs/1/weight","value":0}]'
sleep 3
for i in $(seq 10); do hc http://canary.apps.lab.internal/; done | sort | uniq -c
stopp
kubectl -n shop scale deploy shop-v2 --replicas=1Erwartet (gekürzt, kann je nach Version abweichen):
httproute.gateway.networking.k8s.io/canary patched
10 200
Zeit: 3 min
deployment.apps/shop-v2 scaled
Lessons:
- Gewichte kennen keine Health. Ein Rollout-Gate muss die Fehlerrate
der Route messen (
route:error5xx:ratio5m, Tag 11), nicht den Pod-Status. - Auch nach 100 % das alte Backend mit Gewicht 0 in der Route lassen – dann ist der Rollback ein Zahlendreher statt einer Neukonstruktion.
- Response-Flags im Access Log sind die schnellste Diagnose:
UHkeine Endpunkte,UFVerbindung abgelehnt,UTTimeout,RLRate Limit,RLSERate-Limit-Dienst kaputt. shop-v2hängt auch anapiundshop-beta– ein Ausfall trifft mehrere Routen.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Redis weg – das globale Rate Limit blockiert alles
Szenario/Auslöser: Die Security hat „Rate Limits
dürfen nie umgangen werden” durchgesetzt: failClosed: true
in der Envoy-Gateway-Konfiguration. Dann fällt Redis aus.
cat > ~/gw-lab/tag14/eg-failclosed.yaml <<'EOF'
# Tag 14: Rate-Limit-Dienst nicht erreichbar -> Request ablehnen (500)
config:
envoyGateway:
rateLimit:
failClosed: true
EOF
C=~/gw-lab/code
helm upgrade eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.2 \
-n envoy-gateway-system -f $C/tag10/eg-values.yaml -f $C/tag12/eg-ha-values.yaml \
-f ~/gw-lab/tag14/eg-failclosed.yaml --wait | head -1
kubectl -n envoy-gateway-system rollout restart deploy/envoy-gateway
kubectl -n envoy-gateway-system rollout status deploy/envoy-gateway
start
kubectl -n redis-system scale deploy redis --replicas=0Zeitlimit: 10 min
Symptome: shop.apps.lab.internal
liefert für jeden Request 500 – auch für den ersten der Minute.
ha.apps.lab.internal und
canary.apps.lab.internal laufen.
for i in $(seq 5); do hc http://shop.apps.lab.internal/; done | sort | uniq -c
hc http://ha.apps.lab.internal/Erwartet (gekürzt, kann je nach Version abweichen):
5 500
200
Diagnose-Pfad: Nur eine Route betroffen → was hängt an genau dieser Route?
elog 1m | grep 'shop/shop/'
kubectl get backendtrafficpolicy -A
kubectl -n envoy-gateway-system logs deploy/envoy-ratelimit --since=5m | tail -2
kubectl -n redis-system get deploy redis
kubectl -n envoy-gateway-system get cm envoy-gateway-config -o yaml \
| grep -A6 'rateLimit:'Erwartet (gekürzt, kann je nach Version abweichen):
5 500 RLSE httproute/shop/shop/rule/0/match/0/shop_apps_lab_internal
NAMESPACE NAME AGE
shop shop 4d
... redis: dial tcp 10.43.120.14:6379: connect: connection refused
NAME READY UP-TO-DATE AVAILABLE AGE
redis 0/0 0 0 4d
rateLimit:
backend:
redis:
url: redis.redis-system.svc.cluster.local:6379
type: Redis
failClosed: true
RLSE = Rate Limit Service Error: Envoy hat den
Rate-Limit-Dienst gefragt und keine Antwort bekommen. Mit
failClosed: true wird daraus ein 500.
Lösung: Sofort Redis zurückholen. Danach entscheiden, ob fail-closed wirklich gewollt ist.
kubectl -n redis-system scale deploy redis --replicas=1
kubectl -n redis-system rollout status deploy/redis --timeout=2m
kubectl -n envoy-gateway-system rollout restart deploy/envoy-ratelimit
kubectl -n envoy-gateway-system rollout status deploy/envoy-ratelimit
hc http://shop.apps.lab.internal/ && stoppErwartet (gekürzt, kann je nach Version abweichen):
deployment "redis" successfully rolled out
deployment "envoy-ratelimit" successfully rolled out
200
Zeit: 6 min
Zurück auf den Default (fail-open), wie an Tag 10:
helm upgrade eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.2 \
-n envoy-gateway-system -f $C/tag10/eg-values.yaml -f $C/tag12/eg-ha-values.yaml \
--wait | head -1
kubectl -n envoy-gateway-system rollout restart deploy/envoy-gatewayLessons:
- Default ist fail-open (
failClosed: false): Fällt Redis aus, gibt es gar kein Limit mehr – still, ohne Fehler. Das ist das häufigere und gefährlichere Szenario. - fail-closed nur mit hochverfügbarem Redis (Sentinel/Cluster) und
eigenem Alarm auf
RLSEim Access Log bzw. die Verfügbarkeit vonenvoy-ratelimit. - Das Timeout zum Rate-Limit-Dienst ist 20 ms
(
rateLimit.timeout). Ein langsames Redis wirkt deshalb wie ein ausgefallenes. - Ein lokales Limit (Tag 10) als zweite Linie braucht keine externe Abhängigkeit.
Fortschritt speichern? Kostenlos registrieren
Drill 7: JWT-Prüfung scheitert – Issuer nicht erreichbar
Szenario/Auslöser: Keycloak fällt aus (hier: auf 0
skaliert). Kurz danach rollen die Envoy-Pods neu aus – etwa durch eine
EnvoyProxy-Änderung. Hol dir vorher ein Token (Tag 10,
Drill 6).
TOKEN=$(curl -s --cacert $CA \
https://keycloak.apps.lab.internal/realms/lab/protocol/openid-connect/token \
-d grant_type=client_credentials -d client_id=api-client \
-d client_secret=lab-api-secret-1234 | jq -r .access_token)
hc -H "Authorization: Bearer $TOKEN" https://api.apps.lab.internal/
start
kubectl -n keycloak scale deploy keycloak --replicas=0
kubectl -n envoy-gateway-system rollout restart deploy -l "$SEL"
kubectl -n envoy-gateway-system rollout status deploy -l "$SEL" --timeout=5mZeitlimit: 10 min
Symptome: Die API lehnt auch gültige Tokens mit 401 ab. Das Portal leitet zum Login um, die Login-Seite liefert 503.
curl -s --cacert $CA -H "Authorization: Bearer $TOKEN" https://api.apps.lab.internal/
echo
hc https://portal.apps.lab.internal/
hc https://keycloak.apps.lab.internal/realms/labErwartet (gekürzt, kann je nach Version abweichen):
Jwks remote fetch is failed
302
503
Diagnose-Pfad:
conds.sh securitypolicy api-jwt shop
kubectl -n keycloak get deploy keycloak
kubectl run jwks --rm -i --restart=Never -q --image=curlimages/curl -- \
curl -sk -o /dev/null -w '%{http_code}\n' \
https://keycloak.apps.lab.internal/realms/lab/protocol/openid-connect/certsErwartet (gekürzt, kann je nach Version abweichen):
ancestor infra/web/:
Accepted=True (Accepted): Policy has been accepted.
NAME READY UP-TO-DATE AVAILABLE AGE
keycloak 0/0 0 0 4d
503
Die Policy ist gültig – sie kann den Schlüssel nur nicht holen. Envoy
hält die JWKS im Speicher (remoteJWKS.cacheDuration,
Default 300 s). Laufende Pods hätten den Ausfall bis zum Ablauf
überbrückt; die frisch gestarteten Pods hatten nie einen Schlüssel.
Lösung:
kubectl -n keycloak scale deploy keycloak --replicas=1
kubectl -n keycloak rollout status deploy/keycloak --timeout=5m
TOKEN=$(curl -s --cacert $CA \
https://keycloak.apps.lab.internal/realms/lab/protocol/openid-connect/token \
-d grant_type=client_credentials -d client_id=api-client \
-d client_secret=lab-api-secret-1234 | jq -r .access_token)
sleep 30
hc -H "Authorization: Bearer $TOKEN" https://api.apps.lab.internal/ && stoppErwartet (gekürzt, kann je nach Version abweichen):
deployment "keycloak" successfully rolled out
200
Zeit: 8 min
Warum ein neues Token? Keycloak läuft im Lab im Dev-Modus ohne
Datenbank (Tag 10). Nach dem Neustart hat der Realm neue
Signaturschlüssel – alte Tokens sind ungültig. In Produktion mit
Postgres bleiben die Schlüssel erhalten. Bis Envoy nach einem Fehlschlag
erneut holt, vergeht etwas Zeit (failedRefetchDuration),
daher das sleep.
Lessons:
- Der Identity Provider ist eine harte Abhängigkeit des Gateways – HA wie das Gateway selbst, mit eigenem Monitoring.
- Envoy-Restarts und IdP-Ausfälle nie gleichzeitig: Wartungsfenster koordinieren.
cacheDurationerhöhen verlängert die Überbrückung, verzögert aber Schlüsselrotation. Für interne Dienste istlocalJWKSaus einer ConfigMap eine Option ohne Laufzeit- Abhängigkeit.- Envoy-Metriken
jwks_fetch_failedund 401-Rate pro Route als Alarm.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Routenkonflikt – ein fremdes Team kapert den Shop
Szenario/Auslöser: Das Payments-Team kopiert eine Route als Vorlage und vergisst den Hostname zu ändern. Der Listener erlaubt seit Tag 9 Routes aus allen Namespaces.
start
kubectl apply -f - <<'EOF'
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
name: pay-portal
namespace: payments
spec:
parentRefs:
- {name: web, namespace: infra}
hostnames: [shop.apps.lab.internal] # kopiert, nicht angepasst
rules:
- matches:
- path: {type: PathPrefix, value: /}
method: GET
backendRefs:
- {name: payments-api, port: 80}
EOFZeitlimit: 10 min
Symptome: Der Shop zeigt plötzlich die Payments-API.
POST-Requests landen noch beim Shop. Kein Team hat an der Route
shop etwas geändert.
curl -s http://shop.apps.lab.internal/ | jq -r .service
curl -s -X POST http://shop.apps.lab.internal/ | jq -r .serviceErwartet (gekürzt, kann je nach Version abweichen):
payments-api
shop-v1
Diagnose-Pfad: Wer beansprucht diesen Hostname? Alle Routen über alle Namespaces:
H=shop.apps.lab.internal
kubectl get httproute -A -o json | jq -r --arg h "$H" '.items[]
| select(.spec.hostnames // [] | index($h))
| "\(.metadata.namespace)/\(.metadata.name) \(.metadata.creationTimestamp)"'
conds.sh httproute pay-portal payments
elog 1m | grep -E 'pay-portal|shop/shop/'Erwartet (gekürzt, kann je nach Version abweichen):
shop/shop 2026-10-04T08:12:40Z
shop/shop-admin 2026-10-05T10:03:12Z
payments/pay-portal 2026-10-14T11:20:05Z
parent infra/web/http:
Accepted=True (Accepted): Route is accepted
ResolvedRefs=True (ResolvedRefs): Resolved all the Object references for the Route
parent infra/web/https:
Accepted=True (Accepted): Route is accepted
ResolvedRefs=True (ResolvedRefs): Resolved all the Object references for the Route
3 200 - httproute/payments/pay-portal/rule/0/match/0/shop_apps_lab_internal
Kein Fehler, kein RouteRulesOverlap: Die neue Regel ist
nicht gleich, sondern spezifischer
(method: GET schlägt eine reine Pfad-Regel, Tag 7).
„Älteste Route gewinnt” gilt nur bei Gleichstand. Nebenbei umgeht die
fremde Route das Rate Limit und die Policies, die an
shop/shop hängen.
Lösung: Route entfernen, dann die Ursache abstellen.
allowedRoutes hilft hier nicht: Beide Teams dürfen an den
Wildcard-Listener, und das soll so bleiben. Was fehlt, ist eine Regel
für den Hostname-Besitz – als
ValidatingAdmissionPolicy:
kubectl -n payments delete httproute pay-portal
curl -s http://shop.apps.lab.internal/ | jq -r .service && stopp
cat > hostname-owner.yaml <<'EOF'
# Tag 14: shop.apps.lab.internal darf nur aus dem Namespace shop kommen
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicy
metadata:
name: hostname-owner
spec:
failurePolicy: Fail
matchConstraints:
resourceRules:
- apiGroups: [gateway.networking.k8s.io]
apiVersions: ["*"]
operations: [CREATE, UPDATE]
resources: [httproutes, grpcroutes]
validations:
- expression: >-
object.metadata.namespace == 'shop' || !has(object.spec.hostnames) ||
object.spec.hostnames.all(h, h != 'shop.apps.lab.internal')
message: "Hostname shop.apps.lab.internal gehört dem Namespace shop"
---
apiVersion: admissionregistration.k8s.io/v1
kind: ValidatingAdmissionPolicyBinding
metadata:
name: hostname-owner
spec:
policyName: hostname-owner
validationActions: [Deny]
EOF
kubectl apply -f hostname-owner.yamlErwartet (gekürzt, kann je nach Version abweichen):
httproute.gateway.networking.k8s.io "pay-portal" deleted from payments namespace
shop-v1
Zeit: 6 min
validatingadmissionpolicy.admissionregistration.k8s.io/hostname-owner created
validatingadmissionpolicybinding.admissionregistration.k8s.io/hostname-owner created
Gegenprobe: Wiederhole den Auslöser. Jetzt lehnt der API-Server die Route ab.
Erwartet (gekürzt, kann je nach Version abweichen):
The httproutes "pay-portal" is invalid: : ValidatingAdmissionPolicy 'hostname-owner'
with binding 'hostname-owner' denied request: Hostname shop.apps.lab.internal gehört
dem Namespace shop
Achtung: Eine Route ohne
hostnameserbt den Wildcard des Listeners und rutscht durch diese einfache Regel. In Produktion pflegst du die Zuordnung Hostname → Team als Parameter (paramKind) oder mit Kyverno und verlangsthostnamesan jeder Route.
Lessons:
- Konflikte sind meistens kein Statusfehler.
RouteRulesOverlapmeldet nur Gleichstand; Vorrang durch Spezifität ist aus Sicht der API gewolltes Verhalten. - Hostname-Besitz gehört in eine Policy:
allowedRoutesper Namespace-Selector, ListenerSets pro Team (Tag 7) oder eine Admission-Regel „Hostname X nur aus Namespace Y” (Kyverno/ValidatingAdmissionPolicy). - Die jq-Abfrage „wer beansprucht Hostname X” gehört ins Runbook und in die CI der App-Teams.
Fortschritt speichern? Kostenlos registrieren
Ausblick: Gateway API Inference Extension
LLM-Backends passen schlecht zu Round Robin: Ein Request belegt eine
GPU sekundenlang, der KV-Cache entscheidet über die Latenz. Die
Gateway API Inference Extension (GAIE) ergänzt deshalb
ein eigenes Backend-Objekt, den InferencePool. Ein
Endpoint Picker (EPP) wählt per Envoy
ext_proc für jeden Request den passenden Pod – nach
Queue-Länge, KV-Cache-Auslastung und geladenen LoRA-Adaptern.
| Objekt | API | Stand (GAIE v1.6.2) |
|---|---|---|
InferencePool |
inference.networking.k8s.io/v1 |
GA |
InferencePoolImport |
inference.networking.x-k8s.io/v1alpha1 |
Alpha, Multi-Cluster |
InferenceObjective |
früher inference.networking.x-k8s.io/v1alpha2 |
seit v1.6.0 entfernt |
InferenceObjective (Priorität/Kritikalität pro Modell,
Nachfolger von InferenceModel) und der voll ausgebaute EPP
sind mit GAIE v1.6.0 ins Projekt llm-d umgezogen. GAIE
selbst liefert nur noch Spezifikation, CRDs, Conformance und einen
leichten Referenz-EPP (lwepp) für Tests.
Envoy Gateway v1.9 übersetzt InferencePool nicht selbst.
Die Unterstützung kommt über das Extension-Management: Der Controller
des früheren Envoy AI Gateway (heute „Agent Router”,
theagentrouter/agent-router) registriert sich als
Extension-Server und übernimmt die Backend-Art
InferencePool. Ausschnitt aus dessen Helm-Values für Envoy
Gateway:
# Nur Doku – nicht im Lab ausgerollt (Werte aus agent-router/examples/inference-pool)
config:
envoyGateway:
extensionManager:
backendResources:
- group: inference.networking.k8s.io
kind: InferencePool
version: v1Die Route bleibt eine normale HTTPRoute, nur das Backend ist ein Pool:
apiVersion: inference.networking.k8s.io/v1
kind: InferencePool
metadata:
name: mistral
namespace: llm
spec:
selector:
matchLabels:
app: mistral-vllm
targetPorts:
- number: 8000
endpointPickerRef: # seit GAIE v1.6.0 optional, praktisch aber nötig
name: mistral-epp
port:
number: 9002
---
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
name: llm
namespace: llm
spec:
parentRefs:
- {name: web, namespace: infra}
hostnames: [llm.apps.lab.internal]
rules:
- matches:
- path: {type: PathPrefix, value: /v1}
backendRefs:
- group: inference.networking.k8s.io
kind: InferencePool
name: mistral(Nur gegen die offizielle Doku geprüft, nicht im Lab ausgerollt.) Für den Wettkampf heißt das: Bei Inference-Backends kommt eine weitere Abhängigkeit dazu – fällt der EPP aus, steht die Route. Der Diagnose-Pfad bleibt derselbe: Status des Pools, Access Log, dann die Abhängigkeit.
Bewertung
| Drill | Zeitlimit | Punkte | geschafft |
|---|---|---|---|
| 1 ReferenceGrant weg (+ Runde 2) | 5 min | 10 | [ ] |
| 2 Zertifikat weg, cert-manager aus | 10 min | 15 | [ ] |
| 3 L2-Announcement verloren | 10 min | 15 | [ ] |
| 4 CRD-Channel und safe-upgrades | 15 min | 15 | [ ] |
| 5 Canary 100 % auf kaputtes v2 | 5 min | 10 | [ ] |
| 6 Redis weg, fail-closed | 10 min | 10 | [ ] |
| 7 JWKS nicht erreichbar | 10 min | 15 | [ ] |
| 8 Routenkonflikt | 10 min | 10 | [ ] |
| Summe | 75 min | 100 |
Volle Punkte nur in der Zeit; bis zum doppelten Zeitlimit die Hälfte. Ab 70 Punkten bist du bereit für die Rufbereitschaft. Schreib zu jedem verpassten Limit eine Zeile ins Runbook: Welches Symptom hat dich auf die falsche Spur gebracht?
Kontrollpunkt
Nach allen Drills muss das Lab wieder im Stand von Tag 13 sein – plus die Hostname-Policy aus Drill 8.
cat > ~/gw-lab/tag14/check.sh <<'EOF'
#!/usr/bin/env bash
# Tag 14: Ist nach dem Wettkampf alles wieder heil?
source ~/gw-lab/tag14/wk.sh
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "ReferenceGrant zurück" \
'kubectl -n payments get referencegrant shop-to-payments-api'
check "Checkout 200" '[ "$(hc https://checkout.apps.lab.internal/)" = 200 ]'
check "cert-manager läuft" \
'kubectl -n cert-manager rollout status deploy/cert-manager --timeout=5s'
check "Envoy liefert aktuelles Zertifikat" \
'"$HOME"/gw-lab/code/tag12/cert-check.sh | grep -q "✔"'
check "L2-Policy ohne Edge-Label" \
'! kubectl get ciliuml2announcementpolicy lab-l2 -o yaml | grep -q gw-lab/edge'
check "alle Nodes Ready" '! kubectl get nodes --no-headers | grep -v " Ready "'
check "CRDs alle experimental" \
'! "$HOME"/gw-lab/code/tag12/crd-check.sh | grep -q standard'
check "safe-upgrades-Binding aktiv" 'kubectl get validatingadmissionpolicybinding \
safe-upgrades.gateway.networking.k8s.io'
check "Canary zurück auf v1" '[ "$(kubectl -n shop get httproute canary \
-o jsonpath="{.spec.rules[0].backendRefs[0].weight}")" = 100 ]'
check "Redis läuft" 'kubectl -n redis-system rollout status deploy/redis --timeout=5s'
check "Rate Limit wieder fail-open" '! kubectl -n envoy-gateway-system get cm \
envoy-gateway-config -o yaml | grep -q "failClosed: true"'
check "Keycloak läuft" \
'kubectl -n keycloak rollout status deploy/keycloak --timeout=5s'
check "keine fremde Shop-Route" '! kubectl -n payments get httproute pay-portal'
check "Hostname-Policy aktiv" 'kubectl get validatingadmissionpolicy hostname-owner'
EOF
chmod +x ~/gw-lab/tag14/check.sh && ~/gw-lab/tag14/check.shErwartet (gekürzt, kann je nach Version abweichen):
✔ ReferenceGrant zurück
✔ Checkout 200
✔ cert-manager läuft
✔ Envoy liefert aktuelles Zertifikat
✔ L2-Policy ohne Edge-Label
✔ alle Nodes Ready
✔ CRDs alle experimental
✔ safe-upgrades-Binding aktiv
✔ Canary zurück auf v1
✔ Redis läuft
✔ Rate Limit wieder fail-open
✔ Keycloak läuft
✔ keine fremde Shop-Route
✔ Hostname-Policy aktiv
Danach die Übungsrouten abräumen:
kubectl delete -f ~/gw-lab/tag14/wettkampf-routes.yaml.
Challenge
Schreib ein Triage-Skript triage.sh, das in unter zehn
Sekunden ein Lagebild liefert: alle Gateway-API-Objekte und
Envoy-Gateway-Policies mit einer Condition False (oder
RouteRulesOverlap=True), alle Certificates, die nicht
Ready sind, und die Response-Flags der letzten fünf Minuten
aus dem Access Log. Es soll Drill 1, 2, 5 und 6 auf einen Blick
zeigen.
Hinweis: Routes melden in
status.parents, Policies in status.ancestors,
Gateways in status.conditions und
status.listeners – eine jq-Abfrage pro Form reicht.
Lösung
cat > ~/gw-lab/tag14/triage.sh <<'EOF'
#!/usr/bin/env bash
# Tag 14: Lagebild für Gateway-Störungen
set -uo pipefail
NS=envoy-gateway-system
SEL=gateway.envoyproxy.io/owning-gateway-name=web
bad='select(.status == "False" or (.type == "RouteRulesOverlap"
and .status == "True"))'
echo "== Gateways / Listener"
kubectl get gateway -A -o json | jq -r ".items[] | . as \$g
| ((.status.conditions // []), (.status.listeners[]?.conditions // []))
| .[] | $bad | \"\(\$g.metadata.namespace)/\(\$g.metadata.name)\"
+ \" \(.type)=\(.status) \(.reason)\""
echo "== Routes und Policies"
for k in httproute grpcroute tlsroute tcproute udproute backendtlspolicy \
clienttrafficpolicy backendtrafficpolicy securitypolicy; do
kubectl get "$k" -A -o json 2>/dev/null | jq -r --arg k "$k" ".items[] | . as \$r
| ((.status.parents // []) + (.status.ancestors // []))[]
| .conditions[]? | $bad
| \"\(\$k) \(\$r.metadata.namespace)/\(\$r.metadata.name)\"
+ \" \(.type)=\(.status) \(.reason)\""
done
echo "== Certificates nicht Ready"
kubectl get certificate -A -o json | jq -r '.items[]
| select([.status.conditions[]? | select(.type == "Ready")
| .status] != ["True"])
| "\(.metadata.namespace)/\(.metadata.name)"'
echo "== Response-Flags (5 min, ohne '-')"
kubectl -n "$NS" logs -l "$SEL" -c envoy --since=5m 2>/dev/null | grep '^{' \
| jq -r 'select(.flags != "-") | "\(.status) \(.flags) \(.route)"' \
| sort | uniq -c | sort -rn | head
EOF
chmod +x ~/gw-lab/tag14/triage.sh
kubectl -n payments delete referencegrant shop-to-payments-api
for i in 1 2 3; do hc https://checkout.apps.lab.internal/; done >/dev/null
~/gw-lab/tag14/triage.sh
kubectl apply -f ~/gw-lab/code/tag07/refgrant-backend.yamlErwartet (gekürzt, kann je nach Version abweichen):
referencegrant.gateway.networking.k8s.io "shop-to-payments-api" deleted
== Gateways / Listener
== Routes und Policies
httproute shop/checkout ResolvedRefs=False RefNotPermitted
== Certificates nicht Ready
== Response-Flags (5 min, ohne '-')
3 500 - httproute/shop/checkout/rule/0/match/0/checkout_apps_lab_internal
referencegrant.gateway.networking.k8s.io/shop-to-payments-api created
Der 500 von Drill 1 hat kein Flag – Envoy beantwortet ihn selbst über eine Direct Response. Deshalb zeigt das Skript die Statuszeile mit, nicht nur die Flags: Hier hilft der Status, bei Drill 5 und 6 das Flag. Ohne Filter sähe die letzte Sektion alle Requests; so bleiben nur Auffälligkeiten.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Desaster-Drills regelmäßig im Staging als Gameday fahren, mit Beobachter und Protokoll – ein Runbook, das nie geübt wurde, ist eine Vermutung.
- Jede Abhängigkeit des Gateways (cert-manager, Redis, IdP, CRD-Pipeline, L2/BGP) hat einen Owner, einen Alarm und einen dokumentierten Fallback (fail-open/fail-closed).
- Admission-Policies sind die billigste Prävention: Hostname-Besitz,
Pflicht-
hostnames, keine Gewichte auf Backends ohne Endpunkte (per CI), geschützte Namespace-Labels. - Rollback-Wege vorher festlegen: Gewichte (Sekunden), DNS (TTL), GitOps-Revert (Minuten), etcd-Snapshot (letzter Ausweg, Tag 8).
- Inference-Backends (InferencePool, EPP) bringen GPU-Kapazität und Modell-Server als neue Ausfallklassen – Drills dafür erst, wenn die Plattform sie produktiv betreibt.