Tag 21: Wettkampf – das kaputte Netz reparieren
Ziel: Du findest und behebst acht eingebaute Netzwerkfehler quer über den CKNE-Lehrplan – gegen die Uhr, mit Nachweis vorher und nachher. · Dauer: ca. 90 min · Voraussetzung: Tag 0–20
Briefing
- Alle fünf Lehrplanbereiche: Core Infrastructure and CNI, Service Networking and DNS, Advanced Traffic Management, Network Security and Policy, Observability.
- Acht Runden, jede in eigenem Namespace (
tag21-r1…tag21-r8). Runde 1 (Agent), Runde 3 (CoreDNS) und Runde 7 (BGP) bauen den Fehler in den Cluster selbst ein – du baust ihn zurück. - Werkzeuge wie in der Prüfung:
k get/describe, Status-Conditions,cilium,cilium-dbg,hubble observe,curl,dig,sshauf Nodes undrouter. - Jede Runde endet mit einem Beweis-Befehl: kaputt vorher, heil nachher.
- Neu in diesem Wettkampf:
CiliumNodeConfig(Cilium-Werte pro Node, sie überschreiben die ConfigMap;k get ciliumnodeconfigs -A) undhubble observe --drop-reason-desc(Drops nach Grund filtern). Beides steht auch im Spickzettel.
Runde Fehler Werkzeug
1 Pods auf worker2 isoliert cilium-dbg status, CiliumNodeConfig
2 Service ohne Backends EndpointSlice, Port-Namen
3 falsche Antwort für einen Service-Namen dig, Corefile
4 Default Deny frisst DNS hubble observe, NetworkPolicy
5 App meldet 403 hubble --protocol http, CNP L7
6 HTTPS am Gateway kaputt curl --cacert, Route-Status
7 LoadBalancer-IP von außen tot cilium bgp, FRR
8 Failover nach west greift nicht clustermesh, global-Annotation
mkdir -p ~/ckne/tag21 && cd ~/ckne/tag21Spielregeln
- Pro Runde: Einbau-Befehle der Spielleitung ausführen, dann Uhr starten. Das Manifest nicht studieren – in der Prüfung siehst du es auch erst, wenn du suchst.
- Ursache finden, beheben, mit einem Befehl beweisen. Erst dann Uhr stoppen.
- Repariere die Ursache, nicht das Symptom: Wer eine Policy löscht, statt sie zu korrigieren, oder Pods auf einen anderen Node schiebt, bekommt null Punkte.
- Den Hinweis erst lesen, wenn das Zeitziel abgelaufen ist.
Jede Runde außer Runde 8 beginnt gleich (Runde 8 legt die Namespaces in beiden Clustern selbst an), hier für Runde 1:
k create ns tag21-r1
k config set-context --current --namespace=tag21-r1Runde 1: Insel worker2
Lage: Nach einem Wartungsfenster melden Teams: Pods
auf worker2 lösen keine Namen mehr auf und erreichen keine
Pods auf anderen Nodes. Alle Cilium-Pods sind Running.
Finde die Ursache und stelle den Normalzustand her.
Spielleitung:
k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
--replicas=2 --port=8080 -- /agnhost netexec --http-port=8080
k expose deployment echo --port=80 --target-port=8080
k run c1 --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker1"}}' -- sleep infinity
k run c2 --image=nicolaka/netshoot:v0.16 \
--overrides='{"spec":{"nodeName":"worker2"}}' -- sleep infinity
k wait --for=condition=Ready pod --all
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNodeConfig
metadata:
name: worker2-tuning
namespace: kube-system
spec:
nodeSelector:
matchLabels:
kubernetes.io/hostname: worker2
defaults:
tunnel-port: "8473"
EOF
k -n kube-system delete pod -l k8s-app=cilium --field-selector spec.nodeName=worker2
k -n kube-system rollout status ds/ciliumZeitziel: 6 min
Hinweis: Konfiguration kommt nicht nur aus der
ConfigMap cilium-config. Das Init-Container-Log des Agents
verrät, welche Quellen er gelesen hat.
Lösung
Symptome und erster Blick auf die Agenten:
k exec c2 -- curl -sS -m3 echo/hostname; echo " rc=$?"
cilium status | grep -E 'Cilium:|Hubble Relay:'
for n in worker1 worker2; do
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=$n -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status \
| grep 'Cluster health'
doneErwartet (gekürzt):
curl: (28) Resolving timed out after 3002 milliseconds
command terminated with exit code 28
rc=28
/¯¯\__/¯¯\ Cilium: 1 errors
\__/¯¯\__/ Hubble Relay: 2 errors
Cluster health: 3/4 reachable (2026-11-19T02:29:20Z) ...
Cluster health: 1/3 reachable (2026-11-19T02:27:57Z) ...
cilium-health prüft jeden Node über den Tunnel:
worker2 erreicht nur sich selbst, die anderen erreichen
worker2 nicht (die 4 zählt west/argo mit).
Woher hat der Agent auf worker2 seine Konfiguration
($CP zeigt nach der Schleife auf ihn)?
k -n kube-system logs $CP -c config | grep 'Got configuration' | grep -o 'lenC.*'
k get ciliumnodeconfigs -A
k -n kube-system get ciliumnodeconfig worker2-tuning -o jsonpath='{.spec.defaults}'
echo
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
| grep -o 'dstport [0-9]*'
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
| grep -o 'dstport [0-9]*'Erwartet (gekürzt):
lenConfigPairs=188 configSource="{Kind:config-map Namespace:kube-system Name:cil...
lenConfigPairs=1 configSource="{Kind:cilium-node-config Namespace:kube-system ...
NAMESPACE NAME AGE
kube-system worker2-tuning 50m
{"tunnel-port":"8473"}
dstport 8472
dstport 8473
Eine CiliumNodeConfig überschreibt Werte der ConfigMap
für ausgewählte Nodes. Hier kapselt worker2 VXLAN auf UDP
8473, alle anderen auf 8472 – die Pakete kommen an, aber niemand packt
sie aus. cilium config view zeigt das nicht, es liest nur
die ConfigMap. Reparatur: Override löschen, Agent neu starten:
k -n kube-system delete ciliumnodeconfig worker2-tuning
k -n kube-system delete pod -l k8s-app=cilium --field-selector spec.nodeName=worker2
k -n kube-system rollout status ds/cilium
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
| grep -o 'dstport [0-9]*'Erwartet:
ciliumnodeconfig.cilium.io "worker2-tuning" deleted from kube-system namespace
pod "cilium-nwzn2" deleted from kube-system namespace
daemon set "cilium" successfully rolled out
dstport 8472
Nach ein bis zwei Minuten (bis die anderen Agenten den Node neu eingetragen haben):
k exec c2 -- curl -s -m3 echo/hostname; echo
for i in $(seq 8); do k exec c1 -- curl -s -m2 echo/hostname; echo; done \
| sort | uniq -cErwartet:
echo-cc8555f69-x8r52
2 echo-cc8555f69-574ns
6 echo-cc8555f69-x8r52
Beide Backends antworten, auch über die Node-Grenze. Wer stattdessen nur die Pods neu startet, ändert nichts: Der Fehler sitzt im Datenpfad des Nodes.
Fortschritt speichern? Kostenlos registrieren
Runde 2: Der Service ohne Ziel
Lage: In tag21-r2 laufen zwei gesunde
notes-api-Pods, Readiness grün. Der Service notes lehnt
trotzdem jede Verbindung ab. Repariere den Service, ohne das Deployment
anzufassen.
Spielleitung (Namespace und Kontext wie oben, hier
tag21-r2):
k apply -f - <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
name: notes
spec:
replicas: 2
selector:
matchLabels:
app: notes
template:
metadata:
labels:
app: notes
spec:
containers:
- name: notes-api
image: ghcr.io/thomaszachmann/notes-api:0.5.1
env:
- name: NOTES_API_KEY
value: lab-key-123
ports:
- name: api
containerPort: 8080
readinessProbe:
httpGet:
path: /healthz
port: api
---
apiVersion: v1
kind: Service
metadata:
name: notes
spec:
selector:
app: notes
ports:
- name: http
port: 80
targetPort: http
EOF
k run c --image=curlimages/curl:8.17.0 --command -- sleep infinity
k rollout status deploy notesZeitziel: 3 min
Hinweis: Die EndpointSlice hat Adressen. Schau auf die Spalte daneben.
Lösung
k exec c -- curl -sS -m3 notes/version; echo " rc=$?"
k get endpointslices
k describe svc notes | grep -E 'TargetPort|Endpoints'
k get pods -l app=notes -o jsonpath='{.items[0].spec.containers[0].ports}'; echo
CIP=$(k get svc notes -o jsonpath='{.spec.clusterIP}')
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
| grep -A2 $CIPErwartet:
curl: (7) Failed to connect to notes port 80 after 3 ms: Could not connect to server
command terminated with exit code 7
rc=7
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
notes-9mbxg IPv4 <unset> 10.0.1.2,10.0.2.71 36m
TargetPort: http/TCP
Endpoints: 10.0.1.2,10.0.2.71
[{"containerPort":8080,"name":"api","protocol":"TCP"}]
75 10.96.118.49:80/TCP ClusterIP
Ein benannter targetPort wird je Pod über den Namen des
Container-Ports aufgelöst. Kein Pod hat einen Port http –
die Slice kennt die Adressen, aber keinen Port. Cilium programmiert den
Service deshalb ohne Backend und weist jede Verbindung sofort ab (Exit
7, kein Hubble-Flow).
k patch svc notes -p '{"spec":{"ports":[{"port":80,"targetPort":"api"}]}}'
k get endpointslices
k exec c -- curl -s -m3 notes/version; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
| grep -A2 $CIPErwartet:
service/notes patched
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
notes-9mbxg IPv4 8080 10.0.2.71,10.0.1.2 36m
0.5.1
75 10.96.118.49:80/TCP ClusterIP 1 => 10.0.1.2:8080/TCP (active)
2 => 10.0.2.71:8080/TCP (active)
Der Patch trifft den Port-Eintrag über seinen Schlüssel
port: 80; der Name http bleibt erhalten.
Fortschritt speichern? Kostenlos registrieren
Runde 3: Der falsche Zwilling
Lage: In tag21-r3 gibt es
api (neu) und api-v1 (alt). Clients, die
api aufrufen, landen beim alten Dienst. Deployments und
Services sind korrekt.
Spielleitung (Sicherung zuerst – sie dient am Ende als Beweis):
for d in api api-v1; do
k create deployment $d --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
--port=8080 -- /agnhost netexec --http-port=8080
k expose deployment $d --port=80 --target-port=8080
done
k run c --image=nicolaka/netshoot:v0.16 -- sleep infinity
k -n kube-system get cm coredns -o yaml > r3-coredns-backup.yaml
k -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' > r3-Corefile
R='rewrite name exact api.tag21-r3.svc.cluster.local'
sed -i "s/^ ready$/ ready\n $R api-v1.tag21-r3.svc.cluster.local/" r3-Corefile
k -n kube-system create configmap coredns --from-file=Corefile=r3-Corefile $do \
| k replace -f -Etwa eine Minute warten, bis beide CoreDNS-Pods neu geladen haben.
Zeitziel: 5 min
Hinweis: Vergleiche die IP aus dem DNS mit
k get svc. Wer im Cluster Namen beantwortet, liest seine
Regeln aus einer ConfigMap.
Lösung
k exec c -- curl -s -m3 api/hostname; echo
k get svc
k exec c -- dig api.tag21-r3.svc.cluster.local | grep -A1 'ANSWER SECTION'
k exec c -- curl -s -m3 $(k get svc api -o jsonpath='{.spec.clusterIP}')/hostname
echoErwartet:
api-v1-9cc68fb5b-8n6xb
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
api ClusterIP 10.97.130.83 <none> 80/TCP 89s
api-v1 ClusterIP 10.99.19.37 <none> 80/TCP 88s
;; ANSWER SECTION:
api.tag21-r3.svc.cluster.local. 30 IN A 10.99.19.37
api-98c78c9bb-nt8wx
Per IP antwortet der richtige Pod, per Name der falsche: Der Fehler
liegt im DNS, nicht im Service. Die Antwort trägt den gefragten Namen,
aber die IP von api-v1 – typisch für rewrite,
das den Namen in der Antwort zurückübersetzt. Corefile prüfen und
korrigieren:
k -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' | grep -n rewrite
k -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' > Corefile
sed -i '/rewrite name exact api.tag21-r3/d' Corefile
k -n kube-system create configmap coredns --from-file=Corefile $do | k replace -f -Erwartet:
7: rewrite name exact api.tag21-r3.svc.cluster.local api-v1.tag21-r3.svc.cluster...
configmap/coredns replaced
Nach etwa einer Minute (jeder CoreDNS-Pod lädt für sich, Tag 8):
k -n kube-system logs -l k8s-app=kube-dns --since=2m --prefix | grep 'Reloading c'
k exec c -- dig +short api.tag21-r3.svc.cluster.local
k exec c -- curl -s -m3 api/hostname; echo
diff <(k -n kube-system get cm coredns -o jsonpath='{.data}') \
<(k create -f r3-coredns-backup.yaml $do -o jsonpath='{.data}') && echo IDENTISCHErwartet (gekürzt):
[pod/coredns-7cd4959b5-87shd/coredns] [INFO] Reloading complete
[pod/coredns-7cd4959b5-nkb2d/coredns] [INFO] Reloading complete
10.97.130.83
api-98c78c9bb-nt8wx
IDENTISCH
Erst wenn beide Pods „Reloading complete“ melden, ist die Reparatur fertig – bis dahin antwortet jeder zweite Lookup noch falsch.
Fortschritt speichern? Kostenlos registrieren
Runde 4: Stille nach Default Deny
Lage: In tag21-r4 gilt Default Deny in
beide Richtungen. web soll notes über den
Service-Namen erreichen, kein anderer Pod. Die Policies sind „fertig“,
doch web bekommt nur Timeouts.
Spielleitung:
k create deployment notes --image=ghcr.io/thomaszachmann/notes-api:0.5.1 \
--port=8080 $do > r4-notes.yaml
k set env --local -f r4-notes.yaml NOTES_API_KEY=lab-key-123 -o yaml | k apply -f -
k expose deployment notes --port=80 --target-port=8080
k run web --image=curlimages/curl:8.17.0 -l app=web --command -- sleep infinity
k apply -f - <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
spec:
podSelector: {}
policyTypes:
- Ingress
- Egress
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-dns
spec:
podSelector: {}
policyTypes:
- Egress
egress:
- to:
- namespaceSelector:
matchLabels:
name: kube-system
podSelector:
matchLabels:
k8s-app: kube-dns
ports:
- protocol: UDP
port: 53
- protocol: TCP
port: 53
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: web-to-notes
spec:
podSelector:
matchLabels:
app: web
policyTypes:
- Egress
egress:
- to:
- podSelector:
matchLabels:
app: notes
ports:
- port: 8080
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: notes-from-web
spec:
podSelector:
matchLabels:
app: notes
policyTypes:
- Ingress
ingress:
- from:
- podSelector:
matchLabels:
app: web
ports:
- port: 8080
EOF
k rollout status deploy notesZeitziel: 4 min
Hinweis: Teste einmal mit Name, einmal mit ClusterIP. Hubble nennt dir das Ziel des verworfenen Pakets.
Lösung
k exec web -- curl -sS -m5 notes/version; echo " rc=$?"
k exec web -- curl -sS -m5 $(k get svc notes -o jsonpath='{.spec.clusterIP}')/version
echo
hubble observe -P --port-forward-port 0 --from-pod tag21-r4/web --verdict DROPPED \
--last 2Erwartet (gekürzt):
curl: (28) Resolving timed out after 5000 milliseconds
command terminated with exit code 28
rc=28
0.5.1
tag21-r4/web:32987 (ID:95867) <> kube-system/coredns-7cd4959b5-nkb2d:53 (ID:70078)
policy-verdict:none EGRESS DENIED (UDP)
tag21-r4/web:32987 (ID:95867) <> kube-system/coredns-7cd4959b5-nkb2d:53 (ID:70078)
Policy denied DROPPED (UDP)
Per IP klappt es – die Freigaben für 8080 stimmen. Verworfen wird
DNS. Welches Label erwartet allow-dns, welches hat der
Namespace?
k describe netpol allow-dns | grep -A2 'To:'
k get ns kube-system --show-labelsErwartet:
To:
NamespaceSelector: name=kube-system
PodSelector: k8s-app=kube-dns
NAME STATUS AGE LABELS
kube-system Active 4h kubernetes.io/metadata.name=kube-system
Das Label name setzt niemand; verlässlich ist nur
kubernetes.io/metadata.name, das der API-Server jedem
Namespace gibt:
k patch netpol allow-dns --type=json -p '[{"op":"replace",
"path":"/spec/egress/0/to/0/namespaceSelector/matchLabels",
"value":{"kubernetes.io/metadata.name":"kube-system"}}]'
k exec web -- curl -sS -m5 notes/version; echo
k run fremd --image=curlimages/curl:8.17.0 --rm -i --restart=Never --command -- \
curl -sS -m3 notes/version; echo " rc=$?"Erwartet (gekürzt):
networkpolicy.networking.k8s.io/allow-dns patched
0.5.1
curl: (28) Connection timed out after 3002 milliseconds
pod "fremd" deleted from tag21-r4 namespace
pod tag21-r4/fremd terminated (Error)
rc=28
fremd löst den Namen jetzt auf, kommt aber nicht an
notes vorbei – Default Deny gilt weiter.
Fortschritt speichern? Kostenlos registrieren
Runde 5: Die Bestellung mit 403
Lage: Der Pod shop in
tag21-r5 ruft im Kreis vier Endpunkte von notes-api auf und
meldet im Log Fehler, ohne zu sagen, welcher Aufruf scheitert. Gib genau
den fehlenden Aufruf frei – nicht mehr.
Spielleitung:
k create deployment notes --image=ghcr.io/thomaszachmann/notes-api:0.5.1 \
--port=8080 $do > r5-notes.yaml
k set env --local -f r5-notes.yaml NOTES_API_KEY=lab-key-123 -o yaml | k apply -f -
k expose deployment notes --port=80 --target-port=8080
k run shop --image=curlimages/curl:8.17.0 -l app=shop --command -- sh -c '
while true; do
for r in "GET /version" "GET /notes" "POST /notes" "GET /healthz"; do
set -- $r
c=$(curl -s -o /dev/null -w "%{http_code}" -m3 -X $1 \
-H "X-API-Key: lab-key-123" -d "{\"text\":\"bestellung\"}" notes$2)
[ "$c" -ge 400 ] && echo "$(date +%T) FEHLER $c"
done
sleep 5
done'
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: notes-l7
spec:
endpointSelector:
matchLabels:
app: notes
ingress:
- fromEndpoints:
- matchLabels:
app: shop
toPorts:
- ports:
- port: "8080"
protocol: TCP
rules:
http:
- method: GET
path: "/(version|healthz|notes)"
EOF
k rollout status deploy notesZeitziel: 4 min
Hinweis: Ein 403 ohne Timeout kommt von Envoy. Hubble zeigt verworfene Anfragen mit Methode und URL.
Lösung
k logs shop --tail=2
hubble observe -P --port-forward-port 0 -n tag21-r5 --verdict DROPPED \
--protocol http --last 2Erwartet (gekürzt):
02:38:08 FEHLER 403
02:38:13 FEHLER 403
tag21-r5/shop:37468 (ID:78769) -> tag21-r5/notes-5f985975d8-p4k6r:8080 (ID:75232)
http-request DROPPED (HTTP/1.1 POST http://notes/notes)
tag21-r5/shop:37498 (ID:78769) -> tag21-r5/notes-5f985975d8-p4k6r:8080 (ID:75232)
http-request DROPPED (HTTP/1.1 POST http://notes/notes)
Nur POST /notes fehlt. Eine Regel anhängen statt die
vorhandene aufzuweichen (method: ".*" würde auch
DELETE öffnen):
k patch cnp notes-l7 --type=json -p '[{"op":"add",
"path":"/spec/ingress/0/toPorts/0/rules/http/-",
"value":{"method":"POST","path":"/notes"}}]'
k get cnp notes-l7 -o jsonpath='{.spec.ingress[0].toPorts[0].rules.http}'; echoErwartet:
ciliumnetworkpolicy.cilium.io/notes-l7 patched
[{"method":"GET","path":"/(version|healthz|notes)"},{"method":"POST","path":"/notes"}]
Nach 15 Sekunden:
k logs shop --since=12s | wc -l
k exec shop -- curl -s -m3 -X DELETE notes/notes; echo
hubble observe -P --port-forward-port 0 --to-pod tag21-r5/notes --protocol http \
--http-method POST --last 1Erwartet (gekürzt):
0
Access denied
tag21-r5/shop:46614 (ID:78769) -> tag21-r5/notes-5f985975d8-p4k6r:8080 (ID:75232)
http-request FORWARDED (HTTP/1.1 POST http://notes/notes)
Keine Fehler mehr im Log, POST läuft,
DELETE bleibt verboten.
Fortschritt speichern? Kostenlos registrieren
Runde 6: Das Bezahl-Gateway
Lage: Das Plattform-Team betreibt in
tag21-r6-infra das Gateway edge mit Zertifikat
aus einer eigenen CA. Das App-Team hat in tag21-r6 die
Route pay angelegt.
https://pay.example.com:<NodePort>/ soll mit
--cacert sauber antworten. Die Route bleibt im
App-Namespace.
Spielleitung:
k create ns tag21-r6-infra
k apply -f - <<'EOF'
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
name: selfsigned
namespace: tag21-r6-infra
spec:
selfSigned: {}
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
name: lab-ca
namespace: tag21-r6-infra
spec:
isCA: true
commonName: Tag21 CA
secretName: lab-ca
privateKey:
algorithm: ECDSA
issuerRef:
name: selfsigned
---
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
name: lab-ca
namespace: tag21-r6-infra
spec:
ca:
secretName: lab-ca
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
name: pay
namespace: tag21-r6-infra
spec:
secretName: pay-tls
dnsNames:
- shop.example.com
issuerRef:
name: lab-ca
---
apiVersion: cilium.io/v2alpha1
kind: CiliumGatewayClassConfig
metadata:
name: nodeport
namespace: tag21-r6-infra
spec:
service:
type: NodePort
---
apiVersion: gateway.networking.k8s.io/v1
kind: GatewayClass
metadata:
name: tag21-nodeport
spec:
controllerName: io.cilium/gateway-controller
parametersRef:
group: cilium.io
kind: CiliumGatewayClassConfig
name: nodeport
namespace: tag21-r6-infra
---
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
name: edge
namespace: tag21-r6-infra
spec:
gatewayClassName: tag21-nodeport
listeners:
- name: https
protocol: HTTPS
port: 443
hostname: pay.example.com
tls:
mode: Terminate
certificateRefs:
- name: pay-tls
allowedRoutes:
namespaces:
from: Same
EOF
k create deployment pay --image=registry.k8s.io/gateway-api/echo-basic:v1.5.1
k expose deployment pay --port=8080 --target-port=3000
k apply -f - <<'EOF'
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
name: pay
namespace: tag21-r6
spec:
parentRefs:
- name: edge
namespace: tag21-r6-infra
sectionName: https
hostnames:
- pay.example.com
rules:
- backendRefs:
- name: pay
port: 8080
EOF
k -n tag21-r6-infra wait --for=condition=Programmed gateway edgeZum Testen (Teil der Aufgabe, nicht des Fehlers):
NPS=$(k -n tag21-r6-infra get svc cilium-gateway-edge \
-o jsonpath='{.spec.ports[0].nodePort}')
k -n tag21-r6-infra get secret lab-ca -o jsonpath='{.data.ca\.crt}' | base64 -d \
> r6-ca.crt
R="--resolve pay.example.com:$NPS:172.16.0.228"Zeitziel: 6 min
Hinweis: Zwei Fehler hintereinander. Der erste steht im Zertifikat selbst, der zweite im Status der Route.
Lösung
k -n tag21-r6-infra get gateway edge
curl -sS $R --cacert r6-ca.crt https://pay.example.com:$NPS/; echo "exit=$?"
k -n tag21-r6-infra get secret pay-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
| openssl x509 -noout -ext subjectAltNameErwartet (gekürzt):
NAME CLASS ADDRESS PROGRAMMED AGE
edge tag21-nodeport 172.16.0.83 True 3s
curl: (60) SSL: no alternative certificate subject name matches target host name
'pay.example.com'
exit=60
X509v3 Subject Alternative Name: critical
DNS:shop.example.com
Gateway Programmed, Listener ResolvedRefs –
für Kubernetes ist alles gültig. Nur der Name im Zertifikat passt nicht
zum Listener. Das Zertifikat gehört cert-manager, also dort korrigieren,
nicht im Secret:
k -n tag21-r6-infra patch certificate pay --type=merge \
-p '{"spec":{"dnsNames":["pay.example.com"]}}'Einige Sekunden warten, bis cert-manager neu ausgestellt hat, dann prüfen:
k -n tag21-r6-infra get secret pay-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
| openssl x509 -noout -ext subjectAltName
curl -s $R --cacert r6-ca.crt https://pay.example.com:$NPS/ -w '%{http_code}\n'
RC='{range .status.parents[*].conditions[*]}{.type}={.status} '\
'{.reason}: {.message}{"\n"}{end}'
k get httproute pay -o jsonpath="$RC"Erwartet:
certificate.cert-manager.io/pay patched
X509v3 Subject Alternative Name: critical
DNS:pay.example.com
404
Accepted=False NotAllowedByListeners: HTTPRoute is not allowed to attach to this
Gateway due to namespace restrictions
ResolvedRefs=True ResolvedRefs: Service reference is valid
TLS steht, aber Envoy hat für den Host keine Route (404). Der
Listener nimmt nur Routen aus dem eigenen Namespace an. Genau den
App-Namespace zulassen, nicht All:
k -n tag21-r6-infra patch gateway edge --type=json -p '[{"op":"replace",
"path":"/spec/listeners/0/allowedRoutes/namespaces",
"value":{"from":"Selector","selector":{"matchLabels":
{"kubernetes.io/metadata.name":"tag21-r6"}}}}]'
k get httproute pay -o jsonpath="$RC" | cut -d: -f1
k -n tag21-r6-infra get gateway edge -o jsonpath='{.status.listeners[0].attachedRoutes}'
echo
curl -s $R --cacert r6-ca.crt https://pay.example.com:$NPS/ | grep '"host"'Erwartet:
gateway.gateway.networking.k8s.io/edge patched
Accepted=True Accepted
ResolvedRefs=True ResolvedRefs
1
"host": "pay.example.com:32668",
Ein ReferenceGrant hätte hier nicht geholfen: Er regelt Verweise
von der Route auf fremde Objekte, das Anhängen
an ein fremdes Gateway regelt
allowedRoutes.
Fortschritt speichern? Kostenlos registrieren
Runde 7: Die unsichtbare Service-IP
Lage: Der LoadBalancer-Service echo in
tag21-r7 hat eine IP aus 10.50.0.0/24. Vom
router aus soll sie per BGP erreichbar sein, die Sitzungen
stehen laut Netzwerk-Team. Trotzdem: Timeout.
Spielleitung:
k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
--port=8080 -- /agnhost netexec --http-port=8080
k expose deployment echo --type=LoadBalancer --port=80 --target-port=8080 \
--labels=bgp=on
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumLoadBalancerIPPool
metadata:
name: tag21-pool
spec:
allowFirstLastIPs: "No"
blocks:
- cidr: 10.50.0.0/24
serviceSelector:
matchLabels:
io.kubernetes.service.namespace: tag21-r7
---
apiVersion: cilium.io/v2
kind: CiliumBGPClusterConfig
metadata:
name: tag21-bgp
spec:
nodeSelector:
matchLabels:
kubernetes.io/os: linux
bgpInstances:
- name: ost
localASN: 65010
peers:
- name: router
peerASN: 65000
peerAddress: 172.16.0.123
peerConfigRef:
name: tag21-peer
---
apiVersion: cilium.io/v2
kind: CiliumBGPPeerConfig
metadata:
name: tag21-peer
spec:
families:
- afi: ipv4
safi: unicast
advertisements:
matchLabels:
advertise: tag21
---
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
name: tag21-lb
labels:
advertise: bgp
spec:
advertisements:
- advertisementType: Service
service:
addresses:
- LoadBalancerIP
selector:
matchLabels:
bgp: "on"
EOF
k rollout status deploy echoZeitziel: 5 min
Hinweis: Sitzung „established“ heißt nicht „kündigt etwas an“. Folge der Kette ClusterConfig → PeerConfig → Advertisement über Labels.
Lösung
k get svc echo
ssh [email protected] curl -sS -m3 http://10.50.0.1/hostname; echo " rc=$?"
ssh [email protected] ip route get 10.50.0.1
cilium bgp peers
cilium bgp routes advertised ipv4 unicastErwartet (gekürzt):
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
echo LoadBalancer 10.99.60.2 10.50.0.1 80:30378/TCP 21s
curl: (28) Connection timed out after 3002 milliseconds
rc=28
10.50.0.1 via 172.16.0.1 dev eth0 src 172.16.0.123 uid 1000
Node Local AS Peer AS Peer Address Session State ... Received Advertised
cp1 65010 65000 172.16.0.123 established ... 0 0
worker1 65010 65000 172.16.0.123 established ... 0 0
worker2 65010 65000 172.16.0.123 established ... 0 0
Node VRouter Peer Prefix NextHop Age Attrs
IP vergeben, Sitzungen da, aber nichts angekündigt – der
router schickt 10.50.0.1 an sein Default-Gateway. Wen sucht
die PeerConfig, wie heißt das Advertisement?
k get ciliumbgppeerconfig tag21-peer \
-o jsonpath='{.spec.families[0].advertisements}'; echo
k get ciliumbgpadvertisements --show-labelsErwartet:
{"matchLabels":{"advertise":"tag21"}}
NAME AGE LABELS
tag21-lb 29s advertise=bgp
Der Selector der PeerConfig findet kein Advertisement. Das Label passend setzen:
k label ciliumbgpadvertisement tag21-lb advertise=tag21 --overwrite
cilium bgp routes advertised ipv4 unicast
ssh [email protected] ip route show 10.50.0.1
ssh [email protected] curl -s -m3 http://10.50.0.1/hostname; echoErwartet (gekürzt):
ciliumbgpadvertisement.cilium.io/tag21-lb labeled
Node VRouter Peer Prefix NextHop Age Attrs
cp1 65010 172.16.0.123 10.50.0.1/32 172.16.0.126 9s [{Origin: i} ...
worker1 65010 172.16.0.123 10.50.0.1/32 172.16.0.228 9s [{Origin: i} ...
worker2 65010 172.16.0.123 10.50.0.1/32 172.16.0.83 9s [{Origin: i} ...
10.50.0.1 nhid 85 proto bgp metric 20
nexthop via 172.16.0.83 dev eth0 weight 1
nexthop via 172.16.0.126 dev eth0 weight 1
nexthop via 172.16.0.228 dev eth0 weight 1
echo-cc8555f69-4p8ld
Drei gleichwertige Pfade per ECMP, der router erreicht
den Service.
Fortschritt speichern? Kostenlos registrieren
Runde 8: Failover ins Leere
Lage: inventory läuft in
ost und west, Namespace tag21-r8.
Laut Betriebshandbuch übernimmt west, wenn ost
keine Backends hat – deshalb ist ost für eine Wartung auf 0
skaliert. Der Client in ost bekommt trotzdem Fehler. Ohne
ost wieder hochzuskalieren: Stelle das Failover her.
Spielleitung (Namespace in beiden Clustern):
for c in ost west; do
k --context $c create ns tag21-r8
k --context $c -n tag21-r8 create deployment inventory-$c \
--image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
-- /agnhost netexec --http-port=8080
k --context $c -n tag21-r8 expose deployment inventory-$c --name=inventory \
--port=80 --target-port=8080
done
k config set-context --current --namespace=tag21-r8
k run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k annotate svc inventory service.cilium.io/global=true \
service.cilium.io/affinity=local
k --context west -n tag21-r8 rollout status deploy inventory-west
k wait --for=condition=Ready pod/client
k scale deployment inventory-ost --replicas=0Zeitziel: 4 min
Hinweis: Ein globaler Service hat zwei Hälften. Prüfe beide Cluster.
Lösung
k exec client -- curl -sS -m3 inventory/hostname; echo " rc=$?"
cilium clustermesh status | grep -E 'west:|nodes are connected'
k get svc inventory -o jsonpath='{.metadata.annotations}'; echo
k --context west -n tag21-r8 get svc inventory -o jsonpath='{.metadata.annotations}'
echo
CIP=$(k get svc inventory -o jsonpath='{.spec.clusterIP}')
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
--clustermesh-affinity | grep -A1 $CIPErwartet (gekürzt, ohne Symbole der CLI):
curl: (7) Failed to connect to inventory:80 after 29 ms: Could not connect to server
command terminated with exit code 7
rc=7
All 3 nodes are connected to all clusters [min:1 / avg:1.0 / max:1]
- west: 3/3 configured, 3/3 connected - KVStoreMesh: 1/1 configured, 1/1 connected
{"service.cilium.io/affinity":"local","service.cilium.io/global":"true"}
88 10.103.255.118:80/TCP ClusterIP
Das Mesh steht, ost ist global – aber der Service in
west hat keine Annotation und teilt seine Backends nicht.
Also keinerlei Backend, Exit 7.
k --context west -n tag21-r8 annotate svc inventory service.cilium.io/global=true
k exec client -- curl -s -m3 inventory/hostname; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
--clustermesh-affinity | grep -A1 $CIPErwartet:
service/inventory annotated
inventory-west-66db64f486-dr5ss
88 10.103.255.118:80/TCP ClusterIP 1 => 10.1.0.201:8080/TCP (active) ...
Das Backend aus 10.1.0.0/16 (west) ist da. Ende der
Wartung – mit affinity=local kehrt der Verkehr von selbst
zurück:
k scale deployment inventory-ost --replicas=1
k rollout status deployment inventory-ost
for i in 1 2 3 4; do k exec client -- curl -s -m3 inventory/hostname; echo; done \
| sort | uniq -cErwartet:
deployment.apps/inventory-ost scaled
deployment "inventory-ost" successfully rolled out
4 inventory-ost-976947bf5-hn8hh
Uhr stoppen.
Fortschritt speichern? Kostenlos registrieren
Wertung
| Runde | Fehler | Zeitziel | Punkte |
|---|---|---|---|
| 1 | CiliumNodeConfig mit falschem Tunnel-Port | 6 min | 3 |
| 2 | benannter targetPort ohne Treffer | 3 min | 2 |
| 3 | CoreDNS-rewrite auf alten Service | 5 min | 2 |
| 4 | DNS-Ausnahme mit falschem Namespace-Label | 4 min | 2 |
| 5 | L7-Regel ohne POST /notes | 4 min | 2 |
| 6 | falscher SAN + allowedRoutes Same | 6 min | 3 |
| 7 | Advertisement-Label passt nicht zur PeerConfig | 5 min | 2 |
| 8 | west-Service nicht global | 4 min | 2 |
Volle Punkte nur innerhalb des Zeitziels, ohne Hinweis
und mit Beweis-Befehl; sonst die Hälfte (abrunden). Wer
statt der Ursache das Symptom beseitigt (Policy löschen, Pods
verschieben, allowedRoutes: All,
method: ".*"), bekommt für die Runde 0. Gesamtzeitziel: 37
min, Maximum: 18 Punkte.
| Punkte | Einschätzung |
|---|---|
| 15–18 | prüfungsreif – weiter mit der Probeprüfung (Anhang B) |
| 10–14 | gut; die Tage der verpassten Runden wiederholen |
| 0–9 | Tag 4, 8, 10 und 12 noch einmal durcharbeiten |
Challenge
Irgendwo im Cluster verwirft eine Policy Verkehr zwischen zwei Pods. Finde Quelle, Ziel und Policy nur über Hubble, ohne den Namespace zu kennen, und beseitige die Altlast. Spielleitung:
k create ns tag21-ch
k -n tag21-ch create deployment api \
--image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
-- /agnhost netexec --http-port=8080
k -n tag21-ch expose deployment api --port=80 --target-port=8080
k -n tag21-ch run batch --image=curlimages/curl:8.17.0 -l app=batch --command -- \
sh -c 'while true; do curl -s -m2 -o /dev/null api/hostname; sleep 3; done'
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumClusterwideNetworkPolicy
metadata:
name: tag21-ch-altlast
spec:
endpointSelector:
matchLabels:
app: api
enableDefaultDeny:
ingress: false
ingressDeny:
- fromEndpoints:
- matchLabels:
app: batch
EOFHinweis:
hubble observe --verdict DROPPED zeigt alle Drops – im
Autorenlabor vor allem VLAN-Broadcasts aus dem Heimnetz (Tag 0).
--drop-reason-desc filtert nach Grund; die Policy-Gründe
heißen POLICY_DENIED und POLICY_DENY.
Lösung
hubble observe -P --port-forward-port 0 --verdict DROPPED --last 2
hubble observe -P --port-forward-port 0 --verdict DROPPED \
--drop-reason-desc POLICY_DENY --drop-reason-desc POLICY_DENIED --since 5m \
| tail -2Erwartet (gekürzt, hängt vom Netz ab – ohne
VLAN-Broadcasts fehlen bei dir die beiden
VLAN_FILTERED-Zeilen, und der erste Befehl zeigt schon die
Policy-Drops):
10.10.10.0:36526 (world) <> 10.10.11.255:10001 (world) VLAN traffic disallowed by
VLAN filter DROPPED (UDP)
192.168.3.1:36526 (world) <> 192.168.3.255:10001 (world) VLAN traffic disallowed by
VLAN filter DROPPED (UDP)
tag21-ch/batch:60336 (ID:71887) <> tag21-ch/api-98c78c9bb-vgt7r:8080 (ID:94484)
policy-verdict:L3-Only INGRESS DENIED (TCP Flags: SYN)
tag21-ch/batch:60336 (ID:71887) <> tag21-ch/api-98c78c9bb-vgt7r:8080 (ID:94484)
Policy denied by denylist DROPPED (TCP Flags: SYN)
„denied by denylist“ heißt: eine explizite Deny-Regel, kein Default Deny. Im Namespace liegt keine – also clusterweit suchen:
k -n tag21-ch get cnp,netpol
k get ccnp -o json | jq -r '.items[]
| select(.spec.ingressDeny or .spec.egressDeny) | .metadata.name'
k delete ccnp tag21-ch-altlast
hubble observe -P --port-forward-port 0 --from-pod tag21-ch/batch --to-port 8080 \
--last 1Erwartet (gekürzt):
No resources found in tag21-ch namespace.
tag21-ch-altlast
ciliumclusterwidenetworkpolicy.cilium.io "tag21-ch-altlast" deleted
tag21-ch/batch:56220 (ID:71887) -> tag21-ch/api-98c78c9bb-vgt7r:8080 (ID:94484)
to-endpoint FORWARDED (TCP Flags: ACK)
Fortschritt speichern? Kostenlos registrieren
Aufräumen
Die Cluster-Änderungen aus Runde 1 und 3 sind schon zurückgebaut. Weg
kommen die BGP-Objekte aus Runde 7 (die BGP Control Plane und FRR
bleiben) und alle Namespaces; mit tag21-r6-infra
verschwinden Gateway, Issuer und Zertifikate, die GatewayClass ist
clusterweit:
k delete ciliumbgpadvertisement tag21-lb
k delete ciliumbgppeerconfig tag21-peer
k delete ciliumbgpclusterconfig tag21-bgp
k delete ciliumloadbalancerippool tag21-pool
k delete gatewayclass tag21-nodeport
k --context west delete ns tag21-r8
k config set-context --current --namespace=default
for n in r1 r2 r3 r4 r5 r6 r6-infra r7 r8 ch; do
k delete ns tag21-$n --wait=false
doneKontrollpunkt
k get ns | grep -c tag21; k --context west get ns | grep -c tag21Erwartet (nach etwa einer Minute): 0
und 0.
k get ciliumnodeconfigs -A
k get ccnp,ippools,ciliumbgpclusterconfigs,ciliumbgppeerconfigs,ciliumbgpadvertisementsErwartet: zweimal
No resources found.
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
| grep -o 'dstport [0-9]*'Erwartet: dstport 8472
diff <(k -n kube-system get cm coredns -o jsonpath='{.data}') \
<(k create -f ~/ckne/tag21/r3-coredns-backup.yaml $do -o jsonpath='{.data}') \
&& echo IDENTISCHErwartet: IDENTISCH
cilium bgp peers
ssh [email protected] "ip route | grep -c proto.bgp"Erwartet: von cilium bgp peers nur die
Kopfzeile, 0 Routen auf dem router.
cilium status | grep -E 'Cilium:|Operator:|Hubble Relay:|ClusterMesh:'
cilium clustermesh status | grep 'nodes are connected'Erwartet: viermal OK,
All 3 nodes are connected to all clusters.
k get pods -A | grep -vE 'Running|Completed'Erwartet: nur die Kopfzeile.
Bleibt für Anhang B: Gateway-API-CRDs und
gatewayAPI.enabled, cert-manager, kube-prometheus-stack in
tag19-mon, bgpControlPlane.enabled samt FRR
auf dem router, ClusterMesh mit west.
Prüfungstipp
- Erst eingrenzen, dann reparieren: Name gegen IP (DNS?), ein Node gegen alle (Datenpfad?), Status-Conditions gegen tatsächlichen Test (Gateway grün, curl rot). Jede Hälfte, die funktioniert, streicht die Hälfte der Ursachen.
- Hubble nennt bei jedem Drop Grund und Ziel –
--verdict DROPPEDplus--drop-reason-descoder--protocol httpstatt Logs raten. Ohne Flow (Exit 7) hat der Service kein Backend. - Selektoren sind die häufigste Fehlerquelle: Namespace-Labels
(
kubernetes.io/metadata.name), Port-Namen, BGP-Advertisement-Labels, Annotation auf beiden Seiten eines globalen Service.
Enterprise-Notiz
- Per-Node-Overrides (
CiliumNodeConfig) gehören in Git und ins Review; ein Drift-Check vergleichtcilium-dbg-Werte aller Agenten, nicht nur die ConfigMap. - CoreDNS-Änderungen über GitOps mit Syntaxprüfung
(
coredns -conf) in der Pipeline; Alarm aufcoredns_dns_responses_totalnach Rcode und auf Reload-Fehler. - Drop-Alarme aus Hubble-Metriken (Tag 19) nach Grund getrennt:
POLICY_DENIEDnach einem Deployment ist ein Rollout-Problem, kein Angriff. - BGP-Konfiguration mit Tests in Staging; der Upstream-Router meldet „Routen von AS 65010 = 0“ als Alarm.
- Solche Game Days regelmäßig mit Bereitschaft üben – Runbooks entstehen aus den Hinweisen dieses Tages.