Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 21: Wettkampf – das kaputte Netz reparieren

Ziel: Du findest und behebst acht eingebaute Netzwerkfehler quer über den CKNE-Lehrplan – gegen die Uhr, mit Nachweis vorher und nachher. · Dauer: ca. 90 min · Voraussetzung: Tag 0–20

Briefing

  • Alle fünf Lehrplanbereiche: Core Infrastructure and CNI, Service Networking and DNS, Advanced Traffic Management, Network Security and Policy, Observability.
  • Acht Runden, jede in eigenem Namespace (tag21-r1 … tag21-r8). Runde 1 (Agent), Runde 3 (CoreDNS) und Runde 7 (BGP) bauen den Fehler in den Cluster selbst ein – du baust ihn zurück.
  • Werkzeuge wie in der Prüfung: k get/describe, Status-Conditions, cilium, cilium-dbg, hubble observe, curl, dig, ssh auf Nodes und router.
  • Jede Runde endet mit einem Beweis-Befehl: kaputt vorher, heil nachher.
  • Neu in diesem Wettkampf: CiliumNodeConfig (Cilium-Werte pro Node, sie überschreiben die ConfigMap; k get ciliumnodeconfigs -A) und hubble observe --drop-reason-desc (Drops nach Grund filtern). Beides steht auch im Spickzettel.
Runde  Fehler                                   Werkzeug
1      Pods auf worker2 isoliert                cilium-dbg status, CiliumNodeConfig
2      Service ohne Backends                    EndpointSlice, Port-Namen
3      falsche Antwort für einen Service-Namen  dig, Corefile
4      Default Deny frisst DNS                  hubble observe, NetworkPolicy
5      App meldet 403                           hubble --protocol http, CNP L7
6      HTTPS am Gateway kaputt                  curl --cacert, Route-Status
7      LoadBalancer-IP von außen tot            cilium bgp, FRR
8      Failover nach west greift nicht          clustermesh, global-Annotation
mkdir -p ~/ckne/tag21 && cd ~/ckne/tag21

Spielregeln

  • Pro Runde: Einbau-Befehle der Spielleitung ausführen, dann Uhr starten. Das Manifest nicht studieren – in der Prüfung siehst du es auch erst, wenn du suchst.
  • Ursache finden, beheben, mit einem Befehl beweisen. Erst dann Uhr stoppen.
  • Repariere die Ursache, nicht das Symptom: Wer eine Policy löscht, statt sie zu korrigieren, oder Pods auf einen anderen Node schiebt, bekommt null Punkte.
  • Den Hinweis erst lesen, wenn das Zeitziel abgelaufen ist.

Jede Runde außer Runde 8 beginnt gleich (Runde 8 legt die Namespaces in beiden Clustern selbst an), hier für Runde 1:

k create ns tag21-r1
k config set-context --current --namespace=tag21-r1

Runde 1: Insel worker2

Lage: Nach einem Wartungsfenster melden Teams: Pods auf worker2 lösen keine Namen mehr auf und erreichen keine Pods auf anderen Nodes. Alle Cilium-Pods sind Running. Finde die Ursache und stelle den Normalzustand her.

Spielleitung:

k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
  --replicas=2 --port=8080 -- /agnhost netexec --http-port=8080
k expose deployment echo --port=80 --target-port=8080
k run c1 --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker1"}}' -- sleep infinity
k run c2 --image=nicolaka/netshoot:v0.16 \
  --overrides='{"spec":{"nodeName":"worker2"}}' -- sleep infinity
k wait --for=condition=Ready pod --all
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNodeConfig
metadata:
  name: worker2-tuning
  namespace: kube-system
spec:
  nodeSelector:
    matchLabels:
      kubernetes.io/hostname: worker2
  defaults:
    tunnel-port: "8473"
EOF
k -n kube-system delete pod -l k8s-app=cilium --field-selector spec.nodeName=worker2
k -n kube-system rollout status ds/cilium

Zeitziel: 6 min

Hinweis: Konfiguration kommt nicht nur aus der ConfigMap cilium-config. Das Init-Container-Log des Agents verrät, welche Quellen er gelesen hat.

Lösung

Symptome und erster Blick auf die Agenten:

k exec c2 -- curl -sS -m3 echo/hostname; echo " rc=$?"
cilium status | grep -E 'Cilium:|Hubble Relay:'
for n in worker1 worker2; do
  CP=$(k -n kube-system get pod -l k8s-app=cilium \
    --field-selector spec.nodeName=$n -o name)
  k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status \
    | grep 'Cluster health'
done

Erwartet (gekürzt):

curl: (28) Resolving timed out after 3002 milliseconds
command terminated with exit code 28
 rc=28
 /¯¯\__/¯¯\    Cilium:             1 errors
 \__/¯¯\__/    Hubble Relay:       2 errors
Cluster health:          3/4 reachable   (2026-11-19T02:29:20Z)   ...
Cluster health:          1/3 reachable   (2026-11-19T02:27:57Z)   ...

cilium-health prüft jeden Node über den Tunnel: worker2 erreicht nur sich selbst, die anderen erreichen worker2 nicht (die 4 zählt west/argo mit). Woher hat der Agent auf worker2 seine Konfiguration ($CP zeigt nach der Schleife auf ihn)?

k -n kube-system logs $CP -c config | grep 'Got configuration' | grep -o 'lenC.*'
k get ciliumnodeconfigs -A
k -n kube-system get ciliumnodeconfig worker2-tuning -o jsonpath='{.spec.defaults}'
echo
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
  | grep -o 'dstport [0-9]*'
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
  | grep -o 'dstport [0-9]*'

Erwartet (gekürzt):

lenConfigPairs=188 configSource="{Kind:config-map Namespace:kube-system Name:cil...
lenConfigPairs=1 configSource="{Kind:cilium-node-config Namespace:kube-system ...
NAMESPACE     NAME             AGE
kube-system   worker2-tuning   50m
{"tunnel-port":"8473"}
dstport 8472
dstport 8473

Eine CiliumNodeConfig überschreibt Werte der ConfigMap für ausgewählte Nodes. Hier kapselt worker2 VXLAN auf UDP 8473, alle anderen auf 8472 – die Pakete kommen an, aber niemand packt sie aus. cilium config view zeigt das nicht, es liest nur die ConfigMap. Reparatur: Override löschen, Agent neu starten:

k -n kube-system delete ciliumnodeconfig worker2-tuning
k -n kube-system delete pod -l k8s-app=cilium --field-selector spec.nodeName=worker2
k -n kube-system rollout status ds/cilium
ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
  | grep -o 'dstport [0-9]*'

Erwartet:

ciliumnodeconfig.cilium.io "worker2-tuning" deleted from kube-system namespace
pod "cilium-nwzn2" deleted from kube-system namespace
daemon set "cilium" successfully rolled out
dstport 8472

Nach ein bis zwei Minuten (bis die anderen Agenten den Node neu eingetragen haben):

k exec c2 -- curl -s -m3 echo/hostname; echo
for i in $(seq 8); do k exec c1 -- curl -s -m2 echo/hostname; echo; done \
  | sort | uniq -c

Erwartet:

echo-cc8555f69-x8r52
      2 echo-cc8555f69-574ns
      6 echo-cc8555f69-x8r52

Beide Backends antworten, auch über die Node-Grenze. Wer stattdessen nur die Pods neu startet, ändert nichts: Der Fehler sitzt im Datenpfad des Nodes.

Fortschritt speichern? Kostenlos registrieren

Runde 2: Der Service ohne Ziel

Lage: In tag21-r2 laufen zwei gesunde notes-api-Pods, Readiness grün. Der Service notes lehnt trotzdem jede Verbindung ab. Repariere den Service, ohne das Deployment anzufassen.

Spielleitung (Namespace und Kontext wie oben, hier tag21-r2):

k apply -f - <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes
spec:
  replicas: 2
  selector:
    matchLabels:
      app: notes
  template:
    metadata:
      labels:
        app: notes
    spec:
      containers:
      - name: notes-api
        image: ghcr.io/thomaszachmann/notes-api:0.5.1
        env:
        - name: NOTES_API_KEY
          value: lab-key-123
        ports:
        - name: api
          containerPort: 8080
        readinessProbe:
          httpGet:
            path: /healthz
            port: api
---
apiVersion: v1
kind: Service
metadata:
  name: notes
spec:
  selector:
    app: notes
  ports:
  - name: http
    port: 80
    targetPort: http
EOF
k run c --image=curlimages/curl:8.17.0 --command -- sleep infinity
k rollout status deploy notes

Zeitziel: 3 min

Hinweis: Die EndpointSlice hat Adressen. Schau auf die Spalte daneben.

Lösung

k exec c -- curl -sS -m3 notes/version; echo " rc=$?"
k get endpointslices
k describe svc notes | grep -E 'TargetPort|Endpoints'
k get pods -l app=notes -o jsonpath='{.items[0].spec.containers[0].ports}'; echo
CIP=$(k get svc notes -o jsonpath='{.spec.clusterIP}')
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  | grep -A2 $CIP

Erwartet:

curl: (7) Failed to connect to notes port 80 after 3 ms: Could not connect to server
command terminated with exit code 7
 rc=7
NAME          ADDRESSTYPE   PORTS     ENDPOINTS            AGE
notes-9mbxg   IPv4          <unset>   10.0.1.2,10.0.2.71   36m
TargetPort:               http/TCP
Endpoints:                10.0.1.2,10.0.2.71
[{"containerPort":8080,"name":"api","protocol":"TCP"}]
75   10.96.118.49:80/TCP       ClusterIP

Ein benannter targetPort wird je Pod über den Namen des Container-Ports aufgelöst. Kein Pod hat einen Port http – die Slice kennt die Adressen, aber keinen Port. Cilium programmiert den Service deshalb ohne Backend und weist jede Verbindung sofort ab (Exit 7, kein Hubble-Flow).

k patch svc notes -p '{"spec":{"ports":[{"port":80,"targetPort":"api"}]}}'
k get endpointslices
k exec c -- curl -s -m3 notes/version; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  | grep -A2 $CIP

Erwartet:

service/notes patched
NAME          ADDRESSTYPE   PORTS   ENDPOINTS            AGE
notes-9mbxg   IPv4          8080    10.0.2.71,10.0.1.2   36m
0.5.1
75   10.96.118.49:80/TCP       ClusterIP      1 => 10.0.1.2:8080/TCP (active)
                                              2 => 10.0.2.71:8080/TCP (active)

Der Patch trifft den Port-Eintrag über seinen Schlüssel port: 80; der Name http bleibt erhalten.

Fortschritt speichern? Kostenlos registrieren

Runde 3: Der falsche Zwilling

Lage: In tag21-r3 gibt es api (neu) und api-v1 (alt). Clients, die api aufrufen, landen beim alten Dienst. Deployments und Services sind korrekt.

Spielleitung (Sicherung zuerst – sie dient am Ende als Beweis):

for d in api api-v1; do
  k create deployment $d --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
    --port=8080 -- /agnhost netexec --http-port=8080
  k expose deployment $d --port=80 --target-port=8080
done
k run c --image=nicolaka/netshoot:v0.16 -- sleep infinity
k -n kube-system get cm coredns -o yaml > r3-coredns-backup.yaml
k -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' > r3-Corefile
R='rewrite name exact api.tag21-r3.svc.cluster.local'
sed -i "s/^    ready$/    ready\n    $R api-v1.tag21-r3.svc.cluster.local/" r3-Corefile
k -n kube-system create configmap coredns --from-file=Corefile=r3-Corefile $do \
  | k replace -f -

Etwa eine Minute warten, bis beide CoreDNS-Pods neu geladen haben.

Zeitziel: 5 min

Hinweis: Vergleiche die IP aus dem DNS mit k get svc. Wer im Cluster Namen beantwortet, liest seine Regeln aus einer ConfigMap.

Lösung

k exec c -- curl -s -m3 api/hostname; echo
k get svc
k exec c -- dig api.tag21-r3.svc.cluster.local | grep -A1 'ANSWER SECTION'
k exec c -- curl -s -m3 $(k get svc api -o jsonpath='{.spec.clusterIP}')/hostname
echo

Erwartet:

api-v1-9cc68fb5b-8n6xb
NAME     TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
api      ClusterIP   10.97.130.83   <none>        80/TCP    89s
api-v1   ClusterIP   10.99.19.37    <none>        80/TCP    88s
;; ANSWER SECTION:
api.tag21-r3.svc.cluster.local. 30 IN   A   10.99.19.37
api-98c78c9bb-nt8wx

Per IP antwortet der richtige Pod, per Name der falsche: Der Fehler liegt im DNS, nicht im Service. Die Antwort trägt den gefragten Namen, aber die IP von api-v1 – typisch für rewrite, das den Namen in der Antwort zurückübersetzt. Corefile prüfen und korrigieren:

k -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' | grep -n rewrite
k -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' > Corefile
sed -i '/rewrite name exact api.tag21-r3/d' Corefile
k -n kube-system create configmap coredns --from-file=Corefile $do | k replace -f -

Erwartet:

7:    rewrite name exact api.tag21-r3.svc.cluster.local api-v1.tag21-r3.svc.cluster...
configmap/coredns replaced

Nach etwa einer Minute (jeder CoreDNS-Pod lädt für sich, Tag 8):

k -n kube-system logs -l k8s-app=kube-dns --since=2m --prefix | grep 'Reloading c'
k exec c -- dig +short api.tag21-r3.svc.cluster.local
k exec c -- curl -s -m3 api/hostname; echo
diff <(k -n kube-system get cm coredns -o jsonpath='{.data}') \
  <(k create -f r3-coredns-backup.yaml $do -o jsonpath='{.data}') && echo IDENTISCH

Erwartet (gekürzt):

[pod/coredns-7cd4959b5-87shd/coredns] [INFO] Reloading complete
[pod/coredns-7cd4959b5-nkb2d/coredns] [INFO] Reloading complete
10.97.130.83
api-98c78c9bb-nt8wx
IDENTISCH

Erst wenn beide Pods „Reloading complete“ melden, ist die Reparatur fertig – bis dahin antwortet jeder zweite Lookup noch falsch.

Fortschritt speichern? Kostenlos registrieren

Runde 4: Stille nach Default Deny

Lage: In tag21-r4 gilt Default Deny in beide Richtungen. web soll notes über den Service-Namen erreichen, kein anderer Pod. Die Policies sind „fertig“, doch web bekommt nur Timeouts.

Spielleitung:

k create deployment notes --image=ghcr.io/thomaszachmann/notes-api:0.5.1 \
  --port=8080 $do > r4-notes.yaml
k set env --local -f r4-notes.yaml NOTES_API_KEY=lab-key-123 -o yaml | k apply -f -
k expose deployment notes --port=80 --target-port=8080
k run web --image=curlimages/curl:8.17.0 -l app=web --command -- sleep infinity
k apply -f - <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
spec:
  podSelector: {}
  policyTypes:
  - Ingress
  - Egress
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dns
spec:
  podSelector: {}
  policyTypes:
  - Egress
  egress:
  - to:
    - namespaceSelector:
        matchLabels:
          name: kube-system
      podSelector:
        matchLabels:
          k8s-app: kube-dns
    ports:
    - protocol: UDP
      port: 53
    - protocol: TCP
      port: 53
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: web-to-notes
spec:
  podSelector:
    matchLabels:
      app: web
  policyTypes:
  - Egress
  egress:
  - to:
    - podSelector:
        matchLabels:
          app: notes
    ports:
    - port: 8080
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: notes-from-web
spec:
  podSelector:
    matchLabels:
      app: notes
  policyTypes:
  - Ingress
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: web
    ports:
    - port: 8080
EOF
k rollout status deploy notes

Zeitziel: 4 min

Hinweis: Teste einmal mit Name, einmal mit ClusterIP. Hubble nennt dir das Ziel des verworfenen Pakets.

Lösung

k exec web -- curl -sS -m5 notes/version; echo " rc=$?"
k exec web -- curl -sS -m5 $(k get svc notes -o jsonpath='{.spec.clusterIP}')/version
echo
hubble observe -P --port-forward-port 0 --from-pod tag21-r4/web --verdict DROPPED \
  --last 2

Erwartet (gekürzt):

curl: (28) Resolving timed out after 5000 milliseconds
command terminated with exit code 28
 rc=28
0.5.1
tag21-r4/web:32987 (ID:95867) <> kube-system/coredns-7cd4959b5-nkb2d:53 (ID:70078)
  policy-verdict:none EGRESS DENIED (UDP)
tag21-r4/web:32987 (ID:95867) <> kube-system/coredns-7cd4959b5-nkb2d:53 (ID:70078)
  Policy denied DROPPED (UDP)

Per IP klappt es – die Freigaben für 8080 stimmen. Verworfen wird DNS. Welches Label erwartet allow-dns, welches hat der Namespace?

k describe netpol allow-dns | grep -A2 'To:'
k get ns kube-system --show-labels

Erwartet:

    To:
      NamespaceSelector: name=kube-system
      PodSelector: k8s-app=kube-dns
NAME          STATUS   AGE   LABELS
kube-system   Active   4h    kubernetes.io/metadata.name=kube-system

Das Label name setzt niemand; verlässlich ist nur kubernetes.io/metadata.name, das der API-Server jedem Namespace gibt:

k patch netpol allow-dns --type=json -p '[{"op":"replace",
 "path":"/spec/egress/0/to/0/namespaceSelector/matchLabels",
 "value":{"kubernetes.io/metadata.name":"kube-system"}}]'
k exec web -- curl -sS -m5 notes/version; echo
k run fremd --image=curlimages/curl:8.17.0 --rm -i --restart=Never --command -- \
  curl -sS -m3 notes/version; echo " rc=$?"

Erwartet (gekürzt):

networkpolicy.networking.k8s.io/allow-dns patched
0.5.1
curl: (28) Connection timed out after 3002 milliseconds
pod "fremd" deleted from tag21-r4 namespace
pod tag21-r4/fremd terminated (Error)
 rc=28

fremd löst den Namen jetzt auf, kommt aber nicht an notes vorbei – Default Deny gilt weiter.

Fortschritt speichern? Kostenlos registrieren

Runde 5: Die Bestellung mit 403

Lage: Der Pod shop in tag21-r5 ruft im Kreis vier Endpunkte von notes-api auf und meldet im Log Fehler, ohne zu sagen, welcher Aufruf scheitert. Gib genau den fehlenden Aufruf frei – nicht mehr.

Spielleitung:

k create deployment notes --image=ghcr.io/thomaszachmann/notes-api:0.5.1 \
  --port=8080 $do > r5-notes.yaml
k set env --local -f r5-notes.yaml NOTES_API_KEY=lab-key-123 -o yaml | k apply -f -
k expose deployment notes --port=80 --target-port=8080
k run shop --image=curlimages/curl:8.17.0 -l app=shop --command -- sh -c '
while true; do
  for r in "GET /version" "GET /notes" "POST /notes" "GET /healthz"; do
    set -- $r
    c=$(curl -s -o /dev/null -w "%{http_code}" -m3 -X $1 \
      -H "X-API-Key: lab-key-123" -d "{\"text\":\"bestellung\"}" notes$2)
    [ "$c" -ge 400 ] && echo "$(date +%T) FEHLER $c"
  done
  sleep 5
done'
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: notes-l7
spec:
  endpointSelector:
    matchLabels:
      app: notes
  ingress:
  - fromEndpoints:
    - matchLabels:
        app: shop
    toPorts:
    - ports:
      - port: "8080"
        protocol: TCP
      rules:
        http:
        - method: GET
          path: "/(version|healthz|notes)"
EOF
k rollout status deploy notes

Zeitziel: 4 min

Hinweis: Ein 403 ohne Timeout kommt von Envoy. Hubble zeigt verworfene Anfragen mit Methode und URL.

Lösung

k logs shop --tail=2
hubble observe -P --port-forward-port 0 -n tag21-r5 --verdict DROPPED \
  --protocol http --last 2

Erwartet (gekürzt):

02:38:08 FEHLER 403
02:38:13 FEHLER 403
tag21-r5/shop:37468 (ID:78769) -> tag21-r5/notes-5f985975d8-p4k6r:8080 (ID:75232)
  http-request DROPPED (HTTP/1.1 POST http://notes/notes)
tag21-r5/shop:37498 (ID:78769) -> tag21-r5/notes-5f985975d8-p4k6r:8080 (ID:75232)
  http-request DROPPED (HTTP/1.1 POST http://notes/notes)

Nur POST /notes fehlt. Eine Regel anhängen statt die vorhandene aufzuweichen (method: ".*" würde auch DELETE öffnen):

k patch cnp notes-l7 --type=json -p '[{"op":"add",
 "path":"/spec/ingress/0/toPorts/0/rules/http/-",
 "value":{"method":"POST","path":"/notes"}}]'
k get cnp notes-l7 -o jsonpath='{.spec.ingress[0].toPorts[0].rules.http}'; echo

Erwartet:

ciliumnetworkpolicy.cilium.io/notes-l7 patched
[{"method":"GET","path":"/(version|healthz|notes)"},{"method":"POST","path":"/notes"}]

Nach 15 Sekunden:

k logs shop --since=12s | wc -l
k exec shop -- curl -s -m3 -X DELETE notes/notes; echo
hubble observe -P --port-forward-port 0 --to-pod tag21-r5/notes --protocol http \
  --http-method POST --last 1

Erwartet (gekürzt):

0
Access denied
tag21-r5/shop:46614 (ID:78769) -> tag21-r5/notes-5f985975d8-p4k6r:8080 (ID:75232)
  http-request FORWARDED (HTTP/1.1 POST http://notes/notes)

Keine Fehler mehr im Log, POST läuft, DELETE bleibt verboten.

Fortschritt speichern? Kostenlos registrieren

Runde 6: Das Bezahl-Gateway

Lage: Das Plattform-Team betreibt in tag21-r6-infra das Gateway edge mit Zertifikat aus einer eigenen CA. Das App-Team hat in tag21-r6 die Route pay angelegt. https://pay.example.com:<NodePort>/ soll mit --cacert sauber antworten. Die Route bleibt im App-Namespace.

Spielleitung:

k create ns tag21-r6-infra
k apply -f - <<'EOF'
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: selfsigned
  namespace: tag21-r6-infra
spec:
  selfSigned: {}
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: lab-ca
  namespace: tag21-r6-infra
spec:
  isCA: true
  commonName: Tag21 CA
  secretName: lab-ca
  privateKey:
    algorithm: ECDSA
  issuerRef:
    name: selfsigned
---
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: lab-ca
  namespace: tag21-r6-infra
spec:
  ca:
    secretName: lab-ca
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: pay
  namespace: tag21-r6-infra
spec:
  secretName: pay-tls
  dnsNames:
  - shop.example.com
  issuerRef:
    name: lab-ca
---
apiVersion: cilium.io/v2alpha1
kind: CiliumGatewayClassConfig
metadata:
  name: nodeport
  namespace: tag21-r6-infra
spec:
  service:
    type: NodePort
---
apiVersion: gateway.networking.k8s.io/v1
kind: GatewayClass
metadata:
  name: tag21-nodeport
spec:
  controllerName: io.cilium/gateway-controller
  parametersRef:
    group: cilium.io
    kind: CiliumGatewayClassConfig
    name: nodeport
    namespace: tag21-r6-infra
---
apiVersion: gateway.networking.k8s.io/v1
kind: Gateway
metadata:
  name: edge
  namespace: tag21-r6-infra
spec:
  gatewayClassName: tag21-nodeport
  listeners:
  - name: https
    protocol: HTTPS
    port: 443
    hostname: pay.example.com
    tls:
      mode: Terminate
      certificateRefs:
      - name: pay-tls
    allowedRoutes:
      namespaces:
        from: Same
EOF
k create deployment pay --image=registry.k8s.io/gateway-api/echo-basic:v1.5.1
k expose deployment pay --port=8080 --target-port=3000
k apply -f - <<'EOF'
apiVersion: gateway.networking.k8s.io/v1
kind: HTTPRoute
metadata:
  name: pay
  namespace: tag21-r6
spec:
  parentRefs:
  - name: edge
    namespace: tag21-r6-infra
    sectionName: https
  hostnames:
  - pay.example.com
  rules:
  - backendRefs:
    - name: pay
      port: 8080
EOF
k -n tag21-r6-infra wait --for=condition=Programmed gateway edge

Zum Testen (Teil der Aufgabe, nicht des Fehlers):

NPS=$(k -n tag21-r6-infra get svc cilium-gateway-edge \
  -o jsonpath='{.spec.ports[0].nodePort}')
k -n tag21-r6-infra get secret lab-ca -o jsonpath='{.data.ca\.crt}' | base64 -d \
  > r6-ca.crt
R="--resolve pay.example.com:$NPS:172.16.0.228"

Zeitziel: 6 min

Hinweis: Zwei Fehler hintereinander. Der erste steht im Zertifikat selbst, der zweite im Status der Route.

Lösung

k -n tag21-r6-infra get gateway edge
curl -sS $R --cacert r6-ca.crt https://pay.example.com:$NPS/; echo "exit=$?"
k -n tag21-r6-infra get secret pay-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
  | openssl x509 -noout -ext subjectAltName

Erwartet (gekürzt):

NAME   CLASS            ADDRESS       PROGRAMMED   AGE
edge   tag21-nodeport   172.16.0.83   True         3s
curl: (60) SSL: no alternative certificate subject name matches target host name
'pay.example.com'
exit=60
X509v3 Subject Alternative Name: critical
    DNS:shop.example.com

Gateway Programmed, Listener ResolvedRefs – für Kubernetes ist alles gültig. Nur der Name im Zertifikat passt nicht zum Listener. Das Zertifikat gehört cert-manager, also dort korrigieren, nicht im Secret:

k -n tag21-r6-infra patch certificate pay --type=merge \
  -p '{"spec":{"dnsNames":["pay.example.com"]}}'

Einige Sekunden warten, bis cert-manager neu ausgestellt hat, dann prüfen:

k -n tag21-r6-infra get secret pay-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
  | openssl x509 -noout -ext subjectAltName
curl -s $R --cacert r6-ca.crt https://pay.example.com:$NPS/ -w '%{http_code}\n'
RC='{range .status.parents[*].conditions[*]}{.type}={.status} '\
'{.reason}: {.message}{"\n"}{end}'
k get httproute pay -o jsonpath="$RC"

Erwartet:

certificate.cert-manager.io/pay patched
X509v3 Subject Alternative Name: critical
    DNS:pay.example.com
404
Accepted=False NotAllowedByListeners: HTTPRoute is not allowed to attach to this
Gateway due to namespace restrictions
ResolvedRefs=True ResolvedRefs: Service reference is valid

TLS steht, aber Envoy hat für den Host keine Route (404). Der Listener nimmt nur Routen aus dem eigenen Namespace an. Genau den App-Namespace zulassen, nicht All:

k -n tag21-r6-infra patch gateway edge --type=json -p '[{"op":"replace",
 "path":"/spec/listeners/0/allowedRoutes/namespaces",
 "value":{"from":"Selector","selector":{"matchLabels":
 {"kubernetes.io/metadata.name":"tag21-r6"}}}}]'
k get httproute pay -o jsonpath="$RC" | cut -d: -f1
k -n tag21-r6-infra get gateway edge -o jsonpath='{.status.listeners[0].attachedRoutes}'
echo
curl -s $R --cacert r6-ca.crt https://pay.example.com:$NPS/ | grep '"host"'

Erwartet:

gateway.gateway.networking.k8s.io/edge patched
Accepted=True Accepted
ResolvedRefs=True ResolvedRefs
1
 "host": "pay.example.com:32668",

Ein ReferenceGrant hätte hier nicht geholfen: Er regelt Verweise von der Route auf fremde Objekte, das Anhängen an ein fremdes Gateway regelt allowedRoutes.

Fortschritt speichern? Kostenlos registrieren

Runde 7: Die unsichtbare Service-IP

Lage: Der LoadBalancer-Service echo in tag21-r7 hat eine IP aus 10.50.0.0/24. Vom router aus soll sie per BGP erreichbar sein, die Sitzungen stehen laut Netzwerk-Team. Trotzdem: Timeout.

Spielleitung:

k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
  --port=8080 -- /agnhost netexec --http-port=8080
k expose deployment echo --type=LoadBalancer --port=80 --target-port=8080 \
  --labels=bgp=on
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumLoadBalancerIPPool
metadata:
  name: tag21-pool
spec:
  allowFirstLastIPs: "No"
  blocks:
  - cidr: 10.50.0.0/24
  serviceSelector:
    matchLabels:
      io.kubernetes.service.namespace: tag21-r7
---
apiVersion: cilium.io/v2
kind: CiliumBGPClusterConfig
metadata:
  name: tag21-bgp
spec:
  nodeSelector:
    matchLabels:
      kubernetes.io/os: linux
  bgpInstances:
  - name: ost
    localASN: 65010
    peers:
    - name: router
      peerASN: 65000
      peerAddress: 172.16.0.123
      peerConfigRef:
        name: tag21-peer
---
apiVersion: cilium.io/v2
kind: CiliumBGPPeerConfig
metadata:
  name: tag21-peer
spec:
  families:
  - afi: ipv4
    safi: unicast
    advertisements:
      matchLabels:
        advertise: tag21
---
apiVersion: cilium.io/v2
kind: CiliumBGPAdvertisement
metadata:
  name: tag21-lb
  labels:
    advertise: bgp
spec:
  advertisements:
  - advertisementType: Service
    service:
      addresses:
      - LoadBalancerIP
    selector:
      matchLabels:
        bgp: "on"
EOF
k rollout status deploy echo

Zeitziel: 5 min

Hinweis: Sitzung „established“ heißt nicht „kündigt etwas an“. Folge der Kette ClusterConfig → PeerConfig → Advertisement über Labels.

Lösung

k get svc echo
ssh [email protected] curl -sS -m3 http://10.50.0.1/hostname; echo " rc=$?"
ssh [email protected] ip route get 10.50.0.1
cilium bgp peers
cilium bgp routes advertised ipv4 unicast

Erwartet (gekürzt):

NAME   TYPE           CLUSTER-IP   EXTERNAL-IP   PORT(S)        AGE
echo   LoadBalancer   10.99.60.2   10.50.0.1     80:30378/TCP   21s
curl: (28) Connection timed out after 3002 milliseconds
 rc=28
10.50.0.1 via 172.16.0.1 dev eth0 src 172.16.0.123 uid 1000
Node      Local AS   Peer AS   Peer Address   Session State   ...  Received   Advertised
cp1       65010      65000     172.16.0.123   established     ...  0          0
worker1   65010      65000     172.16.0.123   established     ...  0          0
worker2   65010      65000     172.16.0.123   established     ...  0          0
Node   VRouter   Peer   Prefix   NextHop   Age   Attrs

IP vergeben, Sitzungen da, aber nichts angekündigt – der router schickt 10.50.0.1 an sein Default-Gateway. Wen sucht die PeerConfig, wie heißt das Advertisement?

k get ciliumbgppeerconfig tag21-peer \
  -o jsonpath='{.spec.families[0].advertisements}'; echo
k get ciliumbgpadvertisements --show-labels

Erwartet:

{"matchLabels":{"advertise":"tag21"}}
NAME       AGE   LABELS
tag21-lb   29s   advertise=bgp

Der Selector der PeerConfig findet kein Advertisement. Das Label passend setzen:

k label ciliumbgpadvertisement tag21-lb advertise=tag21 --overwrite
cilium bgp routes advertised ipv4 unicast
ssh [email protected] ip route show 10.50.0.1
ssh [email protected] curl -s -m3 http://10.50.0.1/hostname; echo

Erwartet (gekürzt):

ciliumbgpadvertisement.cilium.io/tag21-lb labeled
Node      VRouter   Peer           Prefix         NextHop        Age   Attrs
cp1       65010     172.16.0.123   10.50.0.1/32   172.16.0.126   9s    [{Origin: i} ...
worker1   65010     172.16.0.123   10.50.0.1/32   172.16.0.228   9s    [{Origin: i} ...
worker2   65010     172.16.0.123   10.50.0.1/32   172.16.0.83    9s    [{Origin: i} ...
10.50.0.1 nhid 85 proto bgp metric 20
    nexthop via 172.16.0.83 dev eth0 weight 1
    nexthop via 172.16.0.126 dev eth0 weight 1
    nexthop via 172.16.0.228 dev eth0 weight 1
echo-cc8555f69-4p8ld

Drei gleichwertige Pfade per ECMP, der router erreicht den Service.

Fortschritt speichern? Kostenlos registrieren

Runde 8: Failover ins Leere

Lage: inventory läuft in ost und west, Namespace tag21-r8. Laut Betriebshandbuch übernimmt west, wenn ost keine Backends hat – deshalb ist ost für eine Wartung auf 0 skaliert. Der Client in ost bekommt trotzdem Fehler. Ohne ost wieder hochzuskalieren: Stelle das Failover her.

Spielleitung (Namespace in beiden Clustern):

for c in ost west; do
  k --context $c create ns tag21-r8
  k --context $c -n tag21-r8 create deployment inventory-$c \
    --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
    -- /agnhost netexec --http-port=8080
  k --context $c -n tag21-r8 expose deployment inventory-$c --name=inventory \
    --port=80 --target-port=8080
done
k config set-context --current --namespace=tag21-r8
k run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k annotate svc inventory service.cilium.io/global=true \
  service.cilium.io/affinity=local
k --context west -n tag21-r8 rollout status deploy inventory-west
k wait --for=condition=Ready pod/client
k scale deployment inventory-ost --replicas=0

Zeitziel: 4 min

Hinweis: Ein globaler Service hat zwei Hälften. Prüfe beide Cluster.

Lösung

k exec client -- curl -sS -m3 inventory/hostname; echo " rc=$?"
cilium clustermesh status | grep -E 'west:|nodes are connected'
k get svc inventory -o jsonpath='{.metadata.annotations}'; echo
k --context west -n tag21-r8 get svc inventory -o jsonpath='{.metadata.annotations}'
echo
CIP=$(k get svc inventory -o jsonpath='{.spec.clusterIP}')
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  --clustermesh-affinity | grep -A1 $CIP

Erwartet (gekürzt, ohne Symbole der CLI):

curl: (7) Failed to connect to inventory:80 after 29 ms: Could not connect to server
command terminated with exit code 7
 rc=7
All 3 nodes are connected to all clusters [min:1 / avg:1.0 / max:1]
  - west: 3/3 configured, 3/3 connected - KVStoreMesh: 1/1 configured, 1/1 connected
{"service.cilium.io/affinity":"local","service.cilium.io/global":"true"}

88   10.103.255.118:80/TCP     ClusterIP

Das Mesh steht, ost ist global – aber der Service in west hat keine Annotation und teilt seine Backends nicht. Also keinerlei Backend, Exit 7.

k --context west -n tag21-r8 annotate svc inventory service.cilium.io/global=true
k exec client -- curl -s -m3 inventory/hostname; echo
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  --clustermesh-affinity | grep -A1 $CIP

Erwartet:

service/inventory annotated
inventory-west-66db64f486-dr5ss
88   10.103.255.118:80/TCP     ClusterIP      1 => 10.1.0.201:8080/TCP (active) ...

Das Backend aus 10.1.0.0/16 (west) ist da. Ende der Wartung – mit affinity=local kehrt der Verkehr von selbst zurück:

k scale deployment inventory-ost --replicas=1
k rollout status deployment inventory-ost
for i in 1 2 3 4; do k exec client -- curl -s -m3 inventory/hostname; echo; done \
  | sort | uniq -c

Erwartet:

deployment.apps/inventory-ost scaled
deployment "inventory-ost" successfully rolled out
      4 inventory-ost-976947bf5-hn8hh

Uhr stoppen.

Fortschritt speichern? Kostenlos registrieren

Wertung

Runde Fehler Zeitziel Punkte
1 CiliumNodeConfig mit falschem Tunnel-Port 6 min 3
2 benannter targetPort ohne Treffer 3 min 2
3 CoreDNS-rewrite auf alten Service 5 min 2
4 DNS-Ausnahme mit falschem Namespace-Label 4 min 2
5 L7-Regel ohne POST /notes 4 min 2
6 falscher SAN + allowedRoutes Same 6 min 3
7 Advertisement-Label passt nicht zur PeerConfig 5 min 2
8 west-Service nicht global 4 min 2

Volle Punkte nur innerhalb des Zeitziels, ohne Hinweis und mit Beweis-Befehl; sonst die Hälfte (abrunden). Wer statt der Ursache das Symptom beseitigt (Policy löschen, Pods verschieben, allowedRoutes: All, method: ".*"), bekommt für die Runde 0. Gesamtzeitziel: 37 min, Maximum: 18 Punkte.

Punkte Einschätzung
15–18 prüfungsreif – weiter mit der Probeprüfung (Anhang B)
10–14 gut; die Tage der verpassten Runden wiederholen
0–9 Tag 4, 8, 10 und 12 noch einmal durcharbeiten

Challenge

Irgendwo im Cluster verwirft eine Policy Verkehr zwischen zwei Pods. Finde Quelle, Ziel und Policy nur über Hubble, ohne den Namespace zu kennen, und beseitige die Altlast. Spielleitung:

k create ns tag21-ch
k -n tag21-ch create deployment api \
  --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
  -- /agnhost netexec --http-port=8080
k -n tag21-ch expose deployment api --port=80 --target-port=8080
k -n tag21-ch run batch --image=curlimages/curl:8.17.0 -l app=batch --command -- \
  sh -c 'while true; do curl -s -m2 -o /dev/null api/hostname; sleep 3; done'
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumClusterwideNetworkPolicy
metadata:
  name: tag21-ch-altlast
spec:
  endpointSelector:
    matchLabels:
      app: api
  enableDefaultDeny:
    ingress: false
  ingressDeny:
  - fromEndpoints:
    - matchLabels:
        app: batch
EOF

Hinweis: hubble observe --verdict DROPPED zeigt alle Drops – im Autorenlabor vor allem VLAN-Broadcasts aus dem Heimnetz (Tag 0). --drop-reason-desc filtert nach Grund; die Policy-Gründe heißen POLICY_DENIED und POLICY_DENY.

Lösung

hubble observe -P --port-forward-port 0 --verdict DROPPED --last 2
hubble observe -P --port-forward-port 0 --verdict DROPPED \
  --drop-reason-desc POLICY_DENY --drop-reason-desc POLICY_DENIED --since 5m \
  | tail -2

Erwartet (gekürzt, hängt vom Netz ab – ohne VLAN-Broadcasts fehlen bei dir die beiden VLAN_FILTERED-Zeilen, und der erste Befehl zeigt schon die Policy-Drops):

10.10.10.0:36526 (world) <> 10.10.11.255:10001 (world) VLAN traffic disallowed by
  VLAN filter DROPPED (UDP)
192.168.3.1:36526 (world) <> 192.168.3.255:10001 (world) VLAN traffic disallowed by
  VLAN filter DROPPED (UDP)
tag21-ch/batch:60336 (ID:71887) <> tag21-ch/api-98c78c9bb-vgt7r:8080 (ID:94484)
  policy-verdict:L3-Only INGRESS DENIED (TCP Flags: SYN)
tag21-ch/batch:60336 (ID:71887) <> tag21-ch/api-98c78c9bb-vgt7r:8080 (ID:94484)
  Policy denied by denylist DROPPED (TCP Flags: SYN)

„denied by denylist“ heißt: eine explizite Deny-Regel, kein Default Deny. Im Namespace liegt keine – also clusterweit suchen:

k -n tag21-ch get cnp,netpol
k get ccnp -o json | jq -r '.items[]
  | select(.spec.ingressDeny or .spec.egressDeny) | .metadata.name'
k delete ccnp tag21-ch-altlast
hubble observe -P --port-forward-port 0 --from-pod tag21-ch/batch --to-port 8080 \
  --last 1

Erwartet (gekürzt):

No resources found in tag21-ch namespace.
tag21-ch-altlast
ciliumclusterwidenetworkpolicy.cilium.io "tag21-ch-altlast" deleted
tag21-ch/batch:56220 (ID:71887) -> tag21-ch/api-98c78c9bb-vgt7r:8080 (ID:94484)
  to-endpoint FORWARDED (TCP Flags: ACK)

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Die Cluster-Änderungen aus Runde 1 und 3 sind schon zurückgebaut. Weg kommen die BGP-Objekte aus Runde 7 (die BGP Control Plane und FRR bleiben) und alle Namespaces; mit tag21-r6-infra verschwinden Gateway, Issuer und Zertifikate, die GatewayClass ist clusterweit:

k delete ciliumbgpadvertisement tag21-lb
k delete ciliumbgppeerconfig tag21-peer
k delete ciliumbgpclusterconfig tag21-bgp
k delete ciliumloadbalancerippool tag21-pool
k delete gatewayclass tag21-nodeport
k --context west delete ns tag21-r8
k config set-context --current --namespace=default
for n in r1 r2 r3 r4 r5 r6 r6-infra r7 r8 ch; do
  k delete ns tag21-$n --wait=false
done

Kontrollpunkt

k get ns | grep -c tag21; k --context west get ns | grep -c tag21

Erwartet (nach etwa einer Minute): 0 und 0.

k get ciliumnodeconfigs -A
k get ccnp,ippools,ciliumbgpclusterconfigs,ciliumbgppeerconfigs,ciliumbgpadvertisements

Erwartet: zweimal No resources found.

ssh [email protected] 'ip -d link show cilium_vxlan 2>/dev/null' \
  | grep -o 'dstport [0-9]*'

Erwartet: dstport 8472

diff <(k -n kube-system get cm coredns -o jsonpath='{.data}') \
  <(k create -f ~/ckne/tag21/r3-coredns-backup.yaml $do -o jsonpath='{.data}') \
  && echo IDENTISCH

Erwartet: IDENTISCH

cilium bgp peers
ssh [email protected] "ip route | grep -c proto.bgp"

Erwartet: von cilium bgp peers nur die Kopfzeile, 0 Routen auf dem router.

cilium status | grep -E 'Cilium:|Operator:|Hubble Relay:|ClusterMesh:'
cilium clustermesh status | grep 'nodes are connected'

Erwartet: viermal OK, All 3 nodes are connected to all clusters.

k get pods -A | grep -vE 'Running|Completed'

Erwartet: nur die Kopfzeile.

Bleibt für Anhang B: Gateway-API-CRDs und gatewayAPI.enabled, cert-manager, kube-prometheus-stack in tag19-mon, bgpControlPlane.enabled samt FRR auf dem router, ClusterMesh mit west.

Prüfungstipp

  • Erst eingrenzen, dann reparieren: Name gegen IP (DNS?), ein Node gegen alle (Datenpfad?), Status-Conditions gegen tatsächlichen Test (Gateway grün, curl rot). Jede Hälfte, die funktioniert, streicht die Hälfte der Ursachen.
  • Hubble nennt bei jedem Drop Grund und Ziel – --verdict DROPPED plus --drop-reason-desc oder --protocol http statt Logs raten. Ohne Flow (Exit 7) hat der Service kein Backend.
  • Selektoren sind die häufigste Fehlerquelle: Namespace-Labels (kubernetes.io/metadata.name), Port-Namen, BGP-Advertisement-Labels, Annotation auf beiden Seiten eines globalen Service.

Enterprise-Notiz

  • Per-Node-Overrides (CiliumNodeConfig) gehören in Git und ins Review; ein Drift-Check vergleicht cilium-dbg-Werte aller Agenten, nicht nur die ConfigMap.
  • CoreDNS-Änderungen über GitOps mit Syntaxprüfung (coredns -conf) in der Pipeline; Alarm auf coredns_dns_responses_total nach Rcode und auf Reload-Fehler.
  • Drop-Alarme aus Hubble-Metriken (Tag 19) nach Grund getrennt: POLICY_DENIED nach einem Deployment ist ein Rollout-Problem, kein Angriff.
  • BGP-Konfiguration mit Tests in Staging; der Upstream-Router meldet „Routen von AS 65010 = 0“ als Alarm.
  • Solche Game Days regelmäßig mit Bereitschaft üben – Runbooks entstehen aus den Hinweisen dieses Tages.