Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 9: Gateways auf RKE2

Ziel: Envoy Gateway und Cilium bekommen echte LoadBalancer-IPs aus dem Heimnetz, die Demo-Apps laufen unter *.apps.lab.internal mit Lab-CA-Zertifikat. · Dauer: ca. 90 min · Voraussetzung: Tag 8

Briefing

  • Cilium LB-IPAM vergibt IPs aus 10.10.20.100–.120, L2 Announcements beantworten ARP dafür – ein MetalLB-Ersatz ohne Zusatzkomponente.
  • Reihenfolge zählt: Der Cilium-Operator prüft die Gateway-API-CRDs nur beim Start. Erst CRDs (kommen mit Envoy Gateway), dann Cilium neu starten.
  • Zwei GatewayClasses parallel: eg (Envoy Gateway, Haupt-Implementierung) und cilium (Vergleich).
  • Feste IPs pro Gateway: .100 für web (eg), .101 für web-cilium. DNS im Heimnetz zeigt *.apps.lab.internal darauf.
  • cert-manager kennt Gateways erst, wenn die CRDs vor seinem Start existieren – deshalb kommt er zuletzt.
 Heimnetz-DNS: *.apps.lab.internal -> .100   *.cilium.apps.lab.internal -> .101
         │ ARP (Cilium L2, Lease pro Service, nur Worker)
 ┌───────▼─────────────────────────┐   ┌──────────────────────────────────┐
 │ Service envoy-infra-web-…  .100 │   │ Service cilium-gateway-web-…     │
 │ Envoy-Pods (envoy-gateway-sys.) │   │ .101 -> Cilium-Envoy pro Node    │
 └───────┬─────────────────────────┘   └───────┬──────────────────────────┘
         └──────── HTTPRoute shop / shop-cilium ┘──► shop-v1 / shop-v2

Achtung: Mehrknoten-RKE2, ARP im Heimnetz und echtes DNS sind nicht in kind nachstellbar. Alle Manifeste sind mit kubeconform gegen die CRD-Schemas von Gateway API v1.6.1, Envoy Gateway v1.9.2, Cilium 1.20.2 und cert-manager v1.21.2 geprüft; Ausgaben sind „(gekürzt, kann je nach Version abweichen)“.

Drill 1: LB-IPAM und L2 Announcements

export KUBECONFIG=~/.kube/rke2-lab.yaml
cd ~/gw-lab/code/tag09
cat lb-ipam.yaml

Erwartet:

# Cilium LB-IPAM: Pool fuer LoadBalancer-Services + L2-Announcements (ARP)
apiVersion: cilium.io/v2
kind: CiliumLoadBalancerIPPool
metadata:
  name: lab-pool
spec:
  blocks:
    - start: 10.10.20.100
      stop: 10.10.20.120
---
apiVersion: cilium.io/v2alpha1
kind: CiliumL2AnnouncementPolicy
metadata:
  name: lab-l2
spec:
  nodeSelector:              # nur Worker antworten per ARP
    matchExpressions:
      - key: node-role.kubernetes.io/control-plane
        operator: DoesNotExist
  interfaces:
    - ^eth0$
  loadBalancerIPs: true
  externalIPs: false

Der Pool ist bei Cilium 1.20 cilium.io/v2, die L2-Policy noch v2alpha1. Die Worker-Beschränkung hält ARP-Antworten von den Servern fern, auf denen kube-vip die API-VIP hält.

kubectl apply -f lb-ipam.yaml -f lb-test.yaml
kubectl get ippools
kubectl get svc lb-test
kubectl -n kube-system get lease | grep cilium-l2announce

Erwartet (gekürzt, kann je nach Version abweichen):

NAME       DISABLED   CONFLICTING   IPS AVAILABLE   AGE
lab-pool   false      False         20              5s
NAME      TYPE           CLUSTER-IP     EXTERNAL-IP    PORT(S)        AGE
lb-test   LoadBalancer   10.43.91.204   10.10.20.100   80:31877/TCP   5s
cilium-l2announce-default-lb-test   rke2-wk-2   5s

Vom Laptop aus prüfst du ARP (Interface anpassen):

arping -c 2 10.10.20.100
kubectl delete -f lb-test.yaml

Erwartet (gekürzt, kann je nach Version abweichen):

60 bytes from bc:24:11:5a:0e:22 (10.10.20.100): index=0 time=1.1 msec

Die MAC gehört rke2-wk-2 – genau dem Lease-Halter. Ein Service ohne Endpoints wird trotzdem angekündigt; curl liefert dann nur „Connection refused”.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Envoy Gateway installieren – CRDs zuerst

kubectl get crd | grep -c gateway.networking.k8s.io

Erwartet:

0

RKE2 bringt mit ingress-controller: none keine Gateway-API-CRDs mit. Das Envoy-Gateway-Chart installiert sie (Experimental-Channel v1.6.1) zusammen mit den eigenen CRDs – genau wie in kind an Tag 1:

helm install eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.2 \
  -n envoy-gateway-system --create-namespace
kubectl wait --timeout=5m -n envoy-gateway-system \
  deployment/envoy-gateway --for=condition=Available
kubectl get crd gateways.gateway.networking.k8s.io -o yaml \
  | grep -E 'bundle-version|channel:'

Erwartet (gekürzt, kann je nach Version abweichen):

Pulled: registry-1.docker.io/envoyproxy/gateway-helm:v1.9.2
NAME: eg
STATUS: deployed
deployment.apps/envoy-gateway condition met
    gateway.networking.k8s.io/bundle-version: v1.6.1
    gateway.networking.k8s.io/channel: experimental

Achtung: Mit aktivem Traefik lägen schon CRDs v1.5.1 (Standard) im Cluster. Helm überspringt vorhandene CRDs aus dem crds/-Verzeichnis – Envoy Gateway liefe gegen eine zu alte API. Ein nachträgliches Experimental-Upgrade blockiert dann die mitinstallierte ValidatingAdmissionPolicy safe-upgrades.gateway.networking.k8s.io.

kubectl apply -f ~/gw-lab/code/demo/gatewayclass.yaml
kubectl get gatewayclass

Erwartet (gekürzt, kann je nach Version abweichen):

NAME   CONTROLLER                                      ACCEPTED   AGE
eg     gateway.envoyproxy.io/gatewayclass-controller   True       4s

Fortschritt speichern? Kostenlos registrieren

Drill 3: Cilium-GatewayClass nachziehen

Cilium läuft seit Tag 8 mit gatewayAPI.enabled: true, hat beim Start aber keine CRDs gefunden. Zwei Dinge fehlen: die GatewayClass (das Chart rendert sie mit create: auto nur, wenn die CRD beim Rendern existiert) und ein Operator-Neustart.

cd ~/gw-lab/code/infra-rke2
sed -i.bak 's/^cilium_gateway_class_create: auto/cilium_gateway_class_create: "true"/' \
  group_vars/all.yml
ansible rke2_servers -b -m ansible.builtin.template -a \
  "src=roles/rke2_server/templates/rke2-cilium-config.yaml.j2 \
   dest=/var/lib/rancher/rke2/server/manifests/rke2-cilium-config.yaml mode=0600"
kubectl -n kube-system get helmchartconfig rke2-cilium \
  -o jsonpath='{.spec.valuesContent}' | grep -A1 gatewayClass

Erwartet (gekürzt, kann je nach Version abweichen):

rke2-cp-1 | CHANGED => {"changed": true, ...}
...
      gatewayClass:
        create: "true"

Warum über Ansible statt kubectl edit? RKE2 spielt die Dateien in server/manifests bei jedem Neustart wieder ein – eine Änderung nur per kubectl wäre dann weg. create: "true" ist erst jetzt sicher: Ohne CRD würde der Helm-Release scheitern und Cilium gleich mit.

Der Helm-Controller rollt das Chart neu aus. Den Operator startest du trotzdem explizit neu, weil sich seine ConfigMap nicht geändert hat:

kubectl -n kube-system get job -l helmcharts.helm.cattle.io/chart=rke2-cilium
kubectl -n kube-system rollout restart deploy/cilium-operator ds/cilium
kubectl -n kube-system rollout status ds/cilium --timeout=5m
kubectl get gatewayclass

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                       STATUS     COMPLETIONS   DURATION   AGE
helm-install-rke2-cilium   Complete   1/1           21s        40s
daemon set "cilium" successfully rolled out
NAME     CONTROLLER                                      ACCEPTED   AGE
cilium   io.cilium/gateway-controller                    True       45s
eg       gateway.envoyproxy.io/gatewayclass-controller   True       6m

Tipp: Bei einem Neuaufbau drehst du die Reihenfolge um: Gateway-API-CRDs als Datei in /var/lib/rancher/rke2/server/manifests/ auf rke2-cp-1 legen, bevor RKE2 startet. Dann findet Cilium sie schon beim ersten Start.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Demo-Apps und Gateways umziehen

Die Manifeste aus kind (Tag 0–2) laufen unverändert – nur Gateway und Hostnamen ändern sich:

cd ~/gw-lab/code
kubectl apply -f demo/namespaces.yaml
kubectl apply -f demo/shop-v1.yaml -f demo/shop-v2.yaml -f demo/payments.yaml
kubectl -n shop get pods -o wide

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                       READY   STATUS    RESTARTS   AGE   IP           NODE
shop-v1-6d5f9c8b7d-k2x9q   1/1     Running   0          20s   10.42.4.17   rke2-wk-1
shop-v2-7b9c6f5d4f-p8m2n   1/1     Running   0          20s   10.42.5.9    rke2-wk-3

Das Gateway web bekommt seine feste IP über ein EnvoyProxy-Objekt:

cat tag09/envoyproxy-web.yaml

Erwartet:

# EnvoyProxy fuer Gateway infra/web auf RKE2 (Tag 9, erweitert an Tag 10-12)
apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyProxy
metadata:
  name: web-proxy
  namespace: infra
spec:
  provider:
    type: Kubernetes
    kubernetes:
      envoyService:
        type: LoadBalancer
        externalTrafficPolicy: Cluster   # Pflicht mit Cilium L2 (kein Local)
        annotations:
          lbipam.cilium.io/ips: 10.10.20.100

Warum Cluster? Envoy Gateway setzt per Default externalTrafficPolicy: Local. Cilium-L2 kann dann eine IP auf einem Node ankündigen, auf dem gar kein Envoy-Pod läuft – Traffic verpufft.

tag09/gateway-web.yaml verweist per infrastructure.parametersRef darauf und hat zusätzlich einen HTTPS-Listener für *.apps.lab.internal. Das Cilium-Gateway setzt die IP direkt per infrastructure.annotations:

spec:
  gatewayClassName: cilium
  infrastructure:
    annotations:
      lbipam.cilium.io/ips: 10.10.20.101
  listeners:
    - name: http
      protocol: HTTP
      port: 80
      hostname: "*.cilium.apps.lab.internal"
kubectl apply -f tag09/envoyproxy-web.yaml -f tag09/gateway-web.yaml \
  -f tag09/gateway-cilium.yaml -f tag09/routes.yaml
kubectl -n infra get gateway
kubectl get svc -A | grep LoadBalancer

Erwartet (gekürzt, kann je nach Version abweichen):

NAME         CLASS    ADDRESS        PROGRAMMED   AGE
web          eg       10.10.20.100   True         30s
web-cilium   cilium   10.10.20.101   True         30s
envoy-gateway-system envoy-infra-web-a97fc3bf   LoadBalancer ... 10.10.20.100 ...
infra                cilium-gateway-web-cilium  LoadBalancer ... 10.10.20.101 ...

Der HTTPS-Listener meldet noch ResolvedRefs=False, weil das Secret apps-wildcard-tls fehlt – das liefert cert-manager in Drill 6:

~/gw-lab/code/demo/conds.sh gateway web infra | grep -A3 'listener https'

Erwartet (gekürzt, kann je nach Version abweichen):

listener https (attachedRoutes=1):
  Programmed=False (Invalid): Listener is invalid, see other Conditions ...
  ResolvedRefs=False (InvalidCertificateRef): Secret infra/apps-wildcard-tls
  does not exist.

Schon jetzt geht HTTP direkt per IP:

curl -s -H 'Host: shop.apps.lab.internal' http://10.10.20.100/ \
  | jq -r .service
curl -s -H 'Host: shop.cilium.apps.lab.internal' http://10.10.20.101/ \
  | jq -r .service

Erwartet (gekürzt, kann je nach Version abweichen):

shop-v1
shop-v2

Fortschritt speichern? Kostenlos registrieren

Drill 5: DNS im Heimnetz

Ein Wildcard-Eintrag reicht – alle *.apps.lab.internal zeigen auf Envoy Gateway, die spezifischere Zone cilium.apps.lab.internal auf Cilium. Variante dnsmasq/Pi-hole (tag09/dnsmasq-apps.conf):

address=/apps.lab.internal/10.10.20.100
address=/cilium.apps.lab.internal/10.10.20.101
address=/rke2.lab.internal/10.10.20.10
scp ~/gw-lab/code/tag09/dnsmasq-apps.conf pihole:/tmp/
ssh pihole 'sudo pihole-FTL --config misc.etc_dnsmasq_d true && \
  sudo cp /tmp/dnsmasq-apps.conf /etc/dnsmasq.d/10-apps.conf && \
  sudo pihole reloaddns'

Pi-hole v6 liest /etc/dnsmasq.d/ nur mit misc.etc_dnsmasq_d=true. Bei reinem dnsmasq genügt die Datei plus systemctl restart dnsmasq. Variante Unbound (z. B. OPNsense, tag09/unbound-apps.conf):

server:
  local-zone: "cilium.apps.lab.internal." redirect
  local-data: "cilium.apps.lab.internal. A 10.10.20.101"
  local-zone: "apps.lab.internal." redirect
  local-data: "apps.lab.internal. A 10.10.20.100"
  local-data: "rke2.lab.internal. A 10.10.20.10"
dig +short shop.apps.lab.internal
dig +short irgendwas.apps.lab.internal
dig +short shop.cilium.apps.lab.internal
curl -s http://shop.apps.lab.internal/ | jq -r .service

Erwartet (gekürzt, kann je nach Version abweichen):

10.10.20.100
10.10.20.100
10.10.20.101
shop-v1

Tipp: Kein eigener DNS-Server? Für den Laptop reicht /etc/hosts mit einzelnen Namen – Wildcards kann die Datei nicht.

Fortschritt speichern? Kostenlos registrieren

Drill 6: cert-manager mit Lab-CA

cert-manager kommt nach den CRDs, sonst ignoriert er Gateways bis zum nächsten Neustart. Installation wie an Tag 4:

helm upgrade --install cert-manager oci://quay.io/jetstack/charts/cert-manager \
  --version v1.21.2 -n cert-manager --create-namespace \
  --set crds.enabled=true \
  --set config.gatewayAPI.enabled=true \
  --wait
kubectl apply -f ~/gw-lab/code/tag04/lab-ca.yaml
kubectl wait clusterissuer/lab-ca --for=condition=Ready --timeout=60s
mkdir -p ~/gw-lab/tag09
kubectl -n cert-manager get secret lab-ca -o jsonpath='{.data.ca\.crt}' \
  | base64 -d > ~/gw-lab/tag09/rke2-lab-ca.crt

Erwartet (gekürzt, kann je nach Version abweichen):

Release "cert-manager" does not exist. Installing it now.
STATUS: deployed
clusterissuer.cert-manager.io/lab-ca condition met

Das ist eine neue CA – nicht die aus kind. Die Annotation cert-manager.io/cluster-issuer: lab-ca am Gateway web erzeugt jetzt automatisch ein Certificate für den Wildcard-Listener:

kubectl -n infra get certificate
kubectl -n infra get certificate apps-wildcard-tls \
  -o jsonpath='{.spec.dnsNames}{"\n"}'
~/gw-lab/code/demo/conds.sh gateway web infra | grep -A2 'listener https'

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                READY   SECRET              AGE
apps-wildcard-tls   True    apps-wildcard-tls   25s
["*.apps.lab.internal"]
listener https (attachedRoutes=1):
  Accepted=True (Accepted): Listener has been successfully translated
  Programmed=True (Programmed): Sending translated listener configuration ...
curl -s --cacert ~/gw-lab/tag09/rke2-lab-ca.crt \
  https://shop.apps.lab.internal/ | jq -r .service
openssl s_client -connect 10.10.20.100:443 \
  -servername shop.apps.lab.internal </dev/null 2>/dev/null \
  | openssl x509 -noout -ext subjectAltName -issuer

Erwartet (gekürzt, kann je nach Version abweichen):

shop-v1
X509v3 Subject Alternative Name: critical
    DNS:*.apps.lab.internal
issuer=CN=gw-lab Root CA

Fortschritt speichern? Kostenlos registrieren

Drill 7: eg und cilium im Vergleich

kubectl -n envoy-gateway-system get deploy -l \
  gateway.envoyproxy.io/owning-gateway-name=web
kubectl -n kube-system get ds cilium-envoy
curl -sI http://shop.apps.lab.internal/ | grep -i '^server'
curl -sI http://shop.cilium.apps.lab.internal/ | grep -i '^server'

Erwartet (gekürzt, kann je nach Version abweichen):

NAME                       READY   UP-TO-DATE   AVAILABLE   AGE
envoy-infra-web-a97fc3bf   1/1     1            1           12m
NAME           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   AGE
cilium-envoy   6         6         6       6            6           2d
server: envoy
server: envoy
Aspekt eg (Envoy Gateway) cilium
Envoy-Pods eigenes Deployment pro Gateway DaemonSet cilium-envoy, geteilt
Skalierung/HA per EnvoyProxy (Tag 10, 12) mit dem Node-Set
Erweiterungen Client-, Backend-, Security-Policies wenige, L7 über CiliumNetworkPolicy
Upgrade Helm-Release eg, unabhängig mit dem CNI (RKE2-Upgrade)

Beide sprechen Envoy, aber nur eg versteht die Policies von Tag 10. Cilium punktet, wenn du keine zusätzliche Komponente betreiben willst.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

export KUBECONFIG=~/.kube/rke2-lab.yaml
CA=~/gw-lab/tag09/rke2-lab-ca.crt
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "IP-Pool ohne Konflikt" \
  '[ "$(kubectl get ippools lab-pool --no-headers | awk "{print \$3}")" = False ]'
check "GatewayClass eg Accepted" \
  'kubectl wait gatewayclass/eg --for=condition=Accepted --timeout=5s'
check "GatewayClass cilium Accepted" \
  'kubectl wait gatewayclass/cilium --for=condition=Accepted --timeout=5s'
check "web auf 10.10.20.100" \
  '[ "$(kubectl -n infra get gateway web \
     -o jsonpath="{.status.addresses[0].value}")" = 10.10.20.100 ]'
check "web-cilium auf 10.10.20.101" \
  '[ "$(kubectl -n infra get gateway web-cilium \
     -o jsonpath="{.status.addresses[0].value}")" = 10.10.20.101 ]'
check "DNS-Wildcard" '[ "$(dig +short x.apps.lab.internal)" = 10.10.20.100 ]'
check "HTTPS mit Lab-CA" \
  'curl -sf --cacert $CA https://shop.apps.lab.internal/ | grep -q shop-v1'
check "Cilium-Gateway antwortet" \
  'curl -sf http://shop.cilium.apps.lab.internal/ | grep -q shop-v2'

Challenge

Du hast eine echte Domain bei Cloudflare? Stelle shop.lab.<deine-domain> mit einem Zertifikat von Let’s Encrypt (Staging) per ACME DNS-01 auf dem Gateway web bereit, ohne den Lab-CA-Listener anzufassen.

Hinweis: DNS-01 braucht keinen eingehenden Port, nur einen API-Token mit Zone:DNS:Edit; die Vorlage liegt in tag09/acme-dns01.yaml.

Lösung

read -rs CF_API_TOKEN
kubectl -n cert-manager create secret generic cloudflare-api-token \
  --from-literal=api-token="$CF_API_TOKEN"
DOMAIN=example.org      # deine Domain
sed "s/example.org/$DOMAIN/g" ~/gw-lab/code/tag09/acme-dns01.yaml \
  | kubectl apply -f -
kubectl -n infra apply -f - <<YAML
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: shop-public-tls
spec:
  secretName: shop-public-tls
  dnsNames: [shop.lab.$DOMAIN]
  issuerRef: {kind: ClusterIssuer, name: letsencrypt-staging}
YAML
kubectl -n infra wait certificate/shop-public-tls --for=condition=Ready \
  --timeout=5m
kubectl -n infra patch gateway web --type=json -p "[{\"op\":\"add\",
  \"path\":\"/spec/listeners/-\",\"value\":{\"name\":\"https-public\",
  \"protocol\":\"HTTPS\",\"port\":443,\"hostname\":\"shop.lab.$DOMAIN\",
  \"tls\":{\"certificateRefs\":[{\"name\":\"shop-public-tls\"}]},
  \"allowedRoutes\":{\"namespaces\":{\"from\":\"All\"}}}}]"
kubectl -n shop patch httproute shop --type=json \
  -p "[{\"op\":\"add\",\"path\":\"/spec/hostnames/-\",
  \"value\":\"shop.lab.$DOMAIN\"}]"

Erwartet (gekürzt, kann je nach Version abweichen):

secret/cloudflare-api-token created
clusterissuer.cert-manager.io/letsencrypt-staging created
certificate.cert-manager.io/shop-public-tls created
certificate.cert-manager.io/shop-public-tls condition met
gateway.gateway.networking.k8s.io/web patched
httproute.gateway.networking.k8s.io/shop patched

Warum erst das Certificate, dann der Listener? Die Annotation lab-ca gilt für alle Listener des Gateways. Ein Certificate, das nicht dem Gateway gehört, fasst cert-manager aber nicht an („refusing to update non-owned certificate”) – so bleibt dein ACME-Zertifikat unangetastet. Den DNS-Eintrag shop.lab.<deine-domain> legst du intern (Drill 5) auf 10.10.20.100. Staging-Zertifikate sind nicht vertrauenswürdig: curl -k geht, Browser warnen. Für Produktion acme-v02 statt acme-staging-v02.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • IP-Pools pro Umgebung/Mandant mit serviceSelector trennen; L2 nur in flachen Netzen, sonst Cilium BGP Control Plane mit dem Core-Router.
  • Gateway-API-CRDs als eigenes, versioniertes Paket (GitOps) verwalten – genau ein Owner, nicht nebenbei mehrere Controller-Charts (Tag 12).
  • Interne CA aus der Vault/OpenBao-PKI per cert-manager-Issuer statt selbstsignierter Lab-CA; Trust per trust-manager verteilen.
  • Split-Horizon-DNS: interne Zone auf LB-IPs, extern nur, was publiziert wird; external-dns pflegt die Einträge automatisch.
  • ACME-Tokens mit minimalem Scope (eine Zone) und Rotation über den Secret-Store.