Tag 9: Gateways auf RKE2
Ziel: Envoy Gateway und Cilium bekommen echte LoadBalancer-IPs aus dem Heimnetz, die Demo-Apps laufen unter
*.apps.lab.internalmit Lab-CA-Zertifikat. · Dauer: ca. 90 min · Voraussetzung: Tag 8
Briefing
- Cilium LB-IPAM vergibt IPs aus
10.10.20.100–.120, L2 Announcements beantworten ARP dafür – ein MetalLB-Ersatz ohne Zusatzkomponente. - Reihenfolge zählt: Der Cilium-Operator prüft die Gateway-API-CRDs nur beim Start. Erst CRDs (kommen mit Envoy Gateway), dann Cilium neu starten.
- Zwei GatewayClasses parallel:
eg(Envoy Gateway, Haupt-Implementierung) undcilium(Vergleich). - Feste IPs pro Gateway:
.100fürweb(eg),.101fürweb-cilium. DNS im Heimnetz zeigt*.apps.lab.internaldarauf. - cert-manager kennt Gateways erst, wenn die CRDs vor seinem Start existieren – deshalb kommt er zuletzt.
Heimnetz-DNS: *.apps.lab.internal -> .100 *.cilium.apps.lab.internal -> .101
│ ARP (Cilium L2, Lease pro Service, nur Worker)
┌───────▼─────────────────────────┐ ┌──────────────────────────────────┐
│ Service envoy-infra-web-… .100 │ │ Service cilium-gateway-web-… │
│ Envoy-Pods (envoy-gateway-sys.) │ │ .101 -> Cilium-Envoy pro Node │
└───────┬─────────────────────────┘ └───────┬──────────────────────────┘
└──────── HTTPRoute shop / shop-cilium ┘──► shop-v1 / shop-v2
Achtung: Mehrknoten-RKE2, ARP im Heimnetz und echtes DNS sind nicht in kind nachstellbar. Alle Manifeste sind mit
kubeconformgegen die CRD-Schemas von Gateway API v1.6.1, Envoy Gateway v1.9.2, Cilium 1.20.2 und cert-manager v1.21.2 geprüft; Ausgaben sind „(gekürzt, kann je nach Version abweichen)“.
Drill 1: LB-IPAM und L2 Announcements
export KUBECONFIG=~/.kube/rke2-lab.yaml
cd ~/gw-lab/code/tag09
cat lb-ipam.yamlErwartet:
# Cilium LB-IPAM: Pool fuer LoadBalancer-Services + L2-Announcements (ARP)
apiVersion: cilium.io/v2
kind: CiliumLoadBalancerIPPool
metadata:
name: lab-pool
spec:
blocks:
- start: 10.10.20.100
stop: 10.10.20.120
---
apiVersion: cilium.io/v2alpha1
kind: CiliumL2AnnouncementPolicy
metadata:
name: lab-l2
spec:
nodeSelector: # nur Worker antworten per ARP
matchExpressions:
- key: node-role.kubernetes.io/control-plane
operator: DoesNotExist
interfaces:
- ^eth0$
loadBalancerIPs: true
externalIPs: falseDer Pool ist bei Cilium 1.20 cilium.io/v2, die L2-Policy
noch v2alpha1. Die Worker-Beschränkung hält ARP-Antworten
von den Servern fern, auf denen kube-vip die API-VIP hält.
kubectl apply -f lb-ipam.yaml -f lb-test.yaml
kubectl get ippools
kubectl get svc lb-test
kubectl -n kube-system get lease | grep cilium-l2announceErwartet (gekürzt, kann je nach Version abweichen):
NAME DISABLED CONFLICTING IPS AVAILABLE AGE
lab-pool false False 20 5s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
lb-test LoadBalancer 10.43.91.204 10.10.20.100 80:31877/TCP 5s
cilium-l2announce-default-lb-test rke2-wk-2 5s
Vom Laptop aus prüfst du ARP (Interface anpassen):
arping -c 2 10.10.20.100
kubectl delete -f lb-test.yamlErwartet (gekürzt, kann je nach Version abweichen):
60 bytes from bc:24:11:5a:0e:22 (10.10.20.100): index=0 time=1.1 msec
Die MAC gehört rke2-wk-2 – genau dem Lease-Halter. Ein
Service ohne Endpoints wird trotzdem angekündigt; curl
liefert dann nur „Connection refused”.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Envoy Gateway installieren – CRDs zuerst
kubectl get crd | grep -c gateway.networking.k8s.ioErwartet:
0
RKE2 bringt mit ingress-controller: none keine
Gateway-API-CRDs mit. Das Envoy-Gateway-Chart installiert sie
(Experimental-Channel v1.6.1) zusammen mit den eigenen CRDs – genau wie
in kind an Tag 1:
helm install eg oci://docker.io/envoyproxy/gateway-helm --version v1.9.2 \
-n envoy-gateway-system --create-namespace
kubectl wait --timeout=5m -n envoy-gateway-system \
deployment/envoy-gateway --for=condition=Available
kubectl get crd gateways.gateway.networking.k8s.io -o yaml \
| grep -E 'bundle-version|channel:'Erwartet (gekürzt, kann je nach Version abweichen):
Pulled: registry-1.docker.io/envoyproxy/gateway-helm:v1.9.2
NAME: eg
STATUS: deployed
deployment.apps/envoy-gateway condition met
gateway.networking.k8s.io/bundle-version: v1.6.1
gateway.networking.k8s.io/channel: experimental
Achtung: Mit aktivem Traefik lägen schon CRDs v1.5.1 (Standard) im Cluster. Helm überspringt vorhandene CRDs aus dem
crds/-Verzeichnis – Envoy Gateway liefe gegen eine zu alte API. Ein nachträgliches Experimental-Upgrade blockiert dann die mitinstallierteValidatingAdmissionPolicysafe-upgrades.gateway.networking.k8s.io.
kubectl apply -f ~/gw-lab/code/demo/gatewayclass.yaml
kubectl get gatewayclassErwartet (gekürzt, kann je nach Version abweichen):
NAME CONTROLLER ACCEPTED AGE
eg gateway.envoyproxy.io/gatewayclass-controller True 4s
Fortschritt speichern? Kostenlos registrieren
Drill 3: Cilium-GatewayClass nachziehen
Cilium läuft seit Tag 8 mit gatewayAPI.enabled: true,
hat beim Start aber keine CRDs gefunden. Zwei Dinge fehlen: die
GatewayClass (das Chart rendert sie mit create: auto nur,
wenn die CRD beim Rendern existiert) und ein Operator-Neustart.
cd ~/gw-lab/code/infra-rke2
sed -i.bak 's/^cilium_gateway_class_create: auto/cilium_gateway_class_create: "true"/' \
group_vars/all.yml
ansible rke2_servers -b -m ansible.builtin.template -a \
"src=roles/rke2_server/templates/rke2-cilium-config.yaml.j2 \
dest=/var/lib/rancher/rke2/server/manifests/rke2-cilium-config.yaml mode=0600"
kubectl -n kube-system get helmchartconfig rke2-cilium \
-o jsonpath='{.spec.valuesContent}' | grep -A1 gatewayClassErwartet (gekürzt, kann je nach Version abweichen):
rke2-cp-1 | CHANGED => {"changed": true, ...}
...
gatewayClass:
create: "true"
Warum über Ansible statt kubectl edit? RKE2 spielt die
Dateien in server/manifests bei jedem Neustart wieder ein –
eine Änderung nur per kubectl wäre dann weg.
create: "true" ist erst jetzt sicher: Ohne CRD würde der
Helm-Release scheitern und Cilium gleich mit.
Der Helm-Controller rollt das Chart neu aus. Den Operator startest du trotzdem explizit neu, weil sich seine ConfigMap nicht geändert hat:
kubectl -n kube-system get job -l helmcharts.helm.cattle.io/chart=rke2-cilium
kubectl -n kube-system rollout restart deploy/cilium-operator ds/cilium
kubectl -n kube-system rollout status ds/cilium --timeout=5m
kubectl get gatewayclassErwartet (gekürzt, kann je nach Version abweichen):
NAME STATUS COMPLETIONS DURATION AGE
helm-install-rke2-cilium Complete 1/1 21s 40s
daemon set "cilium" successfully rolled out
NAME CONTROLLER ACCEPTED AGE
cilium io.cilium/gateway-controller True 45s
eg gateway.envoyproxy.io/gatewayclass-controller True 6m
Tipp: Bei einem Neuaufbau drehst du die Reihenfolge um: Gateway-API-CRDs als Datei in
/var/lib/rancher/rke2/server/manifests/aufrke2-cp-1legen, bevor RKE2 startet. Dann findet Cilium sie schon beim ersten Start.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Demo-Apps und Gateways umziehen
Die Manifeste aus kind (Tag 0–2) laufen unverändert – nur Gateway und Hostnamen ändern sich:
cd ~/gw-lab/code
kubectl apply -f demo/namespaces.yaml
kubectl apply -f demo/shop-v1.yaml -f demo/shop-v2.yaml -f demo/payments.yaml
kubectl -n shop get pods -o wideErwartet (gekürzt, kann je nach Version abweichen):
NAME READY STATUS RESTARTS AGE IP NODE
shop-v1-6d5f9c8b7d-k2x9q 1/1 Running 0 20s 10.42.4.17 rke2-wk-1
shop-v2-7b9c6f5d4f-p8m2n 1/1 Running 0 20s 10.42.5.9 rke2-wk-3
Das Gateway web bekommt seine feste IP über ein
EnvoyProxy-Objekt:
cat tag09/envoyproxy-web.yamlErwartet:
# EnvoyProxy fuer Gateway infra/web auf RKE2 (Tag 9, erweitert an Tag 10-12)
apiVersion: gateway.envoyproxy.io/v1alpha1
kind: EnvoyProxy
metadata:
name: web-proxy
namespace: infra
spec:
provider:
type: Kubernetes
kubernetes:
envoyService:
type: LoadBalancer
externalTrafficPolicy: Cluster # Pflicht mit Cilium L2 (kein Local)
annotations:
lbipam.cilium.io/ips: 10.10.20.100Warum Cluster? Envoy Gateway setzt per Default
externalTrafficPolicy: Local. Cilium-L2 kann dann eine IP
auf einem Node ankündigen, auf dem gar kein Envoy-Pod läuft – Traffic
verpufft.
tag09/gateway-web.yaml verweist per
infrastructure.parametersRef darauf und hat zusätzlich
einen HTTPS-Listener für *.apps.lab.internal. Das
Cilium-Gateway setzt die IP direkt per
infrastructure.annotations:
spec:
gatewayClassName: cilium
infrastructure:
annotations:
lbipam.cilium.io/ips: 10.10.20.101
listeners:
- name: http
protocol: HTTP
port: 80
hostname: "*.cilium.apps.lab.internal"kubectl apply -f tag09/envoyproxy-web.yaml -f tag09/gateway-web.yaml \
-f tag09/gateway-cilium.yaml -f tag09/routes.yaml
kubectl -n infra get gateway
kubectl get svc -A | grep LoadBalancerErwartet (gekürzt, kann je nach Version abweichen):
NAME CLASS ADDRESS PROGRAMMED AGE
web eg 10.10.20.100 True 30s
web-cilium cilium 10.10.20.101 True 30s
envoy-gateway-system envoy-infra-web-a97fc3bf LoadBalancer ... 10.10.20.100 ...
infra cilium-gateway-web-cilium LoadBalancer ... 10.10.20.101 ...
Der HTTPS-Listener meldet noch ResolvedRefs=False, weil
das Secret apps-wildcard-tls fehlt – das liefert
cert-manager in Drill 6:
~/gw-lab/code/demo/conds.sh gateway web infra | grep -A3 'listener https'Erwartet (gekürzt, kann je nach Version abweichen):
listener https (attachedRoutes=1):
Programmed=False (Invalid): Listener is invalid, see other Conditions ...
ResolvedRefs=False (InvalidCertificateRef): Secret infra/apps-wildcard-tls
does not exist.
Schon jetzt geht HTTP direkt per IP:
curl -s -H 'Host: shop.apps.lab.internal' http://10.10.20.100/ \
| jq -r .service
curl -s -H 'Host: shop.cilium.apps.lab.internal' http://10.10.20.101/ \
| jq -r .serviceErwartet (gekürzt, kann je nach Version abweichen):
shop-v1
shop-v2
Fortschritt speichern? Kostenlos registrieren
Drill 5: DNS im Heimnetz
Ein Wildcard-Eintrag reicht – alle *.apps.lab.internal
zeigen auf Envoy Gateway, die spezifischere Zone
cilium.apps.lab.internal auf Cilium. Variante
dnsmasq/Pi-hole (tag09/dnsmasq-apps.conf):
address=/apps.lab.internal/10.10.20.100
address=/cilium.apps.lab.internal/10.10.20.101
address=/rke2.lab.internal/10.10.20.10scp ~/gw-lab/code/tag09/dnsmasq-apps.conf pihole:/tmp/
ssh pihole 'sudo pihole-FTL --config misc.etc_dnsmasq_d true && \
sudo cp /tmp/dnsmasq-apps.conf /etc/dnsmasq.d/10-apps.conf && \
sudo pihole reloaddns'Pi-hole v6 liest /etc/dnsmasq.d/ nur mit
misc.etc_dnsmasq_d=true. Bei reinem dnsmasq genügt die
Datei plus systemctl restart dnsmasq. Variante Unbound (z.
B. OPNsense, tag09/unbound-apps.conf):
server:
local-zone: "cilium.apps.lab.internal." redirect
local-data: "cilium.apps.lab.internal. A 10.10.20.101"
local-zone: "apps.lab.internal." redirect
local-data: "apps.lab.internal. A 10.10.20.100"
local-data: "rke2.lab.internal. A 10.10.20.10"
dig +short shop.apps.lab.internal
dig +short irgendwas.apps.lab.internal
dig +short shop.cilium.apps.lab.internal
curl -s http://shop.apps.lab.internal/ | jq -r .serviceErwartet (gekürzt, kann je nach Version abweichen):
10.10.20.100
10.10.20.100
10.10.20.101
shop-v1
Tipp: Kein eigener DNS-Server? Für den Laptop reicht
/etc/hostsmit einzelnen Namen – Wildcards kann die Datei nicht.
Fortschritt speichern? Kostenlos registrieren
Drill 6: cert-manager mit Lab-CA
cert-manager kommt nach den CRDs, sonst ignoriert er Gateways bis zum nächsten Neustart. Installation wie an Tag 4:
helm upgrade --install cert-manager oci://quay.io/jetstack/charts/cert-manager \
--version v1.21.2 -n cert-manager --create-namespace \
--set crds.enabled=true \
--set config.gatewayAPI.enabled=true \
--wait
kubectl apply -f ~/gw-lab/code/tag04/lab-ca.yaml
kubectl wait clusterissuer/lab-ca --for=condition=Ready --timeout=60s
mkdir -p ~/gw-lab/tag09
kubectl -n cert-manager get secret lab-ca -o jsonpath='{.data.ca\.crt}' \
| base64 -d > ~/gw-lab/tag09/rke2-lab-ca.crtErwartet (gekürzt, kann je nach Version abweichen):
Release "cert-manager" does not exist. Installing it now.
STATUS: deployed
clusterissuer.cert-manager.io/lab-ca condition met
Das ist eine neue CA – nicht die aus kind. Die Annotation
cert-manager.io/cluster-issuer: lab-ca am Gateway
web erzeugt jetzt automatisch ein Certificate für den
Wildcard-Listener:
kubectl -n infra get certificate
kubectl -n infra get certificate apps-wildcard-tls \
-o jsonpath='{.spec.dnsNames}{"\n"}'
~/gw-lab/code/demo/conds.sh gateway web infra | grep -A2 'listener https'Erwartet (gekürzt, kann je nach Version abweichen):
NAME READY SECRET AGE
apps-wildcard-tls True apps-wildcard-tls 25s
["*.apps.lab.internal"]
listener https (attachedRoutes=1):
Accepted=True (Accepted): Listener has been successfully translated
Programmed=True (Programmed): Sending translated listener configuration ...
curl -s --cacert ~/gw-lab/tag09/rke2-lab-ca.crt \
https://shop.apps.lab.internal/ | jq -r .service
openssl s_client -connect 10.10.20.100:443 \
-servername shop.apps.lab.internal </dev/null 2>/dev/null \
| openssl x509 -noout -ext subjectAltName -issuerErwartet (gekürzt, kann je nach Version abweichen):
shop-v1
X509v3 Subject Alternative Name: critical
DNS:*.apps.lab.internal
issuer=CN=gw-lab Root CA
Fortschritt speichern? Kostenlos registrieren
Drill 7: eg und cilium im Vergleich
kubectl -n envoy-gateway-system get deploy -l \
gateway.envoyproxy.io/owning-gateway-name=web
kubectl -n kube-system get ds cilium-envoy
curl -sI http://shop.apps.lab.internal/ | grep -i '^server'
curl -sI http://shop.cilium.apps.lab.internal/ | grep -i '^server'Erwartet (gekürzt, kann je nach Version abweichen):
NAME READY UP-TO-DATE AVAILABLE AGE
envoy-infra-web-a97fc3bf 1/1 1 1 12m
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE AGE
cilium-envoy 6 6 6 6 6 2d
server: envoy
server: envoy
| Aspekt | eg (Envoy Gateway) | cilium |
|---|---|---|
| Envoy-Pods | eigenes Deployment pro Gateway | DaemonSet cilium-envoy, geteilt |
| Skalierung/HA | per EnvoyProxy (Tag 10, 12) |
mit dem Node-Set |
| Erweiterungen | Client-, Backend-, Security-Policies | wenige, L7 über CiliumNetworkPolicy |
| Upgrade | Helm-Release eg, unabhängig |
mit dem CNI (RKE2-Upgrade) |
Beide sprechen Envoy, aber nur eg versteht die Policies
von Tag 10. Cilium punktet, wenn du keine zusätzliche Komponente
betreiben willst.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
export KUBECONFIG=~/.kube/rke2-lab.yaml
CA=~/gw-lab/tag09/rke2-lab-ca.crt
check() { if eval "$2" >/dev/null 2>&1; then echo "✔ $1"; else echo "✘ $1"; fi; }
check "IP-Pool ohne Konflikt" \
'[ "$(kubectl get ippools lab-pool --no-headers | awk "{print \$3}")" = False ]'
check "GatewayClass eg Accepted" \
'kubectl wait gatewayclass/eg --for=condition=Accepted --timeout=5s'
check "GatewayClass cilium Accepted" \
'kubectl wait gatewayclass/cilium --for=condition=Accepted --timeout=5s'
check "web auf 10.10.20.100" \
'[ "$(kubectl -n infra get gateway web \
-o jsonpath="{.status.addresses[0].value}")" = 10.10.20.100 ]'
check "web-cilium auf 10.10.20.101" \
'[ "$(kubectl -n infra get gateway web-cilium \
-o jsonpath="{.status.addresses[0].value}")" = 10.10.20.101 ]'
check "DNS-Wildcard" '[ "$(dig +short x.apps.lab.internal)" = 10.10.20.100 ]'
check "HTTPS mit Lab-CA" \
'curl -sf --cacert $CA https://shop.apps.lab.internal/ | grep -q shop-v1'
check "Cilium-Gateway antwortet" \
'curl -sf http://shop.cilium.apps.lab.internal/ | grep -q shop-v2'Challenge
Du hast eine echte Domain bei Cloudflare? Stelle
shop.lab.<deine-domain> mit einem Zertifikat von
Let’s Encrypt (Staging) per ACME DNS-01 auf dem Gateway web
bereit, ohne den Lab-CA-Listener anzufassen.
Hinweis: DNS-01 braucht keinen eingehenden Port, nur
einen API-Token mit Zone:DNS:Edit; die Vorlage liegt in
tag09/acme-dns01.yaml.
Lösung
read -rs CF_API_TOKEN
kubectl -n cert-manager create secret generic cloudflare-api-token \
--from-literal=api-token="$CF_API_TOKEN"
DOMAIN=example.org # deine Domain
sed "s/example.org/$DOMAIN/g" ~/gw-lab/code/tag09/acme-dns01.yaml \
| kubectl apply -f -
kubectl -n infra apply -f - <<YAML
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
name: shop-public-tls
spec:
secretName: shop-public-tls
dnsNames: [shop.lab.$DOMAIN]
issuerRef: {kind: ClusterIssuer, name: letsencrypt-staging}
YAML
kubectl -n infra wait certificate/shop-public-tls --for=condition=Ready \
--timeout=5m
kubectl -n infra patch gateway web --type=json -p "[{\"op\":\"add\",
\"path\":\"/spec/listeners/-\",\"value\":{\"name\":\"https-public\",
\"protocol\":\"HTTPS\",\"port\":443,\"hostname\":\"shop.lab.$DOMAIN\",
\"tls\":{\"certificateRefs\":[{\"name\":\"shop-public-tls\"}]},
\"allowedRoutes\":{\"namespaces\":{\"from\":\"All\"}}}}]"
kubectl -n shop patch httproute shop --type=json \
-p "[{\"op\":\"add\",\"path\":\"/spec/hostnames/-\",
\"value\":\"shop.lab.$DOMAIN\"}]"Erwartet (gekürzt, kann je nach Version abweichen):
secret/cloudflare-api-token created
clusterissuer.cert-manager.io/letsencrypt-staging created
certificate.cert-manager.io/shop-public-tls created
certificate.cert-manager.io/shop-public-tls condition met
gateway.gateway.networking.k8s.io/web patched
httproute.gateway.networking.k8s.io/shop patched
Warum erst das Certificate, dann der Listener? Die Annotation
lab-ca gilt für alle Listener des Gateways. Ein
Certificate, das nicht dem Gateway gehört, fasst cert-manager aber nicht
an („refusing to update non-owned certificate”) – so bleibt dein
ACME-Zertifikat unangetastet. Den DNS-Eintrag
shop.lab.<deine-domain> legst du intern (Drill 5) auf
10.10.20.100. Staging-Zertifikate sind nicht
vertrauenswürdig: curl -k geht, Browser warnen. Für
Produktion acme-v02 statt
acme-staging-v02.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- IP-Pools pro Umgebung/Mandant mit
serviceSelectortrennen; L2 nur in flachen Netzen, sonst Cilium BGP Control Plane mit dem Core-Router. - Gateway-API-CRDs als eigenes, versioniertes Paket (GitOps) verwalten – genau ein Owner, nicht nebenbei mehrere Controller-Charts (Tag 12).
- Interne CA aus der Vault/OpenBao-PKI per cert-manager-Issuer statt selbstsignierter Lab-CA; Trust per trust-manager verteilen.
- Split-Horizon-DNS: interne Zone auf LB-IPs, extern nur, was publiziert wird; external-dns pflegt die Einträge automatisch.
- ACME-Tokens mit minimalem Scope (eine Zone) und Rotation über den Secret-Store.