Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 17: Cluster übergreifend

Ziel: Du verbindest die Cluster ost und west per ClusterMesh, verteilst einen Service über beide Cluster, schaltest bei Ausfall automatisch um und regelst Verkehr über die Clustergrenze per Policy. · Dauer: ca. 90 min · Voraussetzung: Tag 0, Tag 12, eine weitere VM mit Ubuntu 24.04 (4 vCPU)

Briefing

  • CKNE: Service Networking and DNS – „Implementing Cross Cluster Service Discovery and Load Balancing“.
  • Jeder Cluster stellt Nodes, Endpoints, Identitäten und Services über seinen clustermesh-apiserver (ein etcd) bereit; die Agenten des anderen Clusters lesen mit. Pakete laufen direkt von Pod zu Pod durch den Tunnel.
  • Pflicht: eindeutiger cluster.name und cluster.id (1–255), Pod-CIDRs ohne Überschneidung, gleicher Datenpfad, gemeinsame CA.
  • Service mit gleichem Namen und Namespace in beiden Clustern + Annotation service.cilium.io/global: "true" = Backends aus beiden Clustern.
 Cluster ost (id 1)                          Cluster west (id 2)
 cp1 .126 · worker1 .228 · worker2 .83       argo .182 (Single-Node)
 Pods 10.0.0.0/16                            Pods 10.1.0.0/16
 clustermesh-apiserver :32379  <-------->    clustermesh-apiserver :32379
        \________ Pod-zu-Pod: VXLAN zwischen den Node-IPs ________/

Drill 1: Cluster west bauen

Die VM für west heißt im Labor argo (172.16.0.182). Auf ihr laufen Drill 1 bis 3 aus Tag 0 unverändert (Kernel, containerd 2.4.2, runc 1.5.3, kubeadm 1.37.2). Danach nur zwei Unterschiede zu Tag 0: die eigene IP bei kubeadm init und kein Worker – der einzige Node muss Pods tragen. Auf argo:

sudo kubeadm init --kubernetes-version=v1.37.2 \
  --apiserver-advertise-address=172.16.0.182 --skip-phases=addon/kube-proxy
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl taint nodes argo node-role.kubernetes.io/control-plane:NoSchedule-
kubectl get nodes

Erwartet (gekürzt):

[addons] Applied essential addon: CoreDNS
Your Kubernetes control-plane has initialized successfully!
...
node/argo untainted
NAME   STATUS     ROLES           AGE   VERSION
argo   NotReady   control-plane   6s    v1.37.2

Ab jetzt arbeitest du wieder auf cp1. Wie in Tag 0 verteilt dein eigener Rechner den Public Key von cp1:

ssh [email protected] cat .ssh/id_ed25519.pub \
  | ssh [email protected] 'cat >> .ssh/authorized_keys'

Auf cp1 die kubeconfig von west holen. Beide kubeadm-Dateien nennen Cluster, User und Kontext gleich (kubernetes, kubernetes-admin) – zusammengelegt würde einer den anderen verdecken. Deshalb vorher umbenennen:

mkdir -p ~/ckne/tag17 && cd ~/ckne/tag17
ssh -o StrictHostKeyChecking=accept-new [email protected] hostname
scp [email protected]:.kube/config ~/.kube/west.conf
chmod 600 ~/.kube/west.conf
sed -i -e 's/kubernetes-admin@kubernetes/west/' -e 's/kubernetes-admin/west-admin/' \
  -e 's/\(name\|cluster\): kubernetes$/\1: west/' ~/.kube/west.conf
sed -i -e 's/kubernetes-admin@kubernetes/ost/' -e 's/kubernetes-admin/ost-admin/' \
  -e 's/\(name\|cluster\): kubernetes$/\1: ost/' ~/.kube/config
echo 'export KUBECONFIG=~/.kube/config:~/.kube/west.conf' >> ~/.bashrc
source ~/.bashrc
k config get-contexts
k --context west get nodes

Erwartet:

Warning: Permanently added '172.16.0.182' (ED25519) to the list of known hosts.
argo
CURRENT   NAME   CLUSTER   AUTHINFO     NAMESPACE
*         ost    ost       ost-admin
          west   west      west-admin
NAME   STATUS     ROLES           AGE   VERSION
argo   NotReady   control-plane   16s   v1.37.2

KUBECONFIG mit zwei Dateien legt beide zur Laufzeit zusammen; current-context kommt aus der ersten Datei, also bleibt ost der Standard. kubectl, helm und die cilium CLI verstehen das gleichermaßen.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Cilium auf west – mit der CA von ost

Die Agenten beider Cluster sprechen per mTLS mit dem jeweils anderen clustermesh-apiserver. Das klappt ohne Zusatzarbeit nur, wenn alle Zertifikate von einer CA stammen. Die liegt in ost im Secret cilium-ca; west bekommt sie per Helm-Wert tls.ca gleich bei der Installation mit:

CA_CRT=$(k --context ost -n kube-system get secret cilium-ca \
  -o jsonpath='{.data.ca\.crt}')
CA_KEY=$(k --context ost -n kube-system get secret cilium-ca \
  -o jsonpath='{.data.ca\.key}')
helm install cilium cilium/cilium --version 1.20.5 -n kube-system \
  --kube-context west \
  --set cluster.name=west --set cluster.id=2 \
  --set kubeProxyReplacement=true \
  --set k8sServiceHost=172.16.0.182 --set k8sServicePort=6443 \
  --set ipam.mode=cluster-pool \
  --set ipam.operator.clusterPoolIPv4PodCIDRList=10.1.0.0/16 \
  --set ipam.operator.clusterPoolIPv4MaskSize=24 \
  --set routingMode=tunnel --set tunnelProtocol=vxlan \
  --set hubble.enabled=true --set hubble.relay.enabled=true \
  --set operator.replicas=1 \
  --set tls.ca.cert=$CA_CRT --set tls.ca.key=$CA_KEY
cilium status --context west --wait
k --context west get ciliumnodes -o custom-columns=NAME:.metadata.name,\
PODCIDRS:.spec.ipam.podCIDRs
cilium config view --context west | grep -E '^cluster-(name|id) '

Erwartet (gekürzt):

STATUS: deployed
...
    Cilium:             OK
    Operator:           OK
    Envoy DaemonSet:    OK
    Hubble Relay:       OK
    ClusterMesh:        disabled
...
NAME   PODCIDRS
argo   [10.1.0.0/24]
cluster-id                                        2
cluster-name                                      west

Gleiche Helm-Werte wie Tag 0, nur k8sServiceHost, Pod-CIDR, Name und ID sind anders. Gleicher Datenpfad (VXLAN, KPR) auf beiden Seiten ist Pflicht. Die Doku zeigt alternativ kubectl get secret cilium-ca … | kubectl --context … create -f - vor der Installation; mit Helm ist tls.ca sauberer, weil das Secret dann zum Release gehört.

Fortschritt speichern? Kostenlos registrieren

Drill 3: ost bekommt Namen und ID

ost läuft seit Tag 0 als default mit ID 0 – so kann er keinem Mesh beitreten. Die ID steckt in jeder Security-Identity (obere Bits), deshalb ändern sich nach der Umstellung alle Identitäten:

k -n kube-system get cep -o custom-columns=NAME:.metadata.name,\
ID:.status.identity.id | head -3
cilium config view | grep -E '^cluster-(name|id) '
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
k -n kube-system delete secret hubble-server-certs
helm upgrade cilium cilium/cilium -n kube-system --kube-context ost \
  --version 1.20.5 --reuse-values --set cluster.name=ost --set cluster.id=1
k -n kube-system rollout restart ds/cilium deploy/cilium-operator deploy/hubble-relay
k -n kube-system rollout status ds/cilium
cilium config view | grep -E '^cluster-(name|id) '
k -n kube-system get cep -o custom-columns=NAME:.metadata.name,\
ID:.status.identity.id | head -3

Erwartet (gekürzt):

NAME                              ID
coredns-559f6c778d-6png2          13185
coredns-559f6c778d-vwrtf          13185
cluster-id                                        0
cluster-name                                      default
secret "hubble-server-certs" deleted from kube-system namespace
Release "cilium" has been upgraded. Happy Helming!
daemon set "cilium" successfully rolled out
cluster-id                                        1
cluster-name                                      ost
NAME                              ID
coredns-559f6c778d-6png2          70078
coredns-559f6c778d-vwrtf          70078

70078 = 65536 + 4542: Identitäten von Cluster 1 beginnen bei 65536, die von Cluster 2 bei 131072. So sind sie im Mesh eindeutig.

Achtung: Das Löschen von hubble-server-certs ist kein Versehen. Helm erzeugt das Zertifikat nur, wenn es fehlt, und es enthält den Clusternamen (*.default.hubble-grpc.cilium.io). Bleibt es liegen, startet Hubble Relay nicht mehr: x509: certificate is valid for *.default.hubble-grpc.cilium.io, not hubble-peer.ost.hubble-grpc.cilium.io.

Die Doku verlangt nach einer Änderung von Name oder ID den Neustart aller Workloads, damit jeder Pod sauber mit neuer Identität startet:

for ns in $(k get ns -o jsonpath='{.items[*].metadata.name}'); do
  k -n $ns rollout restart deploy,sts 2>/dev/null
done
cilium status --wait
k get pods -A | grep -vE 'Running|Completed'

Die Schleife über die Namespaces ist hier eine bewusste Ausnahme von „Befehle einzeln“: Welche Namespaces Workloads haben, weiß nur der Cluster.

Erwartet (gekürzt):

deployment.apps/cert-manager restarted
...
deployment.apps/coredns restarted
deployment.apps/hubble-relay restarted
...
    Cilium:             OK
...
    Hubble Relay:       OK
NAMESPACE   NAME   READY   STATUS   RESTARTS   AGE

Nur die Kopfzeile bleibt übrig: alles läuft wieder. Was bei dir neu startet, hängt davon ab, was aus früheren Tagen noch im Cluster liegt.

Fortschritt speichern? Kostenlos registrieren

Drill 4: ClusterMesh verbinden

cilium clustermesh enable schaltet per Helm den clustermesh-apiserver ein. Im Heimnetz gibt es keinen Cloud-Load-Balancer, deshalb NodePort. Ein LoadBalancer aus einem LB-IPAM-Pool mit BGP-Ankündigung wie in Tag 15 ginge auch, macht das Mesh aber vom BGP-Router abhängig – NodePort ist hier einfacher.

cilium clustermesh enable --context ost --service-type NodePort
cilium clustermesh enable --context west --service-type NodePort
cilium clustermesh status --context ost --wait
k -n kube-system get svc clustermesh-apiserver

Erwartet (gekürzt, ohne Symbole der CLI):

Using service type NodePort may fail when nodes are removed from the cluster!
...
Service "clustermesh-apiserver" of type "NodePort" found
Cluster access information is available:
  - 172.16.0.126:32379
Deployment clustermesh-apiserver is ready
KVStoreMesh is enabled
No cluster connected
NAME                    TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)
clustermesh-apiserver   NodePort   10.108.33.199   <none>        2379:32379/TCP

Die Warnung meint: Die Gegenseite merkt sich eine Node-IP (hier cp1). Fällt dieser Node aus, reißt die Verbindung ab. Jetzt verbinden – eine Richtung genügt, die CLI richtet beide ein:

cilium clustermesh connect --context ost --destination-context west
cilium clustermesh status --context ost --wait
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg node list
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
  | grep ClusterMesh

Erwartet (gekürzt):

Extracting access information of cluster ost...
Found ClusterMesh service IPs: [172.16.0.126]
Extracting access information of cluster west...
Found ClusterMesh service IPs: [172.16.0.182]
Configuring Cilium in cluster ost to connect to cluster west
Configuring Cilium in cluster west to connect to cluster ost
Connected cluster ost <=> west!
...
All 3 nodes are connected to all clusters [min:1 / avg:1.0 / max:1]
All 1 KVStoreMesh replicas are connected to all clusters [min:1 / avg:1.0 / max:1]
Cluster Connections:
  - west: 3/3 configured, 3/3 connected - KVStoreMesh: 1/1 configured, 1/1 connected
Name          IPv4 Address   Endpoint CIDR   ...   Source
ost/cp1       172.16.0.126   10.0.0.0/24           local
ost/worker1   172.16.0.228   10.0.1.0/24           custom-resource
ost/worker2   172.16.0.83    10.0.2.0/24           custom-resource
west/argo     172.16.0.182   10.1.0.0/24           clustermesh
ClusterMesh:             1/1 remote clusters ready

west/argo mit Quelle clustermesh: Der Agent kennt den fremden Node samt Pod-CIDR und baut den Tunnel dorthin. Was die CLI per Helm gesetzt hat, zeigt helm get values cilium -n kube-system | grep -A12 '^clustermesh:' (useAPIServer, apiserver.service.type, config.clusters mit IP und Port). Kurz nach connect meldet status ein, zwei Minuten „nodes are not ready“ – die Agenten lesen die neue Konfiguration erst ein.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Globaler Service

In beiden Clustern dasselbe: Namespace tag17, ein Echo-Server und ein Client. Die Deployments heißen je Cluster anders, damit die Antwort (/hostname = Pod-Name) verrät, wer geantwortet hat. Der Service heißt in beiden echo:

k --context ost create ns tag17
k config set-context ost --namespace=tag17
k --context ost create deployment echo-ost \
  --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
  -- /agnhost netexec --http-port=8080
k --context ost expose deployment echo-ost --name=echo --port=80 --target-port=8080
k --context ost run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k --context west create ns tag17
k config set-context west --namespace=tag17
k --context west create deployment echo-west \
  --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
  -- /agnhost netexec --http-port=8080
k --context west expose deployment echo-west --name=echo --port=80 --target-port=8080
k --context west run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k --context west wait --for=condition=Ready pod --all
k wait --for=condition=Ready pod --all
for i in $(seq 6); do k exec client -- curl -s echo/hostname; echo; done \
  | sort | uniq -c

Erwartet:

      6 echo-ost-b675f7c6-p9669

Noch sind es zwei getrennte Services. Jetzt beide global markieren:

k annotate svc echo service.cilium.io/global="true"
k --context west annotate svc echo service.cilium.io/global="true"
for i in $(seq 10); do k exec client -- curl -s echo/hostname; echo; done \
  | sort | uniq -c
for i in $(seq 10); do k --context west exec client -- curl -s echo/hostname; echo; \
  done | sort | uniq -c
CIP=$(k get svc echo -o jsonpath='{.spec.clusterIP}')
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  | grep -A1 $CIP

Erwartet (gekürzt):

      8 echo-ost-b675f7c6-p9669
      2 echo-west-7546f8b8c5-2v9q6
      6 echo-ost-b675f7c6-p9669
      4 echo-west-7546f8b8c5-2v9q6
72   10.98.55.8:80/TCP     ClusterIP      1 => 10.0.1.137:8080/TCP (active)
                                          2 => 10.1.0.81:8080/TCP (active)

Der ClusterIP-Service in ost hat jetzt ein Backend aus 10.1.0.0/16 – dem Pod in west. Die ClusterIP selbst ist in jedem Cluster eine andere; gleich sein müssen nur Name und Namespace. Fehlt die Annotation auf einer Seite, teilt diese Seite ihre Backends nicht und nutzt keine fremden.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Affinität, shared und Failover

Quer über Cluster zu balancieren kostet Latenz. service.cilium.io/affinity legt fest, welche Backends bevorzugt werden: local, remote oder none (Standard).

k annotate svc echo service.cilium.io/affinity=local
for i in $(seq 10); do k exec client -- curl -s echo/hostname; echo; done \
  | sort | uniq -c
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  --clustermesh-affinity | grep -A1 $CIP

Erwartet (gekürzt):

     10 echo-ost-b675f7c6-p9669
72   10.98.55.8:80/TCP     ClusterIP      1 => 10.0.1.137:8080/TCP (active) (preferred)

Solange ein lokales Backend gesund ist, programmiert Cilium nur dieses in die Service-Map. Jetzt der Ausfall – alle Backends in ost weg:

k scale deployment echo-ost --replicas=0
for i in $(seq 6); do k exec client -- curl -s -m3 echo/hostname; echo; done \
  | sort | uniq -c
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
  --clustermesh-affinity | grep -A1 $CIP
k scale deployment echo-ost --replicas=1
k rollout status deployment echo-ost
for i in $(seq 6); do k exec client -- curl -s echo/hostname; echo; done \
  | sort | uniq -c

Erwartet (gekürzt):

      6 echo-west-7546f8b8c5-2v9q6
72   10.98.55.8:80/TCP     ClusterIP      1 => 10.1.0.81:8080/TCP (active) (preferred)
deployment "echo-ost" successfully rolled out
      6 echo-ost-b675f7c6-cxrxl

Kein Fehler beim Client, kein DNS-Wechsel: Der Service fällt nach west und kommt zurück, sobald ost wieder ein Backend hat. Mit affinity=remote wäre es umgekehrt.

service.cilium.io/shared: "false" macht einen globalen Service „nur nehmend“: Der Cluster nutzt fremde Backends, gibt seine eigenen aber nicht heraus.

k annotate svc echo service.cilium.io/affinity-
k --context west annotate svc echo service.cilium.io/shared="false"
for i in $(seq 8); do k exec client -- curl -s echo/hostname; echo; done \
  | sort | uniq -c
for i in $(seq 8); do k --context west exec client -- curl -s echo/hostname; echo; \
  done | sort | uniq -c
k --context west annotate svc echo service.cilium.io/shared-

Erwartet (gekürzt):

      8 echo-ost-b675f7c6-cxrxl
      4 echo-ost-b675f7c6-cxrxl
      4 echo-west-7546f8b8c5-2v9q6

ost sieht das Backend aus west nicht mehr; west nutzt weiter beide.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Policy über Clustergrenzen und Hubble

Jeder Endpoint trägt das Label io.cilium.k8s.policy.cluster. Seit Cilium 1.19 wählen Policies ohne dieses Label nur Endpoints im eigenen Cluster aus (policy-default-local-cluster). Erst die Falle, direkt auf die Pod-IP in west:

WIP=$(k --context west get pod -l app=echo-west -o jsonpath='{.items[0].status.podIP}')
cat > nur-client.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: nur-client
  namespace: tag17
spec:
  endpointSelector:
    matchLabels:
      app: echo-west
  ingress:
  - fromEndpoints:
    - matchLabels:
        run: client
EOF
k --context west apply -f nur-client.yaml
k exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"

Erwartet:

command terminated with exit code 28
 rc=28
echo-west-7546f8b8c5-2v9q6 rc=0

Pod-zu-Pod über die Clustergrenze funktioniert also grundsätzlich – nur die Policy lässt den client aus ost nicht durch. Mit Cluster-Label:

sed -i '/run: client/a\        io.cilium.k8s.policy.cluster: ost' nur-client.yaml
k --context west apply -f nur-client.yaml
k exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west -n kube-system exec ds/cilium -c cilium-agent -- \
  cilium-dbg identity get $(k get cep client -o jsonpath='{.status.identity.id}')

Erwartet:

ciliumnetworkpolicy.cilium.io/nur-client configured
echo-west-7546f8b8c5-2v9q6 rc=0
command terminated with exit code 28
 rc=28
ID      LABELS
72956   k8s:io.cilium.k8s.namespace.labels.kubernetes.io/metadata.name=tag17
        k8s:io.cilium.k8s.policy.cluster=ost
        k8s:io.cilium.k8s.policy.serviceaccount=default
        k8s:io.kubernetes.pod.namespace=tag17
        k8s:run=client

Der Agent in west kennt die Identität 72956 aus ost samt Labels – über den clustermesh-apiserver. Und Hubble? Weil beide Cluster derselben CA vertrauen, findet Hubble Relay auch die Agenten des anderen Clusters:

hubble list nodes -P --kube-context west --port-forward-port 0
hubble observe -P --kube-context west --port-forward-port 0 -n tag17 \
  --from-cluster ost --to-port 8080 --last 1
hubble observe -P --kube-context west --port-forward-port 0 -n tag17 \
  --from-cluster west --verdict DROPPED --last 1

Erwartet (gekürzt, Zeitstempel weggelassen):

NAME          STATUS      AGE      FLOWS/S   CURRENT/MAX-FLOWS
ost/cp1       Connected   3m48s    31.67     4095/4095 (100.00%)
ost/worker1   Connected   3m35s    23.23     4095/4095 (100.00%)
ost/worker2   Connected   3m48s    18.13     4095/4095 (100.00%)
west/argo     Connected   20m26s   18.58     4095/4095 (100.00%)
tag17/client:58712 (ID:72956) -> tag17/echo-west-...-2v9q6:8080 (ID:148838)
  to-endpoint FORWARDED (TCP Flags: ACK, FIN)
tag17/client:46810 (ID:194188) <> tag17/echo-west-...-2v9q6:8080 (ID:148838)
  Policy denied DROPPED (TCP Flags: SYN)

Zwei Clients mit gleichem Namen – die Identität verrät den Cluster: 72956 liegt im Bereich von ost, 194188 im Bereich von west. --last gilt je Node, deshalb kann eine Zeile pro Node erscheinen.

Fortschritt speichern? Kostenlos registrieren

Drill 8: MCS-API – der Kubernetes-Standard

Die Multi-Cluster Services API (SIG Multicluster) macht dasselbe herstellerneutral: ServiceExport im Quell-Cluster, ServiceImport und ein eigener DNS-Name <svc>.<ns>.svc.clusterset.local überall. Cilium 1.20 setzt sie um, wenn clustermesh.mcsapi.enabled an ist. CoreDNS braucht dafür das Plugin multicluster; das richtet Cilium per Job selbst ein – hier nur in west, ost bleibt unverändert.

helm upgrade cilium cilium/cilium -n kube-system --kube-context ost \
  --version 1.20.5 --reuse-values --set clustermesh.mcsapi.enabled=true
helm upgrade cilium cilium/cilium -n kube-system --kube-context west \
  --version 1.20.5 --reuse-values --set clustermesh.mcsapi.enabled=true \
  --set clustermesh.mcsapi.corednsAutoConfigure.enabled=true
k --context ost -n kube-system rollout restart deploy/cilium-operator \
  deploy/clustermesh-apiserver
k --context west -n kube-system rollout restart deploy/cilium-operator \
  deploy/clustermesh-apiserver
k --context west api-resources | grep multicluster
k --context west -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' \
  | grep -A1 'kubernetes '

Erwartet:

serviceexports    svcex,svcexport   multicluster.x-k8s.io/v1beta1   true   ServiceExport
serviceimports    svcim,svcimport   multicluster.x-k8s.io/v1beta1   true   ServiceImport
    kubernetes cluster.local clusterset.local in-addr.arpa ip6.arpa {
       multicluster clusterset.local

Der Corefile-Eintrag multicluster clusterset.local stammt vom Job cilium-coredns-mcsapi-autoconfig. Globale Annotationen und Policy entfernen, dann in beiden Clustern exportieren:

k --context ost annotate svc echo service.cilium.io/global-
k --context west annotate svc echo service.cilium.io/global-
k --context west delete cnp nur-client
cat > export.yaml <<'EOF'
apiVersion: multicluster.x-k8s.io/v1beta1
kind: ServiceExport
metadata:
  name: echo
  namespace: tag17
EOF
k --context ost apply -f export.yaml
k --context west apply -f export.yaml
k --context west get serviceexport,serviceimport,svc
k --context west get serviceimport echo -o jsonpath='{.status.clusters}'; echo
for i in $(seq 8); do k --context west exec client -- \
  curl -s echo.tag17.svc.clusterset.local/hostname; echo; done | sort | uniq -c

Erwartet (gekürzt):

NAME                                       AGE
serviceexport.multicluster.x-k8s.io/echo   10s
NAME                                       TYPE           IP                 AGE
serviceimport.multicluster.x-k8s.io/echo   ClusterSetIP   ["10.105.28.79"]   11s
NAME                         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE
service/derived-ounaj88gle   ClusterIP   10.105.28.79   <none>        80/TCP    11s
service/echo                 ClusterIP   10.96.136.38   <none>        80/TCP    4m10s
[{"cluster":"ost"},{"cluster":"west"}]
      6 echo-ost-b675f7c6-cxrxl
      2 echo-west-7546f8b8c5-2v9q6

Cilium legt zum ServiceImport einen derived-…-Service an; dessen IP ist die ClusterSetIP, auf die clusterset.local zeigt. Der Unterschied zu globalen Services: Wer exportiert, ist explizit (ein Objekt statt Annotation), und der Name echo.tag17.svc.cluster.local bleibt rein lokal. In ost löst clusterset.local nicht auf, weil dort CoreDNS nicht erweitert ist.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeige, mit welchen Clustern ost verbunden ist und ob alle Nodes verbunden sind. Zeitziel: 20 s
  2. Mache den Service web im Namespace shop in ost global. Zeitziel: 15 s
  3. Sorge dafür, dass web nur bei Ausfall aller lokalen Backends nach west ausweicht. Zeitziel: 15 s
  4. Zeige, welche fremden Nodes der Cilium-Agent kennt. Zeitziel: 20 s
  5. Zeige Clustername und ID, mit denen Cilium in west läuft. Zeitziel: 20 s

Lösung

cilium clustermesh status
k -n shop annotate svc web service.cilium.io/global="true"
k -n shop annotate svc web service.cilium.io/affinity=local
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg node list \
  | grep clustermesh
cilium config view --context west | grep -E '^cluster-(name|id) '

Erwartet (gekürzt):

Cluster Connections:
  - west: 3/3 configured, 3/3 connected - KVStoreMesh: 1/1 configured, 1/1 connected
...
west/argo     172.16.0.182   10.1.0.0/24           clustermesh
cluster-id                                        2
cluster-name                                      west

Für 2 und 3 gehört dieselbe Annotation global auch an den Service im anderen Cluster – sonst bleibt er einseitig.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

cilium clustermesh status --context ost

Erwartet: All 3 nodes are connected to all clusters, Verbindung west: 3/3 configured, 3/3 connected.

cilium clustermesh status --context west

Erwartet: All 1 nodes are connected to all clusters, Verbindung ost: 1/1 configured, 1/1 connected.

cilium status --context ost

Erwartet: Cilium: OK, Hubble Relay: OK, ClusterMesh: OK.

cilium config view --context ost | grep -E '^cluster-(name|id) '

Erwartet: cluster-id 1, cluster-name ost.

k --context west get ciliumnodes -o custom-columns=NAME:.metadata.name,\
PODCIDRS:.spec.ipam.podCIDRs

Erwartet: argo [10.1.0.0/24] – keine Überschneidung mit ost (10.0.0.0/16).

k get pods -A | grep -vE 'Running|Completed'

Erwartet: nur die Kopfzeile.

Bleibt für Tag 21 (Runde 8) und die Probeprüfung (Anhang B, Aufgabe 7): Cluster west (argo, Cilium 1.20.5, cluster.name=west, cluster.id=2, CA von ost), in ost cluster.name=ost, cluster.id=1, ClusterMesh in beiden (clustermesh-apiserver als NodePort 32379, config.clusters) sowie clustermesh.mcsapi.enabled=true in beiden und die CoreDNS-Erweiterung clusterset.local in west. Die Kontexte ost/west und ~/.kube/west.conf bleiben.

Challenge

Erlaube den Zugriff auf echo-west jedem Pod mit run=client – egal, aus welchem Cluster im Mesh –, aber keinem anderen Pod. Weise es mit einem Wegwerf-Pod fremd in ost nach.

Hinweis: Statt eines festen Clusternamens prüft ein matchExpressions mit operator: Exists, dass das Cluster-Label vorhanden ist.

Lösung

k --context west apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: client-alle-cluster
  namespace: tag17
spec:
  endpointSelector:
    matchLabels:
      app: echo-west
  ingress:
  - fromEndpoints:
    - matchLabels:
        run: client
      matchExpressions:
      - key: io.cilium.k8s.policy.cluster
        operator: Exists
EOF
k exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k run fremd --image=nicolaka/netshoot:v0.16 --rm -i --restart=Never -- \
  curl -s -m3 $WIP:8080/hostname; echo " rc=$?"

Erwartet (gekürzt):

ciliumnetworkpolicy.cilium.io/client-alle-cluster created
echo-west-7546f8b8c5-2v9q6 rc=0
echo-west-7546f8b8c5-2v9q6 rc=0
pod "fremd" deleted from tag17 namespace
 rc=28
pod tag17/fremd terminated (Error)

rc=28 ist der Exit-Code von curl (Timeout): k run --rm -i gibt ihn weiter.

Jeder Endpoint im Mesh hat das Cluster-Label, also trifft Exists alle Cluster – genau das, was vor Cilium 1.19 der Standard war.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

ClusterMesh und MCS-API bleiben (siehe Kontrollpunkt). Weg kommen nur die Testobjekte:

k --context ost delete namespace tag17
k --context west delete namespace tag17
k config set-context ost --namespace=default
k config set-context west --namespace=default
k get ns tag17 ; k --context west get ns tag17

Erwartet:

namespace "tag17" deleted
namespace "tag17" deleted
Error from server (NotFound): namespaces "tag17" not found
Error from server (NotFound): namespaces "tag17" not found

Mit dem Namespace verschwinden auch Policy, ServiceExport und der derived-…-Service.

Prüfungstipp

  • Prüfreihenfolge bei „Cluster sehen sich nicht“: cilium clustermesh status, dann cilium config view | grep cluster- (Name/ID eindeutig?), Pod-CIDRs, CA.
  • Globaler Service braucht die Annotation in beiden Clustern und gleichen Namen und Namespace. Policies ohne io.cilium.k8s.policy.cluster wirken seit 1.19 nur lokal.
  • Doku: docs.cilium.io „Setting up Cluster Mesh“, „Load-balancing & Service Discovery“ (Global Services, Service Affinity, MCS-API).

Enterprise-Notiz

  • clustermesh-apiserver hinter einem echten LoadBalancer (oder LB-IPAM + BGP) mit mehreren Replikas – NodePort hängt an einer einzelnen Node-IP.
  • Die gemeinsame CA kommt aus cert-manager oder einer PKI (tls.caBundle für Rotation), nicht als Helm-Wert: tls.ca.key landet sonst im Helm-Release-Secret.
  • Cluster-IDs und Pod-CIDRs zentral vergeben, bevor der erste Cluster entsteht – eine ID nachträglich zu ändern heißt, alle Workloads neu zu starten.
  • clustermesh.maxConnectedClusters=511 geht nur bei der Installation und halbiert die Zahl der Identitäten pro Cluster.
  • Für Datenbanken mit Clusterbezug affinity=local; für Rechenzentrumswechsel shared=false auf der Seite, die nur konsumieren soll.