Tag 17: Cluster übergreifend
Ziel: Du verbindest die Cluster
ostundwestper ClusterMesh, verteilst einen Service über beide Cluster, schaltest bei Ausfall automatisch um und regelst Verkehr über die Clustergrenze per Policy. · Dauer: ca. 90 min · Voraussetzung: Tag 0, Tag 12, eine weitere VM mit Ubuntu 24.04 (4 vCPU)
Briefing
- CKNE: Service Networking and DNS – „Implementing Cross Cluster Service Discovery and Load Balancing“.
- Jeder Cluster stellt Nodes, Endpoints, Identitäten und Services über
seinen
clustermesh-apiserver(ein etcd) bereit; die Agenten des anderen Clusters lesen mit. Pakete laufen direkt von Pod zu Pod durch den Tunnel. - Pflicht: eindeutiger
cluster.nameundcluster.id(1–255), Pod-CIDRs ohne Überschneidung, gleicher Datenpfad, gemeinsame CA. - Service mit gleichem Namen und Namespace in beiden Clustern +
Annotation
service.cilium.io/global: "true"= Backends aus beiden Clustern.
Cluster ost (id 1) Cluster west (id 2)
cp1 .126 · worker1 .228 · worker2 .83 argo .182 (Single-Node)
Pods 10.0.0.0/16 Pods 10.1.0.0/16
clustermesh-apiserver :32379 <--------> clustermesh-apiserver :32379
\________ Pod-zu-Pod: VXLAN zwischen den Node-IPs ________/
Drill 1: Cluster west bauen
Die VM für west heißt im Labor argo
(172.16.0.182). Auf ihr laufen Drill 1 bis 3 aus Tag 0
unverändert (Kernel, containerd 2.4.2, runc 1.5.3, kubeadm
1.37.2). Danach nur zwei Unterschiede zu Tag 0: die eigene IP bei
kubeadm init und kein Worker – der einzige Node muss Pods
tragen. Auf argo:
sudo kubeadm init --kubernetes-version=v1.37.2 \
--apiserver-advertise-address=172.16.0.182 --skip-phases=addon/kube-proxy
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl taint nodes argo node-role.kubernetes.io/control-plane:NoSchedule-
kubectl get nodesErwartet (gekürzt):
[addons] Applied essential addon: CoreDNS
Your Kubernetes control-plane has initialized successfully!
...
node/argo untainted
NAME STATUS ROLES AGE VERSION
argo NotReady control-plane 6s v1.37.2
Ab jetzt arbeitest du wieder auf cp1. Wie in Tag 0
verteilt dein eigener Rechner den Public Key von cp1:
ssh [email protected] cat .ssh/id_ed25519.pub \
| ssh [email protected] 'cat >> .ssh/authorized_keys'Auf cp1 die kubeconfig von west holen.
Beide kubeadm-Dateien nennen Cluster, User und Kontext gleich
(kubernetes, kubernetes-admin) –
zusammengelegt würde einer den anderen verdecken. Deshalb vorher
umbenennen:
mkdir -p ~/ckne/tag17 && cd ~/ckne/tag17
ssh -o StrictHostKeyChecking=accept-new [email protected] hostname
scp [email protected]:.kube/config ~/.kube/west.conf
chmod 600 ~/.kube/west.conf
sed -i -e 's/kubernetes-admin@kubernetes/west/' -e 's/kubernetes-admin/west-admin/' \
-e 's/\(name\|cluster\): kubernetes$/\1: west/' ~/.kube/west.conf
sed -i -e 's/kubernetes-admin@kubernetes/ost/' -e 's/kubernetes-admin/ost-admin/' \
-e 's/\(name\|cluster\): kubernetes$/\1: ost/' ~/.kube/config
echo 'export KUBECONFIG=~/.kube/config:~/.kube/west.conf' >> ~/.bashrc
source ~/.bashrc
k config get-contexts
k --context west get nodesErwartet:
Warning: Permanently added '172.16.0.182' (ED25519) to the list of known hosts.
argo
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
* ost ost ost-admin
west west west-admin
NAME STATUS ROLES AGE VERSION
argo NotReady control-plane 16s v1.37.2
KUBECONFIG mit zwei Dateien legt beide zur Laufzeit
zusammen; current-context kommt aus der ersten Datei, also
bleibt ost der Standard. kubectl, helm und die cilium CLI
verstehen das gleichermaßen.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Cilium auf west – mit der CA von ost
Die Agenten beider Cluster sprechen per mTLS mit dem jeweils anderen
clustermesh-apiserver. Das klappt ohne Zusatzarbeit nur,
wenn alle Zertifikate von einer CA stammen. Die liegt
in ost im Secret cilium-ca; west
bekommt sie per Helm-Wert tls.ca gleich bei der
Installation mit:
CA_CRT=$(k --context ost -n kube-system get secret cilium-ca \
-o jsonpath='{.data.ca\.crt}')
CA_KEY=$(k --context ost -n kube-system get secret cilium-ca \
-o jsonpath='{.data.ca\.key}')
helm install cilium cilium/cilium --version 1.20.5 -n kube-system \
--kube-context west \
--set cluster.name=west --set cluster.id=2 \
--set kubeProxyReplacement=true \
--set k8sServiceHost=172.16.0.182 --set k8sServicePort=6443 \
--set ipam.mode=cluster-pool \
--set ipam.operator.clusterPoolIPv4PodCIDRList=10.1.0.0/16 \
--set ipam.operator.clusterPoolIPv4MaskSize=24 \
--set routingMode=tunnel --set tunnelProtocol=vxlan \
--set hubble.enabled=true --set hubble.relay.enabled=true \
--set operator.replicas=1 \
--set tls.ca.cert=$CA_CRT --set tls.ca.key=$CA_KEY
cilium status --context west --wait
k --context west get ciliumnodes -o custom-columns=NAME:.metadata.name,\
PODCIDRS:.spec.ipam.podCIDRs
cilium config view --context west | grep -E '^cluster-(name|id) 'Erwartet (gekürzt):
STATUS: deployed
...
Cilium: OK
Operator: OK
Envoy DaemonSet: OK
Hubble Relay: OK
ClusterMesh: disabled
...
NAME PODCIDRS
argo [10.1.0.0/24]
cluster-id 2
cluster-name west
Gleiche Helm-Werte wie Tag 0, nur k8sServiceHost,
Pod-CIDR, Name und ID sind anders. Gleicher Datenpfad (VXLAN, KPR) auf
beiden Seiten ist Pflicht. Die Doku zeigt alternativ
kubectl get secret cilium-ca … | kubectl --context … create -f -
vor der Installation; mit Helm ist tls.ca sauberer, weil
das Secret dann zum Release gehört.
Fortschritt speichern? Kostenlos registrieren
Drill 3: ost bekommt Namen und ID
ost läuft seit Tag 0 als default mit ID 0 –
so kann er keinem Mesh beitreten. Die ID steckt in jeder
Security-Identity (obere Bits), deshalb ändern sich nach der Umstellung
alle Identitäten:
k -n kube-system get cep -o custom-columns=NAME:.metadata.name,\
ID:.status.identity.id | head -3
cilium config view | grep -E '^cluster-(name|id) '
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
k -n kube-system delete secret hubble-server-certs
helm upgrade cilium cilium/cilium -n kube-system --kube-context ost \
--version 1.20.5 --reuse-values --set cluster.name=ost --set cluster.id=1
k -n kube-system rollout restart ds/cilium deploy/cilium-operator deploy/hubble-relay
k -n kube-system rollout status ds/cilium
cilium config view | grep -E '^cluster-(name|id) '
k -n kube-system get cep -o custom-columns=NAME:.metadata.name,\
ID:.status.identity.id | head -3Erwartet (gekürzt):
NAME ID
coredns-559f6c778d-6png2 13185
coredns-559f6c778d-vwrtf 13185
cluster-id 0
cluster-name default
secret "hubble-server-certs" deleted from kube-system namespace
Release "cilium" has been upgraded. Happy Helming!
daemon set "cilium" successfully rolled out
cluster-id 1
cluster-name ost
NAME ID
coredns-559f6c778d-6png2 70078
coredns-559f6c778d-vwrtf 70078
70078 = 65536 + 4542: Identitäten von Cluster 1 beginnen bei 65536, die von Cluster 2 bei 131072. So sind sie im Mesh eindeutig.
Achtung: Das Löschen von
hubble-server-certsist kein Versehen. Helm erzeugt das Zertifikat nur, wenn es fehlt, und es enthält den Clusternamen (*.default.hubble-grpc.cilium.io). Bleibt es liegen, startet Hubble Relay nicht mehr:x509: certificate is valid for *.default.hubble-grpc.cilium.io, not hubble-peer.ost.hubble-grpc.cilium.io.
Die Doku verlangt nach einer Änderung von Name oder ID den Neustart aller Workloads, damit jeder Pod sauber mit neuer Identität startet:
for ns in $(k get ns -o jsonpath='{.items[*].metadata.name}'); do
k -n $ns rollout restart deploy,sts 2>/dev/null
done
cilium status --wait
k get pods -A | grep -vE 'Running|Completed'Die Schleife über die Namespaces ist hier eine bewusste Ausnahme von „Befehle einzeln“: Welche Namespaces Workloads haben, weiß nur der Cluster.
Erwartet (gekürzt):
deployment.apps/cert-manager restarted
...
deployment.apps/coredns restarted
deployment.apps/hubble-relay restarted
...
Cilium: OK
...
Hubble Relay: OK
NAMESPACE NAME READY STATUS RESTARTS AGE
Nur die Kopfzeile bleibt übrig: alles läuft wieder. Was bei dir neu startet, hängt davon ab, was aus früheren Tagen noch im Cluster liegt.
Fortschritt speichern? Kostenlos registrieren
Drill 4: ClusterMesh verbinden
cilium clustermesh enable schaltet per Helm den
clustermesh-apiserver ein. Im Heimnetz gibt es keinen
Cloud-Load-Balancer, deshalb NodePort. Ein LoadBalancer aus
einem LB-IPAM-Pool mit BGP-Ankündigung wie in Tag 15 ginge auch, macht
das Mesh aber vom BGP-Router abhängig – NodePort ist hier einfacher.
cilium clustermesh enable --context ost --service-type NodePort
cilium clustermesh enable --context west --service-type NodePort
cilium clustermesh status --context ost --wait
k -n kube-system get svc clustermesh-apiserverErwartet (gekürzt, ohne Symbole der CLI):
Using service type NodePort may fail when nodes are removed from the cluster!
...
Service "clustermesh-apiserver" of type "NodePort" found
Cluster access information is available:
- 172.16.0.126:32379
Deployment clustermesh-apiserver is ready
KVStoreMesh is enabled
No cluster connected
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S)
clustermesh-apiserver NodePort 10.108.33.199 <none> 2379:32379/TCP
Die Warnung meint: Die Gegenseite merkt sich eine
Node-IP (hier cp1). Fällt dieser Node aus, reißt die
Verbindung ab. Jetzt verbinden – eine Richtung genügt, die CLI richtet
beide ein:
cilium clustermesh connect --context ost --destination-context west
cilium clustermesh status --context ost --wait
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg node list
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg status \
| grep ClusterMeshErwartet (gekürzt):
Extracting access information of cluster ost...
Found ClusterMesh service IPs: [172.16.0.126]
Extracting access information of cluster west...
Found ClusterMesh service IPs: [172.16.0.182]
Configuring Cilium in cluster ost to connect to cluster west
Configuring Cilium in cluster west to connect to cluster ost
Connected cluster ost <=> west!
...
All 3 nodes are connected to all clusters [min:1 / avg:1.0 / max:1]
All 1 KVStoreMesh replicas are connected to all clusters [min:1 / avg:1.0 / max:1]
Cluster Connections:
- west: 3/3 configured, 3/3 connected - KVStoreMesh: 1/1 configured, 1/1 connected
Name IPv4 Address Endpoint CIDR ... Source
ost/cp1 172.16.0.126 10.0.0.0/24 local
ost/worker1 172.16.0.228 10.0.1.0/24 custom-resource
ost/worker2 172.16.0.83 10.0.2.0/24 custom-resource
west/argo 172.16.0.182 10.1.0.0/24 clustermesh
ClusterMesh: 1/1 remote clusters ready
west/argo mit Quelle clustermesh: Der Agent
kennt den fremden Node samt Pod-CIDR und baut den Tunnel dorthin. Was
die CLI per Helm gesetzt hat, zeigt
helm get values cilium -n kube-system | grep -A12 '^clustermesh:'
(useAPIServer, apiserver.service.type,
config.clusters mit IP und Port). Kurz nach
connect meldet status ein, zwei Minuten „nodes
are not ready“ – die Agenten lesen die neue Konfiguration erst ein.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Globaler Service
In beiden Clustern dasselbe: Namespace tag17, ein
Echo-Server und ein Client. Die Deployments heißen je Cluster anders,
damit die Antwort (/hostname = Pod-Name) verrät, wer
geantwortet hat. Der Service heißt in beiden echo:
k --context ost create ns tag17
k config set-context ost --namespace=tag17
k --context ost create deployment echo-ost \
--image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
-- /agnhost netexec --http-port=8080
k --context ost expose deployment echo-ost --name=echo --port=80 --target-port=8080
k --context ost run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k --context west create ns tag17
k config set-context west --namespace=tag17
k --context west create deployment echo-west \
--image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 --port=8080 \
-- /agnhost netexec --http-port=8080
k --context west expose deployment echo-west --name=echo --port=80 --target-port=8080
k --context west run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k --context west wait --for=condition=Ready pod --all
k wait --for=condition=Ready pod --all
for i in $(seq 6); do k exec client -- curl -s echo/hostname; echo; done \
| sort | uniq -cErwartet:
6 echo-ost-b675f7c6-p9669
Noch sind es zwei getrennte Services. Jetzt beide global markieren:
k annotate svc echo service.cilium.io/global="true"
k --context west annotate svc echo service.cilium.io/global="true"
for i in $(seq 10); do k exec client -- curl -s echo/hostname; echo; done \
| sort | uniq -c
for i in $(seq 10); do k --context west exec client -- curl -s echo/hostname; echo; \
done | sort | uniq -c
CIP=$(k get svc echo -o jsonpath='{.spec.clusterIP}')
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
| grep -A1 $CIPErwartet (gekürzt):
8 echo-ost-b675f7c6-p9669
2 echo-west-7546f8b8c5-2v9q6
6 echo-ost-b675f7c6-p9669
4 echo-west-7546f8b8c5-2v9q6
72 10.98.55.8:80/TCP ClusterIP 1 => 10.0.1.137:8080/TCP (active)
2 => 10.1.0.81:8080/TCP (active)
Der ClusterIP-Service in ost hat jetzt ein Backend aus
10.1.0.0/16 – dem Pod in west. Die ClusterIP
selbst ist in jedem Cluster eine andere; gleich sein müssen nur Name und
Namespace. Fehlt die Annotation auf einer Seite, teilt diese Seite ihre
Backends nicht und nutzt keine fremden.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Affinität, shared und Failover
Quer über Cluster zu balancieren kostet Latenz.
service.cilium.io/affinity legt fest, welche Backends
bevorzugt werden: local, remote oder
none (Standard).
k annotate svc echo service.cilium.io/affinity=local
for i in $(seq 10); do k exec client -- curl -s echo/hostname; echo; done \
| sort | uniq -c
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
--clustermesh-affinity | grep -A1 $CIPErwartet (gekürzt):
10 echo-ost-b675f7c6-p9669
72 10.98.55.8:80/TCP ClusterIP 1 => 10.0.1.137:8080/TCP (active) (preferred)
Solange ein lokales Backend gesund ist, programmiert Cilium nur
dieses in die Service-Map. Jetzt der Ausfall – alle Backends in
ost weg:
k scale deployment echo-ost --replicas=0
for i in $(seq 6); do k exec client -- curl -s -m3 echo/hostname; echo; done \
| sort | uniq -c
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg service list \
--clustermesh-affinity | grep -A1 $CIP
k scale deployment echo-ost --replicas=1
k rollout status deployment echo-ost
for i in $(seq 6); do k exec client -- curl -s echo/hostname; echo; done \
| sort | uniq -cErwartet (gekürzt):
6 echo-west-7546f8b8c5-2v9q6
72 10.98.55.8:80/TCP ClusterIP 1 => 10.1.0.81:8080/TCP (active) (preferred)
deployment "echo-ost" successfully rolled out
6 echo-ost-b675f7c6-cxrxl
Kein Fehler beim Client, kein DNS-Wechsel: Der Service fällt nach
west und kommt zurück, sobald ost wieder ein
Backend hat. Mit affinity=remote wäre es umgekehrt.
service.cilium.io/shared: "false" macht einen globalen
Service „nur nehmend“: Der Cluster nutzt fremde Backends, gibt seine
eigenen aber nicht heraus.
k annotate svc echo service.cilium.io/affinity-
k --context west annotate svc echo service.cilium.io/shared="false"
for i in $(seq 8); do k exec client -- curl -s echo/hostname; echo; done \
| sort | uniq -c
for i in $(seq 8); do k --context west exec client -- curl -s echo/hostname; echo; \
done | sort | uniq -c
k --context west annotate svc echo service.cilium.io/shared-Erwartet (gekürzt):
8 echo-ost-b675f7c6-cxrxl
4 echo-ost-b675f7c6-cxrxl
4 echo-west-7546f8b8c5-2v9q6
ost sieht das Backend aus west nicht mehr;
west nutzt weiter beide.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Policy über Clustergrenzen und Hubble
Jeder Endpoint trägt das Label
io.cilium.k8s.policy.cluster. Seit Cilium 1.19 wählen
Policies ohne dieses Label nur Endpoints im eigenen
Cluster aus (policy-default-local-cluster). Erst
die Falle, direkt auf die Pod-IP in west:
WIP=$(k --context west get pod -l app=echo-west -o jsonpath='{.items[0].status.podIP}')
cat > nur-client.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: nur-client
namespace: tag17
spec:
endpointSelector:
matchLabels:
app: echo-west
ingress:
- fromEndpoints:
- matchLabels:
run: client
EOF
k --context west apply -f nur-client.yaml
k exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"Erwartet:
command terminated with exit code 28
rc=28
echo-west-7546f8b8c5-2v9q6 rc=0
Pod-zu-Pod über die Clustergrenze funktioniert also grundsätzlich –
nur die Policy lässt den client aus ost nicht
durch. Mit Cluster-Label:
sed -i '/run: client/a\ io.cilium.k8s.policy.cluster: ost' nur-client.yaml
k --context west apply -f nur-client.yaml
k exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west -n kube-system exec ds/cilium -c cilium-agent -- \
cilium-dbg identity get $(k get cep client -o jsonpath='{.status.identity.id}')Erwartet:
ciliumnetworkpolicy.cilium.io/nur-client configured
echo-west-7546f8b8c5-2v9q6 rc=0
command terminated with exit code 28
rc=28
ID LABELS
72956 k8s:io.cilium.k8s.namespace.labels.kubernetes.io/metadata.name=tag17
k8s:io.cilium.k8s.policy.cluster=ost
k8s:io.cilium.k8s.policy.serviceaccount=default
k8s:io.kubernetes.pod.namespace=tag17
k8s:run=client
Der Agent in west kennt die Identität 72956 aus
ost samt Labels – über den
clustermesh-apiserver. Und Hubble? Weil beide Cluster
derselben CA vertrauen, findet Hubble Relay auch die Agenten des anderen
Clusters:
hubble list nodes -P --kube-context west --port-forward-port 0
hubble observe -P --kube-context west --port-forward-port 0 -n tag17 \
--from-cluster ost --to-port 8080 --last 1
hubble observe -P --kube-context west --port-forward-port 0 -n tag17 \
--from-cluster west --verdict DROPPED --last 1Erwartet (gekürzt, Zeitstempel weggelassen):
NAME STATUS AGE FLOWS/S CURRENT/MAX-FLOWS
ost/cp1 Connected 3m48s 31.67 4095/4095 (100.00%)
ost/worker1 Connected 3m35s 23.23 4095/4095 (100.00%)
ost/worker2 Connected 3m48s 18.13 4095/4095 (100.00%)
west/argo Connected 20m26s 18.58 4095/4095 (100.00%)
tag17/client:58712 (ID:72956) -> tag17/echo-west-...-2v9q6:8080 (ID:148838)
to-endpoint FORWARDED (TCP Flags: ACK, FIN)
tag17/client:46810 (ID:194188) <> tag17/echo-west-...-2v9q6:8080 (ID:148838)
Policy denied DROPPED (TCP Flags: SYN)
Zwei Clients mit gleichem Namen – die Identität verrät den Cluster:
72956 liegt im Bereich von ost, 194188 im Bereich von
west. --last gilt je Node, deshalb kann eine
Zeile pro Node erscheinen.
Fortschritt speichern? Kostenlos registrieren
Drill 8: MCS-API – der Kubernetes-Standard
Die Multi-Cluster Services API (SIG Multicluster) macht dasselbe
herstellerneutral: ServiceExport im Quell-Cluster,
ServiceImport und ein eigener DNS-Name
<svc>.<ns>.svc.clusterset.local überall. Cilium
1.20 setzt sie um, wenn clustermesh.mcsapi.enabled an ist.
CoreDNS braucht dafür das Plugin multicluster; das richtet
Cilium per Job selbst ein – hier nur in west,
ost bleibt unverändert.
helm upgrade cilium cilium/cilium -n kube-system --kube-context ost \
--version 1.20.5 --reuse-values --set clustermesh.mcsapi.enabled=true
helm upgrade cilium cilium/cilium -n kube-system --kube-context west \
--version 1.20.5 --reuse-values --set clustermesh.mcsapi.enabled=true \
--set clustermesh.mcsapi.corednsAutoConfigure.enabled=true
k --context ost -n kube-system rollout restart deploy/cilium-operator \
deploy/clustermesh-apiserver
k --context west -n kube-system rollout restart deploy/cilium-operator \
deploy/clustermesh-apiserver
k --context west api-resources | grep multicluster
k --context west -n kube-system get cm coredns -o jsonpath='{.data.Corefile}' \
| grep -A1 'kubernetes 'Erwartet:
serviceexports svcex,svcexport multicluster.x-k8s.io/v1beta1 true ServiceExport
serviceimports svcim,svcimport multicluster.x-k8s.io/v1beta1 true ServiceImport
kubernetes cluster.local clusterset.local in-addr.arpa ip6.arpa {
multicluster clusterset.local
Der Corefile-Eintrag multicluster clusterset.local
stammt vom Job cilium-coredns-mcsapi-autoconfig. Globale
Annotationen und Policy entfernen, dann in beiden Clustern
exportieren:
k --context ost annotate svc echo service.cilium.io/global-
k --context west annotate svc echo service.cilium.io/global-
k --context west delete cnp nur-client
cat > export.yaml <<'EOF'
apiVersion: multicluster.x-k8s.io/v1beta1
kind: ServiceExport
metadata:
name: echo
namespace: tag17
EOF
k --context ost apply -f export.yaml
k --context west apply -f export.yaml
k --context west get serviceexport,serviceimport,svc
k --context west get serviceimport echo -o jsonpath='{.status.clusters}'; echo
for i in $(seq 8); do k --context west exec client -- \
curl -s echo.tag17.svc.clusterset.local/hostname; echo; done | sort | uniq -cErwartet (gekürzt):
NAME AGE
serviceexport.multicluster.x-k8s.io/echo 10s
NAME TYPE IP AGE
serviceimport.multicluster.x-k8s.io/echo ClusterSetIP ["10.105.28.79"] 11s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/derived-ounaj88gle ClusterIP 10.105.28.79 <none> 80/TCP 11s
service/echo ClusterIP 10.96.136.38 <none> 80/TCP 4m10s
[{"cluster":"ost"},{"cluster":"west"}]
6 echo-ost-b675f7c6-cxrxl
2 echo-west-7546f8b8c5-2v9q6
Cilium legt zum ServiceImport einen
derived-…-Service an; dessen IP ist die ClusterSetIP, auf
die clusterset.local zeigt. Der Unterschied zu globalen
Services: Wer exportiert, ist explizit (ein Objekt statt Annotation),
und der Name echo.tag17.svc.cluster.local bleibt rein
lokal. In ost löst clusterset.local nicht auf,
weil dort CoreDNS nicht erweitert ist.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeige, mit welchen Clustern
ostverbunden ist und ob alle Nodes verbunden sind. Zeitziel: 20 s - Mache den Service
webim Namespaceshopinostglobal. Zeitziel: 15 s - Sorge dafür, dass
webnur bei Ausfall aller lokalen Backends nachwestausweicht. Zeitziel: 15 s - Zeige, welche fremden Nodes der Cilium-Agent kennt. Zeitziel: 20 s
- Zeige Clustername und ID, mit denen Cilium in
westläuft. Zeitziel: 20 s
Lösung
cilium clustermesh status
k -n shop annotate svc web service.cilium.io/global="true"
k -n shop annotate svc web service.cilium.io/affinity=local
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg node list \
| grep clustermesh
cilium config view --context west | grep -E '^cluster-(name|id) 'Erwartet (gekürzt):
Cluster Connections:
- west: 3/3 configured, 3/3 connected - KVStoreMesh: 1/1 configured, 1/1 connected
...
west/argo 172.16.0.182 10.1.0.0/24 clustermesh
cluster-id 2
cluster-name west
Für 2 und 3 gehört dieselbe Annotation global auch an
den Service im anderen Cluster – sonst bleibt er einseitig.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
cilium clustermesh status --context ostErwartet:
All 3 nodes are connected to all clusters, Verbindung
west: 3/3 configured, 3/3 connected.
cilium clustermesh status --context westErwartet:
All 1 nodes are connected to all clusters, Verbindung
ost: 1/1 configured, 1/1 connected.
cilium status --context ostErwartet: Cilium: OK,
Hubble Relay: OK, ClusterMesh: OK.
cilium config view --context ost | grep -E '^cluster-(name|id) 'Erwartet: cluster-id 1,
cluster-name ost.
k --context west get ciliumnodes -o custom-columns=NAME:.metadata.name,\
PODCIDRS:.spec.ipam.podCIDRsErwartet: argo [10.1.0.0/24] – keine
Überschneidung mit ost (10.0.0.0/16).
k get pods -A | grep -vE 'Running|Completed'Erwartet: nur die Kopfzeile.
Bleibt für Tag 21 (Runde 8) und die Probeprüfung (Anhang B, Aufgabe
7): Cluster west (argo, Cilium 1.20.5,
cluster.name=west, cluster.id=2, CA von
ost), in ost cluster.name=ost,
cluster.id=1, ClusterMesh in beiden
(clustermesh-apiserver als NodePort 32379,
config.clusters) sowie
clustermesh.mcsapi.enabled=true in beiden und die
CoreDNS-Erweiterung clusterset.local in west.
Die Kontexte ost/west und
~/.kube/west.conf bleiben.
Challenge
Erlaube den Zugriff auf echo-west jedem Pod mit
run=client – egal, aus welchem Cluster im Mesh –, aber
keinem anderen Pod. Weise es mit einem Wegwerf-Pod fremd in
ost nach.
Hinweis: Statt eines festen Clusternamens prüft ein
matchExpressions mit operator: Exists, dass
das Cluster-Label vorhanden ist.
Lösung
k --context west apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: client-alle-cluster
namespace: tag17
spec:
endpointSelector:
matchLabels:
app: echo-west
ingress:
- fromEndpoints:
- matchLabels:
run: client
matchExpressions:
- key: io.cilium.k8s.policy.cluster
operator: Exists
EOF
k exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k --context west exec client -- curl -s -m3 $WIP:8080/hostname; echo " rc=$?"
k run fremd --image=nicolaka/netshoot:v0.16 --rm -i --restart=Never -- \
curl -s -m3 $WIP:8080/hostname; echo " rc=$?"Erwartet (gekürzt):
ciliumnetworkpolicy.cilium.io/client-alle-cluster created
echo-west-7546f8b8c5-2v9q6 rc=0
echo-west-7546f8b8c5-2v9q6 rc=0
pod "fremd" deleted from tag17 namespace
rc=28
pod tag17/fremd terminated (Error)
rc=28 ist der Exit-Code von curl (Timeout):
k run --rm -i gibt ihn weiter.
Jeder Endpoint im Mesh hat das Cluster-Label, also trifft
Exists alle Cluster – genau das, was vor Cilium 1.19 der
Standard war.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
ClusterMesh und MCS-API bleiben (siehe Kontrollpunkt). Weg kommen nur die Testobjekte:
k --context ost delete namespace tag17
k --context west delete namespace tag17
k config set-context ost --namespace=default
k config set-context west --namespace=default
k get ns tag17 ; k --context west get ns tag17Erwartet:
namespace "tag17" deleted
namespace "tag17" deleted
Error from server (NotFound): namespaces "tag17" not found
Error from server (NotFound): namespaces "tag17" not found
Mit dem Namespace verschwinden auch Policy,
ServiceExport und der derived-…-Service.
Prüfungstipp
- Prüfreihenfolge bei „Cluster sehen sich nicht“:
cilium clustermesh status, danncilium config view | grep cluster-(Name/ID eindeutig?), Pod-CIDRs, CA. - Globaler Service braucht die Annotation in beiden
Clustern und gleichen Namen und Namespace. Policies ohne
io.cilium.k8s.policy.clusterwirken seit 1.19 nur lokal. - Doku: docs.cilium.io „Setting up Cluster Mesh“, „Load-balancing & Service Discovery“ (Global Services, Service Affinity, MCS-API).
Enterprise-Notiz
clustermesh-apiserverhinter einem echten LoadBalancer (oder LB-IPAM + BGP) mit mehreren Replikas – NodePort hängt an einer einzelnen Node-IP.- Die gemeinsame CA kommt aus cert-manager oder einer PKI
(
tls.caBundlefür Rotation), nicht als Helm-Wert:tls.ca.keylandet sonst im Helm-Release-Secret. - Cluster-IDs und Pod-CIDRs zentral vergeben, bevor der erste Cluster entsteht – eine ID nachträglich zu ändern heißt, alle Workloads neu zu starten.
clustermesh.maxConnectedClusters=511geht nur bei der Installation und halbiert die Zahl der Identitäten pro Cluster.- Für Datenbanken mit Clusterbezug
affinity=local; für Rechenzentrumswechselshared=falseauf der Seite, die nur konsumieren soll.