Tag 2: NetworkPolicies und CiliumNetworkPolicy
Ziel: Du sperrst den Pod-Verkehr standardmäßig, öffnest nur nötige Wege, hältst Pods von Node-Endpunkten und Cloud-Metadaten fern und nutzt Cilium für L7- und DNS-Regeln. · Dauer: ca. 90 min · Voraussetzung: Tag 1
Briefing
- CKS: Cluster Setup (15 %) – „Use network security policies to restrict cluster level access“ und „Protect node metadata and endpoints“.
- Ohne Policy spricht jeder Pod mit jedem – und mit kubelet,
API-Server und der Metadaten-IP
169.254.169.254, über die Cloud-VMs Zugangsdaten verteilen. - Policies addieren sich. Die Standard-NetworkPolicy kennt kein „deny“, Cilium schon.
- Cilium behandelt Nodes als eigene Identität:
ipBlockerfasst sie nicht (Drill 4).
tag02-other/outsider ──┐
tag02/client ──────────┴─> tag02/web :80
└──X──> 169.254.169.254 · Nodes :10250/:6443 · Internet (nur gezielt)
Drill 1: Das Testfeld
mkdir -p ~/cks/tag02 && cd ~/cks/tag02
k create ns tag02
k create ns tag02-other
k config set-context --current --namespace=tag02
k create deployment web --image=nginx:1.29 --replicas=2 --port=80
k expose deployment web --port=80
k run client --image=busybox:1.37 -- sleep 3600
k run outsider -n tag02-other --image=busybox:1.37 -- sleep 3600
k rollout status deployment web
k exec client -- wget -qO- -T2 http://web | grep title
k exec -n tag02-other outsider -- wget -qO- -T2 http://web.tag02 | grep title
k exec client -- nc -zv -w2 172.16.0.228 10250
k exec client -- nc -zv -w2 172.16.0.126 6443
k exec client -- nc -zv -w2 169.254.169.254 80Erwartet (gekürzt):
deployment "web" successfully rolled out
<title>Welcome to nginx!</title>
<title>Welcome to nginx!</title>
172.16.0.228 (172.16.0.228:10250) open
172.16.0.126 (172.16.0.126:6443) open
nc: 169.254.169.254 (169.254.169.254:80): Network is unreachable
command terminated with exit code 1
Jeder Pod erreicht kubelet und API-Server der Nodes. Im Labor gibt es
keinen Metadaten-Dienst, deshalb Network is unreachable –
in AWS, Azure oder GCP käme an dieser Stelle eine Antwort, oft mit
Zugangsdaten der Node-Rolle. Timeouts (-T2,
-w2) immer setzen, sonst wartest du bei gesperrtem Verkehr
ewig.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Default Deny in beide Richtungen
cat > default-deny.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
spec:
podSelector: {}
policyTypes:
- Ingress
- Egress
EOF
k apply -f default-deny.yaml
k exec client -- wget -qO- -T2 http://web
k exec -n tag02-other outsider -- wget -qO- -T2 http://web.tag02
k exec client -- nc -zv -w2 172.16.0.228 10250
k exec client -- nc -zv -w2 169.254.169.254 80Erwartet:
networkpolicy.networking.k8s.io/default-deny created
wget: bad address 'web'
command terminated with exit code 1
wget: download timed out
command terminated with exit code 1
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
nc: 169.254.169.254 (169.254.169.254:80): Connection timed out
command terminated with exit code 1
podSelector: {} wählt alle Pods des Namespace; ohne
ingress/egress-Listen ist nichts erlaubt.
bad address zeigt: Auch DNS ist Egress. Aus
Network is unreachable wird timed out – Cilium
verwirft die Pakete schon an der Pod-Schnittstelle, bevor sie den Node
verlassen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: DNS und gezielte Wege erlauben
cat > allow-dns.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-dns
spec:
podSelector: {}
policyTypes:
- Egress
egress:
- to:
- namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: kube-system
podSelector:
matchLabels:
k8s-app: kube-dns
ports:
- port: 53
protocol: UDP
- port: 53
protocol: TCP
EOF
k apply -f allow-dns.yaml
k exec client -- nslookup web.tag02.svc.cluster.local
k exec client -- wget -qO- -T2 http://webErwartet:
networkpolicy.networking.k8s.io/allow-dns created
Server: 10.96.0.10
Address: 10.96.0.10:53
Name: web.tag02.svc.cluster.local
Address: 10.99.244.41
wget: download timed out
command terminated with exit code 1
Der Name löst sich auf, die Verbindung bleibt zu. Innerhalb eines
Namespace mit Default Deny braucht jeder Weg zwei Erlaubnisse: Egress
beim Absender, Ingress beim Empfänger. Dazu darf der Namespace
tag02-other herein:
cat > web-policies.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: web-ingress
spec:
podSelector:
matchLabels:
app: web
policyTypes:
- Ingress
ingress:
- from:
- podSelector:
matchLabels:
run: client
- namespaceSelector:
matchLabels:
kubernetes.io/metadata.name: tag02-other
ports:
- port: 80
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: client-egress
spec:
podSelector:
matchLabels:
run: client
policyTypes:
- Egress
egress:
- to:
- podSelector:
matchLabels:
app: web
ports:
- port: 80
EOF
k apply -f web-policies.yaml
k exec client -- wget -qO- -T2 http://web | grep title
k exec -n tag02-other outsider -- wget -qO- -T2 http://web.tag02 | grep title
k describe netpol web-ingress | sed -n '/Allowing ingress/,/Not affecting/p'Erwartet:
networkpolicy.networking.k8s.io/web-ingress created
networkpolicy.networking.k8s.io/client-egress created
<title>Welcome to nginx!</title>
<title>Welcome to nginx!</title>
Allowing ingress traffic:
To Port: 80/TCP
From:
PodSelector: run=client
From:
NamespaceSelector: kubernetes.io/metadata.name=tag02-other
Not affecting egress traffic
Zwei From:-Blöcke heißen ODER: Pods mit
run=client aus tag02 oder
jeder Pod aus tag02-other. run: client setzt
k run automatisch.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Internet ja, Metadaten nein – ipBlock mit except
client soll ins Internet, aber nie an die
Metadaten-IP:
cat > client-world.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: client-world
spec:
podSelector:
matchLabels:
run: client
policyTypes:
- Egress
egress:
- to:
- ipBlock:
cidr: 0.0.0.0/0
except:
- 169.254.169.254/32
EOF
k apply -f client-world.yaml
k exec client -- nc -zv -w3 kubernetes.io 443
k exec client -- nc -zv -w2 169.254.169.254 80
k exec client -- nc -zv -w2 172.16.0.228 10250
k exec client -- nc -zv -w2 172.16.0.126 6443Erwartet:
networkpolicy.networking.k8s.io/client-world created
kubernetes.io (3.33.186.135:443) open
nc: 169.254.169.254 (169.254.169.254:80): Connection timed out
command terminated with exit code 1
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
nc: 172.16.0.126 (172.16.0.126:6443): Connection timed out
command terminated with exit code 1
Überraschung: Die Nodes sind gesperrt, obwohl 0.0.0.0/0
sie einschließt. Gegenprobe mit genau dem Node-Netz:
k apply -f - <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: tmp-nodes
spec:
podSelector:
matchLabels:
run: client
policyTypes:
- Egress
egress:
- to:
- ipBlock:
cidr: 172.16.0.0/24
EOF
k exec client -- nc -zv -w2 172.16.0.228 10250
k delete netpol tmp-nodesErwartet:
networkpolicy.networking.k8s.io/tmp-nodes created
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
networkpolicy.networking.k8s.io "tmp-nodes" deleted from tag02 namespace
Cilium ordnet Node-IPs den Identitäten host und
remote-node zu, und ipBlock erfasst in der
Standardeinstellung nur „world“. Andere CNIs (etwa Calico) lassen
0.0.0.0/0 auch die Nodes erreichen. Deshalb in der Prüfung:
Node-Netz und Metadaten-IP ausdrücklich in except schreiben
– das wirkt mit jedem CNI.
Fortschritt speichern? Kostenlos registrieren
Drill 5: CiliumNetworkPolicy – L3/L4 und Entities
Cilium-Policies im eigenen Namespace, damit sich nichts mit Drill 2 bis 4 mischt:
k create ns tag02-cilium
k -n tag02-cilium create deployment web --image=nginx:1.29 --port=80
k -n tag02-cilium expose deployment web --port=80
k -n tag02-cilium run client --image=busybox:1.37 -- sleep 3600
k -n tag02-cilium rollout status deployment web
cat > cnp-client.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: client-egress
namespace: tag02-cilium
spec:
endpointSelector:
matchLabels:
run: client
egress:
- toEndpoints:
- matchLabels:
app: web
toPorts:
- ports:
- port: "80"
protocol: TCP
- toEndpoints:
- matchLabels:
k8s:io.kubernetes.pod.namespace: kube-system
k8s-app: kube-dns
toPorts:
- ports:
- port: "53"
protocol: ANY
- toEntities:
- kube-apiserver
toPorts:
- ports:
- port: "6443"
protocol: TCP
EOF
k apply -f cnp-client.yaml
k get cnp -n tag02-ciliumErwartet:
ciliumnetworkpolicy.cilium.io/client-egress created
NAME AGE VALID
client-egress 3s True
VALID True immer prüfen: Cilium nimmt fehlerhafte
Policies an, setzt sie aber nicht durch. Ports stehen in
Anführungszeichen. Jetzt testen:
k -n tag02-cilium exec client -- wget -qO- -T2 http://web | grep title
k -n tag02-cilium exec client -- nc -zv -w2 kubernetes.default 443
k -n tag02-cilium exec client -- nc -zv -w2 172.16.0.228 10250
k -n tag02-cilium exec client -- nc -zv -w2 kubernetes.io 443Erwartet:
<title>Welcome to nginx!</title>
kubernetes.default (10.96.0.1:443) open
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
nc: kubernetes.io (3.33.186.135:443): Connection timed out
command terminated with exit code 1
Ein CNP-Egress mit Regeln schaltet für den Pod Default Deny ein.
toEntities: kube-apiserver erlaubt genau den API-Server –
egal auf welchem Node er läuft; das kubelet auf worker1 bleibt zu.
Weitere Entities: world, cluster,
host, remote-node, all
(k explain cnp.spec.egress.toEntities).
Fortschritt speichern? Kostenlos registrieren
Drill 6: L7-Regel für HTTP
Standard-NetworkPolicies kennen nur Ports. Cilium prüft auch Methode und Pfad:
k -n tag02-cilium exec deploy/web -- \
sh -c 'echo geheim > /usr/share/nginx/html/admin.html'
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/admin.html
cat > cnp-web-l7.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: web-l7
namespace: tag02-cilium
spec:
endpointSelector:
matchLabels:
app: web
ingress:
- fromEndpoints:
- matchLabels:
run: client
toPorts:
- ports:
- port: "80"
protocol: TCP
rules:
http:
- method: GET
path: "/"
- method: GET
path: "/index.html"
EOF
k apply -f cnp-web-l7.yaml
k -n tag02-cilium exec client -- wget -qO- -T2 http://web | grep title
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/admin.html
k -n tag02-cilium exec client -- wget -qO- -T2 --post-data=x http://web/Erwartet:
geheim
ciliumnetworkpolicy.cilium.io/web-l7 created
<title>Welcome to nginx!</title>
wget: server returned error: HTTP/1.1 403 Forbidden
command terminated with exit code 1
wget: server returned error: HTTP/1.1 403 Forbidden
command terminated with exit code 1
Die 403 kommt nicht von nginx, sondern vom Envoy-Proxy von Cilium
(DaemonSet cilium-envoy). path ist ein
regulärer Ausdruck über den ganzen Pfad: / erlaubt nicht
/admin.html.
Fortschritt speichern? Kostenlos registrieren
Drill 7: toFQDNs – Egress nach Namen
Externe Ziele wechseln ihre IPs. Cilium lernt sie aus den
DNS-Antworten – dafür muss die DNS-Regel über den Cilium-DNS-Proxy
laufen (rules: dns):
cat > cnp-fqdn.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: client-fqdn
namespace: tag02-cilium
spec:
endpointSelector:
matchLabels:
run: client
egress:
- toEndpoints:
- matchLabels:
k8s:io.kubernetes.pod.namespace: kube-system
k8s-app: kube-dns
toPorts:
- ports:
- port: "53"
protocol: ANY
rules:
dns:
- matchPattern: "*"
- toFQDNs:
- matchName: kubernetes.io
toPorts:
- ports:
- port: "443"
protocol: TCP
EOF
k apply -f cnp-fqdn.yaml
k -n tag02-cilium exec client -- nc -zv -w3 kubernetes.io 443
k -n tag02-cilium exec client -- nc -zv -w3 kubernetes.io 80
k -n tag02-cilium exec client -- nc -zv -w3 github.com 443Erwartet:
ciliumnetworkpolicy.cilium.io/client-fqdn created
kubernetes.io (3.33.186.135:443) open
nc: kubernetes.io (3.33.186.135:80): Connection timed out
command terminated with exit code 1
nc: github.com (140.82.121.3:443): Connection timed out
command terminated with exit code 1
Beide CNPs wählen client aus und addieren sich: web,
DNS, API-Server und kubernetes.io:443 sind offen, sonst
nichts. Ohne die dns-Regel bliebe toFQDNs
wirkungslos, weil Cilium die Namensauflösung nie sieht.
Fortschritt speichern? Kostenlos registrieren
Drill 8: Metadaten clusterweit sperren – Deny-Regel
Ein echtes „deny“ für alle Pods, ohne sie in Default Deny zu
schicken. Zum Üben nur für den Namespace tag02-cilium (in
Produktion endpointSelector: {}):
k -n tag02-cilium run probe --image=busybox:1.37 -- sleep 3600
k -n tag02-cilium exec probe -- nc -zv -w2 169.254.169.254 80
cat > ccnp-metadata.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumClusterwideNetworkPolicy
metadata:
name: tag02-deny-metadata
spec:
endpointSelector:
matchLabels:
k8s:io.kubernetes.pod.namespace: tag02-cilium
enableDefaultDeny:
egress: false
ingress: false
egressDeny:
- toCIDR:
- 169.254.169.254/32
EOF
k apply -f ccnp-metadata.yaml
k get ccnp
k -n tag02-cilium exec probe -- nc -zv -w2 169.254.169.254 80
k -n tag02-cilium exec probe -- nc -zv -w3 kubernetes.io 443Erwartet:
nc: 169.254.169.254 (169.254.169.254:80): Network is unreachable
command terminated with exit code 1
ciliumclusterwidenetworkpolicy.cilium.io/tag02-deny-metadata created
NAME VALID
tag02-deny-metadata True
nc: 169.254.169.254 (169.254.169.254:80): Connection timed out
command terminated with exit code 1
kubernetes.io (15.197.167.90:443) open
probe kommt weiter ins Internet, nur die Metadaten-IP
ist weg. enableDefaultDeny: false verhindert, dass die
Policy alles andere sperrt. Deny-Regeln haben Vorrang vor jeder
Erlaubnis – auch eine spätere Allow-Policy öffnet die Metadaten
nicht.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Sperre in
tag02-otherjeglichen eingehenden Verkehr. Zeitziel: 45 s - Zeige alle Cilium-Policies im Cluster, namespaced und clusterweit, mit Gültigkeit. Zeitziel: 15 s
- Erweitere
web-l7:clientdarf zusätzlich alle Pfade unter/adminper GET lesen. Zeitziel: 60 s - Welche Policy-Typen und welche Ausnahmen hat
client-world? Zeitziel: 30 s
Lösung
k apply -n tag02-other -f - <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny-ingress
spec:
podSelector: {}
policyTypes:
- Ingress
EOF
k get cnp,ccnp -A
vim cnp-web-l7.yamlUnter dem Eintrag für /index.html ergänzen:
- method: GET
path: "/admin.*"k apply -f cnp-web-l7.yaml
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/admin.html
k get netpol client-world \
-o jsonpath='{.spec.policyTypes} {.spec.egress[0].to[0].ipBlock.except}{"\n"}'Erwartet (gekürzt):
networkpolicy.networking.k8s.io/default-deny-ingress created
NAMESPACE NAME AGE VALID
tag02-cilium ciliumnetworkpolicy.cilium.io/client-egress 98s True
tag02-cilium ciliumnetworkpolicy.cilium.io/client-fqdn 68s True
tag02-cilium ciliumnetworkpolicy.cilium.io/web-l7 81s True
NAMESPACE NAME VALID
ciliumclusterwidenetworkpolicy.cilium.io/tag02-deny-metadata True
ciliumnetworkpolicy.cilium.io/web-l7 configured
geheim
["Egress"] ["169.254.169.254/32"]
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
k get netpol -n tag02 -o custom-columns=NAME:.metadata.name,TYPES:.spec.policyTypesErwartet:
NAME TYPES
allow-dns [Egress]
client-egress [Egress]
client-world [Egress]
default-deny [Ingress Egress]
web-ingress [Ingress]
k exec -n tag02 client -- nc -zv -w2 169.254.169.254 80Erwartet: Connection timed out
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/geheim.htmlErwartet:
wget: server returned error: HTTP/1.1 403 Forbidden – die
L7-Regel greift.
k get ccnp tag02-deny-metadataErwartet: VALID = True
Challenge
client in tag02 soll zusätzlich den
API-Server über kubernetes.default:443 erreichen, aber
weiterhin kein kubelet. Eine NetworkPolicy mit
ipBlock: 172.16.0.126/32 und Port 6443 hilft hier nicht –
finde den Weg, der mit Cilium wirkt.
Hinweis: Drill 4 erklärt, warum ipBlock
scheitert; Drill 5 zeigt die Entity.
Lösung
k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: client-api
spec:
endpointSelector:
matchLabels:
run: client
egress:
- toEntities:
- kube-apiserver
toPorts:
- ports:
- port: "6443"
protocol: TCP
EOF
k exec client -- nc -zv -w2 kubernetes.default 443
k exec client -- nc -zv -w2 172.16.0.228 10250Erwartet:
ciliumnetworkpolicy.cilium.io/client-api created
kubernetes.default (10.96.0.1:443) open
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
Der Port ist 6443, nicht 443: Policies wirken nach der Service-Übersetzung. Aufräumen:
k config set-context --current --namespace=default
k delete ns tag02 tag02-other tag02-cilium
k delete ccnp tag02-deny-metadataFortschritt speichern? Kostenlos registrieren
Prüfungstipp
- Zuerst klären, welches CNI läuft
(
k get pods -n kube-system). Cilium-Objekte nur verwenden, wenn die Aufgabe sie verlangt; sonst Standard-NetworkPolicy. - Egress-Sperren immer mit DNS-Ausnahme (UDP und TCP 53). Metadaten:
ipBlockmitexcept: [169.254.169.254/32]. Ports sind Container-Ports. - Doku: kubernetes.io „Network Policies“, docs.cilium.io „Layer 3 Examples“, „Layer 7 Examples“, „DNS based“.
Enterprise-Notiz
- Default Deny und DNS-Ausnahme gehören in die Namespace-Vorlage (GitOps), nicht in Handarbeit.
- Metadaten-Schutz zusätzlich in der Cloud: IMDSv2 mit Hop-Limit 1 (AWS) oder Workload Identity (GKE, AKS), damit Pods die Node-Rolle gar nicht erst erben.
- Clusterweite Regeln (Metadaten sperren, Monitoring erlauben) per
CiliumClusterwideNetworkPolicyzentral durch das Plattform-Team. - Hubble zeigt verworfene Flows mit Policy-Namen – ohne Sichtbarkeit wird Default Deny zur Fehlersuche im Dunkeln.
toFQDNsbraucht den DNS-Proxy von Cilium; dessen Verfügbarkeit wird damit geschäftskritisch.