Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 2: NetworkPolicies und CiliumNetworkPolicy

Ziel: Du sperrst den Pod-Verkehr standardmäßig, öffnest nur nötige Wege, hältst Pods von Node-Endpunkten und Cloud-Metadaten fern und nutzt Cilium für L7- und DNS-Regeln. · Dauer: ca. 90 min · Voraussetzung: Tag 1

Briefing

  • CKS: Cluster Setup (15 %) – „Use network security policies to restrict cluster level access“ und „Protect node metadata and endpoints“.
  • Ohne Policy spricht jeder Pod mit jedem – und mit kubelet, API-Server und der Metadaten-IP 169.254.169.254, über die Cloud-VMs Zugangsdaten verteilen.
  • Policies addieren sich. Die Standard-NetworkPolicy kennt kein „deny“, Cilium schon.
  • Cilium behandelt Nodes als eigene Identität: ipBlock erfasst sie nicht (Drill 4).
 tag02-other/outsider ──┐
 tag02/client ──────────┴─> tag02/web :80
        └──X──> 169.254.169.254 · Nodes :10250/:6443 · Internet (nur gezielt)

Drill 1: Das Testfeld

mkdir -p ~/cks/tag02 && cd ~/cks/tag02
k create ns tag02
k create ns tag02-other
k config set-context --current --namespace=tag02
k create deployment web --image=nginx:1.29 --replicas=2 --port=80
k expose deployment web --port=80
k run client --image=busybox:1.37 -- sleep 3600
k run outsider -n tag02-other --image=busybox:1.37 -- sleep 3600
k rollout status deployment web
k exec client -- wget -qO- -T2 http://web | grep title
k exec -n tag02-other outsider -- wget -qO- -T2 http://web.tag02 | grep title
k exec client -- nc -zv -w2 172.16.0.228 10250
k exec client -- nc -zv -w2 172.16.0.126 6443
k exec client -- nc -zv -w2 169.254.169.254 80

Erwartet (gekürzt):

deployment "web" successfully rolled out
<title>Welcome to nginx!</title>
<title>Welcome to nginx!</title>
172.16.0.228 (172.16.0.228:10250) open
172.16.0.126 (172.16.0.126:6443) open
nc: 169.254.169.254 (169.254.169.254:80): Network is unreachable
command terminated with exit code 1

Jeder Pod erreicht kubelet und API-Server der Nodes. Im Labor gibt es keinen Metadaten-Dienst, deshalb Network is unreachable – in AWS, Azure oder GCP käme an dieser Stelle eine Antwort, oft mit Zugangsdaten der Node-Rolle. Timeouts (-T2, -w2) immer setzen, sonst wartest du bei gesperrtem Verkehr ewig.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Default Deny in beide Richtungen

cat > default-deny.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
spec:
  podSelector: {}
  policyTypes:
  - Ingress
  - Egress
EOF
k apply -f default-deny.yaml
k exec client -- wget -qO- -T2 http://web
k exec -n tag02-other outsider -- wget -qO- -T2 http://web.tag02
k exec client -- nc -zv -w2 172.16.0.228 10250
k exec client -- nc -zv -w2 169.254.169.254 80

Erwartet:

networkpolicy.networking.k8s.io/default-deny created
wget: bad address 'web'
command terminated with exit code 1
wget: download timed out
command terminated with exit code 1
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
nc: 169.254.169.254 (169.254.169.254:80): Connection timed out
command terminated with exit code 1

podSelector: {} wählt alle Pods des Namespace; ohne ingress/egress-Listen ist nichts erlaubt. bad address zeigt: Auch DNS ist Egress. Aus Network is unreachable wird timed out – Cilium verwirft die Pakete schon an der Pod-Schnittstelle, bevor sie den Node verlassen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: DNS und gezielte Wege erlauben

cat > allow-dns.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: allow-dns
spec:
  podSelector: {}
  policyTypes:
  - Egress
  egress:
  - to:
    - namespaceSelector:
        matchLabels:
          kubernetes.io/metadata.name: kube-system
      podSelector:
        matchLabels:
          k8s-app: kube-dns
    ports:
    - port: 53
      protocol: UDP
    - port: 53
      protocol: TCP
EOF
k apply -f allow-dns.yaml
k exec client -- nslookup web.tag02.svc.cluster.local
k exec client -- wget -qO- -T2 http://web

Erwartet:

networkpolicy.networking.k8s.io/allow-dns created
Server:    10.96.0.10
Address:   10.96.0.10:53

Name:      web.tag02.svc.cluster.local
Address:   10.99.244.41

wget: download timed out
command terminated with exit code 1

Der Name löst sich auf, die Verbindung bleibt zu. Innerhalb eines Namespace mit Default Deny braucht jeder Weg zwei Erlaubnisse: Egress beim Absender, Ingress beim Empfänger. Dazu darf der Namespace tag02-other herein:

cat > web-policies.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: web-ingress
spec:
  podSelector:
    matchLabels:
      app: web
  policyTypes:
  - Ingress
  ingress:
  - from:
    - podSelector:
        matchLabels:
          run: client
    - namespaceSelector:
        matchLabels:
          kubernetes.io/metadata.name: tag02-other
    ports:
    - port: 80
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: client-egress
spec:
  podSelector:
    matchLabels:
      run: client
  policyTypes:
  - Egress
  egress:
  - to:
    - podSelector:
        matchLabels:
          app: web
    ports:
    - port: 80
EOF
k apply -f web-policies.yaml
k exec client -- wget -qO- -T2 http://web | grep title
k exec -n tag02-other outsider -- wget -qO- -T2 http://web.tag02 | grep title
k describe netpol web-ingress | sed -n '/Allowing ingress/,/Not affecting/p'

Erwartet:

networkpolicy.networking.k8s.io/web-ingress created
networkpolicy.networking.k8s.io/client-egress created
<title>Welcome to nginx!</title>
<title>Welcome to nginx!</title>
  Allowing ingress traffic:
    To Port: 80/TCP
    From:
      PodSelector: run=client
    From:
      NamespaceSelector: kubernetes.io/metadata.name=tag02-other
  Not affecting egress traffic

Zwei From:-Blöcke heißen ODER: Pods mit run=client aus tag02 oder jeder Pod aus tag02-other. run: client setzt k run automatisch.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Internet ja, Metadaten nein – ipBlock mit except

client soll ins Internet, aber nie an die Metadaten-IP:

cat > client-world.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: client-world
spec:
  podSelector:
    matchLabels:
      run: client
  policyTypes:
  - Egress
  egress:
  - to:
    - ipBlock:
        cidr: 0.0.0.0/0
        except:
        - 169.254.169.254/32
EOF
k apply -f client-world.yaml
k exec client -- nc -zv -w3 kubernetes.io 443
k exec client -- nc -zv -w2 169.254.169.254 80
k exec client -- nc -zv -w2 172.16.0.228 10250
k exec client -- nc -zv -w2 172.16.0.126 6443

Erwartet:

networkpolicy.networking.k8s.io/client-world created
kubernetes.io (3.33.186.135:443) open
nc: 169.254.169.254 (169.254.169.254:80): Connection timed out
command terminated with exit code 1
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
nc: 172.16.0.126 (172.16.0.126:6443): Connection timed out
command terminated with exit code 1

Überraschung: Die Nodes sind gesperrt, obwohl 0.0.0.0/0 sie einschließt. Gegenprobe mit genau dem Node-Netz:

k apply -f - <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: tmp-nodes
spec:
  podSelector:
    matchLabels:
      run: client
  policyTypes:
  - Egress
  egress:
  - to:
    - ipBlock:
        cidr: 172.16.0.0/24
EOF
k exec client -- nc -zv -w2 172.16.0.228 10250
k delete netpol tmp-nodes

Erwartet:

networkpolicy.networking.k8s.io/tmp-nodes created
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
networkpolicy.networking.k8s.io "tmp-nodes" deleted from tag02 namespace

Cilium ordnet Node-IPs den Identitäten host und remote-node zu, und ipBlock erfasst in der Standardeinstellung nur „world“. Andere CNIs (etwa Calico) lassen 0.0.0.0/0 auch die Nodes erreichen. Deshalb in der Prüfung: Node-Netz und Metadaten-IP ausdrücklich in except schreiben – das wirkt mit jedem CNI.

Fortschritt speichern? Kostenlos registrieren

Drill 5: CiliumNetworkPolicy – L3/L4 und Entities

Cilium-Policies im eigenen Namespace, damit sich nichts mit Drill 2 bis 4 mischt:

k create ns tag02-cilium
k -n tag02-cilium create deployment web --image=nginx:1.29 --port=80
k -n tag02-cilium expose deployment web --port=80
k -n tag02-cilium run client --image=busybox:1.37 -- sleep 3600
k -n tag02-cilium rollout status deployment web
cat > cnp-client.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: client-egress
  namespace: tag02-cilium
spec:
  endpointSelector:
    matchLabels:
      run: client
  egress:
  - toEndpoints:
    - matchLabels:
        app: web
    toPorts:
    - ports:
      - port: "80"
        protocol: TCP
  - toEndpoints:
    - matchLabels:
        k8s:io.kubernetes.pod.namespace: kube-system
        k8s-app: kube-dns
    toPorts:
    - ports:
      - port: "53"
        protocol: ANY
  - toEntities:
    - kube-apiserver
    toPorts:
    - ports:
      - port: "6443"
        protocol: TCP
EOF
k apply -f cnp-client.yaml
k get cnp -n tag02-cilium

Erwartet:

ciliumnetworkpolicy.cilium.io/client-egress created
NAME            AGE   VALID
client-egress   3s    True

VALID True immer prüfen: Cilium nimmt fehlerhafte Policies an, setzt sie aber nicht durch. Ports stehen in Anführungszeichen. Jetzt testen:

k -n tag02-cilium exec client -- wget -qO- -T2 http://web | grep title
k -n tag02-cilium exec client -- nc -zv -w2 kubernetes.default 443
k -n tag02-cilium exec client -- nc -zv -w2 172.16.0.228 10250
k -n tag02-cilium exec client -- nc -zv -w2 kubernetes.io 443

Erwartet:

<title>Welcome to nginx!</title>
kubernetes.default (10.96.0.1:443) open
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1
nc: kubernetes.io (3.33.186.135:443): Connection timed out
command terminated with exit code 1

Ein CNP-Egress mit Regeln schaltet für den Pod Default Deny ein. toEntities: kube-apiserver erlaubt genau den API-Server – egal auf welchem Node er läuft; das kubelet auf worker1 bleibt zu. Weitere Entities: world, cluster, host, remote-node, all (k explain cnp.spec.egress.toEntities).

Fortschritt speichern? Kostenlos registrieren

Drill 6: L7-Regel für HTTP

Standard-NetworkPolicies kennen nur Ports. Cilium prüft auch Methode und Pfad:

k -n tag02-cilium exec deploy/web -- \
  sh -c 'echo geheim > /usr/share/nginx/html/admin.html'
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/admin.html
cat > cnp-web-l7.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: web-l7
  namespace: tag02-cilium
spec:
  endpointSelector:
    matchLabels:
      app: web
  ingress:
  - fromEndpoints:
    - matchLabels:
        run: client
    toPorts:
    - ports:
      - port: "80"
        protocol: TCP
      rules:
        http:
        - method: GET
          path: "/"
        - method: GET
          path: "/index.html"
EOF
k apply -f cnp-web-l7.yaml
k -n tag02-cilium exec client -- wget -qO- -T2 http://web | grep title
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/admin.html
k -n tag02-cilium exec client -- wget -qO- -T2 --post-data=x http://web/

Erwartet:

geheim
ciliumnetworkpolicy.cilium.io/web-l7 created
<title>Welcome to nginx!</title>
wget: server returned error: HTTP/1.1 403 Forbidden
command terminated with exit code 1
wget: server returned error: HTTP/1.1 403 Forbidden
command terminated with exit code 1

Die 403 kommt nicht von nginx, sondern vom Envoy-Proxy von Cilium (DaemonSet cilium-envoy). path ist ein regulärer Ausdruck über den ganzen Pfad: / erlaubt nicht /admin.html.

Fortschritt speichern? Kostenlos registrieren

Drill 7: toFQDNs – Egress nach Namen

Externe Ziele wechseln ihre IPs. Cilium lernt sie aus den DNS-Antworten – dafür muss die DNS-Regel über den Cilium-DNS-Proxy laufen (rules: dns):

cat > cnp-fqdn.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: client-fqdn
  namespace: tag02-cilium
spec:
  endpointSelector:
    matchLabels:
      run: client
  egress:
  - toEndpoints:
    - matchLabels:
        k8s:io.kubernetes.pod.namespace: kube-system
        k8s-app: kube-dns
    toPorts:
    - ports:
      - port: "53"
        protocol: ANY
      rules:
        dns:
        - matchPattern: "*"
  - toFQDNs:
    - matchName: kubernetes.io
    toPorts:
    - ports:
      - port: "443"
        protocol: TCP
EOF
k apply -f cnp-fqdn.yaml
k -n tag02-cilium exec client -- nc -zv -w3 kubernetes.io 443
k -n tag02-cilium exec client -- nc -zv -w3 kubernetes.io 80
k -n tag02-cilium exec client -- nc -zv -w3 github.com 443

Erwartet:

ciliumnetworkpolicy.cilium.io/client-fqdn created
kubernetes.io (3.33.186.135:443) open
nc: kubernetes.io (3.33.186.135:80): Connection timed out
command terminated with exit code 1
nc: github.com (140.82.121.3:443): Connection timed out
command terminated with exit code 1

Beide CNPs wählen client aus und addieren sich: web, DNS, API-Server und kubernetes.io:443 sind offen, sonst nichts. Ohne die dns-Regel bliebe toFQDNs wirkungslos, weil Cilium die Namensauflösung nie sieht.

Fortschritt speichern? Kostenlos registrieren

Drill 8: Metadaten clusterweit sperren – Deny-Regel

Ein echtes „deny“ für alle Pods, ohne sie in Default Deny zu schicken. Zum Üben nur für den Namespace tag02-cilium (in Produktion endpointSelector: {}):

k -n tag02-cilium run probe --image=busybox:1.37 -- sleep 3600
k -n tag02-cilium exec probe -- nc -zv -w2 169.254.169.254 80
cat > ccnp-metadata.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumClusterwideNetworkPolicy
metadata:
  name: tag02-deny-metadata
spec:
  endpointSelector:
    matchLabels:
      k8s:io.kubernetes.pod.namespace: tag02-cilium
  enableDefaultDeny:
    egress: false
    ingress: false
  egressDeny:
  - toCIDR:
    - 169.254.169.254/32
EOF
k apply -f ccnp-metadata.yaml
k get ccnp
k -n tag02-cilium exec probe -- nc -zv -w2 169.254.169.254 80
k -n tag02-cilium exec probe -- nc -zv -w3 kubernetes.io 443

Erwartet:

nc: 169.254.169.254 (169.254.169.254:80): Network is unreachable
command terminated with exit code 1
ciliumclusterwidenetworkpolicy.cilium.io/tag02-deny-metadata created
NAME                  VALID
tag02-deny-metadata   True
nc: 169.254.169.254 (169.254.169.254:80): Connection timed out
command terminated with exit code 1
kubernetes.io (15.197.167.90:443) open

probe kommt weiter ins Internet, nur die Metadaten-IP ist weg. enableDefaultDeny: false verhindert, dass die Policy alles andere sperrt. Deny-Regeln haben Vorrang vor jeder Erlaubnis – auch eine spätere Allow-Policy öffnet die Metadaten nicht.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Sperre in tag02-other jeglichen eingehenden Verkehr. Zeitziel: 45 s
  2. Zeige alle Cilium-Policies im Cluster, namespaced und clusterweit, mit Gültigkeit. Zeitziel: 15 s
  3. Erweitere web-l7: client darf zusätzlich alle Pfade unter /admin per GET lesen. Zeitziel: 60 s
  4. Welche Policy-Typen und welche Ausnahmen hat client-world? Zeitziel: 30 s

Lösung

k apply -n tag02-other -f - <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny-ingress
spec:
  podSelector: {}
  policyTypes:
  - Ingress
EOF
k get cnp,ccnp -A
vim cnp-web-l7.yaml

Unter dem Eintrag für /index.html ergänzen:

        - method: GET
          path: "/admin.*"
k apply -f cnp-web-l7.yaml
k -n tag02-cilium exec client -- wget -qO- -T2 http://web/admin.html
k get netpol client-world \
  -o jsonpath='{.spec.policyTypes} {.spec.egress[0].to[0].ipBlock.except}{"\n"}'

Erwartet (gekürzt):

networkpolicy.networking.k8s.io/default-deny-ingress created
NAMESPACE      NAME                                          AGE   VALID
tag02-cilium   ciliumnetworkpolicy.cilium.io/client-egress   98s   True
tag02-cilium   ciliumnetworkpolicy.cilium.io/client-fqdn     68s   True
tag02-cilium   ciliumnetworkpolicy.cilium.io/web-l7          81s   True

NAMESPACE   NAME                                                           VALID
            ciliumclusterwidenetworkpolicy.cilium.io/tag02-deny-metadata   True
ciliumnetworkpolicy.cilium.io/web-l7 configured
geheim
["Egress"] ["169.254.169.254/32"]

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get netpol -n tag02 -o custom-columns=NAME:.metadata.name,TYPES:.spec.policyTypes

Erwartet:

NAME            TYPES
allow-dns       [Egress]
client-egress   [Egress]
client-world    [Egress]
default-deny    [Ingress Egress]
web-ingress     [Ingress]
k exec -n tag02 client -- nc -zv -w2 169.254.169.254 80

Erwartet: Connection timed out

k -n tag02-cilium exec client -- wget -qO- -T2 http://web/geheim.html

Erwartet: wget: server returned error: HTTP/1.1 403 Forbidden – die L7-Regel greift.

k get ccnp tag02-deny-metadata

Erwartet: VALID = True

Challenge

client in tag02 soll zusätzlich den API-Server über kubernetes.default:443 erreichen, aber weiterhin kein kubelet. Eine NetworkPolicy mit ipBlock: 172.16.0.126/32 und Port 6443 hilft hier nicht – finde den Weg, der mit Cilium wirkt.

Hinweis: Drill 4 erklärt, warum ipBlock scheitert; Drill 5 zeigt die Entity.

Lösung

k apply -f - <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: client-api
spec:
  endpointSelector:
    matchLabels:
      run: client
  egress:
  - toEntities:
    - kube-apiserver
    toPorts:
    - ports:
      - port: "6443"
        protocol: TCP
EOF
k exec client -- nc -zv -w2 kubernetes.default 443
k exec client -- nc -zv -w2 172.16.0.228 10250

Erwartet:

ciliumnetworkpolicy.cilium.io/client-api created
kubernetes.default (10.96.0.1:443) open
nc: 172.16.0.228 (172.16.0.228:10250): Connection timed out
command terminated with exit code 1

Der Port ist 6443, nicht 443: Policies wirken nach der Service-Übersetzung. Aufräumen:

k config set-context --current --namespace=default
k delete ns tag02 tag02-other tag02-cilium
k delete ccnp tag02-deny-metadata

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • Zuerst klären, welches CNI läuft (k get pods -n kube-system). Cilium-Objekte nur verwenden, wenn die Aufgabe sie verlangt; sonst Standard-NetworkPolicy.
  • Egress-Sperren immer mit DNS-Ausnahme (UDP und TCP 53). Metadaten: ipBlock mit except: [169.254.169.254/32]. Ports sind Container-Ports.
  • Doku: kubernetes.io „Network Policies“, docs.cilium.io „Layer 3 Examples“, „Layer 7 Examples“, „DNS based“.

Enterprise-Notiz

  • Default Deny und DNS-Ausnahme gehören in die Namespace-Vorlage (GitOps), nicht in Handarbeit.
  • Metadaten-Schutz zusätzlich in der Cloud: IMDSv2 mit Hop-Limit 1 (AWS) oder Workload Identity (GKE, AKS), damit Pods die Node-Rolle gar nicht erst erben.
  • Clusterweite Regeln (Metadaten sperren, Monitoring erlauben) per CiliumClusterwideNetworkPolicy zentral durch das Plattform-Team.
  • Hubble zeigt verworfene Flows mit Policy-Namen – ohne Sichtbarkeit wird Default Deny zur Fehlersuche im Dunkeln.
  • toFQDNs braucht den DNS-Proxy von Cilium; dessen Verfügbarkeit wird damit geschäftskritisch.