Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 8: DNS und NetworkPolicies

Ziel: Du unterscheidest Namensfehler von Verbindungsfehlern, schaust CoreDNS bei der Arbeit zu und findest NetworkPolicies, die zu viel oder gar nichts sperren. · Dauer: ca. 75 min · Voraussetzung: Tag 7

Briefing

  • Could not resolve host ist DNS, Could not connect oder Connection timed out ist die Verbindung. Erst die Meldung lesen, dann das Werkzeug wählen.
  • Jeder Pod fragt über /etc/resolv.conf den Cluster-DNS (CoreDNS, 10.43.0.10). Mit ndots:5 probiert er erst alle Suchdomänen durch.
  • NetworkPolicies wirken nur auf Pods, die ihr podSelector trifft. Trifft er keinen, passiert nichts – ohne Warnung.
  • Canal (Calico) setzt Policies in RKE2 durch.
Fehlerbild Symptom Wo die Antwort steht
Namespace fehlt im Namen Could not resolve host resolv.conf, Suchliste
Default-Deny ohne DNS Name geht nicht, IP geht get netpol, Egress-Regeln
Policy ohne Wirkung alles erlaubt describe netpol, get pods -l
dnsPolicy: Default Cluster-Namen unbekannt .spec.dnsPolicy

Drill 1: Der Name ohne Namespace

Ein Ziel api im Namespace tag08-andere, der Werkzeug-Pod client in tag08.

Einbauen:

# auf cp1
mkdir -p ~/debug/tag08 && cd ~/debug/tag08
kubectl create namespace tag08
kubectl create namespace tag08-andere
cat > grundlage.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: api, namespace: tag08-andere}
spec:
  replicas: 1
  selector: {matchLabels: {app: api}}
  template:
    metadata: {labels: {app: api}}
    spec:
      containers:
      - name: whoami
        image: traefik/whoami:v1.11
        ports: [{name: http, containerPort: 80}]
---
apiVersion: v1
kind: Service
metadata: {name: api, namespace: tag08-andere}
spec:
  selector: {app: api}
  ports: [{name: http, port: 80, targetPort: http}]
---
apiVersion: v1
kind: Pod
metadata: {name: client, namespace: tag08, labels: {app: client}}
spec:
  containers:
  - name: netshoot
    image: nicolaka/netshoot:v0.15
    command: [sleep, infinity]
EOF
kubectl apply -f grundlage.yaml
kubectl -n tag08-andere rollout status deploy/api
kubectl -n tag08 wait pod/client --for=condition=Ready

Symptom:

# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api

Erwartet:

curl: (6) Could not resolve host: api (Domain name not found)
command terminated with exit code 6

Untersuchen:

# auf cp1
kubectl -n tag08 exec client -- cat /etc/resolv.conf

Erwartet:

search tag08.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.43.0.10
options ndots:5

Ursache: Der Kurzname api wird zuerst zu api.tag08.svc.cluster.local – im eigenen Namespace. Der Service liegt aber in tag08-andere. Die weiteren Suchdomänen helfen nicht, localdomain stammt vom Knoten.

Fix: Über Namespace-Grenzen mindestens <service>.<namespace> verwenden.

Nachweis:

# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1

Erwartet:

Hostname: api-c78ffd49-rwzpk

Fortschritt speichern? Kostenlos registrieren

Drill 2: dig und nslookup sind nicht gleich

# auf cp1
kubectl -n tag08 exec client -- nslookup api.tag08-andere
kubectl -n tag08 exec client -- dig api.tag08-andere +noall +comments | grep status
kubectl -n tag08 exec client -- dig +search +short api.tag08-andere
kubectl -n tag08 exec client -- dig +short api.tag08-andere.svc.cluster.local

Erwartet (gekürzt):

;; Got recursion not available from 10.43.0.10
Server:     10.43.0.10
Address:    10.43.0.10#53

Name:   api.tag08-andere.svc.cluster.local
Address: 10.43.131.137
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 56523
10.43.131.137
10.43.131.137

Warum? nslookup benutzt die Suchliste wie die Anwendung, dig nicht: Es fragt api.tag08-andere. wörtlich und bekommt NXDOMAIN. Erst mit +search oder dem vollen Namen (FQDN) verhält es sich wie curl. Wer mit dig ohne +search testet, jagt einem Fehler nach, den die Anwendung gar nicht hat. Die Zeilen recursion not available sind harmlos: CoreDNS antwortet für cluster.local selbst.

Fortschritt speichern? Kostenlos registrieren

Drill 3: ndots mit tcpdump sehen

Was kostet ein externer Name wie example.com? tcpdump aus netshoot zeichnet im Pod mit, während curl läuft:

# auf cp1
for n in example.com example.com.; do
  kubectl -n tag08 exec client -- sh -c \
    "timeout 5 tcpdump -ni eth0 -l udp port 53 >/tmp/dns.txt 2>/dev/null & sleep 1
     curl -s -o /dev/null $n; sleep 5; grep -o ' A? [^ ]*' /tmp/dns.txt"
  echo ---
done

Erwartet:

 A? example.com.tag08.svc.cluster.local.
 A? example.com.svc.cluster.local.
 A? example.com.cluster.local.
 A? example.com.localdomain.
 A? example.com.
---
 A? example.com.
---

Warum? example.com hat einen Punkt, weniger als ndots:5, gilt also als relativ: vier vergebliche Anfragen (jeweils A und AAAA) vor der richtigen. Mit abschließendem Punkt ist der Name absolut. In Produktion senkt man ndots per dnsConfig im Pod, wenn viele externe Namen aufgelöst werden.

Fortschritt speichern? Kostenlos registrieren

Drill 4: CoreDNS selbst untersuchen

In RKE2 heißt der DNS-Service nicht kube-dns, sondern rke2-coredns-rke2-coredns. Das Label k8s-app=kube-dns ist aber geblieben:

# auf cp1
kubectl -n kube-system get svc -l k8s-app=kube-dns
kubectl -n kube-system get endpointslice -l k8s-app=kube-dns
kubectl -n kube-system get pods -l k8s-app=kube-dns \
  -o custom-columns=NAME:.metadata.name,IP:.status.podIP,NODE:.spec.nodeName

Erwartet:

NAME                        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
rke2-coredns-rke2-coredns   ClusterIP   10.43.0.10   <none>        53/UDP,53/TCP   87m
NAME                              ADDRESSTYPE   PORTS   ENDPOINTS             AGE
rke2-coredns-rke2-coredns-p5h5d   IPv4          53,53   10.42.0.2,10.42.1.3   87m
NAME                                         IP          NODE
rke2-coredns-rke2-coredns-76dcbcb4cc-h7gdk   10.42.1.3   worker1
rke2-coredns-rke2-coredns-76dcbcb4cc-mp6sb   10.42.0.2   cp1

Die Logs zeigen ohne Zusatz nur Fehler (errors). Welche Anfragen ankommen, verrät das Plugin log. Du fügst es hinter errors in die Corefile ein:

Achtung: Die ConfigMap gehört dem RKE2-Chart rke2-coredns. Die Änderung ist nur für die Fehlersuche gedacht und wird am Drill-Ende zurückgenommen. Dauerhafte Änderungen gehören in eine HelmChartConfig.

# auf cp1
kubectl -n kube-system get cm rke2-coredns-rke2-coredns -o yaml > coredns-cm.yaml
sed 's/^\( *\)errors$/&\n\1log/' coredns-cm.yaml > coredns-log.yaml
diff coredns-cm.yaml coredns-log.yaml
kubectl replace -f coredns-log.yaml

Erwartet:

5a6
>         log
configmap/rke2-coredns-rke2-coredns replaced

Das Plugin reload lädt die Corefile neu, sobald das kubelet die ConfigMap in die Pods gespiegelt hat – im Labor nach 30 bis 90 Sekunden. Warte, bis beide Pods Reloading complete melden, dann frag einen Namen, den es nicht gibt (api.tag08 – der Service liegt in tag08-andere):

# auf cp1
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=50 | grep -c 'Reloading complete'
kubectl -n tag08 exec client -- curl -s -o /dev/null api.tag08
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=20 | grep '"A IN api' \
  | cut -c1-88

Erwartet (gekürzt):

2
command terminated with exit code 6
[INFO] 10.42.2.30:37926 - 29717 "A IN api.tag08.tag08.svc.cluster.local. udp 74 false 1
[INFO] 10.42.2.30:37926 - 62687 "A IN api.tag08.svc.cluster.local. udp 56 false 1232" N
[INFO] 10.42.2.30:37926 - 26222 "A IN api.tag08.cluster.local. udp 52 false 1232" NXDO
[INFO] 10.42.2.30:37926 - 26786 "A IN api.tag08.localdomain. udp 50 false 1232" NXDOMA
[INFO] 10.42.2.30:37926 - 26173 "A IN api.tag08. udp 38 false 1232" NXDOMAIN qr,rd,ra

Die 2 zählt die Reloads beider Pods; hast du die Corefile schon öfter geändert, ist die Zahl größer. Jetzt siehst du die Suchliste von der Serverseite: Die Anfrage kommt an, CoreDNS antwortet korrekt mit NXDOMAIN. Der Fehler liegt beim Namen, nicht bei CoreDNS.

Zurück zum Original:

# auf cp1
kubectl replace -f coredns-cm.yaml 2>&1 | cut -c1-60
kubectl -n kube-system get cm rke2-coredns-rke2-coredns -o yaml \
  | sed '/^ *log$/d' | kubectl replace -f -

Erwartet:

Error from server (Conflict): error when replacing "coredns-
configmap/rke2-coredns-rke2-coredns replaced

Warum der Konflikt? Die gespeicherte Datei enthält die alte resourceVersion. Der API-Server lehnt sie ab, weil das Objekt inzwischen geändert wurde – Schutz vor verlorenen Updates. Also die aktuelle Fassung holen und nur die Zeile entfernen.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Default-Deny verschluckt DNS

Einbauen: Alles nach außen sperren, nur den Weg zu tag08-andere auf Port 80 erlauben:

# auf cp1
cat > egress.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: default-deny-egress, namespace: tag08}
spec:
  podSelector: {}
  policyTypes: [Egress]
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: erlaube-api, namespace: tag08}
spec:
  podSelector: {matchLabels: {app: client}}
  policyTypes: [Egress]
  egress:
  - to:
    - namespaceSelector:
        matchLabels: {kubernetes.io/metadata.name: tag08-andere}
    ports: [{port: 80, protocol: TCP}]
EOF
kubectl apply -f egress.yaml

Symptom:

# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere
IP=$(kubectl -n tag08-andere get svc api -o jsonpath='{.spec.clusterIP}')
kubectl -n tag08 exec client -- curl -sS -m 5 $IP | head -1

Erwartet:

curl: (28) Resolving timed out after 5000 milliseconds
command terminated with exit code 28
Hostname: api-c78ffd49-rwzpk

Der Name läuft in einen Timeout, die IP funktioniert. Nicht Domain name not found wie in Drill 1 – es kommt gar keine Antwort.

Untersuchen:

# auf cp1
kubectl -n tag08 exec client -- dig +short +timeout=2 +tries=1 \
  api.tag08-andere.svc.cluster.local
kubectl -n tag08 get networkpolicy
kubectl -n tag08 describe networkpolicy erlaube-api | sed -n '/Spec/,$p'

Erwartet:

;; communications error to 10.43.0.10#53: timed out
;; no servers could be reached
command terminated with exit code 9
NAME                  POD-SELECTOR   AGE
default-deny-egress   <none>         12s
erlaube-api           app=client     12s
Spec:
  PodSelector:     app=client
  Not affecting ingress traffic
  Allowing egress traffic:
    To Port: 80/TCP
    To:
      NamespaceSelector: kubernetes.io/metadata.name=tag08-andere
  Policy Types: Egress

Ursache: DNS ist auch nur Verkehr – UDP/TCP 53 zu den CoreDNS-Pods in kube-system. Keine Regel erlaubt ihn, also verwirft Canal die Anfragen still.

Fix:

# auf cp1
cat > dns.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: erlaube-dns, namespace: tag08}
spec:
  podSelector: {}
  policyTypes: [Egress]
  egress:
  - to:
    - namespaceSelector:
        matchLabels: {kubernetes.io/metadata.name: kube-system}
      podSelector:
        matchLabels: {k8s-app: kube-dns}
    ports: [{port: 53, protocol: UDP}, {port: 53, protocol: TCP}]
EOF
kubectl apply -f dns.yaml

Nachweis:

# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1
kubectl -n tag08 exec client -- curl -sS -m 5 -o /dev/null https://example.com

Erwartet:

Hostname: api-c78ffd49-rwzpk
curl: (28) Connection timed out after 5002 milliseconds
command terminated with exit code 28

Der Name löst jetzt auf. example.com scheitert weiter, aber an der Verbindung (Connection timed out statt Resolving timed out) – genau das soll Default-Deny. Wichtig: namespaceSelector und podSelector im selben Listeneintrag heißen „UND“. Als zwei Einträge (- namespaceSelector … und - podSelector …) hieße es „ODER“.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Die Policy, die nichts tut

Ziel: Nur Pods aus tag08 dürfen api erreichen.

Einbauen:

# auf cp1
cat > ingress.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: nur-tag08, namespace: tag08-andere}
spec:
  podSelector: {matchLabels: {app: api-server}}
  policyTypes: [Ingress]
  ingress:
  - from:
    - namespaceSelector:
        matchLabels: {kubernetes.io/metadata.name: tag08}
EOF
kubectl apply -f ingress.yaml
kubectl -n tag08-andere run fremd --image=nicolaka/netshoot:v0.15 --restart=Never \
  -- sleep infinity
kubectl -n tag08-andere wait pod/fremd --for=condition=Ready

Symptom: Ein Pod außerhalb von tag08 kommt trotzdem durch:

# auf cp1
kubectl -n tag08-andere exec fremd -- curl -sS -m 5 api | head -1

Erwartet:

Hostname: api-c78ffd49-rwzpk

Untersuchen:

# auf cp1
kubectl -n tag08-andere describe networkpolicy nur-tag08 | grep PodSelector
kubectl -n tag08-andere get pods -l app=api-server
kubectl -n tag08-andere get pods --show-labels | cut -c1-80

Erwartet:

  PodSelector:     app=api-server
No resources found in tag08-andere namespace.
NAME                 READY   STATUS    RESTARTS   AGE     LABELS
api-c78ffd49-rwzpk   1/1     Running   0          4m53s   app=api,pod-template-h
fremd                1/1     Running   0          3s      run=fremd

Ursache: Die Policy wählt Pods mit app=api-server aus – es gibt keine. Ein Pod, den keine Policy auswählt, ist offen. Kubernetes prüft Selektoren nicht gegen vorhandene Pods; die Policy ist gültig und wirkungslos.

Fix:

# auf cp1
kubectl -n tag08-andere patch networkpolicy nur-tag08 --type=merge \
  -p '{"spec":{"podSelector":{"matchLabels":{"app":"api"}}}}'

Nachweis:

# auf cp1
kubectl -n tag08-andere exec fremd -- curl -sS -m 5 api
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1

Erwartet:

curl: (28) Connection timed out after 5002 milliseconds
command terminated with exit code 28
Hostname: api-c78ffd49-rwzpk

Warum? Der Gegenfehler ist ein namespaceSelector mit einem Label, das der Namespace nicht trägt (etwa name: tag08): Dann sperrt die Policy alles. Verlässlich ist nur kubernetes.io/metadata.name, das Kubernetes jedem Namespace automatisch setzt.

Talos: Mit dem Standard-CNI Flannel bleibt jede NetworkPolicy wirkungslos, egal wie gut die Selektoren sind (Tag 19).

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Zeig die DNS-Konfiguration des Pods client. Zeitziel: 10 s
  2. Finde IP und Endpoints des Cluster-DNS. Zeitziel: 20 s
  3. Löse api aus tag08-andere mit dig so auf, dass es sicher klappt. Zeitziel: 20 s
  4. Zeig alle NetworkPolicies im Cluster. Zeitziel: 10 s

Lösung

# auf cp1
kubectl -n tag08 exec client -- cat /etc/resolv.conf
kubectl -n kube-system get svc -l k8s-app=kube-dns
kubectl -n kube-system get endpointslice -l k8s-app=kube-dns
kubectl -n tag08 exec client -- dig +short api.tag08-andere.svc.cluster.local
kubectl get netpol -A

Erwartet:

search tag08.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.43.0.10
options ndots:5
NAME                        TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)         AGE
rke2-coredns-rke2-coredns   ClusterIP   10.43.0.10   <none>        53/UDP,53/TCP   92m
NAME                              ADDRESSTYPE   PORTS   ENDPOINTS             AGE
rke2-coredns-rke2-coredns-p5h5d   IPv4          53,53   10.42.0.2,10.42.1.3   92m
10.43.131.137
NAMESPACE      NAME                  POD-SELECTOR   AGE
tag08-andere   nur-tag08             app=api        87s
tag08          default-deny-egress   <none>         2m11s
tag08          erlaube-api           app=client     2m11s
tag08          erlaube-dns           <none>         109s

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1

Erwartet:

Hostname: api-c78ffd49-rwzpk
# auf cp1
kubectl -n tag08-andere exec fremd -- curl -sS -m 3 -o /dev/null api

Erwartet:

curl: (28) Connection timed out after 3002 milliseconds
command terminated with exit code 28
# auf cp1
kubectl -n kube-system get cm rke2-coredns-rke2-coredns \
  -o jsonpath='{.data.Corefile}' | grep -c '^ *log$'

Erwartet:

0

Challenge

Ein Team hat einen alten Pod altlast in tag08-andere mit dnsPolicy: Default mitgebracht. Externe Namen gehen, api im selben Namespace nicht. Finde die Ursache und repariere den Pod.

# auf cp1
cat > altlast.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: altlast, namespace: tag08-andere}
spec:
  dnsPolicy: Default
  containers:
  - name: netshoot
    image: nicolaka/netshoot:v0.15
    command: [sleep, infinity]
EOF
kubectl apply -f altlast.yaml

Hinweis: Vergleich die resolv.conf von altlast mit der von client.

Lösung

# auf cp1
kubectl -n tag08-andere exec altlast -- curl -sS -m 5 api
kubectl -n tag08-andere exec altlast -- curl -sS -m 5 -o /dev/null \
  -w '%{http_code}\n' https://example.com
kubectl -n tag08-andere exec altlast -- grep -v '^#' /etc/resolv.conf
kubectl -n tag08-andere get pod altlast -o jsonpath='{.spec.dnsPolicy}{"\n"}'

Erwartet:

curl: (6) Could not resolve host: api (Domain name not found)
command terminated with exit code 6
200
search localdomain
nameserver 172.16.0.15
nameserver 8.8.8.8
nameserver 1.1.1.1
Default

dnsPolicy: Default heißt nicht „Standard“, sondern: die resolv.conf des Knotens erben. Der Pod fragt die Resolver des Labornetzes, die cluster.local nicht kennen. Der Standard ist ClusterFirst. dnsPolicy ist unveränderlich, also neu anlegen:

# auf cp1
kubectl -n tag08-andere delete pod altlast
sed -i 's/dnsPolicy: Default/dnsPolicy: ClusterFirst/' altlast.yaml
kubectl apply -f altlast.yaml
kubectl -n tag08-andere wait pod/altlast --for=condition=Ready
kubectl -n tag08-andere exec altlast -- dig +search +short api
kubectl -n tag08-andere exec altlast -- curl -sS -m 5 api

Erwartet:

pod "altlast" deleted from tag08-andere namespace
pod/altlast created
pod/altlast condition met
10.43.131.137
curl: (28) Connection timed out after 5001 milliseconds
command terminated with exit code 28

Der Name löst auf. Dass curl trotzdem scheitert, ist Drill 6 bei der Arbeit: altlast liegt nicht in tag08. Erst lesen, dann reparieren – sonst reißt du die Policy ein, die gerade richtig funktioniert.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

# auf cp1
kubectl delete namespace tag08 tag08-andere
kubectl get netpol -A

Erwartet:

namespace "tag08" deleted
namespace "tag08-andere" deleted
No resources found

Interview-Notiz

  • Name löst nicht auf – wo anfangen? resolv.conf im Pod, dann dig mit FQDN, dann CoreDNS-Endpoints und -Logs (Plugin log). Timeout statt NXDOMAIN deutet auf eine NetworkPolicy oder tote CoreDNS-Pods.
  • Was macht ndots:5? Namen mit weniger als fünf Punkten laufen erst durch die Suchliste – mehrere Anfragen pro externem Namen.
  • Default-Deny eingeführt, plötzlich geht nichts? Egress zu kube-dns auf 53/UDP und 53/TCP fehlt.

Enterprise-Notiz

  • Default-Deny-Vorlagen pro Namespace enthalten die DNS-Ausnahme immer schon; neue Namespaces bekommen sie per GitOps oder Policy-Engine.
  • NodeLocal DNSCache entlastet CoreDNS und macht Latenzen stabiler; dann fragen Pods eine lokale IP (169.254.20.10) statt 10.43.0.10.
  • Das Plugin log erzeugt in großen Clustern Unmengen Zeilen – nur kurz und gezielt einschalten, dauerhaft lieber Metriken (coredns_dns_requests_total).
  • Policies schreiben und testen lernst du in „Kyverno und NetworkPolicies zum Anfassen“; hier geht es nur um das Fehlerbild.