Tag 8: DNS und NetworkPolicies
Ziel: Du unterscheidest Namensfehler von Verbindungsfehlern, schaust CoreDNS bei der Arbeit zu und findest NetworkPolicies, die zu viel oder gar nichts sperren. · Dauer: ca. 75 min · Voraussetzung: Tag 7
Briefing
Could not resolve hostist DNS,Could not connectoderConnection timed outist die Verbindung. Erst die Meldung lesen, dann das Werkzeug wählen.- Jeder Pod fragt über
/etc/resolv.confden Cluster-DNS (CoreDNS,10.43.0.10). Mitndots:5probiert er erst alle Suchdomänen durch. - NetworkPolicies wirken nur auf Pods, die ihr
podSelectortrifft. Trifft er keinen, passiert nichts – ohne Warnung. - Canal (Calico) setzt Policies in RKE2 durch.
| Fehlerbild | Symptom | Wo die Antwort steht |
|---|---|---|
| Namespace fehlt im Namen | Could not resolve host |
resolv.conf, Suchliste |
| Default-Deny ohne DNS | Name geht nicht, IP geht | get netpol, Egress-Regeln |
| Policy ohne Wirkung | alles erlaubt | describe netpol, get pods -l |
dnsPolicy: Default |
Cluster-Namen unbekannt | .spec.dnsPolicy |
Drill 1: Der Name ohne Namespace
Ein Ziel api im Namespace tag08-andere, der
Werkzeug-Pod client in tag08.
Einbauen:
# auf cp1
mkdir -p ~/debug/tag08 && cd ~/debug/tag08
kubectl create namespace tag08
kubectl create namespace tag08-andere
cat > grundlage.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: api, namespace: tag08-andere}
spec:
replicas: 1
selector: {matchLabels: {app: api}}
template:
metadata: {labels: {app: api}}
spec:
containers:
- name: whoami
image: traefik/whoami:v1.11
ports: [{name: http, containerPort: 80}]
---
apiVersion: v1
kind: Service
metadata: {name: api, namespace: tag08-andere}
spec:
selector: {app: api}
ports: [{name: http, port: 80, targetPort: http}]
---
apiVersion: v1
kind: Pod
metadata: {name: client, namespace: tag08, labels: {app: client}}
spec:
containers:
- name: netshoot
image: nicolaka/netshoot:v0.15
command: [sleep, infinity]
EOF
kubectl apply -f grundlage.yaml
kubectl -n tag08-andere rollout status deploy/api
kubectl -n tag08 wait pod/client --for=condition=ReadySymptom:
# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 apiErwartet:
curl: (6) Could not resolve host: api (Domain name not found)
command terminated with exit code 6
Untersuchen:
# auf cp1
kubectl -n tag08 exec client -- cat /etc/resolv.confErwartet:
search tag08.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.43.0.10
options ndots:5
Ursache: Der Kurzname api wird zuerst
zu api.tag08.svc.cluster.local – im eigenen Namespace. Der
Service liegt aber in tag08-andere. Die weiteren
Suchdomänen helfen nicht, localdomain stammt vom
Knoten.
Fix: Über Namespace-Grenzen mindestens
<service>.<namespace> verwenden.
Nachweis:
# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1Erwartet:
Hostname: api-c78ffd49-rwzpk
Fortschritt speichern? Kostenlos registrieren
Drill 2: dig und nslookup sind nicht gleich
# auf cp1
kubectl -n tag08 exec client -- nslookup api.tag08-andere
kubectl -n tag08 exec client -- dig api.tag08-andere +noall +comments | grep status
kubectl -n tag08 exec client -- dig +search +short api.tag08-andere
kubectl -n tag08 exec client -- dig +short api.tag08-andere.svc.cluster.localErwartet (gekürzt):
;; Got recursion not available from 10.43.0.10
Server: 10.43.0.10
Address: 10.43.0.10#53
Name: api.tag08-andere.svc.cluster.local
Address: 10.43.131.137
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 56523
10.43.131.137
10.43.131.137
Warum? nslookup benutzt die Suchliste wie die Anwendung,
dig nicht: Es fragt api.tag08-andere. wörtlich
und bekommt NXDOMAIN. Erst mit +search oder
dem vollen Namen (FQDN) verhält es sich wie curl. Wer mit
dig ohne +search testet, jagt einem Fehler
nach, den die Anwendung gar nicht hat. Die Zeilen
recursion not available sind harmlos: CoreDNS antwortet für
cluster.local selbst.
Fortschritt speichern? Kostenlos registrieren
Drill 3: ndots mit tcpdump sehen
Was kostet ein externer Name wie example.com?
tcpdump aus netshoot zeichnet im Pod mit, während
curl läuft:
# auf cp1
for n in example.com example.com.; do
kubectl -n tag08 exec client -- sh -c \
"timeout 5 tcpdump -ni eth0 -l udp port 53 >/tmp/dns.txt 2>/dev/null & sleep 1
curl -s -o /dev/null $n; sleep 5; grep -o ' A? [^ ]*' /tmp/dns.txt"
echo ---
doneErwartet:
A? example.com.tag08.svc.cluster.local.
A? example.com.svc.cluster.local.
A? example.com.cluster.local.
A? example.com.localdomain.
A? example.com.
---
A? example.com.
---
Warum? example.com hat einen Punkt, weniger als
ndots:5, gilt also als relativ: vier vergebliche Anfragen
(jeweils A und AAAA) vor der richtigen. Mit abschließendem Punkt ist der
Name absolut. In Produktion senkt man ndots per
dnsConfig im Pod, wenn viele externe Namen aufgelöst
werden.
Fortschritt speichern? Kostenlos registrieren
Drill 4: CoreDNS selbst untersuchen
In RKE2 heißt der DNS-Service nicht kube-dns, sondern
rke2-coredns-rke2-coredns. Das Label
k8s-app=kube-dns ist aber geblieben:
# auf cp1
kubectl -n kube-system get svc -l k8s-app=kube-dns
kubectl -n kube-system get endpointslice -l k8s-app=kube-dns
kubectl -n kube-system get pods -l k8s-app=kube-dns \
-o custom-columns=NAME:.metadata.name,IP:.status.podIP,NODE:.spec.nodeNameErwartet:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
rke2-coredns-rke2-coredns ClusterIP 10.43.0.10 <none> 53/UDP,53/TCP 87m
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
rke2-coredns-rke2-coredns-p5h5d IPv4 53,53 10.42.0.2,10.42.1.3 87m
NAME IP NODE
rke2-coredns-rke2-coredns-76dcbcb4cc-h7gdk 10.42.1.3 worker1
rke2-coredns-rke2-coredns-76dcbcb4cc-mp6sb 10.42.0.2 cp1
Die Logs zeigen ohne Zusatz nur Fehler (errors). Welche
Anfragen ankommen, verrät das Plugin log. Du fügst es
hinter errors in die Corefile ein:
Achtung: Die ConfigMap gehört dem RKE2-Chart
rke2-coredns. Die Änderung ist nur für die Fehlersuche gedacht und wird am Drill-Ende zurückgenommen. Dauerhafte Änderungen gehören in eineHelmChartConfig.
# auf cp1
kubectl -n kube-system get cm rke2-coredns-rke2-coredns -o yaml > coredns-cm.yaml
sed 's/^\( *\)errors$/&\n\1log/' coredns-cm.yaml > coredns-log.yaml
diff coredns-cm.yaml coredns-log.yaml
kubectl replace -f coredns-log.yamlErwartet:
5a6
> log
configmap/rke2-coredns-rke2-coredns replaced
Das Plugin reload lädt die Corefile neu, sobald das
kubelet die ConfigMap in die Pods gespiegelt hat – im Labor nach 30 bis
90 Sekunden. Warte, bis beide Pods Reloading complete
melden, dann frag einen Namen, den es nicht gibt (api.tag08
– der Service liegt in tag08-andere):
# auf cp1
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=50 | grep -c 'Reloading complete'
kubectl -n tag08 exec client -- curl -s -o /dev/null api.tag08
kubectl -n kube-system logs -l k8s-app=kube-dns --tail=20 | grep '"A IN api' \
| cut -c1-88Erwartet (gekürzt):
2
command terminated with exit code 6
[INFO] 10.42.2.30:37926 - 29717 "A IN api.tag08.tag08.svc.cluster.local. udp 74 false 1
[INFO] 10.42.2.30:37926 - 62687 "A IN api.tag08.svc.cluster.local. udp 56 false 1232" N
[INFO] 10.42.2.30:37926 - 26222 "A IN api.tag08.cluster.local. udp 52 false 1232" NXDO
[INFO] 10.42.2.30:37926 - 26786 "A IN api.tag08.localdomain. udp 50 false 1232" NXDOMA
[INFO] 10.42.2.30:37926 - 26173 "A IN api.tag08. udp 38 false 1232" NXDOMAIN qr,rd,ra
Die 2 zählt die Reloads beider Pods; hast du die
Corefile schon öfter geändert, ist die Zahl größer. Jetzt siehst du die
Suchliste von der Serverseite: Die Anfrage kommt an, CoreDNS antwortet
korrekt mit NXDOMAIN. Der Fehler liegt beim Namen, nicht
bei CoreDNS.
Zurück zum Original:
# auf cp1
kubectl replace -f coredns-cm.yaml 2>&1 | cut -c1-60
kubectl -n kube-system get cm rke2-coredns-rke2-coredns -o yaml \
| sed '/^ *log$/d' | kubectl replace -f -Erwartet:
Error from server (Conflict): error when replacing "coredns-
configmap/rke2-coredns-rke2-coredns replaced
Warum der Konflikt? Die gespeicherte Datei enthält die alte
resourceVersion. Der API-Server lehnt sie ab, weil das
Objekt inzwischen geändert wurde – Schutz vor verlorenen Updates. Also
die aktuelle Fassung holen und nur die Zeile entfernen.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Default-Deny verschluckt DNS
Einbauen: Alles nach außen sperren, nur den Weg zu
tag08-andere auf Port 80 erlauben:
# auf cp1
cat > egress.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: default-deny-egress, namespace: tag08}
spec:
podSelector: {}
policyTypes: [Egress]
---
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: erlaube-api, namespace: tag08}
spec:
podSelector: {matchLabels: {app: client}}
policyTypes: [Egress]
egress:
- to:
- namespaceSelector:
matchLabels: {kubernetes.io/metadata.name: tag08-andere}
ports: [{port: 80, protocol: TCP}]
EOF
kubectl apply -f egress.yamlSymptom:
# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere
IP=$(kubectl -n tag08-andere get svc api -o jsonpath='{.spec.clusterIP}')
kubectl -n tag08 exec client -- curl -sS -m 5 $IP | head -1Erwartet:
curl: (28) Resolving timed out after 5000 milliseconds
command terminated with exit code 28
Hostname: api-c78ffd49-rwzpk
Der Name läuft in einen Timeout, die IP funktioniert. Nicht
Domain name not found wie in Drill 1 – es kommt gar keine
Antwort.
Untersuchen:
# auf cp1
kubectl -n tag08 exec client -- dig +short +timeout=2 +tries=1 \
api.tag08-andere.svc.cluster.local
kubectl -n tag08 get networkpolicy
kubectl -n tag08 describe networkpolicy erlaube-api | sed -n '/Spec/,$p'Erwartet:
;; communications error to 10.43.0.10#53: timed out
;; no servers could be reached
command terminated with exit code 9
NAME POD-SELECTOR AGE
default-deny-egress <none> 12s
erlaube-api app=client 12s
Spec:
PodSelector: app=client
Not affecting ingress traffic
Allowing egress traffic:
To Port: 80/TCP
To:
NamespaceSelector: kubernetes.io/metadata.name=tag08-andere
Policy Types: Egress
Ursache: DNS ist auch nur Verkehr – UDP/TCP 53 zu
den CoreDNS-Pods in kube-system. Keine Regel erlaubt ihn,
also verwirft Canal die Anfragen still.
Fix:
# auf cp1
cat > dns.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: erlaube-dns, namespace: tag08}
spec:
podSelector: {}
policyTypes: [Egress]
egress:
- to:
- namespaceSelector:
matchLabels: {kubernetes.io/metadata.name: kube-system}
podSelector:
matchLabels: {k8s-app: kube-dns}
ports: [{port: 53, protocol: UDP}, {port: 53, protocol: TCP}]
EOF
kubectl apply -f dns.yamlNachweis:
# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1
kubectl -n tag08 exec client -- curl -sS -m 5 -o /dev/null https://example.comErwartet:
Hostname: api-c78ffd49-rwzpk
curl: (28) Connection timed out after 5002 milliseconds
command terminated with exit code 28
Der Name löst jetzt auf. example.com scheitert weiter,
aber an der Verbindung
(Connection timed out statt
Resolving timed out) – genau das soll Default-Deny.
Wichtig: namespaceSelector und podSelector im
selben Listeneintrag heißen „UND“. Als zwei Einträge
(- namespaceSelector … und - podSelector …)
hieße es „ODER“.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Die Policy, die nichts tut
Ziel: Nur Pods aus tag08 dürfen api
erreichen.
Einbauen:
# auf cp1
cat > ingress.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: nur-tag08, namespace: tag08-andere}
spec:
podSelector: {matchLabels: {app: api-server}}
policyTypes: [Ingress]
ingress:
- from:
- namespaceSelector:
matchLabels: {kubernetes.io/metadata.name: tag08}
EOF
kubectl apply -f ingress.yaml
kubectl -n tag08-andere run fremd --image=nicolaka/netshoot:v0.15 --restart=Never \
-- sleep infinity
kubectl -n tag08-andere wait pod/fremd --for=condition=ReadySymptom: Ein Pod außerhalb von tag08
kommt trotzdem durch:
# auf cp1
kubectl -n tag08-andere exec fremd -- curl -sS -m 5 api | head -1Erwartet:
Hostname: api-c78ffd49-rwzpk
Untersuchen:
# auf cp1
kubectl -n tag08-andere describe networkpolicy nur-tag08 | grep PodSelector
kubectl -n tag08-andere get pods -l app=api-server
kubectl -n tag08-andere get pods --show-labels | cut -c1-80Erwartet:
PodSelector: app=api-server
No resources found in tag08-andere namespace.
NAME READY STATUS RESTARTS AGE LABELS
api-c78ffd49-rwzpk 1/1 Running 0 4m53s app=api,pod-template-h
fremd 1/1 Running 0 3s run=fremd
Ursache: Die Policy wählt Pods mit
app=api-server aus – es gibt keine. Ein Pod, den keine
Policy auswählt, ist offen. Kubernetes prüft Selektoren nicht gegen
vorhandene Pods; die Policy ist gültig und wirkungslos.
Fix:
# auf cp1
kubectl -n tag08-andere patch networkpolicy nur-tag08 --type=merge \
-p '{"spec":{"podSelector":{"matchLabels":{"app":"api"}}}}'Nachweis:
# auf cp1
kubectl -n tag08-andere exec fremd -- curl -sS -m 5 api
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1Erwartet:
curl: (28) Connection timed out after 5002 milliseconds
command terminated with exit code 28
Hostname: api-c78ffd49-rwzpk
Warum? Der Gegenfehler ist ein namespaceSelector mit
einem Label, das der Namespace nicht trägt (etwa
name: tag08): Dann sperrt die Policy
alles. Verlässlich ist nur
kubernetes.io/metadata.name, das Kubernetes jedem Namespace
automatisch setzt.
Talos: Mit dem Standard-CNI Flannel bleibt jede NetworkPolicy wirkungslos, egal wie gut die Selektoren sind (Tag 19).
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Zeig die DNS-Konfiguration des Pods
client. Zeitziel: 10 s - Finde IP und Endpoints des Cluster-DNS. Zeitziel: 20 s
- Löse
apiaustag08-anderemitdigso auf, dass es sicher klappt. Zeitziel: 20 s - Zeig alle NetworkPolicies im Cluster. Zeitziel: 10 s
Lösung
# auf cp1
kubectl -n tag08 exec client -- cat /etc/resolv.conf
kubectl -n kube-system get svc -l k8s-app=kube-dns
kubectl -n kube-system get endpointslice -l k8s-app=kube-dns
kubectl -n tag08 exec client -- dig +short api.tag08-andere.svc.cluster.local
kubectl get netpol -AErwartet:
search tag08.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.43.0.10
options ndots:5
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
rke2-coredns-rke2-coredns ClusterIP 10.43.0.10 <none> 53/UDP,53/TCP 92m
NAME ADDRESSTYPE PORTS ENDPOINTS AGE
rke2-coredns-rke2-coredns-p5h5d IPv4 53,53 10.42.0.2,10.42.1.3 92m
10.43.131.137
NAMESPACE NAME POD-SELECTOR AGE
tag08-andere nur-tag08 app=api 87s
tag08 default-deny-egress <none> 2m11s
tag08 erlaube-api app=client 2m11s
tag08 erlaube-dns <none> 109s
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf cp1
kubectl -n tag08 exec client -- curl -sS -m 5 api.tag08-andere | head -1Erwartet:
Hostname: api-c78ffd49-rwzpk
# auf cp1
kubectl -n tag08-andere exec fremd -- curl -sS -m 3 -o /dev/null apiErwartet:
curl: (28) Connection timed out after 3002 milliseconds
command terminated with exit code 28
# auf cp1
kubectl -n kube-system get cm rke2-coredns-rke2-coredns \
-o jsonpath='{.data.Corefile}' | grep -c '^ *log$'Erwartet:
0
Challenge
Ein Team hat einen alten Pod altlast in
tag08-andere mit dnsPolicy: Default
mitgebracht. Externe Namen gehen, api im selben Namespace
nicht. Finde die Ursache und repariere den Pod.
# auf cp1
cat > altlast.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata: {name: altlast, namespace: tag08-andere}
spec:
dnsPolicy: Default
containers:
- name: netshoot
image: nicolaka/netshoot:v0.15
command: [sleep, infinity]
EOF
kubectl apply -f altlast.yamlHinweis: Vergleich die resolv.conf von
altlast mit der von client.
Lösung
# auf cp1
kubectl -n tag08-andere exec altlast -- curl -sS -m 5 api
kubectl -n tag08-andere exec altlast -- curl -sS -m 5 -o /dev/null \
-w '%{http_code}\n' https://example.com
kubectl -n tag08-andere exec altlast -- grep -v '^#' /etc/resolv.conf
kubectl -n tag08-andere get pod altlast -o jsonpath='{.spec.dnsPolicy}{"\n"}'Erwartet:
curl: (6) Could not resolve host: api (Domain name not found)
command terminated with exit code 6
200
search localdomain
nameserver 172.16.0.15
nameserver 8.8.8.8
nameserver 1.1.1.1
Default
dnsPolicy: Default heißt nicht „Standard“, sondern: die
resolv.conf des Knotens erben. Der Pod fragt die Resolver
des Labornetzes, die cluster.local nicht kennen. Der
Standard ist ClusterFirst. dnsPolicy ist
unveränderlich, also neu anlegen:
# auf cp1
kubectl -n tag08-andere delete pod altlast
sed -i 's/dnsPolicy: Default/dnsPolicy: ClusterFirst/' altlast.yaml
kubectl apply -f altlast.yaml
kubectl -n tag08-andere wait pod/altlast --for=condition=Ready
kubectl -n tag08-andere exec altlast -- dig +search +short api
kubectl -n tag08-andere exec altlast -- curl -sS -m 5 apiErwartet:
pod "altlast" deleted from tag08-andere namespace
pod/altlast created
pod/altlast condition met
10.43.131.137
curl: (28) Connection timed out after 5001 milliseconds
command terminated with exit code 28
Der Name löst auf. Dass curl trotzdem scheitert, ist
Drill 6 bei der Arbeit: altlast liegt nicht in
tag08. Erst lesen, dann reparieren – sonst reißt du die
Policy ein, die gerade richtig funktioniert.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
# auf cp1
kubectl delete namespace tag08 tag08-andere
kubectl get netpol -AErwartet:
namespace "tag08" deleted
namespace "tag08-andere" deleted
No resources found
Interview-Notiz
- Name löst nicht auf – wo anfangen?
resolv.confim Pod, danndigmit FQDN, dann CoreDNS-Endpoints und -Logs (Pluginlog). Timeout stattNXDOMAINdeutet auf eine NetworkPolicy oder tote CoreDNS-Pods. - Was macht
ndots:5? Namen mit weniger als fünf Punkten laufen erst durch die Suchliste – mehrere Anfragen pro externem Namen. - Default-Deny eingeführt, plötzlich geht nichts? Egress zu
kube-dnsauf 53/UDP und 53/TCP fehlt.
Enterprise-Notiz
- Default-Deny-Vorlagen pro Namespace enthalten die DNS-Ausnahme immer schon; neue Namespaces bekommen sie per GitOps oder Policy-Engine.
- NodeLocal DNSCache entlastet CoreDNS und macht Latenzen stabiler;
dann fragen Pods eine lokale IP (
169.254.20.10) statt10.43.0.10. - Das Plugin
logerzeugt in großen Clustern Unmengen Zeilen – nur kurz und gezielt einschalten, dauerhaft lieber Metriken (coredns_dns_requests_total). - Policies schreiben und testen lernst du in „Kyverno und NetworkPolicies zum Anfassen“; hier geht es nur um das Fehlerbild.