Tag 1: Prüfungshandwerk
Ziel: Du kennst Ablauf und Lehrplan der CKNE, arbeitest schnell im Terminal und findest mit Linux-Werkzeugen und
cilium-dbgheraus, wo ein Paket gerade ist. · Dauer: ca. 75 min · Voraussetzung: Tag 0
Briefing
- Die CKNE ist eine Online-Prüfung unter Aufsicht: 2 Stunden, praktische Aufgaben in einer Linux-Remote-Desktop-Umgebung mit Terminal und Browser. Kein Multiple Choice.
- Lehrplan: Core Infrastructure and CNI 15 % · Service Networking and DNS 25 % · Advanced Traffic Management 20 % · Network Security and Policy 25 % · Observability 15 %.
- Vorausgesetzt wird CKA-Wissen (formal keine Pflicht). Welche
Doku-Seiten im Browser erlaubt sind, steht in den „Important
Instructions“ der Linux Foundation – vor dem Termin lesen; übe so, als
hättest du nur kubernetes.io und
--help. - Heute: Shell, Kontexte und das Netzwerk-Werkzeug, das du in jedem späteren Tag brauchst. Lehrplanbezug: Grundlage für alle Bereiche, besonders „Observability“.
Drill 1: Shell prüfen statt neu tippen
Tag 0 hat k, $do, $now und die
Vervollständigung schon in ~/.bashrc gelegt. In der Prüfung
ist das meist ebenfalls vorbereitet – erst prüfen, dann tippen:
type k
echo $do
echo $now
complete -p k
cat ~/.vimrcErwartet:
k is aliased to `kubectl'
--dry-run=client -o yaml
--force --grace-period=0
complete -o default -F __start_kubectl k
set expandtab
set tabstop=2
set shiftwidth=2
Fehlt etwas, hängst du nur die fehlenden Zeilen aus Tag 0, Drill 4
an. $do erzeugt YAML ohne anzulegen
(k create … $do > x.yaml), $now löscht ohne
Wartezeit (k delete pod x $now). Ohne .vimrc
stehen Tabulatoren im YAML – kaputtes Manifest.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Kontexte und Namespaces
Viele Aufgaben beginnen mit „Wechsle in den Kontext …“. Wer das überspringt, löst die Aufgabe im falschen Cluster.
mkdir -p ~/ckne/tag01 && cd ~/ckne/tag01
k config get-contexts
k create ns tag01
k config set-context tag01 --cluster=kubernetes --user=kubernetes-admin \
--namespace=tag01
k config use-context tag01
k config current-context
k config view --minify -o jsonpath='{..namespace}'; echoErwartet:
CURRENT NAME CLUSTER AUTHINFO NAMESPACE
* kubernetes-admin@kubernetes kubernetes kubernetes-admin
namespace/tag01 created
Context "tag01" created.
Switched to context "tag01".
tag01
tag01
Ab jetzt landet alles ohne -n in tag01. Nur
den Namespace des aktuellen Kontexts änderst du mit
k config set-context --current --namespace=…. Zwei
Test-Pods für den Rest des Tages – nicolaka/netshoot ist
ein Werkzeugkasten (tcpdump, dig, curl, ss, iperf3) und gibt es für
amd64 und arm64:
k run web --image=nginx:1.29 --port=80 -l app=web
k run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k wait --for=condition=Ready pod/web pod/client --timeout=120s
k get pods -o wideErwartet (gekürzt):
pod/web condition met
pod/client condition met
NAME READY STATUS RESTARTS AGE IP NODE ...
client 1/1 Running 0 47s 10.0.1.27 worker1 ...
web 1/1 Running 0 48s 10.0.2.248 worker2 ...
Bei dir können die Nodes vertauscht sein – setze in den folgenden Drills deine IPs und Nodes ein.
Fortschritt speichern? Kostenlos registrieren
Drill 3: ip – Interfaces, Adressen, Routen
ip ist das wichtigste Werkzeug auf dem Node.
-br (brief) gibt eine Zeile pro Interface aus. Auf
cp1:
ip -br link
ip -br addr show cilium_host
ip route
ip route get 10.0.2.248
ip neigh show dev eth0Erwartet (gekürzt):
lo UNKNOWN 00:00:00:00:00:00 <LOOPBACK,UP,LOWER_UP>
eth0 UP bc:24:11:52:2f:dd <BROADCAST,MULTICAST,UP,LOWER_UP>
cilium_net@cilium_host UP 0a:37:51:d1:85:de <BROADCAST,MULTICAST,NOARP,UP,...>
cilium_host@cilium_net UP 42:99:2d:97:ac:63 <BROADCAST,MULTICAST,NOARP,UP,...>
cilium_vxlan UNKNOWN 7e:dd:13:ce:5d:08 <BROADCAST,MULTICAST,UP,LOWER_UP>
lxc_health@if6 UP 0e:20:e9:ac:ef:6c <BROADCAST,MULTICAST,UP,LOWER_UP>
lxc19d4d27e6140@if8 UP a6:95:5d:38:f7:2a <BROADCAST,MULTICAST,UP,LOWER_UP>
cilium_host@cilium_net UP 10.0.0.88/32 fe80::4099:2dff:fe97:ac63/64
default via 172.16.0.1 dev eth0 proto dhcp src 172.16.0.126 metric 100
10.0.0.0/24 via 10.0.0.88 dev cilium_host proto kernel src 10.0.0.88
10.0.0.88 dev cilium_host proto kernel scope link
10.0.1.0/24 via 10.0.0.88 dev cilium_host proto kernel src 10.0.0.88 mtu 1450
10.0.2.0/24 via 10.0.0.88 dev cilium_host proto kernel src 10.0.0.88 mtu 1450
172.16.0.0/24 dev eth0 proto kernel scope link src 172.16.0.126 metric 100
10.0.2.248 dev cilium_host src 10.0.0.88 uid 1000
cache mtu 1450
172.16.0.228 lladdr bc:24:11:5d:96:ab REACHABLE
172.16.0.123 lladdr bc:24:11:4d:d9:08 REACHABLE
So liest du das: cilium_host ist das Gateway aller Pods
auf diesem Node, die Pod-Netze der anderen Nodes zeigen ebenfalls
dorthin – den Rest erledigt eBPF über cilium_vxlan.
mtu 1450: 50 Byte gehen an den VXLAN-Kopf. Jedes
lxc… ist die Host-Seite eines Pod-veth, @if8
die Interface-Nummer des Partners im Pod.
Fortschritt speichern? Kostenlos registrieren
Drill 4: ss – wer lauscht, wer redet
ss ersetzt netstat: -t TCP,
-u UDP, -l lauschend, -n keine
Namen, -p Prozess (braucht sudo). Filter in
Klammern sparen grep:
sudo ss -tlnp '( sport = :6443 or sport = :10250 or sport = :4240 or sport = :4244 )'
sudo ss -tn state established '( dport = :6443 )' | head -3Erwartet (gekürzt):
State Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
LISTEN 0 4096 172.16.0.126:4240 0.0.0.0:* users:(("cilium-agent",...))
LISTEN 0 4096 *:10250 *:* users:(("kubelet",...))
LISTEN 0 4096 *:6443 *:* users:(("kube-apiserver",..
LISTEN 0 4096 *:4244 *:* users:(("cilium-agent",...))
Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
0 0 172.16.0.126:57462 172.16.0.126:6443
0 0 172.16.0.126:56990 172.16.0.126:6443
4240 ist der Health-Check zwischen den Cilium-Agenten, 4244 der
Hubble-Server, den Hubble Relay abfragt. Läuft ein Dienst „nicht“, prüft
ss -tlnp als Erstes, ob er überhaupt lauscht – und auf
welcher Adresse (127.0.0.1 ist von außen unerreichbar).
Fortschritt speichern? Kostenlos registrieren
Drill 5: iptables und nftables – fast leer dank KPR
Mit kube-proxy stünden hier Hunderte Regeln. Auf
cp1:
sudo iptables -V
sudo iptables-save | grep -c '^-A'
sudo iptables-save | grep -c KUBE-SVC
sudo iptables-save -t nat | grep '^-A CILIUM_POST_nat' | head -2
sudo nft list tablesErwartet (gekürzt):
iptables v1.8.10 (nf_tables)
35
0
-A CILIUM_POST_nat -s 10.0.0.0/24 ! -d 10.0.0.0/24 ! -o cilium_+ -m comment
--comment "cilium masquerade non-cluster" -j MASQUERADE
-A CILIUM_POST_nat -m mark --mark 0xa00/0xe00 -m comment --comment "exclude proxy
return traffic from masquerade" -j ACCEPT
table ip mangle
table ip filter
table ip6 mangle
table ip nat
table ip6 nat
table ip6 filter
table ip raw
35 Regeln, keine einzige KUBE-SVC-Kette: Services
übersetzt Cilium in eBPF. Was übrig bleibt, ist Masquerading für Verkehr
nach außen (Tag 7 und 16) und die KUBE-FIREWALL des
kubelet. (nf_tables) heißt: iptables ist hier
nur eine Oberfläche für nftables – nft list ruleset zeigt
dieselben Regeln, mit dem Hinweis „managed by iptables-nft, do not
touch!“.
Tipp: Fragt eine Aufgabe „Wie werden Services umgesetzt?“, sind
iptables-save | grep -c KUBE-SVCundk -n kube-system get dsdie schnellsten Indizien.
Fortschritt speichern? Kostenlos registrieren
Drill 6: tcpdump auf dem Node
Die wichtigsten Schalter: -i any alle Interfaces,
-nn keine Namen und Portnamen (schneller, eindeutiger),
-c N nach N Paketen aufhören, danach ein Filter
(host, port, tcp,
udp, and, or, not).
Der web-Pod läuft auf worker2 – dort lauschen:
ssh [email protected]
sudo tcpdump -i any -nn -c 4 host 10.0.2.248 and tcp port 80In einem zweiten Terminal auf cp1:
k exec client -- curl -s -o /dev/null -w '%{http_code}\n' http://10.0.2.248Erwartet (gekürzt, auf worker2):
listening on any, link-type LINUX_SLL2 (Linux cooked v2), snapshot length 262144 bytes
23:18:21.547215 cilium_vxlan P IP 10.0.1.27.40446 > 10.0.2.248.80: Flags [S], ...
23:18:21.547368 lxc451ed71841b8 Out IP 10.0.1.27.40446 > 10.0.2.248.80: Flags [S], ...
23:18:21.547412 lxc451ed71841b8 In IP 10.0.2.248.80 > 10.0.1.27.40446: Flags [S.], ...
23:18:21.547427 cilium_vxlan Out IP 10.0.2.248.80 > 10.0.1.27.40446: Flags [S.], ...
4 packets captured
Mit -i any steht vor jedem Paket das Interface: Der SYN
kommt entpackt aus dem Tunnel (cilium_vxlan) und geht über
das lxc-Interface in den Pod. Aus Sicht des Hosts heißt „in
den Pod“ Out. Mit exit zurück auf
cp1. Tag 4 schaut sich das Paket auch auf eth0
an, noch verpackt.
Fortschritt speichern? Kostenlos registrieren
Drill 7: nsenter und k debug – in das Netz eines Pods
Das nginx-Image hat weder ip noch ss.
nsenter -n startet ein Werkzeug des Hosts
im Netz-Namespace des Pods. Den Weg dorthin kennst du aus der CKA: Pod →
Container-ID → PID. Auf worker2:
ssh [email protected]
sudo crictl pods --namespace tag01 --name web
ID=$(sudo crictl ps --name web -q --label io.kubernetes.pod.namespace=tag01)
P=$(sudo crictl inspect -o go-template --template '{{.info.pid}}' $ID)
echo $P
sudo nsenter -t $P -n ip -br addr
sudo nsenter -t $P -n ip route
sudo nsenter -t $P -n ss -tlnpErwartet (gekürzt):
POD ID CREATED STATE NAME NAMESPACE ATTEMPT RUNTIME
820ca44c235f8 About a minute ago Ready web tag01 0 (default)
25308
lo UNKNOWN 127.0.0.1/8 ::1/128
eth0@if33 UP 10.0.2.248/32 fe80::5018:bdff:fe0c:74eb/64
default via 10.0.2.241 dev eth0 mtu 1450
10.0.2.241 dev eth0 scope link
State Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
LISTEN 0 511 0.0.0.0:80 0.0.0.0:* users:(("nginx",...))
LISTEN 0 511 [::]:80 [::]:* users:(("nginx",...))
Der Pod hat eine /32-Adresse und eine Default-Route zu
10.0.2.241 – das ist cilium_host auf worker2.
eth0@if33 verrät den Partner auf dem Host: Interface Nummer
33.
ip -o link | awk -F': ' '$1==33{print $2}'
sudo nsenter -t $P -n tcpdump -i eth0 -nn -c 2 icmp
exitErwartet (gekürzt, nach
k exec client -- ping -c 2 10.0.2.248 aus einem zweiten
Terminal auf cp1):
lxc451ed71841b8@if32
23:18:51.458515 IP 10.0.1.27 > 10.0.2.248: ICMP echo request, id 30, seq 1, length 64
23:18:51.458630 IP 10.0.2.248 > 10.0.1.27: ICMP echo reply, id 30, seq 1, length 64
tcpdump im Pod-Netz sieht nur den Verkehr dieses einen
Pods – ideal, wenn auf dem Node viel los ist.
Zweiter Weg, ohne SSH auf den Node: k debug hängt einen
ephemeren Container an den laufenden Pod. Er teilt das
Netz des Pods, --target zusätzlich dessen Prozesse,
--profile=netadmin gibt ihm NET_ADMIN und
NET_RAW. Zurück auf cp1:
k debug web -it --image=nicolaka/netshoot:v0.16 --target=web --profile=netadminIn der Shell des Debug-Containers:
ss -tlnp
tcpdump -i eth0 -nn -c 2 icmp
exitErwartet (gekürzt, ping wie oben aus
einem zweiten Terminal):
Targeting container "web". If you don't see processes from this container it may be
because the container runtime doesn't support this feature.
Defaulting debug container name to debugger-tnspq.
State Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
LISTEN 0 511 0.0.0.0:80 0.0.0.0:* users:(("nginx",pid=1,...
23:18:51.458515 IP 10.0.1.27 > 10.0.2.248: ICMP echo request, id 30, seq 1, length 64
23:18:51.458630 IP 10.0.2.248 > 10.0.1.27: ICMP echo reply, id 30, seq 1, length 64
Ein ephemerer Container lässt sich nicht entfernen – er bleibt
Terminated im Pod, bis der Pod gelöscht wird. Das Gleiche
für einen Node: k debug node/worker2 startet einen Pod im
Host-Netz des Nodes (Host-Dateisystem unter /host):
k debug node/worker2 -it --image=nicolaka/netshoot:v0.16 --profile=netadmin
ip -br addr show cilium_host
exit
k get pods
k delete pod node-debugger-worker2-tpfh2 $nowErwartet (gekürzt):
Creating debugging pod node-debugger-worker2-tpfh2 with container debugger on node
worker2.
cilium_host@cilium_net UP 10.0.2.241/32 fe80::501c:faff:fe6a:b5db/64
NAME READY STATUS RESTARTS AGE
client 1/1 Running 0 2m23s
node-debugger-worker2-tpfh2 0/1 Completed 0 5s
web 1/1 Running 0 2m24s
Der Node-Debug-Pod bleibt nach exit als
Completed liegen – immer aufräumen (den Namen aus
k get pods übernehmen).
Fortschritt speichern? Kostenlos registrieren
Drill 8: cilium-dbg im richtigen Agenten
cilium-dbg ist die Debug-CLI im Agenten-Container. Es
kennt nur seinen Node. Deshalb immer zuerst den Agenten
des betroffenen Nodes wählen:
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status --brief
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint list \
| grep -E 'ENDPOINT|10.0.2.248'
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg identity get 5472
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg node list
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache get 10.0.1.27Erwartet (gekürzt):
OK
ENDPOINT POLICY (ingress) ... IDENTITY LABELS IPv4 STATUS
755 Disabled ... 5472 k8s:app=web 10.0.2.248 ready
ID LABELS
5472 k8s:app=web
k8s:io.cilium.k8s.namespace.labels.kubernetes.io/metadata.name=tag01
k8s:io.cilium.k8s.policy.cluster=default
k8s:io.cilium.k8s.policy.serviceaccount=default
k8s:io.kubernetes.pod.namespace=tag01
Name IPv4 Address Endpoint CIDR IPv6 Address Endpoint CIDR Source
cp1 172.16.0.126 10.0.0.0/24 custom-resource
worker1 172.16.0.228 10.0.1.0/24 custom-resource
worker2 172.16.0.83 10.0.2.0/24 local
10.0.1.27 maps to identity identity=11890 encryptkey=0 tunnelendpoint=172.16.0.228
flags=hastunnel
Die Identity-Nummer übernimmst du aus endpoint list. Der
ipcache ist Ciliums Adressbuch: zu jeder IP die Identity und – bei
entfernten Pods – der Node, zu dem der Tunnel führt. Weitere
Unterbefehle, die du in diesem Buch brauchst: service list,
monitor --type drop, bpf lb list,
policy get, config.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Welcher Prozess lauscht auf
cp1auf Port 4244? Zeitziel: 15 s - Über welches Interface verlässt ein Paket von
cp1zu10.0.1.27den Host? Zeitziel: 10 s - Zeige, dass in
iptableskeine Service-Ketten von kube-proxy stehen. Zeitziel: 10 s - Zeige die Endpoint-ID und Identity des Pods
clientim zuständigen Cilium-Agenten. Zeitziel: 40 s
Lösung
sudo ss -tlnp '( sport = :4244 )'
ip route get 10.0.1.27
sudo iptables-save | grep -c KUBE-SVC
N=$(k get pod client -o jsonpath='{.spec.nodeName}')
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=$N -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint list \
| grep -E 'ENDPOINT|10.0.1.27'Erwartet (gekürzt):
LISTEN 0 4096 *:4244 *:* users:(("cilium-agent",...))
10.0.1.27 dev cilium_host src 10.0.0.88 uid 1000
cache mtu 1450
0
ENDPOINT POLICY (ingress) ... IDENTITY LABELS IPv4 STATUS
1384 Disabled ... 11890 k8s:io... 10.0.1.27 ready
In der Endpoint-Zeile steht nur das erste Label; alle zeigt
cilium-dbg identity get.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
type kErwartet: k is aliased to `kubectl'
k config current-contextErwartet: tag01
k get pods -o wideErwartet: client und web
Running, kein node-debugger-…-Pod mehr.
k get pod web -o jsonpath='{.spec.ephemeralContainers[*].name}'; echoErwartet: ein Name wie debugger-tnspq –
der ephemere Container aus Drill 7.
sudo iptables-save | grep -c KUBE-SVCErwartet: 0
Challenge
Finde heraus, wie das lxc-Interface des Pods
web auf seinem Node heißt – nur mit k und
cilium-dbg, ohne SSH –, und schneide dann auf dem Node
genau an diesem Interface einen curl mit.
Hinweis:
cilium-dbg endpoint get <id> -o jsonpath=… liefert
eine Liste; das Feld heißt
status.networking.interface-name.
Lösung
CP=$(k -n kube-system get pod -l k8s-app=cilium \
--field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint get 755 \
-o jsonpath='{[0].status.networking.interface-name}{"\n"}'
ssh [email protected] sudo tcpdump -i lxc451ed71841b8 -nn -c 2 tcp port 80Im zweiten Terminal:
k exec client -- curl -s -o /dev/null http://10.0.2.248.
Erwartet (gekürzt):
lxc451ed71841b8
... IP 10.0.1.27.40446 > 10.0.2.248.80: Flags [S], ...
... IP 10.0.2.248.80 > 10.0.1.27.40446: Flags [S.], ...
Fortschritt speichern? Kostenlos registrieren
Aufräumen
k config use-context kubernetes-admin@kubernetes
k config delete-context tag01
k delete ns tag01Clusterweit hat sich heute nichts geändert. Das Image
nicolaka/netshoot:v0.16 liegt jetzt auf den Nodes im Cache
– Tag 4 nutzt es wieder.
Prüfungstipp
- Jede Aufgabe beginnt mit dem angegebenen Kontext- oder
ssh-Befehl;exitam Ende, sonst arbeitest du in der nächsten Aufgabe auf dem falschen Host. cilium-dbgimmer im Agenten des betroffenen Nodes (--field-selector spec.nodeName=…);ds/ciliumtrifft einen zufälligen Agenten.- Doku: kubernetes.io „Debug Running Pods“
(
kubectl debug, ephemere Container) und docs.cilium.io „Troubleshooting“ und „Command Cheatsheet“.
Enterprise-Notiz
kubectl debugundnodes/proxysind mächtig: Ephemere Container und Node-Debug-Pods per RBAC und Pod Security Admission nur für Betriebsteams freigeben.- Mitschnitte auf Produktions-Nodes enthalten oft Klartext (HTTP,
DNS): nur mit Filter, begrenzter Dauer (
-c,-G) und nach Freigabe. - Debug-Images wie netshoot aus der eigenen Registry ziehen, mit
fester Version und Signatur – nicht
latestaus Docker Hub. - Statt
tcpdumpauf jedem Node: Hubble (Tag 20) zeigt Flows clusterweit mit Pod-Namen und Policy-Entscheidung.