Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 1: Prüfungshandwerk

Ziel: Du kennst Ablauf und Lehrplan der CKNE, arbeitest schnell im Terminal und findest mit Linux-Werkzeugen und cilium-dbg heraus, wo ein Paket gerade ist. · Dauer: ca. 75 min · Voraussetzung: Tag 0

Briefing

  • Die CKNE ist eine Online-Prüfung unter Aufsicht: 2 Stunden, praktische Aufgaben in einer Linux-Remote-Desktop-Umgebung mit Terminal und Browser. Kein Multiple Choice.
  • Lehrplan: Core Infrastructure and CNI 15 % · Service Networking and DNS 25 % · Advanced Traffic Management 20 % · Network Security and Policy 25 % · Observability 15 %.
  • Vorausgesetzt wird CKA-Wissen (formal keine Pflicht). Welche Doku-Seiten im Browser erlaubt sind, steht in den „Important Instructions“ der Linux Foundation – vor dem Termin lesen; übe so, als hättest du nur kubernetes.io und --help.
  • Heute: Shell, Kontexte und das Netzwerk-Werkzeug, das du in jedem späteren Tag brauchst. Lehrplanbezug: Grundlage für alle Bereiche, besonders „Observability“.

Drill 1: Shell prüfen statt neu tippen

Tag 0 hat k, $do, $now und die Vervollständigung schon in ~/.bashrc gelegt. In der Prüfung ist das meist ebenfalls vorbereitet – erst prüfen, dann tippen:

type k
echo $do
echo $now
complete -p k
cat ~/.vimrc

Erwartet:

k is aliased to `kubectl'
--dry-run=client -o yaml
--force --grace-period=0
complete -o default -F __start_kubectl k
set expandtab
set tabstop=2
set shiftwidth=2

Fehlt etwas, hängst du nur die fehlenden Zeilen aus Tag 0, Drill 4 an. $do erzeugt YAML ohne anzulegen (k create … $do > x.yaml), $now löscht ohne Wartezeit (k delete pod x $now). Ohne .vimrc stehen Tabulatoren im YAML – kaputtes Manifest.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Kontexte und Namespaces

Viele Aufgaben beginnen mit „Wechsle in den Kontext …“. Wer das überspringt, löst die Aufgabe im falschen Cluster.

mkdir -p ~/ckne/tag01 && cd ~/ckne/tag01
k config get-contexts
k create ns tag01
k config set-context tag01 --cluster=kubernetes --user=kubernetes-admin \
  --namespace=tag01
k config use-context tag01
k config current-context
k config view --minify -o jsonpath='{..namespace}'; echo

Erwartet:

CURRENT   NAME                          CLUSTER      AUTHINFO           NAMESPACE
*         kubernetes-admin@kubernetes   kubernetes   kubernetes-admin
namespace/tag01 created
Context "tag01" created.
Switched to context "tag01".
tag01
tag01

Ab jetzt landet alles ohne -n in tag01. Nur den Namespace des aktuellen Kontexts änderst du mit k config set-context --current --namespace=…. Zwei Test-Pods für den Rest des Tages – nicolaka/netshoot ist ein Werkzeugkasten (tcpdump, dig, curl, ss, iperf3) und gibt es für amd64 und arm64:

k run web --image=nginx:1.29 --port=80 -l app=web
k run client --image=nicolaka/netshoot:v0.16 -- sleep infinity
k wait --for=condition=Ready pod/web pod/client --timeout=120s
k get pods -o wide

Erwartet (gekürzt):

pod/web condition met
pod/client condition met
NAME     READY   STATUS    RESTARTS   AGE   IP           NODE      ...
client   1/1     Running   0          47s   10.0.1.27    worker1   ...
web      1/1     Running   0          48s   10.0.2.248   worker2   ...

Bei dir können die Nodes vertauscht sein – setze in den folgenden Drills deine IPs und Nodes ein.

Fortschritt speichern? Kostenlos registrieren

Drill 3: ip – Interfaces, Adressen, Routen

ip ist das wichtigste Werkzeug auf dem Node. -br (brief) gibt eine Zeile pro Interface aus. Auf cp1:

ip -br link
ip -br addr show cilium_host
ip route
ip route get 10.0.2.248
ip neigh show dev eth0

Erwartet (gekürzt):

lo               UNKNOWN        00:00:00:00:00:00 <LOOPBACK,UP,LOWER_UP>
eth0             UP             bc:24:11:52:2f:dd <BROADCAST,MULTICAST,UP,LOWER_UP>
cilium_net@cilium_host UP       0a:37:51:d1:85:de <BROADCAST,MULTICAST,NOARP,UP,...>
cilium_host@cilium_net UP       42:99:2d:97:ac:63 <BROADCAST,MULTICAST,NOARP,UP,...>
cilium_vxlan     UNKNOWN        7e:dd:13:ce:5d:08 <BROADCAST,MULTICAST,UP,LOWER_UP>
lxc_health@if6   UP             0e:20:e9:ac:ef:6c <BROADCAST,MULTICAST,UP,LOWER_UP>
lxc19d4d27e6140@if8 UP          a6:95:5d:38:f7:2a <BROADCAST,MULTICAST,UP,LOWER_UP>
cilium_host@cilium_net UP       10.0.0.88/32 fe80::4099:2dff:fe97:ac63/64
default via 172.16.0.1 dev eth0 proto dhcp src 172.16.0.126 metric 100
10.0.0.0/24 via 10.0.0.88 dev cilium_host proto kernel src 10.0.0.88
10.0.0.88 dev cilium_host proto kernel scope link
10.0.1.0/24 via 10.0.0.88 dev cilium_host proto kernel src 10.0.0.88 mtu 1450
10.0.2.0/24 via 10.0.0.88 dev cilium_host proto kernel src 10.0.0.88 mtu 1450
172.16.0.0/24 dev eth0 proto kernel scope link src 172.16.0.126 metric 100
10.0.2.248 dev cilium_host src 10.0.0.88 uid 1000
    cache mtu 1450
172.16.0.228 lladdr bc:24:11:5d:96:ab REACHABLE
172.16.0.123 lladdr bc:24:11:4d:d9:08 REACHABLE

So liest du das: cilium_host ist das Gateway aller Pods auf diesem Node, die Pod-Netze der anderen Nodes zeigen ebenfalls dorthin – den Rest erledigt eBPF über cilium_vxlan. mtu 1450: 50 Byte gehen an den VXLAN-Kopf. Jedes lxc… ist die Host-Seite eines Pod-veth, @if8 die Interface-Nummer des Partners im Pod.

Fortschritt speichern? Kostenlos registrieren

Drill 4: ss – wer lauscht, wer redet

ss ersetzt netstat: -t TCP, -u UDP, -l lauschend, -n keine Namen, -p Prozess (braucht sudo). Filter in Klammern sparen grep:

sudo ss -tlnp '( sport = :6443 or sport = :10250 or sport = :4240 or sport = :4244 )'
sudo ss -tn state established '( dport = :6443 )' | head -3

Erwartet (gekürzt):

State  Recv-Q Send-Q Local Address:Port  Peer Address:PortProcess
LISTEN 0      4096    172.16.0.126:4240       0.0.0.0:*    users:(("cilium-agent",...))
LISTEN 0      4096               *:10250            *:*    users:(("kubelet",...))
LISTEN 0      4096               *:6443             *:*    users:(("kube-apiserver",..
LISTEN 0      4096               *:4244             *:*    users:(("cilium-agent",...))
Recv-Q Send-Q Local Address:Port  Peer Address:PortProcess
0      0       172.16.0.126:57462 172.16.0.126:6443
0      0       172.16.0.126:56990 172.16.0.126:6443

4240 ist der Health-Check zwischen den Cilium-Agenten, 4244 der Hubble-Server, den Hubble Relay abfragt. Läuft ein Dienst „nicht“, prüft ss -tlnp als Erstes, ob er überhaupt lauscht – und auf welcher Adresse (127.0.0.1 ist von außen unerreichbar).

Fortschritt speichern? Kostenlos registrieren

Drill 5: iptables und nftables – fast leer dank KPR

Mit kube-proxy stünden hier Hunderte Regeln. Auf cp1:

sudo iptables -V
sudo iptables-save | grep -c '^-A'
sudo iptables-save | grep -c KUBE-SVC
sudo iptables-save -t nat | grep '^-A CILIUM_POST_nat' | head -2
sudo nft list tables

Erwartet (gekürzt):

iptables v1.8.10 (nf_tables)
35
0
-A CILIUM_POST_nat -s 10.0.0.0/24 ! -d 10.0.0.0/24 ! -o cilium_+ -m comment
--comment "cilium masquerade non-cluster" -j MASQUERADE
-A CILIUM_POST_nat -m mark --mark 0xa00/0xe00 -m comment --comment "exclude proxy
return traffic from masquerade" -j ACCEPT
table ip mangle
table ip filter
table ip6 mangle
table ip nat
table ip6 nat
table ip6 filter
table ip raw

35 Regeln, keine einzige KUBE-SVC-Kette: Services übersetzt Cilium in eBPF. Was übrig bleibt, ist Masquerading für Verkehr nach außen (Tag 7 und 16) und die KUBE-FIREWALL des kubelet. (nf_tables) heißt: iptables ist hier nur eine Oberfläche für nftables – nft list ruleset zeigt dieselben Regeln, mit dem Hinweis „managed by iptables-nft, do not touch!“.

Tipp: Fragt eine Aufgabe „Wie werden Services umgesetzt?“, sind iptables-save | grep -c KUBE-SVC und k -n kube-system get ds die schnellsten Indizien.

Fortschritt speichern? Kostenlos registrieren

Drill 6: tcpdump auf dem Node

Die wichtigsten Schalter: -i any alle Interfaces, -nn keine Namen und Portnamen (schneller, eindeutiger), -c N nach N Paketen aufhören, danach ein Filter (host, port, tcp, udp, and, or, not). Der web-Pod läuft auf worker2 – dort lauschen:

ssh [email protected]
sudo tcpdump -i any -nn -c 4 host 10.0.2.248 and tcp port 80

In einem zweiten Terminal auf cp1:

k exec client -- curl -s -o /dev/null -w '%{http_code}\n' http://10.0.2.248

Erwartet (gekürzt, auf worker2):

listening on any, link-type LINUX_SLL2 (Linux cooked v2), snapshot length 262144 bytes
23:18:21.547215 cilium_vxlan P   IP 10.0.1.27.40446 > 10.0.2.248.80: Flags [S], ...
23:18:21.547368 lxc451ed71841b8 Out IP 10.0.1.27.40446 > 10.0.2.248.80: Flags [S], ...
23:18:21.547412 lxc451ed71841b8 In  IP 10.0.2.248.80 > 10.0.1.27.40446: Flags [S.], ...
23:18:21.547427 cilium_vxlan Out IP 10.0.2.248.80 > 10.0.1.27.40446: Flags [S.], ...
4 packets captured

Mit -i any steht vor jedem Paket das Interface: Der SYN kommt entpackt aus dem Tunnel (cilium_vxlan) und geht über das lxc-Interface in den Pod. Aus Sicht des Hosts heißt „in den Pod“ Out. Mit exit zurück auf cp1. Tag 4 schaut sich das Paket auch auf eth0 an, noch verpackt.

Fortschritt speichern? Kostenlos registrieren

Drill 7: nsenter und k debug – in das Netz eines Pods

Das nginx-Image hat weder ip noch ss. nsenter -n startet ein Werkzeug des Hosts im Netz-Namespace des Pods. Den Weg dorthin kennst du aus der CKA: Pod → Container-ID → PID. Auf worker2:

ssh [email protected]
sudo crictl pods --namespace tag01 --name web
ID=$(sudo crictl ps --name web -q --label io.kubernetes.pod.namespace=tag01)
P=$(sudo crictl inspect -o go-template --template '{{.info.pid}}' $ID)
echo $P
sudo nsenter -t $P -n ip -br addr
sudo nsenter -t $P -n ip route
sudo nsenter -t $P -n ss -tlnp

Erwartet (gekürzt):

POD ID          CREATED              STATE   NAME   NAMESPACE   ATTEMPT   RUNTIME
820ca44c235f8   About a minute ago   Ready   web    tag01       0         (default)
25308
lo               UNKNOWN        127.0.0.1/8 ::1/128
eth0@if33        UP             10.0.2.248/32 fe80::5018:bdff:fe0c:74eb/64
default via 10.0.2.241 dev eth0 mtu 1450
10.0.2.241 dev eth0 scope link
State  Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
LISTEN 0      511          0.0.0.0:80        0.0.0.0:*    users:(("nginx",...))
LISTEN 0      511             [::]:80           [::]:*    users:(("nginx",...))

Der Pod hat eine /32-Adresse und eine Default-Route zu 10.0.2.241 – das ist cilium_host auf worker2. eth0@if33 verrät den Partner auf dem Host: Interface Nummer 33.

ip -o link | awk -F': ' '$1==33{print $2}'
sudo nsenter -t $P -n tcpdump -i eth0 -nn -c 2 icmp
exit

Erwartet (gekürzt, nach k exec client -- ping -c 2 10.0.2.248 aus einem zweiten Terminal auf cp1):

lxc451ed71841b8@if32
23:18:51.458515 IP 10.0.1.27 > 10.0.2.248: ICMP echo request, id 30, seq 1, length 64
23:18:51.458630 IP 10.0.2.248 > 10.0.1.27: ICMP echo reply, id 30, seq 1, length 64

tcpdump im Pod-Netz sieht nur den Verkehr dieses einen Pods – ideal, wenn auf dem Node viel los ist.

Zweiter Weg, ohne SSH auf den Node: k debug hängt einen ephemeren Container an den laufenden Pod. Er teilt das Netz des Pods, --target zusätzlich dessen Prozesse, --profile=netadmin gibt ihm NET_ADMIN und NET_RAW. Zurück auf cp1:

k debug web -it --image=nicolaka/netshoot:v0.16 --target=web --profile=netadmin

In der Shell des Debug-Containers:

ss -tlnp
tcpdump -i eth0 -nn -c 2 icmp
exit

Erwartet (gekürzt, ping wie oben aus einem zweiten Terminal):

Targeting container "web". If you don't see processes from this container it may be
because the container runtime doesn't support this feature.
Defaulting debug container name to debugger-tnspq.
State  Recv-Q Send-Q Local Address:Port Peer Address:PortProcess
LISTEN 0      511          0.0.0.0:80        0.0.0.0:*    users:(("nginx",pid=1,...
23:18:51.458515 IP 10.0.1.27 > 10.0.2.248: ICMP echo request, id 30, seq 1, length 64
23:18:51.458630 IP 10.0.2.248 > 10.0.1.27: ICMP echo reply, id 30, seq 1, length 64

Ein ephemerer Container lässt sich nicht entfernen – er bleibt Terminated im Pod, bis der Pod gelöscht wird. Das Gleiche für einen Node: k debug node/worker2 startet einen Pod im Host-Netz des Nodes (Host-Dateisystem unter /host):

k debug node/worker2 -it --image=nicolaka/netshoot:v0.16 --profile=netadmin
ip -br addr show cilium_host
exit
k get pods
k delete pod node-debugger-worker2-tpfh2 $now

Erwartet (gekürzt):

Creating debugging pod node-debugger-worker2-tpfh2 with container debugger on node
worker2.
cilium_host@cilium_net UP             10.0.2.241/32 fe80::501c:faff:fe6a:b5db/64
NAME                          READY   STATUS      RESTARTS   AGE
client                        1/1     Running     0          2m23s
node-debugger-worker2-tpfh2   0/1     Completed   0          5s
web                           1/1     Running     0          2m24s

Der Node-Debug-Pod bleibt nach exit als Completed liegen – immer aufräumen (den Namen aus k get pods übernehmen).

Fortschritt speichern? Kostenlos registrieren

Drill 8: cilium-dbg im richtigen Agenten

cilium-dbg ist die Debug-CLI im Agenten-Container. Es kennt nur seinen Node. Deshalb immer zuerst den Agenten des betroffenen Nodes wählen:

CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg status --brief
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint list \
  | grep -E 'ENDPOINT|10.0.2.248'
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg identity get 5472
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg node list
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg bpf ipcache get 10.0.1.27

Erwartet (gekürzt):

OK
ENDPOINT   POLICY (ingress)   ...   IDENTITY   LABELS        IPv4         STATUS
755        Disabled           ...   5472       k8s:app=web   10.0.2.248   ready
ID     LABELS
5472   k8s:app=web
       k8s:io.cilium.k8s.namespace.labels.kubernetes.io/metadata.name=tag01
       k8s:io.cilium.k8s.policy.cluster=default
       k8s:io.cilium.k8s.policy.serviceaccount=default
       k8s:io.kubernetes.pod.namespace=tag01
Name      IPv4 Address   Endpoint CIDR   IPv6 Address   Endpoint CIDR   Source
cp1       172.16.0.126   10.0.0.0/24                                    custom-resource
worker1   172.16.0.228   10.0.1.0/24                                    custom-resource
worker2   172.16.0.83    10.0.2.0/24                                    local
10.0.1.27 maps to identity identity=11890 encryptkey=0 tunnelendpoint=172.16.0.228
flags=hastunnel

Die Identity-Nummer übernimmst du aus endpoint list. Der ipcache ist Ciliums Adressbuch: zu jeder IP die Identity und – bei entfernten Pods – der Node, zu dem der Tunnel führt. Weitere Unterbefehle, die du in diesem Buch brauchst: service list, monitor --type drop, bpf lb list, policy get, config.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Welcher Prozess lauscht auf cp1 auf Port 4244? Zeitziel: 15 s
  2. Über welches Interface verlässt ein Paket von cp1 zu 10.0.1.27 den Host? Zeitziel: 10 s
  3. Zeige, dass in iptables keine Service-Ketten von kube-proxy stehen. Zeitziel: 10 s
  4. Zeige die Endpoint-ID und Identity des Pods client im zuständigen Cilium-Agenten. Zeitziel: 40 s

Lösung

sudo ss -tlnp '( sport = :4244 )'
ip route get 10.0.1.27
sudo iptables-save | grep -c KUBE-SVC
N=$(k get pod client -o jsonpath='{.spec.nodeName}')
CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=$N -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint list \
  | grep -E 'ENDPOINT|10.0.1.27'

Erwartet (gekürzt):

LISTEN 0      4096               *:4244             *:*    users:(("cilium-agent",...))
10.0.1.27 dev cilium_host src 10.0.0.88 uid 1000
    cache mtu 1450
0
ENDPOINT   POLICY (ingress)   ...   IDENTITY   LABELS      IPv4        STATUS
1384       Disabled           ...   11890      k8s:io...   10.0.1.27   ready

In der Endpoint-Zeile steht nur das erste Label; alle zeigt cilium-dbg identity get.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

type k

Erwartet: k is aliased to `kubectl'

k config current-context

Erwartet: tag01

k get pods -o wide

Erwartet: client und web Running, kein node-debugger-…-Pod mehr.

k get pod web -o jsonpath='{.spec.ephemeralContainers[*].name}'; echo

Erwartet: ein Name wie debugger-tnspq – der ephemere Container aus Drill 7.

sudo iptables-save | grep -c KUBE-SVC

Erwartet: 0

Challenge

Finde heraus, wie das lxc-Interface des Pods web auf seinem Node heißt – nur mit k und cilium-dbg, ohne SSH –, und schneide dann auf dem Node genau an diesem Interface einen curl mit.

Hinweis: cilium-dbg endpoint get <id> -o jsonpath=… liefert eine Liste; das Feld heißt status.networking.interface-name.

Lösung

CP=$(k -n kube-system get pod -l k8s-app=cilium \
  --field-selector spec.nodeName=worker2 -o name)
k -n kube-system exec $CP -c cilium-agent -- cilium-dbg endpoint get 755 \
  -o jsonpath='{[0].status.networking.interface-name}{"\n"}'
ssh [email protected] sudo tcpdump -i lxc451ed71841b8 -nn -c 2 tcp port 80

Im zweiten Terminal: k exec client -- curl -s -o /dev/null http://10.0.2.248.

Erwartet (gekürzt):

lxc451ed71841b8
... IP 10.0.1.27.40446 > 10.0.2.248.80: Flags [S], ...
... IP 10.0.2.248.80 > 10.0.1.27.40446: Flags [S.], ...

Fortschritt speichern? Kostenlos registrieren

Aufräumen

k config use-context kubernetes-admin@kubernetes
k config delete-context tag01
k delete ns tag01

Clusterweit hat sich heute nichts geändert. Das Image nicolaka/netshoot:v0.16 liegt jetzt auf den Nodes im Cache – Tag 4 nutzt es wieder.

Prüfungstipp

  • Jede Aufgabe beginnt mit dem angegebenen Kontext- oder ssh-Befehl; exit am Ende, sonst arbeitest du in der nächsten Aufgabe auf dem falschen Host.
  • cilium-dbg immer im Agenten des betroffenen Nodes (--field-selector spec.nodeName=…); ds/cilium trifft einen zufälligen Agenten.
  • Doku: kubernetes.io „Debug Running Pods“ (kubectl debug, ephemere Container) und docs.cilium.io „Troubleshooting“ und „Command Cheatsheet“.

Enterprise-Notiz

  • kubectl debug und nodes/proxy sind mächtig: Ephemere Container und Node-Debug-Pods per RBAC und Pod Security Admission nur für Betriebsteams freigeben.
  • Mitschnitte auf Produktions-Nodes enthalten oft Klartext (HTTP, DNS): nur mit Filter, begrenzter Dauer (-c, -G) und nach Freigabe.
  • Debug-Images wie netshoot aus der eigenen Registry ziehen, mit fester Version und Signatur – nicht latest aus Docker Hub.
  • Statt tcpdump auf jedem Node: Hubble (Tag 20) zeigt Flows clusterweit mit Pod-Namen und Policy-Entscheidung.