Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 16: Services und Ingress

Ziel: Du machst notes-api per Service im Cluster und von außen erreichbar, findest Selector- und Port-Fehler in Sekunden und leitest HTTP und HTTPS per Ingress nach Host und Pfad weiter. · Dauer: ca. 75 min · Voraussetzung: Tag 14

Briefing

CKAD: Services and Networking (20 %) – „Use Kubernetes primitives to implement common networking patterns” (Services) und „Use Ingress rules to expose applications”.

 außen --> NodeIP:30080 (Traefik) --Host/Pfad--> Service notes:80 --+
 außen --> NodeIP:30616 (NodePort) ---------------------------------+--> Pods :8080
 Pod   --> notes.tag16 (CoreDNS) --> ClusterIP --> EndpointSlice ---+

Ein Service findet seine Pods nur über den Selector; port ist der Port des Service, targetPort der Port im Container.

mkdir -p ~/ckad/tag16 && cd ~/ckad/tag16
k create ns tag16
k config set-context --current --namespace=tag16
k create secret generic notes-key --from-literal=NOTES_API_KEY=lab-key-123

lab-key-123 ist ein reiner Lab-Wert.

Drill 1: ClusterIP mit k expose

Der Container-Port bekommt einen Namen (http) – der Service verweist darauf statt auf die Zahl:

cat > notes.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: notes
spec:
  replicas: 2
  selector:
    matchLabels:
      app: notes
  template:
    metadata:
      labels:
        app: notes
    spec:
      containers:
      - name: notes-api
        image: 172.16.0.126:30500/notes-api:1.0
        ports:
        - name: http
          containerPort: 8080
        envFrom:
        - secretRef:
            name: notes-key
        readinessProbe:
          httpGet:
            path: /healthz
            port: http
EOF
k apply -f notes.yaml
k rollout status deployment notes
k expose deployment notes --port=80 --target-port=http
k get svc notes
k get svc notes -o yaml | sed -n '/^  ports:/,/^  type:/p'

Erwartet (gekürzt):

service/notes exposed
NAME    TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)   AGE
notes   ClusterIP   10.97.22.56   <none>        80/TCP    1s
  ports:
  - port: 80
    protocol: TCP
    targetPort: http
  selector:
    app: notes
  sessionAffinity: None
  type: ClusterIP

k expose übernimmt den Selector aus dem Deployment. Ein Client-Pod zum Testen:

k run client --image=busybox:1.37 -- sleep 3600
k wait --for=condition=Ready pod/client
k exec client -- wget -qO- notes/version
k exec client -- wget -qO- --header 'X-API-Key: lab-key-123' \
  --post-data '{"text":"a"}' notes/notes; echo
for i in 1 2 3 4; do
  k exec client -- wget -qO- --header 'X-API-Key: lab-key-123' notes/notes
done

Erwartet (Reihenfolge zufällig):

1.0
{"id":"ff7acdfb-07f3-430c-9245-1290aa0879ac","text":"a"}
[]
[{"id":"ff7acdfb-07f3-430c-9245-1290aa0879ac","text":"a"}]
[{"id":"ff7acdfb-07f3-430c-9245-1290aa0879ac","text":"a"}]
[]

Jeder Pod hat seinen eigenen In-Memory-Speicher – so siehst du, dass der Service die Verbindungen verteilt. Der Container-Port ist auf der ClusterIP nicht offen:

k exec client -- wget -T 3 -qO- $(k get svc notes -o jsonpath='{.spec.clusterIP}'):8080

Erwartet:

wget: download timed out
command terminated with exit code 1

Fortschritt speichern? Kostenlos registrieren

Drill 2: EndpointSlices – wer steckt dahinter?

k get endpointslices -l kubernetes.io/service-name=notes
k scale deployment notes --replicas=3
k rollout status deployment notes
J='{range .items[*].endpoints[*]}{.addresses[0]} {.targetRef.name}{"\n"}{end}'
k get endpointslices -l kubernetes.io/service-name=notes -o jsonpath="$J"

Erwartet:

NAME          ADDRESSTYPE   PORTS   ENDPOINTS                        AGE
notes-ct7wm   IPv4          8080    192.168.189.95,192.168.235.165   2m20s
deployment.apps/notes scaled
deployment "notes" successfully rolled out
192.168.189.95 notes-7f56bf4556-kzxlc
192.168.235.165 notes-7f56bf4556-4lsnr
192.168.235.170 notes-7f56bf4556-9kwzj

k get endpoints notes und k describe svc notes zeigen dasselbe; Endpoints meldet aber Warning: v1 Endpoints is deprecated in v1.33+. Nur Pods, deren Labels passen und die ready sind, landen in der Liste. Einen Pod zur Fehlersuche aus dem Verkehr nehmen, ohne ihn zu löschen:

P=$(k get pods -l app=notes -o name | head -1)
k label $P app=quarantaene --overwrite
k get pods -L app
k get endpointslices -l kubernetes.io/service-name=notes -o jsonpath="$J"

Erwartet (gekürzt):

pod/notes-7f56bf4556-4lsnr labeled
NAME                     READY   STATUS    RESTARTS   AGE     APP
notes-7f56bf4556-4lsnr   1/1     Running   0          2m35s   quarantaene
notes-7f56bf4556-94wgr   1/1     Running   0          4s      notes
notes-7f56bf4556-9kwzj   1/1     Running   0          11s     notes
notes-7f56bf4556-kzxlc   1/1     Running   0          2m35s   notes
192.168.189.95 notes-7f56bf4556-kzxlc
192.168.235.170 notes-7f56bf4556-9kwzj
192.168.235.173 notes-7f56bf4556-94wgr

Der ReplicaSet zählt den Pod nicht mehr mit und startet Ersatz. Danach wegräumen: k delete pod -l app=quarantaene.

Fortschritt speichern? Kostenlos registrieren

Drill 3: DNS-Namen und headless Service

k exec client -- cat /etc/resolv.conf
k exec client -- wget -qO- notes.tag16/version
k exec client -- wget -qO- notes.tag16.svc.cluster.local/version

Erwartet:

search tag16.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.96.0.10
options ndots:5
1.0
1.0

Im selben Namespace reicht notes, aus anderen Namespaces notes.tag16, voll qualifiziert notes.tag16.svc.cluster.local. Ein headless Service (clusterIP: None) hat keine eigene IP – DNS liefert direkt die Pod-IPs:

k expose deployment notes --name=notes-hl --cluster-ip=None --port=8080
k get svc notes-hl
k exec client -- nslookup notes-hl.tag16.svc.cluster.local

Erwartet (gekürzt):

service/notes-hl exposed
NAME       TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)    AGE
notes-hl   ClusterIP   None         <none>        8080/TCP   0s
Name:   notes-hl.tag16.svc.cluster.local
Address: 192.168.235.173
Name:   notes-hl.tag16.svc.cluster.local
Address: 192.168.235.170
Name:   notes-hl.tag16.svc.cluster.local
Address: 192.168.189.95

Headless Services brauchen StatefulSets (Tag 3) für stabile Namen wie db-0.db.tag16.svc.cluster.local. Bei kurzen Namen probiert busybox-nslookup die ganze Suchliste durch und meldet viele NXDOMAIN – der FQDN ist sauberer.

Fortschritt speichern? Kostenlos registrieren

Drill 4: NodePort und LoadBalancer ohne Cloud

Für einen festen NodePort brauchst du YAML – k create service erzeugt es, setzt aber einen falschen Selector:

k create service nodeport notes-np --tcp=80:http --node-port=30616 $do > notes-np.yaml
grep -A1 selector notes-np.yaml
sed -i '/selector:/{n;s/notes-np/notes/}' notes-np.yaml
k apply -f notes-np.yaml
k get svc notes-np
for ip in 172.16.0.126 172.16.0.228 172.16.0.83; do curl -s $ip:30616/version; done

Erwartet:

  selector:
    app: notes-np
service/notes-np created
NAME       TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
notes-np   NodePort   10.102.89.223   <none>        80:30616/TCP   2s
1.0
1.0
1.0

k create service setzt immer app: <name> – fast nie das, was du willst. Der NodePort ist auf jedem Node offen (Bereich 30000–32767). Typ LoadBalancer:

k expose deployment notes --name=notes-lb --type=LoadBalancer --port=80 \
  --target-port=http
k get svc notes-lb
NP=$(k get svc notes-lb -o jsonpath='{.spec.ports[0].nodePort}')
curl -s 172.16.0.228:$NP/version

Erwartet:

service/notes-lb exposed
NAME       TYPE           CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
notes-lb   LoadBalancer   10.103.68.121   <pending>     80:30462/TCP   5s
1.0

Die externe IP liefert ein Cloud-Controller oder MetalLB – beides gibt es im Labor nicht, also bleibt <pending> für immer. Der NodePort darunter funktioniert trotzdem.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Selector- und Port-Fehler finden

cat > notes-bad.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
  name: notes-bad
spec:
  selector:
    app: note
  ports:
  - port: 80
EOF
k apply -f notes-bad.yaml
k exec client -- wget -T 3 -qO- notes-bad/version
k get endpointslices -l kubernetes.io/service-name=notes-bad
k get svc notes-bad -o wide
k get pods -l app=notes --show-labels | head -2

Erwartet:

wget: can't connect to remote host (10.100.200.240): Connection refused
command terminated with exit code 1
NAME              ADDRESSTYPE   PORTS     ENDPOINTS   AGE
notes-bad-9x7xr   IPv4          <unset>   <unset>     2s
NAME        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE   SELECTOR
notes-bad   ClusterIP   10.100.200.240   <none>        80/TCP    3s    app=note
NAME                     READY   STATUS    RESTARTS   AGE   LABELS
notes-7f56bf4556-94wgr   1/1     Running   0          51s   app=notes,pod-template-...

Leere Endpoints = Selector passt nicht. Reparieren:

k set selector svc notes-bad app=notes
k get endpointslices -l kubernetes.io/service-name=notes-bad
k exec client -- wget -T 3 -qO- notes-bad/version

Erwartet:

service/notes-bad selector updated
NAME              ADDRESSTYPE   PORTS   ENDPOINTS
notes-bad-9x7xr   IPv4          80      192.168.235.173,192.168.189.95,192.168.235.170
wget: can't connect to remote host (10.100.200.240): Connection refused
command terminated with exit code 1

Endpoints da, aber PORTS 80: Ohne targetPort nimmt Kubernetes den Wert von port. Die App lauscht aber auf 8080:

k patch svc notes-bad -p '{"spec":{"ports":[{"port":80,"targetPort":"http"}]}}'
sleep 3
k exec client -- wget -T 3 -qO- notes-bad/version

Erwartet:

service/notes-bad patched
1.0

kube-proxy braucht nach Änderungen ein, zwei Sekunden. Merkregel: leere Endpoints → Selector, Endpoints da, aber Fehler → targetPort (oder App/Readiness).

Fortschritt speichern? Kostenlos registrieren

Drill 6: Ingress mit Host-Regeln

Traefik ist der Ingress-Controller des Labors (IngressClass traefik, Default), erreichbar über NodePort 30080 (HTTP) und 30443 (HTTPS). Eine zweite App dazu:

k create deployment web --image=nginx:1.29 --port=80
k expose deployment web --port=80
k create ingress host --rule="notes.tag16.example/*=notes:80" \
  --rule="web.tag16.example/*=web:80"
k get ingress host
k get ingress host -o jsonpath='{.spec.ingressClassName}{"\n"}'

Erwartet:

ingress.networking.k8s.io/host created
NAME   CLASS     HOSTS                                   ADDRESS   PORTS   AGE
host   traefik   notes.tag16.example,web.tag16.example             80      4s
traefik

Ohne --class trägt der API-Server die Default-IngressClass ein. ADDRESS bleibt leer, weil Traefik hier nur per NodePort erreichbar ist. Ohne DNS testest du mit dem Host-Header:

curl -s -H 'Host: notes.tag16.example' 172.16.0.126:30080/version
curl -s -H 'Host: web.tag16.example' 172.16.0.126:30080/ | grep title
curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: x.tag16.example' 172.16.0.126:30080/
k describe ingress host | sed -n '/Rules/,/Annotations/p'

Erwartet:

1.0
<title>Welcome to nginx!</title>
404
Rules:
  Host                 Path  Backends
  ----                 ----  --------
  notes.tag16.example
                       /   notes:80 (192.168.189.95:8080,192.168.235.170:8080,...)
  web.tag16.example
                       /   web:80 (192.168.235.133:80)
Annotations:           <none>

describe zeigt die Pod-IPs hinter jedem Backend – leere Klammern heißen: Service ohne Endpoints oder falscher Port.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Pfade und pathType

Ein Host, zwei Apps: /version exakt und /notes als Präfix an notes-api, der Rest an nginx. Im --rule macht * am Ende Prefix, ohne * wird es Exact:

H=shop.tag16.example
k create ingress pfad --class=traefik --rule="$H/version=notes:80" \
  --rule="$H/notes*=notes:80" --rule="$H/*=web:80" $do > pfad.yaml
grep -E 'path' pfad.yaml
k apply -f pfad.yaml

Erwartet:

      paths:
        path: /version
        pathType: Exact
        path: /notes
        pathType: Prefix
        path: /
        pathType: Prefix
ingress.networking.k8s.io/pfad created

Wer antwortet? notes-api liefert text/plain oder JSON, nginx text/html:

for p in /version /version/ /notes /notesx /xyz; do
  echo "$p $(curl -s -o /dev/null -w '%{http_code} %{content_type}' -H "Host: $H" \
    172.16.0.126:30080$p)"
done

Erwartet:

/version 200 text/plain; charset=utf-8
/version/ 404 text/html
/notes 200 application/json
/notesx 404 text/plain; charset=utf-8
/xyz 404 text/html

Exact passt nur auf /version – schon /version/ geht an nginx. Laut Spezifikation vergleicht Prefix ganze Pfadelemente: /notes passt auf /notes/x, nicht auf /notesx (k explain ingress.spec.rules.http.paths.pathType). Traefik 3.7.19 weicht davon ab und schickt /notesx an notes-api; erst die Option --providers.kubernetesingress.strictprefixmatching (Default false) macht es spec-konform. In der Prüfung zählt die Spezifikation.

Fortschritt speichern? Kostenlos registrieren

Drill 8: TLS am Ingress

H=secure.tag16.example
openssl req -x509 -newkey rsa:2048 -nodes -days 30 -keyout tls.key -out tls.crt \
  -subj "/CN=$H" -addext "subjectAltName=DNS:$H"
k create secret tls secure-tls --cert=tls.crt --key=tls.key
k create ingress secure --class=traefik --rule="$H/*=notes:80,tls=secure-tls"
k get ingress secure
k get ingress secure -o yaml | sed -n '/^  tls:/,/^status/p'

Erwartet (gekürzt):

secret/secure-tls created
ingress.networking.k8s.io/secure created
NAME     CLASS     HOSTS                  ADDRESS   PORTS     AGE
secure   traefik   secure.tag16.example             80, 443   3s
  tls:
  - hosts:
    - secure.tag16.example
    secretName: secure-tls
status:

--resolve ersetzt den DNS-Eintrag und sorgt für den richtigen SNI-Namen, --cacert vertraut dem selbstsignierten Zertifikat:

curl -s --resolve $H:30443:172.16.0.126 --cacert tls.crt https://$H:30443/version
curl -sv --resolve $H:30443:172.16.0.126 --cacert tls.crt https://$H:30443/version \
  2>&1 | grep -E 'subject:|verify ok'
curl -skv -H "Host: $H" https://172.16.0.126:30443/version 2>&1 | grep 'subject:'

Erwartet:

1.0
*  subject: CN=secure.tag16.example
*  SSL certificate verify ok.
*  subject: CN=TRAEFIK DEFAULT CERT

Nur mit Host-Header fehlt der SNI-Name – Traefik zeigt dann sein Standardzertifikat. Über HTTP (30080) bleibt der Host weiter erreichbar; eine Umleitung auf HTTPS ist Controller-Sache (bei Traefik eine Middleware), nicht Teil des Ingress-Objekts.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Mache das Deployment web als NodePort-Service web-np auf Port 8081 erreichbar. Zeitziel: 30 s
  2. Starte Pod cache (nginx:1.29, Port 80) samt ClusterIP-Service in einem Befehl. Zeitziel: 20 s
  3. Ingress api: Host api.tag16.example, nur exakt /version an notes:80. Zeitziel: 45 s
  4. Zeige die Pod-IPs hinter dem Service notes. Zeitziel: 20 s

Lösung

k expose deployment web --name=web-np --type=NodePort --port=8081 --target-port=80
k run cache --image=nginx:1.29 --port=80 --expose
k create ingress api --rule="api.tag16.example/version=notes:80"
curl -s -H 'Host: api.tag16.example' 172.16.0.126:30080/version
curl -s -o /dev/null -w '%{http_code}\n' -H 'Host: api.tag16.example' \
  172.16.0.126:30080/notes
k get endpointslices -l kubernetes.io/service-name=notes

Erwartet (gekürzt):

service/web-np exposed
pod/cache created
service/cache created
ingress.networking.k8s.io/api created
1.0
404
NAME          ADDRESSTYPE   PORTS   ENDPOINTS                                        AGE
notes-ct7wm   IPv4          8080    192.168.189.95,192.168.235.170,192.168.235.173   5m

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get svc

Erwartet: u. a. notes (ClusterIP), notes-hl (None), notes-np (80:30616/TCP), notes-lb (<pending>), web-np (NodePort).

k get svc notes-bad -o jsonpath='{.spec.selector.app} {.spec.ports[0].targetPort}{"\n"}'

Erwartet: notes http

curl -s -H 'Host: notes.tag16.example' 172.16.0.126:30080/version

Erwartet: 1.0

curl -s --resolve secure.tag16.example:30443:172.16.0.126 --cacert tls.crt \
  https://secure.tag16.example:30443/version

Erwartet: 1.0

k exec client -- nslookup notes-hl.tag16.svc.cluster.local

Erwartet: nach dem DNS-Server (10.96.0.10) drei Pod-IPs (192.168.…).

Aufräumen – erst wenn du auch die Challenge erledigt hast:

k config set-context --current --namespace=default
k delete ns tag16

Erwartet: namespace "tag16" deleted. Kein späterer Tag braucht etwas aus tag16.

Challenge

Ein Kollege hat notes-api unter fix.tag16.example veröffentlicht, aber es kommt nur 404. Bringe curl -H 'Host: fix.tag16.example' 172.16.0.126:30080/version zum Antworten, ohne das Deployment anzufassen.

cat > fix.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
  name: fix
spec:
  selector:
    app: notes-api
  ports:
  - name: web
    port: 80
    targetPort: 8081
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: fix
spec:
  ingressClassName: nginx
  rules:
  - host: fix.tag16.example
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: fix
            port:
              name: http
EOF
k apply -f fix.yaml

Hinweis: Es sind vier Fehler; der HTTP-Status (404, 503, 502) verrät, wo du stehst.

Lösung

k get ingressclass
k get ingress fix
k describe ingress fix | grep 'fix:'
k get svc fix -o wide
k get endpointslices -l kubernetes.io/service-name=fix

Erwartet:

NAME                CONTROLLER                      PARAMETERS   AGE
traefik (default)   traefik.io/ingress-controller   <none>       60m
NAME   CLASS   HOSTS               ADDRESS   PORTS   AGE
fix    nginx   fix.tag16.example             80      4s
                     /   fix:http ()
NAME   TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE   SELECTOR
fix    ClusterIP   10.97.97.245   <none>        80/TCP    4s    app=notes-api
NAME        ADDRESSTYPE   PORTS     ENDPOINTS   AGE
fix-g467m   IPv4          <unset>   <unset>     4s

Die Fehler: IngressClass nginx gibt es nicht (404), der Ingress verweist auf den Port-Namen http, der Service heißt ihn web (weiter 404), der Selector trifft keinen Pod (503) und targetPort: 8081 ist falsch (502). Alles auf einmal reparieren:

sed -i -e 's/ingressClassName: nginx/ingressClassName: traefik/' \
  -e 's/name: http$/name: web/' -e 's/app: notes-api/app: notes/' \
  -e 's/targetPort: 8081/targetPort: http/' fix.yaml
k apply -f fix.yaml
sleep 3
curl -s -H 'Host: fix.tag16.example' 172.16.0.126:30080/version

Erwartet:

service/fix configured
ingress.networking.k8s.io/fix configured
1.0

Den Grund für 404 nennt Traefik im eigenen Log: k logs -n traefik deploy/traefik --since=1m zeigt Cannot create service error="service port not found".

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • k expose übernimmt den Selector, k create service setzt app: <name> – nach jedem Service k get endpointslices -l kubernetes.io/service-name=<svc> prüfen.
  • k create ingress --rule="host/pfad*=svc:port,tls=secret": * = Prefix, ohne * = Exact. Testen mit curl -H 'Host: …' gegen die Adresse des Controllers.
  • Doku-Seiten „Service”, „Ingress” und „DNS for Services and Pods” bookmarken.

Enterprise-Notiz

  • Externe IPs kommen vom Cloud-Controller oder auf Blech von MetalLB/Cilium; NodePorts nach außen öffnet man selten.
  • Der Nachfolger von Ingress ist die Gateway API (GatewayClass, Gateway, HTTPRoute) mit Header-Routing, Gewichten und Rollentrennung – im Labor nicht installiert.
  • Zertifikate verwaltet cert-manager (z. B. Let’s Encrypt) statt openssl von Hand.
  • Ingress-Annotationen sind controller-spezifisch; Wechsel des Controllers (etwa weg vom nicht mehr gepflegten ingress-nginx) heißt Manifeste prüfen.
  • externalTrafficPolicy: Local erhält die Client-IP, verteilt aber nur auf Nodes mit passendem Pod.