Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 12: CRDs, Operatoren und die Schnittstellen

Ziel: Du erweiterst die Kubernetes-API um eigene Typen, installierst einen Operator und findest dich in CRI, CNI und CSI auf dem Node zurecht. · Dauer: ca. 60 min · Voraussetzung: Tag 11

Briefing

CKA: „Understand CRDs, install and configure operators” und „Understand extension interfaces (CNI, CSI, CRI, etc.)” (Teil der 25 %).

  kubelet --CRI--> containerd --> runc          (Container starten)
  kubelet --CNI--> Calico                       (Pod-Netz)
  kubelet --CSI--> nfs.csi.k8s.io               (Volumes)
  API-Server + CRD --> neuer Typ; Operator = Controller, der ihn umsetzt
mkdir -p ~/cka/tag12 && cd ~/cka/tag12
k create ns tag12
k config set-context --current --namespace=tag12

Drill 1: Ein eigener Ressourcentyp

cat <<'EOF' | k apply -f -
apiVersion: apiextensions.k8s.io/v1
kind: CustomResourceDefinition
metadata:
  name: backups.lab.example.com
spec:
  group: lab.example.com
  scope: Namespaced
  names:
    plural: backups
    singular: backup
    kind: Backup
    shortNames: ["bk"]
  versions:
  - name: v1
    served: true
    storage: true
    additionalPrinterColumns:
    - name: Schedule
      type: string
      jsonPath: .spec.schedule
    - name: Retention
      type: integer
      jsonPath: .spec.retentionDays
    schema:
      openAPIV3Schema:
        type: object
        properties:
          spec:
            type: object
            required: ["schedule"]
            properties:
              schedule:
                type: string
              retentionDays:
                type: integer
                minimum: 1
                maximum: 365
EOF
k api-resources --api-group=lab.example.com

Erwartet:

customresourcedefinition.apiextensions.k8s.io/backups.lab.example.com created
NAME      SHORTNAMES   APIVERSION           NAMESPACED   KIND
backups   bk           lab.example.com/v1   true         Backup

Der Name der CRD ist immer <plural>.<group>.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Objekte des neuen Typs

cat <<'EOF' | k apply -f -
apiVersion: lab.example.com/v1
kind: Backup
metadata:
  name: nightly
spec:
  schedule: "0 2 * * *"
  retentionDays: 30
EOF
k get bk
k explain backup.spec

Erwartet (gekürzt):

backup.lab.example.com/nightly created
NAME      SCHEDULE    RETENTION
nightly   0 2 * * *   30
GROUP:      lab.example.com
KIND:       Backup
VERSION:    v1
...
FIELDS:
  retentionDays <integer>
  schedule  <string> -required-

Die Spalten kommen aus additionalPrinterColumns, explain aus dem Schema.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Das Schema schützt

cat <<'EOF' | k apply -f -
apiVersion: lab.example.com/v1
kind: Backup
metadata:
  name: broken
spec:
  retentionDays: 999
EOF

Erwartet:

The Backup "broken" is invalid:
* spec.retentionDays: Invalid value: 999: spec.retentionDays in body should be less than
or equal to 365
* spec.schedule: Required value

Eine CRD speichert nur Daten. Damit ein Backup tatsächlich etwas sichert, bräuchte es einen Controller, der solche Objekte beobachtet – einen Operator.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Einen Operator installieren

cert-manager ist ein verbreiteter Operator: Er liest Certificate-Objekte und erzeugt daraus Secrets mit Zertifikaten.

helm install cert-manager oci://quay.io/jetstack/charts/cert-manager --version v1.21.3 \
  -n cert-manager --create-namespace --set crds.enabled=true
k wait -n cert-manager --for=condition=Available deploy --all --timeout=180s
k get crd | grep cert-manager.io

Erwartet (gekürzt):

Pulled: quay.io/jetstack/charts/cert-manager:v1.21.3
STATUS: deployed
deployment.apps/cert-manager condition met
deployment.apps/cert-manager-cainjector condition met
deployment.apps/cert-manager-webhook condition met
certificaterequests.cert-manager.io    2026-11-17T22:22:11Z
certificates.cert-manager.io           2026-11-17T22:22:11Z
...
issuers.cert-manager.io                2026-11-17T22:22:11Z

Das Chart kommt aus einer OCI-Registry, deshalb ohne helm repo add.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Den Operator benutzen

cat <<'EOF' | k apply -f -
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: selfsigned
spec:
  selfSigned: {}
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: shop-cert
spec:
  secretName: shop-cert-tls
  dnsNames:
  - shop.lab
  issuerRef:
    name: selfsigned
    kind: Issuer
EOF
k get issuer,certificate
k get secret shop-cert-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
  | openssl x509 -noout -ext subjectAltName -enddate

Erwartet:

NAME                                READY   AGE
issuer.cert-manager.io/selfsigned   True    9s

NAME                                    READY   SECRET          AGE
certificate.cert-manager.io/shop-cert   True    shop-cert-tls   9s
X509v3 Subject Alternative Name: critical
    DNS:shop.lab
notAfter=Feb 15 22:22:40 2027 GMT

Und der Kern jedes Operators – er stellt den gewünschten Zustand wieder her:

k delete secret shop-cert-tls
k get secret shop-cert-tls

Erwartet (nach wenigen Sekunden):

secret "shop-cert-tls" deleted from tag12 namespace
NAME            TYPE                DATA   AGE
shop-cert-tls   kubernetes.io/tls   3      8s

Fortschritt speichern? Kostenlos registrieren

Drill 6: CRI – Container ohne kubectl

Auf worker1. Das kubelet spricht über diesen Socket mit containerd:

sudo grep containerRuntimeEndpoint /var/lib/kubelet/config.yaml
sudo crictl pods --namespace calico-system | head -3
sudo crictl ps --name calico-node
sudo crictl images | grep -E 'pause|nginx'

Erwartet (gekürzt):

containerRuntimeEndpoint: unix:///var/run/containerd/containerd.sock
POD ID          CREATED             STATE   NAME                            NAMESPACE
5e0527d980ee1   40 minutes ago      Ready   calico-typha-7d4f7659c4-xbf9k   calico-sy...
2beaedfdaae8f   About an hour ago   Ready   whisker-86cb858779-qmvbx        calico-sy...
CONTAINER           IMAGE               CREATED             STATE     NAME          ...
663954e153291       b424ff80b1e98       About an hour ago   Running   calico-node   ...
docker.io/library/nginx     1.28     fda7399e81045       62.9MB
docker.io/library/nginx     1.29     5dfe511714e1f       63MB
registry.k8s.io/pause       3.10.2   4a83b15d3ecfe       321kB

Logs eines Containers direkt von der Runtime – dein Werkzeug, wenn der API-Server tot ist (Tag 14):

sudo crictl logs --tail 2 $(sudo crictl ps --name calico-node -q)

Erwartet: zwei Logzeilen von Calico. Kubernetes-Container liegen in containerd im Namespace k8s.io – sudo ctr -n k8s.io containers list zeigt sie ebenfalls.

Fortschritt speichern? Kostenlos registrieren

Drill 7: CNI und CSI auf dem Node

Weiter auf worker1:

sudo ls /etc/cni/net.d
ls /opt/cni/bin | head -8
sudo grep -o '"type":"[a-z-]*"' /etc/cni/net.d/10-calico.conflist | sort -u

Erwartet:

10-calico.conflist
calico-kubeconfig
LICENSE
README.md
bandwidth
bridge
calico
calico-ipam
dhcp
dummy
"type":"calico"
"type":"calico-ipam"
"type":"portmap"

In /etc/cni/net.d steht, welches Plugin, in /opt/cni/bin liegen die Programme. Fehlt die Datei, bleibt der Node NotReady.

Zurück auf cp1 – welche CSI-Treiber gibt es, und welche sind auf worker1 registriert?

k get csidrivers
k get csinode worker1 -o jsonpath='{.spec.drivers[*].name}{"\n"}'

Erwartet (gekürzt):

NAME             ATTACHREQUIRED   PODINFOONMOUNT   ...   MODES        AGE
csi.tigera.io    true             true             ...   Ephemeral    69m
nfs.csi.k8s.io   false            false            ...   Persistent   8m41s
csi.tigera.io nfs.csi.k8s.io

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Liste alle CRDs der Gruppe cert-manager.io. Zeitziel: 15 s
  2. Zeige, welche Container-Runtime samt Version jeder Node nutzt. Zeitziel: 30 s
  3. Finde auf worker1 die ID des laufenden kube-proxy-Containers. Zeitziel: 30 s

Lösung

k get crd -o name | grep cert-manager.io
k get nodes \
  -o custom-columns=NAME:.metadata.name,RUNTIME:.status.nodeInfo.containerRuntimeVersion

Auf worker1:

sudo crictl ps --name kube-proxy -q

Erwartet (Ausschnitt):

customresourcedefinition.apiextensions.k8s.io/certificaterequests.cert-manager.io
...
NAME      RUNTIME
cp1       containerd://2.4.2
worker1   containerd://2.4.2
worker2   containerd://2.4.2

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

k get bk nightly -o jsonpath='{.spec.retentionDays}{"\n"}'

Erwartet: 30

k get certificate shop-cert -o jsonpath='{.status.conditions[0].status}{"\n"}'

Erwartet: True

Challenge

Erzeuge mit cert-manager eine eigene kleine CA: ein selbstsigniertes CA-Zertifikat lab-ca, darauf einen Issuer vom Typ CA, und damit ein Zertifikat für api.lab.

Hinweis: Das CA-Zertifikat braucht isCA: true; der CA-Issuer verweist mit ca.secretName auf dessen Secret.

Lösung

cat <<'EOF' | k apply -f -
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: lab-ca
spec:
  isCA: true
  commonName: lab-ca
  secretName: lab-ca-tls
  issuerRef:
    name: selfsigned
    kind: Issuer
---
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: lab-ca
spec:
  ca:
    secretName: lab-ca-tls
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: api-cert
spec:
  secretName: api-cert-tls
  dnsNames:
  - api.lab
  issuerRef:
    name: lab-ca
    kind: Issuer
EOF
k get certificate
k get secret api-cert-tls -o jsonpath='{.data.tls\.crt}' | base64 -d \
  | openssl x509 -noout -issuer

Erwartet:

NAME        READY   SECRET          AGE
api-cert    True    api-cert-tls    5s
lab-ca      True    lab-ca-tls      5s
shop-cert   True    shop-cert-tls   3m
issuer=CN = lab-ca

Aufräumen (cert-manager bleibt):

k config set-context --current --namespace=default
k delete ns tag12
k delete crd backups.lab.example.com

Fortschritt speichern? Kostenlos registrieren

Prüfungstipp

  • „Installiere den Operator X” heißt meist: Helm-Chart mit gegebener Version, dann die CRDs mit k get crd prüfen und ein Beispielobjekt anlegen.
  • k api-resources --api-group=… und k explain <kind>.spec zeigen, wie man ein fremdes Objekt schreibt – schneller als jede Doku.
  • crictl ist auf jedem Node vorhanden: ps, pods, logs, inspect.

Enterprise-Notiz

  • Operatoren laufen mit weiten Rechten – vor der Installation ihre ClusterRoles lesen.
  • CRDs mit mehreren Versionen brauchen Conversion-Webhooks; ein CRD-Upgrade gehört in den Wartungsplan.
  • Container-Runtime, CNI und CSI ändern sich selten, aber bei jedem Kubernetes-Upgrade die Kompatibilitätsliste prüfen.