Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 13: Umzug mit values-rke2.yaml

Ziel: Eine eigene Registry mit TLS und Login auf rke2-server betreiben, die Images der App vom Mac hineinschieben, RKE2 die Registry beibringen und notes mit demselben Chart wie an Tag 11 auf das neue Cluster umziehen. · Dauer: ca. 90 min · Voraussetzung: Tag 12

Briefing

  • In kind hast du Images mit kind load direkt in die Nodes geladen. Echte Nodes holen Images aus einer Registry, und jeder Node muss ihr vertrauen.
  • Die Registry läuft als Container mit Podman auf rke2-server, mit eigener CA, TLS-Zertifikat und Benutzer lab.
  • Gebaut und gepusht wird auf dem Mac mit Docker. Die Nodes ziehen die Images mit den Zugangsdaten aus /etc/rancher/rke2/registries.yaml.
  • Der Umzug selbst ist klein: dasselbe Chart, eine zusätzliche Values-Datei mit Image-Adressen und StorageClass.
 Mac                                  rke2-server
 ┌────────────────────┐  docker push  ┌──────────────────────────────┐
 │ docker build       ├──────────────►│ registry:3.1.2 (Podman) :5000│
 │ helm install notes │               │ /opt/registry/certs, auth    │
 └─────────┬──────────┘               └──────────────▲───────────────┘
           │ :6443                                   │ pull (registries.yaml)
           ▼                          ┌──────────────┴───────────────┐
      API-Server ──► Pods ──────────► │ containerd auf allen 3 Nodes │
                                      └──────────────────────────────┘

Drill 1: Tagesstart

source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
kubectl get nodes
mkdir -p "$LAB/tag13" && cd "$LAB/tag13"
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag11/notes/." .
cp -R "$LAB/code/tag13/notes/." .
ls

Erwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):

NAME          STATUS   ROLES                AGE   VERSION
rke2-agent1   Ready    <none>               1h    v1.36.5+rke2r1
rke2-agent2   Ready    <none>               1h    v1.36.5+rke2r1
rke2-server   Ready    control-plane,etcd   1h    v1.36.5+rke2r1
README.md  chart  k8s  notes-api  notes-web  notes-worker  values-rke2.yaml

Der Ordner enthält den Stand von Tag 11 (Chart 0.2.0, k8s/namespace.yaml, k8s/secrets.sh) und neu values-rke2.yaml.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Zertifikate für die Registry

Die Registry bekommt ein eigenes Zertifikat, unterschrieben von einer eigenen CA. Das geschieht auf dem Server selbst, denn dort gibt es OpenSSL 3:

multipass shell rke2-server

In der VM:

sudo -i
apt-get install -y -qq podman apache2-utils >/dev/null
podman --version
SERVER=$(hostname -I | awk '{print $1}')
mkdir -p /opt/registry/certs /opt/registry/auth && cd /opt/registry/certs
openssl req -x509 -newkey rsa:3072 -nodes -days 365 -subj "/CN=k8s-lab CA" \
  -keyout ca.key -out ca.crt 2>/dev/null
openssl req -newkey rsa:3072 -nodes -subj "/CN=$SERVER" \
  -addext "subjectAltName=IP:$SERVER" -keyout registry.key -out registry.csr \
  2>/dev/null
openssl x509 -req -in registry.csr -CA ca.crt -CAkey ca.key -CAcreateserial \
  -days 90 -copy_extensions copy -out registry.crt 2>/dev/null
openssl x509 -in registry.crt -noout -subject -ext subjectAltName

Erwartet (gekürzt):

podman version 4.9.3
subject=CN = …
X509v3 Subject Alternative Name:
    IP Address:…

Für containerd zählt die IP-Adresse im Feld subjectAltName, nicht im CN. Darum steht die Server-IP dort.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Registry starten

Noch in der Root-Shell: Login-Datei anlegen und die Registry starten. --network host spart die Portweiterleitung, --restart=always zusammen mit dem Dienst podman-restart bringt sie nach einem Neustart der VM zurück.

htpasswd -Bbn lab lab-registry-pw-123 > /opt/registry/auth/htpasswd
podman run -d --name registry --restart=always --network host \
  -v /opt/registry/certs:/certs:ro -v /opt/registry/auth:/auth:ro \
  -v registry-data:/var/lib/registry \
  -e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/registry.crt \
  -e REGISTRY_HTTP_TLS_KEY=/certs/registry.key \
  -e REGISTRY_AUTH=htpasswd -e REGISTRY_AUTH_HTPASSWD_REALM=k8s-lab \
  -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
  docker.io/library/registry:3.1.2
systemctl enable --now podman-restart
curl -s -o /dev/null -w '%{http_code}\n' --cacert ca.crt "https://$SERVER:5000/v2/"
curl -s --cacert ca.crt -u lab:lab-registry-pw-123 "https://$SERVER:5000/v2/_catalog"
exit
exit

Erwartet (gekürzt):

Trying to pull docker.io/library/registry:3.1.2...
…
bb0a5dc8bc7c3b747adbc544c7d717f0db53fd4910932b6e43ffa2e65dac1c4a
401
{"repositories":[]}

Ohne Login antwortet die Registry mit 401, mit Login liefert sie einen leeren Katalog.

Achtung: Podman aus Ubuntu 24.04 baut die Dockerfiles der notes-App nicht: Die Version 4.9 kennt COPY --link noch nicht. Darum baut in diesem Buch Docker auf dem Mac. Auf dem Server läuft nur die Registry.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Images vom Mac pushen

Docker auf dem Mac läuft in der Colima-VM. Starte Colima klein (2 GB reichen zum Bauen) und hol die CA. Docker vertraut einer Registry, wenn ihre CA in der Colima-VM unter /etc/docker/certs.d/<host:port>/ca.crt liegt:

colima start --cpu 2 --memory 2
multipass exec rke2-server -- sudo cat /opt/registry/certs/ca.crt \
  > "$LAB/registry-ca.crt"
colima ssh -- sudo install -D -m 644 "$LAB/registry-ca.crt" \
  "/etc/docker/certs.d/$SERVER:5000/ca.crt"
echo lab-registry-pw-123 | docker login -u lab --password-stdin "$SERVER:5000"

Erwartet (gekürzt):

Login Succeeded

Colima bindet dein Home-Verzeichnis in die VM ein. Darum findet colima ssh die Datei unter demselben Pfad. Jetzt die drei Images in den Versionen, die das Chart erwartet (api 0.2.0, web und worker 0.1.0):

R="$SERVER:5000"
docker build -q --build-arg VERSION=0.2.0 -t "$R/notes-api:0.2.0" notes-api
docker build -q --build-arg VERSION=0.1.0 -t "$R/notes-web:0.1.0" notes-web
docker build -q --build-arg VERSION=0.1.0 -t "$R/notes-worker:0.1.0" notes-worker
docker push "$R/notes-api:0.2.0"
docker push "$R/notes-web:0.1.0"
docker push "$R/notes-worker:0.1.0"
curl -s --cacert "$LAB/registry-ca.crt" -u lab:lab-registry-pw-123 \
  "https://$R/v2/_catalog"

Erwartet (gekürzt):

sha256:…
The push refers to repository […:5000/notes-api]
…
0.2.0: digest: sha256:898415e0… size: 855
…
{"repositories":["notes-api","notes-web","notes-worker"]}

Die Images sind arm64 wie deine VMs. Ein Mac baut sie passend, ohne --platform.

Fortschritt speichern? Kostenlos registrieren

Drill 5: Der Node vertraut der Registry nicht

Probier ein Image aus der Registry direkt im Cluster:

kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
  --image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123
kubectl -n default get pod pulltest
kubectl -n default describe pod pulltest | grep -m1 'Failed to pull'
kubectl -n default delete pod pulltest

Erwartet (gekürzt, beim ersten get eventuell noch ContainerCreating):

pod/pulltest created
NAME       READY   STATUS         RESTARTS   AGE
pulltest   0/1     ErrImagePull   0          2s
Warning  Failed  1s  kubelet  spec.containers{pulltest}: Failed to pull image
"…:5000/notes-api:0.2.0": … failed to do request: Head "https://…:5000/v2/notes-api/
manifests/0.2.0": tls: failed to verify certificate: x509: certificate signed by
unknown authority
pod "pulltest" deleted from default namespace

Den Pull macht containerd auf dem Node, nicht dein Mac. Der Node kennt die CA nicht und hätte auch keine Zugangsdaten.

Fortschritt speichern? Kostenlos registrieren

Drill 6: registries.yaml auf allen Nodes

RKE2 liest beim Start /etc/rancher/rke2/registries.yaml und erzeugt daraus die Konfiguration für containerd. Pro Registry stehen dort Login und CA:

cat > registries.yaml <<EOF
# /etc/rancher/rke2/registries.yaml auf allen Nodes – Stand Ende Tag 13
configs:
  "$SERVER:5000":
    auth:
      username: lab
      password: lab-registry-pw-123
    tls:
      ca_file: /etc/rancher/rke2/registry-ca.crt
EOF
for vm in rke2-server rke2-agent1 rke2-agent2; do
  multipass transfer registries.yaml "$LAB/registry-ca.crt" "$vm":/tmp/
  multipass exec "$vm" -- sudo install -m 600 /tmp/registries.yaml \
    /etc/rancher/rke2/registries.yaml
  multipass exec "$vm" -- sudo install -m 644 /tmp/registry-ca.crt \
    /etc/rancher/rke2/registry-ca.crt
  multipass exec "$vm" -- rm /tmp/registries.yaml /tmp/registry-ca.crt
done
multipass exec rke2-server -- sudo systemctl restart rke2-server
multipass exec rke2-agent1 -- sudo systemctl restart rke2-agent
multipass exec rke2-agent2 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node --all --timeout=300s

Erwartet:

node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met

Der Neustart dauert auf dem Server etwa eine halbe Minute. Laufende Pods laufen dabei weiter, nur kubelet und containerd starten neu. Jetzt noch einmal:

kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
  --image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123
kubectl -n default wait --for=condition=Ready pod/pulltest --timeout=60s
kubectl -n default logs pulltest
kubectl -n default delete pod pulltest

Erwartet (gekürzt):

pod/pulltest created
pod/pulltest condition met
time=… level=INFO msg="api key loaded" source=env
time=… level=INFO msg="store ready" store=memory
time=… level=INFO msg=listening addr=:8080 version=0.2.0 pid=1
pod "pulltest" deleted from default namespace

Sicherheit: registries.yaml enthält das Passwort im Klartext und gehört nur root (600). In Produktion bekommt jeder Cluster einen eigenen Pull-Benutzer mit reinen Leserechten.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Der Umzug

Die Values-Datei für RKE2 ändert nur, was sich zwischen den Clustern unterscheidet:

# values-rke2.yaml – Stand Ende Tag 13: dasselbe Chart auf RKE2
# Vorlage: SERVER_IP ersetzt Drill 7 per sed durch die Adresse von rke2-server.
api:
  image:
    repository: SERVER_IP:5000/notes-api
web:
  image:
    repository: SERVER_IP:5000/notes-web
worker:
  image:
    repository: SERVER_IP:5000/notes-worker
db:
  storageClassName: local-path   # aus Tag 12, Daten liegen auf einem Node

Alles andere kommt aus values.yaml des Charts: Repliken, Ressourcen, Gateway, NetworkPolicies. Erst die Plattform (Namespace, Secrets), dann das Chart:

sed -i '' "s/SERVER_IP/$SERVER/" values-rke2.yaml
kubectl apply -f k8s/namespace.yaml
kubectl config set-context --current --namespace notes
k8s/secrets.sh
helm lint chart/notes -f values-rke2.yaml | tail -1
helm template notes chart/notes -f values-rke2.yaml | grep 'image:' | sort -u

Erwartet (gekürzt):

namespace/notes created
limitrange/defaults created
resourcequota/notes created
serviceaccount/notes created
Context "rke2" modified.
secret/notes-api created
secret/notes-db created
1 chart(s) linted, 0 chart(s) failed
          image: …:5000/notes-api:0.2.0
          image: …:5000/notes-web:0.1.0
          image: …:5000/notes-worker:0.1.0
          image: postgres:18.6-alpine
      image: curlimages/curl:8.23.0

sed -i '' ist die macOS-Schreibweise. Postgres und curl kommen weiter von Docker Hub. Jetzt installieren:

helm install notes chart/notes -f values-rke2.yaml --wait --timeout 5m \
  | grep -E '^(NAME|STATUS|REVISION):'
kubectl get pods -o wide
kubectl get pvc

Erwartet (gekürzt):

NAME: notes
STATUS: deployed
REVISION: 1
NAME                      READY   STATUS      RESTARTS      AGE   IP    NODE
api-7dd6f4bd7f-4lbf8      1/1     Running     3 (32s ago)   50s   …     rke2-server
api-7dd6f4bd7f-929bk      1/1     Running     3 (31s ago)   50s   …     rke2-agent2
api-7dd6f4bd7f-f76km      1/1     Running     3 (32s ago)   50s   …     rke2-agent1
db-0                      1/1     Running     0             50s   …     rke2-agent2
migrate-ntqmp             0/1     Completed   0             5s    …     rke2-agent1
web-5d99dbddf8-l7fnz      1/1     Running     0             50s   …     rke2-agent1
web-5d99dbddf8-qnnqg      1/1     Running     0             50s   …     rke2-agent2
worker-74fdfcfd76-n5sj7   1/1     Running     0             50s   …     rke2-agent2
NAME        STATUS   VOLUME                                     CAPACITY   …
data-db-0   Bound    pvc-f7f33bd8-7f9f-470d-92bd-39ac2b726af9   1Gi        …

Die Installation dauert knapp eine Minute. Die api startet ein paarmal neu, bis db bereit ist, wie an Tag 7. Neu ist die Spalte NODE: Der Scheduler verteilt die Repliken über alle drei Nodes.

Fortschritt speichern? Kostenlos registrieren

Drill 8: notes auf RKE2

Das Gateway lauscht auf Port 30080 jedes Nodes und erwartet den Host notes.localhost. curl --resolve schickt den Namen an eine beliebige Node-IP:

kubectl get gateway notes
curl -s -H 'Host: notes.localhost' "http://$SERVER:30080/healthz"; echo
curl -s --resolve "notes.localhost:30080:$AGENT1" \
  -X POST -H 'Content-Type: application/json' \
  -d '{"text":"umgezogen auf RKE2"}' http://notes.localhost:30080/api/notes; echo
curl -s --resolve "notes.localhost:30080:$SERVER" \
  http://notes.localhost:30080/api/notes; echo
helm test notes | grep -E '^(TEST SUITE|Phase):'

Erwartet (gekürzt):

NAME    CLASS   ADDRESS   PROGRAMMED   AGE
notes   eg      …         True         64s
ok
{"id":"342a2486-…","text":"umgezogen auf RKE2"}
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
TEST SUITE:     notes-test-api
Phase:          Succeeded

Geschrieben über agent1, gelesen über den Server: Ein Gateway bedient alle Nodes. Wo liegen die Daten, und woher kamen die Images?

c='NAME:.spec.claimRef.name,NODE:.spec.nodeAffinity.required'
c+='.nodeSelectorTerms[0].matchExpressions[0].values[0]'
kubectl get pv -o custom-columns="$c"
kubectl get events --field-selector reason=Pulled \
  -o custom-columns=MSG:.message | grep -m1 notes-api

Erwartet (gekürzt):

NAME        NODE
data-db-0   rke2-agent2
Successfully pulled image "…:5000/notes-api:0.2.0" in 1.145s (1.145s including
waiting). Image size: 4498792 bytes.

Postgres hängt an dem Node, auf dem db-0 zuerst startete. Merk dir den Namen: An Tag 14 wird er wichtig.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

helm list

Erwartet: Release notes, Chart notes-0.2.0, Status deployed.

NAME    NAMESPACE   REVISION   UPDATED   STATUS     CHART         APP VERSION
notes   notes       1          2026-…    deployed   notes-0.2.0   0.2.0
kubectl get pods

Erwartet: api 3×, web 2×, worker 1× und db-0, alle Running und 1/1. Der Migrations-Pod steht auf Completed und bleibt bis zum nächsten Upgrade.

NAME                      READY   STATUS      RESTARTS        AGE
api-7dd6f4bd7f-4lbf8      1/1     Running     3 (8m12s ago)   8m30s
api-7dd6f4bd7f-929bk      1/1     Running     3 (8m11s ago)   8m30s
api-7dd6f4bd7f-f76km      1/1     Running     3 (8m12s ago)   8m30s
db-0                      1/1     Running     0               8m30s
migrate-ntqmp             0/1     Completed   0               7m45s
web-5d99dbddf8-l7fnz      1/1     Running     0               8m30s
web-5d99dbddf8-qnnqg      1/1     Running     0               8m30s
worker-74fdfcfd76-n5sj7   1/1     Running     0               8m30s
curl -s --resolve "notes.localhost:30080:$AGENT2" \
  http://notes.localhost:30080/api/notes; echo

Erwartet: deine Notiz aus Drill 8.

[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Challenge

Bau die api als Version 0.2.1, schieb sie in die Registry und rolle sie mit Helm aus, ohne values-rke2.yaml zu ändern. Prüfe am Deployment und mit /version, dass die neue Version läuft, und mit der Notiz aus Drill 8, dass die Daten geblieben sind.

Hinweis: helm upgrade --reuse-values behält die Werte der Installation, --set ändert nur den einen Wert (Tag 9).

Lösung

docker build -q --build-arg VERSION=0.2.1 -t "$SERVER:5000/notes-api:0.2.1" notes-api
docker push -q "$SERVER:5000/notes-api:0.2.1"
helm upgrade notes chart/notes --reuse-values --set api.image.tag=0.2.1 --wait \
  | grep -E '^(STATUS|REVISION):'
kubectl get deploy api -o jsonpath='{.spec.template.spec.containers[0].image}'; echo
for i in 1 2 3; do kubectl exec deploy/web -- wget -qO- http://api:8080/version; done
curl -s --resolve "notes.localhost:30080:$SERVER" \
  http://notes.localhost:30080/api/notes; echo

Erwartet (gekürzt):

sha256:…
…:5000/notes-api:0.2.1
STATUS: deployed
REVISION: 2
…:5000/notes-api:0.2.1
0.2.1
0.2.1
0.2.1
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]

Der pre-upgrade-Hook startet die Migration vor dem Rollout erneut (Tag 10); sie ist idempotent. Die Daten liegen in Postgres, nicht in der api, darum überleben sie jeden Rollout. --reuse-values ist hier Pflicht: Ohne die Option fielen web und worker auf ihre Images ohne Registry zurück. Für Tag 14 ist egal, ob die api auf 0.2.0 oder 0.2.1 läuft.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Registry: In Produktion steht eine Registry wie Harbor, GitLab Registry oder ein Cloud-Dienst mit Rollen, Schwachstellen-Scan und Replikation. „Sichere Lieferketten zum Anfassen” zeigt signierte Images und Admission-Prüfung.
  • Pull-Rechte: Ein Pull-Benutzer pro Cluster mit reinen Leserechten. Statt Klartext in registries.yaml liefert ein Konfigurationsmanagement (Ansible, Salt) die Datei aus.
  • Mirror: registries.yaml kennt auch mirrors:. Damit leitet RKE2 Pulls von docker.io über eine eigene Registry um – Pflicht in Netzen ohne Internetzugang.
  • Images bauen: Gebaut wird in der CI-Pipeline, nicht auf einem Laptop. Tags sind unveränderlich; noch fester verweist ein Deployment auf den Digest (@sha256:…).
  • Values pro Umgebung: Eine Datei pro Cluster (values-rke2.yaml, values-prod.yaml) im Git-Repository. GitOps-Werkzeuge wie Argo CD oder Fleet spielen sie automatisch aus.