Tag 13: Umzug mit values-rke2.yaml
Ziel: Eine eigene Registry mit TLS und Login auf
rke2-serverbetreiben, die Images der App vom Mac hineinschieben, RKE2 die Registry beibringen und notes mit demselben Chart wie an Tag 11 auf das neue Cluster umziehen. · Dauer: ca. 90 min · Voraussetzung: Tag 12
Briefing
- In kind hast du Images mit
kind loaddirekt in die Nodes geladen. Echte Nodes holen Images aus einer Registry, und jeder Node muss ihr vertrauen. - Die Registry läuft als Container mit Podman auf
rke2-server, mit eigener CA, TLS-Zertifikat und Benutzerlab. - Gebaut und gepusht wird auf dem Mac mit Docker. Die Nodes ziehen die
Images mit den Zugangsdaten aus
/etc/rancher/rke2/registries.yaml. - Der Umzug selbst ist klein: dasselbe Chart, eine zusätzliche Values-Datei mit Image-Adressen und StorageClass.
Mac rke2-server
┌────────────────────┐ docker push ┌──────────────────────────────┐
│ docker build ├──────────────►│ registry:3.1.2 (Podman) :5000│
│ helm install notes │ │ /opt/registry/certs, auth │
└─────────┬──────────┘ └──────────────▲───────────────┘
│ :6443 │ pull (registries.yaml)
▼ ┌──────────────┴───────────────┐
API-Server ──► Pods ──────────► │ containerd auf allen 3 Nodes │
└──────────────────────────────┘
Drill 1: Tagesstart
source ~/k8s-lab/setup/env.sh && source ~/k8s-lab/setup/rke2.env
kubectl get nodes
mkdir -p "$LAB/tag13" && cd "$LAB/tag13"
cp -R "$LAB/code/notes/." . && cp -R "$LAB/code/tag11/notes/." .
cp -R "$LAB/code/tag13/notes/." .
lsErwartet (gekürzt, Namen, IPs und Zeiten weichen bei dir ab):
NAME STATUS ROLES AGE VERSION
rke2-agent1 Ready <none> 1h v1.36.5+rke2r1
rke2-agent2 Ready <none> 1h v1.36.5+rke2r1
rke2-server Ready control-plane,etcd 1h v1.36.5+rke2r1
README.md chart k8s notes-api notes-web notes-worker values-rke2.yaml
Der Ordner enthält den Stand von Tag 11 (Chart 0.2.0,
k8s/namespace.yaml, k8s/secrets.sh) und neu
values-rke2.yaml.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Zertifikate für die Registry
Die Registry bekommt ein eigenes Zertifikat, unterschrieben von einer eigenen CA. Das geschieht auf dem Server selbst, denn dort gibt es OpenSSL 3:
multipass shell rke2-serverIn der VM:
sudo -i
apt-get install -y -qq podman apache2-utils >/dev/null
podman --version
SERVER=$(hostname -I | awk '{print $1}')
mkdir -p /opt/registry/certs /opt/registry/auth && cd /opt/registry/certs
openssl req -x509 -newkey rsa:3072 -nodes -days 365 -subj "/CN=k8s-lab CA" \
-keyout ca.key -out ca.crt 2>/dev/null
openssl req -newkey rsa:3072 -nodes -subj "/CN=$SERVER" \
-addext "subjectAltName=IP:$SERVER" -keyout registry.key -out registry.csr \
2>/dev/null
openssl x509 -req -in registry.csr -CA ca.crt -CAkey ca.key -CAcreateserial \
-days 90 -copy_extensions copy -out registry.crt 2>/dev/null
openssl x509 -in registry.crt -noout -subject -ext subjectAltNameErwartet (gekürzt):
podman version 4.9.3
subject=CN = …
X509v3 Subject Alternative Name:
IP Address:…
Für containerd zählt die IP-Adresse im Feld
subjectAltName, nicht im CN. Darum steht die
Server-IP dort.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Registry starten
Noch in der Root-Shell: Login-Datei anlegen und die Registry starten.
--network host spart die Portweiterleitung,
--restart=always zusammen mit dem Dienst
podman-restart bringt sie nach einem Neustart der VM
zurück.
htpasswd -Bbn lab lab-registry-pw-123 > /opt/registry/auth/htpasswd
podman run -d --name registry --restart=always --network host \
-v /opt/registry/certs:/certs:ro -v /opt/registry/auth:/auth:ro \
-v registry-data:/var/lib/registry \
-e REGISTRY_HTTP_TLS_CERTIFICATE=/certs/registry.crt \
-e REGISTRY_HTTP_TLS_KEY=/certs/registry.key \
-e REGISTRY_AUTH=htpasswd -e REGISTRY_AUTH_HTPASSWD_REALM=k8s-lab \
-e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
docker.io/library/registry:3.1.2
systemctl enable --now podman-restart
curl -s -o /dev/null -w '%{http_code}\n' --cacert ca.crt "https://$SERVER:5000/v2/"
curl -s --cacert ca.crt -u lab:lab-registry-pw-123 "https://$SERVER:5000/v2/_catalog"
exit
exitErwartet (gekürzt):
Trying to pull docker.io/library/registry:3.1.2...
…
bb0a5dc8bc7c3b747adbc544c7d717f0db53fd4910932b6e43ffa2e65dac1c4a
401
{"repositories":[]}
Ohne Login antwortet die Registry mit 401, mit Login liefert sie einen leeren Katalog.
Achtung: Podman aus Ubuntu 24.04 baut die Dockerfiles der notes-App nicht: Die Version 4.9 kennt
COPY --linknoch nicht. Darum baut in diesem Buch Docker auf dem Mac. Auf dem Server läuft nur die Registry.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Images vom Mac pushen
Docker auf dem Mac läuft in der Colima-VM. Starte Colima klein (2 GB
reichen zum Bauen) und hol die CA. Docker vertraut einer Registry, wenn
ihre CA in der Colima-VM unter
/etc/docker/certs.d/<host:port>/ca.crt liegt:
colima start --cpu 2 --memory 2
multipass exec rke2-server -- sudo cat /opt/registry/certs/ca.crt \
> "$LAB/registry-ca.crt"
colima ssh -- sudo install -D -m 644 "$LAB/registry-ca.crt" \
"/etc/docker/certs.d/$SERVER:5000/ca.crt"
echo lab-registry-pw-123 | docker login -u lab --password-stdin "$SERVER:5000"Erwartet (gekürzt):
Login Succeeded
Colima bindet dein Home-Verzeichnis in die VM ein. Darum findet
colima ssh die Datei unter demselben Pfad. Jetzt die drei
Images in den Versionen, die das Chart erwartet (api 0.2.0, web und
worker 0.1.0):
R="$SERVER:5000"
docker build -q --build-arg VERSION=0.2.0 -t "$R/notes-api:0.2.0" notes-api
docker build -q --build-arg VERSION=0.1.0 -t "$R/notes-web:0.1.0" notes-web
docker build -q --build-arg VERSION=0.1.0 -t "$R/notes-worker:0.1.0" notes-worker
docker push "$R/notes-api:0.2.0"
docker push "$R/notes-web:0.1.0"
docker push "$R/notes-worker:0.1.0"
curl -s --cacert "$LAB/registry-ca.crt" -u lab:lab-registry-pw-123 \
"https://$R/v2/_catalog"Erwartet (gekürzt):
sha256:…
The push refers to repository […:5000/notes-api]
…
0.2.0: digest: sha256:898415e0… size: 855
…
{"repositories":["notes-api","notes-web","notes-worker"]}
Die Images sind arm64 wie deine VMs. Ein Mac baut sie passend, ohne
--platform.
Fortschritt speichern? Kostenlos registrieren
Drill 5: Der Node vertraut der Registry nicht
Probier ein Image aus der Registry direkt im Cluster:
kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
--image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123
kubectl -n default get pod pulltest
kubectl -n default describe pod pulltest | grep -m1 'Failed to pull'
kubectl -n default delete pod pulltestErwartet (gekürzt, beim ersten get eventuell noch
ContainerCreating):
pod/pulltest created
NAME READY STATUS RESTARTS AGE
pulltest 0/1 ErrImagePull 0 2s
Warning Failed 1s kubelet spec.containers{pulltest}: Failed to pull image
"…:5000/notes-api:0.2.0": … failed to do request: Head "https://…:5000/v2/notes-api/
manifests/0.2.0": tls: failed to verify certificate: x509: certificate signed by
unknown authority
pod "pulltest" deleted from default namespace
Den Pull macht containerd auf dem Node, nicht dein Mac. Der Node kennt die CA nicht und hätte auch keine Zugangsdaten.
Fortschritt speichern? Kostenlos registrieren
Drill 6: registries.yaml auf
allen Nodes
RKE2 liest beim Start /etc/rancher/rke2/registries.yaml
und erzeugt daraus die Konfiguration für containerd. Pro Registry stehen
dort Login und CA:
cat > registries.yaml <<EOF
# /etc/rancher/rke2/registries.yaml auf allen Nodes – Stand Ende Tag 13
configs:
"$SERVER:5000":
auth:
username: lab
password: lab-registry-pw-123
tls:
ca_file: /etc/rancher/rke2/registry-ca.crt
EOF
for vm in rke2-server rke2-agent1 rke2-agent2; do
multipass transfer registries.yaml "$LAB/registry-ca.crt" "$vm":/tmp/
multipass exec "$vm" -- sudo install -m 600 /tmp/registries.yaml \
/etc/rancher/rke2/registries.yaml
multipass exec "$vm" -- sudo install -m 644 /tmp/registry-ca.crt \
/etc/rancher/rke2/registry-ca.crt
multipass exec "$vm" -- rm /tmp/registries.yaml /tmp/registry-ca.crt
done
multipass exec rke2-server -- sudo systemctl restart rke2-server
multipass exec rke2-agent1 -- sudo systemctl restart rke2-agent
multipass exec rke2-agent2 -- sudo systemctl restart rke2-agent
kubectl wait --for=condition=Ready node --all --timeout=300sErwartet:
node/rke2-agent1 condition met
node/rke2-agent2 condition met
node/rke2-server condition met
Der Neustart dauert auf dem Server etwa eine halbe Minute. Laufende Pods laufen dabei weiter, nur kubelet und containerd starten neu. Jetzt noch einmal:
kubectl -n default run pulltest --image="$SERVER:5000/notes-api:0.2.0" \
--image-pull-policy=Always --env NOTES_API_KEY=lab-api-key-123
kubectl -n default wait --for=condition=Ready pod/pulltest --timeout=60s
kubectl -n default logs pulltest
kubectl -n default delete pod pulltestErwartet (gekürzt):
pod/pulltest created
pod/pulltest condition met
time=… level=INFO msg="api key loaded" source=env
time=… level=INFO msg="store ready" store=memory
time=… level=INFO msg=listening addr=:8080 version=0.2.0 pid=1
pod "pulltest" deleted from default namespace
Sicherheit:
registries.yamlenthält das Passwort im Klartext und gehört nur root (600). In Produktion bekommt jeder Cluster einen eigenen Pull-Benutzer mit reinen Leserechten.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Der Umzug
Die Values-Datei für RKE2 ändert nur, was sich zwischen den Clustern unterscheidet:
# values-rke2.yaml – Stand Ende Tag 13: dasselbe Chart auf RKE2
# Vorlage: SERVER_IP ersetzt Drill 7 per sed durch die Adresse von rke2-server.
api:
image:
repository: SERVER_IP:5000/notes-api
web:
image:
repository: SERVER_IP:5000/notes-web
worker:
image:
repository: SERVER_IP:5000/notes-worker
db:
storageClassName: local-path # aus Tag 12, Daten liegen auf einem NodeAlles andere kommt aus values.yaml des Charts: Repliken,
Ressourcen, Gateway, NetworkPolicies. Erst die Plattform (Namespace,
Secrets), dann das Chart:
sed -i '' "s/SERVER_IP/$SERVER/" values-rke2.yaml
kubectl apply -f k8s/namespace.yaml
kubectl config set-context --current --namespace notes
k8s/secrets.sh
helm lint chart/notes -f values-rke2.yaml | tail -1
helm template notes chart/notes -f values-rke2.yaml | grep 'image:' | sort -uErwartet (gekürzt):
namespace/notes created
limitrange/defaults created
resourcequota/notes created
serviceaccount/notes created
Context "rke2" modified.
secret/notes-api created
secret/notes-db created
1 chart(s) linted, 0 chart(s) failed
image: …:5000/notes-api:0.2.0
image: …:5000/notes-web:0.1.0
image: …:5000/notes-worker:0.1.0
image: postgres:18.6-alpine
image: curlimages/curl:8.23.0
sed -i '' ist die macOS-Schreibweise. Postgres und curl
kommen weiter von Docker Hub. Jetzt installieren:
helm install notes chart/notes -f values-rke2.yaml --wait --timeout 5m \
| grep -E '^(NAME|STATUS|REVISION):'
kubectl get pods -o wide
kubectl get pvcErwartet (gekürzt):
NAME: notes
STATUS: deployed
REVISION: 1
NAME READY STATUS RESTARTS AGE IP NODE
api-7dd6f4bd7f-4lbf8 1/1 Running 3 (32s ago) 50s … rke2-server
api-7dd6f4bd7f-929bk 1/1 Running 3 (31s ago) 50s … rke2-agent2
api-7dd6f4bd7f-f76km 1/1 Running 3 (32s ago) 50s … rke2-agent1
db-0 1/1 Running 0 50s … rke2-agent2
migrate-ntqmp 0/1 Completed 0 5s … rke2-agent1
web-5d99dbddf8-l7fnz 1/1 Running 0 50s … rke2-agent1
web-5d99dbddf8-qnnqg 1/1 Running 0 50s … rke2-agent2
worker-74fdfcfd76-n5sj7 1/1 Running 0 50s … rke2-agent2
NAME STATUS VOLUME CAPACITY …
data-db-0 Bound pvc-f7f33bd8-7f9f-470d-92bd-39ac2b726af9 1Gi …
Die Installation dauert knapp eine Minute. Die api startet ein
paarmal neu, bis db bereit ist, wie an Tag 7. Neu ist die
Spalte NODE: Der Scheduler verteilt die Repliken über alle
drei Nodes.
Fortschritt speichern? Kostenlos registrieren
Drill 8: notes auf RKE2
Das Gateway lauscht auf Port 30080 jedes Nodes und erwartet den Host
notes.localhost. curl --resolve schickt den
Namen an eine beliebige Node-IP:
kubectl get gateway notes
curl -s -H 'Host: notes.localhost' "http://$SERVER:30080/healthz"; echo
curl -s --resolve "notes.localhost:30080:$AGENT1" \
-X POST -H 'Content-Type: application/json' \
-d '{"text":"umgezogen auf RKE2"}' http://notes.localhost:30080/api/notes; echo
curl -s --resolve "notes.localhost:30080:$SERVER" \
http://notes.localhost:30080/api/notes; echo
helm test notes | grep -E '^(TEST SUITE|Phase):'Erwartet (gekürzt):
NAME CLASS ADDRESS PROGRAMMED AGE
notes eg … True 64s
ok
{"id":"342a2486-…","text":"umgezogen auf RKE2"}
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
TEST SUITE: notes-test-api
Phase: Succeeded
Geschrieben über agent1, gelesen über den Server: Ein Gateway bedient alle Nodes. Wo liegen die Daten, und woher kamen die Images?
c='NAME:.spec.claimRef.name,NODE:.spec.nodeAffinity.required'
c+='.nodeSelectorTerms[0].matchExpressions[0].values[0]'
kubectl get pv -o custom-columns="$c"
kubectl get events --field-selector reason=Pulled \
-o custom-columns=MSG:.message | grep -m1 notes-apiErwartet (gekürzt):
NAME NODE
data-db-0 rke2-agent2
Successfully pulled image "…:5000/notes-api:0.2.0" in 1.145s (1.145s including
waiting). Image size: 4498792 bytes.
Postgres hängt an dem Node, auf dem db-0 zuerst
startete. Merk dir den Namen: An Tag 14 wird er wichtig.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
helm listErwartet: Release notes, Chart notes-0.2.0,
Status deployed.
NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION
notes notes 1 2026-… deployed notes-0.2.0 0.2.0
kubectl get podsErwartet: api 3×, web 2×, worker 1× und db-0, alle
Running und 1/1. Der Migrations-Pod steht auf
Completed und bleibt bis zum nächsten Upgrade.
NAME READY STATUS RESTARTS AGE
api-7dd6f4bd7f-4lbf8 1/1 Running 3 (8m12s ago) 8m30s
api-7dd6f4bd7f-929bk 1/1 Running 3 (8m11s ago) 8m30s
api-7dd6f4bd7f-f76km 1/1 Running 3 (8m12s ago) 8m30s
db-0 1/1 Running 0 8m30s
migrate-ntqmp 0/1 Completed 0 7m45s
web-5d99dbddf8-l7fnz 1/1 Running 0 8m30s
web-5d99dbddf8-qnnqg 1/1 Running 0 8m30s
worker-74fdfcfd76-n5sj7 1/1 Running 0 8m30s
curl -s --resolve "notes.localhost:30080:$AGENT2" \
http://notes.localhost:30080/api/notes; echoErwartet: deine Notiz aus Drill 8.
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Challenge
Bau die api als Version 0.2.1, schieb sie in die Registry und rolle
sie mit Helm aus, ohne values-rke2.yaml zu ändern. Prüfe am
Deployment und mit /version, dass die neue Version läuft,
und mit der Notiz aus Drill 8, dass die Daten geblieben sind.
Hinweis: helm upgrade --reuse-values
behält die Werte der Installation, --set ändert nur den
einen Wert (Tag 9).
Lösung
docker build -q --build-arg VERSION=0.2.1 -t "$SERVER:5000/notes-api:0.2.1" notes-api
docker push -q "$SERVER:5000/notes-api:0.2.1"
helm upgrade notes chart/notes --reuse-values --set api.image.tag=0.2.1 --wait \
| grep -E '^(STATUS|REVISION):'
kubectl get deploy api -o jsonpath='{.spec.template.spec.containers[0].image}'; echo
for i in 1 2 3; do kubectl exec deploy/web -- wget -qO- http://api:8080/version; done
curl -s --resolve "notes.localhost:30080:$SERVER" \
http://notes.localhost:30080/api/notes; echoErwartet (gekürzt):
sha256:…
…:5000/notes-api:0.2.1
STATUS: deployed
REVISION: 2
…:5000/notes-api:0.2.1
0.2.1
0.2.1
0.2.1
[{"id":"342a2486-…","text":"umgezogen auf RKE2"}]
Der pre-upgrade-Hook startet die Migration vor dem
Rollout erneut (Tag 10); sie ist idempotent. Die Daten liegen in
Postgres, nicht in der api, darum überleben sie jeden Rollout.
--reuse-values ist hier Pflicht: Ohne die Option fielen web
und worker auf ihre Images ohne Registry zurück. Für Tag 14 ist egal, ob
die api auf 0.2.0 oder 0.2.1 läuft.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Registry: In Produktion steht eine Registry wie Harbor, GitLab Registry oder ein Cloud-Dienst mit Rollen, Schwachstellen-Scan und Replikation. „Sichere Lieferketten zum Anfassen” zeigt signierte Images und Admission-Prüfung.
- Pull-Rechte: Ein Pull-Benutzer pro Cluster mit
reinen Leserechten. Statt Klartext in
registries.yamlliefert ein Konfigurationsmanagement (Ansible, Salt) die Datei aus. - Mirror:
registries.yamlkennt auchmirrors:. Damit leitet RKE2 Pulls vondocker.ioüber eine eigene Registry um – Pflicht in Netzen ohne Internetzugang. - Images bauen: Gebaut wird in der CI-Pipeline, nicht
auf einem Laptop. Tags sind unveränderlich; noch fester verweist ein
Deployment auf den Digest (
@sha256:…). - Values pro Umgebung: Eine Datei pro Cluster
(
values-rke2.yaml,values-prod.yaml) im Git-Repository. GitOps-Werkzeuge wie Argo CD oder Fleet spielen sie automatisch aus.