Tag 19: Dieselben Fehler auf Talos
Ziel: Du baust Fehler aus Tag 4 bis 17 auf Talos nach und findest sie ohne Shell – über
talosctl, die Machine-Config und die Events. · Dauer: ca. 75 min · Voraussetzung: Tag 18
Briefing
- Was auf RKE2 eine Datei unter
/etc/rancher/rke2/ist, ist auf Talos ein Dokument der Machine-Config. Ein Patch mit$patch: deletenimmt einen Eintrag wieder heraus. - Fällt der API-Server aus, bleibt die Talos-API:
containers,logs,getundpatchgehen weiter. - Viele Fehler, die es auf RKE2 nicht gibt, kommen von Pod Security
baselineund vom schlanken Standard: Flannel ohne NetworkPolicies, kein metrics-server, kein Ingress.
| Fehlerbild | Symptom | Wo die Antwort steht |
|---|---|---|
| Kubelet-Argument falsch | Knoten NotReady |
talosctl service/logs kubelet |
| API-Server startet nicht | kubectl ohne Antwort |
talosctl logs --namespace cri |
hostPath verboten |
DaemonSet 0, PVC Pending |
Events, PSA-Vorgabe |
| Mirror kaputt | ImagePullBackOff |
Event, hosts.toml |
| Policy ohne Wirkung | Verbotenes geht durch | CNI im Cluster |
| HPA blind | <unknown>, x509-Fehler |
metrics-server-Log, CSRs |
Drill 1: Tippfehler im Kubelet
Wie in der Challenge von Tag 14, nur über KubeletConfig.
--dry-run zeigt vorher, was der Patch ändert:
Einbauen:
# auf argo
mkdir -p ~/debug/tag19 && cd ~/debug/tag19
kubectl create namespace tag19
cat > kubelet-tippfehler.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeletConfig
extraArgs:
max-pod: "150"
EOF
talosctl -n 10.5.0.3 patch mc --patch @kubelet-tippfehler.yaml --dry-run 2>&1 \
| grep '^+ *[a-z]'
talosctl -n 10.5.0.3 patch mc --patch @kubelet-tippfehler.yamlErwartet:
namespace/tag19 created
+extraArgs:
+ max-pod: "150"
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.3
Applied configuration without a reboot
Symptom (nach einer Minute):
# auf argo
sleep 60
kubectl get nodesErwartet:
NAME STATUS ROLES AGE VERSION
talos-controlplane-1 Ready control-plane 7m v1.37.2
talos-worker-1 NotReady <none> 7m v1.37.2
Untersuchen:
# auf argo
talosctl -n 10.5.0.3 service kubelet | sed -n '1,6p' | cut -c1-88
talosctl -n 10.5.0.3 logs kubelet --tail 1 | grep -o '"command failed".*'
talosctl -n 10.5.0.3 get kubeletspec -o yaml | grep -- '--max'Erwartet:
NODE 10.5.0.3
ID kubelet
STATE Waiting
HEALTH Fail
LAST HEALTH MESSAGE Get "http://127.0.0.1:10248/healthz": dial tcp 127.0.0.1:10248: co
EVENTS [Waiting]: Error running Containerd(kubelet), going to restart for
"command failed" err="failed to parse kubelet flag: unknown flag: --max-pod"
- --max-pod=150
Ursache: Talos reicht extraArgs
ungeprüft als Flags an das Kubelet weiter. Das Kubelet bricht beim
Parsen ab, Talos startet es alle paar Sekunden neu („going to restart
forever“) – wie rke2-agent mit Kubelet exited
in Tag 14.
Fix: Den Eintrag per Patch löschen. Interaktiv ginge
dasselbe mit talosctl -n 10.5.0.3 edit mc im Editor.
# auf argo
cat > kubelet-fix.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeletConfig
extraArgs:
max-pod:
$patch: delete
EOF
talosctl -n 10.5.0.3 patch mc --patch @kubelet-fix.yamlNachweis:
# auf argo
kubectl wait --for=condition=Ready node/talos-worker-1 --timeout=120s
talosctl -n 10.5.0.3 service kubelet | sed -n '3,4p'Erwartet:
node/talos-worker-1 condition met
STATE Running
HEALTH OK
Fortschritt speichern? Kostenlos registrieren
Drill 2: Der API-Server startet nicht
Tag 15 auf Talos: ein unbekanntes Feature-Gate, diesmal über
KubeAPIServerConfig.
Achtung: Der Patch legt die Kubernetes-API lahm. Vorher ein etcd-Snapshot (Tag 18), nur im Labor.
Einbauen:
# auf argo
talosctl -n 10.5.0.2 etcd snapshot ~/debug/tag19/vor-apiserver.snapshot | head -1
cat > apiserver-kaputt.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeAPIServerConfig
extraArgs:
feature-gates: DebugBuchGate=true
EOF
talosctl -n 10.5.0.2 patch mc --patch @apiserver-kaputt.yamlErwartet:
etcd snapshot saved to "/home/ubuntu/debug/tag19/vor-apiserver.snapshot" (1847328 bytes)
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.2
Applied configuration without a reboot
Symptom:
# auf argo
sleep 45
kubectl get nodes 2>&1 | cut -c1-88Erwartet:
Unable to connect to the server: EOF
Je nach Zeitpunkt auch connection reset by peer oder
connection refused. kubectl hilft nicht mehr
weiter – Talos schon:
Untersuchen:
# auf argo
talosctl -n 10.5.0.2 get staticpodstatus | awk '{print $4, $6}'
ID=$(talosctl -n 10.5.0.2 containers --namespace cri \
| grep -o 'kube-apiserver-talos-controlplane-1:kube-apiserver:[0-9a-f]*' | tail -1)
talosctl -n 10.5.0.2 logs --namespace cri kube-system/$ID --tail 1 \
| grep -o '"command failed".*'
talosctl -n 10.5.0.2 get staticpods kube-apiserver -o yaml | grep feature-gatesErwartet:
ID READY
kube-system/kube-apiserver-talos-controlplane-1 False
kube-system/kube-controller-manager-talos-controlplane-1 False
kube-system/kube-scheduler-talos-controlplane-1 False
"command failed" err="unrecognized feature gate: DebugBuchGate"
- --feature-gates=DebugBuchGate=true
Ursache: Dieselbe Meldung wie auf RKE2 in Tag 15. Talos hat den Static Pod aus der Machine-Config neu gerendert; der Container stirbt sofort, das Kubelet startet ihn mit Backoff neu. Controller-Manager und Scheduler hängen am API-Server und sind deshalb ebenfalls nicht bereit.
Fix:
# auf argo
cat > apiserver-fix.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeAPIServerConfig
extraArgs:
feature-gates:
$patch: delete
EOF
T0=$(date +%s)
talosctl -n 10.5.0.2 patch mc --patch @apiserver-fix.yaml
until kubectl get --raw /readyz >/dev/null 2>&1; do sleep 2; done
echo "nach $(( $(date +%s) - T0 )) s"Erwartet:
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.2
Applied configuration without a reboot
nach 42 s
Nachweis: Erst wenn alle drei Static Pods wieder bereit sind, arbeitet auch der Controller-Manager wieder (Drill 3 braucht ihn):
# auf argo
until [ "$(talosctl -n 10.5.0.2 get staticpodstatus | grep -c True)" = 3 ]; do
sleep 5
done
kubectl get --raw /readyz; echo
talosctl -n 10.5.0.2 get staticpodstatus | awk '{print $6}' | sort | uniq -cErwartet:
ok
1 READY
3 True
talosctl patch kennt außerdem --mode try:
Die Änderung gilt nur für --timeout (Standard eine Minute)
und wird danach zurückgenommen, wenn du sie nicht bestätigst – ein
Sicherheitsnetz für Eingriffe an der Control Plane.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Der Log-Sammler aus Tag 11
Einbauen: Dasselbe DaemonSet wie in Tag 11, in einem Namespace ohne Label:
# auf argo
kubectl create namespace tag19-logs
cat > sammler.yaml <<'EOF'
apiVersion: apps/v1
kind: DaemonSet
metadata: {name: log-sammler, namespace: tag19-logs}
spec:
selector: {matchLabels: {app: log-sammler}}
template:
metadata: {labels: {app: log-sammler}}
spec:
containers:
- name: sammler
image: busybox:1.37
command: [sh, -c, 'ls /host-logs; sleep infinity']
volumeMounts: [{name: logs, mountPath: /host-logs, readOnly: true}]
volumes:
- name: logs
hostPath: {path: /var/log}
EOF
kubectl apply -f sammler.yaml 2>&1 | cut -c1-80Erwartet:
namespace/tag19-logs created
Warning: would violate PodSecurity "restricted:latest": allowPrivilegeEscalation != fa
daemonset.apps/log-sammler created
Symptom:
# auf argo
sleep 10
kubectl -n tag19-logs get ds log-sammler | cut -c1-72Erwartet:
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE
log-sammler 2 0 0 0 0 <none
Untersuchen:
# auf argo
kubectl -n tag19-logs events --types=Warning | tail -1 | cut -c1-250 | fold -w 86
kubectl get ns tag19-logs --show-labelsErwartet:
5s (x2 over 8s) Warning FailedCreate DaemonSet/log-sammler (combined from simil
ar events): Error creating: pods "log-sammler-qp6g7" is forbidden: violates PodSecuri
ty "baseline:latest": hostPath volumes (volume "logs")
NAME STATUS AGE LABELS
tag19-logs Active 11s kubernetes.io/metadata.name=tag19-logs
Ursache: Kein Label am Namespace – also gilt die
Talos-Vorgabe baseline (Tag 18, Drill 7). Auf RKE2 lief
derselbe Sammler ohne jedes Label, weil RKE2 dort
privileged vorgibt. Die Warnung beim apply
nennt nur restricted, weil warn auf
restricted steht; abgelehnt wird später, am Pod.
Fix:
# auf argo
kubectl label namespace tag19-logs pod-security.kubernetes.io/enforce=privileged
kubectl -n tag19-logs rollout status ds/log-sammler --timeout=120s | tail -1Nachweis:
# auf argo
kubectl -n tag19-logs logs ds/log-sammler | head -3Erwartet:
Found 2 pods, using pod/log-sammler-rv8nl
apid.log
audit
Unter /var/log liegen auf Talos die Logs der
Talos-Dienste (apid.log, containerd.log) und
das Audit-Log – kein syslog.
Fortschritt speichern? Kostenlos registrieren
Drill 4: local-path scheitert an Pod Security
Einbauen: local-path-provisioner wie in Tag 0, aber mit dem User Volume aus Tag 18 als Ablage:
# auf argo
LP=https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.37/deploy
kubectl apply -f ${LP}/local-path-storage.yaml 2>&1 | grep -v -E '^Warning|rbac'
kubectl -n local-path-storage get cm local-path-config -o yaml \
| sed 's#/opt/local-path-provisioner#/var/mnt/local-path-provisioner#' \
| kubectl replace -f -
kubectl -n local-path-storage rollout status deploy/local-path-provisioner | tail -1Erwartet:
namespace/local-path-storage created
serviceaccount/local-path-provisioner-service-account created
deployment.apps/local-path-provisioner created
storageclass.storage.k8s.io/local-path created
configmap/local-path-config created
configmap/local-path-config replaced
deployment "local-path-provisioner" successfully rolled out
Tipp: Die ConfigMap enthält neben
config.jsonauchsetup,teardownundhelperPod.yaml. Wer sie mitcreate configmap --from-file=config.jsonersetzt, löscht die drei anderen Schlüssel – der Provisioner meldet dannfailed to load the new helper pod manifestund legt nie ein Volume an. Deshalbget | sed | replace.
Jetzt ein PVC und ein Pod, der restricted erfüllt:
# auf argo
cat > pvc.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: daten, namespace: tag19}
spec:
storageClassName: local-path
accessModes: [ReadWriteOnce]
resources: {requests: {storage: 100Mi}}
---
apiVersion: v1
kind: Pod
metadata: {name: schreiber, namespace: tag19}
spec:
securityContext:
runAsNonRoot: true
runAsUser: 1000
seccompProfile: {type: RuntimeDefault}
containers:
- name: schreiber
image: busybox:1.37
command: [sh, -c, "date > /daten/stempel; sleep infinity"]
securityContext:
allowPrivilegeEscalation: false
capabilities: {drop: [ALL]}
volumeMounts: [{name: daten, mountPath: /daten}]
volumes:
- name: daten
persistentVolumeClaim: {claimName: daten}
EOF
kubectl apply -f pvc.yamlSymptom:
# auf argo
sleep 30
kubectl -n tag19 get pvc daten | cut -c1-60
kubectl -n tag19 get pod schreiberErwartet:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS
daten Pending local-path
NAME READY STATUS RESTARTS AGE
schreiber 0/1 Pending 0 31s
Untersuchen:
# auf argo
kubectl -n tag19 get events --field-selector reason=ProvisioningFailed \
-o jsonpath='{.items[-1].message}' | fold -w 86; echoErwartet:
failed to provision volume with StorageClass "local-path": failed to create volume pvc
-7162e8b4-845d-46c7-b5dc-db4ac2eacf30: pods "helper-pod-create-pvc-7162e8b4-845d-46c7-
b5dc-db4ac2eacf30" is forbidden: violates PodSecurity "baseline:latest": hostPath volu
mes (volume "data")
Ursache: Der Pod selbst ist harmlos. Der Provisioner
startet für jedes Volume einen kurzlebigen Helper-Pod mit
hostPath, um das Verzeichnis auf dem Knoten anzulegen – und
genau den lehnt baseline im Namespace
local-path-storage ab. Der Fehler steht deshalb am PVC,
nicht am Pod.
Fix:
# auf argo
kubectl label namespace local-path-storage pod-security.kubernetes.io/enforce=privileged
kubectl -n tag19 wait --for=condition=Ready pod/schreiber --timeout=120sNachweis: Das Volume liegt im User Volume des Knotens, auf dem der Pod läuft:
# auf argo
N=$(kubectl -n tag19 get pod schreiber -o jsonpath='{.status.hostIP}')
V=$(kubectl -n tag19 get pvc daten -o jsonpath='{.spec.volumeName}')
echo $N
talosctl -n $N ls /var/mnt/local-path-provisioner
talosctl -n $N read /var/mnt/local-path-provisioner/${V}_tag19_daten/stempelErwartet:
pod/schreiber condition met
10.5.0.3
.
pvc-7162e8b4-845d-46c7-b5dc-db4ac2eacf30_tag19_daten
Fri Nov 20 13:27:15 UTC 2026
Fortschritt speichern? Kostenlos registrieren
Drill 5: Der Mirror mit Tippfehler
Tag 4 auf Talos: Statt registries.yaml gibt es das
Dokument RegistryMirrorConfig.
skipFallback: true verbietet den Rückgriff auf Docker Hub –
praktisch in abgeschotteten Netzen, fatal bei einem Tippfehler.
Einbauen:
# auf argo
cat > mirror-kaputt.yaml <<'EOF'
apiVersion: v1alpha1
kind: RegistryMirrorConfig
name: docker.io
endpoints:
- url: https://mirror.gcr.example
skipFallback: true
EOF
talosctl -n 10.5.0.2,10.5.0.3 patch mc --patch @mirror-kaputt.yamlErwartet:
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.2
Applied configuration without a reboot
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.3
Applied configuration without a reboot
Symptom:
# auf argo
kubectl -n tag19 run neu --image=nginxinc/nginx-unprivileged:1.31.7-alpine \
--labels=app=neu 2>&1 | grep -v '^Warning'
sleep 30
kubectl -n tag19 get pod neuErwartet:
pod/neu created
NAME READY STATUS RESTARTS AGE
neu 0/1 ImagePullBackOff 0 31s
Je nach Zeitpunkt steht dort noch ErrImagePull.
Untersuchen:
# auf argo
kubectl -n tag19 get events --field-selector involvedObject.name=neu,reason=Failed \
-o jsonpath='{.items[0].message}' | fold -w 86; echo
talosctl -n 10.5.0.3 read /etc/cri/conf.d/hosts/docker.io/hosts.tomlErwartet:
Failed to pull image "nginxinc/nginx-unprivileged:1.31.7-alpine": failed to pull and u
npack image "docker.io/nginxinc/nginx-unprivileged:1.31.7-alpine": failed to resolve r
eference "docker.io/nginxinc/nginx-unprivileged:1.31.7-alpine": failed to do request:
Head "https://mirror.gcr.example/v2/nginxinc/nginx-unprivileged/manifests/1.31.7-alpin
e?ns=%5BREDACTED%5D": dial tcp: lookup mirror.gcr.example on 127.0.0.53:53: no such ho
st
server = 'https://mirror.gcr.example'
capabilities = ['pull', 'resolve']
Ursache: Die Meldung nennt den Mirror, nicht Docker
Hub – die erste Spur. Talos schreibt aus dem Dokument die
containerd-Datei hosts.toml; mit skipFallback
steht der Mirror als einziger server darin.
Fix: Ein Patch kann ein ganzes Dokument löschen und in derselben Datei neu anlegen. Das ist eindeutig – bei einem einfachen Merge müsstest du wissen, ob Talos die Endpunkt-Liste ersetzt oder ergänzt.
# auf argo
cat > mirror-fix.yaml <<'EOF'
apiVersion: v1alpha1
kind: RegistryMirrorConfig
name: docker.io
$patch: delete
---
apiVersion: v1alpha1
kind: RegistryMirrorConfig
name: docker.io
endpoints:
- url: https://mirror.gcr.io
skipFallback: true
EOF
talosctl -n 10.5.0.2,10.5.0.3 patch mc --patch @mirror-fix.yaml 2>&1 | grep -c patched
talosctl -n 10.5.0.3 read /etc/cri/conf.d/hosts/docker.io/hosts.tomlErwartet:
2
server = 'https://mirror.gcr.io'
capabilities = ['pull', 'resolve']
Nachweis:
# auf argo
kubectl -n tag19 delete pod neu
kubectl -n tag19 run neu --image=nginxinc/nginx-unprivileged:1.31.7-alpine \
--labels=app=neu 2>&1 | grep -v '^Warning'
kubectl -n tag19 wait --for=condition=Ready pod/neu --timeout=120sErwartet:
pod "neu" deleted from tag19 namespace
pod/neu created
pod/neu condition met
Der Mirror bleibt eingerichtet: Ab jetzt kommt jedes Docker-Hub-Image
über mirror.gcr.io, wie auf RKE2 seit Tag 4.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Die NetworkPolicy, die nichts tut
Einbauen: Ein Service vor neu, ein
Client – und eine Default-Deny-Policy:
# auf argo
kubectl -n tag19 expose pod neu --port 80 --target-port 8080
kubectl -n tag19 run client --image=nicolaka/netshoot:v0.15 --command \
-- sleep infinity 2>&1 | grep -v '^Warning'
kubectl -n tag19 wait --for=condition=Ready pod/client --timeout=120s
cat > deny.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: default-deny, namespace: tag19}
spec:
podSelector: {}
policyTypes: [Ingress]
EOF
kubectl apply -f deny.yamlErwartet:
service/neu exposed
pod/client created
pod/client condition met
networkpolicy.networking.k8s.io/default-deny created
Symptom: Die Gegenprobe, die scheitern muss:
# auf argo
sleep 5
kubectl -n tag19 exec client -- curl -s -m 5 -o /dev/null -w '%{http_code}\n' http://neuErwartet:
200
Untersuchen:
# auf argo
kubectl -n kube-system get ds | cut -c1-60Erwartet:
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE
kube-flannel 2 2 2 2 2
kube-proxy 2 2 2 2 2
Ursache: Die API speichert NetworkPolicies,
durchsetzen muss sie das CNI. Talos bringt Flannel mit, und Flannel
kennt keine Policies. Auf RKE2 setzt Canal sie durch (Tag 8), deshalb
dort Connection timed out.
Fix: Kein Patch, sondern eine Entscheidung beim
Aufbau: Machine-Config mit CNI none erzeugen und Cilium
oder Calico selbst installieren. Für einen laufenden Cluster ist das ein
Umbau. Bis dahin gilt: jede Policy mit einer Gegenprobe testen.
Nachweis: Die Policy existiert und wirkt trotzdem nicht:
# auf argo
kubectl -n tag19 get networkpolicyErwartet:
NAME POD-SELECTOR AGE
default-deny <none> 20s
Fortschritt speichern? Kostenlos registrieren
Drill 7: Kein metrics-server, dann x509
Einbauen: Das Deployment aus Tag 17, diesmal gleich mit Request, und ein HPA:
# auf argo
cat > web.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: web, namespace: tag19}
spec:
replicas: 2
selector: {matchLabels: {app: web}}
template:
metadata: {labels: {app: web}}
spec:
containers:
- name: web
image: traefik/whoami:v1.11
resources: {requests: {cpu: 10m}}
EOF
kubectl apply -f web.yaml 2>&1 | grep -v '^Warning'
kubectl -n tag19 rollout status deploy/web | tail -1
kubectl -n tag19 autoscale deploy web --cpu=50% --min=2 --max=4Symptom:
# auf argo
sleep 45
kubectl -n tag19 get hpa
kubectl top nodes
kubectl get apiservice v1beta1.metrics.k8s.io 2>&1 | fold -w 86Erwartet:
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web cpu: <unknown>/50% 2 4 2 46s
error: Metrics API not available
Error from server (NotFound): apiservices.apiregistration.k8s.io "v1beta1.metrics.k8s.
io" not found
Ursache, Teil 1: Talos bringt keinen metrics-server mit – den APIService gibt es gar nicht. Auf RKE2 war in Tag 17 nur der Request das Problem.
Fix, Teil 1: metrics-server aus dem offiziellen Chart:
# auf argo
helm repo add metrics-server https://kubernetes-sigs.github.io/metrics-server/
helm install metrics-server metrics-server/metrics-server --version 3.14.0 \
-n kube-system | grep STATUS
sleep 60
kubectl -n kube-system get pods -l app.kubernetes.io/name=metrics-server
kubectl get apiservice v1beta1.metrics.k8s.ioErwartet (gekürzt):
STATUS: deployed
NAME READY STATUS RESTARTS AGE
metrics-server-c4994bc54-clrc4 0/1 Running 0 61s
NAME SERVICE AVAILABLE AGE
v1beta1.metrics.k8s.io kube-system/metrics-server False (MissingEndpoints) 61s
Er läuft, wird aber nie bereit. Warum, steht in seinem Log:
# auf argo
kubectl -n kube-system logs deploy/metrics-server | grep -m1 'Failed to scrape' \
| cut -c1-300 | fold -w 86Erwartet:
E1120 13:32:04.305236 1 scraper.go:149] "Failed to scrape node" err="Get \"https
://10.5.0.3:10250/metrics/resource\": tls: failed to verify certificate: x509: cannot
validate certificate for 10.5.0.3 because it doesn't contain any IP SANs" node="talos-
worker-1"
Ursache, Teil 2: Das Kubelet auf Talos signiert sein
Serving-Zertifikat selbst, ohne IP im Zertifikat. metrics-server prüft
es gegen die Cluster-CA und lehnt ab.
--kubelet-insecure-tls würde die Prüfung abschalten – die
Talos-Doku nennt den sauberen Weg: Das Kubelet beantragt sein Zertifikat
per CSR bei der Cluster-CA.
Fix, Teil 2:
# auf argo
cat > kubelet-serving.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeletConfig
extraArgs:
rotate-server-certificates: "true"
EOF
talosctl -n 10.5.0.2,10.5.0.3 patch mc --patch @kubelet-serving.yaml 2>&1 \
| grep -c patched
sleep 30
kubectl get csr | grep -E 'NAME|serving' | awk '{print $1, $3, $NF}'
kubectl -n tag19 logs deploy/web --tail 1 2>&1 | cut -c1-120 | fold -w 86Erwartet:
2
NAME SIGNERNAME CONDITION
csr-wl6km kubernetes.io/kubelet-serving Pending
csr-xp8k6 kubernetes.io/kubelet-serving Pending
Found 2 pods, using pod/web-fbcb7bbfb-9twhx
Error from server: Get "https://10.5.0.3:10250/containerLogs/tag19/web-fbcb7bbfb-9twhx
/web?tailLines=1": remote error: tls: internal erro
Solange die CSRs Pending stehen, hat das Kubelet
gar kein Serving-Zertifikat – auch
kubectl logs und exec scheitern. Kubernetes
genehmigt Serving-CSRs nicht selbst. Das übernimmt ein kleiner Approver,
den die Talos-Doku empfiehlt:
# auf argo
AP=https://raw.githubusercontent.com/alex1989hu/kubelet-serving-cert-approver
kubectl apply -f ${AP}/v0.12.1/deploy/standalone-install.yaml 2>&1 | grep deployment
sleep 30
kubectl get csr | grep -E 'NAME|serving' | awk '{print $1, $3, $NF}'Erwartet:
deployment.apps/kubelet-serving-cert-approver created
NAME SIGNERNAME CONDITION
csr-wl6km kubernetes.io/kubelet-serving Approved,Issued
csr-xp8k6 kubernetes.io/kubelet-serving Approved,Issued
Nachweis:
# auf argo
kubectl -n kube-system rollout restart deploy/metrics-server
kubectl -n kube-system rollout status deploy/metrics-server --timeout=120s | tail -1
sleep 30
kubectl top nodes
kubectl -n tag19 get hpaErwartet:
deployment.apps/metrics-server restarted
deployment "metrics-server" successfully rolled out
NAME CPU(cores) CPU(%) MEMORY(bytes) MEMORY(%)
talos-controlplane-1 917m 47% 887Mi 39%
talos-worker-1 375m 19% 550Mi 38%
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
web Deployment/web cpu: 0%/50% 2 4 2 4m
Fortschritt speichern? Kostenlos registrieren
Drill 8: Harter Knotenausfall
talosctl shutdown ist kein Ausfall: Es sperrt und leert
den Knoten vorher (--force schaltet das ab, laut
talosctl shutdown --help „without a cordon/drain“). Einen
echten Ausfall spielst du nach, indem du die VM des Workers einfrierst –
SIGSTOP an den QEMU-Prozess hält sie an, ohne sie zu
zerstören.
Einbauen: Zwei Pods, möglichst auf beiden Knoten, mit kurzer Toleration (Tag 14):
# auf argo
cat > ausfall.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: ausfall, namespace: tag19}
spec:
replicas: 2
selector: {matchLabels: {app: ausfall}}
template:
metadata: {labels: {app: ausfall}}
spec:
affinity:
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 100
podAffinityTerm:
topologyKey: kubernetes.io/hostname
labelSelector: {matchLabels: {app: ausfall}}
tolerations:
- {key: node.kubernetes.io/unreachable, operator: Exists,
effect: NoExecute, tolerationSeconds: 30}
- {key: node.kubernetes.io/not-ready, operator: Exists,
effect: NoExecute, tolerationSeconds: 30}
containers:
- name: ausfall
image: traefik/whoami:v1.11
EOF
kubectl apply -f ausfall.yaml 2>&1 | grep -v '^Warning'
kubectl -n tag19 rollout status deploy/ausfall | tail -1
kubectl -n tag19 get pods -l app=ausfall \
-o custom-columns=NAME:.metadata.name,NODE:.spec.nodeNameErwartet:
deployment.apps/ausfall created
deployment "ausfall" successfully rolled out
NAME NODE
ausfall-8b4b4f5df-4qnm5 talos-controlplane-1
ausfall-8b4b4f5df-cg6p7 talos-worker-1
Achtung: Ein eingefrorener Knoten ist für den Cluster tot. Nur im Labor, und am Ende des Drills wieder auftauen.
# auf argo
pgrep -af '[q]emu-system.*talos-worker-1' | cut -c1-80
Q=$(pgrep -f '[q]emu-system.*talos-worker-1')
sudo kill -STOP $QErwartet:
162591 /usr/bin/qemu-system-x86_64 -m 2048 -smp cpus=2 -cpu max -nographic -devi
Die eckigen Klammern im Muster verhindern, dass pgrep
die eigene Kommandozeile findet.
Symptom:
# auf argo
for i in $(seq 9); do
echo "$(date +%T)" \
"$(kubectl get node talos-worker-1 --no-headers | awk '{print $2}')" \
"$(kubectl -n tag19 get pods -l app=ausfall --no-headers | awk '{print $3}' \
| sort | uniq -c | xargs)"
sleep 10
doneErwartet:
14:00:28 Ready 2 Running
14:00:39 Ready 2 Running
14:00:49 Ready 2 Running
14:01:00 Ready 2 Running
14:01:10 Ready 2 Running
14:01:21 NotReady 2 Running
14:01:32 NotReady 2 Running
14:01:42 NotReady 2 Running
14:01:53 NotReady 2 Running
Dieselben Fristen wie auf RKE2: rund 50 s bis NotReady,
dann 30 s Toleration, dann Ersatz – im Testlauf nach rund 85 s, kurz
nach dem Ende der Schleife.
Untersuchen:
# auf argo
timeout 20 talosctl -n 10.5.0.3 version 2>&1 | tail -1 | cut -c1-88
kubectl -n tag19 get pods -l app=ausfall -o wide | cut -c1-74Erwartet:
error getting version from node 10.5.0.3: rpc error: code = Unavailable desc = connectio
NAME READY STATUS RESTARTS AGE IP
ausfall-8b4b4f5df-4qnm5 1/1 Running 0 103s 10.244.1.8
ausfall-8b4b4f5df-cg6p7 1/1 Terminating 0 103s 10.244.0.1
ausfall-8b4b4f5df-nfd4l 1/1 Running 0 9s 10.244.1.9
Ursache: Auch die Talos-API des Knotens antwortet
nicht mehr – der Unterschied zu Drill 1, in dem nur das Kubelet stand
und talosctl weiter half. Antwortet ein Knoten weder über
Kubernetes noch über talosctl, liegt das Problem darunter:
VM, Hypervisor, Netz. Dort hilft nur die Konsole der VM (bei QEMU das
Log unter ~/.talos/clusters/talos/talos-worker-1.log).
Fix:
# auf argo
sudo kill -CONT $Q
kubectl wait --for=condition=Ready node/talos-worker-1 --timeout=120sNachweis:
# auf argo
kubectl -n tag19 get pods -l app=ausfall \
-o custom-columns=NAME:.metadata.name,NODE:.spec.nodeName
talosctl -n 10.5.0.3 service kubelet | sed -n '3,4p'Erwartet:
node/talos-worker-1 condition met
NAME NODE
ausfall-8b4b4f5df-4qnm5 talos-controlplane-1
ausfall-8b4b4f5df-nfd4l talos-controlplane-1
STATE Running
HEALTH OK
Der alte Pod ist weg, sobald das Kubelet zurück ist. Beide Pods stehen jetzt auf der Control Plane – Kubernetes verteilt nicht von selbst zurück.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Wann läuft das Serving-Zertifikat des API-Servers ab? Zeitziel: 60 s
- Wann läuft deine talosconfig ab? Zeitziel: 15 s
- Wo liegt das Audit-Log des API-Servers? Zeitziel: 30 s
- Auf wie vielen Knoten steht der Mirror für
docker.ioin der Machine-Config? Zeitziel: 45 s
Lösung
# auf argo
talosctl -n 10.5.0.2 get kubernetesdynamiccerts -o jsonpath='{.spec.apiServer.crt}' \
| base64 -d | openssl x509 -noout -subject -enddate
talosctl config info | tail -1
talosctl -n 10.5.0.2 ls /var/log/audit/kube
talosctl -n 10.5.0.2,10.5.0.3 get mc v1alpha1 -o jsonpath='{.spec}' \
| grep -c 'kind: RegistryMirrorConfig'Erwartet:
subject=O = kube-master, CN = kube-apiserver
notAfter=Nov 20 13:13:46 2027 GMT
Certificate expires: 1 year from now (2027-11-20)
.
kube-apiserver.log
2
Talos erneuert die Kubernetes-Zertifikate der Control Plane selbst;
die talosconfig nicht – nach einem Jahr erzeugst du mit
talosctl config new eine neue. Anders als RKE2 (Tag 11)
schreibt Talos ein Audit-Log (Metadata für jede Anfrage),
lesbar mit
talosctl read /var/log/audit/kube/kube-apiserver.log. Nach
dem ersten Patch gibt es neben v1alpha1 eine zweite
Ressource persistent; ohne die ID zählt get mc
doppelt.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
# auf argo
kubectl get nodesErwartet: beide Knoten Ready.
# auf argo
talosctl -n 10.5.0.2,10.5.0.3 services | grep -c -v -E ' OK |SERVICE'Erwartet: 2 – nur die beiden
dashboard-Dienste ohne Health-Check.
# auf argo
kubectl get apiservice v1beta1.metrics.k8s.io \
-o jsonpath='{.status.conditions[0].status}{"\n"}'Erwartet: True
Challenge
Installiere Falco mit den Werten aus Tag 13 in den Namespace
falco. Bring es zum Laufen, löse mit
cat /etc/shadow im Pod client einen Alarm aus
und finde den Container über talosctl auf dem richtigen
Knoten.
Hinweis: Zuerst scheitert nicht Falco, sondern seine Pods – lies die Events am DaemonSet.
Lösung
# auf argo
cat > falco-values.yaml <<'EOF'
tty: true
driver:
kind: modern_ebpf
falco:
json_output: true
EOF
helm repo add falcosecurity https://falcosecurity.github.io/charts
helm install falco falcosecurity/falco -n falco --create-namespace \
--version 9.2.2 -f falco-values.yaml 2>&1 | grep -E 'STATUS|REVISION'
sleep 20
kubectl -n falco get ds falco | cut -c1-60
kubectl -n falco events --for daemonset/falco | tail -1 | cut -c1-260 | fold -w 86Erwartet:
STATUS: deployed
REVISION: 1
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE
falco 2 0 0 0 0
10s (x3 over 18s) Warning FailedCreate DaemonSet/falco (combined from similar
events): Error creating: pods "falco-g52w7" is forbidden: violates PodSecurity "baseli
ne:latest": hostPath volumes (volumes "container-engine-socket-0", "container-engine-s
oc
Falco braucht privileged und hostPath – wie
der Log-Sammler:
# auf argo
kubectl label namespace falco pod-security.kubernetes.io/enforce=privileged
kubectl -n falco rollout status ds/falco --timeout=5m | tail -1
sleep 10
script -qec "kubectl -n tag19 exec -it client -- sh -c 'cat /etc/shadow >/dev/null'" \
/dev/null >/dev/null
sleep 5
A=$(kubectl -n falco logs -l app.kubernetes.io/name=falco -c falco --tail=-1 \
| grep -o '{.*/etc/shadow.*}' | tail -1)
echo "$A" | jq -c '[.hostname, .rule, .output_fields["k8s.pod.name"]]'Erwartet:
namespace/falco labeled
daemon set "falco" successfully rolled out
["talos-worker-1","Read sensitive file untrusted","client"]
script gibt exec -it ein Terminal, auch
wenn du die Zeile aus einer Datei ausführst; im eigenen Terminal reicht
kubectl -n tag19 exec -it client -- sh. Die zehn Sekunden
vor dem Auslösen braucht Falco nach dem Start, bis die Regeln geladen
sind – ohne sie fehlte im Testlauf der Alarm. Vom Knotennamen zur IP für
talosctl, dann der Container:
# auf argo
C=$(echo "$A" | jq -r '.output_fields["container.id"]')
N=$(kubectl get node "$(echo "$A" | jq -r .hostname)" \
-o jsonpath='{.status.addresses[0].address}')
echo "$N $C"
talosctl -n $N containers --namespace cri | grep $C | cut -c23-88
talosctl -n $N ls /run/containerd | head -3Erwartet:
10.5.0.3 948adf3e8c42
└─ tag19/client:client:948adf3e8c42
.
containerd.sock
containerd.sock.ttrpc
Die Kubernetes-Metadaten (k8s.pod.name) sind da, weil
die Socket-Liste des Charts /run/containerd/containerd.sock
enthält – auf Talos der Socket der CRI-Instanz. Auf RKE2 ist es genau
der Pfad, der in Tag 13 nur <NA> lieferte.
Fortschritt speichern? Kostenlos registrieren
Aufräumen
Das Buch braucht den Talos-Cluster ab hier nicht mehr. Erst die Namespaces, dann die VMs:
Achtung:
cluster destroylöscht beide VMs samt Platten. Der etcd-Snapshot unter~/debug/tag19bleibt, ist ohne den Cluster aber wertlos.
# auf argo
helm uninstall falco -n falco
kubectl delete namespace falco tag19 tag19-logs
sudo --preserve-env=HOME talosctl cluster destroy --name talos 2>&1 | tail -2
pgrep -c qemu-system
ip -br link | grep -c talosErwartet:
release "falco" uninstalled
namespace "falco" deleted
namespace "tag19" deleted
namespace "tag19-logs" deleted
removing state directory
removing json logs
0
0
Keine QEMU-Prozesse, keine Bridge mehr. talosctl,
kubectl und helm bleiben auf
argo; Kontext und talosconfig zeigen ins Leere, bis du
Drill 2 von Tag 18 erneut ausführst.
Interview-Notiz
- Der API-Server ist tot – wie siehst du auf Talos, warum?
talosctl containers --namespace crifür die Container-ID,talosctl logs --namespace crifür die Meldung,get staticpodsfür die gerenderten Flags; Fix perpatch mc. - Ein Manifest läuft auf RKE2, auf Talos nicht – erste
Vermutung? Pod Security
baseline: Events am DaemonSet bzw. am PVC lesen, Namespace-Label setzen. kubectl topauf Talos? metrics-server selbst installieren, vorher Kubelet-Serving-Zertifikate per CSR plus Approver, nie--kubelet-insecure-tls.
Enterprise-Notiz
- Patches vor dem Ausrollen mit
--dry-runprüfen und an der Control Plane mit--mode tryanwenden; Patches liegen im Git, nicht in der Shell-Historie. - Pod-Security-Ausnahmen gezielt pro Namespace (Label) oder zentral in
KubeAdmissionControlConfigunterexemptions– beides dokumentieren. - Das CNI wählt man beim Aufbau: Wer NetworkPolicies braucht, startet
mit CNI
noneund Cilium oder Calico. - Ein Knoten, der auch auf
talosctlnicht antwortet, ist ein Fall für die Plattform darunter (Hypervisor-Konsole, IPMI); Omni oder ein Out-of-Band-Zugang gehört in jedes Runbook.