Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 19: Dieselben Fehler auf Talos

Ziel: Du baust Fehler aus Tag 4 bis 17 auf Talos nach und findest sie ohne Shell – über talosctl, die Machine-Config und die Events. · Dauer: ca. 75 min · Voraussetzung: Tag 18

Briefing

  • Was auf RKE2 eine Datei unter /etc/rancher/rke2/ ist, ist auf Talos ein Dokument der Machine-Config. Ein Patch mit $patch: delete nimmt einen Eintrag wieder heraus.
  • Fällt der API-Server aus, bleibt die Talos-API: containers, logs, get und patch gehen weiter.
  • Viele Fehler, die es auf RKE2 nicht gibt, kommen von Pod Security baseline und vom schlanken Standard: Flannel ohne NetworkPolicies, kein metrics-server, kein Ingress.
Fehlerbild Symptom Wo die Antwort steht
Kubelet-Argument falsch Knoten NotReady talosctl service/logs kubelet
API-Server startet nicht kubectl ohne Antwort talosctl logs --namespace cri
hostPath verboten DaemonSet 0, PVC Pending Events, PSA-Vorgabe
Mirror kaputt ImagePullBackOff Event, hosts.toml
Policy ohne Wirkung Verbotenes geht durch CNI im Cluster
HPA blind <unknown>, x509-Fehler metrics-server-Log, CSRs

Drill 1: Tippfehler im Kubelet

Wie in der Challenge von Tag 14, nur über KubeletConfig. --dry-run zeigt vorher, was der Patch ändert:

Einbauen:

# auf argo
mkdir -p ~/debug/tag19 && cd ~/debug/tag19
kubectl create namespace tag19
cat > kubelet-tippfehler.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeletConfig
extraArgs:
  max-pod: "150"
EOF
talosctl -n 10.5.0.3 patch mc --patch @kubelet-tippfehler.yaml --dry-run 2>&1 \
  | grep '^+ *[a-z]'
talosctl -n 10.5.0.3 patch mc --patch @kubelet-tippfehler.yaml

Erwartet:

namespace/tag19 created
+extraArgs:
+    max-pod: "150"
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.3
Applied configuration without a reboot

Symptom (nach einer Minute):

# auf argo
sleep 60
kubectl get nodes

Erwartet:

NAME                   STATUS     ROLES           AGE   VERSION
talos-controlplane-1   Ready      control-plane   7m    v1.37.2
talos-worker-1         NotReady   <none>          7m    v1.37.2

Untersuchen:

# auf argo
talosctl -n 10.5.0.3 service kubelet | sed -n '1,6p' | cut -c1-88
talosctl -n 10.5.0.3 logs kubelet --tail 1 | grep -o '"command failed".*'
talosctl -n 10.5.0.3 get kubeletspec -o yaml | grep -- '--max'

Erwartet:

NODE                  10.5.0.3
ID                    kubelet
STATE                 Waiting
HEALTH                Fail
LAST HEALTH MESSAGE   Get "http://127.0.0.1:10248/healthz": dial tcp 127.0.0.1:10248: co
EVENTS                [Waiting]: Error running Containerd(kubelet), going to restart for
"command failed" err="failed to parse kubelet flag: unknown flag: --max-pod"
        - --max-pod=150

Ursache: Talos reicht extraArgs ungeprüft als Flags an das Kubelet weiter. Das Kubelet bricht beim Parsen ab, Talos startet es alle paar Sekunden neu („going to restart forever“) – wie rke2-agent mit Kubelet exited in Tag 14.

Fix: Den Eintrag per Patch löschen. Interaktiv ginge dasselbe mit talosctl -n 10.5.0.3 edit mc im Editor.

# auf argo
cat > kubelet-fix.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeletConfig
extraArgs:
  max-pod:
    $patch: delete
EOF
talosctl -n 10.5.0.3 patch mc --patch @kubelet-fix.yaml

Nachweis:

# auf argo
kubectl wait --for=condition=Ready node/talos-worker-1 --timeout=120s
talosctl -n 10.5.0.3 service kubelet | sed -n '3,4p'

Erwartet:

node/talos-worker-1 condition met
STATE    Running
HEALTH   OK

Fortschritt speichern? Kostenlos registrieren

Drill 2: Der API-Server startet nicht

Tag 15 auf Talos: ein unbekanntes Feature-Gate, diesmal über KubeAPIServerConfig.

Achtung: Der Patch legt die Kubernetes-API lahm. Vorher ein etcd-Snapshot (Tag 18), nur im Labor.

Einbauen:

# auf argo
talosctl -n 10.5.0.2 etcd snapshot ~/debug/tag19/vor-apiserver.snapshot | head -1
cat > apiserver-kaputt.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeAPIServerConfig
extraArgs:
  feature-gates: DebugBuchGate=true
EOF
talosctl -n 10.5.0.2 patch mc --patch @apiserver-kaputt.yaml

Erwartet:

etcd snapshot saved to "/home/ubuntu/debug/tag19/vor-apiserver.snapshot" (1847328 bytes)
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.2
Applied configuration without a reboot

Symptom:

# auf argo
sleep 45
kubectl get nodes 2>&1 | cut -c1-88

Erwartet:

Unable to connect to the server: EOF

Je nach Zeitpunkt auch connection reset by peer oder connection refused. kubectl hilft nicht mehr weiter – Talos schon:

Untersuchen:

# auf argo
talosctl -n 10.5.0.2 get staticpodstatus | awk '{print $4, $6}'
ID=$(talosctl -n 10.5.0.2 containers --namespace cri \
  | grep -o 'kube-apiserver-talos-controlplane-1:kube-apiserver:[0-9a-f]*' | tail -1)
talosctl -n 10.5.0.2 logs --namespace cri kube-system/$ID --tail 1 \
  | grep -o '"command failed".*'
talosctl -n 10.5.0.2 get staticpods kube-apiserver -o yaml | grep feature-gates

Erwartet:

ID READY
kube-system/kube-apiserver-talos-controlplane-1 False
kube-system/kube-controller-manager-talos-controlplane-1 False
kube-system/kube-scheduler-talos-controlplane-1 False
"command failed" err="unrecognized feature gate: DebugBuchGate"
                - --feature-gates=DebugBuchGate=true

Ursache: Dieselbe Meldung wie auf RKE2 in Tag 15. Talos hat den Static Pod aus der Machine-Config neu gerendert; der Container stirbt sofort, das Kubelet startet ihn mit Backoff neu. Controller-Manager und Scheduler hängen am API-Server und sind deshalb ebenfalls nicht bereit.

Fix:

# auf argo
cat > apiserver-fix.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeAPIServerConfig
extraArgs:
  feature-gates:
    $patch: delete
EOF
T0=$(date +%s)
talosctl -n 10.5.0.2 patch mc --patch @apiserver-fix.yaml
until kubectl get --raw /readyz >/dev/null 2>&1; do sleep 2; done
echo "nach $(( $(date +%s) - T0 )) s"

Erwartet:

patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.2
Applied configuration without a reboot
nach 42 s

Nachweis: Erst wenn alle drei Static Pods wieder bereit sind, arbeitet auch der Controller-Manager wieder (Drill 3 braucht ihn):

# auf argo
until [ "$(talosctl -n 10.5.0.2 get staticpodstatus | grep -c True)" = 3 ]; do
  sleep 5
done
kubectl get --raw /readyz; echo
talosctl -n 10.5.0.2 get staticpodstatus | awk '{print $6}' | sort | uniq -c

Erwartet:

ok
      1 READY
      3 True

talosctl patch kennt außerdem --mode try: Die Änderung gilt nur für --timeout (Standard eine Minute) und wird danach zurückgenommen, wenn du sie nicht bestätigst – ein Sicherheitsnetz für Eingriffe an der Control Plane.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Der Log-Sammler aus Tag 11

Einbauen: Dasselbe DaemonSet wie in Tag 11, in einem Namespace ohne Label:

# auf argo
kubectl create namespace tag19-logs
cat > sammler.yaml <<'EOF'
apiVersion: apps/v1
kind: DaemonSet
metadata: {name: log-sammler, namespace: tag19-logs}
spec:
  selector: {matchLabels: {app: log-sammler}}
  template:
    metadata: {labels: {app: log-sammler}}
    spec:
      containers:
      - name: sammler
        image: busybox:1.37
        command: [sh, -c, 'ls /host-logs; sleep infinity']
        volumeMounts: [{name: logs, mountPath: /host-logs, readOnly: true}]
      volumes:
      - name: logs
        hostPath: {path: /var/log}
EOF
kubectl apply -f sammler.yaml 2>&1 | cut -c1-80

Erwartet:

namespace/tag19-logs created
Warning: would violate PodSecurity "restricted:latest": allowPrivilegeEscalation != fa
daemonset.apps/log-sammler created

Symptom:

# auf argo
sleep 10
kubectl -n tag19-logs get ds log-sammler | cut -c1-72

Erwartet:

NAME          DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE 
log-sammler   2         0         0       0            0           <none

Untersuchen:

# auf argo
kubectl -n tag19-logs events --types=Warning | tail -1 | cut -c1-250 | fold -w 86
kubectl get ns tag19-logs --show-labels

Erwartet:

5s (x2 over 8s)   Warning   FailedCreate   DaemonSet/log-sammler   (combined from simil
ar events): Error creating: pods "log-sammler-qp6g7" is forbidden: violates PodSecuri
ty "baseline:latest": hostPath volumes (volume "logs")
NAME         STATUS   AGE   LABELS
tag19-logs   Active   11s   kubernetes.io/metadata.name=tag19-logs

Ursache: Kein Label am Namespace – also gilt die Talos-Vorgabe baseline (Tag 18, Drill 7). Auf RKE2 lief derselbe Sammler ohne jedes Label, weil RKE2 dort privileged vorgibt. Die Warnung beim apply nennt nur restricted, weil warn auf restricted steht; abgelehnt wird später, am Pod.

Fix:

# auf argo
kubectl label namespace tag19-logs pod-security.kubernetes.io/enforce=privileged
kubectl -n tag19-logs rollout status ds/log-sammler --timeout=120s | tail -1

Nachweis:

# auf argo
kubectl -n tag19-logs logs ds/log-sammler | head -3

Erwartet:

Found 2 pods, using pod/log-sammler-rv8nl
apid.log
audit

Unter /var/log liegen auf Talos die Logs der Talos-Dienste (apid.log, containerd.log) und das Audit-Log – kein syslog.

Fortschritt speichern? Kostenlos registrieren

Drill 4: local-path scheitert an Pod Security

Einbauen: local-path-provisioner wie in Tag 0, aber mit dem User Volume aus Tag 18 als Ablage:

# auf argo
LP=https://raw.githubusercontent.com/rancher/local-path-provisioner/v0.0.37/deploy
kubectl apply -f ${LP}/local-path-storage.yaml 2>&1 | grep -v -E '^Warning|rbac'
kubectl -n local-path-storage get cm local-path-config -o yaml \
  | sed 's#/opt/local-path-provisioner#/var/mnt/local-path-provisioner#' \
  | kubectl replace -f -
kubectl -n local-path-storage rollout status deploy/local-path-provisioner | tail -1

Erwartet:

namespace/local-path-storage created
serviceaccount/local-path-provisioner-service-account created
deployment.apps/local-path-provisioner created
storageclass.storage.k8s.io/local-path created
configmap/local-path-config created
configmap/local-path-config replaced
deployment "local-path-provisioner" successfully rolled out

Tipp: Die ConfigMap enthält neben config.json auch setup, teardown und helperPod.yaml. Wer sie mit create configmap --from-file=config.json ersetzt, löscht die drei anderen Schlüssel – der Provisioner meldet dann failed to load the new helper pod manifest und legt nie ein Volume an. Deshalb get | sed | replace.

Jetzt ein PVC und ein Pod, der restricted erfüllt:

# auf argo
cat > pvc.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata: {name: daten, namespace: tag19}
spec:
  storageClassName: local-path
  accessModes: [ReadWriteOnce]
  resources: {requests: {storage: 100Mi}}
---
apiVersion: v1
kind: Pod
metadata: {name: schreiber, namespace: tag19}
spec:
  securityContext:
    runAsNonRoot: true
    runAsUser: 1000
    seccompProfile: {type: RuntimeDefault}
  containers:
  - name: schreiber
    image: busybox:1.37
    command: [sh, -c, "date > /daten/stempel; sleep infinity"]
    securityContext:
      allowPrivilegeEscalation: false
      capabilities: {drop: [ALL]}
    volumeMounts: [{name: daten, mountPath: /daten}]
  volumes:
  - name: daten
    persistentVolumeClaim: {claimName: daten}
EOF
kubectl apply -f pvc.yaml

Symptom:

# auf argo
sleep 30
kubectl -n tag19 get pvc daten | cut -c1-60
kubectl -n tag19 get pod schreiber

Erwartet:

NAME    STATUS    VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS
daten   Pending                                      local-path  
NAME        READY   STATUS    RESTARTS   AGE
schreiber   0/1     Pending   0          31s

Untersuchen:

# auf argo
kubectl -n tag19 get events --field-selector reason=ProvisioningFailed \
  -o jsonpath='{.items[-1].message}' | fold -w 86; echo

Erwartet:

failed to provision volume with StorageClass "local-path": failed to create volume pvc
-7162e8b4-845d-46c7-b5dc-db4ac2eacf30: pods "helper-pod-create-pvc-7162e8b4-845d-46c7-
b5dc-db4ac2eacf30" is forbidden: violates PodSecurity "baseline:latest": hostPath volu
mes (volume "data")

Ursache: Der Pod selbst ist harmlos. Der Provisioner startet für jedes Volume einen kurzlebigen Helper-Pod mit hostPath, um das Verzeichnis auf dem Knoten anzulegen – und genau den lehnt baseline im Namespace local-path-storage ab. Der Fehler steht deshalb am PVC, nicht am Pod.

Fix:

# auf argo
kubectl label namespace local-path-storage pod-security.kubernetes.io/enforce=privileged
kubectl -n tag19 wait --for=condition=Ready pod/schreiber --timeout=120s

Nachweis: Das Volume liegt im User Volume des Knotens, auf dem der Pod läuft:

# auf argo
N=$(kubectl -n tag19 get pod schreiber -o jsonpath='{.status.hostIP}')
V=$(kubectl -n tag19 get pvc daten -o jsonpath='{.spec.volumeName}')
echo $N
talosctl -n $N ls /var/mnt/local-path-provisioner
talosctl -n $N read /var/mnt/local-path-provisioner/${V}_tag19_daten/stempel

Erwartet:

pod/schreiber condition met
10.5.0.3
.
pvc-7162e8b4-845d-46c7-b5dc-db4ac2eacf30_tag19_daten
Fri Nov 20 13:27:15 UTC 2026

Fortschritt speichern? Kostenlos registrieren

Drill 5: Der Mirror mit Tippfehler

Tag 4 auf Talos: Statt registries.yaml gibt es das Dokument RegistryMirrorConfig. skipFallback: true verbietet den Rückgriff auf Docker Hub – praktisch in abgeschotteten Netzen, fatal bei einem Tippfehler.

Einbauen:

# auf argo
cat > mirror-kaputt.yaml <<'EOF'
apiVersion: v1alpha1
kind: RegistryMirrorConfig
name: docker.io
endpoints:
  - url: https://mirror.gcr.example
skipFallback: true
EOF
talosctl -n 10.5.0.2,10.5.0.3 patch mc --patch @mirror-kaputt.yaml

Erwartet:

patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.2
Applied configuration without a reboot
patched MachineConfigs.config.talos.dev/v1alpha1 at the node 10.5.0.3
Applied configuration without a reboot

Symptom:

# auf argo
kubectl -n tag19 run neu --image=nginxinc/nginx-unprivileged:1.31.7-alpine \
  --labels=app=neu 2>&1 | grep -v '^Warning'
sleep 30
kubectl -n tag19 get pod neu

Erwartet:

pod/neu created
NAME   READY   STATUS             RESTARTS   AGE
neu    0/1     ImagePullBackOff   0          31s

Je nach Zeitpunkt steht dort noch ErrImagePull.

Untersuchen:

# auf argo
kubectl -n tag19 get events --field-selector involvedObject.name=neu,reason=Failed \
  -o jsonpath='{.items[0].message}' | fold -w 86; echo
talosctl -n 10.5.0.3 read /etc/cri/conf.d/hosts/docker.io/hosts.toml

Erwartet:

Failed to pull image "nginxinc/nginx-unprivileged:1.31.7-alpine": failed to pull and u
npack image "docker.io/nginxinc/nginx-unprivileged:1.31.7-alpine": failed to resolve r
eference "docker.io/nginxinc/nginx-unprivileged:1.31.7-alpine": failed to do request: 
Head "https://mirror.gcr.example/v2/nginxinc/nginx-unprivileged/manifests/1.31.7-alpin
e?ns=%5BREDACTED%5D": dial tcp: lookup mirror.gcr.example on 127.0.0.53:53: no such ho
st
server = 'https://mirror.gcr.example'
capabilities = ['pull', 'resolve']

Ursache: Die Meldung nennt den Mirror, nicht Docker Hub – die erste Spur. Talos schreibt aus dem Dokument die containerd-Datei hosts.toml; mit skipFallback steht der Mirror als einziger server darin.

Fix: Ein Patch kann ein ganzes Dokument löschen und in derselben Datei neu anlegen. Das ist eindeutig – bei einem einfachen Merge müsstest du wissen, ob Talos die Endpunkt-Liste ersetzt oder ergänzt.

# auf argo
cat > mirror-fix.yaml <<'EOF'
apiVersion: v1alpha1
kind: RegistryMirrorConfig
name: docker.io
$patch: delete
---
apiVersion: v1alpha1
kind: RegistryMirrorConfig
name: docker.io
endpoints:
  - url: https://mirror.gcr.io
skipFallback: true
EOF
talosctl -n 10.5.0.2,10.5.0.3 patch mc --patch @mirror-fix.yaml 2>&1 | grep -c patched
talosctl -n 10.5.0.3 read /etc/cri/conf.d/hosts/docker.io/hosts.toml

Erwartet:

2
server = 'https://mirror.gcr.io'
capabilities = ['pull', 'resolve']

Nachweis:

# auf argo
kubectl -n tag19 delete pod neu
kubectl -n tag19 run neu --image=nginxinc/nginx-unprivileged:1.31.7-alpine \
  --labels=app=neu 2>&1 | grep -v '^Warning'
kubectl -n tag19 wait --for=condition=Ready pod/neu --timeout=120s

Erwartet:

pod "neu" deleted from tag19 namespace
pod/neu created
pod/neu condition met

Der Mirror bleibt eingerichtet: Ab jetzt kommt jedes Docker-Hub-Image über mirror.gcr.io, wie auf RKE2 seit Tag 4.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Die NetworkPolicy, die nichts tut

Einbauen: Ein Service vor neu, ein Client – und eine Default-Deny-Policy:

# auf argo
kubectl -n tag19 expose pod neu --port 80 --target-port 8080
kubectl -n tag19 run client --image=nicolaka/netshoot:v0.15 --command \
  -- sleep infinity 2>&1 | grep -v '^Warning'
kubectl -n tag19 wait --for=condition=Ready pod/client --timeout=120s
cat > deny.yaml <<'EOF'
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata: {name: default-deny, namespace: tag19}
spec:
  podSelector: {}
  policyTypes: [Ingress]
EOF
kubectl apply -f deny.yaml

Erwartet:

service/neu exposed
pod/client created
pod/client condition met
networkpolicy.networking.k8s.io/default-deny created

Symptom: Die Gegenprobe, die scheitern muss:

# auf argo
sleep 5
kubectl -n tag19 exec client -- curl -s -m 5 -o /dev/null -w '%{http_code}\n' http://neu

Erwartet:

200

Untersuchen:

# auf argo
kubectl -n kube-system get ds | cut -c1-60

Erwartet:

NAME           DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE
kube-flannel   2         2         2       2            2        
kube-proxy     2         2         2       2            2        

Ursache: Die API speichert NetworkPolicies, durchsetzen muss sie das CNI. Talos bringt Flannel mit, und Flannel kennt keine Policies. Auf RKE2 setzt Canal sie durch (Tag 8), deshalb dort Connection timed out.

Fix: Kein Patch, sondern eine Entscheidung beim Aufbau: Machine-Config mit CNI none erzeugen und Cilium oder Calico selbst installieren. Für einen laufenden Cluster ist das ein Umbau. Bis dahin gilt: jede Policy mit einer Gegenprobe testen.

Nachweis: Die Policy existiert und wirkt trotzdem nicht:

# auf argo
kubectl -n tag19 get networkpolicy

Erwartet:

NAME           POD-SELECTOR   AGE
default-deny   <none>         20s

Fortschritt speichern? Kostenlos registrieren

Drill 7: Kein metrics-server, dann x509

Einbauen: Das Deployment aus Tag 17, diesmal gleich mit Request, und ein HPA:

# auf argo
cat > web.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: web, namespace: tag19}
spec:
  replicas: 2
  selector: {matchLabels: {app: web}}
  template:
    metadata: {labels: {app: web}}
    spec:
      containers:
      - name: web
        image: traefik/whoami:v1.11
        resources: {requests: {cpu: 10m}}
EOF
kubectl apply -f web.yaml 2>&1 | grep -v '^Warning'
kubectl -n tag19 rollout status deploy/web | tail -1
kubectl -n tag19 autoscale deploy web --cpu=50% --min=2 --max=4

Symptom:

# auf argo
sleep 45
kubectl -n tag19 get hpa
kubectl top nodes
kubectl get apiservice v1beta1.metrics.k8s.io 2>&1 | fold -w 86

Erwartet:

NAME   REFERENCE        TARGETS              MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   cpu: <unknown>/50%   2         4         2          46s
error: Metrics API not available
Error from server (NotFound): apiservices.apiregistration.k8s.io "v1beta1.metrics.k8s.
io" not found

Ursache, Teil 1: Talos bringt keinen metrics-server mit – den APIService gibt es gar nicht. Auf RKE2 war in Tag 17 nur der Request das Problem.

Fix, Teil 1: metrics-server aus dem offiziellen Chart:

# auf argo
helm repo add metrics-server https://kubernetes-sigs.github.io/metrics-server/
helm install metrics-server metrics-server/metrics-server --version 3.14.0 \
  -n kube-system | grep STATUS
sleep 60
kubectl -n kube-system get pods -l app.kubernetes.io/name=metrics-server
kubectl get apiservice v1beta1.metrics.k8s.io

Erwartet (gekürzt):

STATUS: deployed
NAME                             READY   STATUS    RESTARTS   AGE
metrics-server-c4994bc54-clrc4   0/1     Running   0          61s
NAME                     SERVICE                      AVAILABLE                  AGE
v1beta1.metrics.k8s.io   kube-system/metrics-server   False (MissingEndpoints)   61s

Er läuft, wird aber nie bereit. Warum, steht in seinem Log:

# auf argo
kubectl -n kube-system logs deploy/metrics-server | grep -m1 'Failed to scrape' \
  | cut -c1-300 | fold -w 86

Erwartet:

E1120 13:32:04.305236       1 scraper.go:149] "Failed to scrape node" err="Get \"https
://10.5.0.3:10250/metrics/resource\": tls: failed to verify certificate: x509: cannot 
validate certificate for 10.5.0.3 because it doesn't contain any IP SANs" node="talos-
worker-1"

Ursache, Teil 2: Das Kubelet auf Talos signiert sein Serving-Zertifikat selbst, ohne IP im Zertifikat. metrics-server prüft es gegen die Cluster-CA und lehnt ab. --kubelet-insecure-tls würde die Prüfung abschalten – die Talos-Doku nennt den sauberen Weg: Das Kubelet beantragt sein Zertifikat per CSR bei der Cluster-CA.

Fix, Teil 2:

# auf argo
cat > kubelet-serving.yaml <<'EOF'
apiVersion: v1alpha1
kind: KubeletConfig
extraArgs:
  rotate-server-certificates: "true"
EOF
talosctl -n 10.5.0.2,10.5.0.3 patch mc --patch @kubelet-serving.yaml 2>&1 \
  | grep -c patched
sleep 30
kubectl get csr | grep -E 'NAME|serving' | awk '{print $1, $3, $NF}'
kubectl -n tag19 logs deploy/web --tail 1 2>&1 | cut -c1-120 | fold -w 86

Erwartet:

2
NAME SIGNERNAME CONDITION
csr-wl6km kubernetes.io/kubelet-serving Pending
csr-xp8k6 kubernetes.io/kubelet-serving Pending
Found 2 pods, using pod/web-fbcb7bbfb-9twhx
Error from server: Get "https://10.5.0.3:10250/containerLogs/tag19/web-fbcb7bbfb-9twhx
/web?tailLines=1": remote error: tls: internal erro

Solange die CSRs Pending stehen, hat das Kubelet gar kein Serving-Zertifikat – auch kubectl logs und exec scheitern. Kubernetes genehmigt Serving-CSRs nicht selbst. Das übernimmt ein kleiner Approver, den die Talos-Doku empfiehlt:

# auf argo
AP=https://raw.githubusercontent.com/alex1989hu/kubelet-serving-cert-approver
kubectl apply -f ${AP}/v0.12.1/deploy/standalone-install.yaml 2>&1 | grep deployment
sleep 30
kubectl get csr | grep -E 'NAME|serving' | awk '{print $1, $3, $NF}'

Erwartet:

deployment.apps/kubelet-serving-cert-approver created
NAME SIGNERNAME CONDITION
csr-wl6km kubernetes.io/kubelet-serving Approved,Issued
csr-xp8k6 kubernetes.io/kubelet-serving Approved,Issued

Nachweis:

# auf argo
kubectl -n kube-system rollout restart deploy/metrics-server
kubectl -n kube-system rollout status deploy/metrics-server --timeout=120s | tail -1
sleep 30
kubectl top nodes
kubectl -n tag19 get hpa

Erwartet:

deployment.apps/metrics-server restarted
deployment "metrics-server" successfully rolled out
NAME                   CPU(cores)   CPU(%)   MEMORY(bytes)   MEMORY(%)   
talos-controlplane-1   917m         47%      887Mi           39%         
talos-worker-1         375m         19%      550Mi           38%         
NAME   REFERENCE        TARGETS       MINPODS   MAXPODS   REPLICAS   AGE
web    Deployment/web   cpu: 0%/50%   2         4         2          4m

Fortschritt speichern? Kostenlos registrieren

Drill 8: Harter Knotenausfall

talosctl shutdown ist kein Ausfall: Es sperrt und leert den Knoten vorher (--force schaltet das ab, laut talosctl shutdown --help „without a cordon/drain“). Einen echten Ausfall spielst du nach, indem du die VM des Workers einfrierst – SIGSTOP an den QEMU-Prozess hält sie an, ohne sie zu zerstören.

Einbauen: Zwei Pods, möglichst auf beiden Knoten, mit kurzer Toleration (Tag 14):

# auf argo
cat > ausfall.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata: {name: ausfall, namespace: tag19}
spec:
  replicas: 2
  selector: {matchLabels: {app: ausfall}}
  template:
    metadata: {labels: {app: ausfall}}
    spec:
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              topologyKey: kubernetes.io/hostname
              labelSelector: {matchLabels: {app: ausfall}}
      tolerations:
      - {key: node.kubernetes.io/unreachable, operator: Exists,
         effect: NoExecute, tolerationSeconds: 30}
      - {key: node.kubernetes.io/not-ready, operator: Exists,
         effect: NoExecute, tolerationSeconds: 30}
      containers:
      - name: ausfall
        image: traefik/whoami:v1.11
EOF
kubectl apply -f ausfall.yaml 2>&1 | grep -v '^Warning'
kubectl -n tag19 rollout status deploy/ausfall | tail -1
kubectl -n tag19 get pods -l app=ausfall \
  -o custom-columns=NAME:.metadata.name,NODE:.spec.nodeName

Erwartet:

deployment.apps/ausfall created
deployment "ausfall" successfully rolled out
NAME                      NODE
ausfall-8b4b4f5df-4qnm5   talos-controlplane-1
ausfall-8b4b4f5df-cg6p7   talos-worker-1

Achtung: Ein eingefrorener Knoten ist für den Cluster tot. Nur im Labor, und am Ende des Drills wieder auftauen.

# auf argo
pgrep -af '[q]emu-system.*talos-worker-1' | cut -c1-80
Q=$(pgrep -f '[q]emu-system.*talos-worker-1')
sudo kill -STOP $Q

Erwartet:

162591 /usr/bin/qemu-system-x86_64 -m 2048 -smp cpus=2 -cpu max -nographic -devi

Die eckigen Klammern im Muster verhindern, dass pgrep die eigene Kommandozeile findet.

Symptom:

# auf argo
for i in $(seq 9); do
  echo "$(date +%T)" \
    "$(kubectl get node talos-worker-1 --no-headers | awk '{print $2}')" \
    "$(kubectl -n tag19 get pods -l app=ausfall --no-headers | awk '{print $3}' \
    | sort | uniq -c | xargs)"
  sleep 10
done

Erwartet:

14:00:28 Ready 2 Running
14:00:39 Ready 2 Running
14:00:49 Ready 2 Running
14:01:00 Ready 2 Running
14:01:10 Ready 2 Running
14:01:21 NotReady 2 Running
14:01:32 NotReady 2 Running
14:01:42 NotReady 2 Running
14:01:53 NotReady 2 Running

Dieselben Fristen wie auf RKE2: rund 50 s bis NotReady, dann 30 s Toleration, dann Ersatz – im Testlauf nach rund 85 s, kurz nach dem Ende der Schleife.

Untersuchen:

# auf argo
timeout 20 talosctl -n 10.5.0.3 version 2>&1 | tail -1 | cut -c1-88
kubectl -n tag19 get pods -l app=ausfall -o wide | cut -c1-74

Erwartet:

error getting version from node 10.5.0.3: rpc error: code = Unavailable desc = connectio
NAME                      READY   STATUS        RESTARTS   AGE    IP        
ausfall-8b4b4f5df-4qnm5   1/1     Running       0          103s   10.244.1.8
ausfall-8b4b4f5df-cg6p7   1/1     Terminating   0          103s   10.244.0.1
ausfall-8b4b4f5df-nfd4l   1/1     Running       0          9s     10.244.1.9

Ursache: Auch die Talos-API des Knotens antwortet nicht mehr – der Unterschied zu Drill 1, in dem nur das Kubelet stand und talosctl weiter half. Antwortet ein Knoten weder über Kubernetes noch über talosctl, liegt das Problem darunter: VM, Hypervisor, Netz. Dort hilft nur die Konsole der VM (bei QEMU das Log unter ~/.talos/clusters/talos/talos-worker-1.log).

Fix:

# auf argo
sudo kill -CONT $Q
kubectl wait --for=condition=Ready node/talos-worker-1 --timeout=120s

Nachweis:

# auf argo
kubectl -n tag19 get pods -l app=ausfall \
  -o custom-columns=NAME:.metadata.name,NODE:.spec.nodeName
talosctl -n 10.5.0.3 service kubelet | sed -n '3,4p'

Erwartet:

node/talos-worker-1 condition met
NAME                      NODE
ausfall-8b4b4f5df-4qnm5   talos-controlplane-1
ausfall-8b4b4f5df-nfd4l   talos-controlplane-1
STATE    Running
HEALTH   OK

Der alte Pod ist weg, sobald das Kubelet zurück ist. Beide Pods stehen jetzt auf der Control Plane – Kubernetes verteilt nicht von selbst zurück.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Wann läuft das Serving-Zertifikat des API-Servers ab? Zeitziel: 60 s
  2. Wann läuft deine talosconfig ab? Zeitziel: 15 s
  3. Wo liegt das Audit-Log des API-Servers? Zeitziel: 30 s
  4. Auf wie vielen Knoten steht der Mirror für docker.io in der Machine-Config? Zeitziel: 45 s

Lösung

# auf argo
talosctl -n 10.5.0.2 get kubernetesdynamiccerts -o jsonpath='{.spec.apiServer.crt}' \
  | base64 -d | openssl x509 -noout -subject -enddate
talosctl config info | tail -1
talosctl -n 10.5.0.2 ls /var/log/audit/kube
talosctl -n 10.5.0.2,10.5.0.3 get mc v1alpha1 -o jsonpath='{.spec}' \
  | grep -c 'kind: RegistryMirrorConfig'

Erwartet:

subject=O = kube-master, CN = kube-apiserver
notAfter=Nov 20 13:13:46 2027 GMT
Certificate expires: 1 year from now (2027-11-20)
.
kube-apiserver.log
2

Talos erneuert die Kubernetes-Zertifikate der Control Plane selbst; die talosconfig nicht – nach einem Jahr erzeugst du mit talosctl config new eine neue. Anders als RKE2 (Tag 11) schreibt Talos ein Audit-Log (Metadata für jede Anfrage), lesbar mit talosctl read /var/log/audit/kube/kube-apiserver.log. Nach dem ersten Patch gibt es neben v1alpha1 eine zweite Ressource persistent; ohne die ID zählt get mc doppelt.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

# auf argo
kubectl get nodes

Erwartet: beide Knoten Ready.

# auf argo
talosctl -n 10.5.0.2,10.5.0.3 services | grep -c -v -E ' OK |SERVICE'

Erwartet: 2 – nur die beiden dashboard-Dienste ohne Health-Check.

# auf argo
kubectl get apiservice v1beta1.metrics.k8s.io \
  -o jsonpath='{.status.conditions[0].status}{"\n"}'

Erwartet: True

Challenge

Installiere Falco mit den Werten aus Tag 13 in den Namespace falco. Bring es zum Laufen, löse mit cat /etc/shadow im Pod client einen Alarm aus und finde den Container über talosctl auf dem richtigen Knoten.

Hinweis: Zuerst scheitert nicht Falco, sondern seine Pods – lies die Events am DaemonSet.

Lösung

# auf argo
cat > falco-values.yaml <<'EOF'
tty: true
driver:
  kind: modern_ebpf
falco:
  json_output: true
EOF
helm repo add falcosecurity https://falcosecurity.github.io/charts
helm install falco falcosecurity/falco -n falco --create-namespace \
  --version 9.2.2 -f falco-values.yaml 2>&1 | grep -E 'STATUS|REVISION'
sleep 20
kubectl -n falco get ds falco | cut -c1-60
kubectl -n falco events --for daemonset/falco | tail -1 | cut -c1-260 | fold -w 86

Erwartet:

STATUS: deployed
REVISION: 1
NAME    DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE
falco   2         0         0       0            0
10s (x3 over 18s)   Warning   FailedCreate   DaemonSet/falco   (combined from similar 
events): Error creating: pods "falco-g52w7" is forbidden: violates PodSecurity "baseli
ne:latest": hostPath volumes (volumes "container-engine-socket-0", "container-engine-s
oc

Falco braucht privileged und hostPath – wie der Log-Sammler:

# auf argo
kubectl label namespace falco pod-security.kubernetes.io/enforce=privileged
kubectl -n falco rollout status ds/falco --timeout=5m | tail -1
sleep 10
script -qec "kubectl -n tag19 exec -it client -- sh -c 'cat /etc/shadow >/dev/null'" \
  /dev/null >/dev/null
sleep 5
A=$(kubectl -n falco logs -l app.kubernetes.io/name=falco -c falco --tail=-1 \
  | grep -o '{.*/etc/shadow.*}' | tail -1)
echo "$A" | jq -c '[.hostname, .rule, .output_fields["k8s.pod.name"]]'

Erwartet:

namespace/falco labeled
daemon set "falco" successfully rolled out
["talos-worker-1","Read sensitive file untrusted","client"]

script gibt exec -it ein Terminal, auch wenn du die Zeile aus einer Datei ausführst; im eigenen Terminal reicht kubectl -n tag19 exec -it client -- sh. Die zehn Sekunden vor dem Auslösen braucht Falco nach dem Start, bis die Regeln geladen sind – ohne sie fehlte im Testlauf der Alarm. Vom Knotennamen zur IP für talosctl, dann der Container:

# auf argo
C=$(echo "$A" | jq -r '.output_fields["container.id"]')
N=$(kubectl get node "$(echo "$A" | jq -r .hostname)" \
  -o jsonpath='{.status.addresses[0].address}')
echo "$N $C"
talosctl -n $N containers --namespace cri | grep $C | cut -c23-88
talosctl -n $N ls /run/containerd | head -3

Erwartet:

10.5.0.3 948adf3e8c42
 └─ tag19/client:client:948adf3e8c42
.
containerd.sock
containerd.sock.ttrpc

Die Kubernetes-Metadaten (k8s.pod.name) sind da, weil die Socket-Liste des Charts /run/containerd/containerd.sock enthält – auf Talos der Socket der CRI-Instanz. Auf RKE2 ist es genau der Pfad, der in Tag 13 nur <NA> lieferte.

Fortschritt speichern? Kostenlos registrieren

Aufräumen

Das Buch braucht den Talos-Cluster ab hier nicht mehr. Erst die Namespaces, dann die VMs:

Achtung: cluster destroy löscht beide VMs samt Platten. Der etcd-Snapshot unter ~/debug/tag19 bleibt, ist ohne den Cluster aber wertlos.

# auf argo
helm uninstall falco -n falco
kubectl delete namespace falco tag19 tag19-logs
sudo --preserve-env=HOME talosctl cluster destroy --name talos 2>&1 | tail -2
pgrep -c qemu-system
ip -br link | grep -c talos

Erwartet:

release "falco" uninstalled
namespace "falco" deleted
namespace "tag19" deleted
namespace "tag19-logs" deleted
removing state directory
removing json logs
0
0

Keine QEMU-Prozesse, keine Bridge mehr. talosctl, kubectl und helm bleiben auf argo; Kontext und talosconfig zeigen ins Leere, bis du Drill 2 von Tag 18 erneut ausführst.

Interview-Notiz

  • Der API-Server ist tot – wie siehst du auf Talos, warum? talosctl containers --namespace cri für die Container-ID, talosctl logs --namespace cri für die Meldung, get staticpods für die gerenderten Flags; Fix per patch mc.
  • Ein Manifest läuft auf RKE2, auf Talos nicht – erste Vermutung? Pod Security baseline: Events am DaemonSet bzw. am PVC lesen, Namespace-Label setzen.
  • kubectl top auf Talos? metrics-server selbst installieren, vorher Kubelet-Serving-Zertifikate per CSR plus Approver, nie --kubelet-insecure-tls.

Enterprise-Notiz

  • Patches vor dem Ausrollen mit --dry-run prüfen und an der Control Plane mit --mode try anwenden; Patches liegen im Git, nicht in der Shell-Historie.
  • Pod-Security-Ausnahmen gezielt pro Namespace (Label) oder zentral in KubeAdmissionControlConfig unter exemptions – beides dokumentieren.
  • Das CNI wählt man beim Aufbau: Wer NetworkPolicies braucht, startet mit CNI none und Cilium oder Calico.
  • Ein Knoten, der auch auf talosctl nicht antwortet, ist ein Fall für die Plattform darunter (Hypervisor-Konsole, IPMI); Omni oder ein Out-of-Band-Zugang gehört in jedes Runbook.