Tag 19: Netzwerk-Metriken
Ziel: Du schaltest Hubble- und Cilium-Metriken ein, sammelst sie mit Prometheus, findest Drops, DNS-Fehler und HTTP-5xx per PromQL und alarmierst auf zu viele Drops. · Dauer: ca. 75 min · Voraussetzung: Tag 12
Briefing
- CKNE: Observability – „Analyzing Network Health Using Metrics“.
- Drei Quellen: Cilium-Agent (:9962, Datapath, Drops, BPF-Maps), Operator (:9963, IPAM), Hubble (:9965, aus Flows abgeleitet: DNS, Drops, TCP, HTTP).
- Hubble-Metriken für DNS und HTTP brauchen L7-Sichtbarkeit – der
Verkehr muss durch den DNS-Proxy bzw. Envoy, also eine CNP mit
dns- bzw.http-Regel. - kube-prometheus-stack schlank: Prometheus, Operator, Grafana,
kube-state-metrics – alles auf
cp1(11 GB), die Worker (3 GB) bleiben frei.
cilium-agent :9962 ─┐
hubble :9965 ─┼─ ServiceMonitor ─> Prometheus (cp1) ─> Grafana (cp1)
operator :9963 ─┘ └─ PrometheusRule ─> ALERTS
Drill 1: kube-prometheus-stack schlank
mkdir -p ~/ckne/tag19 && cd ~/ckne/tag19
helm repo add prometheus-community \
https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
cat > kps.yaml <<'EOF'
alertmanager:
enabled: false
defaultRules:
create: false
nodeExporter:
enabled: false
kubeProxy:
enabled: false
kubeEtcd:
enabled: false
kubeControllerManager:
enabled: false
kubeScheduler:
enabled: false
prometheusOperator:
nodeSelector: {kubernetes.io/hostname: cp1}
tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
kube-state-metrics:
nodeSelector: {kubernetes.io/hostname: cp1}
tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
grafana:
adminPassword: ckne-lab
nodeSelector: {kubernetes.io/hostname: cp1}
tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
prometheus:
prometheusSpec:
retention: 12h
serviceMonitorSelectorNilUsesHelmValues: false
podMonitorSelectorNilUsesHelmValues: false
ruleSelectorNilUsesHelmValues: false
resources:
requests: {cpu: 200m, memory: 512Mi}
limits: {memory: 1536Mi}
nodeSelector: {kubernetes.io/hostname: cp1}
tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
EOF
helm install kps prometheus-community/kube-prometheus-stack --version 93.4.1 \
-n tag19-mon --create-namespace -f kps.yaml
k -n tag19-mon get pods -o wideErwartet (gekürzt, nach 1–2 min):
STATUS: deployed
NAME READY STATUS ... NODE
kps-grafana-579658887c-vhfwh 3/3 Running ... cp1
kps-kube-prometheus-stack-operator-7459df4df-td655 1/1 Running ... cp1
kps-kube-state-metrics-cdf6565bc-h5924 1/1 Running ... cp1
prometheus-kps-kube-prometheus-stack-prometheus-0 2/2 Running ... cp1
Ohne …NilUsesHelmValues: false liest Prometheus nur
ServiceMonitors und Regeln mit dem Label release: kps – die
von Cilium und deine eigenen würden ignoriert. Die abgeschalteten Ziele
(kube-proxy, etcd, Scheduler) gibt es hier nicht oder sie lauschen nur
auf localhost; sie würden als down nur Lärm machen.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Cilium- und Hubble-Metriken einschalten
Die httpV2-Option enthält Kommas – deshalb eine Werte-Datei statt
--set. Der Backslash am Zeilenende setzt den String in YAML
ohne Leerzeichen fort:
cat > cilium-metrics.yaml <<'EOF'
prometheus:
enabled: true
serviceMonitor:
enabled: true
operator:
prometheus:
enabled: true
serviceMonitor:
enabled: true
dashboards:
enabled: true
dashboards:
enabled: true
hubble:
metrics:
enabled:
- dns
- drop
- tcp
- flow
- port-distribution
- "httpV2:labelsContext=source_namespace,source_workload,\
destination_namespace,destination_workload,traffic_direction"
serviceMonitor:
enabled: true
dashboards:
enabled: true
EOF
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 \
--reuse-values -f cilium-metrics.yaml
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep -E 'hubble-metrics |prometheus-serve-addr'
k -n kube-system get servicemonitors
k get cm -A -l grafana_dashboard=1 | grep kube-systemErwartet (gekürzt):
hubble-metrics dns drop tcp flow port-distribution httpV2:labelsCont...
operator-prometheus-serve-addr :9963
prometheus-serve-addr :9962
NAME AGE
cilium-agent 60s
cilium-operator 60s
hubble 60s
kube-system cilium-dashboard 1 62s
kube-system cilium-operator-dashboard 1 62s
kube-system hubble-dashboard 1 62s
kube-system hubble-dns-namespace 1 62s
kube-system hubble-l7-http-metrics-by-workload 1 62s
kube-system hubble-network-overview-namespace 1 62s
--reuse-values -f mischt die Datei in die bestehenden
Werte. Die ServiceMonitors legt das Cilium-Chart nur an, wenn die CRDs
des Prometheus-Operators schon da sind – deshalb erst Drill 1. Die
Dashboards landen als ConfigMaps mit Label
grafana_dashboard=1; Grafanas Sidecar sammelt sie aus allen
Namespaces ein.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Metriken an der Quelle
Der Agent läuft im Host-Netz – die Ports sind direkt auf jedem Node offen:
curl -s localhost:9962/metrics | grep -c '^cilium_'
curl -s localhost:9962/metrics | grep '^cilium_drop_count_total'
curl -s localhost:9965/metrics | grep '^hubble_drop_total'
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg metrics list \
-p drop_countErwartet (gekürzt):
1367
cilium_drop_count_total{direction="EGRESS",reason="Unsupported L3 protocol"} 56
cilium_drop_count_total{direction="INGRESS",reason="VLAN traffic disallowed by VLAN
filter"} 45331
hubble_drop_total{protocol="IGMP",reason="VLAN_FILTERED"} 8
hubble_drop_total{protocol="UDP",reason="VLAN_FILTERED"} 573
Metric Labels Value
cilium_drop_count_total direction=EGRESS reason=Policy denied 157.000000
cilium_drop_count_total direction=INGRESS reason=VLAN traffic disall... 43640.000000
Der größte Posten ist ein alter Bekannter aus Tag 0: Der
Heimnetz-Router schickt VLAN-getaggte Broadcasts, Cilium verwirft sie an
eth0. Kein Cluster-Fehler, aber genau so sieht ein „lauter“
Drop-Grund aus. Die Agent-Zähler stammen aus einer eBPF-Map und
überleben Agent-Neustarts; Hubble zählt erst ab dem Start mit.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Last mit Fehlern und L7-Sicht
Ein Client ruft im Kreis eine gute und eine kaputte URL auf und fragt
einen Namen ab, den es nicht gibt. agnhost liefert mit
/echo?code=503 jeden Statuscode:
k create ns tag19
k config set-context --current --namespace=tag19
k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
--port=8080 -- /agnhost netexec --http-port=8080
k expose deployment echo --port=80 --target-port=8080
cat > client.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
name: client
labels:
app: client
spec:
containers:
- name: netshoot
image: nicolaka/netshoot:v0.16
command: ["sh", "-c"]
args:
- |
while true; do
curl -s -o /dev/null echo/hostname
curl -s -o /dev/null "echo/echo?msg=kaputt&code=503"
nslookup gibtsnicht.tag19 >/dev/null
sleep 2
done
EOF
k apply -f client.yaml
cat > l7.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
name: l7-sicht
spec:
endpointSelector:
matchLabels:
app: client
egress:
- toEndpoints:
- matchLabels:
k8s:io.kubernetes.pod.namespace: kube-system
k8s-app: kube-dns
toPorts:
- ports:
- port: "53"
protocol: ANY
rules:
dns:
- matchPattern: "*"
- toEndpoints:
- matchLabels:
app: echo
toPorts:
- ports:
- port: "8080"
protocol: TCP
rules:
http:
- {}
EOF
k apply -f l7.yaml
k wait --for=condition=Ready pod --allErwartet: pod/client condition met,
pod/echo-… condition met.
http: [{}] erlaubt jede HTTP-Anfrage, leitet sie aber
durch Envoy – erst dadurch kennt Hubble Methode, Status und Dauer.
Gleiches gilt für dns und den DNS-Proxy. Achtung: Die
Policy schaltet für client Default Deny im Egress ein.
Fortschritt speichern? Kostenlos registrieren
Drill 5: PromQL für Drops, DNS und HTTP
promtool steckt im Prometheus-Container – kein
Port-Forward nötig. Die kleine Shell-Funktion pq spart
Tipparbeit:
pq() {
k -n tag19-mon exec prometheus-kps-kube-prometheus-stack-prometheus-0 \
-c prometheus -- promtool query instant http://localhost:9090 "$1"
}
pq 'count by (job) (up)'
pq 'sum by (reason, node) (rate(hubble_drop_total[5m]))'
pq 'sum by (rcode) (rate(hubble_dns_responses_total[1m]))'
pq 'sum by (status)
(rate(hubble_http_requests_total{destination_namespace="tag19"}[1m]))'Erwartet (gekürzt):
{job="cilium-agent"} => 3 @[1795046465.991]
{job="hubble-metrics"} => 3 @[1795046465.991]
{job="cilium-operator"} => 1 @[1795046465.991]
{job="coredns"} => 2 @[1795046465.991]
{node="worker1", reason="UNSUPPORTED_L3_PROTOCOL"} => 0.0588 @[1795046540.075]
{node="worker1", reason="VLAN_FILTERED"} => 1.8449 @[1795046540.075]
{node="cp1", reason="VLAN_FILTERED"} => 1.8351 @[1795046540.075]
{node="worker2", reason="VLAN_FILTERED"} => 1.8493 @[1795046540.075]
{rcode="Non-Existent Domain"} => 3.7845 @[1795046521.537]
{rcode="No Error"} => 1.1644 @[1795046521.537]
{status="200"} => 0.2952 @[1795046522.103]
{status="503"} => 0.2952 @[1795046522.103]
VLAN-Drops gleichmäßig auf allen Nodes mit derselben Rate – das
spricht für eine Quelle außerhalb des Clusters.
UNSUPPORTED_L3_PROTOCOL sind Frames ohne IPv4/IPv6 (etwa
LLDP), ebenfalls harmlos. Für Latenz und TCP-Gesundheit:
pq 'histogram_quantile(0.95, sum by (le, destination_workload)
(rate(hubble_http_request_duration_seconds_bucket{
destination_namespace="tag19"}[5m])))'
pq 'sum by (flag) (rate(hubble_tcp_flags_total[5m]))'
pq 'topk(3, sum by (port, protocol) (rate(hubble_port_distribution_total[5m])))'Erwartet (gekürzt):
{destination_workload="echo"} => 0.21724817180106548 @[1795046541.286]
{flag="FIN"} => 2.605055091869563 @[1795046542.539]
{flag="RST"} => 0.2063515935481269 @[1795046542.539]
{flag="SYN"} => 1.7882409839229911 @[1795046542.539]
{flag="SYN-ACK"} => 1.4431221986062863 @[1795046542.539]
{port="53", protocol="UDP"} => 4.389030689206084 @[1795046541.845]
{port="8080", protocol="TCP"} => 3.6105215395468577 @[1795046541.845]
{port="10250", protocol="TCP"} => 1.411318715734712 @[1795046541.845]
histogram_quantile interpoliert innerhalb der
Bucket-Grenzen – bei wenigen Anfragen ist das p95 grob. Viele
SYN ohne passende SYN-ACK oder ein hoher
RST-Anteil deuten auf abgewiesene Verbindungen.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Grafana-Dashboards
k -n tag19-mon port-forward --address 0.0.0.0 svc/kps-grafana 3000:80 &
curl -s -u admin:ckne-lab 'localhost:3000/api/search?type=dash-db' \
| jq -r '.[].title' | grep -iE 'cilium|hubble'Erwartet:
Cilium Metrics
Cilium Operator
Hubble / DNS Overview (Namespace)
Hubble / Network Overview (Namespace)
Hubble L7 HTTP Metrics by Workload
Hubble Metrics and Monitoring
Im Browser http://172.16.0.126:3000 (admin / ckne-lab)
öffnen: „Hubble L7 HTTP Metrics by Workload“ zeigt echo mit
50 % 5xx, „Hubble / DNS Overview“ die NXDOMAIN-Flut. Beenden mit
kill %1. Ohne Helm importierst du dieselben Dashboards als
JSON unter Dashboards → New → Import.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Alarm bei Drops
cat > alarm.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: tag19-drops
spec:
groups:
- name: tag19-netz
rules:
- alert: PolicyDropsHoch
expr: sum by (node) (rate(hubble_drop_total{reason="POLICY_DENIED"}[1m])) > 0.2
for: 1m
labels:
severity: warning
annotations:
summary: "Policy-Drops auf {{ $labels.node }}: {{ $value | humanize }}/s"
EOF
k apply -f alarm.yaml
k run stoerer -l app=client --image=nicolaka/netshoot:v0.16 --command -- \
sh -c 'while true; do curl -s -m1 http://1.1.1.1; done'
pq 'sum by (node) (rate(hubble_drop_total{reason="POLICY_DENIED"}[1m]))'
pq 'ALERTS'Nach einer Minute pq 'ALERTS' wiederholen.
Erwartet (gekürzt):
{node="worker2"} => 1.741585 @[1795046665.746]
ALERTS{alertname="PolicyDropsHoch", alertstate="pending", node="worker2", ...} => 1
ALERTS{alertname="PolicyDropsHoch", alertstate="firing", node="worker2", ...} => 1
stoerer trägt app=client und erbt damit die
Egress-Policy: 1.1.1.1 ist nicht erlaubt, jedes SYN wird
verworfen. Der Alarm filtert bewusst auf POLICY_DENIED –
ein Schwellwert auf alle Drops würde hier dauernd wegen der VLAN-Frames
feuern. pending wird nach for: 1m zu
firing; ohne Alertmanager bleibt es beim Zustand in
Prometheus.
Fortschritt speichern? Kostenlos registrieren
Übung: Speed-Drills
- Berechne den Anteil der 5xx-Antworten an allen HTTP-Antworten in
tag19. Zeitziel: 60 s - Zeige alle Drop-Gründe außer VLAN mit Rate größer 0. Zeitziel: 45 s
- Welche Hubble-Metriken sind eingeschaltet? Zeitziel: 20 s
Lösung
pq 'sum(rate(hubble_http_requests_total{
destination_namespace="tag19",status=~"5.."}[5m]))
/ sum(rate(hubble_http_requests_total{destination_namespace="tag19"}[5m]))'
pq 'sum by (reason) (rate(hubble_drop_total{reason!="VLAN_FILTERED"}[5m])) > 0'
cilium config view | grep 'hubble-metrics 'Erwartet (gekürzt):
{} => 0.5 @[1795046744.4]
{reason="UNSUPPORTED_L3_PROTOCOL"} => 0.16801044313429858 @[1795046745.059]
{reason="POLICY_DENIED"} => 1.2121667697916683 @[1795046745.059]
hubble-metrics dns drop tcp flow port-distribution httpV2:labelsContext=...
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
In einer neuen Shell zuerst die Funktion pq aus Drill 5
neu anlegen.
pq 'count by (job) (up{job=~"cilium.*|hubble.*"})'Erwartet: cilium-agent 3,
hubble-metrics 3, cilium-operator 1.
pq 'sum by (status)
(rate(hubble_http_requests_total{destination_namespace="tag19"}[1m]))'Erwartet: zwei Zeilen, status="200" und
status="503", etwa gleich groß.
k get prometheusrule tag19-dropsErwartet: die Regel existiert;
pq 'ALERTS' zeigt PolicyDropsHoch
firing, solange stoerer läuft.
helm list -n tag19-monErwartet: Release kps
deployed. Der Prometheus-Stack in tag19-mon
und die Cilium-Metrik-Werte (prometheus,
operator.prometheus, hubble.metrics,
dashboards) bleiben nach dem Aufräumen für die Probeprüfung
(Anhang B, Aufgabe 17) stehen – alles läuft auf cp1 und
belegt dort rund 800 MiB.
Challenge
Die NXDOMAIN-Rate ist ein Vielfaches der Zahl der
nslookup-Aufrufe. Finde mit Hubble heraus, warum, und nenne
zwei Abhilfen.
Hinweis: Schau dir die einzelnen DNS-Anfragen von
client und seine /etc/resolv.conf an.
Lösung
hubble observe -P --port-forward-port 0 --pod tag19/client --protocol dns --last 12
k exec client -- cat /etc/resolv.confErwartet (gekürzt):
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.tag19.svc.cluster.local. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.svc.cluster.local. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.cluster.local. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.localdomain. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19. A)
search tag19.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.96.0.10
options ndots:5
gibtsnicht.tag19 hat weniger als fünf Punkte
(ndots:5), also hängt der Resolver nacheinander alle vier
Suchdomänen an und fragt zuletzt den Namen selbst – fünf NXDOMAIN pro
Aufruf. Abhilfen: Namen voll qualifiziert mit Punkt am Ende
(gibtsnicht.tag19.) oder dnsConfig.options mit
kleinerem ndots im Pod (Tag 8).
Fortschritt speichern? Kostenlos registrieren
Aufräumen
k delete namespace tag19
k config set-context --current --namespace=defaultPrometheus-Stack und Metrik-Werte bleiben für Anhang B (siehe
Kontrollpunkt). Vollständiger Rückbau danach, im Verzeichnis
~/ckne/tag19:
helm uninstall kps -n tag19-mon
k delete namespace tag19-mon
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reset-values \
-f values-vorher.yaml
k -n kube-system rollout restart ds/cilium deploy/cilium-operatorPrüfungstipp
- Keine Metrik da? Kette prüfen:
cilium config view | grep hubble-metrics→curl localhost:9965/metricsauf dem Node →up{job="hubble-metrics"}in Prometheus. DNS/HTTP-Metriken fehlen ohne L7-Policy. - Drop-Gründe heißen in
hubble_drop_totalknapp (POLICY_DENIED), incilium_drop_count_totalausgeschrieben (Policy denied). - Doku: docs.cilium.io „Monitoring & Metrics“ (Abschnitt „Hubble Exported Metrics“, Kontextoptionen) und „Running Prometheus & Grafana“.
Enterprise-Notiz
- Kardinalität begrenzen:
labelsContextmit Pod-Namen oder IPs vervielfacht Zeitreihen; Workload und Namespace reichen fast immer. - Prometheus mit Persistenz und Remote-Write (Thanos, Mimir) für lange Aufbewahrung; Alarme über Alertmanager an das Bereitschaftsteam.
- Alarm-Schwellwerte auf bekannte Grundgeräusche abstimmen (hier VLAN), sonst stumpft das Team ab.
hubble.metrics.dynamic.enablederlaubt, Metriken ohne Agent-Neustart umzustellen.- Hubble-Metriken-Port per TLS/mTLS schützen
(
hubble.metrics.tls), wenn Prometheus außerhalb des Clusters scrapt.