Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 19: Netzwerk-Metriken

Ziel: Du schaltest Hubble- und Cilium-Metriken ein, sammelst sie mit Prometheus, findest Drops, DNS-Fehler und HTTP-5xx per PromQL und alarmierst auf zu viele Drops. · Dauer: ca. 75 min · Voraussetzung: Tag 12

Briefing

  • CKNE: Observability – „Analyzing Network Health Using Metrics“.
  • Drei Quellen: Cilium-Agent (:9962, Datapath, Drops, BPF-Maps), Operator (:9963, IPAM), Hubble (:9965, aus Flows abgeleitet: DNS, Drops, TCP, HTTP).
  • Hubble-Metriken für DNS und HTTP brauchen L7-Sichtbarkeit – der Verkehr muss durch den DNS-Proxy bzw. Envoy, also eine CNP mit dns- bzw. http-Regel.
  • kube-prometheus-stack schlank: Prometheus, Operator, Grafana, kube-state-metrics – alles auf cp1 (11 GB), die Worker (3 GB) bleiben frei.
 cilium-agent :9962 ─┐
 hubble       :9965 ─┼─ ServiceMonitor ─> Prometheus (cp1) ─> Grafana (cp1)
 operator     :9963 ─┘                        └─ PrometheusRule ─> ALERTS

Drill 1: kube-prometheus-stack schlank

mkdir -p ~/ckne/tag19 && cd ~/ckne/tag19
helm repo add prometheus-community \
  https://prometheus-community.github.io/helm-charts
helm repo update prometheus-community
cat > kps.yaml <<'EOF'
alertmanager:
  enabled: false
defaultRules:
  create: false
nodeExporter:
  enabled: false
kubeProxy:
  enabled: false
kubeEtcd:
  enabled: false
kubeControllerManager:
  enabled: false
kubeScheduler:
  enabled: false
prometheusOperator:
  nodeSelector: {kubernetes.io/hostname: cp1}
  tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
kube-state-metrics:
  nodeSelector: {kubernetes.io/hostname: cp1}
  tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
grafana:
  adminPassword: ckne-lab
  nodeSelector: {kubernetes.io/hostname: cp1}
  tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
prometheus:
  prometheusSpec:
    retention: 12h
    serviceMonitorSelectorNilUsesHelmValues: false
    podMonitorSelectorNilUsesHelmValues: false
    ruleSelectorNilUsesHelmValues: false
    resources:
      requests: {cpu: 200m, memory: 512Mi}
      limits: {memory: 1536Mi}
    nodeSelector: {kubernetes.io/hostname: cp1}
    tolerations: [{key: node-role.kubernetes.io/control-plane, effect: NoSchedule}]
EOF
helm install kps prometheus-community/kube-prometheus-stack --version 93.4.1 \
  -n tag19-mon --create-namespace -f kps.yaml
k -n tag19-mon get pods -o wide

Erwartet (gekürzt, nach 1–2 min):

STATUS: deployed
NAME                                                 READY   STATUS    ...   NODE
kps-grafana-579658887c-vhfwh                         3/3     Running   ...   cp1
kps-kube-prometheus-stack-operator-7459df4df-td655   1/1     Running   ...   cp1
kps-kube-state-metrics-cdf6565bc-h5924               1/1     Running   ...   cp1
prometheus-kps-kube-prometheus-stack-prometheus-0    2/2     Running   ...   cp1

Ohne …NilUsesHelmValues: false liest Prometheus nur ServiceMonitors und Regeln mit dem Label release: kps – die von Cilium und deine eigenen würden ignoriert. Die abgeschalteten Ziele (kube-proxy, etcd, Scheduler) gibt es hier nicht oder sie lauschen nur auf localhost; sie würden als down nur Lärm machen.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Cilium- und Hubble-Metriken einschalten

Die httpV2-Option enthält Kommas – deshalb eine Werte-Datei statt --set. Der Backslash am Zeilenende setzt den String in YAML ohne Leerzeichen fort:

cat > cilium-metrics.yaml <<'EOF'
prometheus:
  enabled: true
  serviceMonitor:
    enabled: true
operator:
  prometheus:
    enabled: true
    serviceMonitor:
      enabled: true
  dashboards:
    enabled: true
dashboards:
  enabled: true
hubble:
  metrics:
    enabled:
    - dns
    - drop
    - tcp
    - flow
    - port-distribution
    - "httpV2:labelsContext=source_namespace,source_workload,\
      destination_namespace,destination_workload,traffic_direction"
    serviceMonitor:
      enabled: true
    dashboards:
      enabled: true
EOF
helm get values cilium -n kube-system -o yaml > values-vorher.yaml
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 \
  --reuse-values -f cilium-metrics.yaml
k -n kube-system rollout restart ds/cilium deploy/cilium-operator
k -n kube-system rollout status ds/cilium
cilium status --wait
cilium config view | grep -E 'hubble-metrics |prometheus-serve-addr'
k -n kube-system get servicemonitors
k get cm -A -l grafana_dashboard=1 | grep kube-system

Erwartet (gekürzt):

hubble-metrics            dns drop tcp flow port-distribution httpV2:labelsCont...
operator-prometheus-serve-addr                    :9963
prometheus-serve-addr                             :9962
NAME              AGE
cilium-agent      60s
cilium-operator   60s
hubble            60s
kube-system   cilium-dashboard                     1      62s
kube-system   cilium-operator-dashboard            1      62s
kube-system   hubble-dashboard                     1      62s
kube-system   hubble-dns-namespace                 1      62s
kube-system   hubble-l7-http-metrics-by-workload   1      62s
kube-system   hubble-network-overview-namespace    1      62s

--reuse-values -f mischt die Datei in die bestehenden Werte. Die ServiceMonitors legt das Cilium-Chart nur an, wenn die CRDs des Prometheus-Operators schon da sind – deshalb erst Drill 1. Die Dashboards landen als ConfigMaps mit Label grafana_dashboard=1; Grafanas Sidecar sammelt sie aus allen Namespaces ein.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Metriken an der Quelle

Der Agent läuft im Host-Netz – die Ports sind direkt auf jedem Node offen:

curl -s localhost:9962/metrics | grep -c '^cilium_'
curl -s localhost:9962/metrics | grep '^cilium_drop_count_total'
curl -s localhost:9965/metrics | grep '^hubble_drop_total'
k -n kube-system exec ds/cilium -c cilium-agent -- cilium-dbg metrics list \
  -p drop_count

Erwartet (gekürzt):

1367
cilium_drop_count_total{direction="EGRESS",reason="Unsupported L3 protocol"} 56
cilium_drop_count_total{direction="INGRESS",reason="VLAN traffic disallowed by VLAN
filter"} 45331
hubble_drop_total{protocol="IGMP",reason="VLAN_FILTERED"} 8
hubble_drop_total{protocol="UDP",reason="VLAN_FILTERED"} 573
Metric                    Labels                                              Value
cilium_drop_count_total   direction=EGRESS reason=Policy denied               157.000000
cilium_drop_count_total   direction=INGRESS reason=VLAN traffic disall... 43640.000000

Der größte Posten ist ein alter Bekannter aus Tag 0: Der Heimnetz-Router schickt VLAN-getaggte Broadcasts, Cilium verwirft sie an eth0. Kein Cluster-Fehler, aber genau so sieht ein „lauter“ Drop-Grund aus. Die Agent-Zähler stammen aus einer eBPF-Map und überleben Agent-Neustarts; Hubble zählt erst ab dem Start mit.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Last mit Fehlern und L7-Sicht

Ein Client ruft im Kreis eine gute und eine kaputte URL auf und fragt einen Namen ab, den es nicht gibt. agnhost liefert mit /echo?code=503 jeden Statuscode:

k create ns tag19
k config set-context --current --namespace=tag19
k create deployment echo --image=registry.k8s.io/e2e-test-images/agnhost:2.66.1 \
  --port=8080 -- /agnhost netexec --http-port=8080
k expose deployment echo --port=80 --target-port=8080
cat > client.yaml <<'EOF'
apiVersion: v1
kind: Pod
metadata:
  name: client
  labels:
    app: client
spec:
  containers:
  - name: netshoot
    image: nicolaka/netshoot:v0.16
    command: ["sh", "-c"]
    args:
    - |
      while true; do
        curl -s -o /dev/null echo/hostname
        curl -s -o /dev/null "echo/echo?msg=kaputt&code=503"
        nslookup gibtsnicht.tag19 >/dev/null
        sleep 2
      done
EOF
k apply -f client.yaml
cat > l7.yaml <<'EOF'
apiVersion: cilium.io/v2
kind: CiliumNetworkPolicy
metadata:
  name: l7-sicht
spec:
  endpointSelector:
    matchLabels:
      app: client
  egress:
  - toEndpoints:
    - matchLabels:
        k8s:io.kubernetes.pod.namespace: kube-system
        k8s-app: kube-dns
    toPorts:
    - ports:
      - port: "53"
        protocol: ANY
      rules:
        dns:
        - matchPattern: "*"
  - toEndpoints:
    - matchLabels:
        app: echo
    toPorts:
    - ports:
      - port: "8080"
        protocol: TCP
      rules:
        http:
        - {}
EOF
k apply -f l7.yaml
k wait --for=condition=Ready pod --all

Erwartet: pod/client condition met, pod/echo-… condition met.

http: [{}] erlaubt jede HTTP-Anfrage, leitet sie aber durch Envoy – erst dadurch kennt Hubble Methode, Status und Dauer. Gleiches gilt für dns und den DNS-Proxy. Achtung: Die Policy schaltet für client Default Deny im Egress ein.

Fortschritt speichern? Kostenlos registrieren

Drill 5: PromQL für Drops, DNS und HTTP

promtool steckt im Prometheus-Container – kein Port-Forward nötig. Die kleine Shell-Funktion pq spart Tipparbeit:

pq() {
  k -n tag19-mon exec prometheus-kps-kube-prometheus-stack-prometheus-0 \
    -c prometheus -- promtool query instant http://localhost:9090 "$1"
}
pq 'count by (job) (up)'
pq 'sum by (reason, node) (rate(hubble_drop_total[5m]))'
pq 'sum by (rcode) (rate(hubble_dns_responses_total[1m]))'
pq 'sum by (status)
  (rate(hubble_http_requests_total{destination_namespace="tag19"}[1m]))'

Erwartet (gekürzt):

{job="cilium-agent"} => 3 @[1795046465.991]
{job="hubble-metrics"} => 3 @[1795046465.991]
{job="cilium-operator"} => 1 @[1795046465.991]
{job="coredns"} => 2 @[1795046465.991]
{node="worker1", reason="UNSUPPORTED_L3_PROTOCOL"} => 0.0588 @[1795046540.075]
{node="worker1", reason="VLAN_FILTERED"} => 1.8449 @[1795046540.075]
{node="cp1", reason="VLAN_FILTERED"} => 1.8351 @[1795046540.075]
{node="worker2", reason="VLAN_FILTERED"} => 1.8493 @[1795046540.075]
{rcode="Non-Existent Domain"} => 3.7845 @[1795046521.537]
{rcode="No Error"} => 1.1644 @[1795046521.537]
{status="200"} => 0.2952 @[1795046522.103]
{status="503"} => 0.2952 @[1795046522.103]

VLAN-Drops gleichmäßig auf allen Nodes mit derselben Rate – das spricht für eine Quelle außerhalb des Clusters. UNSUPPORTED_L3_PROTOCOL sind Frames ohne IPv4/IPv6 (etwa LLDP), ebenfalls harmlos. Für Latenz und TCP-Gesundheit:

pq 'histogram_quantile(0.95, sum by (le, destination_workload)
  (rate(hubble_http_request_duration_seconds_bucket{
    destination_namespace="tag19"}[5m])))'
pq 'sum by (flag) (rate(hubble_tcp_flags_total[5m]))'
pq 'topk(3, sum by (port, protocol) (rate(hubble_port_distribution_total[5m])))'

Erwartet (gekürzt):

{destination_workload="echo"} => 0.21724817180106548 @[1795046541.286]
{flag="FIN"} => 2.605055091869563 @[1795046542.539]
{flag="RST"} => 0.2063515935481269 @[1795046542.539]
{flag="SYN"} => 1.7882409839229911 @[1795046542.539]
{flag="SYN-ACK"} => 1.4431221986062863 @[1795046542.539]
{port="53", protocol="UDP"} => 4.389030689206084 @[1795046541.845]
{port="8080", protocol="TCP"} => 3.6105215395468577 @[1795046541.845]
{port="10250", protocol="TCP"} => 1.411318715734712 @[1795046541.845]

histogram_quantile interpoliert innerhalb der Bucket-Grenzen – bei wenigen Anfragen ist das p95 grob. Viele SYN ohne passende SYN-ACK oder ein hoher RST-Anteil deuten auf abgewiesene Verbindungen.

Fortschritt speichern? Kostenlos registrieren

Drill 6: Grafana-Dashboards

k -n tag19-mon port-forward --address 0.0.0.0 svc/kps-grafana 3000:80 &
curl -s -u admin:ckne-lab 'localhost:3000/api/search?type=dash-db' \
  | jq -r '.[].title' | grep -iE 'cilium|hubble'

Erwartet:

Cilium Metrics
Cilium Operator
Hubble / DNS Overview (Namespace)
Hubble / Network Overview (Namespace)
Hubble L7 HTTP Metrics by Workload
Hubble Metrics and Monitoring

Im Browser http://172.16.0.126:3000 (admin / ckne-lab) öffnen: „Hubble L7 HTTP Metrics by Workload“ zeigt echo mit 50 % 5xx, „Hubble / DNS Overview“ die NXDOMAIN-Flut. Beenden mit kill %1. Ohne Helm importierst du dieselben Dashboards als JSON unter Dashboards → New → Import.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Alarm bei Drops

cat > alarm.yaml <<'EOF'
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: tag19-drops
spec:
  groups:
  - name: tag19-netz
    rules:
    - alert: PolicyDropsHoch
      expr: sum by (node) (rate(hubble_drop_total{reason="POLICY_DENIED"}[1m])) > 0.2
      for: 1m
      labels:
        severity: warning
      annotations:
        summary: "Policy-Drops auf {{ $labels.node }}: {{ $value | humanize }}/s"
EOF
k apply -f alarm.yaml
k run stoerer -l app=client --image=nicolaka/netshoot:v0.16 --command -- \
  sh -c 'while true; do curl -s -m1 http://1.1.1.1; done'
pq 'sum by (node) (rate(hubble_drop_total{reason="POLICY_DENIED"}[1m]))'
pq 'ALERTS'

Nach einer Minute pq 'ALERTS' wiederholen.

Erwartet (gekürzt):

{node="worker2"} => 1.741585 @[1795046665.746]
ALERTS{alertname="PolicyDropsHoch", alertstate="pending", node="worker2", ...} => 1
ALERTS{alertname="PolicyDropsHoch", alertstate="firing", node="worker2", ...} => 1

stoerer trägt app=client und erbt damit die Egress-Policy: 1.1.1.1 ist nicht erlaubt, jedes SYN wird verworfen. Der Alarm filtert bewusst auf POLICY_DENIED – ein Schwellwert auf alle Drops würde hier dauernd wegen der VLAN-Frames feuern. pending wird nach for: 1m zu firing; ohne Alertmanager bleibt es beim Zustand in Prometheus.

Fortschritt speichern? Kostenlos registrieren

Übung: Speed-Drills

  1. Berechne den Anteil der 5xx-Antworten an allen HTTP-Antworten in tag19. Zeitziel: 60 s
  2. Zeige alle Drop-Gründe außer VLAN mit Rate größer 0. Zeitziel: 45 s
  3. Welche Hubble-Metriken sind eingeschaltet? Zeitziel: 20 s

Lösung

pq 'sum(rate(hubble_http_requests_total{
    destination_namespace="tag19",status=~"5.."}[5m]))
  / sum(rate(hubble_http_requests_total{destination_namespace="tag19"}[5m]))'
pq 'sum by (reason) (rate(hubble_drop_total{reason!="VLAN_FILTERED"}[5m])) > 0'
cilium config view | grep 'hubble-metrics '

Erwartet (gekürzt):

{} => 0.5 @[1795046744.4]
{reason="UNSUPPORTED_L3_PROTOCOL"} => 0.16801044313429858 @[1795046745.059]
{reason="POLICY_DENIED"} => 1.2121667697916683 @[1795046745.059]
hubble-metrics            dns drop tcp flow port-distribution httpV2:labelsContext=...

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

In einer neuen Shell zuerst die Funktion pq aus Drill 5 neu anlegen.

pq 'count by (job) (up{job=~"cilium.*|hubble.*"})'

Erwartet: cilium-agent 3, hubble-metrics 3, cilium-operator 1.

pq 'sum by (status)
  (rate(hubble_http_requests_total{destination_namespace="tag19"}[1m]))'

Erwartet: zwei Zeilen, status="200" und status="503", etwa gleich groß.

k get prometheusrule tag19-drops

Erwartet: die Regel existiert; pq 'ALERTS' zeigt PolicyDropsHoch firing, solange stoerer läuft.

helm list -n tag19-mon

Erwartet: Release kps deployed. Der Prometheus-Stack in tag19-mon und die Cilium-Metrik-Werte (prometheus, operator.prometheus, hubble.metrics, dashboards) bleiben nach dem Aufräumen für die Probeprüfung (Anhang B, Aufgabe 17) stehen – alles läuft auf cp1 und belegt dort rund 800 MiB.

Challenge

Die NXDOMAIN-Rate ist ein Vielfaches der Zahl der nslookup-Aufrufe. Finde mit Hubble heraus, warum, und nenne zwei Abhilfen.

Hinweis: Schau dir die einzelnen DNS-Anfragen von client und seine /etc/resolv.conf an.

Lösung

hubble observe -P --port-forward-port 0 --pod tag19/client --protocol dns --last 12
k exec client -- cat /etc/resolv.conf

Erwartet (gekürzt):

... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.tag19.svc.cluster.local. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.svc.cluster.local. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.cluster.local. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19.localdomain. A)
... dns-request proxy FORWARDED (DNS Query gibtsnicht.tag19. A)
search tag19.svc.cluster.local svc.cluster.local cluster.local localdomain
nameserver 10.96.0.10
options ndots:5

gibtsnicht.tag19 hat weniger als fünf Punkte (ndots:5), also hängt der Resolver nacheinander alle vier Suchdomänen an und fragt zuletzt den Namen selbst – fünf NXDOMAIN pro Aufruf. Abhilfen: Namen voll qualifiziert mit Punkt am Ende (gibtsnicht.tag19.) oder dnsConfig.options mit kleinerem ndots im Pod (Tag 8).

Fortschritt speichern? Kostenlos registrieren

Aufräumen

k delete namespace tag19
k config set-context --current --namespace=default

Prometheus-Stack und Metrik-Werte bleiben für Anhang B (siehe Kontrollpunkt). Vollständiger Rückbau danach, im Verzeichnis ~/ckne/tag19:

helm uninstall kps -n tag19-mon
k delete namespace tag19-mon
helm upgrade cilium cilium/cilium -n kube-system --version 1.20.5 --reset-values \
  -f values-vorher.yaml
k -n kube-system rollout restart ds/cilium deploy/cilium-operator

Prüfungstipp

  • Keine Metrik da? Kette prüfen: cilium config view | grep hubble-metrics → curl localhost:9965/metrics auf dem Node → up{job="hubble-metrics"} in Prometheus. DNS/HTTP-Metriken fehlen ohne L7-Policy.
  • Drop-Gründe heißen in hubble_drop_total knapp (POLICY_DENIED), in cilium_drop_count_total ausgeschrieben (Policy denied).
  • Doku: docs.cilium.io „Monitoring & Metrics“ (Abschnitt „Hubble Exported Metrics“, Kontextoptionen) und „Running Prometheus & Grafana“.

Enterprise-Notiz

  • Kardinalität begrenzen: labelsContext mit Pod-Namen oder IPs vervielfacht Zeitreihen; Workload und Namespace reichen fast immer.
  • Prometheus mit Persistenz und Remote-Write (Thanos, Mimir) für lange Aufbewahrung; Alarme über Alertmanager an das Bereitschaftsteam.
  • Alarm-Schwellwerte auf bekannte Grundgeräusche abstimmen (hier VLAN), sonst stumpft das Team ab.
  • hubble.metrics.dynamic.enabled erlaubt, Metriken ohne Agent-Neustart umzustellen.
  • Hubble-Metriken-Port per TLS/mTLS schützen (hubble.metrics.tls), wenn Prometheus außerhalb des Clusters scrapt.