Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 11: Zugriff

Ziel: Nur angemeldete Benutzer sehen karma, jede Silence trägt den echten Namen, und Regeln legen fest, wer was stummschalten darf. dev ist nur noch lesbar. · Dauer: ca. 60 min · Voraussetzung: Tag 10

Briefing

  • Authentifizierung: karma kennt zwei Wege. Entweder prüft es selbst Benutzer und Passwort (Basic Auth, laut Doku nur für Tests), oder ein Proxy davor erledigt das und reicht den Namen in einem Header weiter.
  • Ist jemand angemeldet, setzt karma dessen Namen als Autor jeder Silence. Niemand schreibt mehr „karma“ oder einen fremden Namen hinein.
  • Autorisierung: Gruppen (admins, notes) und Silence-ACLs. Die ACLs sind Regeln, die der Reihe nach geprüft werden. Die erste Regel, die erlaubt oder blockiert, entscheidet. requireMatcher blockiert nur, wenn ein Matcher fehlt, und lässt sonst die nächste Regel prüfen.
  • ACLs gelten nur für Upstreams mit proxy: true. Nur dann geht jede Silence durch karma.
  • readonly: true sperrt Silences für einen Upstream ganz.
 Browser ─► Caddy :8000 ── Passwort ok? ── X-Auth-User: bob ─► karma :8080 ─► ACLs ─► Alertmanager

Drill 1: Basic Auth in karma

Der schnellste Schutz, direkt in karma/karma.yaml:

cd ~/am-lab
cat >> karma/karma.yaml <<'EOF'

authentication:
  basicAuth:
    users:
      - username: alice
        password: lab-karma-pw-123
      - username: bob
        password: lab-karma-pw-123
EOF
docker compose restart karma
curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' -u alice:lab-karma-pw-123 localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/health

Erwartet:

401
200
200

/health und /metrics bleiben ohne Anmeldung erreichbar, damit Healthchecks und Prometheus weiter funktionieren. Die Passwörter stehen im Klartext in der Datei. Die Doku von karma empfiehlt Basic Auth deshalb nur für Tests.

Jetzt eine Silence als bob, mit falschem Autor im JSON:

N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
cat > silence.json <<EOF
{
  "matchers": [
    {"name": "alertname", "value": "PlatteVoll", "isRegex": false, "isEqual": true},
    {"name": "instance", "value": "b", "isRegex": false, "isEqual": true}
  ],
  "startsAt": "$N",
  "endsAt": "$E",
  "createdBy": "jemand-anderes",
  "comment": "Platte b wird morgen getauscht, NOTES-43"
}
EOF
curl -s -u bob:lab-karma-pw-123 -X POST -H 'Content-Type: application/json' \
  -d @silence.json localhost:8000/proxy/alertmanager/prod-1/api/v2/silences
amtool silence query instance=b

Erwartet:

{"silenceID":"6828e995-2fcc-4f4e-ae99-082dfd3a3e7d"}
ID                                    Matchers                             Ends At                  Created By  Comment
6828e995-2fcc-4f4e-ae99-082dfd3a3e7d  alertname="PlatteVoll" instance="b"  2026-11-16 21:50:38 UTC  bob         Platte b wird morgen getauscht, NOTES-43

Created By ist bob. karma hat jemand-anderes überschrieben. Beende die Silence wieder:

amtool silence expire $(amtool silence query instance=b -q)

Fortschritt speichern? Kostenlos registrieren

Drill 2: Gruppen und ACLs

alice ist Admin, bob gehört zum Team notes. Die Gruppen stehen in karma.yaml, die Regeln in einer eigenen Datei:

cat >> karma/karma.yaml <<'EOF'

authorization:
  acl:
    silences: /etc/karma/acls.yaml
  groups:
    - name: admins
      members: [alice]
    - name: notes
      members: [bob]
EOF
cat > karma/acls.yaml <<'EOF'
rules:
  - action: block
    reason: Regex-Silences sind gesperrt, nimm konkrete Werte
    scope:
      filters:
        - name_re: .+
          value_re: .+
          isRegex: true
  - action: allow
    reason: Admins dürfen alles
    scope:
      groups: [admins]
  - action: requireMatcher
    reason: Team notes muss team=notes in jede Silence schreiben
    scope:
      groups: [notes]
    matchers:
      required:
        - name: team
          value: notes
          isEqual: true
  - action: block
    reason: Löschen dürfen nur Admins
    scope:
      operations: [delete]
EOF
docker compose restart karma
docker compose logs --no-log-prefix --since 10s karma | grep 'ACL'

Erwartet:

level=INFO msg="Reading silence ACL config file" path=/etc/karma/acls.yaml
level=INFO msg="Parsed ACL rules" rules=4

Die Regeln von oben nach unten:

  1. Keine Regex-Silences, für niemanden. Mit instance=~"pro.*" ließe sich jede spätere Regel umgehen. Die Doku von karma empfiehlt diese Regel ausdrücklich ganz oben.
  2. Admins dürfen alles. allow beendet die Prüfung.
  3. Team notes muss den Matcher team="notes" setzen. So kann bob nur Alarme seines Teams stummschalten.
  4. Löschen nur für Admins. alice ist schon bei Regel 2 durch. operations gibt es erst seit karma v0.134. Ältere Versionen prüfen beim Löschen gar keine ACLs (Tag 14).

Probe aufs Exempel, zuerst bob ohne team:

P=localhost:8000/proxy/alertmanager/prod-1/api/v2
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence.json $P/silences

Erwartet:

silence blocked by ACL rule: Team notes muss team=notes in jede Silence schreiben
 400

Jetzt mit team. Lege dafür eine zweite Datei an, mit einem dritten Matcher:

cat > silence-team.json <<EOF
{
  "matchers": [
    {"name": "alertname", "value": "PlatteVoll", "isRegex": false, "isEqual": true},
    {"name": "instance", "value": "b", "isRegex": false, "isEqual": true},
    {"name": "team", "value": "notes", "isRegex": false, "isEqual": true}
  ],
  "startsAt": "$N",
  "endsAt": "$E",
  "createdBy": "bob",
  "comment": "Platte b wird morgen getauscht, NOTES-43"
}
EOF
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence-team.json $P/silences

Erwartet:

{"silenceID":"c73448b0-51f5-48d9-a55a-4524ec88a0f3"}
 200

Und löschen. Warte dafür eine halbe Minute, bis karma die neue Silence abgeholt hat:

ID=$(amtool silence query instance=b -q)
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X DELETE $P/silence/$ID
curl -s -w ' %{http_code}\n' -u alice:lab-karma-pw-123 -X DELETE $P/silence/$ID

Erwartet:

silence blocked by ACL rule: Löschen dürfen nur Admins
 400
 200

Ausprobiert: Wer sofort nach dem Anlegen löscht, bekommt silence '…' not found. karma prüft beim Löschen gegen seine eigene Kopie der Silences, und die ist bis zu 30 Sekunden alt (alertmanager.interval).

Achtung: Die ACLs gelten nur für den Weg über karma. Die Alertmanager-Ports 9093 bis 9096 sind im Lab offen. Wer sie erreicht, legt mit amtool jede Silence an. In Produktion dürfen nur karma und Prometheus die Alertmanager erreichen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Anmeldung über einen Proxy

Im Betrieb übernimmt die Anmeldung ein Proxy oder ein SSO-Dienst. karma liest nur noch den Namen aus einem Header. Hier spielt Caddy den Proxy, mit Basic Auth und gehashten Passwörtern. Den Hash erzeugt Caddy selbst:

docker run --rm caddy:2.11.9 caddy hash-password --plaintext lab-karma-pw-123

Erwartet (dein Hash weicht ab, jeder Aufruf erzeugt einen neuen):

$2a$14$tPTS0zo18W8cwYc.BVfweeSHNzfIzGqdSmGiDyyvbEdjlstYcXHba

Setze deinen Hash in die Datei ein:

mkdir -p caddy
cat > caddy/Caddyfile <<'EOF'
:8000 {
    basic_auth {
        alice $2a$14$tPTS0zo18W8cwYc.BVfweeSHNzfIzGqdSmGiDyyvbEdjlstYcXHba
        bob $2a$14$tPTS0zo18W8cwYc.BVfweeSHNzfIzGqdSmGiDyyvbEdjlstYcXHba
    }
    reverse_proxy karma:8080 {
        header_up X-Auth-User {http.auth.user.id}
    }
}
EOF
  • basic_auth prüft Benutzer und bcrypt-Hash. Die Einrückung mit Tabs ist üblich in Caddyfiles, Leerzeichen gehen auch.
  • header_up X-Auth-User {http.auth.user.id} setzt den Header auf den angemeldeten Namen. Schickt der Client selbst einen X-Auth-User, wird er überschrieben.

karma bekommt keinen eigenen Port mehr. Nur Caddy ist von außen erreichbar:

cat > dashboard.yaml <<'EOF'
services:
  karma:
    image: ghcr.io/prymitive/karma:v0.134
    environment:
      CONFIG_FILE: /etc/karma/karma.yaml
    volumes:
      - ./karma:/etc/karma:ro

  caddy:
    image: caddy:2.11.9
    volumes:
      - ./caddy/Caddyfile:/etc/caddy/Caddyfile:ro
    ports:
      - "8000:8000"
EOF

In karma/karma.yaml ersetzt du den Abschnitt authentication durch den Header-Weg. karma erlaubt nur eine Methode:

authentication:
  header:
    name: X-Auth-User
    value_re: ^(.+)$

value_re muss genau eine Klammergruppe haben. Was sie trifft, ist der Benutzername.

docker compose up -d karma caddy
curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' -u bob:lab-karma-pw-123 localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' -u bob:falsch localhost:8000/

Erwartet:

401
200
401

Der Versuch, sich als alice auszugeben:

curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -H 'X-Auth-User: alice' \
  -X POST -H 'Content-Type: application/json' -d @silence.json $P/silences

Erwartet:

silence blocked by ACL rule: Team notes muss team=notes in jede Silence schreiben
 400

Die Regel für bob greift, nicht die für alice. Caddy hat den Header ersetzt.

Achtung: karma glaubt jedem Header. Wer karma direkt erreicht, ohne Caddy, ist mit X-Auth-User: alice Admin. Deshalb hat karma keinen Port mehr. In Kubernetes gehört eine NetworkPolicy davor.

Fortschritt speichern? Kostenlos registrieren

Drill 4: dev nur lesen

In dev soll niemand Silences anlegen. Ändere den Upstream dev in karma/karma.yaml: proxy: true wird readonly: true. Beides zusammen ist nicht erlaubt.

    - name: dev
      uri: http://alertmanager-dev:9093
      external_uri: http://172.16.0.61:9096
      timeout: 10s
      readonly: true
docker compose restart karma
docker compose logs --no-log-prefix --since 10s karma | grep 'name=dev'
curl -s -w ' %{http_code}\n' -u alice:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence-team.json \
  localhost:8000/proxy/alertmanager/dev/api/v2/silences

Erwartet:

level=INFO msg="Configured Alertmanager source" name=dev cluster=dev uri=http://alertmanager-dev:9093 proxy=false readonly=true
Not found 404

Für dev gibt es keinen Proxy-Pfad mehr, auch nicht für alice. Im Formular fehlt dev jetzt, und der Autor steht fest auf dem angemeldeten Namen:

Das Formular für bob: nur noch Cluster prod, Autor fest

Ab jetzt brauchen alle curl-Aufrufe an karma -u alice:lab-karma-pw-123 oder bobs Zugang.

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/

Erwartet: 401.

curl -s -u alice:lab-karma-pw-123 localhost:8000/labelNames.json | jq length

Erwartet: eine Zahl größer als 0. alice sieht die Daten.

docker compose ps karma --format '{{.Ports}}'

Erwartet: 8080/tcp ohne 0.0.0.0. karma ist von außen nicht erreichbar.

Challenge

Team notes soll keine Alarme mit severity="critical" stummschalten. Die bleiben der Bereitschaft vorbehalten (alice). Ergänze eine ACL-Regel und prüfe sie mit bob und alice.

Hinweis: Die Reihenfolge entscheidet. Die neue Regel muss nach der Admin-Regel stehen, sonst trifft sie auch alice. requireMatcher entscheidet nur, wenn ein Matcher fehlt, sonst geht die Prüfung weiter. Ein filter vergleicht mit den Matchern der Silence.

Lösung

In karma/acls.yaml direkt nach der Admin-Regel:

  - action: block
    reason: Kritische Alarme schaltet nur die Bereitschaft stumm
    scope:
      groups: [notes]
      filters:
        - name: severity
          value: critical

Eine Silence mit severity="critical". Setze Zeiten und Pfad neu, falls du inzwischen eine neue Shell hast:

N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
P=localhost:8000/proxy/alertmanager/prod-1/api/v2
cat > silence-critical.json <<EOF
{
  "matchers": [
    {"name": "alertname", "value": "NotesApiDown", "isRegex": false, "isEqual": true},
    {"name": "severity", "value": "critical", "isRegex": false, "isEqual": true},
    {"name": "team", "value": "notes", "isRegex": false, "isEqual": true}
  ],
  "startsAt": "$N",
  "endsAt": "$E",
  "createdBy": "bob",
  "comment": "Test der ACL"
}
EOF
docker compose restart karma
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence-critical.json $P/silences
curl -s -w ' %{http_code}\n' -u alice:lab-karma-pw-123 -X POST \
  -H 'Content-Type: application/json' -d @silence-critical.json $P/silences

Erwartet:

silence blocked by ACL rule: Kritische Alarme schaltet nur die Bereitschaft stumm
 400
{"silenceID":"c3fde3ed-f536-4d80-b7a6-dde71502beea"}
 200

Beende alices Test-Silence wieder:

amtool silence expire $(amtool silence query severity=critical -q)

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Im Betrieb steht vor karma ein SSO-Proxy (oauth2-proxy, Cloudflare Access, Keycloak-Gatekeeper). Er setzt Benutzer und Gruppen als Header. karma liest Gruppen mit header.group_name und group_value_re.
  • karma darf nur über diesen Proxy erreichbar sein. Ein offener Port mit Header-Auth ist ein Admin-Zugang für jeden.
  • Die Alertmanager gehören hinter eine Netzgrenze. Sonst umgeht jeder die ACLs mit amtool.
  • ACL-Dateien wie Code behandeln: im Git, mit Review. Die erste Regel blockiert Regex-Silences, die letzte Regel ist eine bewusste Entscheidung für alles, was übrig bleibt.