Tag 11: Zugriff
Ziel: Nur angemeldete Benutzer sehen karma, jede Silence trägt den echten Namen, und Regeln legen fest, wer was stummschalten darf. dev ist nur noch lesbar. · Dauer: ca. 60 min · Voraussetzung: Tag 10
Briefing
- Authentifizierung: karma kennt zwei Wege. Entweder prüft es selbst Benutzer und Passwort (Basic Auth, laut Doku nur für Tests), oder ein Proxy davor erledigt das und reicht den Namen in einem Header weiter.
- Ist jemand angemeldet, setzt karma dessen Namen als Autor jeder Silence. Niemand schreibt mehr „karma“ oder einen fremden Namen hinein.
- Autorisierung: Gruppen (
admins,notes) und Silence-ACLs. Die ACLs sind Regeln, die der Reihe nach geprüft werden. Die erste Regel, die erlaubt oder blockiert, entscheidet.requireMatcherblockiert nur, wenn ein Matcher fehlt, und lässt sonst die nächste Regel prüfen. - ACLs gelten nur für Upstreams mit
proxy: true. Nur dann geht jede Silence durch karma. readonly: truesperrt Silences für einen Upstream ganz.
Browser ─► Caddy :8000 ── Passwort ok? ── X-Auth-User: bob ─► karma :8080 ─► ACLs ─► Alertmanager
Drill 1: Basic Auth in karma
Der schnellste Schutz, direkt in karma/karma.yaml:
cd ~/am-lab
cat >> karma/karma.yaml <<'EOF'
authentication:
basicAuth:
users:
- username: alice
password: lab-karma-pw-123
- username: bob
password: lab-karma-pw-123
EOF
docker compose restart karmacurl -s -o /dev/null -w '%{http_code}\n' localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' -u alice:lab-karma-pw-123 localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/healthErwartet:
401
200
200
/health und /metrics bleiben ohne Anmeldung
erreichbar, damit Healthchecks und Prometheus weiter funktionieren. Die
Passwörter stehen im Klartext in der Datei. Die Doku von karma empfiehlt
Basic Auth deshalb nur für Tests.
Jetzt eine Silence als bob, mit falschem Autor im JSON:
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
cat > silence.json <<EOF
{
"matchers": [
{"name": "alertname", "value": "PlatteVoll", "isRegex": false, "isEqual": true},
{"name": "instance", "value": "b", "isRegex": false, "isEqual": true}
],
"startsAt": "$N",
"endsAt": "$E",
"createdBy": "jemand-anderes",
"comment": "Platte b wird morgen getauscht, NOTES-43"
}
EOF
curl -s -u bob:lab-karma-pw-123 -X POST -H 'Content-Type: application/json' \
-d @silence.json localhost:8000/proxy/alertmanager/prod-1/api/v2/silences
amtool silence query instance=bErwartet:
{"silenceID":"6828e995-2fcc-4f4e-ae99-082dfd3a3e7d"}
ID Matchers Ends At Created By Comment
6828e995-2fcc-4f4e-ae99-082dfd3a3e7d alertname="PlatteVoll" instance="b" 2026-11-16 21:50:38 UTC bob Platte b wird morgen getauscht, NOTES-43
Created By ist bob. karma hat
jemand-anderes überschrieben. Beende die Silence
wieder:
amtool silence expire $(amtool silence query instance=b -q)Fortschritt speichern? Kostenlos registrieren
Drill 2: Gruppen und ACLs
alice ist Admin, bob gehört zum Team notes. Die Gruppen stehen in
karma.yaml, die Regeln in einer eigenen Datei:
cat >> karma/karma.yaml <<'EOF'
authorization:
acl:
silences: /etc/karma/acls.yaml
groups:
- name: admins
members: [alice]
- name: notes
members: [bob]
EOF
cat > karma/acls.yaml <<'EOF'
rules:
- action: block
reason: Regex-Silences sind gesperrt, nimm konkrete Werte
scope:
filters:
- name_re: .+
value_re: .+
isRegex: true
- action: allow
reason: Admins dürfen alles
scope:
groups: [admins]
- action: requireMatcher
reason: Team notes muss team=notes in jede Silence schreiben
scope:
groups: [notes]
matchers:
required:
- name: team
value: notes
isEqual: true
- action: block
reason: Löschen dürfen nur Admins
scope:
operations: [delete]
EOF
docker compose restart karma
docker compose logs --no-log-prefix --since 10s karma | grep 'ACL'Erwartet:
level=INFO msg="Reading silence ACL config file" path=/etc/karma/acls.yaml
level=INFO msg="Parsed ACL rules" rules=4
Die Regeln von oben nach unten:
- Keine Regex-Silences, für niemanden. Mit
instance=~"pro.*"ließe sich jede spätere Regel umgehen. Die Doku von karma empfiehlt diese Regel ausdrücklich ganz oben. - Admins dürfen alles.
allowbeendet die Prüfung. - Team notes muss den Matcher
team="notes"setzen. So kann bob nur Alarme seines Teams stummschalten. - Löschen nur für Admins. alice ist schon bei Regel 2
durch.
operationsgibt es erst seit karma v0.134. Ältere Versionen prüfen beim Löschen gar keine ACLs (Tag 14).
Probe aufs Exempel, zuerst bob ohne team:
P=localhost:8000/proxy/alertmanager/prod-1/api/v2
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence.json $P/silencesErwartet:
silence blocked by ACL rule: Team notes muss team=notes in jede Silence schreiben
400
Jetzt mit team. Lege dafür eine zweite Datei an, mit
einem dritten Matcher:
cat > silence-team.json <<EOF
{
"matchers": [
{"name": "alertname", "value": "PlatteVoll", "isRegex": false, "isEqual": true},
{"name": "instance", "value": "b", "isRegex": false, "isEqual": true},
{"name": "team", "value": "notes", "isRegex": false, "isEqual": true}
],
"startsAt": "$N",
"endsAt": "$E",
"createdBy": "bob",
"comment": "Platte b wird morgen getauscht, NOTES-43"
}
EOF
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence-team.json $P/silencesErwartet:
{"silenceID":"c73448b0-51f5-48d9-a55a-4524ec88a0f3"}
200
Und löschen. Warte dafür eine halbe Minute, bis karma die neue Silence abgeholt hat:
ID=$(amtool silence query instance=b -q)
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X DELETE $P/silence/$ID
curl -s -w ' %{http_code}\n' -u alice:lab-karma-pw-123 -X DELETE $P/silence/$IDErwartet:
silence blocked by ACL rule: Löschen dürfen nur Admins
400
200
Ausprobiert: Wer sofort nach dem Anlegen löscht, bekommt
silence '…' not found. karma prüft beim Löschen gegen seine eigene Kopie der Silences, und die ist bis zu 30 Sekunden alt (alertmanager.interval).
Achtung: Die ACLs gelten nur für den Weg über karma. Die Alertmanager-Ports 9093 bis 9096 sind im Lab offen. Wer sie erreicht, legt mit
amtooljede Silence an. In Produktion dürfen nur karma und Prometheus die Alertmanager erreichen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Anmeldung über einen Proxy
Im Betrieb übernimmt die Anmeldung ein Proxy oder ein SSO-Dienst. karma liest nur noch den Namen aus einem Header. Hier spielt Caddy den Proxy, mit Basic Auth und gehashten Passwörtern. Den Hash erzeugt Caddy selbst:
docker run --rm caddy:2.11.9 caddy hash-password --plaintext lab-karma-pw-123Erwartet (dein Hash weicht ab, jeder Aufruf erzeugt einen neuen):
$2a$14$tPTS0zo18W8cwYc.BVfweeSHNzfIzGqdSmGiDyyvbEdjlstYcXHba
Setze deinen Hash in die Datei ein:
mkdir -p caddy
cat > caddy/Caddyfile <<'EOF'
:8000 {
basic_auth {
alice $2a$14$tPTS0zo18W8cwYc.BVfweeSHNzfIzGqdSmGiDyyvbEdjlstYcXHba
bob $2a$14$tPTS0zo18W8cwYc.BVfweeSHNzfIzGqdSmGiDyyvbEdjlstYcXHba
}
reverse_proxy karma:8080 {
header_up X-Auth-User {http.auth.user.id}
}
}
EOFbasic_authprüft Benutzer und bcrypt-Hash. Die Einrückung mit Tabs ist üblich in Caddyfiles, Leerzeichen gehen auch.header_up X-Auth-User {http.auth.user.id}setzt den Header auf den angemeldeten Namen. Schickt der Client selbst einenX-Auth-User, wird er überschrieben.
karma bekommt keinen eigenen Port mehr. Nur Caddy ist von außen erreichbar:
cat > dashboard.yaml <<'EOF'
services:
karma:
image: ghcr.io/prymitive/karma:v0.134
environment:
CONFIG_FILE: /etc/karma/karma.yaml
volumes:
- ./karma:/etc/karma:ro
caddy:
image: caddy:2.11.9
volumes:
- ./caddy/Caddyfile:/etc/caddy/Caddyfile:ro
ports:
- "8000:8000"
EOFIn karma/karma.yaml ersetzt du den Abschnitt
authentication durch den Header-Weg. karma erlaubt nur eine
Methode:
authentication:
header:
name: X-Auth-User
value_re: ^(.+)$value_re muss genau eine Klammergruppe haben. Was sie
trifft, ist der Benutzername.
docker compose up -d karma caddy
curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' -u bob:lab-karma-pw-123 localhost:8000/
curl -s -o /dev/null -w '%{http_code}\n' -u bob:falsch localhost:8000/Erwartet:
401
200
401
Der Versuch, sich als alice auszugeben:
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -H 'X-Auth-User: alice' \
-X POST -H 'Content-Type: application/json' -d @silence.json $P/silencesErwartet:
silence blocked by ACL rule: Team notes muss team=notes in jede Silence schreiben
400
Die Regel für bob greift, nicht die für alice. Caddy hat den Header ersetzt.
Achtung: karma glaubt jedem Header. Wer karma direkt erreicht, ohne Caddy, ist mit
X-Auth-User: aliceAdmin. Deshalb hat karma keinen Port mehr. In Kubernetes gehört eine NetworkPolicy davor.
Fortschritt speichern? Kostenlos registrieren
Drill 4: dev nur lesen
In dev soll niemand Silences anlegen. Ändere den Upstream
dev in karma/karma.yaml:
proxy: true wird readonly: true. Beides
zusammen ist nicht erlaubt.
- name: dev
uri: http://alertmanager-dev:9093
external_uri: http://172.16.0.61:9096
timeout: 10s
readonly: truedocker compose restart karma
docker compose logs --no-log-prefix --since 10s karma | grep 'name=dev'
curl -s -w ' %{http_code}\n' -u alice:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence-team.json \
localhost:8000/proxy/alertmanager/dev/api/v2/silencesErwartet:
level=INFO msg="Configured Alertmanager source" name=dev cluster=dev uri=http://alertmanager-dev:9093 proxy=false readonly=true
Not found 404
Für dev gibt es keinen Proxy-Pfad mehr, auch nicht für alice. Im Formular fehlt dev jetzt, und der Autor steht fest auf dem angemeldeten Namen:
Ab jetzt brauchen alle curl-Aufrufe an karma
-u alice:lab-karma-pw-123 oder bobs Zugang.
Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
curl -s -o /dev/null -w '%{http_code}\n' localhost:8000/Erwartet: 401.
curl -s -u alice:lab-karma-pw-123 localhost:8000/labelNames.json | jq lengthErwartet: eine Zahl größer als 0. alice sieht die Daten.
docker compose ps karma --format '{{.Ports}}'Erwartet: 8080/tcp ohne 0.0.0.0. karma ist
von außen nicht erreichbar.
Challenge
Team notes soll keine Alarme mit severity="critical"
stummschalten. Die bleiben der Bereitschaft vorbehalten (alice). Ergänze
eine ACL-Regel und prüfe sie mit bob und alice.
Hinweis: Die Reihenfolge entscheidet. Die neue Regel
muss nach der Admin-Regel stehen, sonst trifft sie auch alice.
requireMatcher entscheidet nur, wenn ein Matcher fehlt,
sonst geht die Prüfung weiter. Ein filter vergleicht mit
den Matchern der Silence.
Lösung
In karma/acls.yaml direkt nach der Admin-Regel:
- action: block
reason: Kritische Alarme schaltet nur die Bereitschaft stumm
scope:
groups: [notes]
filters:
- name: severity
value: criticalEine Silence mit severity="critical". Setze Zeiten und
Pfad neu, falls du inzwischen eine neue Shell hast:
N=$(date -u +%Y-%m-%dT%H:%M:%SZ)
E=$(date -u -d '+1 hour' +%Y-%m-%dT%H:%M:%SZ)
P=localhost:8000/proxy/alertmanager/prod-1/api/v2
cat > silence-critical.json <<EOF
{
"matchers": [
{"name": "alertname", "value": "NotesApiDown", "isRegex": false, "isEqual": true},
{"name": "severity", "value": "critical", "isRegex": false, "isEqual": true},
{"name": "team", "value": "notes", "isRegex": false, "isEqual": true}
],
"startsAt": "$N",
"endsAt": "$E",
"createdBy": "bob",
"comment": "Test der ACL"
}
EOF
docker compose restart karma
curl -s -w ' %{http_code}\n' -u bob:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence-critical.json $P/silences
curl -s -w ' %{http_code}\n' -u alice:lab-karma-pw-123 -X POST \
-H 'Content-Type: application/json' -d @silence-critical.json $P/silencesErwartet:
silence blocked by ACL rule: Kritische Alarme schaltet nur die Bereitschaft stumm
400
{"silenceID":"c3fde3ed-f536-4d80-b7a6-dde71502beea"}
200
Beende alices Test-Silence wieder:
amtool silence expire $(amtool silence query severity=critical -q)Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Im Betrieb steht vor karma ein SSO-Proxy (oauth2-proxy, Cloudflare
Access, Keycloak-Gatekeeper). Er setzt Benutzer und Gruppen als Header.
karma liest Gruppen mit
header.group_nameundgroup_value_re. - karma darf nur über diesen Proxy erreichbar sein. Ein offener Port mit Header-Auth ist ein Admin-Zugang für jeden.
- Die Alertmanager gehören hinter eine Netzgrenze. Sonst umgeht jeder
die ACLs mit
amtool. - ACL-Dateien wie Code behandeln: im Git, mit Review. Die erste Regel blockiert Regex-Silences, die letzte Regel ist eine bewusste Entscheidung für alles, was übrig bleibt.