Tag 7: Kong mit Postgres
Ziel: Kong auf eine Datenbank umstellen, deine
kong.yamlmitdeck gateway synceinspielen, Änderungen zur Laufzeit machen und wieder einfangen, und Kong sichern. · Dauer: ca. 75 min · Voraussetzung: Tag 6
Briefing
- Mit Datenbank speichert Kong jedes Objekt in Postgres. Die Admin API darf schreiben, Kong Manager auch.
- Vor dem ersten Start legt
kong migrations bootstrapdas Schema an. - Die Datei ist nicht mehr automatisch die Wahrheit. Du machst sie
dazu: Git plus
deck gateway sync, unddeck gateway difffindet alles, was jemand am Git vorbei geändert hat. - Änderungen verteilt Kong nach und nach an seine Worker: bis zu 5 Sekunden.
kong.yaml (Git) ──deck gateway sync──► Admin API ──► Postgres (kong-db)
│ alle 5 s
Worker ◄─────────┘
Drill 1: Eine Datenbank für Kong
source ~/kong-lab/setup/env.sh
mkdir -p ~/kong-lab/tag07 && cd ~/kong-lab/kong
docker compose down
cp ~/kong-lab/code/tag07/compose.yaml compose.yaml
grep -E 'KONG_DATABASE|KONG_PG_HOST|command:' compose.yaml
docker compose up -d --wait
docker compose logs kong-migrations | tail -3
docker compose ps -a --format "table {{.Service}}\t{{.Status}}"Erwartet (gekürzt):
Container kong-kong-1 Removed
KONG_DATABASE: postgres
KONG_PG_HOST: kong-db
command: ["kong", "migrations", "bootstrap"]
Container kong-kong-db-1 Healthy
Container kong-kong-1 Healthy
kong-migrations-1 | 67 migrations processed
kong-migrations-1 | 67 executed
kong-migrations-1 | Database is up-to-date
SERVICE STATUS
kong Up 7 seconds (healthy)
kong-db Up 20 seconds (healthy)
kong-migrations Exited (0) 7 seconds ago
Drei Dienste: kong-db (Postgres),
kong-migrations läuft einmal und endet mit 0, erst dann
startet kong. Ein zweiter Start meldet
Database already bootstrapped.
Fortschritt speichern? Kostenlos registrieren
Drill 2: Ein leerer Kong
curl -s $ADMIN | jq -r .configuration.database
curl -s $ADMIN/services | jq -c .
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/api/v1/notesErwartet:
postgres
{"next":null,"data":[]}
404
Die Datenbank ist neu und leer. kong.yaml liegt zwar
noch im eingebundenen Verzeichnis, aber Kong liest sie nicht mehr. Ohne
Zutun hat dein Gateway gerade alles vergessen.
Fortschritt speichern? Kostenlos registrieren
Drill 3: Endlich sync
deck gateway sync kong.yaml | tail -4
sleep 5
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/api/v1/notes
curl -s -o /dev/null -w '%{http_code}\n' -u anna:lab-user-pw-123 $PROXY/admin-api/status
curl -s "$ADMIN/services?tags=team-notes" | jq -r '.data[].name'Erwartet (gekürzt):
Warning: import/export of basic-authcredentials using decK doesn't work due to hashing
of passwords in Kong.
Summary:
Created: 38
Updated: 0
Deleted: 0
200
200
notes-version
notes
Was in Tag 3 mit 405 scheiterte, legt jetzt 38 Objekte an. annas Passwort funktioniert, weil es im Klartext in deiner Datei steht und Kong es beim Anlegen hasht. Und der Filter nach Tags, ohne Datenbank ein Fehler 500, liefert die beiden Services des Teams.
Fortschritt speichern? Kostenlos registrieren
Drill 4: Schreiben zur Laufzeit
Die Admin API nimmt jetzt einzelne Objekte an:
curl -s -X POST $ADMIN/services -d name=schnell -d url=http://echo:8080/anything \
| jq -c '{name}'
curl -s -X POST $ADMIN/services/schnell/routes -d name=schnell -d 'paths[]=/schnell' \
| jq -c '{name, paths}'
until [ "$(curl -s -o /dev/null -w '%{http_code}' $PROXY/schnell)" = 200 ]; do
echo -n '.'; sleep 1
done; echo " da"
curl -s -X PATCH $ADMIN/services/notes -d read_timeout=5000 \
| jq -c '{name, read_timeout}'Erwartet (gekürzt, die Zahl der Punkte schwankt):
{"name":"schnell"}
{"name":"schnell","paths":["/schnell"]}
.... da
{"name":"notes","read_timeout":5000}
Kein kreload mehr. Aber die Route ist nicht sofort da:
Jeder Worker prüft alle 5 Sekunden, ob sich etwas geändert hat, und baut
dann seinen Router neu.
curl -s $ADMIN \
| jq '.configuration | {worker_consistency, worker_state_update_frequency}'Erwartet:
{
"worker_consistency": "eventual",
"worker_state_update_frequency": 5
}
Nach einem Neustart ist alles noch da, denn es steht in Postgres:
docker compose restart kong
sleep 8
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/schnell
docker compose exec kong-db psql -U kong -d kong \
-c "select name, read_timeout from services order by name"Erwartet:
Container kong-kong-1 Started
200
name | read_timeout
---------------+--------------
admin-api | 60000
api-rest | 60000
echo | 60000
notes | 5000
notes-version | 10000
schnell | 60000
whoami | 60000
(7 rows)
Fortschritt speichern? Kostenlos registrieren
Drill 5: Drift einfangen
schnell und der Timeout stehen in keinem Git. Für decK
ist das Drift:
deck gateway diff kong.yaml | grep -E '^(creating|updating|deleting)|[-+] "read'Erwartet:
Warning: import/export of basic-authcredentials using decK doesn't work due to hashing
of passwords in Kong.
updating service notes {
- "read_timeout": 5000,
+ "read_timeout": 10000,
deleting route schnell
deleting service schnell
Entweder kommt die Änderung ins Git, oder sie fliegt raus. Hier fliegt sie raus:
deck gateway sync kong.yaml | tail -4Erwartet:
Summary:
Created: 0
Updated: 1
Deleted: 2
Kong Manager kann jetzt ebenfalls schreiben: New Plugin, Schalter für Enabled, Bearbeiten über das Menü am Zeilenende. Jede Änderung dort ist Drift wie eben.
Fortschritt speichern? Kostenlos registrieren
Drill 6: Teams mit select_tags
Team notes soll seine Objekte selbst pflegen, ohne die anderen
anzufassen. select_tags in _info sagt decK:
Diese Datei verwaltet nur Objekte mit dem Tag.
cd ~/kong-lab/tag07
cp ~/kong-lab/code/tag07/team-notes.yaml .
grep -v '^#' team-notes.yaml | sed -n '1,8p'
deck gateway diff team-notes.yaml \
| grep -E '^(creating|updating|deleting)|Summary| [A-Z]'Erwartet (gekürzt):
_format_version: "3.0"
_info:
select_tags:
- team-notes
services:
- name: notes-version
url: http://notes-api:8080/version
connect_timeout: 2000
updating service notes-version {
creating route notes-version
deleting service notes
Summary:
Created: 1
Updated: 1
Deleted: 1
Gut, dass du diff gefragt hast: Der Service
notes trägt das Tag, steht aber nicht in der Datei, also
würde decK ihn löschen. Und die Route
notes-version trägt das Tag nicht, also hält decK sie für
neu. Mit select_tags muss jedes Objekt des Teams das Tag
tragen und in der Datei des Teams stehen, Services, Routes und Plugins.
Diese Datei wird darum nicht angewendet.
Fortschritt speichern? Kostenlos registrieren
Drill 7: Sichern
Zwei Wege, die sich ergänzen: decK sichert die Konfiguration lesbar,
pg_dump die ganze Datenbank.
deck gateway dump -o sicherung.yaml
wc -l sicherung.yaml
docker compose -f ~/kong-lab/kong/compose.yaml exec -T kong-db \
pg_dump -U kong -d kong | gzip > kong-db.sql.gz
ls -l kong-db.sql.gz | awk '{print $5, $9}'Erwartet (gekürzt):
Warning: basic-auth credentials detected, IDs will be exported
411 sicherung.yaml
14593 kong-db.sql.gz
Der decK-Export enthält Passwörter nur als Hash (Tag 5). Für einen
Neuaufbau taugt deine kong.yaml aus Git, für ein
Zurückspulen auf exakt diesen Stand der Dump.
Stand festhalten:
cd ~/kong-lab/kong
git add compose.yaml && git commit -qm "Tag 7: Kong mit Postgres"Fortschritt speichern? Kostenlos registrieren
Kontrollpunkt
docker compose -f ~/kong-lab/kong/compose.yaml ps --servicesErwartet: Kong und seine Datenbank laufen
(kong-migrations ist fertig).
kong
kong-db
deck gateway diff ~/kong-lab/kong/kong.yaml | tail -3Erwartet: kein Drift (die Warnung zu Passwörtern steht davor).
Created: 0
Updated: 0
Deleted: 0
curl -s "$ADMIN/routes?tags=team-notes" | jq '.data | length'Erwartet: Routes tragen das Tag nicht, nur die Services (siehe Drill 6).
0
Challenge
Die Platte unter kong-db ist kaputt: Das Volume ist weg.
Stell Kong aus kong-db.sql.gz wieder her und beweise, dass
nichts fehlt.
Hinweis: docker compose down -v löscht
die Volumes. Erst die Datenbank starten, dann den Dump einspielen, dann
den Rest.
Lösung
cd ~/kong-lab/kong
docker compose down -v
docker compose up -d kong-db --wait
zcat ~/kong-lab/tag07/kong-db.sql.gz \
| docker compose exec -T kong-db psql -q -U kong -d kong
docker compose up -d --wait
docker compose logs kong-migrations | tail -1
sleep 6
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/api/v1/notes
deck gateway diff kong.yaml | tail -3Erwartet (gekürzt):
Volume kong_kong-data Removed
Container kong-kong-db-1 Healthy
set_config
------------
(1 row)
…
Container kong-kong-1 Healthy
kong-migrations-1 | Database already bootstrapped
200
Created: 0
Updated: 0
Deleted: 0
migrations bootstrap erkennt das wiederhergestellte
Schema und tut nichts. Die Tabellen mit set_config und
setval gibt psql beim Einspielen des Dumps
aus.
Fortschritt speichern? Kostenlos registrieren
Enterprise-Notiz
- Datenbank betreiben: Postgres für Kong gehört gesichert, überwacht und hochverfügbar (Replikation, verwalteter Dienst). Fällt sie aus, laufen Kong-Knoten mit ihrem Cache weiter, nehmen aber keine Änderungen an.
- DB-less oder Postgres? DB-less mit GitOps ist einfacher und robuster; Postgres braucht, wer zur Laufzeit ändert (Kong Manager, Self-Service) oder Plugins mit Zähler in der Datenbank nutzt. Tag 13 zeigt den Mittelweg: Hybrid.
- Drift im Betrieb:
deck gateway diffregelmäßig in der CI gegen Produktion laufen lassen und bei Abweichung alarmieren. - Teams: Enterprise trennt mit Workspaces und RBAC
hart;
select_tagsist eine Absprache, kein Schutz. - Upgrades: Neue Kong-Versionen bringen Migrationen
(
kong migrations upundfinish), Tag 14.