Zum Inhalt springen
Trainingslager IT-Trainingslager

Tag 7: Kong mit Postgres

Ziel: Kong auf eine Datenbank umstellen, deine kong.yaml mit deck gateway sync einspielen, Änderungen zur Laufzeit machen und wieder einfangen, und Kong sichern. · Dauer: ca. 75 min · Voraussetzung: Tag 6

Briefing

  • Mit Datenbank speichert Kong jedes Objekt in Postgres. Die Admin API darf schreiben, Kong Manager auch.
  • Vor dem ersten Start legt kong migrations bootstrap das Schema an.
  • Die Datei ist nicht mehr automatisch die Wahrheit. Du machst sie dazu: Git plus deck gateway sync, und deck gateway diff findet alles, was jemand am Git vorbei geändert hat.
  • Änderungen verteilt Kong nach und nach an seine Worker: bis zu 5 Sekunden.
 kong.yaml (Git) ──deck gateway sync──► Admin API ──► Postgres (kong-db)
                                                         │ alle 5 s
                                        Worker ◄─────────┘

Drill 1: Eine Datenbank für Kong

source ~/kong-lab/setup/env.sh
mkdir -p ~/kong-lab/tag07 && cd ~/kong-lab/kong
docker compose down
cp ~/kong-lab/code/tag07/compose.yaml compose.yaml
grep -E 'KONG_DATABASE|KONG_PG_HOST|command:' compose.yaml
docker compose up -d --wait
docker compose logs kong-migrations | tail -3
docker compose ps -a --format "table {{.Service}}\t{{.Status}}"

Erwartet (gekürzt):

 Container kong-kong-1 Removed
  KONG_DATABASE: postgres
  KONG_PG_HOST: kong-db
    command: ["kong", "migrations", "bootstrap"]
 Container kong-kong-db-1 Healthy
 Container kong-kong-1 Healthy
kong-migrations-1  | 67 migrations processed
kong-migrations-1  | 67 executed
kong-migrations-1  | Database is up-to-date
SERVICE           STATUS
kong              Up 7 seconds (healthy)
kong-db           Up 20 seconds (healthy)
kong-migrations   Exited (0) 7 seconds ago

Drei Dienste: kong-db (Postgres), kong-migrations läuft einmal und endet mit 0, erst dann startet kong. Ein zweiter Start meldet Database already bootstrapped.

Fortschritt speichern? Kostenlos registrieren

Drill 2: Ein leerer Kong

curl -s $ADMIN | jq -r .configuration.database
curl -s $ADMIN/services | jq -c .
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/api/v1/notes

Erwartet:

postgres
{"next":null,"data":[]}
404

Die Datenbank ist neu und leer. kong.yaml liegt zwar noch im eingebundenen Verzeichnis, aber Kong liest sie nicht mehr. Ohne Zutun hat dein Gateway gerade alles vergessen.

Fortschritt speichern? Kostenlos registrieren

Drill 3: Endlich sync

deck gateway sync kong.yaml | tail -4
sleep 5
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/api/v1/notes
curl -s -o /dev/null -w '%{http_code}\n' -u anna:lab-user-pw-123 $PROXY/admin-api/status
curl -s "$ADMIN/services?tags=team-notes" | jq -r '.data[].name'

Erwartet (gekürzt):

Warning: import/export of basic-authcredentials using decK doesn't work due to hashing
of passwords in Kong.
Summary:
  Created: 38
  Updated: 0
  Deleted: 0
200
200
notes-version
notes

Was in Tag 3 mit 405 scheiterte, legt jetzt 38 Objekte an. annas Passwort funktioniert, weil es im Klartext in deiner Datei steht und Kong es beim Anlegen hasht. Und der Filter nach Tags, ohne Datenbank ein Fehler 500, liefert die beiden Services des Teams.

Fortschritt speichern? Kostenlos registrieren

Drill 4: Schreiben zur Laufzeit

Die Admin API nimmt jetzt einzelne Objekte an:

curl -s -X POST $ADMIN/services -d name=schnell -d url=http://echo:8080/anything \
  | jq -c '{name}'
curl -s -X POST $ADMIN/services/schnell/routes -d name=schnell -d 'paths[]=/schnell' \
  | jq -c '{name, paths}'
until [ "$(curl -s -o /dev/null -w '%{http_code}' $PROXY/schnell)" = 200 ]; do
  echo -n '.'; sleep 1
done; echo " da"
curl -s -X PATCH $ADMIN/services/notes -d read_timeout=5000 \
  | jq -c '{name, read_timeout}'

Erwartet (gekürzt, die Zahl der Punkte schwankt):

{"name":"schnell"}
{"name":"schnell","paths":["/schnell"]}
.... da
{"name":"notes","read_timeout":5000}

Kein kreload mehr. Aber die Route ist nicht sofort da: Jeder Worker prüft alle 5 Sekunden, ob sich etwas geändert hat, und baut dann seinen Router neu.

curl -s $ADMIN \
  | jq '.configuration | {worker_consistency, worker_state_update_frequency}'

Erwartet:

{
  "worker_consistency": "eventual",
  "worker_state_update_frequency": 5
}

Nach einem Neustart ist alles noch da, denn es steht in Postgres:

docker compose restart kong
sleep 8
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/schnell
docker compose exec kong-db psql -U kong -d kong \
  -c "select name, read_timeout from services order by name"

Erwartet:

 Container kong-kong-1 Started
200
     name      | read_timeout
---------------+--------------
 admin-api     |        60000
 api-rest      |        60000
 echo          |        60000
 notes         |         5000
 notes-version |        10000
 schnell       |        60000
 whoami        |        60000
(7 rows)

Fortschritt speichern? Kostenlos registrieren

Drill 5: Drift einfangen

schnell und der Timeout stehen in keinem Git. Für decK ist das Drift:

deck gateway diff kong.yaml | grep -E '^(creating|updating|deleting)|[-+]  "read'

Erwartet:

Warning: import/export of basic-authcredentials using decK doesn't work due to hashing
of passwords in Kong.
updating service notes  {
-  "read_timeout": 5000,
+  "read_timeout": 10000,
deleting route schnell
deleting service schnell

Entweder kommt die Änderung ins Git, oder sie fliegt raus. Hier fliegt sie raus:

deck gateway sync kong.yaml | tail -4

Erwartet:

Summary:
  Created: 0
  Updated: 1
  Deleted: 2

Kong Manager kann jetzt ebenfalls schreiben: New Plugin, Schalter für Enabled, Bearbeiten über das Menü am Zeilenende. Jede Änderung dort ist Drift wie eben.

Plugins in Kong Manager, mit Datenbank bearbeitbar

Fortschritt speichern? Kostenlos registrieren

Drill 6: Teams mit select_tags

Team notes soll seine Objekte selbst pflegen, ohne die anderen anzufassen. select_tags in _info sagt decK: Diese Datei verwaltet nur Objekte mit dem Tag.

cd ~/kong-lab/tag07
cp ~/kong-lab/code/tag07/team-notes.yaml .
grep -v '^#' team-notes.yaml | sed -n '1,8p'
deck gateway diff team-notes.yaml \
  | grep -E '^(creating|updating|deleting)|Summary|  [A-Z]'

Erwartet (gekürzt):

_format_version: "3.0"
_info:
  select_tags:
    - team-notes
services:
  - name: notes-version
    url: http://notes-api:8080/version
    connect_timeout: 2000
updating service notes-version  {
creating route notes-version
deleting service notes
Summary:
  Created: 1
  Updated: 1
  Deleted: 1

Gut, dass du diff gefragt hast: Der Service notes trägt das Tag, steht aber nicht in der Datei, also würde decK ihn löschen. Und die Route notes-version trägt das Tag nicht, also hält decK sie für neu. Mit select_tags muss jedes Objekt des Teams das Tag tragen und in der Datei des Teams stehen, Services, Routes und Plugins. Diese Datei wird darum nicht angewendet.

Fortschritt speichern? Kostenlos registrieren

Drill 7: Sichern

Zwei Wege, die sich ergänzen: decK sichert die Konfiguration lesbar, pg_dump die ganze Datenbank.

deck gateway dump -o sicherung.yaml
wc -l sicherung.yaml
docker compose -f ~/kong-lab/kong/compose.yaml exec -T kong-db \
  pg_dump -U kong -d kong | gzip > kong-db.sql.gz
ls -l kong-db.sql.gz | awk '{print $5, $9}'

Erwartet (gekürzt):

Warning: basic-auth credentials detected, IDs will be exported
 411 sicherung.yaml
14593 kong-db.sql.gz

Der decK-Export enthält Passwörter nur als Hash (Tag 5). Für einen Neuaufbau taugt deine kong.yaml aus Git, für ein Zurückspulen auf exakt diesen Stand der Dump.

Stand festhalten:

cd ~/kong-lab/kong
git add compose.yaml && git commit -qm "Tag 7: Kong mit Postgres"

Fortschritt speichern? Kostenlos registrieren

Kontrollpunkt

docker compose -f ~/kong-lab/kong/compose.yaml ps --services

Erwartet: Kong und seine Datenbank laufen (kong-migrations ist fertig).

kong
kong-db
deck gateway diff ~/kong-lab/kong/kong.yaml | tail -3

Erwartet: kein Drift (die Warnung zu Passwörtern steht davor).

  Created: 0
  Updated: 0
  Deleted: 0
curl -s "$ADMIN/routes?tags=team-notes" | jq '.data | length'

Erwartet: Routes tragen das Tag nicht, nur die Services (siehe Drill 6).

0

Challenge

Die Platte unter kong-db ist kaputt: Das Volume ist weg. Stell Kong aus kong-db.sql.gz wieder her und beweise, dass nichts fehlt.

Hinweis: docker compose down -v löscht die Volumes. Erst die Datenbank starten, dann den Dump einspielen, dann den Rest.

Lösung

cd ~/kong-lab/kong
docker compose down -v
docker compose up -d kong-db --wait
zcat ~/kong-lab/tag07/kong-db.sql.gz \
  | docker compose exec -T kong-db psql -q -U kong -d kong
docker compose up -d --wait
docker compose logs kong-migrations | tail -1
sleep 6
curl -s -o /dev/null -w '%{http_code}\n' $PROXY/api/v1/notes
deck gateway diff kong.yaml | tail -3

Erwartet (gekürzt):

 Volume kong_kong-data Removed
 Container kong-kong-db-1 Healthy
 set_config
------------

(1 row)
…
 Container kong-kong-1 Healthy
kong-migrations-1  | Database already bootstrapped
200
  Created: 0
  Updated: 0
  Deleted: 0

migrations bootstrap erkennt das wiederhergestellte Schema und tut nichts. Die Tabellen mit set_config und setval gibt psql beim Einspielen des Dumps aus.

Fortschritt speichern? Kostenlos registrieren

Enterprise-Notiz

  • Datenbank betreiben: Postgres für Kong gehört gesichert, überwacht und hochverfügbar (Replikation, verwalteter Dienst). Fällt sie aus, laufen Kong-Knoten mit ihrem Cache weiter, nehmen aber keine Änderungen an.
  • DB-less oder Postgres? DB-less mit GitOps ist einfacher und robuster; Postgres braucht, wer zur Laufzeit ändert (Kong Manager, Self-Service) oder Plugins mit Zähler in der Datenbank nutzt. Tag 13 zeigt den Mittelweg: Hybrid.
  • Drift im Betrieb: deck gateway diff regelmäßig in der CI gegen Produktion laufen lassen und bei Abweichung alarmieren.
  • Teams: Enterprise trennt mit Workspaces und RBAC hart; select_tags ist eine Absprache, kein Schutz.
  • Upgrades: Neue Kong-Versionen bringen Migrationen (kong migrations up und finish), Tag 14.