forked from mtusi2026/mtusi2026lab4
246 lines
11 KiB
YAML
246 lines
11 KiB
YAML
# Стенд lab4: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные)
|
||
# + Valkey (общий кэш сессий) + S3 SeaweedFS (байты вложений, приватный bucket).
|
||
# Запуск: docker compose up -d --build --wait
|
||
# Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore)
|
||
#
|
||
# Сети: edge (lb <-> api) и backend (api, migrate, s3-init <-> postgres, valkey, s3; internal = без выхода наружу).
|
||
# Наружу опубликованы только порты балансировщика и только на 127.0.0.1 хоста.
|
||
# У api нет ports и container_name: реплик может быть сколько угодно (deploy.replicas),
|
||
# все они видны балансировщику по DNS-имени сервиса "api".
|
||
name: mtusi-lab4
|
||
|
||
# Сборка образа приложения. APP_VERSION меняет только student-tests/rolling_update.py.
|
||
x-build: &build
|
||
context: .
|
||
args:
|
||
APP_VERSION: ${APP_VERSION:-dev}
|
||
|
||
# Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update).
|
||
# Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg).
|
||
x-api-healthcheck: &api-healthcheck
|
||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
|
||
# Общие настройки процессов приложения (реплики API, API с коротким TTL, тесты БД).
|
||
x-app: &app
|
||
image: mtusi-messenger:lab4
|
||
env_file: .env
|
||
# С lab4 ещё ключи отдельного S3-пользователя API (права только на свой bucket).
|
||
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key]
|
||
networks: [edge, backend]
|
||
|
||
services:
|
||
# Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0.
|
||
# Реплики API стартуют только после него и схему не меняют (нет гонки миграций).
|
||
migrate:
|
||
image: mtusi-messenger:lab4
|
||
build: *build
|
||
env_file: .env
|
||
command: ["python", "-m", "messenger.migrate"]
|
||
# Миграциям нужен только адрес PostgreSQL: секрет Valkey сюда не монтируется (минимум прав).
|
||
# Ключи S3 тоже не нужны: пустые пути, чтобы config.py не искал файлы, которых тут нет.
|
||
environment:
|
||
CACHE_URL_FILE: ""
|
||
S3_ACCESS_KEY_ID_FILE: ""
|
||
S3_SECRET_ACCESS_KEY_FILE: ""
|
||
secrets: [database_url]
|
||
networks: [backend]
|
||
depends_on:
|
||
postgres: {condition: service_healthy}
|
||
healthcheck:
|
||
disable: true
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
api:
|
||
<<: *app
|
||
build: *build
|
||
depends_on:
|
||
migrate: {condition: service_completed_successfully}
|
||
s3-init: {condition: service_completed_successfully} # bucket и пользователь S3 созданы
|
||
postgres: {condition: service_healthy}
|
||
valkey: {condition: service_healthy}
|
||
healthcheck: *api-healthcheck
|
||
restart: unless-stopped
|
||
# SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход.
|
||
# Docker ждёт 15 с и только потом SIGKILL.
|
||
stop_grace_period: 15s
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
# 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля.
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
lb:
|
||
image: haproxy:3.2.25-alpine
|
||
ports:
|
||
- "127.0.0.1:8080:8080" # единственная точка входа API
|
||
- "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик
|
||
- "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
networks: [edge]
|
||
depends_on:
|
||
api: {condition: service_started}
|
||
healthcheck:
|
||
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 20s
|
||
start_interval: 1s
|
||
restart: unless-stopped
|
||
stop_grace_period: 15s
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
# Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии.
|
||
# Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется:
|
||
# доступ через балансировщик, 127.0.0.1:8081.
|
||
api-short-ttl:
|
||
<<: *app
|
||
profiles: [ttl]
|
||
pull_policy: never # образ собирается сервисом api, а не скачивается
|
||
environment:
|
||
SESSION_TTL_SECONDS: "2"
|
||
depends_on:
|
||
postgres: {condition: service_healthy}
|
||
valkey: {condition: service_healthy}
|
||
healthcheck: *api-healthcheck
|
||
restart: unless-stopped
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 256M}
|
||
|
||
# Интеграционные тесты хранилища (откат транзакции, повтор миграций, гонки, идемпотентность).
|
||
# Запуск: docker compose --profile tools run --rm db-test
|
||
db-test:
|
||
<<: *app
|
||
profiles: [tools]
|
||
pull_policy: never
|
||
networks: [backend]
|
||
volumes: ["./student-tests:/srv/student-tests:ro"]
|
||
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"]
|
||
depends_on:
|
||
postgres: {condition: service_healthy}
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
postgres:
|
||
image: postgres:17.10-bookworm
|
||
environment:
|
||
POSTGRES_USER: messenger
|
||
POSTGRES_DB: messenger
|
||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной
|
||
# Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск.
|
||
command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"]
|
||
secrets: [postgres_password]
|
||
volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 12
|
||
start_period: 10s
|
||
restart: unless-stopped
|
||
stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint)
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.00", memory: 512M}
|
||
|
||
valkey:
|
||
image: valkey/valkey:8.1.9
|
||
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
|
||
volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"]
|
||
secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh
|
||
healthcheck:
|
||
# Пользователь health без пароля может только ping/info/dbsize — данных он не видит.
|
||
test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 12
|
||
restart: unless-stopped
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
# S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет.
|
||
# Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть
|
||
# веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000),
|
||
# и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются
|
||
# только файлом-секретом s3_config.json (scripts/init-secrets.sh).
|
||
s3:
|
||
image: chrislusf/seaweedfs:4.44
|
||
entrypoint: ["/usr/bin/weed"]
|
||
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1",
|
||
"-master.volumeSizeLimitMB=1024", "-volume.max=0",
|
||
"-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false",
|
||
"-s3.config=/run/secrets/s3_config"]
|
||
secrets: [s3_config]
|
||
volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера
|
||
healthcheck:
|
||
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 12
|
||
start_period: 15s
|
||
restart: unless-stopped
|
||
stop_grace_period: 15s
|
||
networks: [backend]
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 512M}
|
||
|
||
# Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить,
|
||
# что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои).
|
||
s3-init:
|
||
image: mtusi-messenger:lab4
|
||
build: *build
|
||
command: ["python", "-m", "messenger.s3bootstrap"]
|
||
environment:
|
||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user
|
||
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password
|
||
secrets: [s3_root_user, s3_root_password]
|
||
networks: [backend]
|
||
depends_on:
|
||
s3: {condition: service_healthy}
|
||
healthcheck:
|
||
disable: true
|
||
restart: "no"
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "0.50", memory: 128M}
|
||
|
||
volumes:
|
||
pgdata: {}
|
||
s3data: {}
|
||
|
||
secrets:
|
||
postgres_password: {file: ./secrets/postgres_password}
|
||
database_url: {file: ./secrets/database_url}
|
||
cache_url: {file: ./secrets/cache_url}
|
||
valkey_acl: {file: ./secrets/valkey_users.acl}
|
||
s3_root_user: {file: ./secrets/s3_root_user}
|
||
s3_config: {file: ./secrets/s3_config.json}
|
||
s3_root_password: {file: ./secrets/s3_root_password}
|
||
s3_access_key_id: {file: ./secrets/s3_access_key_id}
|
||
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
|
||
|
||
networks:
|
||
edge: {}
|
||
backend:
|
||
internal: true # postgres и valkey недоступны снаружи и сами не ходят в интернет
|