Files
mtusi2026lab4/compose.yaml
T
2026-10-22 17:27:32 +03:00

246 lines
11 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд lab4: HAProxy (единственная точка входа) -> API x2 -> PostgreSQL (источник истины, метаданные)
# + Valkey (общий кэш сессий) + S3 SeaweedFS (байты вложений, приватный bucket).
# Запуск: docker compose up -d --build --wait
# Секреты: sh scripts/init-secrets.sh (создаёт каталог secrets/, он в .gitignore)
#
# Сети: edge (lb <-> api) и backend (api, migrate, s3-init <-> postgres, valkey, s3; internal = без выхода наружу).
# Наружу опубликованы только порты балансировщика и только на 127.0.0.1 хоста.
# У api нет ports и container_name: реплик может быть сколько угодно (deploy.replicas),
# все они видны балансировщику по DNS-имени сервиса "api".
name: mtusi-lab4
# Сборка образа приложения. APP_VERSION меняет только student-tests/rolling_update.py.
x-build: &build
context: .
args:
APP_VERSION: ${APP_VERSION:-dev}
# Docker-статус healthy/unhealthy для API (для `up --wait` и rolling update).
# Из балансировки реплику выводит HAProxy по своим, более частым проверкам (infra/haproxy/haproxy.cfg).
x-api-healthcheck: &api-healthcheck
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://127.0.0.1:8080/health/ready', timeout=2)"]
interval: 5s
timeout: 3s
retries: 3
start_period: 30s
start_interval: 1s
# Общие настройки процессов приложения (реплики API, API с коротким TTL, тесты БД).
x-app: &app
image: mtusi-messenger:lab4
env_file: .env
# С lab4 ещё ключи отдельного S3-пользователя API (права только на свой bucket).
secrets: [database_url, cache_url, s3_access_key_id, s3_secret_access_key]
networks: [edge, backend]
services:
# Одноразовый сервис: применяет migrations/*.sql и завершается с кодом 0.
# Реплики API стартуют только после него и схему не меняют (нет гонки миграций).
migrate:
image: mtusi-messenger:lab4
build: *build
env_file: .env
command: ["python", "-m", "messenger.migrate"]
# Миграциям нужен только адрес PostgreSQL: секрет Valkey сюда не монтируется (минимум прав).
# Ключи S3 тоже не нужны: пустые пути, чтобы config.py не искал файлы, которых тут нет.
environment:
CACHE_URL_FILE: ""
S3_ACCESS_KEY_ID_FILE: ""
S3_SECRET_ACCESS_KEY_FILE: ""
secrets: [database_url]
networks: [backend]
depends_on:
postgres: {condition: service_healthy}
healthcheck:
disable: true
restart: "no"
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
api:
<<: *app
build: *build
depends_on:
migrate: {condition: service_completed_successfully}
s3-init: {condition: service_completed_successfully} # bucket и пользователь S3 созданы
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
healthcheck: *api-healthcheck
restart: unless-stopped
# SIGTERM -> 3 с readiness 503 (уход из балансировки) -> до 8 с на начатые запросы -> выход.
# Docker ждёт 15 с и только потом SIGKILL.
stop_grace_period: 15s
deploy:
replicas: ${API_REPLICAS:-2}
resources:
# 512 МиБ: Argon2id берёт 19 МиБ на каждую одновременную проверку пароля.
limits: {cpus: "1.00", memory: 512M}
lb:
image: haproxy:3.2.25-alpine
ports:
- "127.0.0.1:8080:8080" # единственная точка входа API
- "127.0.0.1:8081:8081" # API с коротким TTL (make expiry), тоже через балансировщик
- "127.0.0.1:8404:8404" # статистика HAProxy: http://127.0.0.1:8404/stats
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
networks: [edge]
depends_on:
api: {condition: service_started}
healthcheck:
test: ["CMD", "wget", "-q", "-T", "2", "-O", "/dev/null", "http://127.0.0.1:8404/lb-health"]
interval: 5s
timeout: 3s
retries: 3
start_period: 20s
start_interval: 1s
restart: unless-stopped
stop_grace_period: 15s
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
# Второй экземпляр API с SESSION_TTL_SECONDS=2 — только для проверки истечения сессии.
# Та же база, тот же код; запускается явно (make expiry). Порт наружу не публикуется:
# доступ через балансировщик, 127.0.0.1:8081.
api-short-ttl:
<<: *app
profiles: [ttl]
pull_policy: never # образ собирается сервисом api, а не скачивается
environment:
SESSION_TTL_SECONDS: "2"
depends_on:
postgres: {condition: service_healthy}
valkey: {condition: service_healthy}
healthcheck: *api-healthcheck
restart: unless-stopped
deploy:
resources:
limits: {cpus: "0.50", memory: 256M}
# Интеграционные тесты хранилища (откат транзакции, повтор миграций, гонки, идемпотентность).
# Запуск: docker compose --profile tools run --rm db-test
db-test:
<<: *app
profiles: [tools]
pull_policy: never
networks: [backend]
volumes: ["./student-tests:/srv/student-tests:ro"]
command: ["python", "-m", "unittest", "discover", "-s", "student-tests/db", "-v"]
depends_on:
postgres: {condition: service_healthy}
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
postgres:
image: postgres:17.10-bookworm
environment:
POSTGRES_USER: messenger
POSTGRES_DB: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password # пароль из файла, не из переменной
# Значения по умолчанию, выписанные явно: COMMIT возвращается только после записи WAL на диск.
command: ["postgres", "-c", "fsync=on", "-c", "synchronous_commit=on", "-c", "full_page_writes=on"]
secrets: [postgres_password]
volumes: ["pgdata:/var/lib/postgresql/data"] # именованный volume: данные переживают пересоздание контейнера
healthcheck:
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 12
start_period: 10s
restart: unless-stopped
stop_grace_period: 30s # PostgreSQL успевает корректно завершиться (checkpoint)
networks: [backend]
deploy:
resources:
limits: {cpus: "1.00", memory: 512M}
valkey:
image: valkey/valkey:8.1.9
command: ["valkey-server", "/usr/local/etc/valkey/valkey.conf"]
volumes: ["./infra/valkey/valkey.conf:/usr/local/etc/valkey/valkey.conf:ro"]
secrets: [valkey_acl] # пользователи и пароль Valkey (ACL), генерируются init-secrets.sh
healthcheck:
# Пользователь health без пароля может только ping/info/dbsize — данных он не видит.
test: ["CMD-SHELL", "valkey-cli --user health --pass none --no-auth-warning ping | grep -q PONG"]
interval: 5s
timeout: 3s
retries: 12
restart: unless-stopped
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
# S3-совместимое хранилище SeaweedFS: байты вложений в приватном bucket. Портов наружу нет.
# Внутренние части SeaweedFS (master :9333, volume :8080, filer :8888 — у filer и master есть
# веб-интерфейсы) слушают только 127.0.0.1 ВНУТРИ контейнера: из сети доступен лишь S3 API (:9000),
# и он требует подписи. Встроенный IAM API выключен (-s3.iam=false): пользователи задаются
# только файлом-секретом s3_config.json (scripts/init-secrets.sh).
s3:
image: chrislusf/seaweedfs:4.44
entrypoint: ["/usr/bin/weed"]
command: ["server", "-dir=/data", "-ip=127.0.0.1", "-ip.bind=127.0.0.1",
"-master.volumeSizeLimitMB=1024", "-volume.max=0",
"-s3", "-s3.ip.bind=0.0.0.0", "-s3.port=9000", "-s3.iam=false",
"-s3.config=/run/secrets/s3_config"]
secrets: [s3_config]
volumes: ["s3data:/data"] # именованный volume: объекты переживают пересоздание контейнера
healthcheck:
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:9000/healthz"]
interval: 5s
timeout: 3s
retries: 12
start_period: 15s
restart: unless-stopped
stop_grace_period: 15s
networks: [backend]
deploy:
resources:
limits: {cpus: "0.50", memory: 512M}
# Одноразовая настройка S3 (как migrate для БД): создать bucket, если его нет, и проверить,
# что он не публичный. Идемпотентна. Ключи администратора S3 есть только здесь (у API — свои).
s3-init:
image: mtusi-messenger:lab4
build: *build
command: ["python", "-m", "messenger.s3bootstrap"]
environment:
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
S3_REGION: ${S3_REGION:-us-east-1}
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_ADMIN_ACCESS_KEY_ID_FILE: /run/secrets/s3_root_user
S3_ADMIN_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_root_password
secrets: [s3_root_user, s3_root_password]
networks: [backend]
depends_on:
s3: {condition: service_healthy}
healthcheck:
disable: true
restart: "no"
deploy:
resources:
limits: {cpus: "0.50", memory: 128M}
volumes:
pgdata: {}
s3data: {}
secrets:
postgres_password: {file: ./secrets/postgres_password}
database_url: {file: ./secrets/database_url}
cache_url: {file: ./secrets/cache_url}
valkey_acl: {file: ./secrets/valkey_users.acl}
s3_root_user: {file: ./secrets/s3_root_user}
s3_config: {file: ./secrets/s3_config.json}
s3_root_password: {file: ./secrets/s3_root_password}
s3_access_key_id: {file: ./secrets/s3_access_key_id}
s3_secret_access_key: {file: ./secrets/s3_secret_access_key}
networks:
edge: {}
backend:
internal: true # postgres и valkey недоступны снаружи и сами не ходят в интернет