forked from mtusi2026/mtusi2026lab4
Уровень 3: - код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose, идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой - метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер - upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности, безопасный filename; 201 только после PUT и COMMIT; download потоком через API - attachment_ids в сообщениях (только файлы своего чата, FK в БД) - 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness Уровень 4: - 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД - компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти - эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты; исправлены удержание соединения БД во время загрузки и таймаут отправки в S3 Уровень 5, трек 2: - reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period, перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose - 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение, безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
258 lines
10 KiB
YAML
258 lines
10 KiB
YAML
# Запуск: docker compose up -d --build --wait (или scripts/init-secrets.* перед первым запуском)
|
||
# Остановка: docker compose down — данные остаются в volume
|
||
# Удаление данных намеренно: docker compose down -v
|
||
#
|
||
# Клиент -> lb (HAProxy, единственный опубликованный порт) -> api x N (без портов на хосте) -> postgres (метаданные)
|
||
# -> minio (байты файлов)
|
||
# Порядок старта: postgres (healthy) -> migrate (один раз, exit 0) -> api (healthy) -> lb (healthy);
|
||
# minio (healthy) -> minio-init (один раз, exit 0) -> api.
|
||
name: mtusi-lab4
|
||
|
||
x-app-build: &app-build
|
||
context: .
|
||
args:
|
||
APP_VERSION: ${APP_VERSION:-dev}
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:17.10-alpine@sha256:979c4379dd698aba0b890599a6104e082035f98ef31d9b9291ec22f2b13059ca
|
||
environment:
|
||
POSTGRES_DB: messenger
|
||
POSTGRES_USER: messenger
|
||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||
secrets:
|
||
- postgres_password
|
||
volumes:
|
||
- postgres_data:/var/lib/postgresql/data
|
||
# Только loopback, для своих pytest-тестов из venv. API-реплики ходят в БД по внутренней сети.
|
||
ports:
|
||
- "127.0.0.1:${POSTGRES_HOST_PORT:-5432}:5432"
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
restart: unless-stopped
|
||
|
||
# Разовая задача: ОДИН контейнер применяет миграции и завершается с кодом 0.
|
||
# Реплики API миграции не запускают, поэтому гонки при старте нет (плюс advisory lock в migrations/env.py).
|
||
migrate:
|
||
build: *app-build
|
||
image: mtusi-messenger:lab4
|
||
command: ["python", "-m", "alembic", "upgrade", "head"]
|
||
# HEALTHCHECK образа проверяет HTTP-сервер API, а здесь сервера нет: иначе статус был бы unhealthy.
|
||
healthcheck:
|
||
disable: true
|
||
environment: &app-env
|
||
APP_CONFIG__DB__HOST: postgres
|
||
APP_CONFIG__DB__PORT: "5432"
|
||
APP_CONFIG__DB__NAME: messenger
|
||
APP_CONFIG__DB__USER: messenger
|
||
APP_CONFIG__DB__PASSWORD_FILE: /run/secrets/postgres_password
|
||
APP_CONFIG__JWT__SECRET_FILE: /run/secrets/jwt_secret
|
||
APP_CONFIG__JWT__SESSION_TTL_SECONDS: ${APP_CONFIG__JWT__SESSION_TTL_SECONDS:-3600}
|
||
APP_CONFIG__LOGGING__LEVEL: ${APP_CONFIG__LOGGING__LEVEL:-INFO}
|
||
APP_CONFIG__S3__ENDPOINT: http://minio:9000
|
||
APP_CONFIG__S3__BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
APP_CONFIG__S3__ACCESS_KEY_FILE: /run/secrets/s3_access_key_id
|
||
APP_CONFIG__S3__SECRET_KEY_FILE: /run/secrets/s3_secret_access_key
|
||
APP_CONFIG__ATTACHMENTS__MAX_CONCURRENT_UPLOADS: ${UPLOAD_CONCURRENCY:-8}
|
||
APP_CONFIG__RECONCILE__GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-3600}
|
||
secrets:
|
||
- postgres_password
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
restart: "no"
|
||
|
||
# Периодическая сверка S3 и PostgreSQL (app/maintenance/reconcile.py): удаляет объекты без метаданных
|
||
# и метаданные без объекта, не прикреплённые к сообщениям, — только старше grace period (1 ч) и не больше
|
||
# 100 за запуск; остальные расхождения только в лог. Отказ БД/S3 — пропуск цикла.
|
||
reconciler:
|
||
build: *app-build
|
||
image: mtusi-messenger:lab4
|
||
command:
|
||
- /bin/sh
|
||
- -c
|
||
- >-
|
||
while true; do
|
||
python -m maintenance.reconcile --apply > /dev/null;
|
||
sleep $${RECONCILE_INTERVAL_SECONDS};
|
||
done
|
||
healthcheck:
|
||
disable: true
|
||
environment:
|
||
<<: *app-env
|
||
RECONCILE_INTERVAL_SECONDS: ${RECONCILE_INTERVAL_SECONDS:-600}
|
||
secrets:
|
||
- postgres_password
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
dns_opt:
|
||
- "timeout:1"
|
||
- "attempts:1"
|
||
depends_on:
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
minio-init:
|
||
condition: service_completed_successfully
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 128M
|
||
# SIGTERM для sh в цикле не прерывает sleep; ждать незачем — состояния нет.
|
||
stop_grace_period: 2s
|
||
restart: unless-stopped
|
||
|
||
# S3-совместимое хранилище. Официальные образы MinIO больше не публикуются; это сборка последнего
|
||
# официального релиза RELEASE.2025-10-15T17-29-55Z (coollabsio), закреплённая по digest.
|
||
minio:
|
||
image: coollabsio/minio:RELEASE.2025-10-15T17-29-55Z@sha256:69b55a1c1c5dc285ce04db96689f5b2102317fc77a50680a1874ca6efd1c87f9
|
||
# Root-credentials читаются из Docker secrets внутри контейнера и в конфигурации Compose не видны.
|
||
entrypoint: ["/bin/sh", "-c"]
|
||
command:
|
||
- >-
|
||
MINIO_ROOT_USER="$$(cat /run/secrets/minio_root_user)"
|
||
MINIO_ROOT_PASSWORD="$$(cat /run/secrets/minio_root_password)"
|
||
exec minio server /data --address :9000
|
||
environment:
|
||
# Веб-консоль выключена: администрирование только через mc из minio-init.
|
||
MINIO_BROWSER: "off"
|
||
secrets:
|
||
- minio_root_user
|
||
- minio_root_password
|
||
volumes:
|
||
- minio_data:/data
|
||
# Только loopback: проверка «прямой анонимный GET не отдаёт объект» и сверка хранилищ с хоста.
|
||
# API ходит в MinIO по внутренней сети, клиенты — только через API.
|
||
ports:
|
||
- "127.0.0.1:${MINIO_HOST_PORT:-9000}:9000"
|
||
healthcheck:
|
||
# /minio/health/live без авторизации; mc уже есть в образе (curl/wget нет).
|
||
test: ["CMD", "mc", "ready", "local"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# MinIO считает хеши каждого объекта; на 1 CPU 20 одновременных PUT по 10 MiB шли рывками.
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
restart: unless-stopped
|
||
|
||
# Разовая идемпотентная настройка: приватный bucket, политика и отдельный пользователь для API.
|
||
minio-init:
|
||
image: coollabsio/minio:RELEASE.2025-10-15T17-29-55Z@sha256:69b55a1c1c5dc285ce04db96689f5b2102317fc77a50680a1874ca6efd1c87f9
|
||
entrypoint: ["/bin/sh", "/bootstrap.sh"]
|
||
environment:
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_TEST_BUCKET: ${S3_TEST_BUCKET:-messenger-attachments-test}
|
||
S3_BENCH_BUCKET: ${S3_BENCH_BUCKET:-messenger-attachments-bench}
|
||
volumes:
|
||
- ./infra/minio/bootstrap.sh:/bootstrap.sh:ro
|
||
secrets:
|
||
- minio_root_user
|
||
- minio_root_password
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
healthcheck:
|
||
disable: true
|
||
depends_on:
|
||
minio:
|
||
condition: service_healthy
|
||
restart: "no"
|
||
|
||
# Масштабируется: API_REPLICAS (по умолчанию 2). Нет container_name и нет published ports.
|
||
# Локального состояния нет: данные и сессии в PostgreSQL, байты вложений в MinIO.
|
||
api:
|
||
build: *app-build
|
||
image: mtusi-messenger:lab4
|
||
# Без env_file: в .env адреса для запуска из venv, а не из контейнера.
|
||
environment: *app-env
|
||
secrets:
|
||
- postgres_password
|
||
- jwt_secret
|
||
# Только ключи пользователя messenger-api; root-credentials MinIO у API нет.
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
# Имя остановленного контейнера (minio, postgres) должно резолвиться в ошибку за 1 с, а не ~8 с.
|
||
dns_opt:
|
||
- "timeout:1"
|
||
- "attempts:1"
|
||
expose:
|
||
- "8080"
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
minio-init:
|
||
condition: service_completed_successfully
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# Argon2id (64 MiB на каждый одновременный хеш) — самое тяжёлое место: на 0.5 CPU вход занимал 1.2–1.7 с.
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
pids: 200
|
||
# SIGTERM: drain_seconds (3) + graceful_timeout (5) = 8 с, запас до SIGKILL.
|
||
stop_grace_period: 15s
|
||
restart: unless-stopped
|
||
|
||
lb:
|
||
image: haproxy:3.0.29-alpine@sha256:56b887da77428b7a6621e59e480cdbd330cc805c22d3cedb66ceea76ffdea2c6
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
ports:
|
||
# Публичная точка входа; порт на хосте меняется через LB_HOST_PORT, если 8080 занят.
|
||
- "127.0.0.1:${LB_HOST_PORT:-8080}:8080"
|
||
depends_on:
|
||
api:
|
||
condition: service_healthy
|
||
healthcheck:
|
||
# Через собственный порт LB: 200 только если есть хотя бы одна живая реплика.
|
||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8080/health/live"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 5
|
||
start_period: 5s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
restart: unless-stopped
|
||
|
||
volumes:
|
||
postgres_data:
|
||
minio_data:
|
||
|
||
secrets:
|
||
postgres_password:
|
||
file: ./secrets/postgres_password
|
||
jwt_secret:
|
||
file: ./secrets/jwt_secret
|
||
minio_root_user:
|
||
file: ./secrets/minio_root_user
|
||
minio_root_password:
|
||
file: ./secrets/minio_root_password
|
||
s3_access_key_id:
|
||
file: ./secrets/s3_access_key_id
|
||
s3_secret_access_key:
|
||
file: ./secrets/s3_secret_access_key
|