Files
mtusi2026lab4/compose.yaml
vest1ter 44ae7b2472 ЛР4 на 5: вложения в MinIO, отказоустойчивость, трек 2 (сверка S3 и PostgreSQL)
Уровень 3:
- код lab3 перенесён; MinIO (сборка релиза 2025-10-15, по digest) в общем Compose,
  идемпотентный bootstrap: приватные bucket, отдельный пользователь API с ограниченной политикой
- метаданные вложений в PostgreSQL (миграции 0003, 0004), байты в S3; ключ назначает сервер
- upload PNG/JPEG: лимиты до чтения/декодирования, MIME по содержимому, проверка целостности,
  безопасный filename; 201 только после PUT и COMMIT; download потоком через API
- attachment_ids в сообщениях (только файлы своего чата, FK в БД)
- 503 API больше не повторяется в HAProxy (отказ общей зависимости), S3 не входит в readiness

Уровень 4:
- 45 тестов вложений: размер, повреждение, подмена MIME, чужой id, файл другого чата, отказы S3/БД
- компенсация при сбое COMMIT; слоты загрузки (8 на реплику) против неограниченной памяти
- эксперименты: пик RAM при 10-40 одновременных загрузках, оборванная загрузка и сироты;
  исправлены удержание соединения БД во время загрузки и таймаут отправки в S3

Уровень 5, трек 2:
- reconciler: слияние листинга S3 и курсора БД, 7 категорий расхождений, dry-run, grace period,
  перепроверка перед действием, тормоз --max-deletes, advisory lock; сервис reconciler в Compose
- 8 тестов сверки; эксперимент с 70 внедрёнными ошибками на 10 000 объектах (точное обнаружение,
  безопасное исправление, идемпотентность) и замер стоимости обхода на 1k/10k/50k
2026-11-12 17:38:00 +03:00

258 lines
10 KiB
YAML
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Запуск: docker compose up -d --build --wait (или scripts/init-secrets.* перед первым запуском)
# Остановка: docker compose down — данные остаются в volume
# Удаление данных намеренно: docker compose down -v
#
# Клиент -> lb (HAProxy, единственный опубликованный порт) -> api x N (без портов на хосте) -> postgres (метаданные)
# -> minio (байты файлов)
# Порядок старта: postgres (healthy) -> migrate (один раз, exit 0) -> api (healthy) -> lb (healthy);
# minio (healthy) -> minio-init (один раз, exit 0) -> api.
name: mtusi-lab4
x-app-build: &app-build
context: .
args:
APP_VERSION: ${APP_VERSION:-dev}
services:
postgres:
image: postgres:17.10-alpine@sha256:979c4379dd698aba0b890599a6104e082035f98ef31d9b9291ec22f2b13059ca
environment:
POSTGRES_DB: messenger
POSTGRES_USER: messenger
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets:
- postgres_password
volumes:
- postgres_data:/var/lib/postgresql/data
# Только loopback, для своих pytest-тестов из venv. API-реплики ходят в БД по внутренней сети.
ports:
- "127.0.0.1:${POSTGRES_HOST_PORT:-5432}:5432"
healthcheck:
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
deploy:
resources:
limits:
cpus: "1.0"
memory: 512M
restart: unless-stopped
# Разовая задача: ОДИН контейнер применяет миграции и завершается с кодом 0.
# Реплики API миграции не запускают, поэтому гонки при старте нет (плюс advisory lock в migrations/env.py).
migrate:
build: *app-build
image: mtusi-messenger:lab4
command: ["python", "-m", "alembic", "upgrade", "head"]
# HEALTHCHECK образа проверяет HTTP-сервер API, а здесь сервера нет: иначе статус был бы unhealthy.
healthcheck:
disable: true
environment: &app-env
APP_CONFIG__DB__HOST: postgres
APP_CONFIG__DB__PORT: "5432"
APP_CONFIG__DB__NAME: messenger
APP_CONFIG__DB__USER: messenger
APP_CONFIG__DB__PASSWORD_FILE: /run/secrets/postgres_password
APP_CONFIG__JWT__SECRET_FILE: /run/secrets/jwt_secret
APP_CONFIG__JWT__SESSION_TTL_SECONDS: ${APP_CONFIG__JWT__SESSION_TTL_SECONDS:-3600}
APP_CONFIG__LOGGING__LEVEL: ${APP_CONFIG__LOGGING__LEVEL:-INFO}
APP_CONFIG__S3__ENDPOINT: http://minio:9000
APP_CONFIG__S3__BUCKET: ${S3_BUCKET:-messenger-attachments}
APP_CONFIG__S3__ACCESS_KEY_FILE: /run/secrets/s3_access_key_id
APP_CONFIG__S3__SECRET_KEY_FILE: /run/secrets/s3_secret_access_key
APP_CONFIG__ATTACHMENTS__MAX_CONCURRENT_UPLOADS: ${UPLOAD_CONCURRENCY:-8}
APP_CONFIG__RECONCILE__GRACE_SECONDS: ${RECONCILE_GRACE_SECONDS:-3600}
secrets:
- postgres_password
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
restart: "no"
# Периодическая сверка S3 и PostgreSQL (app/maintenance/reconcile.py): удаляет объекты без метаданных
# и метаданные без объекта, не прикреплённые к сообщениям, — только старше grace period (1 ч) и не больше
# 100 за запуск; остальные расхождения только в лог. Отказ БД/S3 — пропуск цикла.
reconciler:
build: *app-build
image: mtusi-messenger:lab4
command:
- /bin/sh
- -c
- >-
while true; do
python -m maintenance.reconcile --apply > /dev/null;
sleep $${RECONCILE_INTERVAL_SECONDS};
done
healthcheck:
disable: true
environment:
<<: *app-env
RECONCILE_INTERVAL_SECONDS: ${RECONCILE_INTERVAL_SECONDS:-600}
secrets:
- postgres_password
- s3_access_key_id
- s3_secret_access_key
dns_opt:
- "timeout:1"
- "attempts:1"
depends_on:
migrate:
condition: service_completed_successfully
minio-init:
condition: service_completed_successfully
deploy:
resources:
limits:
cpus: "0.25"
memory: 128M
# SIGTERM для sh в цикле не прерывает sleep; ждать незачем — состояния нет.
stop_grace_period: 2s
restart: unless-stopped
# S3-совместимое хранилище. Официальные образы MinIO больше не публикуются; это сборка последнего
# официального релиза RELEASE.2025-10-15T17-29-55Z (coollabsio), закреплённая по digest.
minio:
image: coollabsio/minio:RELEASE.2025-10-15T17-29-55Z@sha256:69b55a1c1c5dc285ce04db96689f5b2102317fc77a50680a1874ca6efd1c87f9
# Root-credentials читаются из Docker secrets внутри контейнера и в конфигурации Compose не видны.
entrypoint: ["/bin/sh", "-c"]
command:
- >-
MINIO_ROOT_USER="$$(cat /run/secrets/minio_root_user)"
MINIO_ROOT_PASSWORD="$$(cat /run/secrets/minio_root_password)"
exec minio server /data --address :9000
environment:
# Веб-консоль выключена: администрирование только через mc из minio-init.
MINIO_BROWSER: "off"
secrets:
- minio_root_user
- minio_root_password
volumes:
- minio_data:/data
# Только loopback: проверка «прямой анонимный GET не отдаёт объект» и сверка хранилищ с хоста.
# API ходит в MinIO по внутренней сети, клиенты — только через API.
ports:
- "127.0.0.1:${MINIO_HOST_PORT:-9000}:9000"
healthcheck:
# /minio/health/live без авторизации; mc уже есть в образе (curl/wget нет).
test: ["CMD", "mc", "ready", "local"]
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
deploy:
resources:
limits:
# MinIO считает хеши каждого объекта; на 1 CPU 20 одновременных PUT по 10 MiB шли рывками.
cpus: "2.0"
memory: 1G
restart: unless-stopped
# Разовая идемпотентная настройка: приватный bucket, политика и отдельный пользователь для API.
minio-init:
image: coollabsio/minio:RELEASE.2025-10-15T17-29-55Z@sha256:69b55a1c1c5dc285ce04db96689f5b2102317fc77a50680a1874ca6efd1c87f9
entrypoint: ["/bin/sh", "/bootstrap.sh"]
environment:
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
S3_TEST_BUCKET: ${S3_TEST_BUCKET:-messenger-attachments-test}
S3_BENCH_BUCKET: ${S3_BENCH_BUCKET:-messenger-attachments-bench}
volumes:
- ./infra/minio/bootstrap.sh:/bootstrap.sh:ro
secrets:
- minio_root_user
- minio_root_password
- s3_access_key_id
- s3_secret_access_key
healthcheck:
disable: true
depends_on:
minio:
condition: service_healthy
restart: "no"
# Масштабируется: API_REPLICAS (по умолчанию 2). Нет container_name и нет published ports.
# Локального состояния нет: данные и сессии в PostgreSQL, байты вложений в MinIO.
api:
build: *app-build
image: mtusi-messenger:lab4
# Без env_file: в .env адреса для запуска из venv, а не из контейнера.
environment: *app-env
secrets:
- postgres_password
- jwt_secret
# Только ключи пользователя messenger-api; root-credentials MinIO у API нет.
- s3_access_key_id
- s3_secret_access_key
# Имя остановленного контейнера (minio, postgres) должно резолвиться в ошибку за 1 с, а не ~8 с.
dns_opt:
- "timeout:1"
- "attempts:1"
expose:
- "8080"
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
minio-init:
condition: service_completed_successfully
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
# Argon2id (64 MiB на каждый одновременный хеш) — самое тяжёлое место: на 0.5 CPU вход занимал 1.2–1.7 с.
cpus: "1.0"
memory: 512M
pids: 200
# SIGTERM: drain_seconds (3) + graceful_timeout (5) = 8 с, запас до SIGKILL.
stop_grace_period: 15s
restart: unless-stopped
lb:
image: haproxy:3.0.29-alpine@sha256:56b887da77428b7a6621e59e480cdbd330cc805c22d3cedb66ceea76ffdea2c6
volumes:
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
ports:
# Публичная точка входа; порт на хосте меняется через LB_HOST_PORT, если 8080 занят.
- "127.0.0.1:${LB_HOST_PORT:-8080}:8080"
depends_on:
api:
condition: service_healthy
healthcheck:
# Через собственный порт LB: 200 только если есть хотя бы одна живая реплика.
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8080/health/live"]
interval: 5s
timeout: 3s
retries: 5
start_period: 5s
deploy:
resources:
limits:
cpus: "0.5"
memory: 128M
restart: unless-stopped
volumes:
postgres_data:
minio_data:
secrets:
postgres_password:
file: ./secrets/postgres_password
jwt_secret:
file: ./secrets/jwt_secret
minio_root_user:
file: ./secrets/minio_root_user
minio_root_password:
file: ./secrets/minio_root_password
s3_access_key_id:
file: ./secrets/s3_access_key_id
s3_secret_access_key:
file: ./secrets/s3_secret_access_key