forked from mtusi2026/mtusi2026lab5
Перенесено дерево lab4 целиком: NestJS-приложение с вложениями и S3,
Dockerfile, compose.yaml, infra/{haproxy,minio}, стендовые скрипты,
scripts/lab4, evidence/lab4 и contracts/extensions.openapi.json.
Задание lab5 оставлено своим: README, REPORT, COURSE, lab.json,
contracts/{openapi,infrastructure,jobs.schema,attachment-states,examples},
tests, compose.example.yaml, .github/pull_request_template.md.
Адаптации при переносе:
- docker-проект mtusi-lab4 -> mtusi-lab5 и тег образа mtusi-messenger:lab5,
чтобы тома и контейнеры не пересекались с lab4 (scripts/stop-one.sh:
LAB_PROJECT вместо LAB4_PROJECT);
- Makefile: цели lab5 сохранены, добавлены стендовые (stand-up/down,
wait-ready, init-env, test-e2e, test-dependencies, s3-security,
consistency, bench);
- .env.example: реальные переменные приложения и стенда lab4 (без них
compose.yaml не поднимается) + блок lab5 (BROKER_URL_FILE, WORKER_*).
231 lines
9.4 KiB
YAML
231 lines
9.4 KiB
YAML
# Стенд lab5 (база lab4): клиент -> HAProxy -> API x N -> PostgreSQL + Redis + MinIO.
|
|
# Одна команда запуска: make stand-up (docker compose --env-file .env up -d --build --wait)
|
|
#
|
|
# Проект запинен именем, чтобы имена контейнеров и labels были предсказуемы для
|
|
# scripts/stop-one.sh; container_name нигде не задан, иначе масштабирование
|
|
# одного Compose-service стало бы невозможным.
|
|
name: mtusi-lab5
|
|
|
|
services:
|
|
postgres:
|
|
image: postgres:16.4-alpine
|
|
# pg_stat_statements включён для трека 1 (агрегаты SQL по репликам);
|
|
# max_connections поднят под N x DATABASE_POOL_MAX.
|
|
command:
|
|
[
|
|
'postgres',
|
|
'-c',
|
|
'shared_preload_libraries=pg_stat_statements',
|
|
'-c',
|
|
'max_connections=120',
|
|
'-c',
|
|
'shared_buffers=128MB',
|
|
'-c',
|
|
'effective_cache_size=384MB',
|
|
]
|
|
environment:
|
|
POSTGRES_DB: ${POSTGRES_DB:-messenger}
|
|
POSTGRES_USER: ${POSTGRES_USER:-messenger}
|
|
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD in .env}
|
|
# Только loopback: операторские проверки (host-side npm run test:e2e,
|
|
# psql в evidence). API-реплики портов не публикуют вовсе.
|
|
ports:
|
|
- '127.0.0.1:${POSTGRES_PUBLISHED_PORT:-5432}:5432'
|
|
volumes:
|
|
- postgres-data:/var/lib/postgresql/data
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
cpus: '${PG_CPUS:-1.5}'
|
|
memory: ${PG_MEMORY:-512m}
|
|
healthcheck:
|
|
test:
|
|
[
|
|
'CMD-SHELL',
|
|
'pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}',
|
|
]
|
|
interval: 5s
|
|
timeout: 3s
|
|
retries: 20
|
|
|
|
redis:
|
|
image: redis:7.4.2-alpine
|
|
# appendonly: сессии и кэш переживают рестарт контейнера (проверка
|
|
# сохранности с неизменным токеном). volatile-lru вытесняет только
|
|
# ключи с TTL; в стенде у них ограниченный набор и объём.
|
|
command:
|
|
[
|
|
'redis-server',
|
|
'--appendonly',
|
|
'yes',
|
|
'--appendfsync',
|
|
'everysec',
|
|
'--maxmemory',
|
|
'96mb',
|
|
'--maxmemory-policy',
|
|
'volatile-lru',
|
|
]
|
|
ports:
|
|
- '127.0.0.1:${REDIS_PUBLISHED_PORT:-6379}:6379'
|
|
volumes:
|
|
- redis-data:/data
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
cpus: '${REDIS_CPUS:-0.25}'
|
|
memory: ${REDIS_MEMORY:-128m}
|
|
healthcheck:
|
|
test: ['CMD', 'redis-cli', 'ping']
|
|
interval: 5s
|
|
timeout: 3s
|
|
retries: 20
|
|
|
|
s3:
|
|
image: minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e
|
|
command: ['server', '/data', '--address', ':9000']
|
|
environment:
|
|
MINIO_ROOT_USER_FILE: minio_root_user
|
|
MINIO_ROOT_PASSWORD_FILE: minio_root_password
|
|
MINIO_BROWSER: 'off'
|
|
secrets: [minio_root_user, minio_root_password]
|
|
# Консольный порт 9001 не публикуется, консоль отключена (MINIO_BROWSER=off).
|
|
ports:
|
|
- '${S3_PUBLIC_BIND:-127.0.0.1}:${S3_PUBLIC_PORT:-9000}:9000'
|
|
volumes:
|
|
- s3-data:/data
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
cpus: '${S3_CPUS:-1.0}'
|
|
memory: ${S3_MEMORY:-512m}
|
|
healthcheck:
|
|
test: ['CMD', 'mc', 'ready', 'local']
|
|
interval: 5s
|
|
timeout: 3s
|
|
retries: 20
|
|
|
|
# Идемпотентный bootstrap: bucket, политика, пользователь API.
|
|
s3-init:
|
|
image: minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349ef4bd8521fb8497f55c6042871b2ae640607cf99d9bede5e9bdf11727
|
|
entrypoint: ['/bin/sh', '/bootstrap/bootstrap.sh']
|
|
environment:
|
|
S3_BUCKET: '${S3_BUCKET:-messenger-attachments}'
|
|
volumes:
|
|
- ./infra/minio:/bootstrap:ro
|
|
secrets:
|
|
- minio_root_user
|
|
- minio_root_password
|
|
- s3_api_access_key_id
|
|
- s3_api_secret_access_key
|
|
depends_on:
|
|
s3: { condition: service_healthy }
|
|
restart: 'no'
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
cpus: '0.25'
|
|
memory: 128m
|
|
|
|
# Миграции выполняются один раз отдельным сервисом, а не гонкой реплик:
|
|
# api стартует только после его успешного завершения.
|
|
migrate:
|
|
build:
|
|
context: .
|
|
dockerfile: Dockerfile
|
|
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
|
command: ['node', 'dist/database/migration.runner.js']
|
|
env_file: [.env]
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
cpus: '0.5'
|
|
memory: 192m
|
|
depends_on:
|
|
postgres: { condition: service_healthy }
|
|
redis: { condition: service_healthy }
|
|
restart: 'no'
|
|
|
|
api:
|
|
build:
|
|
context: .
|
|
dockerfile: Dockerfile
|
|
args:
|
|
BUILD_ID: ${BUILD_ID:-unknown}
|
|
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
|
# Портов нет намеренно: единственная точка входа — HAProxy.
|
|
env_file: [.env]
|
|
environment:
|
|
DATABASE_POOL_MAX: ${DATABASE_POOL_MAX:-10}
|
|
CACHE_MODE: ${CACHE_MODE:-protected}
|
|
CACHE_MISS_DELAY_MS: ${CACHE_MISS_DELAY_MS:-0}
|
|
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
|
# Бюджет пробы готовности; LB проверяет ту же ручку с timeout check 500 ms.
|
|
HEALTH_TIMEOUT_MS: ${HEALTH_TIMEOUT_MS:-400}
|
|
# Дрейн длиннее обнаружения отказа LB (500 ms x fall 2 ≈ 1 s).
|
|
DRAIN_DELAY_MS: ${DRAIN_DELAY_MS:-3000}
|
|
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_api_access_key_id
|
|
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_api_secret_access_key
|
|
UPLOAD_TIMEOUT_MS: ${UPLOAD_TIMEOUT_MS:-25000}
|
|
DIRECT_UPLOAD_URL_TTL_SECONDS: ${DIRECT_UPLOAD_URL_TTL_SECONDS:-300}
|
|
ATTACHMENT_SWEEP_GRACE_SECONDS: ${ATTACHMENT_SWEEP_GRACE_SECONDS:-900}
|
|
ATTACHMENT_SWEEP_INTERVAL_MS: ${ATTACHMENT_SWEEP_INTERVAL_MS:-60000}
|
|
# libvips держит декодируемое изображение в памяти, а не во временном
|
|
# файле: /tmp — tmpfs 16 MiB, и изображение ~40 Мп туда не помещается.
|
|
VIPS_DISC_THRESHOLD: ${VIPS_DISC_THRESHOLD:-1g}
|
|
secrets: [s3_api_access_key_id, s3_api_secret_access_key]
|
|
# Корневая ФС только для чтения: локального файла оригинала на API нет.
|
|
read_only: true
|
|
tmpfs: ['/tmp:size=16m']
|
|
deploy:
|
|
replicas: ${API_REPLICAS:-2}
|
|
resources:
|
|
limits:
|
|
cpus: '${API_CPUS_PER_REPLICA:-1.5}'
|
|
memory: ${API_MEMORY_PER_REPLICA:-1024m}
|
|
stop_grace_period: 20s
|
|
restart: unless-stopped
|
|
depends_on:
|
|
migrate: { condition: service_completed_successfully }
|
|
postgres: { condition: service_healthy }
|
|
redis: { condition: service_healthy }
|
|
s3-init: { condition: service_completed_successfully }
|
|
healthcheck:
|
|
test:
|
|
[
|
|
'CMD',
|
|
'node',
|
|
'-e',
|
|
"fetch('http://127.0.0.1:'+ (process.env.APP_PORT||8080) + '/health/ready').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))",
|
|
]
|
|
interval: 5s
|
|
timeout: 3s
|
|
retries: 20
|
|
|
|
haproxy:
|
|
image: haproxy:3.2-alpine
|
|
ports:
|
|
- '${APP_PUBLIC_PORT:-8080}:8080'
|
|
# Страница статистики — интерфейс LB, публикуется только на loopback.
|
|
- '127.0.0.1:${LB_STATS_PORT:-8404}:8404'
|
|
volumes:
|
|
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
|
deploy:
|
|
resources:
|
|
limits:
|
|
cpus: '${LB_CPUS:-0.25}'
|
|
memory: ${LB_MEMORY:-128m}
|
|
depends_on:
|
|
api: { condition: service_healthy }
|
|
|
|
|
|
secrets:
|
|
minio_root_user: { file: ./secrets/minio_root_user }
|
|
minio_root_password: { file: ./secrets/minio_root_password }
|
|
s3_api_access_key_id: { file: ./secrets/s3_api_access_key_id }
|
|
s3_api_secret_access_key: { file: ./secrets/s3_api_secret_access_key }
|
|
|
|
volumes:
|
|
postgres-data:
|
|
redis-data:
|
|
s3-data:
|