forked from mtusi2026/mtusi2026lab3
250 lines
10 KiB
YAML
250 lines
10 KiB
YAML
# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey и одноразовый запуск миграций.
|
||
# Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh
|
||
# Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v
|
||
# Значения вида ${X:-8080} можно менять через окружение или .env.
|
||
|
||
name: mtusi-lab3
|
||
|
||
# Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены.
|
||
secrets:
|
||
postgres_password:
|
||
file: ./secrets/postgres_password
|
||
database_url:
|
||
file: ./secrets/database_url
|
||
valkey_password:
|
||
file: ./secrets/valkey_password
|
||
cache_url:
|
||
file: ./secrets/cache_url
|
||
valkey_cache_password:
|
||
file: ./secrets/valkey_cache_password
|
||
history_cache_url:
|
||
file: ./secrets/history_cache_url
|
||
|
||
services:
|
||
# Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа.
|
||
postgres:
|
||
image: postgres:17.6-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
# pg_stat_statements собирает статистику запросов для диагностики.
|
||
command:
|
||
- postgres
|
||
- -c
|
||
- shared_preload_libraries=pg_stat_statements
|
||
environment:
|
||
POSTGRES_USER: messenger
|
||
POSTGRES_DB: messenger
|
||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||
secrets:
|
||
- postgres_password
|
||
# Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v.
|
||
volumes:
|
||
- pgdata:/var/lib/postgresql/data
|
||
# Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен.
|
||
ports:
|
||
- "127.0.0.1:${POSTGRES_PORT:-5432}:5432"
|
||
# Готовность БД: от неё зависят migrate и API.
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
# Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют.
|
||
restart: unless-stopped
|
||
|
||
# Общее хранилище сессий: поэтому токен принимает любая реплика API.
|
||
valkey:
|
||
image: valkey/valkey:8.1.3-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
# Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии
|
||
# возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча.
|
||
# $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле.
|
||
command:
|
||
- /bin/sh
|
||
- -c
|
||
- >-
|
||
exec valkey-server
|
||
--appendonly yes
|
||
--appendfsync everysec
|
||
--maxmemory 128mb
|
||
--maxmemory-policy noeviction
|
||
--requirepass "$$(cat /run/secrets/valkey_password)"
|
||
secrets:
|
||
- valkey_password
|
||
volumes:
|
||
- valkeydata:/data
|
||
# Только 127.0.0.1: для диагностики с этого хоста.
|
||
ports:
|
||
- "127.0.0.1:${VALKEY_PORT:-6379}:6379"
|
||
healthcheck:
|
||
test:
|
||
- CMD-SHELL
|
||
- 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG'
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
# Кэш истории выключен по умолчанию (HISTORY_CACHE=off): его долг инвалидации хранится
|
||
# в памяти реплики, поэтому при нескольких API он не гарантирует чтение после записи.
|
||
valkey-cache:
|
||
# Профили: сервис запускается только по явному запросу. Тома нет: кэш не требует сохранности,
|
||
# при нехватке памяти вытесняются давние записи (allkeys-lru).
|
||
profiles: ["cache"]
|
||
image: valkey/valkey:8.1.3-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
command:
|
||
- /bin/sh
|
||
- -c
|
||
- >-
|
||
exec valkey-server
|
||
--save ""
|
||
--appendonly no
|
||
--maxmemory 64mb
|
||
--maxmemory-policy allkeys-lru
|
||
--requirepass "$$(cat /run/secrets/valkey_cache_password)"
|
||
secrets:
|
||
- valkey_cache_password
|
||
ports:
|
||
- "127.0.0.1:${VALKEY_CACHE_PORT:-6380}:6379"
|
||
healthcheck:
|
||
test:
|
||
- CMD-SHELL
|
||
- 'valkey-cli -a "$$(cat /run/secrets/valkey_cache_password)" ping 2>/dev/null | grep -q PONG'
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
|
||
# Одноразовый запуск миграций: выполняется один раз до API и завершается.
|
||
migrate:
|
||
build:
|
||
context: .
|
||
target: migrate
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
environment:
|
||
DATABASE_URL_FILE: /run/secrets/database_url
|
||
secrets:
|
||
- database_url
|
||
# Миграции начинаются только после готовности БД.
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# Завершение — штатный итог, перезапускать его не нужно.
|
||
restart: "no"
|
||
|
||
# Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик
|
||
# идёт через LB. Своего состояния у реплик нет.
|
||
api:
|
||
# target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update.
|
||
build:
|
||
context: .
|
||
args:
|
||
APP_BUILD: ${APP_BUILD:-dev}
|
||
env_file: .env
|
||
deploy:
|
||
# Лимиты указаны на одну реплику: при N репликах суммарно N × лимит.
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
# Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL.
|
||
stop_grace_period: 15s
|
||
environment:
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
HISTORY_CACHE: ${HISTORY_CACHE:-off}
|
||
HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30}
|
||
HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0}
|
||
# Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100).
|
||
DB_MAX_CONNS: ${DB_MAX_CONNS:-10}
|
||
# Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров,
|
||
# подтверждающих это, сейчас в evidence нет.
|
||
DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false}
|
||
# Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md.
|
||
APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB
|
||
APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API
|
||
APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым
|
||
APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с)
|
||
APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться
|
||
secrets:
|
||
- database_url
|
||
- cache_url
|
||
# Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок
|
||
# запуска: выводить упавшую реплику из работы должен LB.
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
restart: unless-stopped
|
||
|
||
# Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg.
|
||
lb:
|
||
image: haproxy:3.2.9-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
# Конфигурация только для чтения.
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
# Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети.
|
||
ports:
|
||
- "${API_PUBLISH_PORT:-8080}:8080"
|
||
# Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые.
|
||
depends_on:
|
||
api:
|
||
condition: service_started
|
||
# Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера.
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 5
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
# Генератор нагрузки в той же сети: без накладных расходов проброса портов Docker Desktop.
|
||
loadgen:
|
||
profiles: ["bench"]
|
||
build:
|
||
context: .
|
||
target: loadgen
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "4.0"
|
||
memory: 1G
|
||
# Каталог для результатов замеров.
|
||
volumes:
|
||
- ./evidence:/evidence
|
||
restart: "no"
|
||
|
||
# Именованные тома только у хранилищ. Реплики API томов не используют.
|
||
volumes:
|
||
pgdata:
|
||
valkeydata:
|