211 lines
9.7 KiB
YAML
211 lines
9.7 KiB
YAML
# Стенд лабы 3: HAProxy — единственная точка входа API, за ним
|
||
# API_REPLICAS реплик; PostgreSQL (источник истины: данные, сессии, ключи
|
||
# идемпотентности), Valkey (общий кэш карточек чатов), одноразовые
|
||
# миграции. Значения ${...} compose берёт из .env (шаблон .env.example,
|
||
# `make env`). Порты публикуются только на 127.0.0.1; внутри сети стенда
|
||
# порты фиксированы: 5432, 6379, 8080, мониторинг LB — 8404.
|
||
# Правила — infra/AGENTS.md; запуск — `make up`.
|
||
#
|
||
# Имя проекта меняется в каждой лабе: от него зависят имена volume, и
|
||
# стенд лабы 3 не подключается к данным лабы 2.
|
||
name: vladimirceva-lab3
|
||
|
||
# окружение по сервисам: секреты получают только те, кому они нужны.
|
||
# PostgreSQL — api и migrate
|
||
x-db-env: &db-env
|
||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||
DB_HOST: postgres
|
||
DB_PORT: "5432"
|
||
DB_NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
DB_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
DB_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
|
||
# Valkey — только api
|
||
x-cache-env: &cache-env
|
||
CACHE_HOST: valkey
|
||
CACHE_PORT: "6379"
|
||
CACHE_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
|
||
# ужесточение контейнеров приложения: файловая система только для
|
||
# чтения, без capabilities и повышения привилегий
|
||
x-hardened: &hardened
|
||
read_only: true
|
||
cap_drop:
|
||
- ALL
|
||
security_opt:
|
||
- no-new-privileges:true
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
|
||
restart: unless-stopped
|
||
environment:
|
||
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run` и миграции с
|
||
# хоста. API наружу так не публикуется — только через LB
|
||
- "127.0.0.1:${POSTGRES_HOST_PORT:-5433}:5432"
|
||
volumes:
|
||
# Postgres 18 хранит данные в /var/lib/postgresql/18/docker; volume
|
||
# образа — весь /var/lib/postgresql (Config.Volumes)
|
||
- pgdata:/var/lib/postgresql
|
||
healthcheck:
|
||
# по TCP, а не через сокет: при инициализации образ поднимает
|
||
# временный сервер только на сокете, и проверка через сокет
|
||
# сказала бы «готов» раньше времени. $$ — переменная контейнера
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# соединения: API_REPLICAS × (DB_POOL_SIZE + DB_POOL_OVERFLOW) +
|
||
# migrate ≤ max_connections (100): 2 × 15 + 1 = 31, при
|
||
# поочерёдной замене 3 × 15 + 1 = 46 (REPORT.md, «Лимиты и пулы»)
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
|
||
# кэш карточек чатов: volume нет, persistence выключен в valkey.conf —
|
||
# после рестарта кэш пуст, данные остаются в PostgreSQL
|
||
valkey:
|
||
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
|
||
restart: unless-stopped
|
||
# $$ — переменная контейнера: пароля нет в command литералом. Через
|
||
# docker-entrypoint.sh образа: он запускает сервер не от root
|
||
command:
|
||
- sh
|
||
- -c
|
||
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --requirepass "$$VALKEY_PASSWORD"
|
||
environment:
|
||
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
|
||
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run`
|
||
- "127.0.0.1:${VALKEY_HOST_PORT:-6380}:6379"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/valkey/valkey.conf
|
||
target: /usr/local/etc/valkey/valkey.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
# PONG только после AUTH: проверяет и запуск, и пароль
|
||
test: ["CMD-SHELL", 'test "$$(valkey-cli ping)" = PONG']
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# maxmemory 64mb в valkey.conf плюс накладные
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# миграции до старта реплик: тот же образ, другая команда. Один раз на
|
||
# `up`, реплики ждут его завершения; сами реплики миграции не запускают
|
||
# (их несколько — они гонялись бы за одну схему). Повторный запуск —
|
||
# no-op: alembic применяет только недостающие ревизии
|
||
migrate:
|
||
image: mtusi-messenger-vladimirceva:lab3
|
||
# образ собирает сервис api (make up, make docker-build)
|
||
pull_policy: never
|
||
command: ["python", "-m", "alembic", "upgrade", "head"]
|
||
restart: "no"
|
||
# только PostgreSQL: пароль Valkey миграциям не нужен
|
||
environment: *db-env
|
||
<<: *hardened
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# реплики API: портов наружу нет, фиксированного имени контейнера нет
|
||
# (оба мешали бы масштабированию одного сервиса) — запросы идут только
|
||
# через haproxy. X-Instance-Id — hostname, то есть короткий ID
|
||
# контейнера. Разовая подмена числа — `make replicas API_REPLICAS=N`
|
||
api:
|
||
build: .
|
||
# тот же тег, что у make docker-build
|
||
image: mtusi-messenger-vladimirceva:lab3
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *cache-env]
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-5}
|
||
<<: *hardened
|
||
# приложение ничего не пишет на диск, кроме временных файлов Python
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# без кэша API работает, но в штатном стенде он есть с первого запроса
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с после
|
||
# SIGTERM (uvicorn завершается сам за SHUTDOWN_TIMEOUT ≤ 9 с)
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# один процесс, один event loop: больше одного CPU он не займёт,
|
||
# кроме Argon2id входа в потоках (под лимитом вход медленнее).
|
||
# Память: Argon2id 4 × 64 MiB + интерпретатор
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# единственная точка входа: реплики находит через DNS Docker, проверяет
|
||
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
|
||
haproxy:
|
||
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
|
||
restart: unless-stopped
|
||
ports:
|
||
# только localhost: стенд учебный; API с хоста доступно только так
|
||
- "127.0.0.1:${HOST_PORT:-8080}:8080"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/haproxy/haproxy.cfg
|
||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
<<: *hardened
|
||
# make stop гасит LB раньше реплик, make up поднимает после них
|
||
depends_on:
|
||
- api
|
||
healthcheck:
|
||
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
|
||
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
|
||
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# nbthread 1 в haproxy.cfg
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
|
||
volumes:
|
||
pgdata:
|