Files
mtusi2026lab5/docker-compose.yml
T
ricoromaandClaude Opus 5.5 04f859282d chore: port lab 4 solution into the lab 5 skeleton
Source: mtusi2026lab4-safronov, solution/bvt2301-safronov, 2546deb.
Contracts, public tests and evidence of lab 4 are not carried over.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-31 03:09:12 +03:00

418 lines
21 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Стенд лабы 5: HAProxy — единственная точка входа, за ним API ×
# API_REPLICAS; PostgreSQL, Valkey (кэш), S3 (SeaweedFS, байты вложений),
# одноразовые миграции и bootstrap S3, уборщик незавершённых загрузок.
# Правила — .claude/rules/docker.md и balancer.md. Значения — из .env
# (шаблон .env.example); литералы только у адреса публикации 127.0.0.1 и
# у режима docker. Имя проекта меняется в каждой лабе: от него зависят
# имена volumes, и стенд не должен подключаться к данным прошлой лабы.
name: mtusi-lab5
# окружение по сервисам: секреты получают только те, кому они нужны.
# PostgreSQL — api, cleaner и migrate
x-db-env: &db-env
APP__RUN_MODE: docker
DATABASE__HOST: ${POSTGRES_HOST:-postgres}
DATABASE__PORT: ${POSTGRES_PORT:-5432}
DATABASE__USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
DATABASE__PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
DATABASE__NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
# Valkey — только api
x-cache-env: &cache-env
CACHE__HOST: ${VALKEY_HOST:-valkey}
CACHE__PORT: ${VALKEY_PORT:-6379}
CACHE__PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
# S3 — api и cleaner: адрес в сети и bucket; ключи — у каждого своего
# пользователя (не административные). Секреты S3 по сервисам (design
# change s3-storage, решение 3; upload-consistency, решение 9):
# административная пара — только s3, ключ подписи — s3 и s3-bootstrap,
# ключи API — s3-bootstrap и api, ключи уборщика — s3-bootstrap и cleaner
x-s3-env: &s3-env
S3__HOST: ${S3_HOST:-s3}
S3__PORT: ${S3_PORT:-8333}
S3__BUCKET: ${S3__BUCKET:-messenger}
# ключи пользователя API в S3 — только api
x-s3-api-keys-env: &s3-api-keys-env
S3__ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
S3__SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
# образ сервера S3 и bootstrap: тег с версией и digest индекса (amd64 и
# arm64)
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
# config.toml только на чтение, длинной записью: без файла запуск падает,
# а не создаёт на хосте каталог config.toml/
x-config-toml: &config-toml
type: bind
source: ./config.toml
target: /app/config.toml
read_only: true
bind:
create_host_path: false
services:
postgres:
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
restart: unless-stopped
environment:
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env_setup}
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env_setup}
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}
# порт самого сервера; его же берут pg_isready и psql в контейнере
PGPORT: ${POSTGRES_PORT:-5432}
ports:
# только localhost: к нему подключается приложение в console
- "127.0.0.1:${POSTGRES_OUT_PORT:-5433}:${POSTGRES_PORT:-5432}"
volumes:
# с 18.x данные в /var/lib/postgresql/18/docker, volume образа —
# весь /var/lib/postgresql (Config.Volumes)
- postgres_data:/var/lib/postgresql
networks:
default:
# любое значение POSTGRES_HOST указывает на этот сервис
aliases:
- ${POSTGRES_HOST:-postgres}
healthcheck:
# по TCP, а не через сокет: при инициализации образ поднимает
# временный сервер только на сокете, и проверка через сокет
# сказала бы «готов» раньше времени. $$ — переменная контейнера
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
deploy:
resources:
limits:
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
# max_overflow 0) + migrate + cleaner (пул 1) ≤ max_connections
# (100): 2 × 10 + 1 + 1, при поочерёдной замене 3 × 10 + 1 + 1;
# расчёт — REPORT.md
cpus: "2.0"
memory: 1G
# кэш карточек чатов: без volume, persistence выключен в valkey.conf —
# после рестарта кэш пуст, данные остаются в PostgreSQL
valkey:
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
restart: unless-stopped
# $$ — переменные контейнера: пароль не попадает в command литералом.
# Через docker-entrypoint.sh образа: он запускает сервер не от root
command:
- sh
- -c
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --port "$$VALKEY_PORT" --requirepass "$$VALKEY_PASSWORD"
environment:
VALKEY_PORT: ${VALKEY_PORT:-6379}
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
# пароль для valkey-cli в контейнере (healthcheck), без -a в команде
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, copy Valkey lines from .env.example}
ports:
# только localhost: к нему подключается приложение в console
- "127.0.0.1:${VALKEY_OUT_PORT:-6380}:${VALKEY_PORT:-6379}"
volumes:
- type: bind
source: ./infra/valkey/valkey.conf
target: /usr/local/etc/valkey/valkey.conf
read_only: true
bind:
create_host_path: false
networks:
default:
# любое значение VALKEY_HOST указывает на этот сервис
aliases:
- ${VALKEY_HOST:-valkey}
healthcheck:
# PONG только после AUTH: проверяет и запуск, и пароль
test: ["CMD-SHELL", 'test "$$(valkey-cli -p "$$VALKEY_PORT" ping)" = PONG']
interval: 5s
timeout: 3s
retries: 10
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# maxmemory 64mb в valkey.conf плюс накладные
cpus: "0.5"
memory: 128M
# S3 — байты вложений (design change s3-storage, решения 1–2): master,
# volume, filer и шлюз S3 одним процессом weed server. Служебные серверы
# слушают только 127.0.0.1 контейнера, в сеть выходят порт API S3
# (S3_PORT) и gRPC шлюза (S3_PORT + 10000), закрытый ключом подписи.
# Entrypoint образа сам переходит на пользователя seaweed и добавляет
# -dir=/data -volume.max=0 -master.volumeSizeLimitMB=1024
s3:
image: *s3-image
restart: unless-stopped
command:
- server
# master, volume и filer — только loopback контейнера
- -ip=127.0.0.1
- -ip.bind=127.0.0.1
# по умолчанию master шлёт статистику на telemetry.seaweedfs.com
- -master.telemetry=false
# узел один, выборам ждать некого: перезапуск до healthy ~7 с, а не ~24
- -master.electionTimeout=1s
# пауза перед остановкой тома нужна кластеру, а не одному узлу
- -volume.preStopSeconds=0
- -filer
- -s3
- -s3.ip.bind=0.0.0.0
- -s3.port=${S3_PORT:-8333}
# REST Catalog и Lance по умолчанию открыты на 8181 и 9101
- -s3.port.iceberg=0
- -s3.port.lance=0
# встроенный IAM API на порту S3 не нужен: bootstrap — weed shell
- -s3.iam=false
# шлюз держит не больше 64 МБ загрузок одновременно, лишние ждут
- -s3.concurrentUploadLimitMB=64
environment:
# административная пара: учётная запись есть с первого старта, и
# анонимного окна нет. Только у сервера: ни API, ни bootstrap её не
# получают
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, copy S3 lines from .env.example}
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, copy S3 lines from .env.example}
# без ключа подписи gRPC шлюза принимает учётную запись
# администратора от любого контейнера сети
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
# сборщик мусора Go чаще у предела: вместе с лимитом загрузок 20
# одновременных PUT по 10 MiB укладываются в 512 МБ
GOMEMLIMIT: 400MiB
# порт API S3 для healthcheck
S3_PORT: ${S3_PORT:-8333}
ports:
# только localhost и только API S3: к нему подключается приложение в
# console; консоль, UI и служебные серверы не публикуются
- "127.0.0.1:${S3_OUT_PORT:-8334}:${S3_PORT:-8333}"
volumes:
# volume образа (Config.Volumes): тома, filer и IAM
- s3_data:/data
networks:
default:
# любое значение S3_HOST указывает на этот сервис
aliases:
- ${S3_HOST:-s3}
healthcheck:
# master выбран, том зарегистрирован у master (непустой DataNodes в
# /dir/status), filer и шлюз S3 отвечают; всё на loopback. Без
# проверки тома healthy наступал на ~4 с раньше регистрации, и первая
# запись ждала её до ~4,8 с при сроке вызова 5 с. $$ — переменная
# контейнера
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null \"http://127.0.0.1:$$S3_PORT/healthz\""]
interval: 5s
timeout: 3s
retries: 10
start_period: 30s
start_interval: 1s
# плавная остановка ~15 с: срок ожидания подписок filer зашит в код.
# При 10 с остановка кончалась бы SIGKILL (код 137)
stop_grace_period: 20s
deploy:
resources:
limits:
# память — GOMEMLIMIT и лимит загрузок выше
cpus: "1.0"
memory: 512M
# bootstrap S3 — один раз до реплик, как миграции (решение 4): приватный
# bucket, пользователь API с политикой «только объекты своего bucket»,
# пользователь уборщика — «чтение и удаление объектов своего bucket»,
# проверки приватности вне API. Повтор сводит состояние к .env и ничего
# не ломает. В сетевом пространстве s3: master и filer сервера на
# 127.0.0.1 доступны ему, а в сети их нет. make s3_check запускает его
# же в режиме check
s3-bootstrap:
image: *s3-image
network_mode: service:s3
user: seaweed
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
command: ["apply"]
restart: "no"
environment:
S3_BUCKET: ${S3__BUCKET:-messenger}
S3_PORT: ${S3_PORT:-8333}
# ключ подписи: им weed shell подписывает вызовы IAM filer
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, copy S3 lines from .env.example}
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, copy S3 lines from .env.example}
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, copy S3 lines from .env.example}
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
# список объектов уборщику — только по префиксу вложений своей базы
# (сверка bucket и БД, design change track2-reconciler, решение 2);
# не секрет, уборщик строит префикс сам из имени базы
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env_setup}/attachments/
HOME: /tmp
volumes:
- type: bind
source: ./infra/s3/bootstrap.sh
target: /opt/s3/bootstrap.sh
read_only: true
bind:
create_host_path: false
# файл ключа для curl и политика — только в памяти. /data — volume
# образа (Config.Volumes): без tmpfs каждый новый контейнер bootstrap
# оставлял бы анонимный volume
tmpfs:
- /tmp
- /data
depends_on:
s3:
condition: service_healthy
deploy:
resources:
limits:
# пик по пробе — 35 MiB, 0,76 с CPU
cpus: "0.5"
memory: 128M
# миграции — один раз до реплик, сами реплики их не запускают
migrate:
# образ собирает сервис api (make run_docker, make test_isolated)
image: mtusi-messenger:lab5
pull_policy: never
command: ["alembic", "upgrade", "head"]
restart: "no"
# только PostgreSQL: пароль Valkey миграциям не нужен
environment: *db-env
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
deploy:
resources:
limits:
cpus: "0.5"
memory: 256M
# реплики API: порты не публикуются, фиксированного имени контейнера
# нет (мешало бы масштабированию) — запросы идут только через haproxy; X-Instance-Id — hostname, то есть
# короткий ID контейнера. Разовая подмена числа — make replicas
# API_REPLICAS=N
api:
build: .
image: mtusi-messenger:lab5
restart: unless-stopped
environment:
<<: [*db-env, *cache-env, *s3-env, *s3-api-keys-env]
APP__PORT: ${APP__PORT:-8080}
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
# без кэша API работает, но в штатном стенде он есть с первого запроса
valkey:
condition: service_healthy
migrate:
condition: service_completed_successfully
# bucket и пользователь API есть до первого запроса
s3-bootstrap:
condition: service_completed_successfully
# healthcheck — из образа; SIGKILL не раньше, чем через 10 с
stop_grace_period: 10s
# буфер приёма сокетов реплики — до 512 KiB, а не до 32 MiB ВМ Docker:
# ядро копит недочитанное тело (ожидание места загрузки, отказ до тела)
# в буфере сокета, и он считается памятью контейнера. Параметр сетевого
# пространства контейнера — его получают все контейнеры сервиса, в том
# числе bench/, make test_isolated и стенд отказов (design change
# upload-memory, решение 6). В консоли (make run_dev) его нет
sysctls:
net.ipv4.tcp_rmem: "4096 131072 524288"
deploy:
replicas: ${API_REPLICAS:-2}
resources:
limits:
# один event loop занимает не больше 1 CPU. Argon2id (p=4, до
# kdf_concurrency хэшей сразу) взял бы больше: под лимитом вход
# медленнее в 4–5 раз, осознанно (REPORT.md, «Ограничения»).
# Память: Argon2id 4 × 64 MiB + интерпретатор ≈ 350 МБ
cpus: "1.0"
memory: 512M
# уборщик незавершённых загрузок (design change upload-consistency,
# решения 2 и 9): строки pending старше grace и их объекты. Один процесс
# на образе API со своей командой; реплики его не ждут, сам он ждёт
# схему и пользователя S3. Портов нет, HTTP не слушает
cleaner:
image: mtusi-messenger:lab5
pull_policy: never
# точка входа, а не command: разовый проход —
# docker compose run --rm --no-deps cleaner --once
entrypoint: ["python", "-m", "src.cleaner"]
restart: unless-stopped
environment:
<<: [*db-env, *s3-env]
# проход последовательный: второе соединение не нужно
DATABASE__POOL_SIZE: "1"
# пользователь уборщика: чтение и удаление объектов, без записи и
# списка; ключей API, пароля Valkey и административных ключей S3 нет
S3__ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env_setup}
S3__SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env_setup}
volumes:
- *config-toml
depends_on:
postgres:
condition: service_healthy
migrate:
condition: service_completed_successfully
s3-bootstrap:
condition: service_completed_successfully
# healthcheck образа — HTTP /health/ready, а уборщик HTTP не слушает.
# Живость — журнал: старт, проходы, отказы
healthcheck:
disable: true
# SIGTERM: текущая строка доводится (≤ 6 с), затем выход с кодом 0
stop_grace_period: 10s
deploy:
resources:
limits:
cpus: "0.25"
memory: 256M
# единственная точка входа: реплики находит через DNS Docker, проверяет
# /health/ready; конфиг — infra/haproxy/haproxy.cfg. Секретов не получает
haproxy:
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
restart: unless-stopped
environment:
# порт реплик и самого LB внутри сети: тот же APP__PORT
API_PORT: ${APP__PORT:-8080}
ports:
# только localhost: стенд учебный; API на хосте доступно только так
- "127.0.0.1:${APP_OUT_PORT:-8080}:${APP__PORT:-8080}"
volumes:
- type: bind
source: ./infra/haproxy/haproxy.cfg
target: /usr/local/etc/haproxy/haproxy.cfg
read_only: true
bind:
create_host_path: false
# make stop гасит LB раньше реплик, make run_docker поднимает после них
depends_on:
- api
healthcheck:
# healthy — через LB можно обслужить запрос: /lb/ready отвечает 200,
# пока есть хотя бы одна готовая реплика. curl в образе нет, bash есть
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
interval: 5s
timeout: 3s
retries: 3
start_period: 10s
start_interval: 1s
deploy:
resources:
limits:
# nbthread 1 в haproxy.cfg
cpus: "1.0"
memory: 256M
volumes:
postgres_data:
s3_data: