527 lines
25 KiB
YAML
527 lines
25 KiB
YAML
# Стенд лабы 5. Вход — HAProxy, за ним API_REPLICAS реплик API.
|
||
# Хранилища: PostgreSQL (источник истины, в том числе задания обработки),
|
||
# Valkey (кэш карточек чатов), SeaweedFS (staging и опубликованные файлы),
|
||
# RabbitMQ (сообщения о заданиях). Фон: relay (outbox → брокер), worker
|
||
# (обработка изображений), cleaner (уборка и сверка). Одноразовые:
|
||
# migrate, s3-bootstrap. ${...} — из .env (`make env`). Наружу — только
|
||
# 127.0.0.1. Правила — infra/AGENTS.md; запуск — `make up`.
|
||
name: vladimirceva-lab5
|
||
|
||
# Блоки окружения ниже разбиты по хранилищам, чтобы каждый сервис
|
||
# подключал только свои секреты. К базе ходят api, cleaner, relay,
|
||
# worker и migrate
|
||
x-db-env: &db-env
|
||
LOG_LEVEL: ${LOG_LEVEL:-INFO}
|
||
DB_HOST: postgres
|
||
DB_PORT: "5432"
|
||
DB_NAME: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
DB_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
DB_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
|
||
# кэш нужен одному api
|
||
x-cache-env: &cache-env
|
||
CACHE_HOST: valkey
|
||
CACHE_PORT: "6379"
|
||
CACHE_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
|
||
# общий для api, worker и cleaner адрес S3 и имя bucket; ключи каждый
|
||
# получает свои (их заводит infra/s3/bootstrap.sh), root-пары нет ни у кого
|
||
x-s3-env: &s3-env
|
||
S3_ENDPOINT: http://s3:8333
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
|
||
# RabbitMQ — только relay и worker; у реплик API брокера нет вовсе
|
||
x-broker-env: &broker-env
|
||
BROKER_HOST: rabbitmq
|
||
BROKER_PORT: "5672"
|
||
BROKER_USER: messenger
|
||
BROKER_PASSWORD: ${BROKER_PASSWORD:?BROKER_PASSWORD is empty, run make env}
|
||
|
||
# параметры pipeline: читают worker (повторы, аренда) и relay (бюджет при
|
||
# возврате истёкшей аренды)
|
||
x-pipeline-env: &pipeline-env
|
||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||
JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60}
|
||
|
||
# один образ SeaweedFS на сервер и bootstrap; digest мультиарх-индекса,
|
||
# поэтому закрепление работает и на amd64, и на arm64
|
||
x-s3-image: &s3-image chrislusf/seaweedfs:4.48@sha256:4e61d15fd35994cb1e43e1e553dff106794841fd9a99ade2fc8c8bfce4d7872d
|
||
|
||
# ужесточение контейнеров приложения: файловая система только для
|
||
# чтения, без capabilities и повышения привилегий
|
||
x-hardened: &hardened
|
||
read_only: true
|
||
cap_drop:
|
||
- ALL
|
||
security_opt:
|
||
- no-new-privileges:true
|
||
|
||
services:
|
||
postgres:
|
||
image: postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722
|
||
restart: unless-stopped
|
||
environment:
|
||
POSTGRES_USER: ${POSTGRES_USER:?POSTGRES_USER is not set, run make env}
|
||
POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?POSTGRES_PASSWORD is empty, run make env}
|
||
POSTGRES_DB: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run` и миграции с
|
||
# хоста. API наружу так не публикуется — только через LB
|
||
- "127.0.0.1:${POSTGRES_HOST_PORT:-5433}:5432"
|
||
volumes:
|
||
# с 18-й версии кластер лежит в подкаталоге 18/docker, поэтому
|
||
# монтируем родительский каталог — тот, что объявлен в Config.Volumes
|
||
- pgdata:/var/lib/postgresql
|
||
healthcheck:
|
||
# -h 127.0.0.1 обязателен: init-скрипты образа идут на временном
|
||
# сервере, который слушает лишь unix-сокет, и проверка по сокету
|
||
# отпустила бы зависимых до настоящего старта. $$ раскрывает shell
|
||
# контейнера, а не compose
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d \"$$POSTGRES_DB\""]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# соединения ≤ max_connections (100): реплики 2 × 15, migrate 1,
|
||
# cleaner 1, relay 1, worker 3 — 36; на пике замены реплик 51
|
||
# (REPORT.md, «Лимиты и пулы»)
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
|
||
# Valkey держит только кэш карточек чатов и ничего не пишет на диск
|
||
# (valkey.conf): рестарт обнуляет кэш, а источник истины — PostgreSQL
|
||
valkey:
|
||
image: valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd
|
||
restart: unless-stopped
|
||
# пароль подставляет shell контейнера ($$), в описании сервиса его не
|
||
# видно; entrypoint образа сбрасывает права до пользователя valkey
|
||
command:
|
||
- sh
|
||
- -c
|
||
- exec docker-entrypoint.sh valkey-server /usr/local/etc/valkey/valkey.conf --requirepass "$$VALKEY_PASSWORD"
|
||
environment:
|
||
VALKEY_PASSWORD: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
# valkey-cli читает пароль отсюда, и healthcheck обходится без -a
|
||
VALKEYCLI_AUTH: ${VALKEY_PASSWORD:?VALKEY_PASSWORD is empty, run make env}
|
||
ports:
|
||
# только localhost: к нему подключается `make run`
|
||
- "127.0.0.1:${VALKEY_HOST_PORT:-6380}:6379"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/valkey/valkey.conf
|
||
target: /usr/local/etc/valkey/valkey.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
# с неверным паролем ответ будет NOAUTH, так что PONG значит
|
||
# «сервер жив и пароль совпал»
|
||
test: ["CMD-SHELL", 'test "$$(valkey-cli ping)" = PONG']
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# 64mb под данные (maxmemory) и запас на сам процесс
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# SeaweedFS хранит байты вложений (infra/AGENTS.md, «S3»). Команда weed
|
||
# server запускает в одном процессе master, volume, filer и S3-шлюз.
|
||
# Внутренние компоненты сидят на 127.0.0.1 контейнера; наружу, в сеть
|
||
# стенда, смотрят только S3 API (8333) и gRPC шлюза (18333) под
|
||
# JWT-подписью. Переход на пользователя seaweed и -dir=/data делает
|
||
# entrypoint образа
|
||
s3:
|
||
image: *s3-image
|
||
restart: unless-stopped
|
||
command:
|
||
- server
|
||
# внутренние серверы SeaweedFS привязаны к loopback
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
# иначе master отправляет телеметрию разработчикам SeaweedFS
|
||
- -master.telemetry=false
|
||
# с одним master выбирать лидера не из кого; рестарт до healthy
|
||
# занимает ~7 с вместо ~24
|
||
- -master.electionTimeout=1s
|
||
# задержка остановки тома имеет смысл только в многоузловом кластере
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=8333
|
||
# гасим порты Iceberg (8181) и Lance (9101), открытые по умолчанию
|
||
- -s3.port.iceberg=0
|
||
- -s3.port.lance=0
|
||
# пользователей заводит weed shell в bootstrap, HTTP IAM на 8333 лишний
|
||
- -s3.iam=false
|
||
# суммарный объём параллельных загрузок в шлюзе ≤ 64 МБ, сверх — очередь
|
||
- -s3.concurrentUploadLimitMB=64
|
||
environment:
|
||
# root-ключи заданы сразу, поэтому S3 ни секунды не работает без
|
||
# аутентификации. Они есть только здесь, другим сервисам не
|
||
# передаются
|
||
AWS_ACCESS_KEY_ID: ${S3_ROOT_ACCESS_KEY:?S3_ROOT_ACCESS_KEY is empty, run make env}
|
||
AWS_SECRET_ACCESS_KEY: ${S3_ROOT_SECRET_KEY:?S3_ROOT_SECRET_KEY is empty, run make env}
|
||
# gRPC шлюза открыт в сеть стенда; JWT-подпись не даёт соседнему
|
||
# контейнеру действовать от имени администратора
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
|
||
# мягкий предел кучи Go заставляет GC срабатывать раньше; вместе с
|
||
# concurrentUploadLimitMB это держит двадцать параллельных PUT по
|
||
# 10 MiB в лимите 512 МБ
|
||
GOMEMLIMIT: 400MiB
|
||
ports:
|
||
# только localhost и только API S3: проверки приватности с хоста
|
||
# (make s3-check) и make run; консоль, UI и служебные серверы не
|
||
# публикуются
|
||
- "127.0.0.1:${S3_HOST_PORT:-8334}:8333"
|
||
volumes:
|
||
# /data объявлен в образе: данные томов, метаданные filer, пользователи
|
||
- s3data:/data
|
||
healthcheck:
|
||
# четыре условия по loopback: у master есть лидер, в /dir/status уже
|
||
# виден узел данных, filer и шлюз отвечают. Без проверки DataNodes
|
||
# healthy приходит ~4 с до регистрации тома, и первый PUT висел бы
|
||
# почти до своего таймаута
|
||
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/cluster/healthz && wget -q -O - http://127.0.0.1:9333/dir/status | grep -qF '\"DataNodes\":[{' && wget -q -O /dev/null http://127.0.0.1:8888/healthz && wget -q -O /dev/null http://127.0.0.1:8333/healthz"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 30s
|
||
start_interval: 1s
|
||
# filer на SIGTERM ждёт подписчиков около 15 с (константа в коде
|
||
# SeaweedFS); с grace 10 с контейнер добивался бы SIGKILL и кодом 137
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# Разовая настройка S3 перед стартом реплик, по аналогии с migrate:
|
||
# приватный bucket, пользователи api, worker и cleaner с узкими правами
|
||
# и проверка, что анонимно ничего не читается. Запускать можно сколько
|
||
# угодно раз — ключи и политики каждый раз приводятся к .env.
|
||
# network_mode: service:s3 даёт общий loopback с сервером, без него до
|
||
# master и filer не достучаться. make s3-check — тот же скрипт с check
|
||
s3-bootstrap:
|
||
image: *s3-image
|
||
network_mode: service:s3
|
||
user: seaweed
|
||
entrypoint: ["sh", "/opt/s3/bootstrap.sh"]
|
||
command: ["apply"]
|
||
restart: "no"
|
||
environment:
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
# weed shell обращается к IAM filer только с JWT этой подписи
|
||
WEED_JWT_FILER_SIGNING_KEY: ${S3_JWT_SIGNING_KEY:?S3_JWT_SIGNING_KEY is empty, run make env}
|
||
S3_API_ACCESS_KEY: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
|
||
S3_API_SECRET_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
|
||
S3_WORKER_ACCESS_KEY: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env}
|
||
S3_WORKER_SECRET_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env}
|
||
S3_CLEANER_ACCESS_KEY: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
|
||
S3_CLEANER_SECRET_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
|
||
# политика cleaner разрешает ListBucket лишь под этим префиксом; это
|
||
# не секрет — cleaner вычисляет такой же из DB_NAME
|
||
S3_CLEANER_LIST_PREFIX: ${POSTGRES_DB:?POSTGRES_DB is not set, run make env}/attachments/
|
||
HOME: /tmp
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/s3/bootstrap.sh
|
||
target: /opt/s3/bootstrap.sh
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
# tmpfs: временные файлы с ключами и политиками не попадают на диск, а
|
||
# объявленный в образе /data не плодит анонимный volume на каждый запуск
|
||
tmpfs:
|
||
- /tmp
|
||
- /data
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
|
||
# миграции до старта реплик: тот же образ, другая команда. Один раз на
|
||
# `up`, реплики ждут его завершения; сами реплики миграции не запускают
|
||
# (их несколько — они гонялись бы за одну схему). Повторный запуск —
|
||
# no-op: alembic применяет только недостающие ревизии
|
||
migrate:
|
||
image: mtusi-messenger-vladimirceva:lab5
|
||
# образ собирает сервис api (make up, make docker-build)
|
||
pull_policy: never
|
||
command: ["python", "-m", "alembic", "upgrade", "head"]
|
||
restart: "no"
|
||
# migrate получает одно окружение базы
|
||
environment: *db-env
|
||
<<: *hardened
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 256M
|
||
|
||
# API масштабируется числом реплик, поэтому у сервиса нет ни ports, ни
|
||
# container_name — с ними --scale не работает; клиенты ходят только
|
||
# через haproxy. X-Instance-Id берётся из hostname, а это короткий ID
|
||
# контейнера. Временно сменить число — `make replicas API_REPLICAS=N`
|
||
api:
|
||
build: .
|
||
# тот же тег, что у make docker-build
|
||
image: mtusi-messenger-vladimirceva:lab5
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *cache-env, *s3-env]
|
||
# пользователь API в S3: чтение, запись и удаление объектов своего
|
||
# bucket; списка и прав на bucket нет
|
||
S3_ACCESS_KEY_ID: ${S3_API_ACCESS_KEY:?S3_API_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_API_SECRET_KEY:?S3_API_SECRET_KEY is empty, run make env}
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||
SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-5}
|
||
# предел незавершённых заданий стенда; 0 — без предела
|
||
UPLOAD_MAX_UNFINISHED: ${UPLOAD_MAX_UNFINISHED:-300}
|
||
<<: *hardened
|
||
# приложение ничего не пишет на диск, кроме временных файлов Python
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# API переживает отказ Valkey, но стенд стартует сразу с рабочим кэшем
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
# к первому запросу ключи API в S3 уже заведены
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# проверка здоровья задана в Dockerfile. Grace 10 с больше
|
||
# SHUTDOWN_TIMEOUT (≤ 9 с), чтобы uvicorn закрылся сам, без SIGKILL
|
||
stop_grace_period: 10s
|
||
# потолок приёмного буфера TCP 512 KiB вместо 32 MiB по умолчанию в ВМ
|
||
# Docker. Пока реплика не читает тело (ждёт место загрузки или уже
|
||
# отказала), байты лежат в этом буфере и идут в лимит памяти
|
||
# контейнера. Действует на все копии api, включая тестовые стенды и bench/
|
||
sysctls:
|
||
net.ipv4.tcp_rmem: "4096 131072 524288"
|
||
deploy:
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
# на event loop хватает одного ядра; только Argon2id в потоках
|
||
# мог бы взять больше, и под лимитом вход просто медленнее.
|
||
# 512M складываются из четырёх Argon2id по 64 MiB, самого
|
||
# интерпретатора и четырёх мест загрузки по телу до 10 MiB
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# cleaner: фоновая уборка брошенных загрузок и сверка S3 с базой. Образ
|
||
# тот же, что у api, точка входа своя; стартует после migrate и
|
||
# s3-bootstrap, от него никто не зависит, портов у него нет.
|
||
# Разовые запуски из Makefile: make cleanup-once и make reconcile
|
||
cleaner:
|
||
image: mtusi-messenger-vladimirceva:lab5
|
||
pull_policy: never
|
||
# точка входа, а не command: аргументы `docker compose run cleaner …`
|
||
# — флаги уборщика, а не замена команды
|
||
entrypoint: ["python", "-m", "src.cleaner"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env]
|
||
# проходы идут по одному, хватает одного соединения
|
||
DB_POOL_SIZE: "1"
|
||
DB_POOL_OVERFLOW: "0"
|
||
# сколько держать staging и обрывки failed (окно для replay)
|
||
STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400}
|
||
# ключи cleaner в S3: читать, удалять и листать префикс своей базы;
|
||
# чужих ключей и пароля Valkey он не видит
|
||
S3_ACCESS_KEY_ID: ${S3_CLEANER_ACCESS_KEY:?S3_CLEANER_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_CLEANER_SECRET_KEY:?S3_CLEANER_SECRET_KEY is empty, run make env}
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
# унаследованный от образа healthcheck стучится в /health/ready, а у
|
||
# cleaner нет HTTP; следить за ним — по журналу
|
||
healthcheck:
|
||
disable: true
|
||
# на SIGTERM cleaner дорабатывает шаг (до 6 с) и выходит с кодом 0
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 256M
|
||
|
||
# брокер: одна quorum-очередь <база>.attachment-jobs (объявляют relay и
|
||
# worker). hostname фиксирован: по нему RabbitMQ называет узел и каталог
|
||
# данных в volume — с новым именем старые сообщения не нашлись бы
|
||
rabbitmq:
|
||
image: rabbitmq:4.3.7-alpine@sha256:b1f997f74103d08fc1f20a13890dc44fe6cfa51d528cf521b480ada988d3ffa5
|
||
hostname: rabbitmq
|
||
restart: unless-stopped
|
||
environment:
|
||
# пользователь создаётся при первом старте на пустом volume; смена
|
||
# пароля потом — rabbitmqctl change_password (REPORT.md)
|
||
RABBITMQ_DEFAULT_USER: messenger
|
||
RABBITMQ_DEFAULT_PASS: ${BROKER_PASSWORD:?BROKER_PASSWORD is empty, run make env}
|
||
ports:
|
||
# только localhost: make run-worker / run-relay с хоста
|
||
- "127.0.0.1:${BROKER_HOST_PORT:-5673}:5672"
|
||
volumes:
|
||
- rmqdata:/var/lib/rabbitmq
|
||
- type: bind
|
||
source: ./infra/rabbitmq/rabbitmq.conf
|
||
target: /etc/rabbitmq/conf.d/90-messenger.conf
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
healthcheck:
|
||
test: ["CMD", "rabbitmq-diagnostics", "-q", "ping"]
|
||
interval: 5s
|
||
timeout: 5s
|
||
retries: 12
|
||
start_period: 30s
|
||
start_interval: 2s
|
||
stop_grace_period: 20s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 512M
|
||
|
||
# relay: забирает намерения из attachment_jobs и публикует с
|
||
# подтверждением; возвращает истёкшие аренды. S3 и Valkey ему не нужны
|
||
relay:
|
||
image: mtusi-messenger-vladimirceva:lab5
|
||
pull_policy: never
|
||
entrypoint: ["python", "-m", "src.relay"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *broker-env, *pipeline-env]
|
||
DB_POOL_SIZE: "1"
|
||
DB_POOL_OVERFLOW: "0"
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
healthcheck:
|
||
disable: true
|
||
stop_grace_period: 10s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.25"
|
||
memory: 192M
|
||
|
||
# worker: обработка изображений. Pillow работает только в его дочерних
|
||
# процессах (src/worker/render.py) с RLIMIT_AS = RENDER_MEMORY_MB и
|
||
# RLIMIT_CPU; лимит контейнера — на concurrency таких процессов сразу
|
||
worker:
|
||
image: mtusi-messenger-vladimirceva:lab5
|
||
pull_policy: never
|
||
entrypoint: ["python", "-m", "src.worker"]
|
||
restart: unless-stopped
|
||
environment:
|
||
<<: [*db-env, *s3-env, *broker-env, *pipeline-env]
|
||
# пользователь worker в S3: чтение staging, запись результата
|
||
S3_ACCESS_KEY_ID: ${S3_WORKER_ACCESS_KEY:?S3_WORKER_ACCESS_KEY is empty, run make env}
|
||
S3_SECRET_ACCESS_KEY: ${S3_WORKER_SECRET_KEY:?S3_WORKER_SECRET_KEY is empty, run make env}
|
||
DB_POOL_SIZE: "2"
|
||
DB_POOL_OVERFLOW: "1"
|
||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||
WORKER_PREFETCH: ${WORKER_PREFETCH:-2}
|
||
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-768}
|
||
<<: *hardened
|
||
tmpfs:
|
||
- /tmp
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-bootstrap:
|
||
condition: service_completed_successfully
|
||
rabbitmq:
|
||
condition: service_healthy
|
||
healthcheck:
|
||
disable: true
|
||
# SIGTERM: начатые задания ждут WORKER_STOP_TIMEOUT (8 с)
|
||
stop_grace_period: 12s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "2.0"
|
||
memory: 1536M
|
||
|
||
# HAProxy — единственный опубликованный вход API. Список реплик берёт из
|
||
# DNS Docker и опрашивает их /health/ready (infra/haproxy/haproxy.cfg);
|
||
# секретов в окружении нет
|
||
haproxy:
|
||
image: haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26
|
||
restart: unless-stopped
|
||
ports:
|
||
# публикуем на 127.0.0.1: учебный стенд, из внешней сети не нужен
|
||
- "127.0.0.1:${HOST_PORT:-8080}:8080"
|
||
volumes:
|
||
- type: bind
|
||
source: ./infra/haproxy/haproxy.cfg
|
||
target: /usr/local/etc/haproxy/haproxy.cfg
|
||
read_only: true
|
||
bind:
|
||
create_host_path: false
|
||
<<: *hardened
|
||
# из-за зависимости LB стартует после реплик, а при остановке стенда
|
||
# выключается первым
|
||
depends_on:
|
||
- api
|
||
healthcheck:
|
||
# /lb/ready вернёт 200, только если в backend есть живая реплика,
|
||
# то есть LB правда может ответить. Запрос — через /dev/tcp bash:
|
||
# curl в образе отсутствует
|
||
test: ["CMD", "bash", "-c", "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 3
|
||
start_period: 10s
|
||
start_interval: 1s
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
# HAProxy запущен с одним потоком (nbthread 1)
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
|
||
volumes:
|
||
pgdata:
|
||
s3data:
|
||
rmqdata:
|