Files
mtusi2026lab5/bench/bench.compose.yml
T
ricoromaandClaude Opus 5.5 e2a6427c24 feat: add job outbox, relay, leases and image variants to the pipeline
Move publishing out of the upload path: a relay process publishes queued
jobs with confirms. Add lease and attempt fencing, backoff with jitter, a
per-job render process with CPU and memory limits, crop and optimized
variants, the failed registry with audited replay, and staging cleanup.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-31 15:36:15 +03:00

173 lines
8.1 KiB
YAML
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Override стенда make bench (bench/run.py): тот же docker-compose.yml под
# проектом mtusi-bench, со своими volume, сетью и лимитами. Пины, healthcheck
# хранилищ, valkey.conf, haproxy.cfg и миграции — из основного файла.
# Подстановки — из bench/bench.env, а не из .env рабочего стенда; пароли и
# BENCH_* передаёт run.py (поля Profile), без них стенд не поднимается.
# Решения 1, 2, 5 design change bench-postgres и 6 design change
# graceful-failover; что не меняется между метками — .claude/rules/bench.md.
# Стенд — HAProxy перед BENCH_API_REPLICAS репликами api, как рабочий; k6
# ходит через LB по имени сервиса haproxy. Лимиты — в форме
# deploy.resources.limits, как в основном файле: compose не принимает
# cpus/mem_limit рядом с deploy-лимитами.
services:
postgres:
container_name: mtusi-bench-postgres
# упавший контейнер не поднимается сам: прогон помечается stand_down
restart: "no"
# auto_explain загружен, но выключен (log_min_duration = -1): run.py
# включает его только на этапе плана, между прогонами. max_connections
# — конфигурация серии трека 1 (граница пула), у прочих профилей 100,
# как у образа (решение 1 design change scaling-bench)
command:
- postgres
- -c
- shared_preload_libraries=auto_explain
- -c
- max_connections=${BENCH_DB_MAX_CONNECTIONS:?run make bench}
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_DB_CPUS:?run make bench}
memory: ${BENCH_DB_MEMORY:?run make bench}
memswap_limit: ${BENCH_DB_MEMORY:?run make bench}
valkey:
container_name: mtusi-bench-valkey
restart: "no"
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_CACHE_CPUS:?run make bench}
memory: ${BENCH_CACHE_MEMORY:?run make bench}
memswap_limit: ${BENCH_CACHE_MEMORY:?run make bench}
# S3 (лаба 4) запускает только профиль uploads (design change
# upload-memory, решение 10): образ, аргументы сервера и лимиты рабочего
# стенда, swap = память; bucket и пользователей создаёт тот же
# s3-bootstrap. Профили лаб 2–3 его не запускают: старт стенда
# перечисляет сервисы, а реплики API поднимает с --no-deps (design change
# s3-storage, решение 9). Без порта хоста, без перезапуска, под своим
# именем
s3:
container_name: mtusi-bench-s3
restart: "no"
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_S3_CPUS:?run make bench}
memory: ${BENCH_S3_MEMORY:?run make bench}
memswap_limit: ${BENCH_S3_MEMORY:?run make bench}
# уборщик незавершённых загрузок (design change upload-consistency,
# решение 9) описан, как s3; сервис не запускается: старт стенда
# перечисляет сервисы, реплики — с --no-deps. Профиль сверки (change
# track2-reconcile-cost, решения 1 и 3) запускает его разовыми проходами
# `docker compose run --name mtusi-bench-reconcile-<n> cleaner reconcile`.
# Образ стенда, без config.toml рабочего стенда, без перезапуска и без
# плановой сверки bucket и БД; лимиты BENCH_CLEANER_* без swap — рабочего
# стенда, в управляемом опыте — CPU варианта
cleaner:
container_name: mtusi-bench-cleaner
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
environment:
RECONCILER__INTERVAL_SECONDS: "0"
deploy:
resources:
limits:
cpus: ${BENCH_CLEANER_CPUS:?run make bench}
memory: ${BENCH_CLEANER_MEMORY:?run make bench}
memswap_limit: ${BENCH_CLEANER_MEMORY:?run make bench}
# брокер описан и не запускается ни одним профилем (design change
# pipeline-reliability, решение 16): реплика к нему не обращается, задания
# ждут в PostgreSQL. Образ, rabbitmq.conf и лимиты рабочего стенда, swap =
# память; без порта хоста, без перезапуска, под своим именем
rabbitmq:
container_name: mtusi-bench-rabbitmq
restart: "no"
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_BROKER_CPUS:?run make bench}
memory: ${BENCH_BROKER_MEMORY:?run make bench}
memswap_limit: ${BENCH_BROKER_MEMORY:?run make bench}
# relay и worker описаны и не запускаются ни одним профилем: стенд меряет
# реплику, а не обработку. Образ стенда, без config.toml рабочего стенда;
# лимиты BENCH_RELAY_* и BENCH_WORKER_* compose требует при разборе
relay:
container_name: mtusi-bench-relay
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_RELAY_CPUS:?run make bench}
memory: ${BENCH_RELAY_MEMORY:?run make bench}
memswap_limit: ${BENCH_RELAY_MEMORY:?run make bench}
worker:
container_name: mtusi-bench-worker
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_WORKER_CPUS:?run make bench}
memory: ${BENCH_WORKER_MEMORY:?run make bench}
memswap_limit: ${BENCH_WORKER_MEMORY:?run make bench}
migrate:
image: mtusi-messenger:bench
# без config.toml рабочего стенда: настройки — окружение и дефолты
volumes: !reset []
api:
# реплики без постоянного имени (оно мешало бы масштабированию):
# оркестратор находит их через docker compose ps, k6 ходит через LB
image: mtusi-messenger:bench
restart: "no"
volumes: !reset []
# healthcheck образа — лишний CPU внутри лимита API; готовность реплик
# проверяет HAProxy (раз в секунду /health/ready)
healthcheck:
disable: true
environment:
# размер 500k с наполнением идёт ~25 мин; на медленном хосте срок
# 3600 с по умолчанию мог бы истечь посреди прогона и дать 401
AUTH__SESSION_TTL_SECONDS: ${BENCH_SESSION_TTL_SECONDS:?run make bench}
deploy:
replicas: ${BENCH_API_REPLICAS:?run make bench}
resources:
limits:
# на каждую реплику
cpus: ${BENCH_APP_CPUS:?run make bench}
memory: ${BENCH_APP_MEMORY:?run make bench}
memswap_limit: ${BENCH_APP_MEMORY:?run make bench}
haproxy:
# один экземпляр: имя нужно оркестратору (статистика, журнал)
container_name: mtusi-bench-haproxy
restart: "no"
# порт рабочего стенда не занимает: k6 в сети стенда
ports: !reset []
deploy:
resources:
limits:
cpus: ${BENCH_LB_CPUS:?run make bench}
memory: ${BENCH_LB_MEMORY:?run make bench}
memswap_limit: ${BENCH_LB_MEMORY:?run make bench}
networks:
default:
# k6 подключается к сети стенда по имени (docker run --network)
name: mtusi-bench