Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
70 lines
4.6 KiB
YAML
70 lines
4.6 KiB
YAML
# Override стенда отказов make failure_checks (student-tests/run_failures.py):
|
||
# тот же docker-compose.yml под проектом <рабочий>-failures (имя рабочего
|
||
# проекта — из name в docker-compose.yml, сейчас mtusi-lab5), со своим
|
||
# volume и сетью. Порты Postgres, Valkey и S3 не публикуются: к ним ходит
|
||
# только fault_hook.py через docker compose exec. Сервисы api и haproxy не
|
||
# запускаются: контейнеры API создаёт оркестратор (docker compose run
|
||
# -p 127.0.0.1:...), у реплик api своих портов нет. Порт LB сброшен, чтобы
|
||
# случайный up не занял APP_OUT_PORT рабочего стенда.
|
||
#
|
||
# Healthcheck PostgreSQL проверяет служебную базу postgres, а не базу
|
||
# приложения: с 127.0.0.1 образ пускает без пароля (trust), и каждая
|
||
# проверка — сессия в pg_stat_database базы. Иначе раз в 5 с она попадала
|
||
# бы в счётчик теста «Соединения пула не переоткрываются» (действие hook
|
||
# db-sessions).
|
||
#
|
||
# У PostgreSQL — init (tini) с PID 1, postmaster — его потомок. fault_hook.py
|
||
# fill-connections отвязывает psql в фоне sh, запущенного docker compose exec;
|
||
# после clear-connections они становятся сиротами пространства PID. С init их
|
||
# молча подбирает он, а не postmaster: тот считал их «untracked child process»
|
||
# и выход с кодом 2 — аварией (все процессы завершены, recovery, сброс
|
||
# статистики). Только на стенде отказов: на рабочем стенде и в bench/ фоновых
|
||
# процессов в контейнере PostgreSQL нет (design change fix-known-issues,
|
||
# решение 11). Правило docker.md «сервер — PID 1» касается образа API.
|
||
services:
|
||
postgres:
|
||
init: true
|
||
ports: !reset []
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d postgres"]
|
||
valkey:
|
||
ports: !reset []
|
||
# свой S3 со своим volume, порт API S3 не публикуется. Срок остановки
|
||
# короткий намеренно: здесь проверяется отказ, а не плавная остановка, и
|
||
# stop не тянет 15 с (design change s3-storage, решение 9)
|
||
s3:
|
||
ports: !reset []
|
||
stop_grace_period: 2s
|
||
haproxy:
|
||
ports: !reset []
|
||
# свой брокер со своим volume, порт AMQP не публикуется
|
||
rabbitmq:
|
||
ports: !reset []
|
||
# worker со сроками, сравнимыми со временем теста, и без перезапуска: его
|
||
# останавливают и убивают сами проверки (design change async-attachments,
|
||
# решение 15). Сумма пауз 3 × 5 с больше возврата S3 (~8 с): «Временная
|
||
# ошибка» успевает. Значения run_failures.py передаёт тестам (FAULT_WORKER_*)
|
||
worker:
|
||
restart: "no"
|
||
environment:
|
||
WORKER__MAX_ATTEMPTS: "4"
|
||
WORKER__RETRY_DELAY_SECONDS: "5"
|
||
WORKER__JOB_TIMEOUT_SECONDS: "10"
|
||
WORKER__GRACEFUL_SHUTDOWN_SECONDS: "2"
|
||
# уборщик с grace и интервалом, сравнимыми со временем теста (design
|
||
# change upload-consistency, решение 10). Grace 20 с больше границы живой
|
||
# загрузки при сроках по умолчанию (2 × 6 + 5 = 17 с): занижать сроки ради
|
||
# меньшего grace значило бы обойти проверку. Без перезапуска: падение не
|
||
# прячется. Значения run_failures.py передаёт тестам
|
||
# (FAULT_CLEANER_GRACE_S, FAULT_CLEANER_INTERVAL_S). Плановая сверка
|
||
# выключена: иначе она исправляла бы расхождения, которые тест внёс и ещё
|
||
# проверяет. Сверку запускают сами тесты (hook reconcile), плановую —
|
||
# отдельный уборщик hook run-cleaner (design change track2-reconciler,
|
||
# решения 9 и 11)
|
||
cleaner:
|
||
restart: "no"
|
||
environment:
|
||
CLEANER__PENDING_GRACE_SECONDS: "20"
|
||
CLEANER__INTERVAL_SECONDS: "1"
|
||
RECONCILER__INTERVAL_SECONDS: "0"
|