feat: process attachments asynchronously with RabbitMQ and a worker

Upload answers 202 after staging, a queued job in PostgreSQL and a broker
confirm; a separate worker publishes the original and a thumbnail with
bounded retries. Adds the job and variant tables, the broker service, the
worker S3 user, cleanup and reconcile support for staging and variants,
the failure stand with broker and worker, bench and driver updates.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-31 06:48:20 +03:00
co-authored by Claude Opus 5.5
parent 40c709a78b
commit ff1a83b6ff
107 changed files with 9765 additions and 993 deletions
+7 -4
View File
@@ -3,10 +3,13 @@ set -eu
# Restart hook для make test-persistence (tests/README.md) по образцу
# scripts/restart.example.sh; правила — .claude/rules/docker.md.
# Перезапускает балансировщик, все реплики API и все хранилища стенда
# (Postgres, Valkey и S3) с сохранением volumes, схемы и данных: без
# (Postgres, Valkey, S3 и брокер) с сохранением volumes, схемы и данных: без
# down -v, FLUSHALL и повторного наполнения. Кэш Valkey после рестарта
# пуст: persistence у него выключен, данные — в Postgres. Bucket, учётные
# записи и объекты S3 лежат в его volume.
# записи и объекты S3 лежат в его volume, очередь и сообщения — в volume
# брокера. Worker и уборщик hook не трогает: они не реплики и не хранилища,
# рестарт хранилищ переживают сами. Остановленный worker останется
# остановленным (сценарий защиты).
# LB гасится первым и поднимается последним. start поднимает те же
# контейнеры всех реплик: число реплик не меняется (реплика, остановленная
# stop-one.sh, тоже запускается). start api запускает и его зависимости
@@ -16,11 +19,11 @@ set -eu
cd "$(dirname "$0")/.."
docker compose stop haproxy api
docker compose restart postgres valkey s3
docker compose restart postgres valkey s3 rabbitmq
# те же контейнеры: --wait только дожидается их healthcheck.
# --no-recreate обязателен: Compose 5.4 пересоздаёт контейнер, если его
# образ скачивался при первом up (в метке — digest индекса, при сверке —
# манифеста платформы), и s3-bootstrap (network_mode: service:s3) после
# пересоздания s3 не стартует — код 128, start api падает
docker compose up -d --wait --no-recreate postgres valkey s3
docker compose up -d --wait --no-recreate postgres valkey s3 rabbitmq
docker compose start api haproxy
+3 -2
View File
@@ -26,8 +26,9 @@ set -eu
# ROLLOUT_READY_TIMEOUT (60) — срок готовности новой реплики, с;
# ROLLOUT_DRAIN_TIMEOUT (90) — срок дренажа старой, с: больше timeout
# server пути загрузки и наибольшей длительности загрузки (LB 30 с,
# загрузка ≈ 73 с — haproxy.cfg, design change upload-memory, решение
# 7), иначе плановая замена оборвала бы живую загрузку. Обычно дренаж
# загрузка ≈ 76 с — haproxy.cfg, design change upload-memory, решение
# 7; async-attachments, решение 3), иначе плановая замена оборвала бы
# живую загрузку. Обычно дренаж
# кончается за 0–2 с, срок нужен только медленной загрузке.
# Проект compose — как у самого docker compose: COMPOSE_PROJECT_NAME,
# COMPOSE_FILE, COMPOSE_ENV_FILES или docker-compose.yml и .env