feat: process attachments asynchronously with RabbitMQ and a worker
Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
+7
-4
@@ -3,10 +3,13 @@ set -eu
|
||||
# Restart hook для make test-persistence (tests/README.md) по образцу
|
||||
# scripts/restart.example.sh; правила — .claude/rules/docker.md.
|
||||
# Перезапускает балансировщик, все реплики API и все хранилища стенда
|
||||
# (Postgres, Valkey и S3) с сохранением volumes, схемы и данных: без
|
||||
# (Postgres, Valkey, S3 и брокер) с сохранением volumes, схемы и данных: без
|
||||
# down -v, FLUSHALL и повторного наполнения. Кэш Valkey после рестарта
|
||||
# пуст: persistence у него выключен, данные — в Postgres. Bucket, учётные
|
||||
# записи и объекты S3 лежат в его volume.
|
||||
# записи и объекты S3 лежат в его volume, очередь и сообщения — в volume
|
||||
# брокера. Worker и уборщик hook не трогает: они не реплики и не хранилища,
|
||||
# рестарт хранилищ переживают сами. Остановленный worker останется
|
||||
# остановленным (сценарий защиты).
|
||||
# LB гасится первым и поднимается последним. start поднимает те же
|
||||
# контейнеры всех реплик: число реплик не меняется (реплика, остановленная
|
||||
# stop-one.sh, тоже запускается). start api запускает и его зависимости
|
||||
@@ -16,11 +19,11 @@ set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
docker compose stop haproxy api
|
||||
docker compose restart postgres valkey s3
|
||||
docker compose restart postgres valkey s3 rabbitmq
|
||||
# те же контейнеры: --wait только дожидается их healthcheck.
|
||||
# --no-recreate обязателен: Compose 5.4 пересоздаёт контейнер, если его
|
||||
# образ скачивался при первом up (в метке — digest индекса, при сверке —
|
||||
# манифеста платформы), и s3-bootstrap (network_mode: service:s3) после
|
||||
# пересоздания s3 не стартует — код 128, start api падает
|
||||
docker compose up -d --wait --no-recreate postgres valkey s3
|
||||
docker compose up -d --wait --no-recreate postgres valkey s3 rabbitmq
|
||||
docker compose start api haproxy
|
||||
|
||||
@@ -26,8 +26,9 @@ set -eu
|
||||
# ROLLOUT_READY_TIMEOUT (60) — срок готовности новой реплики, с;
|
||||
# ROLLOUT_DRAIN_TIMEOUT (90) — срок дренажа старой, с: больше timeout
|
||||
# server пути загрузки и наибольшей длительности загрузки (LB 30 с,
|
||||
# загрузка ≈ 73 с — haproxy.cfg, design change upload-memory, решение
|
||||
# 7), иначе плановая замена оборвала бы живую загрузку. Обычно дренаж
|
||||
# загрузка ≈ 76 с — haproxy.cfg, design change upload-memory, решение
|
||||
# 7; async-attachments, решение 3), иначе плановая замена оборвала бы
|
||||
# живую загрузку. Обычно дренаж
|
||||
# кончается за 0–2 с, срок нужен только медленной загрузке.
|
||||
# Проект compose — как у самого docker compose: COMPOSE_PROJECT_NAME,
|
||||
# COMPOSE_FILE, COMPOSE_ENV_FILES или docker-compose.yml и .env
|
||||
|
||||
Reference in New Issue
Block a user