Files
mtusi2026lab5/REPORT.md
T
2026-10-26 19:40:34 +03:00

43 KiB
Raw Blame History

Отчёт — лабораторная 5

  • Автор, группа: Гаджиев Нухбала, БВТ2303
  • Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
  • Commit/PR: mtusi2026/mtusi2026lab5#4
  • Использованные источники, библиотеки и помощь ИИ: всё из lab4 (FastAPI, uvicorn, pydantic, psycopg 3, argon2-cffi, valkey-py, boto3, Pillow 13.0.0, HAProxy 3.2, PostgreSQL 17, Valkey 8.1, SeaweedFS 4.44) и новое: RabbitMQ 4.2.9 (брокер), pika 1.4.4 (клиент RabbitMQ), simplejpeg 1.9.0 и numpy 2.3.5 (строгая проверка JPEG через libjpeg-turbo). Документация: RabbitMQ (Reliability Guide, Consumer Acknowledgements and Publisher Confirms, Quorum Queues, Dead Letter Exchanges, Configuration), pika (BlockingConnection, add_callback_threadsafe), PostgreSQL (SELECT … FOR UPDATE SKIP LOCKED), Pillow (draft, resize с reducing_gap, ImageOps.exif_transpose), спецификация PNG (блоки, фильтры строк, Adam7). ИИ использовался только как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов.

Запуск из чистого clone

Проверял на Windows 11 в Git Bash с Docker Desktop (WSL 2). Нужны Docker с Compose, Python 3 (только для тестов, стандартная библиотека) и GNU Make. Образы закреплены: python:3.12.8-slim-bookworm (основа образа API и worker), haproxy:3.2.25-alpine, postgres:17.10-bookworm, valkey/valkey:8.1.9, chrislusf/seaweedfs:4.44, rabbitmq:4.2.9-alpine. Перед запуском остановить стенд lab4 (docker compose -p mtusi-lab4 down), иначе занят порт 8080.

git clone https://gitea.privcloud.tech/ng14/mtusi2026lab5.git && cd mtusi2026lab5
git checkout solution/bvt2303-gadzhiev
cp .env.example .env
sed -i 's/\r$//' .env                  # только Windows: убрать \r из .env
sh scripts/init-secrets.sh             # secrets/: пароли PostgreSQL, Valkey, RabbitMQ, ключи S3 (значения не выводятся)
docker compose up -d --build --wait    # postgres, valkey, s3, broker -> migrate, s3-init -> api x2, worker -> lb
make ps                                # api x2, worker, lb, postgres, valkey, s3, broker: healthy; migrate, s3-init: Exited (0)

make check PYTHON=python
make test PYTHON=python
make test-failover ACTION_SCRIPT=scripts/stop-one.cmd PYTHON=python     # Linux/macOS: scripts/stop-one.sh
make restore PYTHON=python
make test-persistence ACTION_SCRIPT=scripts/restart.cmd PYTHON=python  # Linux/macOS: scripts/restart.sh

Свои проверки lab5: make worker-outage, redelivery, outbox-crash, worker-crash, retry-replay, lease, concurrency, staging-cleanup, cleanup-race, imaging-test, db-test (на Windows с PYTHON=python). Проверки lab2–lab4 остались: make student-test, attachments, attachment-failover, failure-s3, s3-checks, failover, persistence, check-stack и др. Все HTTP-проверки идут через балансировщик http://127.0.0.1:8080.

Bootstrap. Схему БД создаёт одноразовый migrate (миграции 001–006), bucket — одноразовый s3-init. Пользователя, пароль, vhost и права RabbitMQ брокер берёт из файла-секрета secrets/rabbitmq_credentials.conf при первом запуске с пустым volume; exchange и очереди объявляют relay и worker при подключении (повторное объявление с теми же параметрами ничего не меняет). Всё повторяемо: docker compose run --rm migrate, make s3-bootstrap. Действие оператора одно: один раз создать секреты.

Остановить worker для демонстрации: make worker-stop, запустить: make worker-start. Команды оператора: make jobs (сколько заданий в каждом состоянии), make failed (реестр failed), make job ID=<attachment_id> (задание, журнал, outbox, варианты), make replay ID=<attachment_id>, make queues (очереди брокера и DLQ), make cleanup ARGS=--dry-run (или ARGS="--attachment <id>" — только одно вложение).

Безопасная остановка: make down (volumes pgdata, s3data, rabbitmqdata остаются). Намеренное удаление учебных данных: docker compose down -v, затем rm -rf secrets и снова sh scripts/init-secrets.sh (пароль RabbitMQ задаётся только при первом запуске, поэтому секреты и volume удаляются вместе).

Архитектура и решения

клиент --> lb: HAProxy, 127.0.0.1:8080 (единственная точка входа)
            +--> api-1 --+--> postgres: пользователи, чаты, сообщения, сессии, вложения, ЗАДАНИЯ и OUTBOX (pgdata)
            +--> api-2 --+--> valkey: общий кэш сессий
                 (relay) +--> s3 SeaweedFS: staging/<id> (принятый оригинал), originals/<id>, variants/<id>/v1/... (s3data)
                         +--> broker RabbitMQ: очередь attachments.process и DLQ attachments.dead (rabbitmqdata)
worker (отдельный процесс) <-- broker; читает staging, пишет originals и variants в s3, результат в postgres
migrate, s3-init — одноразовые; сети: edge (lb <-> api), backend internal (всё остальное); наружу только lb
Роль Сервис Версия Health / готовность Volume Сеть / порт Credentials
Балансировщик lb haproxy:3.2.25-alpine /lb-health нет edge; 127.0.0.1:8080, :8081, :8404 не нужны
API ×2 (+ relay outbox) api образ из Dockerfile /health/ready: PostgreSQL и S3 нет edge + backend, портов нет database_url, cache_url, s3_access_key_id, s3_secret_access_key, broker_url
Worker worker тот же образ, python -m messenger.worker файл /tmp/worker.alive моложе 30 с нет backend, портов нет database_url, ключи S3 API, broker_url
Брокер broker rabbitmq:4.2.9-alpine (без веб-консоли) rabbitmq-diagnostics ping rabbitmqdata backend, 5672 rabbitmq_credentials.conf (секрет-файл в conf.d)
Миграции migrate тот же образ код выхода 0 нет backend только database_url
База postgres postgres:17.10-bookworm pg_isready pgdata backend, 5432 POSTGRES_PASSWORD_FILE
Кэш сессий valkey valkey/valkey:8.1.9 valkey-cli ping нет backend, 6379 ACL-файл
S3 s3 chrislusf/seaweedfs:4.44 /healthz на :9000 s3data backend, 9000 s3_config.json
Bootstrap S3 s3-init тот же образ код выхода 0 нет backend только ключи администратора S3

Источник истины: метаданные, состояние заданий и outbox — PostgreSQL, байты — bucket, брокер только доставляет «напоминание» обработать задание. Решение «что делать с сообщением» всегда принимается по строке задания в БД.

Приём (src/messenger/attachments.py) и что сохранено в момент 202:

  1. Проверки как в lab4: токен, участник чата, filename, Content-Type, размер до и во время чтения, тип по первым байтам, пиксели по заголовку до распаковки.
  2. Структура файла без декодирования пикселей (images.py): у PNG — блоки, CRC, палитра, tRNS, ничего после IEND, распаковка IDAT порциями по 1 МиБ с подсчётом байт и проверкой типа фильтра строк. У JPEG — всё, что строгий декодер worker (libjpeg-turbo) проверяет по маркерам и заголовкам: известные маркеры и длины сегментов, кадр SOF, таблицы DQT/DHT (коды Хаффмана помещаются в свою длину), каждый компонент скана SOS есть в SOF и не повторяется, параметры сканов, порядок и число маркеров RST, версия JFIF, код Adobe, схема субдискретизации, которую понимает декодер, EOI. Заведомо битые — 415. В worker остаются только ошибки внутри сжатых данных скана: их не найти без декодирования каждого блока (failed, invalid_image).
  3. PUT оригинала в staging/<id> (ключ назначает сервер).
  4. Одна транзакция: вложение queued + задание attempt=1 + строка outbox (тело сообщения) + запись в журнал. После COMMIT — 202 queued. Сам ответ не ждёт брокера. Шаги 3–4 идут под advisory-блокировкой ID вложения: пока загрузка не закоммичена, уборщик её staging не трогает.

Outbox (relay.py, поток в каждой реплике API). Relay берёт неотправленные строки с FOR UPDATE SKIP LOCKED (реплики не мешают друг другу), публикует в брокер с publisher confirm и только потом ставит published_at. Если API упал после COMMIT, строку отправит relay другой реплики или этой после перезапуска. Если relay упал после подтверждения брокера, строка уйдёт ещё раз (дубль, это нормально при at-least-once). Брокер недоступен — загрузки по-прежнему 202, строки ждут в PostgreSQL. Поэтому брокер не входит в readiness, а S3 входит: без S3 не принять файл в staging.

Брокер. Quorum queue attachments.process на диске (rabbitmqdata, постоянный hostname — данные лежат в каталоге имени узла), сообщения persistent, publisher confirms, ручной ack. x-delivery-limit=10 и DLX: сообщение, которое раз за разом не доходит до ack, уходит в DLQ attachments.dead. Права пользователя RabbitMQ — только на attachments*. consumer_timeout 5 мин, heartbeat 10 с (зависший процесс теряет соединение примерно за 20 с, и выданные ему сообщения возвращаются в очередь). Сообщение по contracts/jobs.schema.json: только schema_version, job_id, type, attachment_id, pipeline_version, attempt, created_at, без байтов, ключей S3, URL и паролей. created_at — время постановки этой попытки.

Worker (worker.py). Проверяет сообщение по схеме (не по схеме — reject в DLQ). Решает по строке задания: ready/failed — ack без работы, старая попытка — ack без работы, чужой действующий lease — ack без работы, queued — берёт под lease. Скачивает staging и сверяет размер и SHA-256 с БД. Обрабатывает в дочернем процессе (sandbox.py) с лимитами. Пишет originals/<id> и варианты в ключи variants/<id>/v1/<имя>, коммитит результат с проверкой жетона lease и только потом ack. После COMMIT удаляет staging.

Состояния (наружу как есть): queued → processing (lease) → ready / failed; временная ошибка или истёкший lease → снова queued со следующей попыткой; failed → queued только по replay оператора. Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ attachment_variants и он же ключ объекта в S3: повтор не создаёт второй набор. Ready не откатывается назад: все переходы обновляют вложение только из queued/processing.

Повторы и ошибки. Постоянные (invalid_image, image_too_large, source_missing, source_corrupted) — failed сразу, сообщение в DLQ. Временные (storage_unavailable, processing_timeout, worker_crashed, lease_expired, processing_failed) — следующая попытка через backoff с jitter: пауза случайная в [d/2, d], d = min(60 с, 2 с · 2^(n−1)). Всего попыток JOB_MAX_ATTEMPTS=5, потом failed с retry_exhausted и DLQ. Реестр failed — таблица attachment_jobs (make failed), журнал — job_events. Replay (make replay ID=...) переводит только failed в queued с новой попыткой и записью в журнале (кто и что было). Для ready или ещё идущего задания он ничего не делает. Если staging уже удалён (прошло STAGING_RETENTION_SECONDS), replay отказывает (source_missing, тоже с записью в журнале). Всё это одна транзакция под блокировкой строк задания и вложения — тех же, что берёт уборщик.

Lease (jobs.py). Захват — жетон и срок JOB_LEASE_SECONDS=30. Пока worker жив, он продлевает аренду каждые 10 с, поэтому долгая задача не теряет её. Зависший или мёртвый worker не продлевает, и через 30 с фоновая проверка (reap, раз в 5 с) засчитывает попытку как неудачную и назначает следующую. Результат принимается, только если жетон совпадает (fencing): опоздавший worker ничего не перезапишет, а обнаружив потерю lease, бросает работу. Если lease держит прежний запуск того же контейнера (Docker его перезапустил), попытка засчитывается сразу, без ожидания 30 с. Попытка не дольше JOB_TIMEOUT_SECONDS=60: дочерний процесс убивается.

Варианты (imaging.py). thumbnail — JPEG, вписан в 256×256, без увеличения, размеры вниз, минимум 1 px (320×200 → 256×160). crop — JPEG 128×128, центральный квадрат, маленькие увеличиваются. optimized — WebP, вписан в 1280×1280, без увеличения. Ориентация EXIF применяется. В JPEG прозрачность накладывается на белый фон, WebP её сохраняет. Качество: JPEG quality=85, optimize=True, WebP quality=80, method=4 (с потерями). EXIF, XMP и ICC-профиль в варианты не переносятся (место съёмки и камера не утекают; цвета wide-gamut фото могут немного отличаться). Повтор даёт те же байты. JPEG декодируется в уменьшенном масштабе (draft), 16-битные PNG переводятся в 8 бит.

Лимиты worker. Байты: объект из staging не больше 10 MiB и совпадает с размером и SHA-256 в БД. Пиксели: не больше 40 млн, проверяются до декодирования. Сжатые данные JPEG проверяются строго (libjpeg-turbo, предупреждение = ошибка): Pillow битый скан молча «дорисовывает» серым. Память: дочерний процесс с RLIMIT_AS = WORKER_MEMORY_LIMIT_MB = 640 МиБ (нехватка → image_too_large), контейнер — 1 ГиБ. Время: JOB_TIMEOUT_SECONDS=60, потом SIGKILL. Параллельно WORKER_CONCURRENCY=2 задания, prefetch брокера тоже 2.

Уборка (cleanup.py, поток worker раз в 5 мин и make cleanup). Нужные объекты: оригиналы и варианты ready, ВСЕ объекты вложений в работе (queued, processing: worker может прямо сейчас писать оригинал и варианты), все объекты failed-вложения моложе 24 ч (replay запишет их заново в те же ключи), staging загрузки, которая ещё не закоммичена. Остальное удаляется, только если старше grace 15 мин: staging готового (если worker не успел удалить), объекты failed после retention, объекты без строки в БД. Есть dry-run и уборка одного вложения (--attachment). Как уборщик не удаляет текущую работу (замечание к MR): список объектов и снимок ссылок только отбирают кандидатов, а решение по каждому вложению принимается заново под блокировками (store.cleanup_attachment): advisory-блокировка ID вложения без ожидания (её держит идущая загрузка — тогда вложение пропускается), затем строки задания и вложения (FOR NO KEY UPDATE, тот же порядок, что у worker и replay). У failed-вложения после retention в той же транзакции помечается, что исходника нет (staging_key = NULL, запись staging_expired в журнале): replay, который ждал блокировку или пришёл позже, безопасно отказывает. Из S3 объекты удаляются уже после COMMIT и только те, что больше никогда не понадобятся, поэтому медленный S3 не держит блокировки, а оборванная сессия БД не открывает окно для гонки.

Что перенесено из lab4: весь код, миграции 001–005, свои тесты, Dockerfile, конфиги HAProxy/Valkey, SeaweedFS и s3-init, скрипты. Что изменено: сервисы broker и worker, volume rabbitmqdata, секреты RabbitMQ, миграция 006 (задания, outbox, варианты, журнал), модули broker.py, relay.py, jobs.py, worker.py, sandbox.py, imaging.py, faults.py; загрузка 201 → 202; images.py — вместо полного декодирования проверка структуры (PNG по спецификации, JPEG по правилам строгого декодера); /health/ready проверяет и S3; уборщик переехал в worker и знает про staging и варианты; hook перезапуска перезапускает ещё брокер и worker.

Исправления по замечаниям к MR:

  1. Структурно повреждённый JPEG (SOS ссылается на компонент 250, которого нет в SOF) принимался с 202 и только потом становился failed. Причина: у скана проверялась длина, но не связь с кадром. Теперь images.py повторяет все проверки заголовков строгого декодера worker (список — в п. 2 «Приёма»), такой файл получает 415. Совпадение с декодером проверено в образе: 800 случайных повреждений заголовков и 8208 комбинаций субдискретизации без расхождений (make imaging-test).
  2. Уборщик мог удалить staging уже принятого replay: удалял по снимку ссылок без согласования с изменением состояния. Теперь решение принимается под блокировками по текущему состоянию, replay — одна транзакция под теми же блокировками, а staging сначала помечается удалённым в БД (подробно — в абзаце «Уборка»). Тем же механизмом закрыты ещё два окна, которые видны при grace = 0: загрузка между PUT в staging и COMMIT и объекты worker до COMMIT результата. Проверки: make db-test (барьеры в настоящей PostgreSQL) и make cleanup-race (то же на стенде с точками-паузами).

Переменные (новые; остальные как в lab4, см. .env.example):

Переменная Что делает
BROKER_URL_FILE адрес RabbitMQ с паролем (/run/secrets/broker_url)
WORKER_CONCURRENCY заданий одновременно и prefetch брокера (2)
JOB_MAX_ATTEMPTS всего попыток, потом failed / retry_exhausted (5)
JOB_TIMEOUT_SECONDS лимит времени одной попытки (60 с)
STAGING_RETENTION_SECONDS сколько хранится staging failed-вложения для replay (86400 с)
WORKER_REPLICAS, WORKER_MEMORY_LIMIT_MB число контейнеров worker (1), лимит памяти попытки (640 МиБ)
RETRY_BASE_SECONDS, RETRY_MAX_SECONDS backoff: 2 с, удвоение, не больше 60 с, jitter [d/2, d]
JOB_LEASE_SECONDS, JOB_HEARTBEAT_SECONDS, REAPER_INTERVAL_SECONDS lease 30 с, продление каждые 10 с, поиск истёкших раз в 5 с
QUEUED_REPUBLISH_SECONDS страховка: queued без движения 10 мин — отправить сообщение ещё раз
RELAY_POLL_SECONDS, RELAY_BATCH_SIZE опрос outbox раз в 1 с (плюс сигнал сразу после загрузки), пачка 50
JPEG_QUALITY, WEBP_QUALITY, WEBP_METHOD 85, 80, 4
IMAGE_CHECK_CONCURRENCY, IMAGE_CHECK_WAIT_SECONDS проверок структуры одновременно на реплику (2), ожидание очереди (10 с)
S3_HEALTH_INTERVAL_SECONDS, S3_HEALTH_MAX_AGE_SECONDS фоновая проверка S3 для readiness раз в 1 с, не старше 3 с
OUTBOX_RETENTION_SECONDS отправленные строки outbox хранятся неделю
FAULTS_ENABLED точки отказа для тестов (только учебный стенд, включаются файлами в /tmp/faults контейнера)

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab5 public API scenario (202, ready, оригинал и JPEG thumbnail 256×160) evidence/test.txt
Структура skeleton и контракт не изменены make check PASS: offline skeleton structure evidence/check.txt
3: минимум lab4 сохранён, upload 201 → 202 make student-test; make failover; make persistence все тесты OK; публичный failover PASS для каждой реплики; persistence PASS (данные, токен и файл после перезапуска всего стенда) evidence/student-test.txt, failover.txt, persistence.txt
3: 202 только после устойчивого приёма; остановка API после ответа не теряет работу make attachment-failover; make outbox-crash (A) реплику, ответившую 202, сразу остановили — вложение всё равно ready, другая реплика отдаёт тот же SHA-256; API упал после COMMIT до ответа — задание всё равно выполнено evidence/attachment-failover.txt, outbox-crash.txt
3: отдельные broker и worker в общем Compose compose.yaml; make check-stack broker (rabbitmq:4.2.9-alpine, volume, без портов и консоли) и worker (отдельный процесс, без портов) evidence/stack.txt
3: сообщения durable, at least once, ack только после устойчивого эффекта make worker-outage; make worker-crash; make redelivery сообщение пережило перезапуск брокера (строка outbox отправлена один раз); падение до ack — повторная доставка; ack после COMMIT evidence/worker-outage.txt, worker-crash.txt, redelivery.txt
3: недоступность worker не заставляет API делать resize make worker-outage worker остановлен: 202, вложение остаётся queued, /content — 409, текстовые сообщения работают evidence/worker-outage.txt
3: состояния queued/processing/ready/failed в API make attachments; make lease; make retry-replay queued в ответе 202, processing во время обработки, ready с вариантами, failed с error_code evidence/student-test.txt, lease.txt, retry-replay.txt
3: оригинал неизменен, thumbnail по контракту make test; make attachments; make imaging-test SHA-256 оригинала совпадает; thumbnail JPEG 256×160 (по заголовку JPEG), маленькие не увеличиваются evidence/test.txt, student-test.txt, imaging-test.txt
3: ограниченный retry (5), финальное failed с безопасным error_code make retry-replay (B) 5 попыток → failed, error_code=retry_exhausted, без stack trace evidence/retry-replay.txt
3: повтор одной job не создаёт второго набора вариантов make redelivery; make outbox-crash (C) дубли → duplicate_ignored, 3 строки и 3 объекта вариантов, SHA-256 те же evidence/redelivery.txt, outbox-crash.txt
3: демонстрация worker остановлен → … → ready; задание переживает рестарт брокера make worker-outage 202 → сообщение с вложением → перезапуск API и брокера → worker → ready, thumbnail доступен evidence/worker-outage.txt
4: crop 128×128 и optimized WebP, параметры качества и удаления метаданных make attachments; make imaging-test crop JPEG 128×128, optimized WebP ≤1280; ориентация EXIF, белый фон под прозрачностью; в вариантах нет EXIF/XMP/ICC evidence/student-test.txt, imaging-test.txt
4: лимиты по байтам, пикселям, времени и памяти worker make imaging-test; make attachments 36 Мп RGBA в лимите 640 МиБ — ok, в лимите 200 МиБ — image_too_large; таймаут — процесс убит; лимит пикселей до декодирования; битый скан JPEG — invalid_image; ровно 10 MiB и 40 млн px — ready, на 1 больше — 413 evidence/imaging-test.txt, student-test.txt
Контракт: заведомо повреждённые JPEG — 415 (замечание к MR 1) make student-test; make imaging-test пример из замечания (байт i+5 первого SOS = 250) и ещё 26 повреждений заголовков — 415; корректные progressive и с маркерами RST — ready; проверка API совпадает со строгим декодером на 800 случайных повреждениях и 8208 схемах субдискретизации evidence/student-test.txt, imaging-test.txt
4: transactional outbox, crash между COMMIT и publish, ready без ручного задания make outbox-crash; make db-test A: API упал после COMMIT; B: relay упал до publish; C: relay упал после publish — во всех ready, одна попытка, один набор вариантов; D: брокер остановлен — 202, строка ждёт, потом ready evidence/outbox-crash.txt, db-test.txt
4: backoff с jitter, постоянные и временные ошибки make retry-replay; make db-test паузы в [d/2, d] при d = 2, 4, 8, 16 с; битый JPEG — invalid_image сразу, попытка 1 evidence/retry-replay.txt, db-test.txt
4: DLQ / реестр failed и безопасный явный replay make retry-replay failed → DLQ +1 и jobs failed; replay failed → ready с записью в журнале; replay ready — noop, нового сообщения нет evidence/retry-replay.txt
4: остановка worker после записи объекта до ack, повтор — тот же результат make worker-crash (A, B) A: те же ключи и те же SHA-256, ready на попытке 2; B: после COMMIT до ack — повторная доставка без обработки evidence/worker-crash.txt
4: timeout/lease для зависшего processing make lease долгая задача продлевает lease; замороженный worker теряет его, задание забирает второй worker, проснувшийся ничего не перезаписывает evidence/lease.txt
4: ограниченная конкуренция и prefetch make concurrency одновременно не больше 2 заданий в processing и 2 сообщений без ack, остальные ждут в очереди evidence/concurrency.txt
4: очистка staging после безопасной фиксации make staging-cleanup staging удаляется сразу после COMMIT; остатки и «сироты» — после grace; staging failed хранится до retention; dry-run и повтор безопасны evidence/staging-cleanup.txt
Уборка не удаляет текущую работу (замечание к MR 2) make cleanup-race; make db-test grace 0: снимок → replay → уборщик: staging не удалён, потом ready (было failed/source_missing); уборщик уже пометил staging удалённым и держит блокировку → replay ждёт её и отказывает source_missing, задание failed; загрузка до COMMIT — пропущена (занято); объекты worker до COMMIT — не удалены evidence/cleanup-race.txt, db-test.txt
Свойства lab4: S3 приватный, права, bootstrap; S3 недоступен make s3-checks; make failure-s3 анонимно 403, ключ API не может создать, удалить или открыть bucket; в сообщении брокера только ID; S3 остановлен — реплики не готовы, балансировщик отвечает 503, после запуска файл цел evidence/s3-checks.txt, failure-s3.txt
Выбранный трек 5 — не выбран —

Эксперименты и отказы

Ноутбук: AMD Ryzen 7 4700U, 7,4 ГБ памяти, Windows 11, Docker Desktop (WSL 2). Лимиты: api — 1 CPU и 512 МиБ на реплику, worker — 1 CPU и 1 ГиБ, broker — 1 CPU и 512 МиБ. Данные синтетические, их создают сами тесты. Клиент и стенд на одной машине.

Память и время одной обработки (замер вне стенда: Linux, те же Pillow 13.0.0 и simplejpeg 1.9.0; пик VmPeak дочернего процесса, вместе с ~130 МиБ базовых библиотек). Гипотеза: самая тяжёлая допустимая картинка — PNG RGBA 40 Мп (160 МиБ пикселей), и она укладывается в лимит 640 МиБ. Методика: python -m messenger.imaging на сгенерированных файлах, VmPeak и VmHWM из /proc/self/status.

Файл Время Пик адресного пространства Пик RSS
fixture 320×200 PNG 0,05 с 139 МиБ 38 МиБ
PNG RGB 6400×6250 (40 Мп) 1,0 с 327 МиБ 226 МиБ
PNG RGBA 6400×6250 (40 Мп) 1,1 с 479 МиБ 379 МиБ
PNG 16 бит, серый, 40 Мп 0,7 с 328 МиБ 228 МиБ
JPEG 6400×6250 0,3 с 244 МиБ 149 МиБ
JPEG 4000×3000 с шумом, 9,3 МБ 0,5 с 180 МиБ 81 МиБ

Вывод: худший случай (RGBA 40 Мп) — 479 МиБ, лимит 640 МиБ с запасом. Две такие задачи одновременно (~760 МиБ RSS) помещаются в 1 ГиБ контейнера. Сначала было 633 МиБ: каждый из трёх вариантов делался из полноразмерной картинки. Теперь полноразмерная используется для одного уменьшения (в optimized), а thumbnail и crop делаются из optimized. Проверка структуры в API на тех же файлах занимает 0,03–0,3 с (картинка 1×40 000 000 — 0,9 с) без пиксельного буфера. На стенде лимиты подтверждает make imaging-test.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
docker compose stop worker, upload 202, queued, API работает 202, queued, /content 409, текст 201 после start worker ready за 3,8 с; потерь нет
Перезапуск API и брокера с volumes, worker остановлен задание не теряется строка outbox отправлена один раз до перезапуска, после запуска worker — ready потерь нет
API падает после COMMIT, до 202 работа принята клиент получил 502, вложение ready (строку отправил relay другой реплики) сразу; потерь нет
relay падает до / после publish задание доходит до ready до: строка отправлена после перезапуска; после: дубль, duplicate_ignored секунды (перезапуск контейнера Docker); потерь нет
брокер остановлен загрузки 202, задания ждут строка outbox не отправлена, после запуска брокера — ready ready через 11,8 с после запуска брокера
worker падает после записи в S3 до ack тот же результат попытка 2, те же ключи и SHA-256 секунды (прежний запуск того же контейнера)
worker заморожен (docker pause) задание переходит к другому worker lease истёк, второй worker сделал ready, проснувшийся бросил работу 33 с после заморозки (JOB_LEASE_SECONDS=30)
временная ошибка 2 раза / всегда повтор с паузой / failed ready на попытке 3 / failed retry_exhausted после 5 попыток паузы 1,96 / 2,31 / 5,86 / 13,62 с (диапазоны 1–2, 2–4, 4–8, 8–16 с)
docker compose stop s3 реплики не готовы, 503 реплики вне балансировки через 0,9 с, live 200, ready 503, балансировщик отвечает 503 после start s3 реплики вернулись через 18,0 с, файл цел
остановка одной реплики API (make failover) запросы идут на другую по 124 успешных записи, 0 ошибок 4,5 и 4,6 с до первого успешного запроса
перезапуск всего стенда (make persistence) данные, файл и токен сохраняются всё на месте 49,6 с вместе с ожиданием готовности
уборщик прочитал ссылки, затем replay (make cleanup-race A) staging нужен текущей работе уборщик перепроверил под блокировкой: удалено 0, staging на месте после запуска worker — ready; потерь нет
уборщик решил удалить staging (пометил в БД, COMMIT ещё нет), в это время replay (B) безопасный отказ replay replay ждал блокировку 8,0 с (пауза уборщика в тесте), отказ source_missing, задание failed, журнал: staging_expired → replay_refused работа не потеряна: её и не было (retention истёк)
уборка во время загрузки, до COMMIT (C) и во время обработки, до COMMIT (D) ничего не удаляется C: вложение пропущено как занятое; D: 4 объекта оставлены (processing) загрузка — 202 → ready; обработка — ready, SHA-256 совпадают

Ограничения и следующие шаги

  • Всё на одном узле: RabbitMQ, SeaweedFS, PostgreSQL и HAProxy в одном экземпляре. Выдерживается отказ одной реплики API, остановка и падение worker, перезапуск брокера с volume. Потеря диска или всего хоста — нет.
  • At-least-once, а не exactly-once: дубли бывают, и это нормально (relay упал после publish, worker упал до ack). Защита — состояние задания в БД, ключ эффекта и жетон lease.
  • Readiness зависит от S3: пока S3 недоступен, не работает и текстовая часть API (как при отказе PostgreSQL). Это сознательный выбор: без S3 нельзя принять файл в staging, а это обязательный путь. Брокер и worker на readiness не влияют.
  • После падения worker задание ждёт до 30 с (срок lease), если упал не прежний запуск того же контейнера, а другой worker. Меньший lease быстрее восстанавливает работу, но чаще отбирает задание у медленного worker.
  • Точки отказа и точки-паузы (faults.py) включены только на учебном стенде (FAULTS_ENABLED=1) и срабатывают по файлу внутри контейнера; в рабочей среде переменной нет.
  • JPEG со схемами субдискретизации, которых не понимает декодер worker (TurboJPEG): например, 4:4:1 или CMYK 4:2:2 — отклоняются 415 как неподдерживаемые, хотя формально корректны. Поддерживаются 4:4:4, 4:2:2, 4:2:0, 4:4:0, 4:1:1 и оттенки серого.
  • Загрузка держит соединение с БД, пока пишет файл в staging (до 6 с, лимит операции S3). Replay ждёт блокировку вложения до 20 с (её коротко берут уборщик и worker), потом отвечает busy.
  • Остатки неудачной попытки failed-вложения (оригинал и варианты в S3) лежат до конца retention (24 ч): раньше их удалять нельзя, иначе replay может потерять только что записанные объекты.
  • Цветовой профиль ICC в варианты не переносится. Анимированные PNG обрабатываются по первому кадру. JPEG с данными после маркера конца принимается (так устроены многие фото с телефона), варианты из него делаются заново.
  • Вложения lab4 (ready без вариантов) остаются ready, их варианты — 404. Переобработка старых вложений новой версией pipeline — это трек 2 на «5».
  • Пользователь RabbitMQ один на API и worker (права только на attachments*). Отдельные пользователи и mTLS — lab7.