Files
mtusi2026lab5/REPORT.md
T
2026-10-26 19:40:34 +03:00

188 lines
43 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 5
- Автор, группа: Гаджиев Нухбала, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
- Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab5/pulls/4
- Использованные источники, библиотеки и помощь ИИ: всё из lab4 (FastAPI, uvicorn, pydantic, psycopg 3, argon2-cffi, valkey-py, boto3, Pillow 13.0.0, HAProxy 3.2, PostgreSQL 17, Valkey 8.1, SeaweedFS 4.44) и новое: RabbitMQ 4.2.9 (брокер), pika 1.4.4 (клиент RabbitMQ), simplejpeg 1.9.0 и numpy 2.3.5 (строгая проверка JPEG через libjpeg-turbo). Документация: RabbitMQ (Reliability Guide, Consumer Acknowledgements and Publisher Confirms, Quorum Queues, Dead Letter Exchanges, Configuration), pika (BlockingConnection, add_callback_threadsafe), PostgreSQL (SELECT … FOR UPDATE SKIP LOCKED), Pillow (draft, resize с reducing_gap, ImageOps.exif_transpose), спецификация PNG (блоки, фильтры строк, Adam7). ИИ использовался только как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов.
## Запуск из чистого clone
Проверял на Windows 11 в Git Bash с Docker Desktop (WSL 2). Нужны Docker с Compose, Python 3 (только для тестов, стандартная библиотека) и GNU Make. Образы закреплены: python:3.12.8-slim-bookworm (основа образа API и worker), haproxy:3.2.25-alpine, postgres:17.10-bookworm, valkey/valkey:8.1.9, chrislusf/seaweedfs:4.44, rabbitmq:4.2.9-alpine. Перед запуском остановить стенд lab4 (`docker compose -p mtusi-lab4 down`), иначе занят порт 8080.
```sh
git clone https://gitea.privcloud.tech/ng14/mtusi2026lab5.git && cd mtusi2026lab5
git checkout solution/bvt2303-gadzhiev
cp .env.example .env
sed -i 's/\r$//' .env # только Windows: убрать \r из .env
sh scripts/init-secrets.sh # secrets/: пароли PostgreSQL, Valkey, RabbitMQ, ключи S3 (значения не выводятся)
docker compose up -d --build --wait # postgres, valkey, s3, broker -> migrate, s3-init -> api x2, worker -> lb
make ps # api x2, worker, lb, postgres, valkey, s3, broker: healthy; migrate, s3-init: Exited (0)
make check PYTHON=python
make test PYTHON=python
make test-failover ACTION_SCRIPT=scripts/stop-one.cmd PYTHON=python # Linux/macOS: scripts/stop-one.sh
make restore PYTHON=python
make test-persistence ACTION_SCRIPT=scripts/restart.cmd PYTHON=python # Linux/macOS: scripts/restart.sh
```
Свои проверки lab5: `make worker-outage`, `redelivery`, `outbox-crash`, `worker-crash`, `retry-replay`, `lease`, `concurrency`, `staging-cleanup`, `cleanup-race`, `imaging-test`, `db-test` (на Windows с `PYTHON=python`). Проверки lab2–lab4 остались: `make student-test`, `attachments`, `attachment-failover`, `failure-s3`, `s3-checks`, `failover`, `persistence`, `check-stack` и др. Все HTTP-проверки идут через балансировщик `http://127.0.0.1:8080`.
Bootstrap. Схему БД создаёт одноразовый `migrate` (миграции 001–006), bucket — одноразовый `s3-init`. Пользователя, пароль, vhost и права RabbitMQ брокер берёт из файла-секрета `secrets/rabbitmq_credentials.conf` при первом запуске с пустым volume; exchange и очереди объявляют relay и worker при подключении (повторное объявление с теми же параметрами ничего не меняет). Всё повторяемо: `docker compose run --rm migrate`, `make s3-bootstrap`. Действие оператора одно: один раз создать секреты.
Остановить worker для демонстрации: `make worker-stop`, запустить: `make worker-start`. Команды оператора: `make jobs` (сколько заданий в каждом состоянии), `make failed` (реестр failed), `make job ID=<attachment_id>` (задание, журнал, outbox, варианты), `make replay ID=<attachment_id>`, `make queues` (очереди брокера и DLQ), `make cleanup ARGS=--dry-run` (или `ARGS="--attachment <id>"` — только одно вложение).
Безопасная остановка: `make down` (volumes `pgdata`, `s3data`, `rabbitmqdata` остаются). Намеренное удаление учебных данных: `docker compose down -v`, затем `rm -rf secrets` и снова `sh scripts/init-secrets.sh` (пароль RabbitMQ задаётся только при первом запуске, поэтому секреты и volume удаляются вместе).
## Архитектура и решения
```text
клиент --> lb: HAProxy, 127.0.0.1:8080 (единственная точка входа)
+--> api-1 --+--> postgres: пользователи, чаты, сообщения, сессии, вложения, ЗАДАНИЯ и OUTBOX (pgdata)
+--> api-2 --+--> valkey: общий кэш сессий
(relay) +--> s3 SeaweedFS: staging/<id> (принятый оригинал), originals/<id>, variants/<id>/v1/... (s3data)
+--> broker RabbitMQ: очередь attachments.process и DLQ attachments.dead (rabbitmqdata)
worker (отдельный процесс) <-- broker; читает staging, пишет originals и variants в s3, результат в postgres
migrate, s3-init — одноразовые; сети: edge (lb <-> api), backend internal (всё остальное); наружу только lb
```
| Роль | Сервис | Версия | Health / готовность | Volume | Сеть / порт | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| Балансировщик | `lb` | haproxy:3.2.25-alpine | `/lb-health` | нет | edge; 127.0.0.1:8080, :8081, :8404 | не нужны |
| API ×2 (+ relay outbox) | `api` | образ из Dockerfile | `/health/ready`: PostgreSQL и S3 | нет | edge + backend, портов нет | `database_url`, `cache_url`, `s3_access_key_id`, `s3_secret_access_key`, `broker_url` |
| Worker | `worker` | тот же образ, `python -m messenger.worker` | файл `/tmp/worker.alive` моложе 30 с | нет | backend, портов нет | `database_url`, ключи S3 API, `broker_url` |
| Брокер | `broker` | rabbitmq:4.2.9-alpine (без веб-консоли) | `rabbitmq-diagnostics ping` | `rabbitmqdata` | backend, 5672 | `rabbitmq_credentials.conf` (секрет-файл в conf.d) |
| Миграции | `migrate` | тот же образ | код выхода 0 | нет | backend | только `database_url` |
| База | `postgres` | postgres:17.10-bookworm | `pg_isready` | `pgdata` | backend, 5432 | `POSTGRES_PASSWORD_FILE` |
| Кэш сессий | `valkey` | valkey/valkey:8.1.9 | `valkey-cli ping` | нет | backend, 6379 | ACL-файл |
| S3 | `s3` | chrislusf/seaweedfs:4.44 | `/healthz` на :9000 | `s3data` | backend, 9000 | `s3_config.json` |
| Bootstrap S3 | `s3-init` | тот же образ | код выхода 0 | нет | backend | только ключи администратора S3 |
Источник истины: метаданные, состояние заданий и outbox — PostgreSQL, байты — bucket, брокер только доставляет «напоминание» обработать задание. Решение «что делать с сообщением» всегда принимается по строке задания в БД.
Приём (`src/messenger/attachments.py`) и что сохранено в момент 202:
1. Проверки как в lab4: токен, участник чата, `filename`, `Content-Type`, размер до и во время чтения, тип по первым байтам, пиксели по заголовку до распаковки.
2. Структура файла без декодирования пикселей (`images.py`): у PNG — блоки, CRC, палитра, tRNS, ничего после IEND, распаковка IDAT порциями по 1 МиБ с подсчётом байт и проверкой типа фильтра строк. У JPEG — всё, что строгий декодер worker (libjpeg-turbo) проверяет по маркерам и заголовкам: известные маркеры и длины сегментов, кадр SOF, таблицы DQT/DHT (коды Хаффмана помещаются в свою длину), каждый компонент скана SOS есть в SOF и не повторяется, параметры сканов, порядок и число маркеров RST, версия JFIF, код Adobe, схема субдискретизации, которую понимает декодер, EOI. Заведомо битые — 415. В worker остаются только ошибки внутри сжатых данных скана: их не найти без декодирования каждого блока (failed, `invalid_image`).
3. PUT оригинала в `staging/<id>` (ключ назначает сервер).
4. Одна транзакция: вложение `queued` + задание `attempt=1` + строка outbox (тело сообщения) + запись в журнал. После COMMIT — 202 `queued`. Сам ответ не ждёт брокера. Шаги 3–4 идут под advisory-блокировкой ID вложения: пока загрузка не закоммичена, уборщик её staging не трогает.
Outbox (`relay.py`, поток в каждой реплике API). Relay берёт неотправленные строки с `FOR UPDATE SKIP LOCKED` (реплики не мешают друг другу), публикует в брокер с publisher confirm и только потом ставит `published_at`. Если API упал после COMMIT, строку отправит relay другой реплики или этой после перезапуска. Если relay упал после подтверждения брокера, строка уйдёт ещё раз (дубль, это нормально при at-least-once). Брокер недоступен — загрузки по-прежнему 202, строки ждут в PostgreSQL. Поэтому брокер не входит в readiness, а S3 входит: без S3 не принять файл в staging.
Брокер. Quorum queue `attachments.process` на диске (`rabbitmqdata`, постоянный hostname — данные лежат в каталоге имени узла), сообщения persistent, publisher confirms, ручной ack. `x-delivery-limit=10` и DLX: сообщение, которое раз за разом не доходит до ack, уходит в DLQ `attachments.dead`. Права пользователя RabbitMQ — только на `attachments*`. `consumer_timeout` 5 мин, heartbeat 10 с (зависший процесс теряет соединение примерно за 20 с, и выданные ему сообщения возвращаются в очередь). Сообщение по `contracts/jobs.schema.json`: только `schema_version`, `job_id`, `type`, `attachment_id`, `pipeline_version`, `attempt`, `created_at`, без байтов, ключей S3, URL и паролей. `created_at` — время постановки этой попытки.
Worker (`worker.py`). Проверяет сообщение по схеме (не по схеме — reject в DLQ). Решает по строке задания: ready/failed — ack без работы, старая попытка — ack без работы, чужой действующий lease — ack без работы, queued — берёт под lease. Скачивает staging и сверяет размер и SHA-256 с БД. Обрабатывает в дочернем процессе (`sandbox.py`) с лимитами. Пишет `originals/<id>` и варианты в ключи `variants/<id>/v1/<имя>`, коммитит результат с проверкой жетона lease и только потом ack. После COMMIT удаляет staging.
Состояния (наружу как есть): `queued` → `processing` (lease) → `ready` / `failed`; временная ошибка или истёкший lease → снова `queued` со следующей попыткой; `failed` → `queued` только по replay оператора. Ключ эффекта `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants` и он же ключ объекта в S3: повтор не создаёт второй набор. Ready не откатывается назад: все переходы обновляют вложение только из `queued`/`processing`.
Повторы и ошибки. Постоянные (`invalid_image`, `image_too_large`, `source_missing`, `source_corrupted`) — failed сразу, сообщение в DLQ. Временные (`storage_unavailable`, `processing_timeout`, `worker_crashed`, `lease_expired`, `processing_failed`) — следующая попытка через backoff с jitter: пауза случайная в [d/2, d], d = min(60 с, 2 с · 2^(n−1)). Всего попыток `JOB_MAX_ATTEMPTS=5`, потом failed с `retry_exhausted` и DLQ. Реестр failed — таблица `attachment_jobs` (`make failed`), журнал — `job_events`. Replay (`make replay ID=...`) переводит только failed в queued с новой попыткой и записью в журнале (кто и что было). Для ready или ещё идущего задания он ничего не делает. Если staging уже удалён (прошло `STAGING_RETENTION_SECONDS`), replay отказывает (`source_missing`, тоже с записью в журнале). Всё это одна транзакция под блокировкой строк задания и вложения — тех же, что берёт уборщик.
Lease (`jobs.py`). Захват — жетон и срок `JOB_LEASE_SECONDS=30`. Пока worker жив, он продлевает аренду каждые 10 с, поэтому долгая задача не теряет её. Зависший или мёртвый worker не продлевает, и через 30 с фоновая проверка (`reap`, раз в 5 с) засчитывает попытку как неудачную и назначает следующую. Результат принимается, только если жетон совпадает (fencing): опоздавший worker ничего не перезапишет, а обнаружив потерю lease, бросает работу. Если lease держит прежний запуск того же контейнера (Docker его перезапустил), попытка засчитывается сразу, без ожидания 30 с. Попытка не дольше `JOB_TIMEOUT_SECONDS=60`: дочерний процесс убивается.
Варианты (`imaging.py`). thumbnail — JPEG, вписан в 256×256, без увеличения, размеры вниз, минимум 1 px (320×200 → 256×160). crop — JPEG 128×128, центральный квадрат, маленькие увеличиваются. optimized — WebP, вписан в 1280×1280, без увеличения. Ориентация EXIF применяется. В JPEG прозрачность накладывается на белый фон, WebP её сохраняет. Качество: JPEG `quality=85, optimize=True`, WebP `quality=80, method=4` (с потерями). EXIF, XMP и ICC-профиль в варианты не переносятся (место съёмки и камера не утекают; цвета wide-gamut фото могут немного отличаться). Повтор даёт те же байты. JPEG декодируется в уменьшенном масштабе (draft), 16-битные PNG переводятся в 8 бит.
Лимиты worker. Байты: объект из staging не больше 10 MiB и совпадает с размером и SHA-256 в БД. Пиксели: не больше 40 млн, проверяются до декодирования. Сжатые данные JPEG проверяются строго (libjpeg-turbo, предупреждение = ошибка): Pillow битый скан молча «дорисовывает» серым. Память: дочерний процесс с `RLIMIT_AS = WORKER_MEMORY_LIMIT_MB = 640` МиБ (нехватка → `image_too_large`), контейнер — 1 ГиБ. Время: `JOB_TIMEOUT_SECONDS=60`, потом SIGKILL. Параллельно `WORKER_CONCURRENCY=2` задания, prefetch брокера тоже 2.
Уборка (`cleanup.py`, поток worker раз в 5 мин и `make cleanup`). Нужные объекты: оригиналы и варианты ready, ВСЕ объекты вложений в работе (queued, processing: worker может прямо сейчас писать оригинал и варианты), все объекты failed-вложения моложе 24 ч (replay запишет их заново в те же ключи), staging загрузки, которая ещё не закоммичена. Остальное удаляется, только если старше grace 15 мин: staging готового (если worker не успел удалить), объекты failed после retention, объекты без строки в БД. Есть dry-run и уборка одного вложения (`--attachment`). Как уборщик не удаляет текущую работу (замечание к MR): список объектов и снимок ссылок только отбирают кандидатов, а решение по каждому вложению принимается заново под блокировками (`store.cleanup_attachment`): advisory-блокировка ID вложения без ожидания (её держит идущая загрузка — тогда вложение пропускается), затем строки задания и вложения (`FOR NO KEY UPDATE`, тот же порядок, что у worker и replay). У failed-вложения после retention в той же транзакции помечается, что исходника нет (`staging_key = NULL`, запись `staging_expired` в журнале): replay, который ждал блокировку или пришёл позже, безопасно отказывает. Из S3 объекты удаляются уже после COMMIT и только те, что больше никогда не понадобятся, поэтому медленный S3 не держит блокировки, а оборванная сессия БД не открывает окно для гонки.
Что перенесено из lab4: весь код, миграции 001–005, свои тесты, Dockerfile, конфиги HAProxy/Valkey, SeaweedFS и `s3-init`, скрипты. Что изменено: сервисы `broker` и `worker`, volume `rabbitmqdata`, секреты RabbitMQ, миграция 006 (задания, outbox, варианты, журнал), модули `broker.py`, `relay.py`, `jobs.py`, `worker.py`, `sandbox.py`, `imaging.py`, `faults.py`; загрузка 201 → 202; `images.py` — вместо полного декодирования проверка структуры (PNG по спецификации, JPEG по правилам строгого декодера); `/health/ready` проверяет и S3; уборщик переехал в worker и знает про staging и варианты; hook перезапуска перезапускает ещё брокер и worker.
Исправления по замечаниям к MR:
1. Структурно повреждённый JPEG (SOS ссылается на компонент 250, которого нет в SOF) принимался с 202 и только потом становился failed. Причина: у скана проверялась длина, но не связь с кадром. Теперь `images.py` повторяет все проверки заголовков строгого декодера worker (список — в п. 2 «Приёма»), такой файл получает 415. Совпадение с декодером проверено в образе: 800 случайных повреждений заголовков и 8208 комбинаций субдискретизации без расхождений (`make imaging-test`).
2. Уборщик мог удалить staging уже принятого replay: удалял по снимку ссылок без согласования с изменением состояния. Теперь решение принимается под блокировками по текущему состоянию, replay — одна транзакция под теми же блокировками, а staging сначала помечается удалённым в БД (подробно — в абзаце «Уборка»). Тем же механизмом закрыты ещё два окна, которые видны при grace = 0: загрузка между PUT в staging и COMMIT и объекты worker до COMMIT результата. Проверки: `make db-test` (барьеры в настоящей PostgreSQL) и `make cleanup-race` (то же на стенде с точками-паузами).
Переменные (новые; остальные как в lab4, см. `.env.example`):
| Переменная | Что делает |
| --- | --- |
| BROKER_URL_FILE | адрес RabbitMQ с паролем (`/run/secrets/broker_url`) |
| WORKER_CONCURRENCY | заданий одновременно и prefetch брокера (2) |
| JOB_MAX_ATTEMPTS | всего попыток, потом failed / retry_exhausted (5) |
| JOB_TIMEOUT_SECONDS | лимит времени одной попытки (60 с) |
| STAGING_RETENTION_SECONDS | сколько хранится staging failed-вложения для replay (86400 с) |
| WORKER_REPLICAS, WORKER_MEMORY_LIMIT_MB | число контейнеров worker (1), лимит памяти попытки (640 МиБ) |
| RETRY_BASE_SECONDS, RETRY_MAX_SECONDS | backoff: 2 с, удвоение, не больше 60 с, jitter [d/2, d] |
| JOB_LEASE_SECONDS, JOB_HEARTBEAT_SECONDS, REAPER_INTERVAL_SECONDS | lease 30 с, продление каждые 10 с, поиск истёкших раз в 5 с |
| QUEUED_REPUBLISH_SECONDS | страховка: queued без движения 10 мин — отправить сообщение ещё раз |
| RELAY_POLL_SECONDS, RELAY_BATCH_SIZE | опрос outbox раз в 1 с (плюс сигнал сразу после загрузки), пачка 50 |
| JPEG_QUALITY, WEBP_QUALITY, WEBP_METHOD | 85, 80, 4 |
| IMAGE_CHECK_CONCURRENCY, IMAGE_CHECK_WAIT_SECONDS | проверок структуры одновременно на реплику (2), ожидание очереди (10 с) |
| S3_HEALTH_INTERVAL_SECONDS, S3_HEALTH_MAX_AGE_SECONDS | фоновая проверка S3 для readiness раз в 1 с, не старше 3 с |
| OUTBOX_RETENTION_SECONDS | отправленные строки outbox хранятся неделю |
| FAULTS_ENABLED | точки отказа для тестов (только учебный стенд, включаются файлами в `/tmp/faults` контейнера) |
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | PASS: lab5 public API scenario (202, ready, оригинал и JPEG thumbnail 256×160) | evidence/test.txt |
| Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt |
| 3: минимум lab4 сохранён, upload 201 → 202 | make student-test; make failover; make persistence | все тесты OK; публичный failover PASS для каждой реплики; persistence PASS (данные, токен и файл после перезапуска всего стенда) | evidence/student-test.txt, failover.txt, persistence.txt |
| 3: 202 только после устойчивого приёма; остановка API после ответа не теряет работу | make attachment-failover; make outbox-crash (A) | реплику, ответившую 202, сразу остановили — вложение всё равно ready, другая реплика отдаёт тот же SHA-256; API упал после COMMIT до ответа — задание всё равно выполнено | evidence/attachment-failover.txt, outbox-crash.txt |
| 3: отдельные broker и worker в общем Compose | compose.yaml; make check-stack | `broker` (rabbitmq:4.2.9-alpine, volume, без портов и консоли) и `worker` (отдельный процесс, без портов) | evidence/stack.txt |
| 3: сообщения durable, at least once, ack только после устойчивого эффекта | make worker-outage; make worker-crash; make redelivery | сообщение пережило перезапуск брокера (строка outbox отправлена один раз); падение до ack — повторная доставка; ack после COMMIT | evidence/worker-outage.txt, worker-crash.txt, redelivery.txt |
| 3: недоступность worker не заставляет API делать resize | make worker-outage | worker остановлен: 202, вложение остаётся queued, /content — 409, текстовые сообщения работают | evidence/worker-outage.txt |
| 3: состояния queued/processing/ready/failed в API | make attachments; make lease; make retry-replay | queued в ответе 202, processing во время обработки, ready с вариантами, failed с error_code | evidence/student-test.txt, lease.txt, retry-replay.txt |
| 3: оригинал неизменен, thumbnail по контракту | make test; make attachments; make imaging-test | SHA-256 оригинала совпадает; thumbnail JPEG 256×160 (по заголовку JPEG), маленькие не увеличиваются | evidence/test.txt, student-test.txt, imaging-test.txt |
| 3: ограниченный retry (5), финальное failed с безопасным error_code | make retry-replay (B) | 5 попыток → failed, error_code=retry_exhausted, без stack trace | evidence/retry-replay.txt |
| 3: повтор одной job не создаёт второго набора вариантов | make redelivery; make outbox-crash (C) | дубли → duplicate_ignored, 3 строки и 3 объекта вариантов, SHA-256 те же | evidence/redelivery.txt, outbox-crash.txt |
| 3: демонстрация worker остановлен → … → ready; задание переживает рестарт брокера | make worker-outage | 202 → сообщение с вложением → перезапуск API и брокера → worker → ready, thumbnail доступен | evidence/worker-outage.txt |
| 4: crop 128×128 и optimized WebP, параметры качества и удаления метаданных | make attachments; make imaging-test | crop JPEG 128×128, optimized WebP ≤1280; ориентация EXIF, белый фон под прозрачностью; в вариантах нет EXIF/XMP/ICC | evidence/student-test.txt, imaging-test.txt |
| 4: лимиты по байтам, пикселям, времени и памяти worker | make imaging-test; make attachments | 36 Мп RGBA в лимите 640 МиБ — ok, в лимите 200 МиБ — image_too_large; таймаут — процесс убит; лимит пикселей до декодирования; битый скан JPEG — invalid_image; ровно 10 MiB и 40 млн px — ready, на 1 больше — 413 | evidence/imaging-test.txt, student-test.txt |
| Контракт: заведомо повреждённые JPEG — 415 (замечание к MR 1) | make student-test; make imaging-test | пример из замечания (байт i+5 первого SOS = 250) и ещё 26 повреждений заголовков — 415; корректные progressive и с маркерами RST — ready; проверка API совпадает со строгим декодером на 800 случайных повреждениях и 8208 схемах субдискретизации | evidence/student-test.txt, imaging-test.txt |
| 4: transactional outbox, crash между COMMIT и publish, ready без ручного задания | make outbox-crash; make db-test | A: API упал после COMMIT; B: relay упал до publish; C: relay упал после publish — во всех ready, одна попытка, один набор вариантов; D: брокер остановлен — 202, строка ждёт, потом ready | evidence/outbox-crash.txt, db-test.txt |
| 4: backoff с jitter, постоянные и временные ошибки | make retry-replay; make db-test | паузы в [d/2, d] при d = 2, 4, 8, 16 с; битый JPEG — invalid_image сразу, попытка 1 | evidence/retry-replay.txt, db-test.txt |
| 4: DLQ / реестр failed и безопасный явный replay | make retry-replay | failed → DLQ +1 и `jobs failed`; replay failed → ready с записью в журнале; replay ready — noop, нового сообщения нет | evidence/retry-replay.txt |
| 4: остановка worker после записи объекта до ack, повтор — тот же результат | make worker-crash (A, B) | A: те же ключи и те же SHA-256, ready на попытке 2; B: после COMMIT до ack — повторная доставка без обработки | evidence/worker-crash.txt |
| 4: timeout/lease для зависшего processing | make lease | долгая задача продлевает lease; замороженный worker теряет его, задание забирает второй worker, проснувшийся ничего не перезаписывает | evidence/lease.txt |
| 4: ограниченная конкуренция и prefetch | make concurrency | одновременно не больше 2 заданий в processing и 2 сообщений без ack, остальные ждут в очереди | evidence/concurrency.txt |
| 4: очистка staging после безопасной фиксации | make staging-cleanup | staging удаляется сразу после COMMIT; остатки и «сироты» — после grace; staging failed хранится до retention; dry-run и повтор безопасны | evidence/staging-cleanup.txt |
| Уборка не удаляет текущую работу (замечание к MR 2) | make cleanup-race; make db-test | grace 0: снимок → replay → уборщик: staging не удалён, потом ready (было failed/source_missing); уборщик уже пометил staging удалённым и держит блокировку → replay ждёт её и отказывает source_missing, задание failed; загрузка до COMMIT — пропущена (занято); объекты worker до COMMIT — не удалены | evidence/cleanup-race.txt, db-test.txt |
| Свойства lab4: S3 приватный, права, bootstrap; S3 недоступен | make s3-checks; make failure-s3 | анонимно 403, ключ API не может создать, удалить или открыть bucket; в сообщении брокера только ID; S3 остановлен — реплики не готовы, балансировщик отвечает 503, после запуска файл цел | evidence/s3-checks.txt, failure-s3.txt |
| Выбранный трек 5 | — | не выбран | — |
## Эксперименты и отказы
Ноутбук: AMD Ryzen 7 4700U, 7,4 ГБ памяти, Windows 11, Docker Desktop (WSL 2). Лимиты: api — 1 CPU и 512 МиБ на реплику, worker — 1 CPU и 1 ГиБ, broker — 1 CPU и 512 МиБ. Данные синтетические, их создают сами тесты. Клиент и стенд на одной машине.
Память и время одной обработки (замер вне стенда: Linux, те же Pillow 13.0.0 и simplejpeg 1.9.0; пик VmPeak дочернего процесса, вместе с ~130 МиБ базовых библиотек). Гипотеза: самая тяжёлая допустимая картинка — PNG RGBA 40 Мп (160 МиБ пикселей), и она укладывается в лимит 640 МиБ. Методика: `python -m messenger.imaging` на сгенерированных файлах, VmPeak и VmHWM из `/proc/self/status`.
| Файл | Время | Пик адресного пространства | Пик RSS |
| --- | --- | --- | --- |
| fixture 320×200 PNG | 0,05 с | 139 МиБ | 38 МиБ |
| PNG RGB 6400×6250 (40 Мп) | 1,0 с | 327 МиБ | 226 МиБ |
| PNG RGBA 6400×6250 (40 Мп) | 1,1 с | 479 МиБ | 379 МиБ |
| PNG 16 бит, серый, 40 Мп | 0,7 с | 328 МиБ | 228 МиБ |
| JPEG 6400×6250 | 0,3 с | 244 МиБ | 149 МиБ |
| JPEG 4000×3000 с шумом, 9,3 МБ | 0,5 с | 180 МиБ | 81 МиБ |
Вывод: худший случай (RGBA 40 Мп) — 479 МиБ, лимит 640 МиБ с запасом. Две такие задачи одновременно (~760 МиБ RSS) помещаются в 1 ГиБ контейнера. Сначала было 633 МиБ: каждый из трёх вариантов делался из полноразмерной картинки. Теперь полноразмерная используется для одного уменьшения (в optimized), а thumbnail и crop делаются из optimized. Проверка структуры в API на тех же файлах занимает 0,03–0,3 с (картинка 1×40 000 000 — 0,9 с) без пиксельного буфера. На стенде лимиты подтверждает `make imaging-test`.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| `docker compose stop worker`, upload | 202, queued, API работает | 202, queued, /content 409, текст 201 | после `start worker` ready за 3,8 с; потерь нет |
| Перезапуск API и брокера с volumes, worker остановлен | задание не теряется | строка outbox отправлена один раз до перезапуска, после запуска worker — ready | потерь нет |
| API падает после COMMIT, до 202 | работа принята | клиент получил 502, вложение ready (строку отправил relay другой реплики) | сразу; потерь нет |
| relay падает до / после publish | задание доходит до ready | до: строка отправлена после перезапуска; после: дубль, duplicate_ignored | секунды (перезапуск контейнера Docker); потерь нет |
| брокер остановлен | загрузки 202, задания ждут | строка outbox не отправлена, после запуска брокера — ready | ready через 11,8 с после запуска брокера |
| worker падает после записи в S3 до ack | тот же результат | попытка 2, те же ключи и SHA-256 | секунды (прежний запуск того же контейнера) |
| worker заморожен (`docker pause`) | задание переходит к другому worker | lease истёк, второй worker сделал ready, проснувшийся бросил работу | 33 с после заморозки (JOB_LEASE_SECONDS=30) |
| временная ошибка 2 раза / всегда | повтор с паузой / failed | ready на попытке 3 / failed retry_exhausted после 5 попыток | паузы 1,96 / 2,31 / 5,86 / 13,62 с (диапазоны 1–2, 2–4, 4–8, 8–16 с) |
| `docker compose stop s3` | реплики не готовы, 503 | реплики вне балансировки через 0,9 с, live 200, ready 503, балансировщик отвечает 503 | после `start s3` реплики вернулись через 18,0 с, файл цел |
| остановка одной реплики API (`make failover`) | запросы идут на другую | по 124 успешных записи, 0 ошибок | 4,5 и 4,6 с до первого успешного запроса |
| перезапуск всего стенда (`make persistence`) | данные, файл и токен сохраняются | всё на месте | 49,6 с вместе с ожиданием готовности |
| уборщик прочитал ссылки, затем replay (`make cleanup-race` A) | staging нужен текущей работе | уборщик перепроверил под блокировкой: удалено 0, staging на месте | после запуска worker — ready; потерь нет |
| уборщик решил удалить staging (пометил в БД, COMMIT ещё нет), в это время replay (B) | безопасный отказ replay | replay ждал блокировку 8,0 с (пауза уборщика в тесте), отказ source_missing, задание failed, журнал: staging_expired → replay_refused | работа не потеряна: её и не было (retention истёк) |
| уборка во время загрузки, до COMMIT (C) и во время обработки, до COMMIT (D) | ничего не удаляется | C: вложение пропущено как занятое; D: 4 объекта оставлены (processing) | загрузка — 202 → ready; обработка — ready, SHA-256 совпадают |
## Ограничения и следующие шаги
- Всё на одном узле: RabbitMQ, SeaweedFS, PostgreSQL и HAProxy в одном экземпляре. Выдерживается отказ одной реплики API, остановка и падение worker, перезапуск брокера с volume. Потеря диска или всего хоста — нет.
- At-least-once, а не exactly-once: дубли бывают, и это нормально (relay упал после publish, worker упал до ack). Защита — состояние задания в БД, ключ эффекта и жетон lease.
- Readiness зависит от S3: пока S3 недоступен, не работает и текстовая часть API (как при отказе PostgreSQL). Это сознательный выбор: без S3 нельзя принять файл в staging, а это обязательный путь. Брокер и worker на readiness не влияют.
- После падения worker задание ждёт до 30 с (срок lease), если упал не прежний запуск того же контейнера, а другой worker. Меньший lease быстрее восстанавливает работу, но чаще отбирает задание у медленного worker.
- Точки отказа и точки-паузы (`faults.py`) включены только на учебном стенде (`FAULTS_ENABLED=1`) и срабатывают по файлу внутри контейнера; в рабочей среде переменной нет.
- JPEG со схемами субдискретизации, которых не понимает декодер worker (TurboJPEG): например, 4:4:1 или CMYK 4:2:2 — отклоняются 415 как неподдерживаемые, хотя формально корректны. Поддерживаются 4:4:4, 4:2:2, 4:2:0, 4:4:0, 4:1:1 и оттенки серого.
- Загрузка держит соединение с БД, пока пишет файл в staging (до 6 с, лимит операции S3). Replay ждёт блокировку вложения до 20 с (её коротко берут уборщик и worker), потом отвечает busy.
- Остатки неудачной попытки failed-вложения (оригинал и варианты в S3) лежат до конца retention (24 ч): раньше их удалять нельзя, иначе replay может потерять только что записанные объекты.
- Цветовой профиль ICC в варианты не переносится. Анимированные PNG обрабатываются по первому кадру. JPEG с данными после маркера конца принимается (так устроены многие фото с телефона), варианты из него делаются заново.
- Вложения lab4 (ready без вариантов) остаются ready, их варианты — 404. Переобработка старых вложений новой версией pipeline — это трек 2 на «5».
- Пользователь RabbitMQ один на API и worker (права только на `attachments*`). Отдельные пользователи и mTLS — lab7.