forked from mtusi2026/mtusi2026lab5
188 lines
43 KiB
Markdown
188 lines
43 KiB
Markdown
# Отчёт — лабораторная 5
|
||
|
||
- Автор, группа: Гаджиев Нухбала, БВТ2303
|
||
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
|
||
- Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab5/pulls/4
|
||
- Использованные источники, библиотеки и помощь ИИ: всё из lab4 (FastAPI, uvicorn, pydantic, psycopg 3, argon2-cffi, valkey-py, boto3, Pillow 13.0.0, HAProxy 3.2, PostgreSQL 17, Valkey 8.1, SeaweedFS 4.44) и новое: RabbitMQ 4.2.9 (брокер), pika 1.4.4 (клиент RabbitMQ), simplejpeg 1.9.0 и numpy 2.3.5 (строгая проверка JPEG через libjpeg-turbo). Документация: RabbitMQ (Reliability Guide, Consumer Acknowledgements and Publisher Confirms, Quorum Queues, Dead Letter Exchanges, Configuration), pika (BlockingConnection, add_callback_threadsafe), PostgreSQL (SELECT … FOR UPDATE SKIP LOCKED), Pillow (draft, resize с reducing_gap, ImageOps.exif_transpose), спецификация PNG (блоки, фильтры строк, Adam7). ИИ использовался только как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Проверял на Windows 11 в Git Bash с Docker Desktop (WSL 2). Нужны Docker с Compose, Python 3 (только для тестов, стандартная библиотека) и GNU Make. Образы закреплены: python:3.12.8-slim-bookworm (основа образа API и worker), haproxy:3.2.25-alpine, postgres:17.10-bookworm, valkey/valkey:8.1.9, chrislusf/seaweedfs:4.44, rabbitmq:4.2.9-alpine. Перед запуском остановить стенд lab4 (`docker compose -p mtusi-lab4 down`), иначе занят порт 8080.
|
||
|
||
```sh
|
||
git clone https://gitea.privcloud.tech/ng14/mtusi2026lab5.git && cd mtusi2026lab5
|
||
git checkout solution/bvt2303-gadzhiev
|
||
cp .env.example .env
|
||
sed -i 's/\r$//' .env # только Windows: убрать \r из .env
|
||
sh scripts/init-secrets.sh # secrets/: пароли PostgreSQL, Valkey, RabbitMQ, ключи S3 (значения не выводятся)
|
||
docker compose up -d --build --wait # postgres, valkey, s3, broker -> migrate, s3-init -> api x2, worker -> lb
|
||
make ps # api x2, worker, lb, postgres, valkey, s3, broker: healthy; migrate, s3-init: Exited (0)
|
||
|
||
make check PYTHON=python
|
||
make test PYTHON=python
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.cmd PYTHON=python # Linux/macOS: scripts/stop-one.sh
|
||
make restore PYTHON=python
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.cmd PYTHON=python # Linux/macOS: scripts/restart.sh
|
||
```
|
||
|
||
Свои проверки lab5: `make worker-outage`, `redelivery`, `outbox-crash`, `worker-crash`, `retry-replay`, `lease`, `concurrency`, `staging-cleanup`, `cleanup-race`, `imaging-test`, `db-test` (на Windows с `PYTHON=python`). Проверки lab2–lab4 остались: `make student-test`, `attachments`, `attachment-failover`, `failure-s3`, `s3-checks`, `failover`, `persistence`, `check-stack` и др. Все HTTP-проверки идут через балансировщик `http://127.0.0.1:8080`.
|
||
|
||
Bootstrap. Схему БД создаёт одноразовый `migrate` (миграции 001–006), bucket — одноразовый `s3-init`. Пользователя, пароль, vhost и права RabbitMQ брокер берёт из файла-секрета `secrets/rabbitmq_credentials.conf` при первом запуске с пустым volume; exchange и очереди объявляют relay и worker при подключении (повторное объявление с теми же параметрами ничего не меняет). Всё повторяемо: `docker compose run --rm migrate`, `make s3-bootstrap`. Действие оператора одно: один раз создать секреты.
|
||
|
||
Остановить worker для демонстрации: `make worker-stop`, запустить: `make worker-start`. Команды оператора: `make jobs` (сколько заданий в каждом состоянии), `make failed` (реестр failed), `make job ID=<attachment_id>` (задание, журнал, outbox, варианты), `make replay ID=<attachment_id>`, `make queues` (очереди брокера и DLQ), `make cleanup ARGS=--dry-run` (или `ARGS="--attachment <id>"` — только одно вложение).
|
||
|
||
Безопасная остановка: `make down` (volumes `pgdata`, `s3data`, `rabbitmqdata` остаются). Намеренное удаление учебных данных: `docker compose down -v`, затем `rm -rf secrets` и снова `sh scripts/init-secrets.sh` (пароль RabbitMQ задаётся только при первом запуске, поэтому секреты и volume удаляются вместе).
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
клиент --> lb: HAProxy, 127.0.0.1:8080 (единственная точка входа)
|
||
+--> api-1 --+--> postgres: пользователи, чаты, сообщения, сессии, вложения, ЗАДАНИЯ и OUTBOX (pgdata)
|
||
+--> api-2 --+--> valkey: общий кэш сессий
|
||
(relay) +--> s3 SeaweedFS: staging/<id> (принятый оригинал), originals/<id>, variants/<id>/v1/... (s3data)
|
||
+--> broker RabbitMQ: очередь attachments.process и DLQ attachments.dead (rabbitmqdata)
|
||
worker (отдельный процесс) <-- broker; читает staging, пишет originals и variants в s3, результат в postgres
|
||
migrate, s3-init — одноразовые; сети: edge (lb <-> api), backend internal (всё остальное); наружу только lb
|
||
```
|
||
|
||
| Роль | Сервис | Версия | Health / готовность | Volume | Сеть / порт | Credentials |
|
||
| --- | --- | --- | --- | --- | --- | --- |
|
||
| Балансировщик | `lb` | haproxy:3.2.25-alpine | `/lb-health` | нет | edge; 127.0.0.1:8080, :8081, :8404 | не нужны |
|
||
| API ×2 (+ relay outbox) | `api` | образ из Dockerfile | `/health/ready`: PostgreSQL и S3 | нет | edge + backend, портов нет | `database_url`, `cache_url`, `s3_access_key_id`, `s3_secret_access_key`, `broker_url` |
|
||
| Worker | `worker` | тот же образ, `python -m messenger.worker` | файл `/tmp/worker.alive` моложе 30 с | нет | backend, портов нет | `database_url`, ключи S3 API, `broker_url` |
|
||
| Брокер | `broker` | rabbitmq:4.2.9-alpine (без веб-консоли) | `rabbitmq-diagnostics ping` | `rabbitmqdata` | backend, 5672 | `rabbitmq_credentials.conf` (секрет-файл в conf.d) |
|
||
| Миграции | `migrate` | тот же образ | код выхода 0 | нет | backend | только `database_url` |
|
||
| База | `postgres` | postgres:17.10-bookworm | `pg_isready` | `pgdata` | backend, 5432 | `POSTGRES_PASSWORD_FILE` |
|
||
| Кэш сессий | `valkey` | valkey/valkey:8.1.9 | `valkey-cli ping` | нет | backend, 6379 | ACL-файл |
|
||
| S3 | `s3` | chrislusf/seaweedfs:4.44 | `/healthz` на :9000 | `s3data` | backend, 9000 | `s3_config.json` |
|
||
| Bootstrap S3 | `s3-init` | тот же образ | код выхода 0 | нет | backend | только ключи администратора S3 |
|
||
|
||
Источник истины: метаданные, состояние заданий и outbox — PostgreSQL, байты — bucket, брокер только доставляет «напоминание» обработать задание. Решение «что делать с сообщением» всегда принимается по строке задания в БД.
|
||
|
||
Приём (`src/messenger/attachments.py`) и что сохранено в момент 202:
|
||
1. Проверки как в lab4: токен, участник чата, `filename`, `Content-Type`, размер до и во время чтения, тип по первым байтам, пиксели по заголовку до распаковки.
|
||
2. Структура файла без декодирования пикселей (`images.py`): у PNG — блоки, CRC, палитра, tRNS, ничего после IEND, распаковка IDAT порциями по 1 МиБ с подсчётом байт и проверкой типа фильтра строк. У JPEG — всё, что строгий декодер worker (libjpeg-turbo) проверяет по маркерам и заголовкам: известные маркеры и длины сегментов, кадр SOF, таблицы DQT/DHT (коды Хаффмана помещаются в свою длину), каждый компонент скана SOS есть в SOF и не повторяется, параметры сканов, порядок и число маркеров RST, версия JFIF, код Adobe, схема субдискретизации, которую понимает декодер, EOI. Заведомо битые — 415. В worker остаются только ошибки внутри сжатых данных скана: их не найти без декодирования каждого блока (failed, `invalid_image`).
|
||
3. PUT оригинала в `staging/<id>` (ключ назначает сервер).
|
||
4. Одна транзакция: вложение `queued` + задание `attempt=1` + строка outbox (тело сообщения) + запись в журнал. После COMMIT — 202 `queued`. Сам ответ не ждёт брокера. Шаги 3–4 идут под advisory-блокировкой ID вложения: пока загрузка не закоммичена, уборщик её staging не трогает.
|
||
|
||
Outbox (`relay.py`, поток в каждой реплике API). Relay берёт неотправленные строки с `FOR UPDATE SKIP LOCKED` (реплики не мешают друг другу), публикует в брокер с publisher confirm и только потом ставит `published_at`. Если API упал после COMMIT, строку отправит relay другой реплики или этой после перезапуска. Если relay упал после подтверждения брокера, строка уйдёт ещё раз (дубль, это нормально при at-least-once). Брокер недоступен — загрузки по-прежнему 202, строки ждут в PostgreSQL. Поэтому брокер не входит в readiness, а S3 входит: без S3 не принять файл в staging.
|
||
|
||
Брокер. Quorum queue `attachments.process` на диске (`rabbitmqdata`, постоянный hostname — данные лежат в каталоге имени узла), сообщения persistent, publisher confirms, ручной ack. `x-delivery-limit=10` и DLX: сообщение, которое раз за разом не доходит до ack, уходит в DLQ `attachments.dead`. Права пользователя RabbitMQ — только на `attachments*`. `consumer_timeout` 5 мин, heartbeat 10 с (зависший процесс теряет соединение примерно за 20 с, и выданные ему сообщения возвращаются в очередь). Сообщение по `contracts/jobs.schema.json`: только `schema_version`, `job_id`, `type`, `attachment_id`, `pipeline_version`, `attempt`, `created_at`, без байтов, ключей S3, URL и паролей. `created_at` — время постановки этой попытки.
|
||
|
||
Worker (`worker.py`). Проверяет сообщение по схеме (не по схеме — reject в DLQ). Решает по строке задания: ready/failed — ack без работы, старая попытка — ack без работы, чужой действующий lease — ack без работы, queued — берёт под lease. Скачивает staging и сверяет размер и SHA-256 с БД. Обрабатывает в дочернем процессе (`sandbox.py`) с лимитами. Пишет `originals/<id>` и варианты в ключи `variants/<id>/v1/<имя>`, коммитит результат с проверкой жетона lease и только потом ack. После COMMIT удаляет staging.
|
||
|
||
Состояния (наружу как есть): `queued` → `processing` (lease) → `ready` / `failed`; временная ошибка или истёкший lease → снова `queued` со следующей попыткой; `failed` → `queued` только по replay оператора. Ключ эффекта `(attachment_id, pipeline_version, variant)` — первичный ключ `attachment_variants` и он же ключ объекта в S3: повтор не создаёт второй набор. Ready не откатывается назад: все переходы обновляют вложение только из `queued`/`processing`.
|
||
|
||
Повторы и ошибки. Постоянные (`invalid_image`, `image_too_large`, `source_missing`, `source_corrupted`) — failed сразу, сообщение в DLQ. Временные (`storage_unavailable`, `processing_timeout`, `worker_crashed`, `lease_expired`, `processing_failed`) — следующая попытка через backoff с jitter: пауза случайная в [d/2, d], d = min(60 с, 2 с · 2^(n−1)). Всего попыток `JOB_MAX_ATTEMPTS=5`, потом failed с `retry_exhausted` и DLQ. Реестр failed — таблица `attachment_jobs` (`make failed`), журнал — `job_events`. Replay (`make replay ID=...`) переводит только failed в queued с новой попыткой и записью в журнале (кто и что было). Для ready или ещё идущего задания он ничего не делает. Если staging уже удалён (прошло `STAGING_RETENTION_SECONDS`), replay отказывает (`source_missing`, тоже с записью в журнале). Всё это одна транзакция под блокировкой строк задания и вложения — тех же, что берёт уборщик.
|
||
|
||
Lease (`jobs.py`). Захват — жетон и срок `JOB_LEASE_SECONDS=30`. Пока worker жив, он продлевает аренду каждые 10 с, поэтому долгая задача не теряет её. Зависший или мёртвый worker не продлевает, и через 30 с фоновая проверка (`reap`, раз в 5 с) засчитывает попытку как неудачную и назначает следующую. Результат принимается, только если жетон совпадает (fencing): опоздавший worker ничего не перезапишет, а обнаружив потерю lease, бросает работу. Если lease держит прежний запуск того же контейнера (Docker его перезапустил), попытка засчитывается сразу, без ожидания 30 с. Попытка не дольше `JOB_TIMEOUT_SECONDS=60`: дочерний процесс убивается.
|
||
|
||
Варианты (`imaging.py`). thumbnail — JPEG, вписан в 256×256, без увеличения, размеры вниз, минимум 1 px (320×200 → 256×160). crop — JPEG 128×128, центральный квадрат, маленькие увеличиваются. optimized — WebP, вписан в 1280×1280, без увеличения. Ориентация EXIF применяется. В JPEG прозрачность накладывается на белый фон, WebP её сохраняет. Качество: JPEG `quality=85, optimize=True`, WebP `quality=80, method=4` (с потерями). EXIF, XMP и ICC-профиль в варианты не переносятся (место съёмки и камера не утекают; цвета wide-gamut фото могут немного отличаться). Повтор даёт те же байты. JPEG декодируется в уменьшенном масштабе (draft), 16-битные PNG переводятся в 8 бит.
|
||
|
||
Лимиты worker. Байты: объект из staging не больше 10 MiB и совпадает с размером и SHA-256 в БД. Пиксели: не больше 40 млн, проверяются до декодирования. Сжатые данные JPEG проверяются строго (libjpeg-turbo, предупреждение = ошибка): Pillow битый скан молча «дорисовывает» серым. Память: дочерний процесс с `RLIMIT_AS = WORKER_MEMORY_LIMIT_MB = 640` МиБ (нехватка → `image_too_large`), контейнер — 1 ГиБ. Время: `JOB_TIMEOUT_SECONDS=60`, потом SIGKILL. Параллельно `WORKER_CONCURRENCY=2` задания, prefetch брокера тоже 2.
|
||
|
||
Уборка (`cleanup.py`, поток worker раз в 5 мин и `make cleanup`). Нужные объекты: оригиналы и варианты ready, ВСЕ объекты вложений в работе (queued, processing: worker может прямо сейчас писать оригинал и варианты), все объекты failed-вложения моложе 24 ч (replay запишет их заново в те же ключи), staging загрузки, которая ещё не закоммичена. Остальное удаляется, только если старше grace 15 мин: staging готового (если worker не успел удалить), объекты failed после retention, объекты без строки в БД. Есть dry-run и уборка одного вложения (`--attachment`). Как уборщик не удаляет текущую работу (замечание к MR): список объектов и снимок ссылок только отбирают кандидатов, а решение по каждому вложению принимается заново под блокировками (`store.cleanup_attachment`): advisory-блокировка ID вложения без ожидания (её держит идущая загрузка — тогда вложение пропускается), затем строки задания и вложения (`FOR NO KEY UPDATE`, тот же порядок, что у worker и replay). У failed-вложения после retention в той же транзакции помечается, что исходника нет (`staging_key = NULL`, запись `staging_expired` в журнале): replay, который ждал блокировку или пришёл позже, безопасно отказывает. Из S3 объекты удаляются уже после COMMIT и только те, что больше никогда не понадобятся, поэтому медленный S3 не держит блокировки, а оборванная сессия БД не открывает окно для гонки.
|
||
|
||
Что перенесено из lab4: весь код, миграции 001–005, свои тесты, Dockerfile, конфиги HAProxy/Valkey, SeaweedFS и `s3-init`, скрипты. Что изменено: сервисы `broker` и `worker`, volume `rabbitmqdata`, секреты RabbitMQ, миграция 006 (задания, outbox, варианты, журнал), модули `broker.py`, `relay.py`, `jobs.py`, `worker.py`, `sandbox.py`, `imaging.py`, `faults.py`; загрузка 201 → 202; `images.py` — вместо полного декодирования проверка структуры (PNG по спецификации, JPEG по правилам строгого декодера); `/health/ready` проверяет и S3; уборщик переехал в worker и знает про staging и варианты; hook перезапуска перезапускает ещё брокер и worker.
|
||
|
||
Исправления по замечаниям к MR:
|
||
1. Структурно повреждённый JPEG (SOS ссылается на компонент 250, которого нет в SOF) принимался с 202 и только потом становился failed. Причина: у скана проверялась длина, но не связь с кадром. Теперь `images.py` повторяет все проверки заголовков строгого декодера worker (список — в п. 2 «Приёма»), такой файл получает 415. Совпадение с декодером проверено в образе: 800 случайных повреждений заголовков и 8208 комбинаций субдискретизации без расхождений (`make imaging-test`).
|
||
2. Уборщик мог удалить staging уже принятого replay: удалял по снимку ссылок без согласования с изменением состояния. Теперь решение принимается под блокировками по текущему состоянию, replay — одна транзакция под теми же блокировками, а staging сначала помечается удалённым в БД (подробно — в абзаце «Уборка»). Тем же механизмом закрыты ещё два окна, которые видны при grace = 0: загрузка между PUT в staging и COMMIT и объекты worker до COMMIT результата. Проверки: `make db-test` (барьеры в настоящей PostgreSQL) и `make cleanup-race` (то же на стенде с точками-паузами).
|
||
|
||
Переменные (новые; остальные как в lab4, см. `.env.example`):
|
||
|
||
| Переменная | Что делает |
|
||
| --- | --- |
|
||
| BROKER_URL_FILE | адрес RabbitMQ с паролем (`/run/secrets/broker_url`) |
|
||
| WORKER_CONCURRENCY | заданий одновременно и prefetch брокера (2) |
|
||
| JOB_MAX_ATTEMPTS | всего попыток, потом failed / retry_exhausted (5) |
|
||
| JOB_TIMEOUT_SECONDS | лимит времени одной попытки (60 с) |
|
||
| STAGING_RETENTION_SECONDS | сколько хранится staging failed-вложения для replay (86400 с) |
|
||
| WORKER_REPLICAS, WORKER_MEMORY_LIMIT_MB | число контейнеров worker (1), лимит памяти попытки (640 МиБ) |
|
||
| RETRY_BASE_SECONDS, RETRY_MAX_SECONDS | backoff: 2 с, удвоение, не больше 60 с, jitter [d/2, d] |
|
||
| JOB_LEASE_SECONDS, JOB_HEARTBEAT_SECONDS, REAPER_INTERVAL_SECONDS | lease 30 с, продление каждые 10 с, поиск истёкших раз в 5 с |
|
||
| QUEUED_REPUBLISH_SECONDS | страховка: queued без движения 10 мин — отправить сообщение ещё раз |
|
||
| RELAY_POLL_SECONDS, RELAY_BATCH_SIZE | опрос outbox раз в 1 с (плюс сигнал сразу после загрузки), пачка 50 |
|
||
| JPEG_QUALITY, WEBP_QUALITY, WEBP_METHOD | 85, 80, 4 |
|
||
| IMAGE_CHECK_CONCURRENCY, IMAGE_CHECK_WAIT_SECONDS | проверок структуры одновременно на реплику (2), ожидание очереди (10 с) |
|
||
| S3_HEALTH_INTERVAL_SECONDS, S3_HEALTH_MAX_AGE_SECONDS | фоновая проверка S3 для readiness раз в 1 с, не старше 3 с |
|
||
| OUTBOX_RETENTION_SECONDS | отправленные строки outbox хранятся неделю |
|
||
| FAULTS_ENABLED | точки отказа для тестов (только учебный стенд, включаются файлами в `/tmp/faults` контейнера) |
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | make test | PASS: lab5 public API scenario (202, ready, оригинал и JPEG thumbnail 256×160) | evidence/test.txt |
|
||
| Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt |
|
||
| 3: минимум lab4 сохранён, upload 201 → 202 | make student-test; make failover; make persistence | все тесты OK; публичный failover PASS для каждой реплики; persistence PASS (данные, токен и файл после перезапуска всего стенда) | evidence/student-test.txt, failover.txt, persistence.txt |
|
||
| 3: 202 только после устойчивого приёма; остановка API после ответа не теряет работу | make attachment-failover; make outbox-crash (A) | реплику, ответившую 202, сразу остановили — вложение всё равно ready, другая реплика отдаёт тот же SHA-256; API упал после COMMIT до ответа — задание всё равно выполнено | evidence/attachment-failover.txt, outbox-crash.txt |
|
||
| 3: отдельные broker и worker в общем Compose | compose.yaml; make check-stack | `broker` (rabbitmq:4.2.9-alpine, volume, без портов и консоли) и `worker` (отдельный процесс, без портов) | evidence/stack.txt |
|
||
| 3: сообщения durable, at least once, ack только после устойчивого эффекта | make worker-outage; make worker-crash; make redelivery | сообщение пережило перезапуск брокера (строка outbox отправлена один раз); падение до ack — повторная доставка; ack после COMMIT | evidence/worker-outage.txt, worker-crash.txt, redelivery.txt |
|
||
| 3: недоступность worker не заставляет API делать resize | make worker-outage | worker остановлен: 202, вложение остаётся queued, /content — 409, текстовые сообщения работают | evidence/worker-outage.txt |
|
||
| 3: состояния queued/processing/ready/failed в API | make attachments; make lease; make retry-replay | queued в ответе 202, processing во время обработки, ready с вариантами, failed с error_code | evidence/student-test.txt, lease.txt, retry-replay.txt |
|
||
| 3: оригинал неизменен, thumbnail по контракту | make test; make attachments; make imaging-test | SHA-256 оригинала совпадает; thumbnail JPEG 256×160 (по заголовку JPEG), маленькие не увеличиваются | evidence/test.txt, student-test.txt, imaging-test.txt |
|
||
| 3: ограниченный retry (5), финальное failed с безопасным error_code | make retry-replay (B) | 5 попыток → failed, error_code=retry_exhausted, без stack trace | evidence/retry-replay.txt |
|
||
| 3: повтор одной job не создаёт второго набора вариантов | make redelivery; make outbox-crash (C) | дубли → duplicate_ignored, 3 строки и 3 объекта вариантов, SHA-256 те же | evidence/redelivery.txt, outbox-crash.txt |
|
||
| 3: демонстрация worker остановлен → … → ready; задание переживает рестарт брокера | make worker-outage | 202 → сообщение с вложением → перезапуск API и брокера → worker → ready, thumbnail доступен | evidence/worker-outage.txt |
|
||
| 4: crop 128×128 и optimized WebP, параметры качества и удаления метаданных | make attachments; make imaging-test | crop JPEG 128×128, optimized WebP ≤1280; ориентация EXIF, белый фон под прозрачностью; в вариантах нет EXIF/XMP/ICC | evidence/student-test.txt, imaging-test.txt |
|
||
| 4: лимиты по байтам, пикселям, времени и памяти worker | make imaging-test; make attachments | 36 Мп RGBA в лимите 640 МиБ — ok, в лимите 200 МиБ — image_too_large; таймаут — процесс убит; лимит пикселей до декодирования; битый скан JPEG — invalid_image; ровно 10 MiB и 40 млн px — ready, на 1 больше — 413 | evidence/imaging-test.txt, student-test.txt |
|
||
| Контракт: заведомо повреждённые JPEG — 415 (замечание к MR 1) | make student-test; make imaging-test | пример из замечания (байт i+5 первого SOS = 250) и ещё 26 повреждений заголовков — 415; корректные progressive и с маркерами RST — ready; проверка API совпадает со строгим декодером на 800 случайных повреждениях и 8208 схемах субдискретизации | evidence/student-test.txt, imaging-test.txt |
|
||
| 4: transactional outbox, crash между COMMIT и publish, ready без ручного задания | make outbox-crash; make db-test | A: API упал после COMMIT; B: relay упал до publish; C: relay упал после publish — во всех ready, одна попытка, один набор вариантов; D: брокер остановлен — 202, строка ждёт, потом ready | evidence/outbox-crash.txt, db-test.txt |
|
||
| 4: backoff с jitter, постоянные и временные ошибки | make retry-replay; make db-test | паузы в [d/2, d] при d = 2, 4, 8, 16 с; битый JPEG — invalid_image сразу, попытка 1 | evidence/retry-replay.txt, db-test.txt |
|
||
| 4: DLQ / реестр failed и безопасный явный replay | make retry-replay | failed → DLQ +1 и `jobs failed`; replay failed → ready с записью в журнале; replay ready — noop, нового сообщения нет | evidence/retry-replay.txt |
|
||
| 4: остановка worker после записи объекта до ack, повтор — тот же результат | make worker-crash (A, B) | A: те же ключи и те же SHA-256, ready на попытке 2; B: после COMMIT до ack — повторная доставка без обработки | evidence/worker-crash.txt |
|
||
| 4: timeout/lease для зависшего processing | make lease | долгая задача продлевает lease; замороженный worker теряет его, задание забирает второй worker, проснувшийся ничего не перезаписывает | evidence/lease.txt |
|
||
| 4: ограниченная конкуренция и prefetch | make concurrency | одновременно не больше 2 заданий в processing и 2 сообщений без ack, остальные ждут в очереди | evidence/concurrency.txt |
|
||
| 4: очистка staging после безопасной фиксации | make staging-cleanup | staging удаляется сразу после COMMIT; остатки и «сироты» — после grace; staging failed хранится до retention; dry-run и повтор безопасны | evidence/staging-cleanup.txt |
|
||
| Уборка не удаляет текущую работу (замечание к MR 2) | make cleanup-race; make db-test | grace 0: снимок → replay → уборщик: staging не удалён, потом ready (было failed/source_missing); уборщик уже пометил staging удалённым и держит блокировку → replay ждёт её и отказывает source_missing, задание failed; загрузка до COMMIT — пропущена (занято); объекты worker до COMMIT — не удалены | evidence/cleanup-race.txt, db-test.txt |
|
||
| Свойства lab4: S3 приватный, права, bootstrap; S3 недоступен | make s3-checks; make failure-s3 | анонимно 403, ключ API не может создать, удалить или открыть bucket; в сообщении брокера только ID; S3 остановлен — реплики не готовы, балансировщик отвечает 503, после запуска файл цел | evidence/s3-checks.txt, failure-s3.txt |
|
||
| Выбранный трек 5 | — | не выбран | — |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
Ноутбук: AMD Ryzen 7 4700U, 7,4 ГБ памяти, Windows 11, Docker Desktop (WSL 2). Лимиты: api — 1 CPU и 512 МиБ на реплику, worker — 1 CPU и 1 ГиБ, broker — 1 CPU и 512 МиБ. Данные синтетические, их создают сами тесты. Клиент и стенд на одной машине.
|
||
|
||
Память и время одной обработки (замер вне стенда: Linux, те же Pillow 13.0.0 и simplejpeg 1.9.0; пик VmPeak дочернего процесса, вместе с ~130 МиБ базовых библиотек). Гипотеза: самая тяжёлая допустимая картинка — PNG RGBA 40 Мп (160 МиБ пикселей), и она укладывается в лимит 640 МиБ. Методика: `python -m messenger.imaging` на сгенерированных файлах, VmPeak и VmHWM из `/proc/self/status`.
|
||
|
||
| Файл | Время | Пик адресного пространства | Пик RSS |
|
||
| --- | --- | --- | --- |
|
||
| fixture 320×200 PNG | 0,05 с | 139 МиБ | 38 МиБ |
|
||
| PNG RGB 6400×6250 (40 Мп) | 1,0 с | 327 МиБ | 226 МиБ |
|
||
| PNG RGBA 6400×6250 (40 Мп) | 1,1 с | 479 МиБ | 379 МиБ |
|
||
| PNG 16 бит, серый, 40 Мп | 0,7 с | 328 МиБ | 228 МиБ |
|
||
| JPEG 6400×6250 | 0,3 с | 244 МиБ | 149 МиБ |
|
||
| JPEG 4000×3000 с шумом, 9,3 МБ | 0,5 с | 180 МиБ | 81 МиБ |
|
||
|
||
Вывод: худший случай (RGBA 40 Мп) — 479 МиБ, лимит 640 МиБ с запасом. Две такие задачи одновременно (~760 МиБ RSS) помещаются в 1 ГиБ контейнера. Сначала было 633 МиБ: каждый из трёх вариантов делался из полноразмерной картинки. Теперь полноразмерная используется для одного уменьшения (в optimized), а thumbnail и crop делаются из optimized. Проверка структуры в API на тех же файлах занимает 0,03–0,3 с (картинка 1×40 000 000 — 0,9 с) без пиксельного буфера. На стенде лимиты подтверждает `make imaging-test`.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| `docker compose stop worker`, upload | 202, queued, API работает | 202, queued, /content 409, текст 201 | после `start worker` ready за 3,8 с; потерь нет |
|
||
| Перезапуск API и брокера с volumes, worker остановлен | задание не теряется | строка outbox отправлена один раз до перезапуска, после запуска worker — ready | потерь нет |
|
||
| API падает после COMMIT, до 202 | работа принята | клиент получил 502, вложение ready (строку отправил relay другой реплики) | сразу; потерь нет |
|
||
| relay падает до / после publish | задание доходит до ready | до: строка отправлена после перезапуска; после: дубль, duplicate_ignored | секунды (перезапуск контейнера Docker); потерь нет |
|
||
| брокер остановлен | загрузки 202, задания ждут | строка outbox не отправлена, после запуска брокера — ready | ready через 11,8 с после запуска брокера |
|
||
| worker падает после записи в S3 до ack | тот же результат | попытка 2, те же ключи и SHA-256 | секунды (прежний запуск того же контейнера) |
|
||
| worker заморожен (`docker pause`) | задание переходит к другому worker | lease истёк, второй worker сделал ready, проснувшийся бросил работу | 33 с после заморозки (JOB_LEASE_SECONDS=30) |
|
||
| временная ошибка 2 раза / всегда | повтор с паузой / failed | ready на попытке 3 / failed retry_exhausted после 5 попыток | паузы 1,96 / 2,31 / 5,86 / 13,62 с (диапазоны 1–2, 2–4, 4–8, 8–16 с) |
|
||
| `docker compose stop s3` | реплики не готовы, 503 | реплики вне балансировки через 0,9 с, live 200, ready 503, балансировщик отвечает 503 | после `start s3` реплики вернулись через 18,0 с, файл цел |
|
||
| остановка одной реплики API (`make failover`) | запросы идут на другую | по 124 успешных записи, 0 ошибок | 4,5 и 4,6 с до первого успешного запроса |
|
||
| перезапуск всего стенда (`make persistence`) | данные, файл и токен сохраняются | всё на месте | 49,6 с вместе с ожиданием готовности |
|
||
| уборщик прочитал ссылки, затем replay (`make cleanup-race` A) | staging нужен текущей работе | уборщик перепроверил под блокировкой: удалено 0, staging на месте | после запуска worker — ready; потерь нет |
|
||
| уборщик решил удалить staging (пометил в БД, COMMIT ещё нет), в это время replay (B) | безопасный отказ replay | replay ждал блокировку 8,0 с (пауза уборщика в тесте), отказ source_missing, задание failed, журнал: staging_expired → replay_refused | работа не потеряна: её и не было (retention истёк) |
|
||
| уборка во время загрузки, до COMMIT (C) и во время обработки, до COMMIT (D) | ничего не удаляется | C: вложение пропущено как занятое; D: 4 объекта оставлены (processing) | загрузка — 202 → ready; обработка — ready, SHA-256 совпадают |
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- Всё на одном узле: RabbitMQ, SeaweedFS, PostgreSQL и HAProxy в одном экземпляре. Выдерживается отказ одной реплики API, остановка и падение worker, перезапуск брокера с volume. Потеря диска или всего хоста — нет.
|
||
- At-least-once, а не exactly-once: дубли бывают, и это нормально (relay упал после publish, worker упал до ack). Защита — состояние задания в БД, ключ эффекта и жетон lease.
|
||
- Readiness зависит от S3: пока S3 недоступен, не работает и текстовая часть API (как при отказе PostgreSQL). Это сознательный выбор: без S3 нельзя принять файл в staging, а это обязательный путь. Брокер и worker на readiness не влияют.
|
||
- После падения worker задание ждёт до 30 с (срок lease), если упал не прежний запуск того же контейнера, а другой worker. Меньший lease быстрее восстанавливает работу, но чаще отбирает задание у медленного worker.
|
||
- Точки отказа и точки-паузы (`faults.py`) включены только на учебном стенде (`FAULTS_ENABLED=1`) и срабатывают по файлу внутри контейнера; в рабочей среде переменной нет.
|
||
- JPEG со схемами субдискретизации, которых не понимает декодер worker (TurboJPEG): например, 4:4:1 или CMYK 4:2:2 — отклоняются 415 как неподдерживаемые, хотя формально корректны. Поддерживаются 4:4:4, 4:2:2, 4:2:0, 4:4:0, 4:1:1 и оттенки серого.
|
||
- Загрузка держит соединение с БД, пока пишет файл в staging (до 6 с, лимит операции S3). Replay ждёт блокировку вложения до 20 с (её коротко берут уборщик и worker), потом отвечает busy.
|
||
- Остатки неудачной попытки failed-вложения (оригинал и варианты в S3) лежат до конца retention (24 ч): раньше их удалять нельзя, иначе replay может потерять только что записанные объекты.
|
||
- Цветовой профиль ICC в варианты не переносится. Анимированные PNG обрабатываются по первому кадру. JPEG с данными после маркера конца принимается (так устроены многие фото с телефона), варианты из него делаются заново.
|
||
- Вложения lab4 (ready без вариантов) остаются ready, их варианты — 404. Переобработка старых вложений новой версией pipeline — это трек 2 на «5».
|
||
- Пользователь RabbitMQ один на API и worker (права только на `attachments*`). Отдельные пользователи и mTLS — lab7. |