43 KiB
Отчёт — лабораторная 5
- Автор, группа: Гаджиев Нухбала, БВТ2303
- Целевая оценка; выбранный трек 5, если нужен: 4, трек 5 не выбран
- Commit/PR: mtusi2026/mtusi2026lab5#4
- Использованные источники, библиотеки и помощь ИИ: всё из lab4 (FastAPI, uvicorn, pydantic, psycopg 3, argon2-cffi, valkey-py, boto3, Pillow 13.0.0, HAProxy 3.2, PostgreSQL 17, Valkey 8.1, SeaweedFS 4.44) и новое: RabbitMQ 4.2.9 (брокер), pika 1.4.4 (клиент RabbitMQ), simplejpeg 1.9.0 и numpy 2.3.5 (строгая проверка JPEG через libjpeg-turbo). Документация: RabbitMQ (Reliability Guide, Consumer Acknowledgements and Publisher Confirms, Quorum Queues, Dead Letter Exchanges, Configuration), pika (BlockingConnection, add_callback_threadsafe), PostgreSQL (SELECT … FOR UPDATE SKIP LOCKED), Pillow (draft, resize с reducing_gap, ImageOps.exif_transpose), спецификация PNG (блоки, фильтры строк, Adam7). ИИ использовался только как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов.
Запуск из чистого clone
Проверял на Windows 11 в Git Bash с Docker Desktop (WSL 2). Нужны Docker с Compose, Python 3 (только для тестов, стандартная библиотека) и GNU Make. Образы закреплены: python:3.12.8-slim-bookworm (основа образа API и worker), haproxy:3.2.25-alpine, postgres:17.10-bookworm, valkey/valkey:8.1.9, chrislusf/seaweedfs:4.44, rabbitmq:4.2.9-alpine. Перед запуском остановить стенд lab4 (docker compose -p mtusi-lab4 down), иначе занят порт 8080.
git clone https://gitea.privcloud.tech/ng14/mtusi2026lab5.git && cd mtusi2026lab5
git checkout solution/bvt2303-gadzhiev
cp .env.example .env
sed -i 's/\r$//' .env # только Windows: убрать \r из .env
sh scripts/init-secrets.sh # secrets/: пароли PostgreSQL, Valkey, RabbitMQ, ключи S3 (значения не выводятся)
docker compose up -d --build --wait # postgres, valkey, s3, broker -> migrate, s3-init -> api x2, worker -> lb
make ps # api x2, worker, lb, postgres, valkey, s3, broker: healthy; migrate, s3-init: Exited (0)
make check PYTHON=python
make test PYTHON=python
make test-failover ACTION_SCRIPT=scripts/stop-one.cmd PYTHON=python # Linux/macOS: scripts/stop-one.sh
make restore PYTHON=python
make test-persistence ACTION_SCRIPT=scripts/restart.cmd PYTHON=python # Linux/macOS: scripts/restart.sh
Свои проверки lab5: make worker-outage, redelivery, outbox-crash, worker-crash, retry-replay, lease, concurrency, staging-cleanup, cleanup-race, imaging-test, db-test (на Windows с PYTHON=python). Проверки lab2–lab4 остались: make student-test, attachments, attachment-failover, failure-s3, s3-checks, failover, persistence, check-stack и др. Все HTTP-проверки идут через балансировщик http://127.0.0.1:8080.
Bootstrap. Схему БД создаёт одноразовый migrate (миграции 001–006), bucket — одноразовый s3-init. Пользователя, пароль, vhost и права RabbitMQ брокер берёт из файла-секрета secrets/rabbitmq_credentials.conf при первом запуске с пустым volume; exchange и очереди объявляют relay и worker при подключении (повторное объявление с теми же параметрами ничего не меняет). Всё повторяемо: docker compose run --rm migrate, make s3-bootstrap. Действие оператора одно: один раз создать секреты.
Остановить worker для демонстрации: make worker-stop, запустить: make worker-start. Команды оператора: make jobs (сколько заданий в каждом состоянии), make failed (реестр failed), make job ID=<attachment_id> (задание, журнал, outbox, варианты), make replay ID=<attachment_id>, make queues (очереди брокера и DLQ), make cleanup ARGS=--dry-run (или ARGS="--attachment <id>" — только одно вложение).
Безопасная остановка: make down (volumes pgdata, s3data, rabbitmqdata остаются). Намеренное удаление учебных данных: docker compose down -v, затем rm -rf secrets и снова sh scripts/init-secrets.sh (пароль RabbitMQ задаётся только при первом запуске, поэтому секреты и volume удаляются вместе).
Архитектура и решения
клиент --> lb: HAProxy, 127.0.0.1:8080 (единственная точка входа)
+--> api-1 --+--> postgres: пользователи, чаты, сообщения, сессии, вложения, ЗАДАНИЯ и OUTBOX (pgdata)
+--> api-2 --+--> valkey: общий кэш сессий
(relay) +--> s3 SeaweedFS: staging/<id> (принятый оригинал), originals/<id>, variants/<id>/v1/... (s3data)
+--> broker RabbitMQ: очередь attachments.process и DLQ attachments.dead (rabbitmqdata)
worker (отдельный процесс) <-- broker; читает staging, пишет originals и variants в s3, результат в postgres
migrate, s3-init — одноразовые; сети: edge (lb <-> api), backend internal (всё остальное); наружу только lb
| Роль | Сервис | Версия | Health / готовность | Volume | Сеть / порт | Credentials |
|---|---|---|---|---|---|---|
| Балансировщик | lb |
haproxy:3.2.25-alpine | /lb-health |
нет | edge; 127.0.0.1:8080, :8081, :8404 | не нужны |
| API ×2 (+ relay outbox) | api |
образ из Dockerfile | /health/ready: PostgreSQL и S3 |
нет | edge + backend, портов нет | database_url, cache_url, s3_access_key_id, s3_secret_access_key, broker_url |
| Worker | worker |
тот же образ, python -m messenger.worker |
файл /tmp/worker.alive моложе 30 с |
нет | backend, портов нет | database_url, ключи S3 API, broker_url |
| Брокер | broker |
rabbitmq:4.2.9-alpine (без веб-консоли) | rabbitmq-diagnostics ping |
rabbitmqdata |
backend, 5672 | rabbitmq_credentials.conf (секрет-файл в conf.d) |
| Миграции | migrate |
тот же образ | код выхода 0 | нет | backend | только database_url |
| База | postgres |
postgres:17.10-bookworm | pg_isready |
pgdata |
backend, 5432 | POSTGRES_PASSWORD_FILE |
| Кэш сессий | valkey |
valkey/valkey:8.1.9 | valkey-cli ping |
нет | backend, 6379 | ACL-файл |
| S3 | s3 |
chrislusf/seaweedfs:4.44 | /healthz на :9000 |
s3data |
backend, 9000 | s3_config.json |
| Bootstrap S3 | s3-init |
тот же образ | код выхода 0 | нет | backend | только ключи администратора S3 |
Источник истины: метаданные, состояние заданий и outbox — PostgreSQL, байты — bucket, брокер только доставляет «напоминание» обработать задание. Решение «что делать с сообщением» всегда принимается по строке задания в БД.
Приём (src/messenger/attachments.py) и что сохранено в момент 202:
- Проверки как в lab4: токен, участник чата,
filename,Content-Type, размер до и во время чтения, тип по первым байтам, пиксели по заголовку до распаковки. - Структура файла без декодирования пикселей (
images.py): у PNG — блоки, CRC, палитра, tRNS, ничего после IEND, распаковка IDAT порциями по 1 МиБ с подсчётом байт и проверкой типа фильтра строк. У JPEG — всё, что строгий декодер worker (libjpeg-turbo) проверяет по маркерам и заголовкам: известные маркеры и длины сегментов, кадр SOF, таблицы DQT/DHT (коды Хаффмана помещаются в свою длину), каждый компонент скана SOS есть в SOF и не повторяется, параметры сканов, порядок и число маркеров RST, версия JFIF, код Adobe, схема субдискретизации, которую понимает декодер, EOI. Заведомо битые — 415. В worker остаются только ошибки внутри сжатых данных скана: их не найти без декодирования каждого блока (failed,invalid_image). - PUT оригинала в
staging/<id>(ключ назначает сервер). - Одна транзакция: вложение
queued+ заданиеattempt=1+ строка outbox (тело сообщения) + запись в журнал. После COMMIT — 202queued. Сам ответ не ждёт брокера. Шаги 3–4 идут под advisory-блокировкой ID вложения: пока загрузка не закоммичена, уборщик её staging не трогает.
Outbox (relay.py, поток в каждой реплике API). Relay берёт неотправленные строки с FOR UPDATE SKIP LOCKED (реплики не мешают друг другу), публикует в брокер с publisher confirm и только потом ставит published_at. Если API упал после COMMIT, строку отправит relay другой реплики или этой после перезапуска. Если relay упал после подтверждения брокера, строка уйдёт ещё раз (дубль, это нормально при at-least-once). Брокер недоступен — загрузки по-прежнему 202, строки ждут в PostgreSQL. Поэтому брокер не входит в readiness, а S3 входит: без S3 не принять файл в staging.
Брокер. Quorum queue attachments.process на диске (rabbitmqdata, постоянный hostname — данные лежат в каталоге имени узла), сообщения persistent, publisher confirms, ручной ack. x-delivery-limit=10 и DLX: сообщение, которое раз за разом не доходит до ack, уходит в DLQ attachments.dead. Права пользователя RabbitMQ — только на attachments*. consumer_timeout 5 мин, heartbeat 10 с (зависший процесс теряет соединение примерно за 20 с, и выданные ему сообщения возвращаются в очередь). Сообщение по contracts/jobs.schema.json: только schema_version, job_id, type, attachment_id, pipeline_version, attempt, created_at, без байтов, ключей S3, URL и паролей. created_at — время постановки этой попытки.
Worker (worker.py). Проверяет сообщение по схеме (не по схеме — reject в DLQ). Решает по строке задания: ready/failed — ack без работы, старая попытка — ack без работы, чужой действующий lease — ack без работы, queued — берёт под lease. Скачивает staging и сверяет размер и SHA-256 с БД. Обрабатывает в дочернем процессе (sandbox.py) с лимитами. Пишет originals/<id> и варианты в ключи variants/<id>/v1/<имя>, коммитит результат с проверкой жетона lease и только потом ack. После COMMIT удаляет staging.
Состояния (наружу как есть): queued → processing (lease) → ready / failed; временная ошибка или истёкший lease → снова queued со следующей попыткой; failed → queued только по replay оператора. Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ attachment_variants и он же ключ объекта в S3: повтор не создаёт второй набор. Ready не откатывается назад: все переходы обновляют вложение только из queued/processing.
Повторы и ошибки. Постоянные (invalid_image, image_too_large, source_missing, source_corrupted) — failed сразу, сообщение в DLQ. Временные (storage_unavailable, processing_timeout, worker_crashed, lease_expired, processing_failed) — следующая попытка через backoff с jitter: пауза случайная в [d/2, d], d = min(60 с, 2 с · 2^(n−1)). Всего попыток JOB_MAX_ATTEMPTS=5, потом failed с retry_exhausted и DLQ. Реестр failed — таблица attachment_jobs (make failed), журнал — job_events. Replay (make replay ID=...) переводит только failed в queued с новой попыткой и записью в журнале (кто и что было). Для ready или ещё идущего задания он ничего не делает. Если staging уже удалён (прошло STAGING_RETENTION_SECONDS), replay отказывает (source_missing, тоже с записью в журнале). Всё это одна транзакция под блокировкой строк задания и вложения — тех же, что берёт уборщик.
Lease (jobs.py). Захват — жетон и срок JOB_LEASE_SECONDS=30. Пока worker жив, он продлевает аренду каждые 10 с, поэтому долгая задача не теряет её. Зависший или мёртвый worker не продлевает, и через 30 с фоновая проверка (reap, раз в 5 с) засчитывает попытку как неудачную и назначает следующую. Результат принимается, только если жетон совпадает (fencing): опоздавший worker ничего не перезапишет, а обнаружив потерю lease, бросает работу. Если lease держит прежний запуск того же контейнера (Docker его перезапустил), попытка засчитывается сразу, без ожидания 30 с. Попытка не дольше JOB_TIMEOUT_SECONDS=60: дочерний процесс убивается.
Варианты (imaging.py). thumbnail — JPEG, вписан в 256×256, без увеличения, размеры вниз, минимум 1 px (320×200 → 256×160). crop — JPEG 128×128, центральный квадрат, маленькие увеличиваются. optimized — WebP, вписан в 1280×1280, без увеличения. Ориентация EXIF применяется. В JPEG прозрачность накладывается на белый фон, WebP её сохраняет. Качество: JPEG quality=85, optimize=True, WebP quality=80, method=4 (с потерями). EXIF, XMP и ICC-профиль в варианты не переносятся (место съёмки и камера не утекают; цвета wide-gamut фото могут немного отличаться). Повтор даёт те же байты. JPEG декодируется в уменьшенном масштабе (draft), 16-битные PNG переводятся в 8 бит.
Лимиты worker. Байты: объект из staging не больше 10 MiB и совпадает с размером и SHA-256 в БД. Пиксели: не больше 40 млн, проверяются до декодирования. Сжатые данные JPEG проверяются строго (libjpeg-turbo, предупреждение = ошибка): Pillow битый скан молча «дорисовывает» серым. Память: дочерний процесс с RLIMIT_AS = WORKER_MEMORY_LIMIT_MB = 640 МиБ (нехватка → image_too_large), контейнер — 1 ГиБ. Время: JOB_TIMEOUT_SECONDS=60, потом SIGKILL. Параллельно WORKER_CONCURRENCY=2 задания, prefetch брокера тоже 2.
Уборка (cleanup.py, поток worker раз в 5 мин и make cleanup). Нужные объекты: оригиналы и варианты ready, ВСЕ объекты вложений в работе (queued, processing: worker может прямо сейчас писать оригинал и варианты), все объекты failed-вложения моложе 24 ч (replay запишет их заново в те же ключи), staging загрузки, которая ещё не закоммичена. Остальное удаляется, только если старше grace 15 мин: staging готового (если worker не успел удалить), объекты failed после retention, объекты без строки в БД. Есть dry-run и уборка одного вложения (--attachment). Как уборщик не удаляет текущую работу (замечание к MR): список объектов и снимок ссылок только отбирают кандидатов, а решение по каждому вложению принимается заново под блокировками (store.cleanup_attachment): advisory-блокировка ID вложения без ожидания (её держит идущая загрузка — тогда вложение пропускается), затем строки задания и вложения (FOR NO KEY UPDATE, тот же порядок, что у worker и replay). У failed-вложения после retention в той же транзакции помечается, что исходника нет (staging_key = NULL, запись staging_expired в журнале): replay, который ждал блокировку или пришёл позже, безопасно отказывает. Из S3 объекты удаляются уже после COMMIT и только те, что больше никогда не понадобятся, поэтому медленный S3 не держит блокировки, а оборванная сессия БД не открывает окно для гонки.
Что перенесено из lab4: весь код, миграции 001–005, свои тесты, Dockerfile, конфиги HAProxy/Valkey, SeaweedFS и s3-init, скрипты. Что изменено: сервисы broker и worker, volume rabbitmqdata, секреты RabbitMQ, миграция 006 (задания, outbox, варианты, журнал), модули broker.py, relay.py, jobs.py, worker.py, sandbox.py, imaging.py, faults.py; загрузка 201 → 202; images.py — вместо полного декодирования проверка структуры (PNG по спецификации, JPEG по правилам строгого декодера); /health/ready проверяет и S3; уборщик переехал в worker и знает про staging и варианты; hook перезапуска перезапускает ещё брокер и worker.
Исправления по замечаниям к MR:
- Структурно повреждённый JPEG (SOS ссылается на компонент 250, которого нет в SOF) принимался с 202 и только потом становился failed. Причина: у скана проверялась длина, но не связь с кадром. Теперь
images.pyповторяет все проверки заголовков строгого декодера worker (список — в п. 2 «Приёма»), такой файл получает 415. Совпадение с декодером проверено в образе: 800 случайных повреждений заголовков и 8208 комбинаций субдискретизации без расхождений (make imaging-test). - Уборщик мог удалить staging уже принятого replay: удалял по снимку ссылок без согласования с изменением состояния. Теперь решение принимается под блокировками по текущему состоянию, replay — одна транзакция под теми же блокировками, а staging сначала помечается удалённым в БД (подробно — в абзаце «Уборка»). Тем же механизмом закрыты ещё два окна, которые видны при grace = 0: загрузка между PUT в staging и COMMIT и объекты worker до COMMIT результата. Проверки:
make db-test(барьеры в настоящей PostgreSQL) иmake cleanup-race(то же на стенде с точками-паузами).
Переменные (новые; остальные как в lab4, см. .env.example):
| Переменная | Что делает |
|---|---|
| BROKER_URL_FILE | адрес RabbitMQ с паролем (/run/secrets/broker_url) |
| WORKER_CONCURRENCY | заданий одновременно и prefetch брокера (2) |
| JOB_MAX_ATTEMPTS | всего попыток, потом failed / retry_exhausted (5) |
| JOB_TIMEOUT_SECONDS | лимит времени одной попытки (60 с) |
| STAGING_RETENTION_SECONDS | сколько хранится staging failed-вложения для replay (86400 с) |
| WORKER_REPLICAS, WORKER_MEMORY_LIMIT_MB | число контейнеров worker (1), лимит памяти попытки (640 МиБ) |
| RETRY_BASE_SECONDS, RETRY_MAX_SECONDS | backoff: 2 с, удвоение, не больше 60 с, jitter [d/2, d] |
| JOB_LEASE_SECONDS, JOB_HEARTBEAT_SECONDS, REAPER_INTERVAL_SECONDS | lease 30 с, продление каждые 10 с, поиск истёкших раз в 5 с |
| QUEUED_REPUBLISH_SECONDS | страховка: queued без движения 10 мин — отправить сообщение ещё раз |
| RELAY_POLL_SECONDS, RELAY_BATCH_SIZE | опрос outbox раз в 1 с (плюс сигнал сразу после загрузки), пачка 50 |
| JPEG_QUALITY, WEBP_QUALITY, WEBP_METHOD | 85, 80, 4 |
| IMAGE_CHECK_CONCURRENCY, IMAGE_CHECK_WAIT_SECONDS | проверок структуры одновременно на реплику (2), ожидание очереди (10 с) |
| S3_HEALTH_INTERVAL_SECONDS, S3_HEALTH_MAX_AGE_SECONDS | фоновая проверка S3 для readiness раз в 1 с, не старше 3 с |
| OUTBOX_RETENTION_SECONDS | отправленные строки outbox хранятся неделю |
| FAULTS_ENABLED | точки отказа для тестов (только учебный стенд, включаются файлами в /tmp/faults контейнера) |
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test | PASS: lab5 public API scenario (202, ready, оригинал и JPEG thumbnail 256×160) | evidence/test.txt |
| Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt |
| 3: минимум lab4 сохранён, upload 201 → 202 | make student-test; make failover; make persistence | все тесты OK; публичный failover PASS для каждой реплики; persistence PASS (данные, токен и файл после перезапуска всего стенда) | evidence/student-test.txt, failover.txt, persistence.txt |
| 3: 202 только после устойчивого приёма; остановка API после ответа не теряет работу | make attachment-failover; make outbox-crash (A) | реплику, ответившую 202, сразу остановили — вложение всё равно ready, другая реплика отдаёт тот же SHA-256; API упал после COMMIT до ответа — задание всё равно выполнено | evidence/attachment-failover.txt, outbox-crash.txt |
| 3: отдельные broker и worker в общем Compose | compose.yaml; make check-stack | broker (rabbitmq:4.2.9-alpine, volume, без портов и консоли) и worker (отдельный процесс, без портов) |
evidence/stack.txt |
| 3: сообщения durable, at least once, ack только после устойчивого эффекта | make worker-outage; make worker-crash; make redelivery | сообщение пережило перезапуск брокера (строка outbox отправлена один раз); падение до ack — повторная доставка; ack после COMMIT | evidence/worker-outage.txt, worker-crash.txt, redelivery.txt |
| 3: недоступность worker не заставляет API делать resize | make worker-outage | worker остановлен: 202, вложение остаётся queued, /content — 409, текстовые сообщения работают | evidence/worker-outage.txt |
| 3: состояния queued/processing/ready/failed в API | make attachments; make lease; make retry-replay | queued в ответе 202, processing во время обработки, ready с вариантами, failed с error_code | evidence/student-test.txt, lease.txt, retry-replay.txt |
| 3: оригинал неизменен, thumbnail по контракту | make test; make attachments; make imaging-test | SHA-256 оригинала совпадает; thumbnail JPEG 256×160 (по заголовку JPEG), маленькие не увеличиваются | evidence/test.txt, student-test.txt, imaging-test.txt |
| 3: ограниченный retry (5), финальное failed с безопасным error_code | make retry-replay (B) | 5 попыток → failed, error_code=retry_exhausted, без stack trace | evidence/retry-replay.txt |
| 3: повтор одной job не создаёт второго набора вариантов | make redelivery; make outbox-crash (C) | дубли → duplicate_ignored, 3 строки и 3 объекта вариантов, SHA-256 те же | evidence/redelivery.txt, outbox-crash.txt |
| 3: демонстрация worker остановлен → … → ready; задание переживает рестарт брокера | make worker-outage | 202 → сообщение с вложением → перезапуск API и брокера → worker → ready, thumbnail доступен | evidence/worker-outage.txt |
| 4: crop 128×128 и optimized WebP, параметры качества и удаления метаданных | make attachments; make imaging-test | crop JPEG 128×128, optimized WebP ≤1280; ориентация EXIF, белый фон под прозрачностью; в вариантах нет EXIF/XMP/ICC | evidence/student-test.txt, imaging-test.txt |
| 4: лимиты по байтам, пикселям, времени и памяти worker | make imaging-test; make attachments | 36 Мп RGBA в лимите 640 МиБ — ok, в лимите 200 МиБ — image_too_large; таймаут — процесс убит; лимит пикселей до декодирования; битый скан JPEG — invalid_image; ровно 10 MiB и 40 млн px — ready, на 1 больше — 413 | evidence/imaging-test.txt, student-test.txt |
| Контракт: заведомо повреждённые JPEG — 415 (замечание к MR 1) | make student-test; make imaging-test | пример из замечания (байт i+5 первого SOS = 250) и ещё 26 повреждений заголовков — 415; корректные progressive и с маркерами RST — ready; проверка API совпадает со строгим декодером на 800 случайных повреждениях и 8208 схемах субдискретизации | evidence/student-test.txt, imaging-test.txt |
| 4: transactional outbox, crash между COMMIT и publish, ready без ручного задания | make outbox-crash; make db-test | A: API упал после COMMIT; B: relay упал до publish; C: relay упал после publish — во всех ready, одна попытка, один набор вариантов; D: брокер остановлен — 202, строка ждёт, потом ready | evidence/outbox-crash.txt, db-test.txt |
| 4: backoff с jitter, постоянные и временные ошибки | make retry-replay; make db-test | паузы в [d/2, d] при d = 2, 4, 8, 16 с; битый JPEG — invalid_image сразу, попытка 1 | evidence/retry-replay.txt, db-test.txt |
| 4: DLQ / реестр failed и безопасный явный replay | make retry-replay | failed → DLQ +1 и jobs failed; replay failed → ready с записью в журнале; replay ready — noop, нового сообщения нет |
evidence/retry-replay.txt |
| 4: остановка worker после записи объекта до ack, повтор — тот же результат | make worker-crash (A, B) | A: те же ключи и те же SHA-256, ready на попытке 2; B: после COMMIT до ack — повторная доставка без обработки | evidence/worker-crash.txt |
| 4: timeout/lease для зависшего processing | make lease | долгая задача продлевает lease; замороженный worker теряет его, задание забирает второй worker, проснувшийся ничего не перезаписывает | evidence/lease.txt |
| 4: ограниченная конкуренция и prefetch | make concurrency | одновременно не больше 2 заданий в processing и 2 сообщений без ack, остальные ждут в очереди | evidence/concurrency.txt |
| 4: очистка staging после безопасной фиксации | make staging-cleanup | staging удаляется сразу после COMMIT; остатки и «сироты» — после grace; staging failed хранится до retention; dry-run и повтор безопасны | evidence/staging-cleanup.txt |
| Уборка не удаляет текущую работу (замечание к MR 2) | make cleanup-race; make db-test | grace 0: снимок → replay → уборщик: staging не удалён, потом ready (было failed/source_missing); уборщик уже пометил staging удалённым и держит блокировку → replay ждёт её и отказывает source_missing, задание failed; загрузка до COMMIT — пропущена (занято); объекты worker до COMMIT — не удалены | evidence/cleanup-race.txt, db-test.txt |
| Свойства lab4: S3 приватный, права, bootstrap; S3 недоступен | make s3-checks; make failure-s3 | анонимно 403, ключ API не может создать, удалить или открыть bucket; в сообщении брокера только ID; S3 остановлен — реплики не готовы, балансировщик отвечает 503, после запуска файл цел | evidence/s3-checks.txt, failure-s3.txt |
| Выбранный трек 5 | — | не выбран | — |
Эксперименты и отказы
Ноутбук: AMD Ryzen 7 4700U, 7,4 ГБ памяти, Windows 11, Docker Desktop (WSL 2). Лимиты: api — 1 CPU и 512 МиБ на реплику, worker — 1 CPU и 1 ГиБ, broker — 1 CPU и 512 МиБ. Данные синтетические, их создают сами тесты. Клиент и стенд на одной машине.
Память и время одной обработки (замер вне стенда: Linux, те же Pillow 13.0.0 и simplejpeg 1.9.0; пик VmPeak дочернего процесса, вместе с ~130 МиБ базовых библиотек). Гипотеза: самая тяжёлая допустимая картинка — PNG RGBA 40 Мп (160 МиБ пикселей), и она укладывается в лимит 640 МиБ. Методика: python -m messenger.imaging на сгенерированных файлах, VmPeak и VmHWM из /proc/self/status.
| Файл | Время | Пик адресного пространства | Пик RSS |
|---|---|---|---|
| fixture 320×200 PNG | 0,05 с | 139 МиБ | 38 МиБ |
| PNG RGB 6400×6250 (40 Мп) | 1,0 с | 327 МиБ | 226 МиБ |
| PNG RGBA 6400×6250 (40 Мп) | 1,1 с | 479 МиБ | 379 МиБ |
| PNG 16 бит, серый, 40 Мп | 0,7 с | 328 МиБ | 228 МиБ |
| JPEG 6400×6250 | 0,3 с | 244 МиБ | 149 МиБ |
| JPEG 4000×3000 с шумом, 9,3 МБ | 0,5 с | 180 МиБ | 81 МиБ |
Вывод: худший случай (RGBA 40 Мп) — 479 МиБ, лимит 640 МиБ с запасом. Две такие задачи одновременно (~760 МиБ RSS) помещаются в 1 ГиБ контейнера. Сначала было 633 МиБ: каждый из трёх вариантов делался из полноразмерной картинки. Теперь полноразмерная используется для одного уменьшения (в optimized), а thumbnail и crop делаются из optimized. Проверка структуры в API на тех же файлах занимает 0,03–0,3 с (картинка 1×40 000 000 — 0,9 с) без пиксельного буфера. На стенде лимиты подтверждает make imaging-test.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
docker compose stop worker, upload |
202, queued, API работает | 202, queued, /content 409, текст 201 | после start worker ready за 3,8 с; потерь нет |
| Перезапуск API и брокера с volumes, worker остановлен | задание не теряется | строка outbox отправлена один раз до перезапуска, после запуска worker — ready | потерь нет |
| API падает после COMMIT, до 202 | работа принята | клиент получил 502, вложение ready (строку отправил relay другой реплики) | сразу; потерь нет |
| relay падает до / после publish | задание доходит до ready | до: строка отправлена после перезапуска; после: дубль, duplicate_ignored | секунды (перезапуск контейнера Docker); потерь нет |
| брокер остановлен | загрузки 202, задания ждут | строка outbox не отправлена, после запуска брокера — ready | ready через 11,8 с после запуска брокера |
| worker падает после записи в S3 до ack | тот же результат | попытка 2, те же ключи и SHA-256 | секунды (прежний запуск того же контейнера) |
worker заморожен (docker pause) |
задание переходит к другому worker | lease истёк, второй worker сделал ready, проснувшийся бросил работу | 33 с после заморозки (JOB_LEASE_SECONDS=30) |
| временная ошибка 2 раза / всегда | повтор с паузой / failed | ready на попытке 3 / failed retry_exhausted после 5 попыток | паузы 1,96 / 2,31 / 5,86 / 13,62 с (диапазоны 1–2, 2–4, 4–8, 8–16 с) |
docker compose stop s3 |
реплики не готовы, 503 | реплики вне балансировки через 0,9 с, live 200, ready 503, балансировщик отвечает 503 | после start s3 реплики вернулись через 18,0 с, файл цел |
остановка одной реплики API (make failover) |
запросы идут на другую | по 124 успешных записи, 0 ошибок | 4,5 и 4,6 с до первого успешного запроса |
перезапуск всего стенда (make persistence) |
данные, файл и токен сохраняются | всё на месте | 49,6 с вместе с ожиданием готовности |
уборщик прочитал ссылки, затем replay (make cleanup-race A) |
staging нужен текущей работе | уборщик перепроверил под блокировкой: удалено 0, staging на месте | после запуска worker — ready; потерь нет |
| уборщик решил удалить staging (пометил в БД, COMMIT ещё нет), в это время replay (B) | безопасный отказ replay | replay ждал блокировку 8,0 с (пауза уборщика в тесте), отказ source_missing, задание failed, журнал: staging_expired → replay_refused | работа не потеряна: её и не было (retention истёк) |
| уборка во время загрузки, до COMMIT (C) и во время обработки, до COMMIT (D) | ничего не удаляется | C: вложение пропущено как занятое; D: 4 объекта оставлены (processing) | загрузка — 202 → ready; обработка — ready, SHA-256 совпадают |
Ограничения и следующие шаги
- Всё на одном узле: RabbitMQ, SeaweedFS, PostgreSQL и HAProxy в одном экземпляре. Выдерживается отказ одной реплики API, остановка и падение worker, перезапуск брокера с volume. Потеря диска или всего хоста — нет.
- At-least-once, а не exactly-once: дубли бывают, и это нормально (relay упал после publish, worker упал до ack). Защита — состояние задания в БД, ключ эффекта и жетон lease.
- Readiness зависит от S3: пока S3 недоступен, не работает и текстовая часть API (как при отказе PostgreSQL). Это сознательный выбор: без S3 нельзя принять файл в staging, а это обязательный путь. Брокер и worker на readiness не влияют.
- После падения worker задание ждёт до 30 с (срок lease), если упал не прежний запуск того же контейнера, а другой worker. Меньший lease быстрее восстанавливает работу, но чаще отбирает задание у медленного worker.
- Точки отказа и точки-паузы (
faults.py) включены только на учебном стенде (FAULTS_ENABLED=1) и срабатывают по файлу внутри контейнера; в рабочей среде переменной нет. - JPEG со схемами субдискретизации, которых не понимает декодер worker (TurboJPEG): например, 4:4:1 или CMYK 4:2:2 — отклоняются 415 как неподдерживаемые, хотя формально корректны. Поддерживаются 4:4:4, 4:2:2, 4:2:0, 4:4:0, 4:1:1 и оттенки серого.
- Загрузка держит соединение с БД, пока пишет файл в staging (до 6 с, лимит операции S3). Replay ждёт блокировку вложения до 20 с (её коротко берут уборщик и worker), потом отвечает busy.
- Остатки неудачной попытки failed-вложения (оригинал и варианты в S3) лежат до конца retention (24 ч): раньше их удалять нельзя, иначе replay может потерять только что записанные объекты.
- Цветовой профиль ICC в варианты не переносится. Анимированные PNG обрабатываются по первому кадру. JPEG с данными после маркера конца принимается (так устроены многие фото с телефона), варианты из него делаются заново.
- Вложения lab4 (ready без вариантов) остаются ready, их варианты — 404. Переобработка старых вложений новой версией pipeline — это трек 2 на «5».
- Пользователь RabbitMQ один на API и worker (права только на
attachments*). Отдельные пользователи и mTLS — lab7.