Files
mtusi2026lab5/REPORT.md
T

24 KiB
Raw Blame History

ЛР 5. Асинхронная обработка вложений

Целевая оценка — 5, трек 2. Проверяем гипотезу, что после успешного HTTP-приёма рестарты и повторные доставки сохраняют задание, а устаревшая попытка не может заменить опубликованную версию.

База переноса — ЛР 4, коммит 80c4a56200e3. Измерения выполнены на рабочем дереве ЛР 5 от шаблона 276dbdad8a34. Имя автора, номер итогового коммита и ссылку на PR добавляет автор при публикации.

Запуск из чистого клона

Понадобятся Docker Desktop с Compose v2, Git Bash, Make и Python 3.9+. Для локальных Go-тестов нужны Go 1.27.1, C-компилятор для race detector и работающий Docker. Команды ниже для Git Bash. Переменные портов позволяют одновременно держать стенд четвёртой работы.

export PYTHONUTF8=1
export PUBLISH=127.0.0.1:18085 STATS_PUBLISH=127.0.0.1:18405 BASE_URL=http://localhost:18085
cp .env.example .env
make secrets
make up
make check test PYTHON=python
make unit GOFLAGS=-p=2
make vet

make secrets создаёт отдельные секреты PostgreSQL, Valkey, RabbitMQ и S3. Храните их вместе с томами стенда. Compose запускает миграции и инициализацию приватного бакета перед API и worker. make down останавливает проект с сохранением данных. Команда make destroy удаляет тома проекта, включая историю, задания, очередь и изображения.

Как проходит запрос

API проверяет членство в чате, потоково сохраняет исходник в SeaweedFS под ключом staging/<attachment_id>, считает SHA-256 и проверяет изображение. Перед полным декодированием применяются лимиты 10 MiB и 40 млн пикселей. На каждой API-реплике одновременно работает один декодер. Как в ЛР 4, upload требует положительный Content-Length. В Postman режим binary отправляет длину файла. Потоковая загрузка chunked без объявленной длины получает 400. Одна транзакция создаёт строку общего файла при её отсутствии, вложение и задание первой версии. После COMMIT API возвращает снимок 202 queued. Клиент уже может прикрепить вложение к сообщению. Скачивание до первой публикации даёт 409.

Строка attachment_jobs одновременно хранит попытку обработки и намерение отправки в RabbitMQ. Каждая API-реплика выбирает одну созревшую строку с FOR UPDATE SKIP LOCKED, отправляет persistent-сообщение с обязательной маршрутизацией и ждёт publisher confirm. Только затем помечает попытку отправленной. При падении до фиксации та же логическая работа может попасть в очередь повторно. Тайм-аут штатного ожидания confirm — 5 с. В сообщение входят служебные поля схемы jobs, включая стабильный job_id. Worker берёт ключ источника, размер и SHA-256 из PostgreSQL.

Worker проверяет актуальность сообщения и получает ограниченное по времени право обработки — lease с уникальным токеном. После чтения он сверяет размер и хэш оригинала. Результаты хранятся в SeaweedFS. Общий оригинал имеет ключ по хэшу, ключ варианта содержит ID вложения, версию, имя и хэш выходных байтов. Одна транзакция проверяет целевую версию и токен, фиксирует сразу три варианта и переключает опубликованную версию. Только после устойчивого эффекта consumer отправляет ack.

При повторной обработке пользователь продолжает читать прежнюю публикацию вплоть до переключения. Внутреннее состояние операции v2 и публичная доступность v1 различаются. Одна версия алгоритма обрабатывает одно логическое вложение. Два чата с одинаковой картинкой разделяют физический оригинал, у каждого вложения свои права доступа, задания и версии.

Миграция 00004 сохраняет UUID вложений ЛР 4 и ссылки сообщений. Для прежних готовых оригиналов создаёт задания v1 с источником в blobs. Утраченный ранее оригинал остаётся доступен для диагностики с кодом source_missing. Таблица attachment_variants нужна для атомарной публикации MIME, размеров и SHA-256 каждого из трёх результатов. Таблица attachment_replays хранит, кто явно запустил новую попытку и после какой ошибки. Без этой записи операторское действие было бы неотличимо от автоматического retry. Реестр неудач читается непосредственно из attachment_jobs.

Изображения и лимиты worker

Оба профиля создают JPEG-миниатюру до 256×256 без увеличения и центральный JPEG-crop 128×128. У JPEG качество 85, прозрачность компонуется на белом. Для WebP изображение вписывается в 1280×1280 с сохранением пропорций. У v1 качество 80, у v2 — 64. Применяется EXIF orientation, выходные файлы сохраняются без исходных метаданных. Оригинал выдаётся без изменений.

Worker запускает кодек дочерним процессом с общим дедлайном 45 с или более ранним дедлайном задания. У ImageMagick ограничены потоки, память и дисковый кэш. Для допустимого PNG шириной 40 млн пикселей рабочая строка обычного декодера превышала лимит контейнера. Такой PNG обрабатывает отдельный Go-процесс, который уменьшает изображение и сохраняет центральный фрагмент перед кодированием. На время этой работы резервируются оба слота. На трёх реальных файлах по 40 млн пикселей получены все варианты в контейнере с лимитом 2 GiB. Методика, размеры и измерения

Повторы и эксплуатация

Значения по умолчанию — 2 потребителя с prefetch 1 каждый, бюджет обработки 60 с, lease на 5 с дольше, до 5 попыток. Для временной ошибки рассчитывается задержка с экспоненциальным ростом, верхней границей в минуту и jitter. Отказ БД до выдачи lease может вызвать повторную доставку без запуска обработки. По этой причине транспортный лимит доставок отключён, а бюджет реальных попыток хранится в SQL. У RabbitMQ 4.1 quorum-очередь по умолчанию отбрасывает многократно возвращённые сообщения. Документация RabbitMQ

Истечение lease обнаруживают API-реплики. Исчерпавшие бюджет и постоянно ошибочные задания попадают в реестр failed. Повтор запускает оператор. CLI проверяет доступность исходника, записывает оператора и предыдущую ошибку, выдаёт новый бюджет с монотонным номером попытки. Запрос replay завершённого задания получает отказ.

docker compose exec worker worker failed
docker compose exec worker worker replay <attachment-id> <operator>
docker compose exec worker worker reprocess <attachment-id> 2

Сборщик мусора защищает staging всех актуальных queued/processing-заданий независимо от возраста. Для failed исходник удерживается после последнего перехода состояния (по умолчанию сутки). Для сирот применяется защитный интервал (по умолчанию час). Отдельные ключи доступа разрешают обход бакета сборщику. Оператор может проверить находки командой make reconcile, для применения исправлений используется make reconcile APPLY=1.

Показ через Postman

  1. Создать пользователя, получить сессию, создать чат. Для дальнейших запросов включить Bearer-сессию и использовать префикс /api/v1.
  2. Выполнить docker compose stop worker. В Postman загрузить tests/fixtures/sample.png через POST /chats/<id>/attachments?filename=sample.png. Тело — binary, заголовок Content-Type: image/png. Сохранить ID из ответа 202.
  3. Отправить POST /chats/<id>/messages с новым Idempotency-Key и телом {"text":"","attachment_ids":["<attachment-id>"]}. Получить 201. Запросить GET /attachments/<attachment-id>/content и увидеть 409.
  4. Перезапустить API и брокер с сохранением томов. Запустить docker compose start worker. Опросить GET /attachments/<attachment-id> до ready. Для исходника 320×200 получить thumbnail 256×160, crop 128×128 и optimized 320×200. Скачивание каждого результата идёт через тот же API с ?variant=thumbnail, crop или optimized.
  5. Командой reprocess заказать версию 2. Проверить SHA-256 опубликованного WebP. Для точных остановок перед COMMIT, после записи объектов и перед ack используется автоматизированный эксперимент.

При остановке после записи S3 и до фиксации результата следующий исполнитель имеет право повторно записать те же байты. Видимый эффект остаётся один, поскольку одинаковые байты получают тот же ключ, а транзакция допускает только одну публикацию. Если новый профиль уже получил право публикации, запоздавший исполнитель старого профиля не пройдёт проверку версии и lease. Поэтому гарантия формулируется как идемпотентный эффект при доставке at least once. Число доставок и число фактических вызовов кодека может превышать единицу.

Что показали остановки в конкретных точках

Точка остановки или ошибка Что удалось проверить снаружи
Исходник записан в staging, SQL-транзакция ещё не завершена После принудительной остановки API строк вложения — 0. Уборщик нашёл сироту после grace, удалил его, повторный обход подтвердил удаление.
Задание зафиксировано, RabbitMQ недоступен API принял вложение и сообщение. Обе API-реплики перезапущены. После возвращения брокера тот же ID перешёл в ready.
RabbitMQ принял сообщение, SQL ещё не пометил попытку отправленной После остановки публикатора получены две копии в очереди. При выключенном worker обе остались после рестарта брокера с томом. В итоге опубликованы три варианта одного задания.
Worker остановлен при получении lease или после записи объектов Попытка 2 завершила то же задание. До COMMIT SQL показывал 0 вариантов, даже когда в S3 уже были все три объекта с ожидаемыми хэшами.
Worker остановлен после COMMIT и до ack Все три варианта уже видимы. После повторной доставки прежний job_id остался на попытке 1.
Первый исполнитель одной версии задержан дольше lease Второй исполнитель опубликовал результат. После возобновления первого остались хэши победившей попытки.
Пока v1 удерживается перед COMMIT, завершилась v2; затем доставлены старая попытка и дубли Для проверочной картинки SHA-256 WebP v1 начинается с 544068e1, v2 — с b99d07b6. После последних подтверждений HTTP вернул WebP v2, в SQL опубликована версия 2 с тремя вариантами.
Недоступный источник и отдельный случай подмены источника Временная ошибка закончилась failed на пятой попытке. После устранения причины replay завершил шестую попытку с одной записью аудита. Несовпадение контрольной суммы привело к failed на первой попытке.

Первый протокол включает отдельный повтор сценария потери подтверждения публикации с рестартом самого брокера. Он сохраняет идентификаторы, состояния и хэши HTTP-ответов для каждой точки отказа. Первый прогон

Во втором прогоне все 11 сценариев выполнены подряд за 572,230 с. Для каждого созданы новые синтетические вложения в том же Compose-проекте с сохранёнными томами. В обоих прогонах совпали контрольные суммы для обеих версий, порядок подтверждений 2 → 1 и количество опубликованных вариантов. В первом прогоне основная матрица заняла 629,758 с, дополнительный замер перезапуска брокера — 159,970 с. Эти времена включают остановку и старт контейнеров, ожидание lease и проверку результатов. Второй прогон с временами по сценариям

Проверки на стенде

Свойство Проверка Наблюдение
Пакеты Go и конкурентный доступ go build ./..., go vet ./..., go test -race -p 2 -count=1 ./... Прогон с временными контейнерами завершён с кодом 0. Вывод race detector
Целостность контракта make check, make validate Локальные ссылки, публичные Python-тесты, полный OpenAPI 3.1 и JSON Schema прошли проверку.
Приём без обработки в HTTP make test, эксперимент с выключенным worker Получен 202, ID сразу прикрепляется к сообщению. Оригинал и JPEG доступны после ready.
Сохранность подтверждённых данных make test-persistence с restart-hook После остановки и старта проекта сохранились прежняя сессия, сообщение и вложение.
Доступность чата при остановке одной API-реплики make test-failover с stop-one-hook До остановки наблюдались две реплики. За окно публичного теста прошли 119 записей, ошибок 0. Первая успешная запись после завершения hook зарегистрирована через 8,203 с от его запуска.
Устойчивость доставки go test -race ./internal/broker -count=1 22 разрыва соединения до ack пережиты одной подтверждённой публикацией. При заводском лимите quorum-очереди контрольный тест терял её на 22-й доставке.
Лимиты преобразований и корректность форматов make codec-test, отдельный прогон с CODEC_STRESS=1 JPEG и WebP декодируются, выдержаны форма, поворот, фон, размеры и параметры двух профилей. Прогон трёх предельных исходников занял 43,10 с.

Полный набор публичных проверок повторён на финальной сборке в обычном режиме Compose. Команды и вывод

Для последних двух публичных тестов на Windows в Git Bash используются команды ниже. Для Linux заменить .cmd на .sh и дать скриптам право исполнения.

make test-persistence PYTHON=python ACTION_SCRIPT=scripts/restart.cmd
make test-failover PYTHON=python ACTION_SCRIPT=scripts/stop-one.cmd
docker compose start api

Пределы эксперимента

Docker Desktop 28.5.1, 8 CPU, 12 547 280 896 байт памяти в Docker VM. Две API-реплики ограничены 1 CPU и 2 GiB каждая, worker — 2 CPU и 2 GiB, брокер — 1 CPU и 512 MiB. На одном хосте проверяются отказы процессов и рестарты с сохранением томов. Потерю единственной копии данных при разрушении хоста эксперимент не покрывает. Медленный worker при работающем API увеличивает очередь и объём staging. Исследование длительной перегрузки относится к другому треку.

Проверка трека 2

На отдельном стенде с экспортированными портами выполнить make track2 PYTHON=python. Команда запускает Compose с экспериментальным профилем и выполняет отказные сценарии. В этом режиме API и worker могут ждать в указанной точке обработки конкретного синтетического задания. Сценарий останавливает и запускает компоненты проекта lab5. Обычный запуск не включает эти точки остановки. После эксперимента make up вернёт обычную конфигурацию. По умолчанию результат записывается в evidence/track2/run.json, каталог меняется через EVIDENCE_DIR.

В матрице проверяются остановки до и после фиксации задания, после подтверждения RabbitMQ, после получения lease, после записи объектов и после фиксации результата до ack. Порядок событий задаётся явными барьерами, а не задержкой предполагаемой длительности. Клиент сверяет состояние, число вариантов, хэш скачанного оригинала и байты каждого опубликованного варианта с PostgreSQL. При сравнении версий используется детерминированная текстурная картинка, которая даёт разные WebP при разном качестве сжатия.

Источники

Контракт лабораторной, собственная реализация ЛР 4, RabbitMQ server и Go-клиент amqp091-go, SeaweedFS, PostgreSQL и кодеки изображений. Перечень зависимостей приведён в go.mod и Dockerfile.

Формулировка для публикации после ручного воспроизведения автором лабораторной работы:

ИИ-ассистент использовался как парный программист: генерация кода, тестов и черновиков документации по моим архитектурным решениям с последующим ревью каждого модуля и переработкой по замечаниям; выбор стека, структура проекта, модель данных, обработка ошибок, логирование и границы модулей определены мной; все проверки воспроизведены мной вручную.