34 KiB
ЛР 5. Асинхронная обработка вложений
Целевая оценка — 5, трек 2. Проверяем гипотезу, что после успешного HTTP-приёма рестарты и повторные доставки сохраняют задание, а устаревшая попытка не может заменить опубликованную версию.
Автор — Бакулин, БПИ2301. База переноса — ЛР 4, коммит 80c4a56200e3. Baseline для сравнения изменений ЛР 5 — 911d97a. Проверенный код и сценарии эксперимента зафиксированы в b05b338. Протоколы с измерениями приложены в каталоге evidence/.
Запуск из чистого клона
Понадобятся Docker Desktop с Compose v2, Git Bash, Make и Python 3.9+. Для локальных Go-тестов нужны Go 1.27.1, C-компилятор для race detector и работающий Docker. Команды ниже для Git Bash. Переменные портов позволяют одновременно держать стенд четвёртой работы.
export PYTHONUTF8=1
export PUBLISH=127.0.0.1:18085 STATS_PUBLISH=127.0.0.1:18405 BASE_URL=http://localhost:18085
cp .env.example .env
make secrets
make up
make check test PYTHON=python
make unit GOFLAGS=-p=2
make vet
make secrets создаёт отдельные секреты PostgreSQL, Valkey, RabbitMQ и S3. Храните их вместе с томами стенда. Compose запускает миграции и инициализацию приватного бакета перед API и worker. make down останавливает проект с сохранением данных. Команда make destroy удаляет тома проекта, включая историю, задания, очередь и изображения.
Как проходит запрос
GET /health/ready проверяет, что API ещё принимает трафик и может обратиться к PostgreSQL и Valkey. Эти зависимости нужны для чатов и сессий. При отказе S3 текстовые запросы продолжают работать, а операция с файлом может вернуть 503. При остановке RabbitMQ или worker API по-прежнему может надёжно принять загрузку, пока доступны staging и PostgreSQL. Health-check самого worker в эту проверку API не входит.
API проверяет членство в чате, потоково сохраняет исходник в SeaweedFS под ключом staging/<attachment_id>, считает SHA-256 и проверяет изображение. Перед полным декодированием применяются лимиты 10 MiB и 40 млн пикселей. На каждой API-реплике одновременно работает один декодер. Как в ЛР 4, upload требует положительный Content-Length. В Postman режим binary отправляет длину файла. Потоковая загрузка chunked без объявленной длины получает 400. Одна транзакция создаёт строку общего файла при её отсутствии, вложение и задание первой версии. После COMMIT API возвращает снимок 202 queued. Клиент уже может прикрепить вложение к сообщению. Скачивание до первой публикации даёт 409.
Строка attachment_jobs одновременно хранит попытку обработки и намерение отправки в RabbitMQ. Каждая API-реплика выбирает одну созревшую строку с FOR NO KEY UPDATE SKIP LOCKED, отправляет persistent-сообщение с обязательной маршрутизацией и ждёт publisher confirm. Только затем помечает попытку отправленной. При падении до фиксации та же логическая работа может попасть в очередь повторно. Тайм-аут штатного ожидания confirm — 5 с. В сообщение входят служебные поля схемы jobs, включая стабильный job_id. Worker берёт ключ источника, размер и SHA-256 из PostgreSQL.
При отправке сообщения транзакция фиксирует целевую версию вложения через FOR SHARE на attachments и проверяет статус под FOR KEY SHARE. Эта блокировка совместима с блокировкой публикатора, поэтому очередь может ждать подтверждения одновременно с записью сообщения. В тесте с открытой транзакцией публикатора сообщение получило 201 за 147 мс. Переход в failed берёт FOR UPDATE. Когда первая обработка завершается ошибкой до отправки сообщения, отправитель получает 409, а строки сообщения, ключа идемпотентности и связи откатываются.
Worker проверяет актуальность сообщения и получает ограниченное по времени право обработки — lease с уникальным токеном. После чтения он сверяет размер и хэш оригинала. Результаты хранятся в SeaweedFS. Общий оригинал имеет ключ по хэшу, ключ варианта содержит ID вложения, версию, имя и хэш выходных байтов. Одна транзакция проверяет целевую версию и токен, фиксирует сразу три варианта и переключает опубликованную версию. Только после устойчивого эффекта consumer отправляет ack.
При повторной обработке пользователь продолжает читать прежнюю публикацию вплоть до переключения. Внутреннее состояние операции v2 и публичная доступность v1 различаются. Одна версия алгоритма обрабатывает одно логическое вложение. Два чата с одинаковой картинкой разделяют физический оригинал, у каждого вложения свои права доступа, задания и версии.
Миграция 00004 сохраняет UUID вложений ЛР 4 и ссылки сообщений. Для прежних готовых оригиналов создаёт задания v1 с источником в blobs. Утраченный ранее оригинал остаётся доступен для диагностики с кодом source_missing. Таблица attachment_variants нужна для атомарной публикации MIME, размеров и SHA-256 каждого из трёх результатов. Таблица attachment_replays хранит, кто явно запустил новую попытку и после какой ошибки. Без этой записи операторское действие было бы неотличимо от автоматического retry. Реестр неудач читается непосредственно из attachment_jobs.
Изображения и лимиты worker
Оба профиля создают JPEG-миниатюру до 256×256 без увеличения и центральный JPEG-crop 128×128. У JPEG качество 85, прозрачность компонуется на белом. Для WebP изображение вписывается в 1280×1280 с сохранением пропорций. У v1 качество 80, у v2 — 64. Применяется EXIF orientation, выходные файлы сохраняются без исходных метаданных. Оригинал выдаётся без изменений.
У PNG исходный холст может быть больше растра и иметь ненулевое смещение. Сразу после чтения worker сбрасывает координаты холста. Центральный crop вычисляется по растру с учётом ориентации. Для сплошного красного растра 320×200 с холстом 2400×1800+850+30 проверили скачанный через API JPEG. На высоте 64 в точках x = 1, 64 и 126 получили RGB (254, 0, 0). До исправления центр был белым.
Worker запускает кодек дочерним процессом с общим дедлайном 45 с или более ранним дедлайном задания. У ImageMagick ограничены потоки, память и дисковый кэш. Для допустимого PNG шириной 40 млн пикселей рабочая строка обычного декодера превышала лимит контейнера. Такой PNG обрабатывает отдельный Go-процесс, который уменьшает изображение и сохраняет центральный фрагмент перед кодированием. На время этой работы резервируются оба слота. На трёх реальных файлах по 40 млн пикселей получены все варианты в контейнере с лимитом 2 GiB. Методика, размеры и измерения
Рабочие файлы кодека хранятся в каталоге попытки внутри /tmp/messenger-worker-imaging. При обычном выходе worker удаляет каталог попытки. При старте процесса, до запуска потребителей, он очищает свой каталог от прерванных попыток. В эксперименте с JPEG CMYK на 40 млн пикселей SIGKILL оставил 82 680 KiB рабочих данных. После запуска того же контейнера старый каталог исчез. При штатном бюджете 60 с то же вложение перешло в ready на второй попытке. Клиент увидел три варианта, рабочий каталог был пуст. Исходник для повтора хранится в S3.
Повторы и эксплуатация
Значения по умолчанию — 2 потребителя с prefetch 1 каждый, бюджет обработки 60 с, lease на 5 с дольше, до 5 попыток. Для временной ошибки рассчитывается задержка с экспоненциальным ростом, верхней границей в минуту и jitter. Отказ БД до выдачи lease может вызвать повторную доставку без запуска обработки. По этой причине транспортный лимит доставок отключён, а бюджет реальных попыток хранится в SQL. У RabbitMQ 4.1 quorum-очередь по умолчанию отбрасывает многократно возвращённые сообщения. Документация RabbitMQ
Истечение lease обнаруживают API-реплики. Исчерпавшие бюджет и постоянно ошибочные задания попадают в реестр failed. Повтор запускает оператор. CLI проверяет доступность исходника, записывает оператора и предыдущую ошибку, выдаёт новый бюджет с монотонным номером попытки. Запрос replay завершённого задания получает отказ.
Для worker failed достаточно соединения с PostgreSQL. Командам replay и reprocess также нужен S3. В журнале ошибки обработки worker выводит этап и причину, например stage=read_original reason=source_missing. Публичный error_code позволяет клиенту узнать исход задания. В запись об ошибке попытки не попадают сырые тексты ошибок хранилища, URL и ключи доступа.
docker compose exec worker worker failed
docker compose exec worker worker replay <attachment-id> <operator>
docker compose exec worker worker reprocess <attachment-id> 2
Сборщик мусора защищает staging всех актуальных queued/processing-заданий независимо от возраста. Для failed исходник удерживается после последнего перехода состояния (по умолчанию сутки). Для сирот применяется защитный интервал (по умолчанию час). Отдельные ключи доступа разрешают обход бакета сборщику. Оператор может проверить находки командой make reconcile, для применения исправлений используется make reconcile APPLY=1.
Сборщик сопоставляет ключи каждой страницы S3 с заданиями и опубликованными вариантами одним SQL-запросом. Перед удалением он повторно проверяет кандидата под блокировкой и сверяет возраст объекта. В тесте с PostgreSQL и тестовой реализацией интерфейса S3 на 300 опубликованных вариантах, 100 активных staging-объектах и одном оригинале число SQL-запросов уменьшилось с 403 до 5. В обоих случаях было 7 вызовов S3 и 0 удалений.
Показ через Postman
- Создать пользователя, получить сессию, создать чат. Для дальнейших запросов включить Bearer-сессию и использовать префикс
/api/v1. - Выполнить
docker compose stop worker. В Postman загрузитьtests/fixtures/sample.pngчерезPOST /chats/<id>/attachments?filename=sample.png. Тело — binary, заголовокContent-Type: image/png. Сохранить ID из ответа 202. - Отправить
POST /chats/<id>/messagesс новымIdempotency-Keyи телом{"text":"","attachment_ids":["<attachment-id>"]}. Получить 201. ЗапроситьGET /attachments/<attachment-id>/contentи увидеть 409. - Перезапустить API и брокер с сохранением томов. Запустить
docker compose start worker. ОпроситьGET /attachments/<attachment-id>до ready. Для исходника 320×200 получить thumbnail 256×160, crop 128×128 и optimized 320×200. Скачивание каждого результата идёт через тот же API с?variant=thumbnail,cropилиoptimized. - Командой reprocess заказать версию 2. Проверить SHA-256 опубликованного WebP. Для точных остановок перед COMMIT, после записи объектов и перед ack используется автоматизированный эксперимент.
19 ноября полный сценарий защиты воспроизведён на отдельном Compose-проекте. Worker был выключен ещё до upload. До его запуска два сообщения были видны после перезапуска обеих API-реплик и брокера, а скачивание до рестарта вернуло 409. После запуска тот же job завершился на первой попытке. Скачанный оригинал совпал с отправленным файлом, JPEG имел размер 256×160. Порядок действий, ID и контрольные суммы После исправлений тот же сценарий прошёл повторно. Протокол на последней сборке
При остановке после записи S3 и до фиксации результата следующий исполнитель имеет право повторно записать те же байты. Видимый эффект остаётся один, поскольку одинаковые байты получают тот же ключ, а транзакция допускает только одну публикацию. Если новый профиль уже получил право публикации, запоздавший исполнитель старого профиля не пройдёт проверку версии и lease. Поэтому гарантия формулируется как идемпотентный эффект при доставке at least once. Число доставок и число фактических вызовов кодека может превышать единицу.
Что показали остановки в конкретных точках
| Точка остановки или ошибка | Что удалось проверить снаружи |
|---|---|
| Исходник записан в staging, SQL-транзакция ещё не завершена | После принудительной остановки API строк вложения — 0. Уборщик нашёл сироту после grace, удалил его, повторный обход подтвердил удаление. |
| Задание зафиксировано, RabbitMQ недоступен | API принял вложение и сообщение. Обе API-реплики перезапущены. После возвращения брокера тот же ID перешёл в ready. |
| RabbitMQ принял сообщение, SQL ещё не пометил попытку отправленной | После остановки публикатора получены две копии в очереди. При выключенном worker обе остались после рестарта брокера с томом. В итоге опубликованы три варианта одного задания. |
| Worker остановлен при получении lease или после записи объектов | Попытка 2 завершила то же задание. До COMMIT SQL показывал 0 вариантов, даже когда в S3 уже были все три объекта с ожидаемыми хэшами. |
| Worker остановлен после COMMIT и до ack | Все три варианта уже видимы. После повторной доставки прежний job_id остался на попытке 1. |
| Первый исполнитель одной версии задержан дольше lease | Второй исполнитель опубликовал результат. После возобновления первого остались хэши победившей попытки. |
| Пока v1 удерживается перед COMMIT, завершилась v2; затем доставлены старая попытка и дубли | Для проверочной картинки SHA-256 WebP v1 начинается с 544068e1, v2 — с b99d07b6. После последних подтверждений HTTP вернул WebP v2, в SQL опубликована версия 2 с тремя вариантами. |
| Недоступный источник и отдельный случай подмены источника | Временная ошибка закончилась failed на пятой попытке. После устранения причины replay завершил шестую попытку с одной записью аудита. Несовпадение контрольной суммы привело к failed на первой попытке. |
Первый протокол включает отдельный повтор сценария потери подтверждения публикации с рестартом самого брокера. Он сохраняет идентификаторы, состояния и хэши HTTP-ответов для каждой точки отказа. Первый прогон
Во втором прогоне все 11 сценариев выполнены подряд за 572,230 с. Для каждого созданы новые синтетические вложения в том же Compose-проекте с сохранёнными томами. В обоих прогонах совпали контрольные суммы для обеих версий, порядок подтверждений 2 → 1 и количество опубликованных вариантов. В первом прогоне основная матрица заняла 629,758 с, дополнительный замер перезапуска брокера — 159,970 с. Эти времена включают остановку и старт контейнеров, ожидание lease и проверку результатов. Второй прогон с временами по сценариям
Проверки на стенде
После исправлений тимлидского ревью полная матрица прошла 11 из 11 сценариев за 479,143 с. В оболочке задавались один потребитель и одна попытка. Экспериментальный Compose-профиль воспроизвёл двух потребителей и пять попыток. Сообщение с вложением сохранилось ещё при открытой транзакции публикатора. При рестарте брокера обе копии задания сохранились. После подтверждений в порядке 2 → 1 осталась опубликована v2. После исчерпания пяти попыток операторский replay завершился на шестой, с одной записью аудита. Протокол после исправлений
На этом же стенде команда worker failed вернула одну запись реестра с заведомо недоступными настройками RabbitMQ и S3. Журнал обработки для исчезнувшего и подменённого исходников показал stage=read_original с причинами source_missing и source_mismatch.
make upload-memory измеряет приём от отправки запроса до ответа 202 queued. Скрипт учитывает только ответы с корректными метаданными, затем дожидается ready для одного контрольного вложения каждой серии, скачивает оригинал и сверяет байты и MIME. В обычном профиле обе серии достигли десяти одновременных запросов. Все 20 загрузок получили разные ID. Для PNG по 1 MiB p95 составил 352 мс, для PNG по 10 MiB — 3103 мс. Оба скачанных файла совпали с отправленными. У API-реплик не было OOM и перезапусков. Память снималась периодически через docker stats, поэтому кратковременные пики могли пройти между отсчётами. Измерения загрузки и памяти
19 ноября после правок по ревью все 11 сценариев повторены за 399,954 с в отдельном проекте lab5-review. Обе копии пережили рестарт RabbitMQ. После возобновления v1 и дополнительных доставок опубликованной осталась v2 с тремя вариантами и прежним SHA-256 WebP. Replay завершился на попытке 6 с одной записью аудита. Протокол прогона после ревью
| Свойство | Проверка | Наблюдение |
|---|---|---|
| Пакеты Go и конкурентный доступ | go build ./..., go vet ./..., go test -race -p 2 -count=1 ./... |
Прогон с временными контейнерами завершён с кодом 0. Вывод race detector |
| Целостность контракта | make check, make validate |
Локальные ссылки, публичные Python-тесты, полный OpenAPI 3.1 и JSON Schema прошли проверку. |
| Приём без обработки в HTTP | make test, эксперимент с выключенным worker |
Получен 202, ID сразу прикрепляется к сообщению. Оригинал и JPEG доступны после ready. |
| Сохранность подтверждённых данных | make test-persistence с restart-hook |
После остановки и старта проекта сохранились прежняя сессия, сообщение и вложение. |
| Доступность чата при остановке одной API-реплики | make test-failover с stop-one-hook |
До остановки наблюдались две реплики. За окно публичного теста прошли 119 записей, ошибок 0. Первая успешная запись после завершения hook зарегистрирована через 8,203 с от его запуска. |
| Устойчивость доставки | go test -race ./internal/broker -count=1 |
22 разрыва соединения до ack пережиты одной подтверждённой публикацией. При заводском лимите quorum-очереди контрольный тест терял её на 22-й доставке. |
| Лимиты преобразований и корректность форматов | make codec-test, отдельный прогон с CODEC_STRESS=1 |
JPEG и WebP декодируются, выдержаны форма, поворот, фон, размеры и параметры двух профилей. Прогон трёх предельных исходников занял 43,10 с. |
19 ноября на сборке после ревью в обычном режиме Compose повторно прошли smoke, persistence и failover. В новом окне failover выполнено 118 записей, ошибок 0. Первая успешная запись после завершения hook зарегистрирована через 6,369 с от его запуска. В обычном профиле после тимлидского ревью вновь прошли все три проверки. Последнее окно failover дало 131 успешную запись, 0 ошибок, первую запись после hook на отметке 6,168 с от его запуска. Команды и результаты прогонов
Для последних двух публичных тестов на Windows в Git Bash используются команды ниже. Для Linux заменить .cmd на .sh и дать скриптам право исполнения.
make test-persistence PYTHON=python ACTION_SCRIPT=scripts/restart.cmd
make test-failover PYTHON=python ACTION_SCRIPT=scripts/stop-one.cmd
docker compose start api
Пределы эксперимента
Docker Desktop 28.5.1, 8 CPU, 12 547 280 896 байт памяти в Docker VM. Две API-реплики ограничены 1 CPU и 2 GiB каждая, worker — 2 CPU и 2 GiB, брокер — 1 CPU и 512 MiB. На одном хосте проверяются отказы процессов и рестарты с сохранением томов. Потерю единственной копии данных при разрушении хоста эксперимент не покрывает. Медленный worker при работающем API увеличивает очередь и объём staging. Исследование длительной перегрузки относится к другому треку.
Проверка трека 2
Для отдельной копии стенда задайте своё имя COMPOSE_PROJECT_NAME и свободные порты PUBLISH, STATS_PUBLISH, BASE_URL до запуска make track2. Экспериментальный профиль задаёт двух потребителей и пять попыток независимо от настроек оболочки. Он сокращает timeout обработки до 15 с, поэтому lease истекает через 20 с. В обычной конфигурации эти интервалы составляют 60 и 65 с.
На отдельном стенде с экспортированными портами выполнить make track2 PYTHON=python. Команда запускает Compose с экспериментальным профилем и выполняет отказные сценарии. В этом режиме API и worker могут ждать в указанной точке обработки конкретного синтетического задания. Сценарий останавливает и запускает компоненты выбранного Compose-проекта. Обычный запуск не включает эти точки остановки. После эксперимента make up вернёт обычную конфигурацию. По умолчанию результат записывается в evidence/track2/run.json, каталог меняется через EVIDENCE_DIR.
В матрице проверяются остановки до и после фиксации задания, после подтверждения RabbitMQ, после получения lease, после записи объектов и после фиксации результата до ack. Порядок событий задаётся явными барьерами, а не задержкой предполагаемой длительности. Клиент сверяет состояние, число вариантов, хэш скачанного оригинала и байты каждого опубликованного варианта с PostgreSQL. При сравнении версий используется детерминированная текстурная картинка, которая даёт разные WebP при разном качестве сжатия.
Источники
Контракт лабораторной, собственная реализация ЛР 4, RabbitMQ server и Go-клиент amqp091-go, SeaweedFS, PostgreSQL и кодеки изображений. Перечень зависимостей приведён в go.mod и Dockerfile.
Формулировка для публикации после ручного воспроизведения автором лабораторной работы:
ИИ-ассистент использовался как парный программист: генерация кода, тестов и черновиков документации по моим архитектурным решениям с последующим ревью каждого модуля и переработкой по замечаниям; выбор стека, структура проекта, модель данных, обработка ошибок, логирование и границы модулей определены мной; все проверки воспроизведены мной вручную.