15 KiB
Отчёт — лабораторная 5
- Автор — Любченко Никита, БПИ2303.
- Целевая оценка — 4.
- Использованы Python 3.12, Pillow, boto3, pika, PostgreSQL, Redis, Nginx, MinIO и RabbitMQ. ИИ использован при разработке и проверке реализации.
- Результаты прогонов и их ограничения приведены ниже. Ссылку на PR добавляет автор.
Запуск из чистого клона
Требуются Docker Engine с Compose, Make и Python 3.9+ для публичных тестов. Первая сборка обращается к реестрам образов, GitHub, PyPI и прокси Go для зависимостей MinIO.
cp -n .env.example .env
python3 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build --wait --wait-timeout 120
make check
make test
Стенд открывается на http://localhost:18082. Порт задаёт PUBLIC_PORT. Секреты создаёт bootstrap. Команда docker compose down сохраняет тома. docker compose down -v удаляет учебные данные PostgreSQL, Redis, MinIO и RabbitMQ.
Архитектура и согласованность
Две API-реплики за Nginx используют PostgreSQL для метаданных и MinIO для исходников. Redis сохраняет роль кэша сессий. До ответа 202 оригинал сохранён в staging, а метаданные, задача и outbox зафиксированы в одной транзакции PostgreSQL. Отдельный издатель использует устойчивую очередь RabbitMQ и publisher confirms. При повторной публикации сохраняются ID задачи и номер попытки. Повтор завершённой работы не меняет метаданные.
Worker забирает задачи с prefetch 1. После перехода в processing он получает оригинал по ключу из БД и создаёт три варианта. Файлы каждой попытки имеют отдельный префикс. Только текущая попытка с действующим lease фиксирует ready и варианты одной транзакцией. Consumer ACK следует после устойчивого решения по задаче. До ready скачивание возвращает 409. Участник чата может отправить сообщение с queued-вложением.
Worker ограничен 1 CPU и 768 MiB, таймер обработки составляет 20 с. Lease действует 60 с. Временные ошибки и истечение аренды обрабатываются через ограниченный backoff с jitter. Некорректный файл сразу переводит задачу в failed. Операторский replay сохраняет аудит. Cleaner удаляет staging после ready, а для failed сохраняет его на 24 часа. Старые результаты отдельных попыток удаляются после периода ожидания.
Доказательства критериев
| Критерий | Результат | Артефакт |
|---|---|---|
| Структура и OpenAPI | PASS | evidence/check.txt, evidence/validate.txt |
| Перенос lab4 | Текстовый и файловый сценарий, общая сессия, приватный MinIO | evidence/lab4-baseline.txt |
| Устойчивый ответ 202 и привязка до готовности | 202 queued, 409 при скачивании, одна транзакция задачи и outbox | evidence/queued-upload.txt |
| Форматы, размеры и побайтный оригинал | Thumbnail 256×160, crop 128×128, WebP 320×200, повтор не меняет результат. Задача передана обработчику напрямую | evidence/worker-variants.txt |
| Retry, failed, replay, очистка | Проверены на PostgreSQL и MinIO. Истечение lease смоделировано после записи файлов | evidence/job-lifecycle.txt |
| Откат при отказе publish | Запись осталась неопубликованной на реальном PostgreSQL после имитации NACK | evidence/outbox-nack.txt |
| Публичный smoke через RabbitMQ | PASS | evidence/worker-smoke.txt |
| Разрыв между COMMIT и publish | Задача, принятая при остановленном издателе, опубликована после его запуска | evidence/outbox-live.txt |
| Остановка worker и рестарт API/RabbitMQ | Та же задача дошла до ready, исходник совпал побайтно | evidence/broker-resilience.txt |
| Остановка worker после записи в S3 до COMMIT/ACK | После истечения lease восстановление заняло 60,90 с; опубликованы три варианта одного результата | evidence/broker-resilience.txt |
| Публичный persistence и failover | PASS, данные и действующая сессия сохранены | evidence/persistence.txt, evidence/failover.txt |
| Приватность бакета | Чтение с учётной записью API прошло, анонимный GET получил 403 | evidence/s3-private-final.txt |
Сценарии защиты
docker compose stop worker
sh student-tests/outbox.sh
python3 student-tests/broker_resilience.py --base-url http://localhost:18082
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
python3 scripts/manage.py restore
Сценарий outbox останавливает издателя и подтверждает публикацию после его запуска. Его нужно запускать с остановленным worker. Сценарий broker_resilience останавливает worker, проверяет переживание рестарта API и RabbitMQ, затем убивает отдельный тестовый worker после записи в S3 и до COMMIT/ACK. Оба сценария рассчитаны на учебный стенд и создают синтетические данные. Проверка отдельной попытки использует fixture PNG 320×200.
Прогон выполнен в Docker Engine 29.5.3, Compose 5.1.4, aarch64. Повторные проверки с актуальным кодом сохраняются в файлах *-final.txt. После повторной загрузки образа RabbitMQ 4.1.4 запущен. Публичный smoke и подтверждённая публикация прошли на реальном брокере.
История реализации
Записи ниже отражают состояние проверок на соответствующем этапе. Итоговые результаты приведены в таблице выше.
Этап 1. Перенос lab4
Проект mtusi-lab5 слушает http://localhost:18082. PostgreSQL, Redis и MinIO получили отдельные тома. Локальные секреты сгенерированы для lab5.
cp -n .env.example .env
python3 scripts/bootstrap.py
docker compose config --quiet
docker compose up -d --build
make check
Для проверки переноса использовались существующие образы lab4 с локальными тегами lab5. Публичный smoke lab4 прошёл на новом стенде. Отдельно проверены сессия на обеих репликах и отсутствие анонимного доступа к объекту в MinIO. Результаты сохранены в evidence/lab4-baseline.txt. На этом этапе upload ещё отвечает 201 по контракту lab4. Smoke lab5 рассчитан на переход к 202 и обработку в worker.
Этап 2. Устойчивый приём вложения
Миграция 0004_attachment_jobs.sql добавляет состояния обработки и таблицы задач, вариантов и outbox. После успешного PUT под attachments/staging/ API в одной транзакции сохраняет задачу, событие outbox и состояние queued. До готовности вложение можно прикрепить к сообщению, а скачивание возвращает 409.
Проверка на Compose с PostgreSQL и MinIO: python3 student-tests/queued_upload.py --base-url http://localhost:18082. SQL дополнительно подтвердил одну задачу и одну неопубликованную запись outbox. Результаты в evidence/queued-upload.txt. Из-за TLS-таймаута реестра для прогона поверх локального API-образа lab4 скопированы актуальные исходники и миграции lab5.
Этап 3. RabbitMQ и публикация outbox
В Compose добавлены RabbitMQ 4.1.4 с постоянным томом и отдельный outbox-publisher. Издатель берёт готовую строку outbox через FOR UPDATE SKIP LOCKED, публикует постоянное сообщение в durable-очередь и только после publisher confirm записывает published_at. При сбое между confirm и коммитом возможна повторная доставка с тем же job_id.
После доступной загрузки образа запустить docker compose build api-a, затем docker compose up -d --no-build и sh student-tests/outbox.sh. Сценарий останавливает издателя, создаёт вложение, проверяет неопубликованную запись и ждёт подтверждения после запуска издателя. Worker появится на следующем этапе.
Конфигурация Compose и make check прошли. На настоящем PostgreSQL проверен откат после имитации broker NACK, см. evidence/outbox-nack.txt. Прогон с реальным RabbitMQ пока открыт: загрузка образа не удалась из-за ошибок доступа к реестрам.
Этап 4. Worker и производные изображения
Worker обрабатывает по одной доставке (prefetch 1) с лимитом контейнера 768 MiB и таймером обработки 20 с. Он скачивает исходник из staging с проверкой размера и SHA-256, повторно валидирует изображение и сохраняет побайтный оригинал. Производные файлы записываются в ключи, зависящие от ID вложения и версии обработки. JPEG использует качество 85, WebP — 82. EXIF-ориентация применяется перед преобразованием, метаданные исходника не копируются, прозрачность сводится на белый фон.
На этом этапе блокировка строки PostgreSQL защищает обработку от дублирования. Статус ready и три строки вариантов фиксируются одной транзакцией после записи всех файлов. ACK после COMMIT. Отдельно наблюдаемое processing, lease, управляемые повторы и очистка staging относятся к этапу 5.
python3 student-tests/worker_variants.py --base-url http://localhost:18082 проверяет обработчик на реальных PostgreSQL и MinIO через прямую передачу job, затем сверяет скачанные байты и метаданные через Nginx. Результат в evidence/worker-variants.txt.
Этап 5. Lease, retry и очистка
Worker транзакционно захватывает queued-задачу на 60 секунд и переводит её в processing. Одна доставка обрабатывается за раз. Таймер worker — 20 секунд. Публикация результата проверяет номер попытки и действительность lease. Результаты попыток имеют разные S3-префиксы, поэтому запоздавшая попытка не перезаписывает актуальный вариант.
Временная ошибка и истёкший lease планируют новую попытку через outbox с задержкой 2^n секунд (исходная задержка ограничена 60 с) и jitter ±25%. По умолчанию JOB_MAX_ATTEMPTS=5. Некорректный оригинал завершает задачу с invalid_image. После исчерпания попыток возвращается retry_exhausted. Реестр failed хранится в PostgreSQL. Replay увеличивает поколение попытки, сбрасывает счётчик retry и пишет аудит. Replay доступен для failed до удаления staging.
docker compose exec -T api-a python -m messenger.failed_jobs list
docker compose exec -T api-a python -m messenger.failed_jobs replay JOB_UUID --operator local
Cleaner удаляет staging после ready или спустя 24 часа после failed. Файлы старых и окончательно неуспешных попыток удаляются после 15-минутного периода ожидания. Операции очистки можно повторять после сбоя.
Проверка python3 student-tests/job_lifecycle.py --base-url http://localhost:18082 выполнена с реальными PostgreSQL и MinIO. Истечение lease моделировалось обновлением дедлайна после записи файлов. Результаты в evidence/job-lifecycle.txt. Брокерный сценарий физической остановки worker до ACK остаётся для итогового прогона.