8.5 KiB
Отчёт — лабораторная 5
- Автор, группа: Григорян Илья Мурадович, БПИ2303.
- Целевая оценка; выбранный трек 5, если нужен: 5, трек — TODO. Все пункты уровней 3 и 4 реализованы и проверены.
- Commit/PR: TODO после публикации.
- Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI, SQLAlchemy, Pillow, aio-pika; RabbitMQ, Pillow; помощь Codex при реализации и проверках.
Запуск из чистого clone
Нужны Python 3.12, pip и Docker Compose. Версии зависимостей закреплены в requirements.txt; основные образы — PostgreSQL 16.10, Redis 7.4.2, RabbitMQ 4.4.0 и nginx 1.28.0.
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make init
make up
make test
make down
make init создаёт отсутствующие .env и secrets/, миграции и bootstrap выполняются
при запуске. Все настройки берутся из .env; образец — .env.example.
HTTP: http://localhost:18081. Внутренние хранилища и брокер наружу не открыты.
make down сохраняет данные; docker compose down --volumes намеренно удаляет их.
При обновлении схемы сначала остановить старые процессы, сохранив volumes.
Архитектура и решения
API → приватный MinIO staging + PostgreSQL job/outbox → RabbitMQ → worker → конечные объекты MinIO + PostgreSQL metadata. Redis хранит сессии. Сохранены аутентификация, чаты, сообщения, пагинация и идемпотентность предыдущих работ. Загрузка возвращает 202 queued после устойчивого приёма. Состояния: queued / processing / ready / failed; скачивание до ready возвращает 409.
RabbitMQ использует устойчивую очередь, сохранение сообщений на диск и подтверждения. Publisher отмечает публикацию после подтверждения брокера; worker подтверждает доставку после фиксации результата. Outbox восстанавливает разрыв COMMIT → publish. Фиксированные ключи объектов, блокировка job и lease защищают от повторов и устаревшего worker.
Original не перекодируется. Варианты: JPEG thumbnail ≤256×256, центральный JPEG crop 128×128 и WebP ≤1280×1280. JPEG quality=85, WebP quality=80/method=4; EXIF orientation учитывается, EXIF/ICC/XMP удаляются. Для JPEG alpha заменяется белой подложкой, WebP сохраняет прозрачность. Лимиты: 10 MiB, 40 млн пикселей, timeout 60 секунд, 768 MiB и 20 секунд CPU на дочерний процесс; concurrency=2, prefetch=1, lease=90 секунд.
Повторы ограничены пятью попытками. Задержка со случайным разбросом: c=min(120, 5×2^(n−1)), delay∈[c/2,c]. Постоянные ошибки завершаются сразу. Реестр failed и аудит находятся в PostgreSQL; явный replay проверяет исходник, выделяет новый бюджет и не запускает уже готовую job. Staging активных jobs сохраняется; ready очищается через сутки, failed — через семь суток.
Операторские команды:
docker compose run --rm --no-deps worker python -m app.core.job_admin list-failed
docker compose run --rm --no-deps worker python -m app.core.job_admin replay JOB_ID --request-id REQUEST_UUID --actor operator --reason dependency_restored
JOB_ID и REQUEST_UUID заменить UUID. Повтор команды с тем же request-id безопасен.
Доказательства критериев
make test-suite поднимает отдельный стенд, проверяет pipeline и удаляет контейнеры,
сети и volumes при завершении, включая ошибку. Полная сохранённая регрессия запускается
отдельно через make test-unit; отдельные сервисы — test-nginx и test-storage.
Проверки pipeline: 42 теста. Полная сохранённая регрессия: 201 тест.
Публичные smoke/persistence/failover прошли. Для отдельных pytest-прогонов нужен
make test-stand-up; после проверки — make test-stand-destroy.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test | 202 → ready, неизменный original, JPEG thumbnail | evidence/verification.json |
| Устойчивый приём и сохранение возможностей lab4 | DOCKER_TESTS=1 make test-unit; make test-persistence | Данные и сессия сохранены, загрузка асинхронная | evidence/verification.json |
| Отдельные broker/worker, поздний ack | make test-jobs | Сообщения сохранены, очередь подтверждена | evidence/jobs.json |
| Состояния, ограниченные повторы, идемпотентность | make test-pipeline; make test-jobs | failed после бюджета, дубли не создают новые объекты | evidence/verification.json |
| Остановка worker и рестарт API/брокера | make test-jobs | То же вложение стало ready, сообщение пережило рестарт | evidence/jobs.json |
| Crop/WebP и ограничения worker | make test-pipeline; make test-jobs | Форматы/размеры, metadata и лимиты проверены | evidence/verification.json |
| Разрыв COMMIT → publish | make test-outbox | SIGKILL publisher, затем ready без нового upload | evidence/verification.json |
| Backoff/jitter, failed registry, replay | make test-jobs | Постоянные/временные ошибки различаются, replay безопасен | evidence/jobs.json |
| Crash после PUT до ack, lease и cleanup | make test-jobs; make test-pipeline | Тот же результат, prefetch=1; активный staging сохранён | evidence/jobs.json; evidence/verification.json |
| Выбранный трек 5 | TODO | TODO | TODO |
Эксперименты и отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Crash после PUT до COMMIT | Повтор той же job | ready на второй попытке, те же четыре объекта и SHA-256 | После lease/retry; потерь нет |
| Crash после COMMIT до ack | Готовый дубль без обработки | Metadata и Last-Modified не изменились | После доставки; потерь нет |
| Временная / постоянная ошибка | Ограниченный retry / немедленный failed | Пять / одна попытка; явный replay завершился ready | В пределах бюджета; потерь нет |
Трек 5 — TODO: гипотеза, методика, измерения и выводы.
Ограничения и следующие шаги
Один Docker-хост, без репликации хранилищ и защиты от потери диска. Очередь не имеет admission control; pipeline фиксирован на версии 1. Доставка как минимум один раз, с идемпотентным результатом. Исследование для уровня 5 — TODO.