2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 12:48:18 +03:00
2026-11-13 11:22:22 +03:00
2026-11-13 12:48:18 +03:00

Лабораторная 5. Очереди и асинхронная обработка изображений

Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.

В репозиторий перенесена рабочая основа lab4: Go-приложение, миграции, Dockerfile и стенд с PostgreSQL, Redis, S3 (SeaweedFS) и HAProxy. Задание, контракт и публичные проверки относятся к lab5; очередь и worker ещё предстоит реализовать. Язык и framework свободные; UI не обязателен.

Карта курса · Процесс fork/PR · OpenAPI · Семантика API · Проверки · Отчёт · Примеры JSON · Памятка преподавателю

Откуда начинаем

Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.

Архитектура: API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.

Что сделать

  1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
  2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
  3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
  4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
  5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.

Оценка «3»: работающий минимум

  • Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
  • В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
  • Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
  • Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
  • Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.

Оценка «4»: уровень стажёра/джуна

Весь уровень 3 и все пункты ниже:

  • Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
  • Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
  • Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
  • Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.

Оценка «5»: исследование и доказанный результат

Весь уровень 4 и один законченный трек на выбор. Приведите гипотезу, повторяемую методику, результаты и ограничения.

Трек 1. Очередь под перегрузкой. Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.

Трек 2. Доказанная идемпотентность pipeline. Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.

Как начать и проверить

# Проверка структуры и контрактов, Python 3.9+; приложение не запускается:
make check

# Сборка приложения (Go 1.27+) и статический анализ:
make build
make vet

# Создание локальных настроек/ключей и запуск стенда (Docker Compose):
make up
curl --fail http://localhost:18085/health/ready

# Публичные проверки lab5; полностью заработают после реализации async pipeline:
make test

# Остановка стенда с сохранением данных:
make down

make up выполняет scripts/bootstrap.sh: создаёт игнорируемые .env.lab5 и secrets/lab5/ с новыми локальными паролями и ключами, сохраняя существующие при повторном запуске. Пароли и ключи из lab4 не копируются. .env.example документирует настройки стенда; параметры будущей очереди пока не используются. Для смены порта измените HOST_PORT в .env.lab5 и передавайте соответствующий BASE_URL командам Makefile.

Compose-проект называется mtusi2026lab5, использует собственные volumes и по умолчанию доступен на http://localhost:18085, поэтому может работать одновременно с lab4. PostgreSQL мигрируется отдельным одноразовым сервисом, S3 bucket инициализируется перед запуском API. Ключи make key-gen и make certs создаются отдельно в certs/; для Compose ключи создаёт bootstrap.

Это перенос основы, а не готовая lab5: upload пока синхронный и возвращает 201, брокера и worker нет. Контракт lab5 требует 202, фоновой обработки и вариантов изображения, поэтому публичный smoke сейчас не должен проходить полностью. Существующие Go-проверки перенесены вместе с приложением и доступны через make test-go и make test-storage. make openapi-generate использует контракт lab5; при переносе сохранены сгенерированные типы lab4.

compose.yaml — запускаемый стенд. compose.example.yaml — список ролей с пустым services, не запускаемый стенд. contracts/infrastructure.json задаёт требования lab5; расширьте стенд брокером и worker при реализации задания. Все зависимости поднимаются из этого репозитория; ссылка «у меня БД уже установлена» не заменяет воспроизводимость.

# Прямое управление тем же стендом:
./scripts/bootstrap.sh
./scripts/compose.sh config --quiet
./scripts/compose.sh up -d --build --wait --wait-timeout 120
# Для Swarm укажите эквивалентные build/push/deploy-команды в REPORT.md.

Примеры запросов доступны в examples/requests.http, примеры JSON — в contracts/examples.json. Для полной проверки схемы (по желанию локально; CI делает её автоматически):

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python

Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по tests/README.md, остальные доказательства приведите в отчёте.

Сценарий защиты

  1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
  2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
  3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
  4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.

Что должно быть в PR

Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.

Заполните REPORT.md и шаблон PR, укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах объявленных переходов.

Вопросы на защите

  • Чем publisher confirm отличается от consumer ack?
  • Что именно уже сохранено в момент 202?
  • Почему повторная доставка нормальна и где находится ключ идемпотентности job?
  • Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?

Первичные материалы

S
Description
No description provided
Readme
89 MiB
Languages
Python 93.8%
Makefile 3.3%
Shell 2.9%