ЛР 5 — БВТ2302 — Дадайкин — на 5 #37

Closed
dadaykin wants to merge 2 commits from dadaykin/mtusi2026lab5:main into main
First-time contributor

Лабораторная 5

  • Автор, группа: Дадайкин Андрей, БВТ2302
  • Целевая оценка: 5; трек: 1 — очередь под перегрузкой

Что реализовано и что перенесено:

  • Перенесено из предыдущих лабораторных (1–4):
    • Публичное и защищенное REST API на Flask/Gunicorn, хеширование паролей Argon2id, управление сессиями Bearer-токенов в PostgreSQL и Redis;
    • Создание чатов, сообщений с keyset-пагинацией (created_at, id);
    • Идемпотентность POST-запросов сообщений (Idempotency-Key + advisory lock в транзакции PostgreSQL);
    • Балансировка нагрузки HAProxy с проверкой готовности (/health/ready) и заголовком X-Instance-Id;
    • Интеграция с приватным S3-совместимым хранилищем RustFS для сохранения оригиналов до 10 МиБ, валидация типов PNG/JPEG и лимит до 40 млн пикселей.
  • Реализовано в рамках Лабораторной 5 (уровни 3, 4 и трек 1 на 5):
    • Асинхронный приём вложений: устойчивый upload в приватный S3 staging-префикс с последующей фиксацией метаданных в статусе queued и созданием задачи в attachment_jobs до возврата HTTP 202;
    • Transactional Outbox: фоновый релей публикует задачи в брокер Redis Streams (attachment-jobs) с сохранением в AOF (appendfsync everysec);
    • Отдельный image-worker: параллельная обработка через ThreadPoolExecutor, детерминированные ключи вариантов variants/v1/{aid}/{variant}, построение thumbnail 256×256 JPEG, crop 128×128 JPEG и optimized 1280×1280 WebP (quality 82, без EXIF);
    • Идемпотентность и атомарность: фиксация статуса ready и метаданных вариантов в PostgreSQL перед отправкой XACK в брокер, удаление staging-исходника; повторные доставки готовой задачи являются no-op с подтверждением;
    • Обработка сбоев и retry: таймауты аренды (lease_until), экспоненциальный backoff с jitter (до 5 попыток), перемещение исчерпанных задач в DLQ (attachment-jobs-dlq), CLI-скрипт scripts/replay_failed.py для явного повтора оператором;
    • Backpressure: ограничение допустимого размера очереди (MAX_QUEUED_JOBS), при переполнении возвращается 503 без потери ранее принятых задач;
    • Трек 1: проведены замеры производительности на смешанном профиле (12 файлов) при concurrency 1, 2 и 4, сняты метрики throughput, ready latency, queue-wait и пикового RSS воркера.

Команды запуска из чистого clone:

# Инициализация секретов и конфигурации
python scripts/bootstrap.py

# Сборка и запуск контейнеров
docker compose config --quiet
docker compose up -d --build --scale api=2 --wait --wait-timeout 180

# Проверки контракта и smoke-тест
python scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://localhost:8081

- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 - Автор, группа: Дадайкин Андрей, БВТ2302 - Целевая оценка: 5; трек: 1 — очередь под перегрузкой Что реализовано и что перенесено: - Перенесено из предыдущих лабораторных (1–4): - Публичное и защищенное REST API на Flask/Gunicorn, хеширование паролей Argon2id, управление сессиями Bearer-токенов в PostgreSQL и Redis; - Создание чатов, сообщений с keyset-пагинацией `(created_at, id)`; - Идемпотентность POST-запросов сообщений (`Idempotency-Key` + advisory lock в транзакции PostgreSQL); - Балансировка нагрузки HAProxy с проверкой готовности (`/health/ready`) и заголовком `X-Instance-Id`; - Интеграция с приватным S3-совместимым хранилищем RustFS для сохранения оригиналов до 10 МиБ, валидация типов PNG/JPEG и лимит до 40 млн пикселей. - Реализовано в рамках Лабораторной 5 (уровни 3, 4 и трек 1 на 5): - Асинхронный приём вложений: устойчивый upload в приватный S3 staging-префикс с последующей фиксацией метаданных в статусе `queued` и созданием задачи в `attachment_jobs` до возврата HTTP 202; - Transactional Outbox: фоновый релей публикует задачи в брокер Redis Streams (`attachment-jobs`) с сохранением в AOF (`appendfsync everysec`); - Отдельный image-worker: параллельная обработка через ThreadPoolExecutor, детерминированные ключи вариантов `variants/v1/{aid}/{variant}`, построение thumbnail 256×256 JPEG, crop 128×128 JPEG и optimized 1280×1280 WebP (quality 82, без EXIF); - Идемпотентность и атомарность: фиксация статуса `ready` и метаданных вариантов в PostgreSQL перед отправкой `XACK` в брокер, удаление staging-исходника; повторные доставки готовой задачи являются no-op с подтверждением; - Обработка сбоев и retry: таймауты аренды (`lease_until`), экспоненциальный backoff с jitter (до 5 попыток), перемещение исчерпанных задач в DLQ (`attachment-jobs-dlq`), CLI-скрипт `scripts/replay_failed.py` для явного повтора оператором; - Backpressure: ограничение допустимого размера очереди (`MAX_QUEUED_JOBS`), при переполнении возвращается 503 без потери ранее принятых задач; - Трек 1: проведены замеры производительности на смешанном профиле (12 файлов) при concurrency 1, 2 и 4, сняты метрики throughput, ready latency, queue-wait и пикового RSS воркера. Команды запуска из чистого clone: ```sh # Инициализация секретов и конфигурации python scripts/bootstrap.py # Сборка и запуск контейнеров docker compose config --quiet docker compose up -d --build --scale api=2 --wait --wait-timeout 180 # Проверки контракта и smoke-тест python scripts/check_contract.py python -X utf8 tests/smoke.py --base-url http://localhost:8081 - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
dadaykin added 2 commits 2026-11-10 00:04:01 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 21:47:55 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#37