Целевая оценка: 5; трек: 1 — очередь под перегрузкой
Что реализовано и что перенесено:
Перенесено из предыдущих лабораторных (1–4):
Публичное и защищенное REST API на Flask/Gunicorn, хеширование паролей Argon2id, управление сессиями Bearer-токенов в PostgreSQL и Redis;
Создание чатов, сообщений с keyset-пагинацией (created_at, id);
Идемпотентность POST-запросов сообщений (Idempotency-Key + advisory lock в транзакции PostgreSQL);
Балансировка нагрузки HAProxy с проверкой готовности (/health/ready) и заголовком X-Instance-Id;
Интеграция с приватным S3-совместимым хранилищем RustFS для сохранения оригиналов до 10 МиБ, валидация типов PNG/JPEG и лимит до 40 млн пикселей.
Реализовано в рамках Лабораторной 5 (уровни 3, 4 и трек 1 на 5):
Асинхронный приём вложений: устойчивый upload в приватный S3 staging-префикс с последующей фиксацией метаданных в статусе queued и созданием задачи в attachment_jobs до возврата HTTP 202;
Transactional Outbox: фоновый релей публикует задачи в брокер Redis Streams (attachment-jobs) с сохранением в AOF (appendfsync everysec);
Отдельный image-worker: параллельная обработка через ThreadPoolExecutor, детерминированные ключи вариантов variants/v1/{aid}/{variant}, построение thumbnail 256×256 JPEG, crop 128×128 JPEG и optimized 1280×1280 WebP (quality 82, без EXIF);
Идемпотентность и атомарность: фиксация статуса ready и метаданных вариантов в PostgreSQL перед отправкой XACK в брокер, удаление staging-исходника; повторные доставки готовой задачи являются no-op с подтверждением;
Обработка сбоев и retry: таймауты аренды (lease_until), экспоненциальный backoff с jitter (до 5 попыток), перемещение исчерпанных задач в DLQ (attachment-jobs-dlq), CLI-скрипт scripts/replay_failed.py для явного повтора оператором;
Backpressure: ограничение допустимого размера очереди (MAX_QUEUED_JOBS), при переполнении возвращается 503 без потери ранее принятых задач;
Трек 1: проведены замеры производительности на смешанном профиле (12 файлов) при concurrency 1, 2 и 4, сняты метрики throughput, ready latency, queue-wait и пикового RSS воркера.
Команды запуска из чистого clone:
# Инициализация секретов и конфигурации
python scripts/bootstrap.py
# Сборка и запуск контейнеров
docker compose config --quiet
docker compose up -d --build --scale api=2 --wait --wait-timeout 180# Проверки контракта и smoke-тест
python scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://localhost:8081
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
- Автор, группа: Дадайкин Андрей, БВТ2302
- Целевая оценка: 5; трек: 1 — очередь под перегрузкой
Что реализовано и что перенесено:
- Перенесено из предыдущих лабораторных (1–4):
- Публичное и защищенное REST API на Flask/Gunicorn, хеширование паролей Argon2id, управление сессиями Bearer-токенов в PostgreSQL и Redis;
- Создание чатов, сообщений с keyset-пагинацией `(created_at, id)`;
- Идемпотентность POST-запросов сообщений (`Idempotency-Key` + advisory lock в транзакции PostgreSQL);
- Балансировка нагрузки HAProxy с проверкой готовности (`/health/ready`) и заголовком `X-Instance-Id`;
- Интеграция с приватным S3-совместимым хранилищем RustFS для сохранения оригиналов до 10 МиБ, валидация типов PNG/JPEG и лимит до 40 млн пикселей.
- Реализовано в рамках Лабораторной 5 (уровни 3, 4 и трек 1 на 5):
- Асинхронный приём вложений: устойчивый upload в приватный S3 staging-префикс с последующей фиксацией метаданных в статусе `queued` и созданием задачи в `attachment_jobs` до возврата HTTP 202;
- Transactional Outbox: фоновый релей публикует задачи в брокер Redis Streams (`attachment-jobs`) с сохранением в AOF (`appendfsync everysec`);
- Отдельный image-worker: параллельная обработка через ThreadPoolExecutor, детерминированные ключи вариантов `variants/v1/{aid}/{variant}`, построение thumbnail 256×256 JPEG, crop 128×128 JPEG и optimized 1280×1280 WebP (quality 82, без EXIF);
- Идемпотентность и атомарность: фиксация статуса `ready` и метаданных вариантов в PostgreSQL перед отправкой `XACK` в брокер, удаление staging-исходника; повторные доставки готовой задачи являются no-op с подтверждением;
- Обработка сбоев и retry: таймауты аренды (`lease_until`), экспоненциальный backoff с jitter (до 5 попыток), перемещение исчерпанных задач в DLQ (`attachment-jobs-dlq`), CLI-скрипт `scripts/replay_failed.py` для явного повтора оператором;
- Backpressure: ограничение допустимого размера очереди (`MAX_QUEUED_JOBS`), при переполнении возвращается 503 без потери ранее принятых задач;
- Трек 1: проведены замеры производительности на смешанном профиле (12 файлов) при concurrency 1, 2 и 4, сняты метрики throughput, ready latency, queue-wait и пикового RSS воркера.
Команды запуска из чистого clone:
```sh
# Инициализация секретов и конфигурации
python scripts/bootstrap.py
# Сборка и запуск контейнеров
docker compose config --quiet
docker compose up -d --build --scale api=2 --wait --wait-timeout 180
# Проверки контракта и smoke-тест
python scripts/check_contract.py
python -X utf8 tests/smoke.py --base-url http://localhost:8081
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Что реализовано и что перенесено:
(created_at, id);Idempotency-Key+ advisory lock в транзакции PostgreSQL);/health/ready) и заголовкомX-Instance-Id;queuedи созданием задачи вattachment_jobsдо возврата HTTP 202;attachment-jobs) с сохранением в AOF (appendfsync everysec);variants/v1/{aid}/{variant}, построение thumbnail 256×256 JPEG, crop 128×128 JPEG и optimized 1280×1280 WebP (quality 82, без EXIF);readyи метаданных вариантов в PostgreSQL перед отправкойXACKв брокер, удаление staging-исходника; повторные доставки готовой задачи являются no-op с подтверждением;lease_until), экспоненциальный backoff с jitter (до 5 попыток), перемещение исчерпанных задач в DLQ (attachment-jobs-dlq), CLI-скриптscripts/replay_failed.pyдля явного повтора оператором;MAX_QUEUED_JOBS), при переполнении возвращается 503 без потери ранее принятых задач;Команды запуска из чистого clone:
Принято. Закрываю МР.
Pull request closed