ЛР 5 - БВТ2301 - Козырев - на 5 #6

Closed
kozyrev_matvey wants to merge 6 commits from kozyrev_matvey/mtusi2026lab5:solution/BVT2301-Kozyrev into main
First-time contributor

Лабораторная работа №5

Студент: Козырев, БВТ2301
Ветка: solution/BVT2301-Kozyrev
Целевая оценка: 5
Трек: 1 — «Очередь под перегрузкой»

Что реализовано

  • Сохранён обязательный минимум lab4. Upload принимает все байты файла и возвращает 202 queued; готовность проверяется через метаданные.
  • Добавлены RabbitMQ, отдельный worker и transactional outbox.
  • Реализованы состояния queued, processing, ready, failed.
  • Worker создаёт thumbnail JPEG, crop 128×128 и optimized WebP; исходный файл сохраняется неизменным.
  • Добавлены ограниченные retries с backoff/jitter, lease recovery, DLQ и операторский replay.
  • Реализованы защита от повторной доставки и устаревших попыток, ограничения памяти/времени обработки и безопасная очистка непривязанных объектов.
  • При перегрузке применяется глобальный лимит принятых задач с ответом 429.
  • Добавлена повторная публикация зависших queued-задач.

Проверки

Успешно выполнены:

  • make check, полная OpenAPI-валидация и публичный smoke;
  • 15 локальных регрессионных тестов;
  • проверки вложений, S3 permissions и конкурентной идемпотентности;
  • persistence и failover обеих API-реплик;
  • остановка worker и перезапуск API/broker с последующим завершением принятой задачи;
  • crash после COMMIT до publish и crash worker после записи S3 до COMMIT/ack;
  • повторная доставка, lease recovery, исчерпание retry и replay;
  • реальные SQL-проверки backoff, fencing и восстановления зависших queued;
  • ограничения памяти/времени, ACL, DLQ и безопасная очистка.

Исследование трека 1

Проверены профили concurrency/prefetch 1/1, 2/2, 4/4 на PNG размером 512×512 и 2400×2400.

Каждый прогон: 160 запросов, 16 клиентских потоков, лимит 32 незавершённые задачи.

Итого:

  • 960 запросов;
  • 220 принятых задач — все достигли ready;
  • 740 ожидаемых ответов 429;
  • ошибок обработки и таймаутов — 0;
  • после каждого прогона очередь опустела и контрольная загрузка завершилась.

Измерены throughput, queue wait, p50/p95/p99 времени до ready и RSS. В этой серии профиль 4/4 не увеличил throughput относительно 2/2, но потребовал больше памяти.

Доказательства и ограничения

Методика, результаты, команды запуска и архитектура: REPORT.md.

Фактические результаты проверок: evidence.

Исследование использует closed-loop burst и по одному прогону на комбинацию. Polling и дискретное измерение RSS ограничивают точность; результаты не являются оценкой максимальной производительности.

Стенд работает на одном Docker-host и не обеспечивает устойчивость к его потере. Запуск из отдельного чистого clone отдельно не проверялся.

Чек-лист

  • Обязательный минимум сохранён с объявленным переходом upload на 202.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены.
  • Отказные сценарии своего уровня воспроизведены.
  • Исследование трека 1 выполнено, реальные результаты приложены.
  • Проверка секретов не обнаружила совпадений в проверенной области.
  • README задания сохранён, REPORT.md заполнен.

Использование ИИ

Codex использовался для реализации, аудита, исправлений, подготовки тестов и документации. Mock-регрессии отделены от реальных интеграционных и нагрузочных результатов.

## Лабораторная работа №5 **Студент:** Козырев, БВТ2301 **Ветка:** solution/BVT2301-Kozyrev **Целевая оценка:** 5 **Трек:** 1 — «Очередь под перегрузкой» ### Что реализовано - Сохранён обязательный минимум lab4. Upload принимает все байты файла и возвращает `202 queued`; готовность проверяется через метаданные. - Добавлены RabbitMQ, отдельный worker и transactional outbox. - Реализованы состояния `queued`, `processing`, `ready`, `failed`. - Worker создаёт thumbnail JPEG, crop 128×128 и optimized WebP; исходный файл сохраняется неизменным. - Добавлены ограниченные retries с backoff/jitter, lease recovery, DLQ и операторский replay. - Реализованы защита от повторной доставки и устаревших попыток, ограничения памяти/времени обработки и безопасная очистка непривязанных объектов. - При перегрузке применяется глобальный лимит принятых задач с ответом `429`. - Добавлена повторная публикация зависших queued-задач. ### Проверки Успешно выполнены: - `make check`, полная OpenAPI-валидация и публичный smoke; - 15 локальных регрессионных тестов; - проверки вложений, S3 permissions и конкурентной идемпотентности; - persistence и failover обеих API-реплик; - остановка worker и перезапуск API/broker с последующим завершением принятой задачи; - crash после COMMIT до publish и crash worker после записи S3 до COMMIT/ack; - повторная доставка, lease recovery, исчерпание retry и replay; - реальные SQL-проверки backoff, fencing и восстановления зависших queued; - ограничения памяти/времени, ACL, DLQ и безопасная очистка. ### Исследование трека 1 Проверены профили concurrency/prefetch `1/1`, `2/2`, `4/4` на PNG размером `512×512` и `2400×2400`. Каждый прогон: 160 запросов, 16 клиентских потоков, лимит 32 незавершённые задачи. Итого: - 960 запросов; - 220 принятых задач — все достигли `ready`; - 740 ожидаемых ответов `429`; - ошибок обработки и таймаутов — 0; - после каждого прогона очередь опустела и контрольная загрузка завершилась. Измерены throughput, queue wait, p50/p95/p99 времени до ready и RSS. В этой серии профиль `4/4` не увеличил throughput относительно `2/2`, но потребовал больше памяти. ### Доказательства и ограничения Методика, результаты, команды запуска и архитектура: [REPORT.md](../REPORT.md). Фактические результаты проверок: [evidence](../evidence). Исследование использует closed-loop burst и по одному прогону на комбинацию. Polling и дискретное измерение RSS ограничивают точность; результаты не являются оценкой максимальной производительности. Стенд работает на одном Docker-host и не обеспечивает устойчивость к его потере. Запуск из отдельного чистого clone отдельно не проверялся. ### Чек-лист - [x] Обязательный минимум сохранён с объявленным переходом upload на `202`. - [x] Контракт и публичные тесты не ослаблены. - [x] `make check` и `make test` выполнены. - [x] Отказные сценарии своего уровня воспроизведены. - [x] Исследование трека 1 выполнено, реальные результаты приложены. - [x] Проверка секретов не обнаружила совпадений в проверенной области. - [x] README задания сохранён, REPORT.md заполнен. ### Использование ИИ Codex использовался для реализации, аудита, исправлений, подготовки тестов и документации. Mock-регрессии отделены от реальных интеграционных и нагрузочных результатов.
kozyrev_matvey added 6 commits 2026-10-27 12:29:36 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:18 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#6