ЛР 5 — БВТ2301 — Курлова — на 5 #22

Closed
alenccha wants to merge 1 commits from alenccha/mtusi2026lab5:solution/bvt2301-kurlova into main
First-time contributor

Лабораторная 5

Автор / группа: Алёна Курлова, БВТ2301
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 1 «Очередь под перегрузкой»

Что реализовано и что перенесено:
Перенесён весь код lab4 (FastAPI, PostgreSQL, Valkey, MinIO, nginx, 2 реплики API, reconciler). Upload теперь отвечает 202 queued: перед ответом оригинал записывается в приватный staging/ в MinIO, а одной транзакцией сохраняются attachment, job и outbox. Добавлено:

  • RabbitMQ 4.0: quorum queue, publisher confirms, ручной ack, DLX/DLQ;
  • transactional outbox с relay в каждой API-реплике;
  • отдельный worker ×2: lease и heartbeat, обработка в дочернем процессе с лимитами памяти, CPU и времени;
  • варианты thumbnail 256 JPEG, crop 128 JPEG и optimized WebP 1280;
  • идемпотентный результат: ключ эффекта (attachment_id, pipeline_version, variant);
  • retry: 5 попыток, backoff с equal jitter, деление ошибок на постоянные и временные;
  • реестр failed и безопасный replay через scripts/jobs.py;
  • очистка staging;
  • admission control: MAX_PENDING_JOBS, при превышении 503 и Retry-After.

Команды запуска из чистого clone:
См. REPORT.md, раздел «Запуск из чистого clone»: создать .env и secrets/, затем docker compose --env-file .env up -d --build --wait и make check && make test. Свои проверки: student-tests/test_worker_down.py, student-tests/test_failure_windows.py, student-tests/variants_check.py, student-tests/track1_matrix.sh.

Результаты проверок и ссылка на REPORT.md:

  • make check, make test, make test-persistence, make test-failover (оба раза) — PASS.
  • Демо уровня 3 — PASS: worker остановлен → 202 → сообщение с вложением → рестарт API и брокера → ready. Дубль доставки готовой job — no-op.
  • Сценарии отказов уровня 4 A–I — PASS: crash API после COMMIT, crash worker после PUT и после COMMIT, зависший worker, backoff, постоянная ошибка, исчерпание попыток и replay, poison-сообщение в DLQ, остановленный брокер.
  • Трек 1: 3 размера × 4 настройки concurrency/prefetch × 2 повтора плюс перегрузка. Строгий admission limit держит очередь ровно на 30 (без него было до 81), после нагрузки система восстанавливается.

Вывод проверок — в evidence/, разбор — в REPORT.md.

Ограничения / известные ошибки:

  • Один узел RabbitMQ: данные на диске сохраняются, но отказоустойчивости нет. При недоступном брокере приём продолжается через outbox.

  • Нет reaper для задания, чьё сообщение потеряно вне гарантий брокера (например, удалён volume).

  • Fault injection включается только при FAULT_INJECTION=1, это учебный стенд.

  • Строгий admission лимит сериализует COMMIT загрузок одним advisory lock.

  • Результаты трека 1 сильно разошлись между повторами из-за хоста (ноутбук); конфигурации сравниваются внутри одного повтора.

  • ICC-профиль в вариантах удаляется.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод.

  • Сценарии отказов/безопасности своего уровня воспроизведены.

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 5 Автор / группа: Алёна Курлова, БВТ2301 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 1 «Очередь под перегрузкой» Что реализовано и что перенесено: Перенесён весь код lab4 (FastAPI, PostgreSQL, Valkey, MinIO, nginx, 2 реплики API, reconciler). Upload теперь отвечает 202 queued: перед ответом оригинал записывается в приватный `staging/` в MinIO, а одной транзакцией сохраняются attachment, job и outbox. Добавлено: - RabbitMQ 4.0: quorum queue, publisher confirms, ручной ack, DLX/DLQ; - transactional outbox с relay в каждой API-реплике; - отдельный worker ×2: lease и heartbeat, обработка в дочернем процессе с лимитами памяти, CPU и времени; - варианты thumbnail 256 JPEG, crop 128 JPEG и optimized WebP 1280; - идемпотентный результат: ключ эффекта `(attachment_id, pipeline_version, variant)`; - retry: 5 попыток, backoff с equal jitter, деление ошибок на постоянные и временные; - реестр failed и безопасный replay через `scripts/jobs.py`; - очистка staging; - admission control: `MAX_PENDING_JOBS`, при превышении 503 и Retry-After. Команды запуска из чистого clone: См. REPORT.md, раздел «Запуск из чистого clone»: создать `.env` и `secrets/`, затем `docker compose --env-file .env up -d --build --wait` и `make check && make test`. Свои проверки: `student-tests/test_worker_down.py`, `student-tests/test_failure_windows.py`, `student-tests/variants_check.py`, `student-tests/track1_matrix.sh`. Результаты проверок и ссылка на REPORT.md: - `make check`, `make test`, `make test-persistence`, `make test-failover` (оба раза) — PASS. - Демо уровня 3 — PASS: worker остановлен → 202 → сообщение с вложением → рестарт API и брокера → ready. Дубль доставки готовой job — no-op. - Сценарии отказов уровня 4 A–I — PASS: crash API после COMMIT, crash worker после PUT и после COMMIT, зависший worker, backoff, постоянная ошибка, исчерпание попыток и replay, poison-сообщение в DLQ, остановленный брокер. - Трек 1: 3 размера × 4 настройки concurrency/prefetch × 2 повтора плюс перегрузка. Строгий admission limit держит очередь ровно на 30 (без него было до 81), после нагрузки система восстанавливается. Вывод проверок — в `evidence/`, разбор — в REPORT.md. Ограничения / известные ошибки: - Один узел RabbitMQ: данные на диске сохраняются, но отказоустойчивости нет. При недоступном брокере приём продолжается через outbox. - Нет reaper для задания, чьё сообщение потеряно вне гарантий брокера (например, удалён volume). - Fault injection включается только при `FAULT_INJECTION=1`, это учебный стенд. - Строгий admission лимит сериализует COMMIT загрузок одним advisory lock. - Результаты трека 1 сильно разошлись между повторами из-за хоста (ноутбук); конфигурации сравниваются внутри одного повтора. - ICC-профиль в вариантах удаляется. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
alenccha added 1 commit 2026-11-06 12:12:34 +03:00
RabbitMQ + transactional outbox, отдельный worker (thumbnail/crop/WebP), lease и heartbeat, retry с backoff+jitter, DLQ и replay, admission control; тесты отказов, трек 1 и отчёт.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:50 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#22