ЛР 5 — БВТ2303 — Васюкова — на 4 #2

Closed
Vasyukova-Nat wants to merge 11 commits from Vasyukova-Nat/mtusi2026lab5:solution/BVT2303-Vasyukova into main
First-time contributor

Лабораторная 5

Автор / группа: Васюкова Наталья, БВТ2303
Целевая оценка: 4
Трек 5: не заявлен

Что реализовано и что перенесено:

  • Сохранён весь минимум lab1–lab4 с объявленными переходами API (upload 201 → 202, состояние асинхронное).
  • Добавлен RabbitMQ (quorum queue attachment.process.v1, retry с TTL 5/15/60 с, DLQ, publisher confirms, manual ack, prefetch_count=1).
  • Upload пишет байты в приватный staging-prefix MinIO и в одной транзакции сохраняет attachments (status=queued) + outbox. Ответ 202.
  • Отдельный worker python -m app.worker строит original + thumbnail (JPEG 256×256) + crop (JPEG 128×128) + optimized (WebP ≤1280×1280), атомарно фиксирует ready.
  • Отдельный outbox-publisher закрывает разрыв COMMIT → publish; worker переподключается к брокеру сам.
  • Идемпотентность эффекта по (attachment_id, pipeline_version, variant); повтор job — no-op.
  • Retry с backoff, failed с безопасным error_code (invalid_image, retry_exhausted), DLQ.
  • Lease processing_until и recover_stuck_processing; s3_cleanup дополнительно чистит staging и возвращает зависшие processing в queued.

Команды запуска из чистого clone:

git clone <repo> && git checkout solution/BVT2303-Vasyukova
copy .env.example .env
docker compose --env-file .env up -d --build
curl.exe -s http://localhost:8080/health/ready
$env:PYTHONUTF8="1"
python tests/smoke.py --base-url http://localhost:8080

Результаты проверок и ссылка на REPORT.md:

  • tests/smoke.py → PASS (lab5).
  • tests/resilience.py --mode persistence → PASS.
  • tests/resilience.py --mode failover → PASS, 2 реплики, 7 успешных записей, first_recovery=4.245 с.
  • student-tests/lab5_test_level4.py → PASS (variants, outbox crash, duplicate, worker stop, DLQ, lease).
  • Полный вывод и таблица доказательств — в REPORT.md.

Ограничения / известные ошибки:

  • Один Docker-host, все stores — единичные экземпляры (SPOF). HA не заявляется.
  • Outbox-polling раз в 2 с (задержка публикации ≤2 с).
  • At-least-once, не exactly-once; replay из DLQ — только ручной.
  • PIPELINE_VERSION=1; versioned pipeline (трек 5) не реализован.
  • Тело upload читается в память API; для 10 MiB и текущих лимитов — приемлемо.

Источники и использование ИИ:

  • Контракт: contracts/openapi.json, contracts/README.md, contracts/attachment-states.md, contracts/jobs.schema.json.

  • Библиотеки: fastapi 0.115.0, uvicorn 0.32.0, psycopg 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2.

  • ИИ: DeepSeek — помощь в структурировании кода и отчёта. Код проверен, отредактирован и запущен разработчиком.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.

  • Контракт и публичные тесты не ослаблены.

  • make check и make test выполнены; приложен реальный вывод (в REPORT.md).

  • Сценарии отказов/безопасности своего уровня воспроизведены (outbox crash, DLQ, lease, stop worker, failover).

  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.

  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.

## Лабораторная 5 Автор / группа: Васюкова Наталья, БВТ2303 Целевая оценка: 4 Трек 5: не заявлен **Что реализовано и что перенесено:** - Сохранён весь минимум lab1–lab4 с объявленными переходами API (upload `201` → `202`, состояние асинхронное). - Добавлен RabbitMQ (quorum queue `attachment.process.v1`, retry с TTL 5/15/60 с, DLQ, publisher confirms, manual ack, `prefetch_count=1`). - Upload пишет байты в приватный staging-prefix MinIO и в одной транзакции сохраняет `attachments` (`status=queued`) + `outbox`. Ответ `202`. - Отдельный worker `python -m app.worker` строит original + thumbnail (JPEG 256×256) + crop (JPEG 128×128) + optimized (WebP ≤1280×1280), атомарно фиксирует `ready`. - Отдельный outbox-publisher закрывает разрыв COMMIT → publish; worker переподключается к брокеру сам. - Идемпотентность эффекта по `(attachment_id, pipeline_version, variant)`; повтор job — no-op. - Retry с backoff, `failed` с безопасным `error_code` (`invalid_image`, `retry_exhausted`), DLQ. - Lease `processing_until` и `recover_stuck_processing`; `s3_cleanup` дополнительно чистит staging и возвращает зависшие processing в `queued`. **Команды запуска из чистого clone:** ``` git clone <repo> && git checkout solution/BVT2303-Vasyukova copy .env.example .env docker compose --env-file .env up -d --build curl.exe -s http://localhost:8080/health/ready $env:PYTHONUTF8="1" python tests/smoke.py --base-url http://localhost:8080 ``` **Результаты проверок и ссылка на REPORT.md:** - `tests/smoke.py` → PASS (lab5). - `tests/resilience.py --mode persistence` → PASS. - `tests/resilience.py --mode failover` → PASS, 2 реплики, 7 успешных записей, first_recovery=4.245 с. - `student-tests/lab5_test_level4.py` → PASS (variants, outbox crash, duplicate, worker stop, DLQ, lease). - Полный вывод и таблица доказательств — в `REPORT.md`. **Ограничения / известные ошибки:** - Один Docker-host, все stores — единичные экземпляры (SPOF). HA не заявляется. - Outbox-polling раз в 2 с (задержка публикации ≤2 с). - At-least-once, не exactly-once; replay из DLQ — только ручной. - `PIPELINE_VERSION=1`; versioned pipeline (трек 5) не реализован. - Тело upload читается в память API; для 10 MiB и текущих лимитов — приемлемо. **Источники и использование ИИ:** - Контракт: `contracts/openapi.json`, `contracts/README.md`, `contracts/attachment-states.md`, `contracts/jobs.schema.json`. - Библиотеки: fastapi 0.115.0, uvicorn 0.32.0, psycopg 3.2.3, psycopg_pool 3.2.3, redis 5.2.0, boto3 1.35.74, Pillow 11.0.0, pika 1.3.2. - ИИ: DeepSeek — помощь в структурировании кода и отчёта. Код проверен, отредактирован и запущен разработчиком. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод (в `REPORT.md`). - [x] Сценарии отказов/безопасности своего уровня воспроизведены (outbox crash, DLQ, lease, stop worker, failover). - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Vasyukova-Nat added 9 commits 2026-10-23 00:32:25 +03:00
Owner

Самые криты:

  • Cleanup удаляет файл ещё не выполненной задачи. Если worker недоступен больше часа, уже принятая загрузка теряется. Нужно сохранять staging для queued/processing. Это реальная проблема сохранности данных.

  • Нет рабочего replay failed-задач. После устранения причины ошибки задачу нельзя штатно вернуть в обработку. Достаточно небольшого операторского скрипта с переходом failed → queued, записью о повторе и защитой уже готовых задач.

Самые криты: - Cleanup удаляет файл ещё не выполненной задачи. Если worker недоступен больше часа, уже принятая загрузка теряется. Нужно сохранять staging для queued/processing. Это реальная проблема сохранности данных. - Нет рабочего replay failed-задач. После устранения причины ошибки задачу нельзя штатно вернуть в обработку. Достаточно небольшого операторского скрипта с переходом failed → queued, записью о повторе и защитой уже готовых задач.
Vasyukova-Nat added 1 commit 2026-10-23 13:13:09 +03:00
Vasyukova-Nat added 1 commit 2026-10-23 13:17:28 +03:00
Author
First-time contributor

Исправила указанные замечания.

Исправила указанные замечания.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-24 16:17:46 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#2