ЛР 5 — БВТ2303— Бабиченко— на 4 #3

Closed
Kalibr wants to merge 2 commits from Kalibr/mtusi2026lab5:solution/bvt2303-babichenko into main
First-time contributor

Лабораторная 5

Автор / группа: Бабиченко Максим, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено

Из lab4 сохранено всё: пользователи, сессии в Redis, чаты, сообщения, идемпотентность, HAProxy + 2 реплики API, потоковая проверка файлов, приватный bucket SeaweedFS с ограниченным ключом, janitor. Объявленный переход: загрузка вложения теперь возвращает 202 queued вместо 201.

Новое в lab5:

  • Приём (граница 202): оригинал целиком пишется в приватный S3-prefix staging/, затем одной транзакцией PostgreSQL — state=queued + attachment_jobs + строка outbox. У API нет доступа к брокеру, недоступность брокера или worker приём не останавливает.
  • Брокер: RabbitMQ 4.1.4, durable quorum-очередь с volume, x-delivery-limit, at-least-once dead-lettering в DLQ. Топология и пользователи — декларативные definitions; у сервисов нет права configure, только минимальные write/read.
  • Transactional outbox: отдельный dispatcher публикует строки outbox с publisher confirms и отмечает их только после confirm; восстанавливает просроченные аренды и переопубликует queued-задания без сообщения в полёте.
  • Worker: отдельный сервис, 2 потока, prefetch=1, ручной ack только после PUT в S3 и COMMIT результата. Аренда processing (15 с, продлевается) с fencing-токеном: зависший worker не зафиксирует результат поверх нового.
  • Варианты (pipeline v1): thumbnail JPEG 256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP ≤1280; EXIF orientation, alpha на белый, без увеличения, EXIF/XMP в вариантах удаляются. Ключ эффекта (attachment_id, pipeline_version, variant) — первичный ключ таблицы вариантов и детерминированные ключи S3.
  • Лимиты worker: обработка в дочернем процессе с RLIMIT_AS=512 MiB, RLIMIT_CPU, таймаутом 60 с; повторная проверка размера, SHA-256 и числа пикселей.
  • Ошибки: 5 попыток, backoff с jitter, постоянные ошибки (invalid_image, resource_limit, …) — сразу failed, временные — повтор, затем retry_exhausted. Реестр failed + журнал job_events, безопасный replay и разбор DLQ (ops.py); replay успешной job отклоняется.
  • Очистка staging: worker сразу после фиксации, janitor — если не успел; исходник failed хранится 24 ч для replay.
  • Тесты отказов: student-tests/test_jobs.py с внедрением сбоев (faults.py) во все окна контракта.

Команды запуска из чистого clone

$env:PYTHONUTF8 = "1"
Copy-Item .env.example .env
python scripts/init_secrets.py
docker compose up -d --build --wait
python student-tests/collect_evidence.py

Подробно (без make, отдельные проверки, остановка и удаление данных) — REPORT.md, раздел «Запуск из чистого clone».

Результаты проверок

Полный collect_evidence.py на Docker-стенде — 26 шагов PASS, сводка в evidence/summary.md, таблицы — в REPORT.md. Ключевые сценарии:

  • smoke (202 → ready → настоящий JPEG thumbnail), persistence, failover, тесты lab1–4;
  • worker остановлен → upload 202 → сообщение с вложением → рестарт API и RabbitMQ с volumes → worker → тот же job ready;
  • брокер остановлен → 202 и /health/ready 200, outbox ждёт и публикуется после восстановления;
  • crash dispatcher между COMMIT и publish и после confirm; crash worker после PUT до COMMIT и после COMMIT до ack — везде ровно один набор вариантов;
  • зависший worker → аренда истекла → задание выполнено другим потоком, поздний результат отклонён;
  • ретраи с jitter, retry_exhausted + replay, DLQ, лимиты памяти/времени (пик 227 MiB при лимите 512 MiB), конкуренция ровно 2.

Исправлено при первом запуске в Docker

  • infra/rabbitmq.conf: путь к definitions — /run/secrets/rabbitmq_definitions (Compose монтирует секрет под его именем).
  • janitor: вместо отключённого healthcheck — файл-пульс, как у worker/dispatcher (с отключённым up --wait падал).
  • Тесты: пробник работает и при остановленном worker; upload_memory.py переведён на 202; сценарий staging не зависит от фонового прохода janitor.

Ограничения / известные ошибки

  • Один узел RabbitMQ: durability есть, отказоустойчивости узла нет.
  • Worker использует тот же ограниченный S3-ключ, что и API.
  • Точки внедрения сбоев включены на учебном стенде (FAULT_INJECTION=1), выключаются в .env.
  • Replay — CLI оператора в контейнере dispatcher, а не API.
  • .env.example приведён к реальной конфигурации решения (в skeleton были SESSION_STORE=postgres, S3_ENDPOINT=http://s3:9000, с которыми API этого решения не стартует).

Источники и использование ИИ

Документация RabbitMQ (reliability, confirms, quorum queues, definitions, access control), PostgreSQL (FOR UPDATE SKIP LOCKED, LISTEN/NOTIFY), паттерн transactional outbox, Pillow, setrlimit(2). При написании кода и тестов использовался ИИ-ассистент;

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Бабиченко Максим, БВТ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен **Что реализовано и что перенесено** Из lab4 сохранено всё: пользователи, сессии в Redis, чаты, сообщения, идемпотентность, HAProxy + 2 реплики API, потоковая проверка файлов, приватный bucket SeaweedFS с ограниченным ключом, janitor. Объявленный переход: загрузка вложения теперь возвращает `202 queued` вместо `201`. Новое в lab5: - **Приём (граница 202):** оригинал целиком пишется в приватный S3-prefix `staging/`, затем одной транзакцией PostgreSQL — `state=queued` + `attachment_jobs` + строка `outbox`. У API нет доступа к брокеру, недоступность брокера или worker приём не останавливает. - **Брокер:** RabbitMQ 4.1.4, durable quorum-очередь с volume, `x-delivery-limit`, at-least-once dead-lettering в DLQ. Топология и пользователи — декларативные definitions; у сервисов нет права `configure`, только минимальные write/read. - **Transactional outbox:** отдельный `dispatcher` публикует строки outbox с publisher confirms и отмечает их только после confirm; восстанавливает просроченные аренды и переопубликует queued-задания без сообщения в полёте. - **Worker:** отдельный сервис, 2 потока, `prefetch=1`, ручной ack только после PUT в S3 и COMMIT результата. Аренда processing (15 с, продлевается) с fencing-токеном: зависший worker не зафиксирует результат поверх нового. - **Варианты (pipeline v1):** thumbnail JPEG 256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP ≤1280; EXIF orientation, alpha на белый, без увеличения, EXIF/XMP в вариантах удаляются. Ключ эффекта `(attachment_id, pipeline_version, variant)` — первичный ключ таблицы вариантов и детерминированные ключи S3. - **Лимиты worker:** обработка в дочернем процессе с `RLIMIT_AS=512 MiB`, `RLIMIT_CPU`, таймаутом 60 с; повторная проверка размера, SHA-256 и числа пикселей. - **Ошибки:** 5 попыток, backoff с jitter, постоянные ошибки (`invalid_image`, `resource_limit`, …) — сразу failed, временные — повтор, затем `retry_exhausted`. Реестр failed + журнал `job_events`, безопасный replay и разбор DLQ (`ops.py`); replay успешной job отклоняется. - **Очистка staging:** worker сразу после фиксации, janitor — если не успел; исходник failed хранится 24 ч для replay. - **Тесты отказов:** `student-tests/test_jobs.py` с внедрением сбоев (`faults.py`) во все окна контракта. **Команды запуска из чистого clone** ```powershell $env:PYTHONUTF8 = "1" Copy-Item .env.example .env python scripts/init_secrets.py docker compose up -d --build --wait python student-tests/collect_evidence.py ``` Подробно (без make, отдельные проверки, остановка и удаление данных) — REPORT.md, раздел «Запуск из чистого clone». **Результаты проверок** Полный `collect_evidence.py` на Docker-стенде — 26 шагов PASS, сводка в `evidence/summary.md`, таблицы — в REPORT.md. Ключевые сценарии: - smoke (202 → ready → настоящий JPEG thumbnail), persistence, failover, тесты lab1–4; - worker остановлен → upload 202 → сообщение с вложением → рестарт API и RabbitMQ с volumes → worker → тот же job ready; - брокер остановлен → 202 и `/health/ready` 200, outbox ждёт и публикуется после восстановления; - crash dispatcher между COMMIT и publish и после confirm; crash worker после PUT до COMMIT и после COMMIT до ack — везде ровно один набор вариантов; - зависший worker → аренда истекла → задание выполнено другим потоком, поздний результат отклонён; - ретраи с jitter, `retry_exhausted` + replay, DLQ, лимиты памяти/времени (пик 227 MiB при лимите 512 MiB), конкуренция ровно 2. **Исправлено при первом запуске в Docker** - `infra/rabbitmq.conf`: путь к definitions — `/run/secrets/rabbitmq_definitions` (Compose монтирует секрет под его именем). - `janitor`: вместо отключённого healthcheck — файл-пульс, как у worker/dispatcher (с отключённым `up --wait` падал). - Тесты: пробник работает и при остановленном worker; `upload_memory.py` переведён на 202; сценарий staging не зависит от фонового прохода janitor. **Ограничения / известные ошибки** - Один узел RabbitMQ: durability есть, отказоустойчивости узла нет. - Worker использует тот же ограниченный S3-ключ, что и API. - Точки внедрения сбоев включены на учебном стенде (`FAULT_INJECTION=1`), выключаются в `.env`. - Replay — CLI оператора в контейнере dispatcher, а не API. - `.env.example` приведён к реальной конфигурации решения (в skeleton были `SESSION_STORE=postgres`, `S3_ENDPOINT=http://s3:9000`, с которыми API этого решения не стартует). **Источники и использование ИИ** Документация RabbitMQ (reliability, confirms, quorum queues, definitions, access control), PostgreSQL (`FOR UPDATE SKIP LOCKED`, `LISTEN/NOTIFY`), паттерн transactional outbox, Pillow, `setrlimit(2)`. При написании кода и тестов использовался ИИ-ассистент; - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Kalibr added 1 commit 2026-10-24 16:07:18 +03:00
Owner

Подтверждён один существенный дефект: janitor может удалить результат успешно завершённого replay. В janitor.py:201 повторная проверка состояния и последующий DELETE не синхронизированы с replay.
Минимальное воспроизведение:

  1. После реального crash worker за записью объектов и четырёх временных ошибок получить failed/retry_exhausted с оставшимися объектами.
  2. Дождаться их реального возраста свыше grace; в проверке использован допустимый grace 120 с. Приостановить отдельный процесс janitor после последней проверки still_orphan, перед DELETE.
  3. Выполнить штатный ops.py replay: то же задание становится ready, все четыре файла скачиваются с 200.
  4. Продолжить janitor: он удаляет заново записанный crop.jpg. Метаданные остаются ready, но /content?variant=crop возвращает 503 unavailable вместо ожидаемого 200.
    Нужна синхронизация очистки с replay/publish либо защита нового объекта от удаления устаревшим проходом.
Подтверждён один существенный дефект: janitor может удалить результат успешно завершённого replay. В [janitor.py:201](https://gitea.privcloud.tech/Kalibr/mtusi2026lab5/src/commit/9863bb0505f83c7d8d0fa73f6f18d25a8a6f7c43/janitor.py#L201) повторная проверка состояния и последующий DELETE не синхронизированы с replay. Минимальное воспроизведение: 1. После реального crash worker за записью объектов и четырёх временных ошибок получить failed/retry_exhausted с оставшимися объектами. 2. Дождаться их реального возраста свыше grace; в проверке использован допустимый grace 120 с. Приостановить отдельный процесс janitor после последней проверки still_orphan, перед DELETE. 3. Выполнить штатный ops.py replay: то же задание становится ready, все четыре файла скачиваются с 200. 4. Продолжить janitor: он удаляет заново записанный crop.jpg. Метаданные остаются ready, но /content?variant=crop возвращает 503 unavailable вместо ожидаемого 200. Нужна синхронизация очистки с replay/publish либо защита нового объекта от удаления устаревшим проходом.
Kalibr added 1 commit 2026-10-26 13:42:16 +03:00
Author
First-time contributor

Исправил, janitor больше не удаляет объекты failed-вложения, пока возможен replay, а проверку и удаление делает под блокировкой строки.

Исправил, janitor больше не удаляет объекты failed-вложения, пока возможен replay, а проверку и удаление делает под блокировкой строки.
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-10-31 16:00:20 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#3