ЛР 5 - БВТ2303 - Гаджиев - на 4 #4

Closed
ng14 wants to merge 2 commits from ng14/mtusi2026lab5:solution/bvt2303-gadzhiev into main
First-time contributor

Лабораторная 5

Автор / группа: Гаджиев Нухбала, БВТ2303
Целевая оценка (3/4/5): 4
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено: перенесён весь стенд lab4 (HAProxy → 2 реплики API → PostgreSQL + Valkey + S3 SeaweedFS, migrate, s3-init). Добавлены брокер RabbitMQ 4.2.9 (quorum queue на volume rabbitmqdata, publisher confirms, ручной ack, DLQ attachments.dead, права пользователя только на attachments*, без веб-консоли) и отдельный сервис worker. Загрузка теперь отвечает 202 queued: оригинал кладётся в staging S3, а вложение, задание и строка outbox пишутся одной транзакцией. В брокер задание отправляет relay outbox в каждой реплике API (FOR UPDATE SKIP LOCKED, отметка только после подтверждения брокера). Worker делает thumbnail 256×256 (JPEG), crop 128×128 (JPEG) и optimized 1280×1280 (WebP): EXIF-ориентация применяется, прозрачность в JPEG на белом, метаданные удаляются. Обработка идёт в дочернем процессе с лимитами памяти (RLIMIT_AS) и времени; JPEG проверяется строго (libjpeg-turbo). Состояния queued/processing/ready/failed видны в API, /content отвечает 409, пока вложение не готово. Сделаны: lease с продлением и fencing-жетоном, до 5 попыток с backoff и jitter, разделение постоянных и временных ошибок, реестр failed и явный replay с журналом (replay готового — no-op), очистка staging после COMMIT и уборка объектов без ссылок с grace period. В API проверка картинки стала потоковой проверкой структуры без декодирования: PNG по спецификации (CRC, палитра, фильтры строк, ничего после IEND), JPEG по маркерам. В /health/ready добавлен S3.
Команды запуска из чистого clone: cp .env.example .env && sh scripts/init-secrets.sh && docker compose up -d --build --wait, затем make check, make test и проверки из REPORT.md (раздел «Запуск из чистого clone»).
Результаты проверок и ссылка на REPORT.md: make check и make test — PASS. Демонстрация с остановленным worker и перезапуском API и брокера, повторная доставка, падения API и relay между COMMIT и publish, падение worker после записи в S3 до ack, повторы, DLQ и replay, lease для зависшего worker, ограничение параллельности, очистка staging, проверки вариантов и лимитов: всё в REPORT.md, вывод в evidence/.
Ограничения / известные ошибки: один узел, RabbitMQ и SeaweedFS в одном экземпляре. Доставка at-least-once, дубли распознаются по состоянию задания. Пока S3 недоступен, API целиком не готов (503): это сознательный выбор, без S3 нельзя принять файл в staging. Задание упавшего чужого worker ждёт до 30 с (срок lease). Точки отказа для тестов включены только на учебном стенде. Подробно в REPORT.md, раздел «Ограничения».
Источники и использование ИИ: документация RabbitMQ (reliability, confirms, quorum queues, DLX), pika, PostgreSQL, Pillow, спецификация PNG (список в REPORT.md). ИИ использовался как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Гаджиев Нухбала, БВТ2303 Целевая оценка (3/4/5): 4 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: перенесён весь стенд lab4 (HAProxy → 2 реплики API → PostgreSQL + Valkey + S3 SeaweedFS, migrate, s3-init). Добавлены брокер RabbitMQ 4.2.9 (quorum queue на volume `rabbitmqdata`, publisher confirms, ручной ack, DLQ `attachments.dead`, права пользователя только на `attachments*`, без веб-консоли) и отдельный сервис `worker`. Загрузка теперь отвечает 202 queued: оригинал кладётся в staging S3, а вложение, задание и строка outbox пишутся одной транзакцией. В брокер задание отправляет relay outbox в каждой реплике API (`FOR UPDATE SKIP LOCKED`, отметка только после подтверждения брокера). Worker делает thumbnail 256×256 (JPEG), crop 128×128 (JPEG) и optimized 1280×1280 (WebP): EXIF-ориентация применяется, прозрачность в JPEG на белом, метаданные удаляются. Обработка идёт в дочернем процессе с лимитами памяти (RLIMIT_AS) и времени; JPEG проверяется строго (libjpeg-turbo). Состояния queued/processing/ready/failed видны в API, /content отвечает 409, пока вложение не готово. Сделаны: lease с продлением и fencing-жетоном, до 5 попыток с backoff и jitter, разделение постоянных и временных ошибок, реестр failed и явный replay с журналом (replay готового — no-op), очистка staging после COMMIT и уборка объектов без ссылок с grace period. В API проверка картинки стала потоковой проверкой структуры без декодирования: PNG по спецификации (CRC, палитра, фильтры строк, ничего после IEND), JPEG по маркерам. В /health/ready добавлен S3. Команды запуска из чистого clone: `cp .env.example .env && sh scripts/init-secrets.sh && docker compose up -d --build --wait`, затем `make check`, `make test` и проверки из REPORT.md (раздел «Запуск из чистого clone»). Результаты проверок и ссылка на REPORT.md: make check и make test — PASS. Демонстрация с остановленным worker и перезапуском API и брокера, повторная доставка, падения API и relay между COMMIT и publish, падение worker после записи в S3 до ack, повторы, DLQ и replay, lease для зависшего worker, ограничение параллельности, очистка staging, проверки вариантов и лимитов: всё в REPORT.md, вывод в `evidence/`. Ограничения / известные ошибки: один узел, RabbitMQ и SeaweedFS в одном экземпляре. Доставка at-least-once, дубли распознаются по состоянию задания. Пока S3 недоступен, API целиком не готов (503): это сознательный выбор, без S3 нельзя принять файл в staging. Задание упавшего чужого worker ждёт до 30 с (срок lease). Точки отказа для тестов включены только на учебном стенде. Подробно в REPORT.md, раздел «Ограничения». Источники и использование ИИ: документация RabbitMQ (reliability, confirms, quorum queues, DLX), pika, PostgreSQL, Pillow, спецификация PNG (список в REPORT.md). ИИ использовался как вспомогательный ресурс: для оценки решения, написания комментариев к коду и составления текстовых документов. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
ng14 added 1 commit 2026-10-25 21:46:52 +03:00
Owner

Существенные проблемы:

  1. Структурно повреждённый JPEG принимается с 202 вместо 415.
    Минимальное воспроизведение: в корректном JPEG найти первый SOS (FF DA) и заменить первый идентификатор компонента, байт i+5, на 250, отсутствующий в SOF. Загрузить с Content-Type: image/jpeg. Ожидалось 415 согласно контракту; фактически получены 202 queued → failed / invalid_image. Проверка SOS учитывает длину сегмента, но не связь компонентов с SOF: src/messenger/images.py:345.
  2. Janitor может удалить исходник уже принятого replay.
    Воспроизведено чередование: janitor прочитал ссылки для failed-вложения с истёкшей retention → операторский replay закоммитил queued → janitor продолжил удаление по старому снимку. Фактически staging удалён при состоянии задания queued; после запуска worker получен failed / source_missing. Ожидалось сохранение исходника для текущей работы либо безопасный отказ replay до его принятия. Причина — отсутствие согласования удаления с изменением состояния после чтения ссылок: src/messenger/cleanup.py:48, удаление — строка 59. Для ускорения возраст failed смоделирован через updated_at, использован grace=0; PostgreSQL, S3, replay и DELETE были реальными, порядок закреплён барьером в тестовом драйвере.
Существенные проблемы: 1. Структурно повреждённый JPEG принимается с 202 вместо 415. Минимальное воспроизведение: в корректном JPEG найти первый SOS (FF DA) и заменить первый идентификатор компонента, байт i+5, на 250, отсутствующий в SOF. Загрузить с Content-Type: image/jpeg. Ожидалось 415 согласно контракту; фактически получены 202 queued → failed / invalid_image. Проверка SOS учитывает длину сегмента, но не связь компонентов с SOF: [src/messenger/images.py:345](https://gitea.privcloud.tech/ng14/mtusi2026lab5/src/commit/a591243d8066543dee8e169b2d580c5e46ff39ef/src/messenger/images.py#L345). 2. Janitor может удалить исходник уже принятого replay. Воспроизведено чередование: janitor прочитал ссылки для failed-вложения с истёкшей retention → операторский replay закоммитил queued → janitor продолжил удаление по старому снимку. Фактически staging удалён при состоянии задания queued; после запуска worker получен failed / source_missing. Ожидалось сохранение исходника для текущей работы либо безопасный отказ replay до его принятия. Причина — отсутствие согласования удаления с изменением состояния после чтения ссылок: [src/messenger/cleanup.py:48](https://gitea.privcloud.tech/ng14/mtusi2026lab5/src/commit/a591243d8066543dee8e169b2d580c5e46ff39ef/src/messenger/cleanup.py#L48), удаление — [строка 59](https://gitea.privcloud.tech/ng14/mtusi2026lab5/src/commit/a591243d8066543dee8e169b2d580c5e46ff39ef/src/messenger/cleanup.py#L59). Для ускорения возраст failed смоделирован через updated_at, использован grace=0; PostgreSQL, S3, replay и DELETE были реальными, порядок закреплён барьером в тестовом драйвере.
ng14 added 1 commit 2026-10-26 19:40:41 +03:00
Author
First-time contributor

Исправил оба замечания:

  1. JPEG: API теперь проверяет заголовки по тем же правилам, что строгий декодер worker (компоненты SOS есть в SOF, таблицы, параметры сканов, RST и др.). Ваш пример и ещё 26 вариантов повреждений получают 415. Проверки: make student-test, make imaging-test

  2. Уборщик: перед удалением заново читает состояние вложения под блокировкой, а staging истёкшего failed сначала помечает удалённым в БД. Replay работает под той же блокировкой: если replay успел первым, staging не удаляется; если первым был уборщик, replay отказывает с source_missing. Проверки: make db-test, make cleanup-race

Evidence и REPORT.md обновлены

Исправил оба замечания: 1. JPEG: API теперь проверяет заголовки по тем же правилам, что строгий декодер worker (компоненты SOS есть в SOF, таблицы, параметры сканов, RST и др.). Ваш пример и ещё 26 вариантов повреждений получают 415. Проверки: make student-test, make imaging-test 2. Уборщик: перед удалением заново читает состояние вложения под блокировкой, а staging истёкшего failed сначала помечает удалённым в БД. Replay работает под той же блокировкой: если replay успел первым, staging не удаляется; если первым был уборщик, replay отказывает с source_missing. Проверки: make db-test, make cleanup-race Evidence и REPORT.md обновлены
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:48 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#4