ЛР 5 — БПИ2303 — Лазарев — на 3 #68

Closed
zemiles wants to merge 9 commits from zemiles/mtusi2026lab5:solution/bpi2303-lazarev into main
First-time contributor

Лабораторная 5

Автор / группа: Лазарев Юрий Сергеевич, БПИ2303
Целевая оценка (3/4/5): 3
Трек 5, если заявлен: не заявлен

Что реализовано и что перенесено: решение lab4 (REST API, PostgreSQL, SeaweedFS S3, HAProxy, 2 реплики API) перенесено и дополнено асинхронной обработкой вложений. Upload пишет проверенный оригинал в staging S3 и одной транзакцией создаёт queued-вложение, задание и запись outbox, после чего отвечает 202. Relay публикует outbox в RabbitMQ 4.1 (quorum-очередь, publisher confirms) и возвращает задания с истёкшей арендой. Worker (2 контейнера × 2 потребителя, prefetch 1, manual ack) принимает решение по строке jobs, держит аренду с heartbeat и fencing, создаёт thumbnail 256, crop 128 и WebP 1280 в подпроцессе с лимитами. Есть retry с backoff и jitter, разделение постоянных и временных ошибок, реестр failed, безопасный replay, DLQ, janitor для staging, миграция 004 с переносом вложений lab4. После внешнего аудита исправлены замечания F01–F17 (таблица в REPORT.md).
Команды запуска из чистого clone: ./scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait, затем make check && make test; полный набор проверок — ./student-tests/run_all.sh (раздел «Запуск из чистого clone» в REPORT.md).
Результаты проверок и ссылка на REPORT.md: в чистом clone run_all.sh — 30 проверок, overall=0: make check, make validate, make test, test-persistence, test-failover, сценарий защиты уровня 3, все окна отказа (outbox, crash worker до/после S3 и ack, заморозка worker), регрессии аудита и lab3, rolling update. Вывод — в evidence/, разбор — в REPORT.md.
Ограничения / известные ошибки: один узел БД, S3, брокера и LB (нет HA); восстановление после краха worker — ~33–36 с (истечение аренды); CI приложения (.github/workflows/app.yml) на раннере не запускался; пункты укрепления из раздела 7 аудита не реализованы — перечислены в «Ограничениях» REPORT.md.
Источники и использование ИИ: см. REPORT.md, строка «Использованные источники, библиотеки и помощь ИИ».

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Лазарев Юрий Сергеевич, БПИ2303 Целевая оценка (3/4/5): 3 Трек 5, если заявлен: не заявлен Что реализовано и что перенесено: решение lab4 (REST API, PostgreSQL, SeaweedFS S3, HAProxy, 2 реплики API) перенесено и дополнено асинхронной обработкой вложений. Upload пишет проверенный оригинал в staging S3 и одной транзакцией создаёт queued-вложение, задание и запись outbox, после чего отвечает 202. Relay публикует outbox в RabbitMQ 4.1 (quorum-очередь, publisher confirms) и возвращает задания с истёкшей арендой. Worker (2 контейнера × 2 потребителя, prefetch 1, manual ack) принимает решение по строке jobs, держит аренду с heartbeat и fencing, создаёт thumbnail 256, crop 128 и WebP 1280 в подпроцессе с лимитами. Есть retry с backoff и jitter, разделение постоянных и временных ошибок, реестр failed, безопасный replay, DLQ, janitor для staging, миграция 004 с переносом вложений lab4. После внешнего аудита исправлены замечания F01–F17 (таблица в REPORT.md). Команды запуска из чистого clone: `./scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait`, затем `make check && make test`; полный набор проверок — `./student-tests/run_all.sh` (раздел «Запуск из чистого clone» в REPORT.md). Результаты проверок и ссылка на REPORT.md: в чистом clone `run_all.sh` — 30 проверок, overall=0: make check, make validate, make test, test-persistence, test-failover, сценарий защиты уровня 3, все окна отказа (outbox, crash worker до/после S3 и ack, заморозка worker), регрессии аудита и lab3, rolling update. Вывод — в evidence/, разбор — в REPORT.md. Ограничения / известные ошибки: один узел БД, S3, брокера и LB (нет HA); восстановление после краха worker — ~33–36 с (истечение аренды); CI приложения (.github/workflows/app.yml) на раннере не запускался; пункты укрепления из раздела 7 аудита не реализованы — перечислены в «Ограничениях» REPORT.md. Источники и использование ИИ: см. REPORT.md, строка «Использованные источники, библиотеки и помощь ИИ». - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
zemiles added 8 commits 2026-11-13 21:58:32 +03:00
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher
confirms, manual ack, DLQ), transactional outbox, отдельный worker.

- upload: оригинал в staging S3, затем одной транзакцией queued + jobs +
  outbox -> 202; API к брокеру не подключается
- relay: публикация outbox с confirm, reaper истёкших аренд, redrive
- worker: claim по строке jobs, аренда с heartbeat и fencing по
  lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом,
  thumbnail 256, crop 128, WebP 1280 по детерминированным ключам
- retry с backoff и jitter, постоянные/временные ошибки, реестр failed,
  ops replay (ready не повторяется), DLQ для невалидных сообщений
- janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4
- тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack,
  заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
- F04: Pillow 13.0.0, urllib3 2.8.0, minio 7.2.20
- F02: пробное декодирование JPEG вынесено в src/jpeg_probe.py (RLIMIT_AS,
  RLIMIT_CPU, oom_score_adj); замер progressive 4:4:4 ~40 Мпикс — 252 MiB;
  DECODE_CONCURRENCY=1, память API 512 MiB; до исправления 6 одновременных
  загрузок убивали обе реплики (evidence/before-fix/progressive-oom.txt)
- F05: проверка байта фильтра каждой строки PNG (включая Adam7), PLTE, IEND
- F06: прозрачность tRNS у RGB и L
- F07: info очищается перед сохранением вариантов; тест проверяет сырые
  маркеры JPEG и чанки WebP
- F03: тело читается через read1 (один recv) с пересчётом общего срока перед
  каждым чтением: upload, JSON (JSON_BODY_TIMEOUT_SECONDS) и дочитывание
  отклонённого тела; до исправления клиент «по байту» держал приём > 20 с
  при сроке 5 с
- F08: непарный суррогат в JSON -> 400 invalid_request вместо 500
- F09: объект скачивается во временный файл и сверяется (размер, SHA-256)
  до отправки 200; при расхождении 503
- F17: send_error в общем JSON-формате с X-Request-Id/X-Instance-Id,
  неподдержанный метод -> 405, у HEAD без тела
- тесты api_negative_lab5.py, slow_client.py, progressive_upload.py
- F01: janitor под блокировкой jobs+attachments перепроверяет условие, снимает
  staging_key и только после COMMIT удаляет объект; replay перечитывает
  staging_key отдельным запросом под блокировкой вложения (в READ COMMITTED
  соединённые колонки могли остаться из старого снимка); тест трёх порядков,
  включая чередование из аудита (учебная пауза JANITOR_PAUSE_AFTER_SELECT_SECONDS)
- F11: pipeline_version пишется при создании вложения; API не стартует с
  неподдерживаемой версией
- F12: строгий разбор по jobs.schema.json (bool, RFC 3339, traceparent,
  tracestate); 17 случаев совпадают с jsonschema Draft 2020-12
- F13: единый срок задания на чтение staging, transform и запись; после срока
  аренда не продлевается, работа прерывается как processing_timeout
- F10: rolling-update.sh собирает migrate (единственный сервис с build),
  проверяет APP_VERSION в образе, в новой реплике и в ответах через LB;
  реально выполнено обновление 1 -> 2 (evidence/rolling-update.txt)
- F14: s3_outage.py переписан под lab5 (503 в API, retry в worker, принятое
  задание доходит до ready); устаревший consistency_faults.py удалён
- F15: .github/workflows/app.yml — сборка, готовность, smoke и регрессии на
  изолированном стенде, логи при ошибке, очистка
- F16: upload_memory.py с явными критериями и ненулевым кодом выхода, размер
  в каждой записи, progressive JPEG в смеси
- run_all.sh: все регрессии аудита, make validate, регрессия lab3, rolling update
- раздел «Внешний аудит»: замечание -> исправление -> доказательство,
  что сознательно не сделано
- исправлены опровергнутые утверждения (draft и память, метаданные, лимиты)
- evidence/ из полного прогона run_all.sh в чистом clone: 30 проверок, overall=0;
  before-fix/ — воспроизведения дефектов до исправления
zemiles added 1 commit 2026-11-13 21:58:52 +03:00
zemiles changed title from ЛР 5 — БПИ2303 — Лазарев — на 4 to ЛР 5 — БПИ2303 — Лазарев — на 3 2026-11-13 22:00:07 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 23:44:20 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#68