ЛР 5 — БВТ2302 — Боданюк — на 5 #36

Closed
wfa wants to merge 11 commits from wfa/mtusi2026lab5:solution/bvt2302-bodanyuk into main
First-time contributor

Лабораторная 5

Автор / группа: Боданюк Алексей, БВТ2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline» (versioned pipeline + автоматический fault injection)

Что реализовано и что перенесено: реализация lab4 перенесена отдельным коммитом без изменений (5112be8). Добавлено:

  • upload 201 → 202: оригинал в приватном staging-bucket + одна транзакция queued + задание + outbox;
  • RabbitMQ 4.3.7 (quorum queue, publisher confirms, DLX/DLQ, пользователи с минимальными правами, без management UI);
  • relay (transactional outbox, reaper истёкших lease);
  • отдельный worker: lease с heartbeat и fencing по токену попытки, варианты thumbnail/crop/WebP в дочернем процессе с лимитами памяти, времени и пикселей, ack только после COMMIT;
  • retry с full jitter, реестр failed и jobctl replay/reprocess;
  • уборка staging и мусора попыток под блокировкой строки;
  • read-only аудит инвариантов.

Reconciler lab4 убран, причина — в REPORT. Подробно — REPORT.md, docs/PIPELINE.md, docs/DEFENSE.md.

Команды запуска из чистого clone: REPORT.md → «Запуск из чистого clone»: python3 scripts/init_secrets.py, cp .env.example .env, docker compose --env-file .env up -d --build --wait. Windows — docs/WINDOWS.md.

Результаты проверок и ссылка на REPORT.md: REPORT.md → «Доказательства критериев»; вывод прогона из чистого clone — в evidence/: make check/validate/test, persistence, failover, сценарий защиты, свои тесты, матрица трека 2, аудит.

Ограничения / известные ошибки: REPORT.md → «Ограничения и следующие шаги»: один Docker-хост, опубликованные варианты старых версий не удаляются, fsync SeaweedFS.

Источники и использование ИИ: REPORT.md, шапка. Код, тесты и отчёт написаны с помощью Claude Code; все прогоны реально выполнены.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Боданюк Алексей, БВТ2302 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline» (versioned pipeline + автоматический fault injection) Что реализовано и что перенесено: реализация lab4 перенесена отдельным коммитом без изменений (`5112be8`). Добавлено: - upload 201 → 202: оригинал в приватном staging-bucket + одна транзакция `queued` + задание + outbox; - RabbitMQ 4.3.7 (quorum queue, publisher confirms, DLX/DLQ, пользователи с минимальными правами, без management UI); - relay (transactional outbox, reaper истёкших lease); - отдельный worker: lease с heartbeat и fencing по токену попытки, варианты thumbnail/crop/WebP в дочернем процессе с лимитами памяти, времени и пикселей, ack только после COMMIT; - retry с full jitter, реестр failed и `jobctl replay/reprocess`; - уборка staging и мусора попыток под блокировкой строки; - read-only аудит инвариантов. Reconciler lab4 убран, причина — в REPORT. Подробно — REPORT.md, docs/PIPELINE.md, docs/DEFENSE.md. Команды запуска из чистого clone: REPORT.md → «Запуск из чистого clone»: `python3 scripts/init_secrets.py`, `cp .env.example .env`, `docker compose --env-file .env up -d --build --wait`. Windows — docs/WINDOWS.md. Результаты проверок и ссылка на REPORT.md: REPORT.md → «Доказательства критериев»; вывод прогона из чистого clone — в evidence/: make check/validate/test, persistence, failover, сценарий защиты, свои тесты, матрица трека 2, аудит. Ограничения / известные ошибки: REPORT.md → «Ограничения и следующие шаги»: один Docker-хост, опубликованные варианты старых версий не удаляются, fsync SeaweedFS. Источники и использование ИИ: REPORT.md, шапка. Код, тесты и отчёт написаны с помощью Claude Code; все прогоны реально выполнены. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
wfa added 11 commits 2026-11-09 21:26:18 +03:00
Скопировано из mtusi2026lab4 (ветка solution/bvt2302-bodanyuk, commit 17c33cd) через
git archive: исходники, миграции, собственные тесты, Dockerfile, compose, конфигурации
infra/, скрипты и bench/. README, COURSE, contracts/, tests/ и отчёт lab4 не копировались.
Makefile и .env.example — версии lab4 (skeleton-часть совпадает с lab5, строки broker
добавляются в следующих коммитах).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

Миграция только добавляет: статусы pending/queued/processing/ready/failed, staging-ключ,
published_version, jobs с lease и токеном попытки, job_attempts с заранее известными
ключами, attachment_variants (PK = ключ эффекта), outbox, job_events, view failed_jobs,
post_message_v3. CHECK attachments_active_has_source: у queued/processing всегда есть источник.
pipeline.py — версии 1/2/3 и геометрия по контракту; imaging.py — варианты в дочернем
процессе (RLIMIT_AS, таймаут, лимит пикселей); jobs.py — все переходы заданий одной
транзакцией с fencing по токену; broker.py — топология и строгая схема сообщения.
Зависимости: aio-pika 9.6.2, pillow 12.3.0 (lock с хешами).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

Порядок: pending-намерение -> PUT в приватный staging bucket -> COMMIT queued + jobs + outbox
-> 202. Проверки 413/415 lab4 остаются синхронными. GET видит queued/processing/failed,
content: 409 до ready, варианты thumbnail/crop/optimized; к сообщению можно прикрепить
queued/processing, failed -> 409. API не связан с брокером.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

broker: RabbitMQ 4.3.7 (тег+digest), quorum queue + DLX/DLQ из definitions, пользователи
relay (только publish в exchange) и worker (только consume), без management UI и портов.
relay: outbox -> publish с publisher confirm, reaper истёкших lease, страховка от потерянных
сообщений. worker: claim + heartbeat lease, варианты, публикация с fencing, ack после COMMIT,
graceful stop, уборка staging и мусора попыток. S3: два bucket и четыре identity
(admin, api, worker, auditor) с проверкой модели доступа в s3-init. Отдельная сеть queue.
Reconciler lab4 (трек прошлой лабы) удалён: его роль выполняет уборка по журналу попыток.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

PNG с фильтром строки 5/0xff, IDAT не zlib, JPEG из 27 байт, SOS с компонентом не из SOF:
415 при загрузке. 40 Мпикс проходит до ready в лимите памяти worker.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

Найдено тестом «брокер остановлен -> upload 202 -> брокер вернулся»: aio-pika не выставляет
is_closed при закрытии соединения сервером, worker оставался без consumer, а healthcheck
показывал healthy; relay падал на ChannelInvalidStateError. Теперь потеря соединения
отслеживается через close_callbacks, heartbeat-файл пишется только при живом consumer,
любая ошибка публикации оставляет строки в outbox. Внедрённые падения worker срабатывают
один раз на задание. Внутренняя пометка staging не меняет публичный updated_at.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

jobctl: replay только failed с живым источником (новое задание replay_of + аудит),
reprocess только ready и только более новой версии; решения под той же блокировкой
строки, что и уборка. test_pipeline_flow: все окна отказа attachment-states.md, retry с
jitter, retry_exhausted -> replay, постоянные ошибки, лимиты памяти/времени, DLQ, зависший
worker (docker pause), graceful stop, prefetch, уборка vs replay, кейсы из рецензий.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

audit: БД только READ ONLY-транзакциями, S3 ключом auditor (Read+List): потерянная работа,
один эффект на версию, опубликованные объекты и SHA-256, монотонная версия, источник у
активной работы, посторонние объекты, попытки. pipeline_faults: дубль, reorder, crash relay
после confirm, crash worker до/после побочного эффекта и после COMMIT, временные ошибки,
два worker, устаревшая версия (v2 медленная, v3 быстрая; дубль v1), reorder версий в очереди,
зависший worker (docker pause).
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

collect_evidence на новом clone (новые secrets, пустые volumes): make check/validate/test,
test-persistence, test-failover (обе реплики), сценарий защиты, свои тесты 377 passed,
матрица трека 2 12/12 без нарушений, аудит ok (522 объекта, SHA-256). Исправлен порядок
шагов сценария «reorder версий» (не запускать сервис с обычной конфигурацией между шагами).
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 21:47:55 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#36