Выполнение ЛР5 на 5 (трек 2) #47

Open
Iicon18 wants to merge 2 commits from Iicon18/mtusi2026lab5:solution/bvt2304-koshelev into main
First-time contributor

Лабораторная 5

Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 — «Доказанная идемпотентность pipeline»: versioned pipeline (v1/v2), автоматический fault injection (дубль, reorder, crash до/после side effect, устаревшая job после новой версии), инварианты I1–I5

Что реализовано и что перенесено:

  • Перенесено из lab4 без изменений: пользователи, сессии (PostgreSQL + кэш Valkey), чаты, сообщения с keyset-пагинацией, идемпотентность сообщений, HAProxy + 2 реплики API, X-Instance-Id, потоковый приём файла, проверки filename/Content-Type/сигнатуры/пикселей, приватный bucket SeaweedFS с ограниченными ключами API.
  • Переход 201 → 202: API кладёт полный оригинал в staging/<id> (S3 сверяет SHA-256), затем одной транзакцией пишет attachments(queued), jobs и outbox. Ответ 202 отправляется только после COMMIT. API не знает адрес брокера.
  • Брокер: RabbitMQ 4.1.4, quorum queue attachments.process (durable, volume rabbitmqdata), persistent-сообщения строго по jobs.schema.json (только ID, без байтов, URL и credentials). DLX → attachments.dlq, x-delivery-limit против ядовитых сообщений.
  • Transactional outbox relay: FOR UPDATE SKIP LOCKED → publish с ожиданием publisher confirm → published_at. Пробуждение через LISTEN/NOTIFY.
  • Worker (отдельный сервис):
    • захват задания с арендой 20 с и heartbeat раз в 5 с;
    • fencing-токен (job_id, attempt): результат фиксирует только текущий владелец аренды;
    • ack только после COMMIT; prefetch = 2;
    • преобразование в дочернем процессе (forkserver) с RLIMIT_AS=768 MiB и тайм-аутом 60 с;
    • детерминированные ключи эффекта attachments/<id>/v<N>/<variant>, PK (attachment_id, pipeline_version, name).
  • Варианты: thumbnail JPEG 256×256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP до 1280×1280. EXIF-ориентация применяется, прозрачность заливается белым, EXIF/XMP/ICC в варианты не пишутся. Оригинал отдаётся побайтно.
  • Повторы: 5 попыток, экспоненциальная пауза с jitter (окна [1,2], [2,4], [4,8], [8,16] с) через отложенные outbox-строки. Постоянные ошибки (invalid_image, image_too_large, staging_missing, staging_corrupt) не повторяются, после исчерпания попыток — failed/retry_exhausted.
  • Реестр failed и replay: app.ops failed; app.ops replay <id> --actor с записью в аудит. Replay разрешён только для failed, для готового вложения отклоняется.
  • Reaper: по истёкшей аренде переводит задание в retry или failed; страховка для сообщения, потерянного в брокере.
  • Sweeper: удаляет staging после ready, staging упавших вложений через сутки, сироты и неиспользуемые объекты после grace-периода. queued/processing не трогает никогда.
  • Сервис ops: операторский CLI (inspect, stats, fault, republish, reprocess).
  • Миграция 0004_jobs_outbox.sql, скрипты stop-worker.sh, start-worker.sh, restart.sh (API + worker + relay + все хранилища, включая RabbitMQ).

Команды запуска из чистого clone:
./scripts/init-secrets.sh
cp .env.example .env # для тестов отказов: FAULT_INJECTION=1
docker compose --env-file .env up -d --build --wait
make check && make test
python3 student-tests/pipeline_test.py
python3 student-tests/faults_test.py --output evidence/faults.json
python3 student-tests/limits_test.py
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh
Сценарий защиты по шагам — в DEMO.md.

Результаты проверок и ссылка на REPORT.md:

  • make check — PASS; make test — PASS (evidence/smoke.txt).
  • pipeline_test.py — 7/7: варианты и их реальные размеры, EXIF, прозрачность, 413/415 до 202, invalid_image без повторов (evidence/pipeline.txt).
  • faults_test.py — 14/14 (evidence/faults.txt, faults.json). Сценарии:
    • worker остановлен + рестарт брокера и API;
    • разрыв COMMIT/publish; падение relay после confirm;
    • падение worker после захвата, после записи в S3 и после COMMIT до ack;
    • backoff и jitter; исчерпание попыток + replay;
    • долгая обработка при lease 20 с;
    • дубли, reorder, новая версия, гонка версий v1/v2;
    • сообщение не по схеме → DLQ.
  • limits_test.py — PASS: 36 Мп обработано за ~1 с; при RLIMIT_AS 160 MiB → image_too_large; при тайм-ауте 0.3 с → kill и retry_exhausted (evidence/limits.txt).
  • persistence — PASS, failover — PASS ×2, sweeper идемпотентен (evidence/persistence.txt, failover.txt, sweeper.txt).
  • Подробности, таблица доказательств по каждому критерию и отчёт по треку 2 (гипотеза, методика, инварианты, почему не exactly-once) — в REPORT.md.

Ограничения / известные ошибки:

  • PostgreSQL, RabbitMQ и S3 работают одиночными узлами: durability есть, HA нет.
  • Восстановление после смерти worker занимает ≈ 20 с (аренда) + пауза перед повтором.
  • Идемпотентная перезапись по одному ключу опирается на детерминированное кодирование одной сборки Pillow.
  • API больше не делает полное декодирование: изображение с корректными заголовками, но битыми данными становится failed/invalid_image, а не 415.
  • ICC-профиль не переносится в варианты.
  • В нагрузочном регрессе load.json 4 клиентские ошибки соединения из ~3950 запросов. В логе HAProxy все запросы — 201, server-side max 86 мс; ошибки возникают на пробросе портов Docker Desktop, а не в приложении.

Источники и использование ИИ: документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues, Dead Lettering), паттерн Transactional Outbox, документация aio-pika, Pillow, PostgreSQL (SKIP LOCKED, LISTEN/NOTIFY). Код перенесён из собственной lab4. При реализации, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Кошелев, БВТ2304 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: 2 — «Доказанная идемпотентность pipeline»: versioned pipeline (v1/v2), автоматический fault injection (дубль, reorder, crash до/после side effect, устаревшая job после новой версии), инварианты I1–I5 Что реализовано и что перенесено: - **Перенесено из lab4 без изменений:** пользователи, сессии (PostgreSQL + кэш Valkey), чаты, сообщения с keyset-пагинацией, идемпотентность сообщений, HAProxy + 2 реплики API, `X-Instance-Id`, потоковый приём файла, проверки filename/Content-Type/сигнатуры/пикселей, приватный bucket SeaweedFS с ограниченными ключами API. - **Переход 201 → 202:** API кладёт полный оригинал в `staging/<id>` (S3 сверяет SHA-256), затем **одной транзакцией** пишет `attachments(queued)`, `jobs` и `outbox`. Ответ 202 отправляется только после COMMIT. API не знает адрес брокера. - **Брокер:** RabbitMQ 4.1.4, quorum queue `attachments.process` (durable, volume `rabbitmqdata`), persistent-сообщения строго по `jobs.schema.json` (только ID, без байтов, URL и credentials). DLX → `attachments.dlq`, `x-delivery-limit` против ядовитых сообщений. - **Transactional outbox relay:** `FOR UPDATE SKIP LOCKED` → publish с ожиданием publisher confirm → `published_at`. Пробуждение через `LISTEN/NOTIFY`. - **Worker (отдельный сервис):** - захват задания с арендой 20 с и heartbeat раз в 5 с; - fencing-токен `(job_id, attempt)`: результат фиксирует только текущий владелец аренды; - ack только после COMMIT; prefetch = 2; - преобразование в дочернем процессе (forkserver) с `RLIMIT_AS=768 MiB` и тайм-аутом 60 с; - детерминированные ключи эффекта `attachments/<id>/v<N>/<variant>`, PK `(attachment_id, pipeline_version, name)`. - **Варианты:** thumbnail JPEG 256×256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP до 1280×1280. EXIF-ориентация применяется, прозрачность заливается белым, EXIF/XMP/ICC в варианты не пишутся. Оригинал отдаётся побайтно. - **Повторы:** 5 попыток, экспоненциальная пауза с jitter (окна [1,2], [2,4], [4,8], [8,16] с) через отложенные outbox-строки. Постоянные ошибки (`invalid_image`, `image_too_large`, `staging_missing`, `staging_corrupt`) не повторяются, после исчерпания попыток — `failed/retry_exhausted`. - **Реестр failed и replay:** `app.ops failed`; `app.ops replay <id> --actor` с записью в аудит. Replay разрешён только для failed, для готового вложения отклоняется. - **Reaper:** по истёкшей аренде переводит задание в retry или failed; страховка для сообщения, потерянного в брокере. - **Sweeper:** удаляет staging после ready, staging упавших вложений через сутки, сироты и неиспользуемые объекты после grace-периода. queued/processing не трогает никогда. - **Сервис `ops`:** операторский CLI (inspect, stats, fault, republish, reprocess). - Миграция `0004_jobs_outbox.sql`, скрипты `stop-worker.sh`, `start-worker.sh`, `restart.sh` (API + worker + relay + все хранилища, включая RabbitMQ). Команды запуска из чистого clone: ./scripts/init-secrets.sh cp .env.example .env # для тестов отказов: FAULT_INJECTION=1 docker compose --env-file .env up -d --build --wait make check && make test python3 student-tests/pipeline_test.py python3 student-tests/faults_test.py --output evidence/faults.json python3 student-tests/limits_test.py make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh Сценарий защиты по шагам — в DEMO.md. Результаты проверок и ссылка на REPORT.md: - `make check` — PASS; `make test` — PASS (`evidence/smoke.txt`). - `pipeline_test.py` — 7/7: варианты и их реальные размеры, EXIF, прозрачность, 413/415 до 202, `invalid_image` без повторов (`evidence/pipeline.txt`). - `faults_test.py` — **14/14** (`evidence/faults.txt`, `faults.json`). Сценарии: - worker остановлен + рестарт брокера и API; - разрыв COMMIT/publish; падение relay после confirm; - падение worker после захвата, после записи в S3 и после COMMIT до ack; - backoff и jitter; исчерпание попыток + replay; - долгая обработка при lease 20 с; - дубли, reorder, новая версия, гонка версий v1/v2; - сообщение не по схеме → DLQ. - `limits_test.py` — PASS: 36 Мп обработано за ~1 с; при `RLIMIT_AS` 160 MiB → `image_too_large`; при тайм-ауте 0.3 с → kill и `retry_exhausted` (`evidence/limits.txt`). - persistence — PASS, failover — PASS ×2, sweeper идемпотентен (`evidence/persistence.txt`, `failover.txt`, `sweeper.txt`). - Подробности, таблица доказательств по каждому критерию и отчёт по треку 2 (гипотеза, методика, инварианты, почему не exactly-once) — в [REPORT.md](REPORT.md). Ограничения / известные ошибки: - PostgreSQL, RabbitMQ и S3 работают одиночными узлами: durability есть, HA нет. - Восстановление после смерти worker занимает ≈ 20 с (аренда) + пауза перед повтором. - Идемпотентная перезапись по одному ключу опирается на детерминированное кодирование одной сборки Pillow. - API больше не делает полное декодирование: изображение с корректными заголовками, но битыми данными становится `failed/invalid_image`, а не 415. - ICC-профиль не переносится в варианты. - В нагрузочном регрессе `load.json` 4 клиентские ошибки соединения из ~3950 запросов. В логе HAProxy все запросы — 201, server-side max 86 мс; ошибки возникают на пробросе портов Docker Desktop, а не в приложении. Источники и использование ИИ: документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues, Dead Lettering), паттерн Transactional Outbox, документация aio-pika, Pillow, PostgreSQL (`SKIP LOCKED`, `LISTEN/NOTIFY`). Код перенесён из собственной lab4. При реализации, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Iicon18 added 1 commit 2026-11-11 19:10:50 +03:00
Iicon18 added 1 commit 2026-11-11 19:32:43 +03:00
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions

Checkout

From your project repository, check out a new branch and test the changes.
git fetch -u https://gitea.privcloud.tech/Iicon18/mtusi2026lab5 solution/bvt2304-koshelev:Iicon18-solution/bvt2304-koshelev
git checkout Iicon18-solution/bvt2304-koshelev
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#47