Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 — «Доказанная идемпотентность pipeline»: versioned pipeline (v1/v2), автоматический fault injection (дубль, reorder, crash до/после side effect, устаревшая job после новой версии), инварианты I1–I5
Что реализовано и что перенесено:
Перенесено из lab4 без изменений: пользователи, сессии (PostgreSQL + кэш Valkey), чаты, сообщения с keyset-пагинацией, идемпотентность сообщений, HAProxy + 2 реплики API, X-Instance-Id, потоковый приём файла, проверки filename/Content-Type/сигнатуры/пикселей, приватный bucket SeaweedFS с ограниченными ключами API.
Переход 201 → 202: API кладёт полный оригинал в staging/<id> (S3 сверяет SHA-256), затем одной транзакцией пишет attachments(queued), jobs и outbox. Ответ 202 отправляется только после COMMIT. API не знает адрес брокера.
Брокер: RabbitMQ 4.1.4, quorum queue attachments.process (durable, volume rabbitmqdata), persistent-сообщения строго по jobs.schema.json (только ID, без байтов, URL и credentials). DLX → attachments.dlq, x-delivery-limit против ядовитых сообщений.
Transactional outbox relay:FOR UPDATE SKIP LOCKED → publish с ожиданием publisher confirm → published_at. Пробуждение через LISTEN/NOTIFY.
Worker (отдельный сервис):
захват задания с арендой 20 с и heartbeat раз в 5 с;
fencing-токен (job_id, attempt): результат фиксирует только текущий владелец аренды;
ack только после COMMIT; prefetch = 2;
преобразование в дочернем процессе (forkserver) с RLIMIT_AS=768 MiB и тайм-аутом 60 с;
Варианты: thumbnail JPEG 256×256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP до 1280×1280. EXIF-ориентация применяется, прозрачность заливается белым, EXIF/XMP/ICC в варианты не пишутся. Оригинал отдаётся побайтно.
Повторы: 5 попыток, экспоненциальная пауза с jitter (окна [1,2], [2,4], [4,8], [8,16] с) через отложенные outbox-строки. Постоянные ошибки (invalid_image, image_too_large, staging_missing, staging_corrupt) не повторяются, после исчерпания попыток — failed/retry_exhausted.
Реестр failed и replay:app.ops failed; app.ops replay <id> --actor с записью в аудит. Replay разрешён только для failed, для готового вложения отклоняется.
Reaper: по истёкшей аренде переводит задание в retry или failed; страховка для сообщения, потерянного в брокере.
Sweeper: удаляет staging после ready, staging упавших вложений через сутки, сироты и неиспользуемые объекты после grace-периода. queued/processing не трогает никогда.
Миграция 0004_jobs_outbox.sql, скрипты stop-worker.sh, start-worker.sh, restart.sh (API + worker + relay + все хранилища, включая RabbitMQ).
Команды запуска из чистого clone:
./scripts/init-secrets.sh
cp .env.example .env # для тестов отказов: FAULT_INJECTION=1
docker compose --env-file .env up -d --build --wait
make check && make test
python3 student-tests/pipeline_test.py
python3 student-tests/faults_test.py --output evidence/faults.json
python3 student-tests/limits_test.py
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh
Сценарий защиты по шагам — в DEMO.md.
Результаты проверок и ссылка на REPORT.md:
make check — PASS; make test — PASS (evidence/smoke.txt).
pipeline_test.py — 7/7: варианты и их реальные размеры, EXIF, прозрачность, 413/415 до 202, invalid_image без повторов (evidence/pipeline.txt).
разрыв COMMIT/publish; падение relay после confirm;
падение worker после захвата, после записи в S3 и после COMMIT до ack;
backoff и jitter; исчерпание попыток + replay;
долгая обработка при lease 20 с;
дубли, reorder, новая версия, гонка версий v1/v2;
сообщение не по схеме → DLQ.
limits_test.py — PASS: 36 Мп обработано за ~1 с; при RLIMIT_AS 160 MiB → image_too_large; при тайм-ауте 0.3 с → kill и retry_exhausted (evidence/limits.txt).
Подробности, таблица доказательств по каждому критерию и отчёт по треку 2 (гипотеза, методика, инварианты, почему не exactly-once) — в REPORT.md.
Ограничения / известные ошибки:
PostgreSQL, RabbitMQ и S3 работают одиночными узлами: durability есть, HA нет.
Восстановление после смерти worker занимает ≈ 20 с (аренда) + пауза перед повтором.
Идемпотентная перезапись по одному ключу опирается на детерминированное кодирование одной сборки Pillow.
API больше не делает полное декодирование: изображение с корректными заголовками, но битыми данными становится failed/invalid_image, а не 415.
ICC-профиль не переносится в варианты.
В нагрузочном регрессе load.json 4 клиентские ошибки соединения из ~3950 запросов. В логе HAProxy все запросы — 201, server-side max 86 мс; ошибки возникают на пробросе портов Docker Desktop, а не в приложении.
Источники и использование ИИ: документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues, Dead Lettering), паттерн Transactional Outbox, документация aio-pika, Pillow, PostgreSQL (SKIP LOCKED, LISTEN/NOTIFY). Код перенесён из собственной lab4. При реализации, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.
Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
Контракт и публичные тесты не ослаблены.
make check и make test выполнены; приложен реальный вывод.
Сценарии отказов/безопасности своего уровня воспроизведены.
Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5
Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 — «Доказанная идемпотентность pipeline»: versioned pipeline (v1/v2), автоматический fault injection (дубль, reorder, crash до/после side effect, устаревшая job после новой версии), инварианты I1–I5
Что реализовано и что перенесено:
- **Перенесено из lab4 без изменений:** пользователи, сессии (PostgreSQL + кэш Valkey), чаты, сообщения с keyset-пагинацией, идемпотентность сообщений, HAProxy + 2 реплики API, `X-Instance-Id`, потоковый приём файла, проверки filename/Content-Type/сигнатуры/пикселей, приватный bucket SeaweedFS с ограниченными ключами API.
- **Переход 201 → 202:** API кладёт полный оригинал в `staging/<id>` (S3 сверяет SHA-256), затем **одной транзакцией** пишет `attachments(queued)`, `jobs` и `outbox`. Ответ 202 отправляется только после COMMIT. API не знает адрес брокера.
- **Брокер:** RabbitMQ 4.1.4, quorum queue `attachments.process` (durable, volume `rabbitmqdata`), persistent-сообщения строго по `jobs.schema.json` (только ID, без байтов, URL и credentials). DLX → `attachments.dlq`, `x-delivery-limit` против ядовитых сообщений.
- **Transactional outbox relay:** `FOR UPDATE SKIP LOCKED` → publish с ожиданием publisher confirm → `published_at`. Пробуждение через `LISTEN/NOTIFY`.
- **Worker (отдельный сервис):**
- захват задания с арендой 20 с и heartbeat раз в 5 с;
- fencing-токен `(job_id, attempt)`: результат фиксирует только текущий владелец аренды;
- ack только после COMMIT; prefetch = 2;
- преобразование в дочернем процессе (forkserver) с `RLIMIT_AS=768 MiB` и тайм-аутом 60 с;
- детерминированные ключи эффекта `attachments/<id>/v<N>/<variant>`, PK `(attachment_id, pipeline_version, name)`.
- **Варианты:** thumbnail JPEG 256×256 (320×200 → 256×160), crop JPEG 128×128, optimized WebP до 1280×1280. EXIF-ориентация применяется, прозрачность заливается белым, EXIF/XMP/ICC в варианты не пишутся. Оригинал отдаётся побайтно.
- **Повторы:** 5 попыток, экспоненциальная пауза с jitter (окна [1,2], [2,4], [4,8], [8,16] с) через отложенные outbox-строки. Постоянные ошибки (`invalid_image`, `image_too_large`, `staging_missing`, `staging_corrupt`) не повторяются, после исчерпания попыток — `failed/retry_exhausted`.
- **Реестр failed и replay:** `app.ops failed`; `app.ops replay <id> --actor` с записью в аудит. Replay разрешён только для failed, для готового вложения отклоняется.
- **Reaper:** по истёкшей аренде переводит задание в retry или failed; страховка для сообщения, потерянного в брокере.
- **Sweeper:** удаляет staging после ready, staging упавших вложений через сутки, сироты и неиспользуемые объекты после grace-периода. queued/processing не трогает никогда.
- **Сервис `ops`:** операторский CLI (inspect, stats, fault, republish, reprocess).
- Миграция `0004_jobs_outbox.sql`, скрипты `stop-worker.sh`, `start-worker.sh`, `restart.sh` (API + worker + relay + все хранилища, включая RabbitMQ).
Команды запуска из чистого clone:
./scripts/init-secrets.sh
cp .env.example .env # для тестов отказов: FAULT_INJECTION=1
docker compose --env-file .env up -d --build --wait
make check && make test
python3 student-tests/pipeline_test.py
python3 student-tests/faults_test.py --output evidence/faults.json
python3 student-tests/limits_test.py
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh
Сценарий защиты по шагам — в DEMO.md.
Результаты проверок и ссылка на REPORT.md:
- `make check` — PASS; `make test` — PASS (`evidence/smoke.txt`).
- `pipeline_test.py` — 7/7: варианты и их реальные размеры, EXIF, прозрачность, 413/415 до 202, `invalid_image` без повторов (`evidence/pipeline.txt`).
- `faults_test.py` — **14/14** (`evidence/faults.txt`, `faults.json`). Сценарии:
- worker остановлен + рестарт брокера и API;
- разрыв COMMIT/publish; падение relay после confirm;
- падение worker после захвата, после записи в S3 и после COMMIT до ack;
- backoff и jitter; исчерпание попыток + replay;
- долгая обработка при lease 20 с;
- дубли, reorder, новая версия, гонка версий v1/v2;
- сообщение не по схеме → DLQ.
- `limits_test.py` — PASS: 36 Мп обработано за ~1 с; при `RLIMIT_AS` 160 MiB → `image_too_large`; при тайм-ауте 0.3 с → kill и `retry_exhausted` (`evidence/limits.txt`).
- persistence — PASS, failover — PASS ×2, sweeper идемпотентен (`evidence/persistence.txt`, `failover.txt`, `sweeper.txt`).
- Подробности, таблица доказательств по каждому критерию и отчёт по треку 2 (гипотеза, методика, инварианты, почему не exactly-once) — в [REPORT.md](REPORT.md).
Ограничения / известные ошибки:
- PostgreSQL, RabbitMQ и S3 работают одиночными узлами: durability есть, HA нет.
- Восстановление после смерти worker занимает ≈ 20 с (аренда) + пауза перед повтором.
- Идемпотентная перезапись по одному ключу опирается на детерминированное кодирование одной сборки Pillow.
- API больше не делает полное декодирование: изображение с корректными заголовками, но битыми данными становится `failed/invalid_image`, а не 415.
- ICC-профиль не переносится в варианты.
- В нагрузочном регрессе `load.json` 4 клиентские ошибки соединения из ~3950 запросов. В логе HAProxy все запросы — 201, server-side max 86 мс; ошибки возникают на пробросе портов Docker Desktop, а не в приложении.
Источники и использование ИИ: документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues, Dead Lettering), паттерн Transactional Outbox, документация aio-pika, Pillow, PostgreSQL (`SKIP LOCKED`, `LISTEN/NOTIFY`). Код перенесён из собственной lab4. При реализации, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.
- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [x] Контракт и публичные тесты не ослаблены.
- [x] make check и make test выполнены; приложен реальный вывод.
- [x] Сценарии отказов/безопасности своего уровня воспроизведены.
- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Кошелев, БВТ2304
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 — «Доказанная идемпотентность pipeline»: versioned pipeline (v1/v2), автоматический fault injection (дубль, reorder, crash до/после side effect, устаревшая job после новой версии), инварианты I1–I5
Что реализовано и что перенесено:
X-Instance-Id, потоковый приём файла, проверки filename/Content-Type/сигнатуры/пикселей, приватный bucket SeaweedFS с ограниченными ключами API.staging/<id>(S3 сверяет SHA-256), затем одной транзакцией пишетattachments(queued),jobsиoutbox. Ответ 202 отправляется только после COMMIT. API не знает адрес брокера.attachments.process(durable, volumerabbitmqdata), persistent-сообщения строго поjobs.schema.json(только ID, без байтов, URL и credentials). DLX →attachments.dlq,x-delivery-limitпротив ядовитых сообщений.FOR UPDATE SKIP LOCKED→ publish с ожиданием publisher confirm →published_at. Пробуждение черезLISTEN/NOTIFY.(job_id, attempt): результат фиксирует только текущий владелец аренды;RLIMIT_AS=768 MiBи тайм-аутом 60 с;attachments/<id>/v<N>/<variant>, PK(attachment_id, pipeline_version, name).invalid_image,image_too_large,staging_missing,staging_corrupt) не повторяются, после исчерпания попыток —failed/retry_exhausted.app.ops failed;app.ops replay <id> --actorс записью в аудит. Replay разрешён только для failed, для готового вложения отклоняется.ops: операторский CLI (inspect, stats, fault, republish, reprocess).0004_jobs_outbox.sql, скриптыstop-worker.sh,start-worker.sh,restart.sh(API + worker + relay + все хранилища, включая RabbitMQ).Команды запуска из чистого clone:
./scripts/init-secrets.sh
cp .env.example .env # для тестов отказов: FAULT_INJECTION=1
docker compose --env-file .env up -d --build --wait
make check && make test
python3 student-tests/pipeline_test.py
python3 student-tests/faults_test.py --output evidence/faults.json
python3 student-tests/limits_test.py
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && ./scripts/restore.sh
Сценарий защиты по шагам — в DEMO.md.
Результаты проверок и ссылка на REPORT.md:
make check— PASS;make test— PASS (evidence/smoke.txt).pipeline_test.py— 7/7: варианты и их реальные размеры, EXIF, прозрачность, 413/415 до 202,invalid_imageбез повторов (evidence/pipeline.txt).faults_test.py— 14/14 (evidence/faults.txt,faults.json). Сценарии:limits_test.py— PASS: 36 Мп обработано за ~1 с; приRLIMIT_AS160 MiB →image_too_large; при тайм-ауте 0.3 с → kill иretry_exhausted(evidence/limits.txt).evidence/persistence.txt,failover.txt,sweeper.txt).Ограничения / известные ошибки:
failed/invalid_image, а не 415.load.json4 клиентские ошибки соединения из ~3950 запросов. В логе HAProxy все запросы — 201, server-side max 86 мс; ошибки возникают на пробросе портов Docker Desktop, а не в приложении.Источники и использование ИИ: документация RabbitMQ (Reliability, Publisher Confirms, Quorum Queues, Dead Lettering), паттерн Transactional Outbox, документация aio-pika, Pillow, PostgreSQL (
SKIP LOCKED,LISTEN/NOTIFY). Код перенесён из собственной lab4. При реализации, тестах и отчёте использовался ИИ-ассистент Claude (Anthropic); решения проверены и объяснимы автором.View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.