Лабораторная 5
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «Доказанная идемпотентность pipeline»
Что реализовано и что перенесено: Сохранены lab4-стенд (HAProxy, 2 API, PostgreSQL, приватный MinIO, вложения, membership, failover). Upload отвечает 202 queued только после staging в S3 и одной транзакции attachment/job/outbox; брокер в этот момент может быть остановлен. RabbitMQ 4.1.8 — durable quorum queue, в сообщении только ID и поля jobs.schema.json. Отдельные publisher (confirm, затем отметка outbox) и worker (prefetch=1, lease 60 с). ready — после четырёх эффектов: original, thumbnail 256×256, crop 128×128, optimized WebP. Пока нет ready, скачивание — 409. Повтор до 5 раз; invalid_image постоянная; исчерпанная job — failed в БД. Replay и reprocess — явные команды. Staging-cleanup и orphan после 3600 с.
migrate, s3-volume-init, s3-bootstrap, broker-init с Exited (0) — норма.
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
Результаты проверок и ссылка на REPORT.md: публичный smoke PASS, original побайтно верен, thumbnail 320×200 → 256×160. Handoff при остановленных broker/worker: 202, затем та же job ready. Окно publish→confirm дало 2 копии в очереди и один логический ready. Fault-тесты 6/6 на существующих и на пустых томах (смерть процесса до/после S3 и после COMMIT). Persistence PASS; failover — 133 успешные записи, 0 ошибок, первая запись через 1,327 с. Нагрузка текста: 22 419 POST, 0 ошибок, 747 RPS. Изображения: 40/40 ready за 14,150 с. Это идемпотентность эффекта, не exactly-once. Подробно в REPORT.md и evidence/pipeline-faults-2026-10-02.md. Commit: 3386e46.
Ограничения / известные ошибки: Один PostgreSQL, MinIO, RabbitMQ и Docker-host. Quorum queue на одном узле не даёт кластерной доступности. Потеря DB-подтверждения после broker confirm может создать вторую доставку. Serial worker и deadline 60 с подобраны под учебные 10 MiB / 40 млн пикселей. Poll 0,3 с завышает время до ready. Локальный HTTP только с синтетическими данными.
Источники и использование ИИ: Python 3.12.12, FastAPI 0.118.3, Pillow 11.3.0, psycopg 3.2.12, MinIO SDK 7.2.20, pika 1.4.4, RabbitMQ 4.1.8; контракт курса и собственная lab4. Помощь ИИ: Codex; факты проверены на синтетических данных.
[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Лабораторная 5
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «Доказанная идемпотентность pipeline»
Что реализовано и что перенесено: Сохранены lab4-стенд (HAProxy, 2 API, PostgreSQL, приватный MinIO, вложения, membership, failover). Upload отвечает `202 queued` только после staging в S3 и одной транзакции attachment/job/outbox; брокер в этот момент может быть остановлен. RabbitMQ 4.1.8 — durable quorum queue, в сообщении только ID и поля `jobs.schema.json`. Отдельные `publisher` (confirm, затем отметка outbox) и `worker` (prefetch=1, lease 60 с). `ready` — после четырёх эффектов: original, thumbnail 256×256, crop 128×128, optimized WebP. Пока нет `ready`, скачивание — 409. Повтор до 5 раз; `invalid_image` постоянная; исчерпанная job — `failed` в БД. Replay и reprocess — явные команды. Staging-cleanup и orphan после 3600 с.
Команды запуска из чистого clone:
```sh
cp .env.example .env
python3 scripts/setup-local-secrets.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --scale api=2
docker compose --env-file .env up -d --wait --scale api=2 api lb worker publisher
```
ready: GET http://127.0.0.1:8080/health/ready (локальный smoke — 8085)
`migrate`, `s3-volume-init`, `s3-bootstrap`, `broker-init` с `Exited (0)` — норма.
```sh
make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
```
Результаты проверок и ссылка на REPORT.md: публичный smoke PASS, original побайтно верен, thumbnail 320×200 → 256×160. Handoff при остановленных broker/worker: 202, затем та же job `ready`. Окно publish→confirm дало 2 копии в очереди и один логический ready. Fault-тесты 6/6 на существующих и на пустых томах (смерть процесса до/после S3 и после COMMIT). Persistence PASS; failover — 133 успешные записи, 0 ошибок, первая запись через 1,327 с. Нагрузка текста: 22 419 POST, 0 ошибок, 747 RPS. Изображения: 40/40 ready за 14,150 с. Это идемпотентность эффекта, не exactly-once. Подробно в REPORT.md и `evidence/pipeline-faults-2026-10-02.md`. Commit: 3386e46.
Ограничения / известные ошибки: Один PostgreSQL, MinIO, RabbitMQ и Docker-host. Quorum queue на одном узле не даёт кластерной доступности. Потеря DB-подтверждения после broker confirm может создать вторую доставку. Serial worker и deadline 60 с подобраны под учебные 10 MiB / 40 млн пикселей. Poll 0,3 с завышает время до ready. Локальный HTTP только с синтетическими данными.
Источники и использование ИИ: Python 3.12.12, FastAPI 0.118.3, Pillow 11.3.0, psycopg 3.2.12, MinIO SDK 7.2.20, pika 1.4.4, RabbitMQ 4.1.8; контракт курса и собственная lab4. Помощь ИИ: Codex; факты проверены на синтетических данных.
[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Carry forward the lab4 API and storage baseline, stage verified originals in
MinIO, and atomically commit attachment, job, and outbox records before 202.
Publish identifier-only jobs with broker confirms and reclaimable outbox leases.
Clean abandoned and completed staging objects after database checks.
Store message text as UTF-8 bytes and migrate existing rows without loss.
Cover HTTP round trips, restart persistence, Unicode limits and idempotent retries.
Adapt direct database tools to the binary storage format.
(cherry picked from commit 386276532730b8758298080b49db63738ca300a4)
You are not authorized to merge this pull request.
This pull request can be merged automatically.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
Лабораторная 5
Автор / группа: Самохвалов Андрей Ремович / БПИ-2302
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: 2 «Доказанная идемпотентность pipeline»
Что реализовано и что перенесено: Сохранены lab4-стенд (HAProxy, 2 API, PostgreSQL, приватный MinIO, вложения, membership, failover). Upload отвечает
202 queuedтолько после staging в S3 и одной транзакции attachment/job/outbox; брокер в этот момент может быть остановлен. RabbitMQ 4.1.8 — durable quorum queue, в сообщении только ID и поляjobs.schema.json. Отдельныеpublisher(confirm, затем отметка outbox) иworker(prefetch=1, lease 60 с).ready— после четырёх эффектов: original, thumbnail 256×256, crop 128×128, optimized WebP. Пока нетready, скачивание — 409. Повтор до 5 раз;invalid_imageпостоянная; исчерпанная job —failedв БД. Replay и reprocess — явные команды. Staging-cleanup и orphan после 3600 с.Команды запуска из чистого clone:
ready: GET http://127.0.0.1:8080/health/ready (локальный smoke — 8085)
migrate,s3-volume-init,s3-bootstrap,broker-initсExited (0)— норма.Результаты проверок и ссылка на REPORT.md: публичный smoke PASS, original побайтно верен, thumbnail 320×200 → 256×160. Handoff при остановленных broker/worker: 202, затем та же job
ready. Окно publish→confirm дало 2 копии в очереди и один логический ready. Fault-тесты 6/6 на существующих и на пустых томах (смерть процесса до/после S3 и после COMMIT). Persistence PASS; failover — 133 успешные записи, 0 ошибок, первая запись через 1,327 с. Нагрузка текста: 22 419 POST, 0 ошибок, 747 RPS. Изображения: 40/40 ready за 14,150 с. Это идемпотентность эффекта, не exactly-once. Подробно в REPORT.md иevidence/pipeline-faults-2026-10-02.md. Commit:3386e46.Ограничения / известные ошибки: Один PostgreSQL, MinIO, RabbitMQ и Docker-host. Quorum queue на одном узле не даёт кластерной доступности. Потеря DB-подтверждения после broker confirm может создать вторую доставку. Serial worker и deadline 60 с подобраны под учебные 10 MiB / 40 млн пикселей. Poll 0,3 с завышает время до ready. Локальный HTTP только с синтетическими данными.
Источники и использование ИИ: Python 3.12.12, FastAPI 0.118.3, Pillow 11.3.0, psycopg 3.2.12, MinIO SDK 7.2.20, pika 1.4.4, RabbitMQ 4.1.8; контракт курса и собственная lab4. Помощь ИИ: Codex; факты проверены на синтетических данных.
[+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
[+] Контракт и публичные тесты не ослаблены.
[+] make check и make test выполнены; приложен реальный вывод.
[+] Сценарии отказов/безопасности своего уровня воспроизведены.
[+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
[+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
View command line instructions
Checkout
From your project repository, check out a new branch and test the changes.