ЛР 5 — БВТ2303 — Вейнмайер — на 5 #35

Closed
Weinmaier_Andrew wants to merge 6 commits from Weinmaier_Andrew/mtusi2026lab5:solution/bvt2303-weinmaier into main
First-time contributor

Лабораторная 5

Автор / группа: Вейнмайер Андрей Андреевич, БВТ2303
Целевая оценка (3/4/5): 5
Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline»

Что реализовано и что перенесено: перенесена вся lab4 (S3-вложения, потоковая загрузка с SHA-256 и структурной проверкой, reconciler) и lab3 (2 реплики за HAProxy, идемпотентность, failover). Новое: upload → 202 queued после устойчивого staging в S3 и одной транзакции «queued + job + outbox»; RabbitMQ 4.0 (quorum queue, publisher confirms, manual ack, prefetch = WORKER_CONCURRENCY, DLX); relay transactional outbox; отдельный worker с lease и fencing, heartbeat, sweeper; варианты thumbnail 256 (EXIF orientation, alpha на белый), crop 128×128, optimized WebP 1280; постоянные/временные ошибки, backoff с jitter, 5 попыток, failed с error_code, реестр failed и replay только failed job с аудитом; versioned pipeline (ключ job — attachment_id + pipeline_version, монотонная публикация версии); fault points для crash до/после side effect и после publish; очистка staging после фиксации.

Команды запуска из чистого clone: sh scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait, затем make test, make test-pipeline SCENARIO=demo|outbox-gap|crash-effect|crash-commit|broker-restart|transient|failed-replay|limits|versions, make test-files, make failed, make replay ID=…, TEST_DATABASE_URL=… make test-faults — подробно в REPORT.md.

Результаты проверок и ссылка на REPORT.md: REPORT.md, доказательства в evidence/. Итоговый прогон стенда на GitHub runner: https://github.com/CharaWein/2026_lab3/actions/runs/42642251603 (go_tests=success, stand=success). Кратко: публичный smoke PASS; демонстрация «worker остановлен → 202 → restart API и RabbitMQ → ready за 2.4 s»; crash после side effect → attempt 2, те же 3 объекта; crash после COMMIT → no-op; crash relay после confirm → 2 доставки, 1 выполнение; рестарт broker сохраняет сообщение; временный отказ S3 → 3 попытки с backoff; checksum_mismatch → failed, replay → ready, повторный replay отклонён; устаревшая v1 и дубль v2 не перезаписывают результат v2; 10/10 интеграционных fault-injection тестов на PostgreSQL; 3×6000×6000 без OOM (пик 570 MiB при лимите 768 MiB).

Ограничения / известные ошибки: доставка at-least-once, однократен только наблюдаемый результат (детерминированные байты и ключи + условная фиксация); SPOF — один узел RabbitMQ, PostgreSQL, MinIO, LB; upload не идемпотентен (контракт не требует ключа); модель памяти worker учитывает декодированные пиксели, но не временный буфер масштабирования (запас — GOMEMLIMIT); официальные образы MinIO недоступны, используется Bitnami того же релиза по digest. Docker-проверки выполнены на GitHub-hosted runner (на машине разработки нет виртуализации для Docker).

Источники и использование ИИ: документация RabbitMQ (reliability, confirms, quorum queues), PostgreSQL, Go runtime, EXIF; библиотеки amqp091-go, pgx, minio-go, go-redis, golang.org/x/image, golang.org/x/sync, cwebp. ИИ-ассистент использовался при реализации и отладке; все результаты — реальные прогоны, ссылки приведены.

  • Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; приложен реальный вывод.
  • Сценарии отказов/безопасности своего уровня воспроизведены.
  • Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
## Лабораторная 5 Автор / группа: Вейнмайер Андрей Андреевич, БВТ2303 Целевая оценка (3/4/5): 5 Трек 5, если заявлен: трек 2 «Доказанная идемпотентность pipeline» Что реализовано и что перенесено: перенесена вся lab4 (S3-вложения, потоковая загрузка с SHA-256 и структурной проверкой, reconciler) и lab3 (2 реплики за HAProxy, идемпотентность, failover). Новое: upload → 202 queued после устойчивого staging в S3 и одной транзакции «queued + job + outbox»; RabbitMQ 4.0 (quorum queue, publisher confirms, manual ack, prefetch = WORKER_CONCURRENCY, DLX); relay transactional outbox; отдельный worker с lease и fencing, heartbeat, sweeper; варианты thumbnail 256 (EXIF orientation, alpha на белый), crop 128×128, optimized WebP 1280; постоянные/временные ошибки, backoff с jitter, 5 попыток, failed с error_code, реестр failed и replay только failed job с аудитом; versioned pipeline (ключ job — attachment_id + pipeline_version, монотонная публикация версии); fault points для crash до/после side effect и после publish; очистка staging после фиксации. Команды запуска из чистого clone: `sh scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait`, затем `make test`, `make test-pipeline SCENARIO=demo|outbox-gap|crash-effect|crash-commit|broker-restart|transient|failed-replay|limits|versions`, `make test-files`, `make failed`, `make replay ID=…`, `TEST_DATABASE_URL=… make test-faults` — подробно в REPORT.md. Результаты проверок и ссылка на REPORT.md: [REPORT.md](REPORT.md), доказательства в `evidence/`. Итоговый прогон стенда на GitHub runner: https://github.com/CharaWein/2026_lab3/actions/runs/42642251603 (go_tests=success, stand=success). Кратко: публичный smoke PASS; демонстрация «worker остановлен → 202 → restart API и RabbitMQ → ready за 2.4 s»; crash после side effect → attempt 2, те же 3 объекта; crash после COMMIT → no-op; crash relay после confirm → 2 доставки, 1 выполнение; рестарт broker сохраняет сообщение; временный отказ S3 → 3 попытки с backoff; checksum_mismatch → failed, replay → ready, повторный replay отклонён; устаревшая v1 и дубль v2 не перезаписывают результат v2; 10/10 интеграционных fault-injection тестов на PostgreSQL; 3×6000×6000 без OOM (пик 570 MiB при лимите 768 MiB). Ограничения / известные ошибки: доставка at-least-once, однократен только наблюдаемый результат (детерминированные байты и ключи + условная фиксация); SPOF — один узел RabbitMQ, PostgreSQL, MinIO, LB; upload не идемпотентен (контракт не требует ключа); модель памяти worker учитывает декодированные пиксели, но не временный буфер масштабирования (запас — GOMEMLIMIT); официальные образы MinIO недоступны, используется Bitnami того же релиза по digest. Docker-проверки выполнены на GitHub-hosted runner (на машине разработки нет виртуализации для Docker). Источники и использование ИИ: документация RabbitMQ (reliability, confirms, quorum queues), PostgreSQL, Go runtime, EXIF; библиотеки amqp091-go, pgx, minio-go, go-redis, golang.org/x/image, golang.org/x/sync, cwebp. ИИ-ассистент использовался при реализации и отладке; все результаты — реальные прогоны, ссылки приведены. - [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; приложен реальный вывод. - [x] Сценарии отказов/безопасности своего уровня воспроизведены. - [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Weinmaier_Andrew added 6 commits 2026-11-09 21:24:20 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-15 20:58:16 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#35