ЛР 5 — БВТ2301 — Васильев — на 5 #28

Closed
VasilevNikita wants to merge 2 commits from VasilevNikita/mtusi2026lab5:solution/bvt2301-vasilev into main
First-time contributor

Лабораторная 5

Автор / группа: Васильев Никита, БВТ2301
Целевая оценка: 5
Трек 2 — доказанная идемпотентность pipeline.

Что реализовано

Upload возвращает 202 после устойчивого S3-staging и транзакционного сохранения задания/outbox в PostgreSQL. Отдельные dispatcher, durable Valkey Streams broker с AOF и worker создают original, thumbnail JPEG, crop JPEG и optimized WebP. Ограничены ресурсы и попытки; реализованы backoff с jitter, leases/fencing, реестр failed, явный replay и cleanup под блокировками.

Версии pipeline и versioned object keys защищают новый результат от устаревшей работы. Выполнены 11 сценариев реальных падений API/dispatcher/worker и девять дополнительных сценариев: дубли/reorder, stale version, разрыв COMMIT/publish, cleanup/replay interleavings, malformed deliveries, backoff и сохранность старого queued staging. Docker receipts фиксируют реальные перезапуски. Дополнительно проверены глубоко вложенные/слишком большие сообщения брокера, нормализация UUID и reprocess в окне после ready до очистки staging, включая откат при отказе S3 DELETE.

179 собственных тестов и 87 независимых HTTP-проверок — PASS. Проверены restart всех девяти ролей с прежним токеном/оригиналом, отказ обеих физических API и изображения RGB/RGBA и progressive CMYK на 40 млн пикселей без OOM. Проверка всех кадров APNG и ограниченный дочерний процесс валидации унаследованы из исправленной ЛР4.

Методика: research/README.md; доказательства: evidence/fault-study-review.json, evidence/extra-invariants.json, evidence/pixel-boundary.json, REPORT.md. Повторные fault-прогоны относятся к исправленным worker/jobs и валидатору; снимок и хеши приведены в доказательствах. После них усилена только защита wrapper валидатора при завершении дочернего процесса; итоговый код проверен полным набором из 179 тестов и чистой сборкой. Это различие снимков явно отражено в evidence/review-runtime-source.json. Ограничения: at-least-once с идемпотентными эффектами не является exactly-once доставкой; один host, БД, broker и storage остаются SPOF; регулярный внешний backup/PITR не настроен.

Запуск из чистого clone

uv sync --locked --python 3.12
make up
make check validate PYTHON=.venv/bin/python
make test
make student-test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh

Полная инструкция, безопасная остановка и воспроизведение исследования: REPORT.md.

Проверки

Проверено локально из отдельного чистого clone с новыми секретами и volumes: сборка, make check, OpenAPI validation, lint, публичный smoke, собственные тесты, persistence и failover. Дополнительно проверены ошибки валидации, идемпотентность, пауза PostgreSQL, отказ logout при блокировке БД, короткая сессия после restart и восстановление двух API за LB. Runtime и миграции в контейнере побайтно сверены с commit. Удалённый CI отдельно от локальных результатов.

Источники и помощь

Исходный skeleton и контракт преподавателя, официальная документация используемых библиотек и инфраструктуры. Перенесена собственная реализация предыдущих работ. Использована помощь ИИ при реализации, исследовании и проверке. Подробности и ссылки — в REPORT.md.

  • Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • Контракт и публичные тесты не ослаблены.
  • make check и make test выполнены; реальный вывод приложен в evidence.
  • Сценарии отказов заявленного уровня воспроизведены.
  • Секреты и приватные ключи вне Git; отчёт не содержит токенов.
  • README задания сохранён; REPORT.md описывает запуск собственного решения.
## Лабораторная 5 Автор / группа: **Васильев Никита, БВТ2301** Целевая оценка: **5** Трек 2 — доказанная идемпотентность pipeline. ## Что реализовано Upload возвращает 202 после устойчивого S3-staging и транзакционного сохранения задания/outbox в PostgreSQL. Отдельные dispatcher, durable Valkey Streams broker с AOF и worker создают original, thumbnail JPEG, crop JPEG и optimized WebP. Ограничены ресурсы и попытки; реализованы backoff с jitter, leases/fencing, реестр failed, явный replay и cleanup под блокировками. Версии pipeline и versioned object keys защищают новый результат от устаревшей работы. Выполнены 11 сценариев реальных падений API/dispatcher/worker и девять дополнительных сценариев: дубли/reorder, stale version, разрыв COMMIT/publish, cleanup/replay interleavings, malformed deliveries, backoff и сохранность старого queued staging. Docker receipts фиксируют реальные перезапуски. Дополнительно проверены глубоко вложенные/слишком большие сообщения брокера, нормализация UUID и reprocess в окне после ready до очистки staging, включая откат при отказе S3 DELETE. 179 собственных тестов и 87 независимых HTTP-проверок — PASS. Проверены restart всех девяти ролей с прежним токеном/оригиналом, отказ обеих физических API и изображения RGB/RGBA и progressive CMYK на 40 млн пикселей без OOM. Проверка всех кадров APNG и ограниченный дочерний процесс валидации унаследованы из исправленной ЛР4. Методика: research/README.md; доказательства: evidence/fault-study-review.json, evidence/extra-invariants.json, evidence/pixel-boundary.json, REPORT.md. Повторные fault-прогоны относятся к исправленным worker/jobs и валидатору; снимок и хеши приведены в доказательствах. После них усилена только защита wrapper валидатора при завершении дочернего процесса; итоговый код проверен полным набором из 179 тестов и чистой сборкой. Это различие снимков явно отражено в evidence/review-runtime-source.json. Ограничения: at-least-once с идемпотентными эффектами не является exactly-once доставкой; один host, БД, broker и storage остаются SPOF; регулярный внешний backup/PITR не настроен. ## Запуск из чистого clone ```sh uv sync --locked --python 3.12 make up make check validate PYTHON=.venv/bin/python make test make student-test make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh ``` Полная инструкция, безопасная остановка и воспроизведение исследования: [REPORT.md](https://gitea.privcloud.tech/VasilevNikita/mtusi2026lab5/src/branch/solution/bvt2301-vasilev/REPORT.md). ## Проверки Проверено локально из отдельного чистого clone с новыми секретами и volumes: сборка, make check, OpenAPI validation, lint, публичный smoke, собственные тесты, persistence и failover. Дополнительно проверены ошибки валидации, идемпотентность, пауза PostgreSQL, отказ logout при блокировке БД, короткая сессия после restart и восстановление двух API за LB. Runtime и миграции в контейнере побайтно сверены с commit. Удалённый CI отдельно от локальных результатов. ## Источники и помощь Исходный skeleton и контракт преподавателя, официальная документация используемых библиотек и инфраструктуры. Перенесена собственная реализация предыдущих работ. Использована помощь ИИ при реализации, исследовании и проверке. Подробности и ссылки — в REPORT.md. - [x] Обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [x] Контракт и публичные тесты не ослаблены. - [x] make check и make test выполнены; реальный вывод приложен в evidence. - [x] Сценарии отказов заявленного уровня воспроизведены. - [x] Секреты и приватные ключи вне Git; отчёт не содержит токенов. - [x] README задания сохранён; REPORT.md описывает запуск собственного решения.
VasilevNikita added 2 commits 2026-11-06 20:23:43 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-07 17:46:52 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#28