ЛР 5 — БПИ2302 — Нурлыгаянова — на 5 #61

Closed
relationskat wants to merge 1 commits from relationskat/mtusi2026lab5:solution/bpi2302-nurlygayanova into main
First-time contributor

Автор / группа: Нурлыгаянова Екатерина / БПИ2302
Целевая оценка: 5
Трек 5: Трек 1 — очередь под перегрузкой

Что реализовано и что перенесено:
Перенесены REST API на Go, PostgreSQL, сессии в Valkey, две API-реплики за HAProxy, идемпотентность сообщений и приватное S3-хранилище SeaweedFS. Добавлены отдельный worker, устойчивый брокер Valkey, transactional outbox, состояния queued/processing/ready/failed, thumbnail, crop и optimized WebP. Реализованы ограниченные retry с backoff/jitter, lease, реестр failed, операторский replay с аудитом, очистка staging после ready и ограничение количества незавершённых задач.

Команды запуска из чистого clone:

cp .env.example .env
sh scripts/init-secrets.sh
docker compose up -d --build --wait
make check
make test
python3 scripts/check-pipeline.py

Для повторения эксперимента перегрузки на отдельном стенде:

export COMPOSE_PROJECT_NAME=lab5-audit
export BASE_URL=http://localhost:28085 API_PUBLISH_PORT=28085
export POSTGRES_PORT=25435 VALKEY_PORT=26385 JOB_MAX_INFLIGHT=12
docker compose up -d --build --wait
python3 -u scripts/overload-study.py
make test BASE_URL="$BASE_URL"
docker compose stop

Порты выбранного стенда, включая S3 gateway 19090, должны быть свободны.

Результаты проверок и ссылка на REPORT.md:
Описание реализации, методика, результаты и ограничения: REPORT.md (REPORT.md). Сводка нового полного прогона: evidence/track1-check.txt (evidence/track1-check.txt).

Успешно выполнены сборка и запуск Compose, make check, Go-тесты без кеша, публичный smoke и все шесть аварийных сценариев. Эксперимент сравнивает настройки concurrency/prefetch 1/1, 2/2 и 4/8 на двух размерах изображений: все 72 принятые задачи завершились, 24 запроса получили ожидаемый 429. В дополнительной перегрузке с работающим worker: 16 принятых задач, 16 ответов 429, максимум незавершённых задач — 12; восстановление подтверждено.

Дополнительно проверены валидность OpenAPI 3.1, соответствие всех 14 операций маршрутам и ответы smoke по полным JSON Schema.

Ограничения / известные ошибки:
Один Docker-host и единственные PostgreSQL, брокер и активный worker не обеспечивают высокую доступность. Нагрузочные прогоны короткие, без длительного soak и доверительных интервалов; RSS измеряется выборочно и может пропустить краткий пик. Автоматический janitor для orphan-объектов и failed retention не реализован. Масштабирование изображений использует nearest neighbour. Это at-least-once доставка с идемпотентными эффектами.

Источники и использование ИИ:
Использованы skeleton, контракты и публичные тесты курса, собственная реализация предыдущих лабораторных. Материалы по надёжности брокеров указаны в README задания. Codex использовался при разработке, проверке кода, воспроизведении сбоев, проведении эксперимента и оформлении отчёта.

  • [+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
  • [+] Контракт и публичные тесты не ослаблены.
  • [+] make check и make test выполнены; приложен реальный вывод.
  • [+] Сценарии отказов/безопасности своего уровня воспроизведены.
  • [+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
  • [+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Автор / группа: Нурлыгаянова Екатерина / БПИ2302 Целевая оценка: 5 Трек 5: Трек 1 — очередь под перегрузкой Что реализовано и что перенесено: Перенесены REST API на Go, PostgreSQL, сессии в Valkey, две API-реплики за HAProxy, идемпотентность сообщений и приватное S3-хранилище SeaweedFS. Добавлены отдельный worker, устойчивый брокер Valkey, transactional outbox, состояния queued/processing/ready/failed, thumbnail, crop и optimized WebP. Реализованы ограниченные retry с backoff/jitter, lease, реестр failed, операторский replay с аудитом, очистка staging после ready и ограничение количества незавершённых задач. Команды запуска из чистого clone: cp .env.example .env sh scripts/init-secrets.sh docker compose up -d --build --wait make check make test python3 scripts/check-pipeline.py Для повторения эксперимента перегрузки на отдельном стенде: export COMPOSE_PROJECT_NAME=lab5-audit export BASE_URL=http://localhost:28085 API_PUBLISH_PORT=28085 export POSTGRES_PORT=25435 VALKEY_PORT=26385 JOB_MAX_INFLIGHT=12 docker compose up -d --build --wait python3 -u scripts/overload-study.py make test BASE_URL="$BASE_URL" docker compose stop Порты выбранного стенда, включая S3 gateway 19090, должны быть свободны. Результаты проверок и ссылка на REPORT.md: Описание реализации, методика, результаты и ограничения: REPORT.md (REPORT.md). Сводка нового полного прогона: evidence/track1-check.txt (evidence/track1-check.txt). Успешно выполнены сборка и запуск Compose, make check, Go-тесты без кеша, публичный smoke и все шесть аварийных сценариев. Эксперимент сравнивает настройки concurrency/prefetch 1/1, 2/2 и 4/8 на двух размерах изображений: все 72 принятые задачи завершились, 24 запроса получили ожидаемый 429. В дополнительной перегрузке с работающим worker: 16 принятых задач, 16 ответов 429, максимум незавершённых задач — 12; восстановление подтверждено. Дополнительно проверены валидность OpenAPI 3.1, соответствие всех 14 операций маршрутам и ответы smoke по полным JSON Schema. Ограничения / известные ошибки: Один Docker-host и единственные PostgreSQL, брокер и активный worker не обеспечивают высокую доступность. Нагрузочные прогоны короткие, без длительного soak и доверительных интервалов; RSS измеряется выборочно и может пропустить краткий пик. Автоматический janitor для orphan-объектов и failed retention не реализован. Масштабирование изображений использует nearest neighbour. Это at-least-once доставка с идемпотентными эффектами. Источники и использование ИИ: Использованы skeleton, контракты и публичные тесты курса, собственная реализация предыдущих лабораторных. Материалы по надёжности брокеров указаны в README задания. Codex использовался при разработке, проверке кода, воспроизведении сбоев, проведении эксперимента и оформлении отчёта. - [+] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. - [+] Контракт и публичные тесты не ослаблены. - [+] make check и make test выполнены; приложен реальный вывод. - [+] Сценарии отказов/безопасности своего уровня воспроизведены. - [+] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. - [+] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
relationskat added 1 commit 2026-11-12 20:35:24 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 13:47:13 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab5#61