ЛР 4 — БПИ2301 — Авзалов — на 5 #113

Closed
Ferraronp wants to merge 1 commits from Ferraronp/mtusi2026lab4:main into main
First-time contributor

Лабораторная 4

Автор / группа: Авзалов Артур Марсович / БПИ2301
Целевая оценка: 5
Трек 5: №2 — согласованность PostgreSQL и S3

Что реализовано и перенесено

Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на Idempotency-Key, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence.

В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (attachments/ и recovery/).

Для трека 5 создан app.reconcile: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (app.reconcile_fault) разрешена только через отдельную переменную на учебном стенде.

Запуск из чистого clone

Copy-Item .env.example .env
# В .env задать разные случайные пароли/ключи, не добавлять файл в Git.
$env:PYTHONUTF8 = '1'
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python scripts/check_contract.py
python tests/smoke.py
python tests/attachments_negative.py
python tests/idempotency_parallel.py
docker compose --env-file .env run --rm reconcile python -m app.s3_probe

Фактические результаты

  • Public smoke, негативные тесты, конкурентная идемпотентность: PASS.
  • S3 privacy: private_bucket=true, anonymous List/Get denied.
  • Persistence: PASS, тест повторно сравнивает исходные байты вложения после перезапуска.
  • Failover: PASS, восстановление за 6,156 с (6 успешных записей, 1 неуспешная попытка на переходе).
  • 10 конкурентных загрузок PNG: 10/10, 0 ошибок, 2,796 с, 3,577 upload/s; наблюдённые максимумы RAM API 109,1 MiB и 96,21 MiB при лимите 384 MiB на экземпляр.
  • Удалён основной ключ S3: dry-run обнаружил missing_primary_repairable; --apply восстановил объект из recovery copy; повторная сверка ошибок не обнаружила.
  • Orphan S3 без metadata: свежий объект не удалён даже в --apply; после 310 с delete-old-orphan; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход 0,213 с.
  • При остановке S3: HTTP 503, после его запуска и готовности API повторный smoke PASS.
  • Стоимость полной сверки, 15 dry-run в 3 сериях: 36/18 ключей S3/строк БД — медиана 0,245 с; 136/68 — 0,285 с; 236/118 — 0,341 с. Добавлено 100 тестовых вложений, все 100 upload успешны. CSV: evidence/reconcile-cost-20261112-180238.csv. Это локальный малый набор, без вывода о production-масштабируемости.

Подробные методики, реальные численные результаты, архитектура и ограничения в REPORT.md и evidence/verified_results_2026-11-12.md.

Ограничения / незакрытые проверки

  • Эксперимент стоимости обхода выполнен на 3 размерах набора и 15 прогонах, но не проверяет работу на миллионах ключей; для этого потребуются батчинг и отдельный стресс-тест.
  • Не инъецировались одновременная потеря обеих копий, реальная авария PostgreSQL COMMIT и гонка появления ссылки в БД непосредственно перед удалением orphan.
  • Две S3-копии лежат в одном SeaweedFS, это не независимый backup; также единичные точки отказа PG/Redis/LB/Docker-host. Нет TLS для production, стенд рассчитан на localhost.

Источники и использование ИИ

Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены.

Чек-лист

  • Обязательный минимум предыдущих работ сохранён.
  • Контракт и публичные тесты оставлены без ослабления.
  • Эквиваленты make check и make test запущены напрямую через Python; фактические PASS указаны.
  • Отказы API и S3, ACL, persistence, S3 privacy, reconciliation воспроизведены.
  • Проверены staged-файлы на отсутствие credentials/secrets перед push.
  • README задания сохранён, REPORT.md содержит инструкцию решения.
## Лабораторная 4 **Автор / группа:** Авзалов Артур Марсович / БПИ2301 **Целевая оценка:** 5 **Трек 5:** №2 — согласованность PostgreSQL и S3 ### Что реализовано и перенесено Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на `Idempotency-Key`, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence. В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (`attachments/` и `recovery/`). Для трека 5 создан `app.reconcile`: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (`app.reconcile_fault`) разрешена только через отдельную переменную на учебном стенде. ### Запуск из чистого clone ```powershell Copy-Item .env.example .env # В .env задать разные случайные пароли/ключи, не добавлять файл в Git. $env:PYTHONUTF8 = '1' docker compose --env-file .env config --quiet docker compose --env-file .env up -d --build --wait python scripts/check_contract.py python tests/smoke.py python tests/attachments_negative.py python tests/idempotency_parallel.py docker compose --env-file .env run --rm reconcile python -m app.s3_probe ``` ### Фактические результаты - Public smoke, негативные тесты, конкурентная идемпотентность: **PASS**. - S3 privacy: `private_bucket=true`, anonymous List/Get `denied`. - Persistence: **PASS**, тест повторно сравнивает исходные байты вложения после перезапуска. - Failover: **PASS**, восстановление за **6,156 с** (6 успешных записей, 1 неуспешная попытка на переходе). - 10 конкурентных загрузок PNG: **10/10**, 0 ошибок, 2,796 с, 3,577 upload/s; наблюдённые максимумы RAM API **109,1 MiB** и **96,21 MiB** при лимите 384 MiB на экземпляр. - Удалён основной ключ S3: dry-run обнаружил `missing_primary_repairable`; `--apply` восстановил объект из recovery copy; повторная сверка ошибок не обнаружила. - Orphan S3 без metadata: свежий объект не удалён даже в `--apply`; после 310 с `delete-old-orphan`; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход **0,213 с**. - При остановке S3: HTTP **503**, после его запуска и готовности API повторный smoke **PASS**. - **Стоимость полной сверки, 15 dry-run в 3 сериях:** 36/18 ключей S3/строк БД — медиана **0,245 с**; 136/68 — **0,285 с**; 236/118 — **0,341 с**. Добавлено 100 тестовых вложений, все 100 upload успешны. CSV: `evidence/reconcile-cost-20261112-180238.csv`. Это локальный малый набор, без вывода о production-масштабируемости. Подробные методики, реальные численные результаты, архитектура и ограничения в [REPORT.md](REPORT.md) и [evidence/verified_results_2026-11-12.md](evidence/verified_results_2026-11-12.md). ### Ограничения / незакрытые проверки - Эксперимент стоимости обхода выполнен на 3 размерах набора и 15 прогонах, но не проверяет работу на миллионах ключей; для этого потребуются батчинг и отдельный стресс-тест. - Не инъецировались одновременная потеря обеих копий, реальная авария PostgreSQL COMMIT и гонка появления ссылки в БД непосредственно перед удалением orphan. - Две S3-копии лежат в одном SeaweedFS, это не независимый backup; также единичные точки отказа PG/Redis/LB/Docker-host. Нет TLS для production, стенд рассчитан на localhost. ### Источники и использование ИИ Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены. ### Чек-лист - [x] Обязательный минимум предыдущих работ сохранён. - [x] Контракт и публичные тесты оставлены без ослабления. - [x] Эквиваленты `make check` и `make test` запущены напрямую через Python; фактические PASS указаны. - [x] Отказы API и S3, ACL, persistence, S3 privacy, reconciliation воспроизведены. - [x] Проверены staged-файлы на отсутствие credentials/secrets перед push. - [x] README задания сохранён, REPORT.md содержит инструкцию решения.
Ferraronp added 1 commit 2026-11-12 18:21:17 +03:00
Owner

Принято. Закрываю МР.

Принято. Закрываю МР.
veprickiy closed this pull request 2026-11-13 13:57:46 +03:00

Pull request closed

Please reopen this pull request to perform a merge.
Sign in to join this conversation.
No Reviewers
No labels
2 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: mtusi2026/mtusi2026lab4#113