Files
mtusi2026lab4/MR_DESCRIPTION.md

6.3 KiB
Raw Permalink Blame History

Лабораторная 4

Автор / группа: Авзалов Артур Марсович / БПИ2301
Целевая оценка: 5
Трек 5: №2 — согласованность PostgreSQL и S3

Что реализовано и перенесено

Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на Idempotency-Key, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence.

В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (attachments/ и recovery/).

Для трека 5 создан app.reconcile: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (app.reconcile_fault) разрешена только через отдельную переменную на учебном стенде.

Запуск из чистого clone

Copy-Item .env.example .env
# В .env задать разные случайные пароли/ключи, не добавлять файл в Git.
$env:PYTHONUTF8 = '1'
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python scripts/check_contract.py
python tests/smoke.py
python tests/attachments_negative.py
python tests/idempotency_parallel.py
docker compose --env-file .env run --rm reconcile python -m app.s3_probe

Проверки persistence/failover и fault-injection приведены в LAB4_TEST_COMMANDS.md; последовательность демонстрации — в DEMO.md.

Фактические результаты

  • Public smoke, негативные тесты, конкурентная идемпотентность: PASS.
  • S3 privacy: private_bucket=true, anonymous List/Get denied.
  • Persistence: PASS, тест повторно сравнивает исходные байты вложения после перезапуска.
  • Failover: PASS, восстановление за 6,156 с (6 успешных записей, 1 неуспешная попытка на переходе).
  • 10 конкурентных загрузок PNG: 10/10, 0 ошибок, 2,796 с, 3,577 upload/s; наблюдённые максимумы RAM API 109,1 MiB и 96,21 MiB при лимите 384 MiB на экземпляр.
  • Удалён основной ключ S3: dry-run обнаружил missing_primary_repairable; --apply восстановил объект из recovery copy; повторная сверка ошибок не обнаружила.
  • Orphan S3 без metadata: свежий объект не удалён даже в --apply; после 310 с delete-old-orphan; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход 0,213 с.
  • При остановке S3: HTTP 503, после его запуска и готовности API повторный smoke PASS.

Подробные методики, реальные численные результаты, архитектура и ограничения в REPORT.md и evidence/verified_results_2026-11-12.md.

Ограничения / незакрытые проверки

  • reconcile пока измерен только на маленьком наборе (34 S3-ключа/17 DB-строк): сравнительный эксперимент стоимости на ≥3 масштабах подготовлен (scripts/measure_reconcile.ps1), но не заявлен как выполненный, пока нет CSV.
  • Не инъецировались одновременная потеря обеих копий, реальная авария PostgreSQL COMMIT и гонка появления ссылки в БД непосредственно перед удалением orphan.
  • Две S3-копии лежат в одном SeaweedFS, это не независимый backup; также единичные точки отказа PG/Redis/LB/Docker-host. Нет TLS для production, стенд рассчитан на localhost.

Источники и использование ИИ

Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены.

Чек-лист

  • Обязательный минимум предыдущих работ сохранён.
  • Контракт и публичные тесты оставлены без ослабления.
  • Эквиваленты make check и make test запущены напрямую через Python; фактические PASS указаны.
  • Отказы API и S3, ACL, persistence, S3 privacy, reconciliation воспроизведены.
  • Проверены staged-файлы на отсутствие credentials/secrets перед push (отметить после локальной проверки).
  • README задания сохранён, REPORT.md содержит инструкцию решения.