6.3 KiB
Лабораторная 4
Автор / группа: Авзалов Артур Марсович / БПИ2301
Целевая оценка: 5
Трек 5: №2 — согласованность PostgreSQL и S3
Что реализовано и перенесено
Из Lab3 перенесены две статeless FastAPI-реплики за HAProxy (round-robin/healthchecks), PostgreSQL, Redis-сессии, Bearer, идемпотентность отправки сообщений на Idempotency-Key, PostgreSQL advisory lock, курсорная пагинация, миграции, failover и persistence.
В Lab4 добавлены: SeaweedFS 4.53 с приватным S3 bucket, init-контейнеры bucket/policy, отдельные bucket-scoped credentials API, metadata вложений в PostgreSQL, авторизованные raw PNG/JPEG upload/download (≤10 MiB, ≤40 млн пикселей), проверки содержимого/MIME/filename/ACL, потоковое ограничение RAM и две копии объектов (attachments/ и recovery/).
Для трека 5 создан app.reconcile: по умолчанию dry-run inventory PostgreSQL/S3, классификация orphan/missing, восстановление одиночного отсутствующего ключа через recovery copy, удаление orphan только после 300-секундного grace period и повторной проверки записи в БД, повторный безопасный apply. Ручная инъекция повреждений (app.reconcile_fault) разрешена только через отдельную переменную на учебном стенде.
Запуск из чистого clone
Copy-Item .env.example .env
# В .env задать разные случайные пароли/ключи, не добавлять файл в Git.
$env:PYTHONUTF8 = '1'
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python scripts/check_contract.py
python tests/smoke.py
python tests/attachments_negative.py
python tests/idempotency_parallel.py
docker compose --env-file .env run --rm reconcile python -m app.s3_probe
Проверки persistence/failover и fault-injection приведены в LAB4_TEST_COMMANDS.md; последовательность демонстрации — в DEMO.md.
Фактические результаты
- Public smoke, негативные тесты, конкурентная идемпотентность: PASS.
- S3 privacy:
private_bucket=true, anonymous List/Getdenied. - Persistence: PASS, тест повторно сравнивает исходные байты вложения после перезапуска.
- Failover: PASS, восстановление за 6,156 с (6 успешных записей, 1 неуспешная попытка на переходе).
- 10 конкурентных загрузок PNG: 10/10, 0 ошибок, 2,796 с, 3,577 upload/s; наблюдённые максимумы RAM API 109,1 MiB и 96,21 MiB при лимите 384 MiB на экземпляр.
- Удалён основной ключ S3: dry-run обнаружил
missing_primary_repairable;--applyвосстановил объект из recovery copy; повторная сверка ошибок не обнаружила. - Orphan S3 без metadata: свежий объект не удалён даже в
--apply; после 310 сdelete-old-orphan; последующий dry-run показал 34 S3-ключа, 17 DB-строк и пустые списки расхождений, обход 0,213 с. - При остановке S3: HTTP 503, после его запуска и готовности API повторный smoke PASS.
Подробные методики, реальные численные результаты, архитектура и ограничения в REPORT.md и evidence/verified_results_2026-11-12.md.
Ограничения / незакрытые проверки
reconcileпока измерен только на маленьком наборе (34 S3-ключа/17 DB-строк): сравнительный эксперимент стоимости на ≥3 масштабах подготовлен (scripts/measure_reconcile.ps1), но не заявлен как выполненный, пока нет CSV.- Не инъецировались одновременная потеря обеих копий, реальная авария PostgreSQL COMMIT и гонка появления ссылки в БД непосредственно перед удалением orphan.
- Две S3-копии лежат в одном SeaweedFS, это не независимый backup; также единичные точки отказа PG/Redis/LB/Docker-host. Нет TLS для production, стенд рассчитан на localhost.
Источники и использование ИИ
Контракт и тесты лабораторной 4, документация FastAPI, PostgreSQL, Redis, HAProxy, Docker Compose, SeaweedFS/S3, Pillow. ChatGPT применялся для архитектуры, реализации, конфигурации, миграций, тестов и отчёта. Проверки реально выполнялись локально; неподтверждённые PASS не заявлены.
Чек-лист
- Обязательный минимум предыдущих работ сохранён.
- Контракт и публичные тесты оставлены без ослабления.
- Эквиваленты
make checkиmake testзапущены напрямую через Python; фактические PASS указаны. - Отказы API и S3, ACL, persistence, S3 privacy, reconciliation воспроизведены.
- Проверены staged-файлы на отсутствие credentials/secrets перед push (отметить после локальной проверки).
- README задания сохранён, REPORT.md содержит инструкцию решения.