Files
mtusi2026lab4/REPORT.md

7.6 KiB
Raw Permalink Blame History

Отчёт — Лабораторная №4. S3-хранилище и вложения

Автор: Рестеу Д. А., БВТ2302 Целевая оценка: «4» (без исследовательских треков «5»). Основа: собственная ЛР3 из ЛР3_Рестеу_БВТ2302(2).zip; контракт и публичные тесты — из mtusi2026lab4-main.zip. Commit/PR: вне архива, заполнить после публикации. Библиотеки/помощь: FastAPI, psycopg, Redis, Boto3, Pillow, Nginx, SeaweedFS; помощь ИИ при реализации и составлении тестов/отчёта.

Перенесено из ЛР3

  • FastAPI, PostgreSQL, Redis, Argon2id, SQL-пагинация и сессии.
  • Две API-реплики за Nginx, X-Instance-Id, health/live, health/ready.
  • POST с Idempotency-Key в PostgreSQL, транзакция и защита от дублей.
  • CLI и shell/PowerShell hooks перезапуска/отказа реплик.

Новое в ЛР4

  1. Приватное SeaweedFS S3 (chrislusf/seaweedfs:4.03), persistent volume, конфигурация двух учётных записей (админ и API). App credentials ограничены одним bucket. Не опубликованы S3/UI порты.
  2. Таблицы attachments, message_attachments в 04_attachments.sql; PostgreSQL хранит только метаданные, байты — в S3. Сервер формирует непредсказуемый ключ originals/<UUID>.
  3. POST /chats/{id}/attachments?filename=... получает сырые PNG/JPEG, читает порциями, проверяет ≤10MiB/≤40 млн пикселей, MIME по содержимому, повреждения файла и опасные имена. Возвращает 201 status=ready после S3 PUT + DB COMMIT.
  4. GET /attachments/{id} / GET /attachments/{id}/content — только участникам чата, потоковая выдача оригинала без публичного S3-адреса и редиректов.
  5. В messages — attachment_ids до 10 уникальных UUID. Возможен пустой текст при наличии вложения. Межчатовая ссылка запрещена (404). Идемпотентность учитывает attachment_ids.
  6. Best-effort компенсация после неудачи БД, dry-run reconciler и безопасная очистка старых S3-orphans (не моложе 1 часа).

Запуск

Copy-Item .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
python tests/smoke.py
python scripts/check_grade4.py
python scripts/experiment_uploads.py

Итоги проверки в среде подготовки: python scripts/check_contract.py — PASS; python -m compileall — PASS; локальная проверка validate_image на реальном/битом PNG и подмене MIME — PASS. Docker Engine в среде подготовки отсутствует, поэтому здесь нет достоверных результатов API smoke/failover/persistence/S3 и RAM. Их обязательно выполнить на Windows до защиты и приложить реальный вывод. Не выдавать ожидаемые PASS за фактические.

Критерии на «4» и доказательства

Требование Команда Ожидаемый результат Реальные доказательства
Работает ЛР3 и ЛР4 python tests/smoke.py PASS, скачанный PNG совпадает побайтно приложить evidence/smoke.txt
Границы и битые изображения python scripts/check_grade4.py 413, 415, 400 и 404, без 500 приложить evidence/grade4.txt
Права другого чата тот же check_grade4.py 404 на чужие attachment IDs тот же файл
Приватный S3 docker compose exec -T api1 python scripts/check_s3_private.py 403 без подписи приложить evidence/private.txt
Отказ API python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd файл доступен после смены API приложить evidence/failover.txt
Долговечность при рестарте python tests/resilience.py --mode persistence --action-script scripts/restart.cmd сохранён исходный PNG и токен приложить evidence/persistence.txt
10 параллельных загрузок + память python scripts/experiment_uploads.py 10 upload, фактический RAM peak evidence/uploads-10.json (создастся при запуске)
Потеря связи с S3 docker compose stop s3 → upload → docker compose up -d s3 503 на upload, восстановление приложить evidence/s3-outage.txt
Очистка orphan docker compose exec -T api1 python -m src.reconcile dry-run без удаления живых ключей приложить evidence/reconcile.txt
Схема/синтаксис python scripts/check_contract.py PASS (офлайн) проверено локально

Что происходит при сбое между S3 и БД

S3 PUT и транзакция PostgreSQL не атомарны. Если S3 PUT завершён, а запись в PostgreSQL неудачна, API делает компенсирующий DELETE. При аварийном завершении непосредственно между шагами объект может остаться без записи. src.reconcile периодически находит такие объекты, пропускает объекты младше часа, проверяет наличие ссылки в БД и удаляет только старые orphan-ключи originals/, и только при --apply. Сведения о несуществующем S3-объекте в БД не удаляются автоматически — это отдельный вид нарушения согласованности, требует ручной диагностики.

Условия эксперимента и ограничения

Для эксперимента 10 upload используются 10 параллельных потоков и tests/fixtures/sample.png (около 112 KiB), выборка docker stats API-контейнеров, фиксация количества успешных ответов и задержек. Замер зависит от времени выборки и Docker Desktop; это наблюдаемый пик, не гарантированное верхнее значение RSS. Если memory_samples=0, эксперимент по RAM не подтверждён. Для строгого доказательства повторить опыт 3 раза и сохранить сырые выводы.

Общие точки отказа: Nginx, одна PostgreSQL, один Redis, один SeaweedFS и один Docker-хост. Только локальный учебный стенд, не production. Консоль S3 не публикуется, но внутренние связи без TLS (в пределах локальной сети Compose).