Files
mtusi2026lab4/REPORT.md

9.1 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Яковлев Матвей Дмитриевич, БПИ2304
  • Целевая оценка; выбранный трек 5, если нужен: 3
  • Commit/PR: ветка: (solution/BPI2304-Yakovlev); MR: (mtusi2026/mtusi2026lab4#155)
  • Использованные источники, библиотеки и помощь ИИ: Python 3.12, FastAPI 0.135.3, Uvicorn 0.44.0, psycopg 3.3.3, boto3 1.40.67, PostgreSQL 16-alpine, MinIO (bitnamilegacy/minio), nginx 1.27-alpine; версии закреплены в requirements.txt, compose.yaml, Dockerfile. При подготовке использовалась помощь Claude.

Запуск из чистого clone

git clone <url-вашего-fork> && cd <каталог>
cp .env.example .env        # только синтетические локальные креды; .env в Git не попадает
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
curl -i http://localhost:8080/health/ready       # nginx — единственная публичная точка
python tests/smoke.py --base-url http://localhost:8080

Публикуется только порт 8080 балансировщика. PostgreSQL, MinIO и обе API-реплики доступны только во внутренней сети Compose. Консоль MinIO (9001) наружу не открыта. Безопасная остановка: docker compose --env-file .env stop api1 api2 db minio. Намеренное удаление учебных данных: docker compose --env-file .env down -v.

Явные проверки:

make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Windows локально: scripts/restart.cmd и scripts/stop-one.cmd

Вывод команд — evidence/lifecycle.txt.

Архитектура и решения

Клиент → nginx (lb) → api1/api2 → PostgreSQL (метаданные) + MinIO (байты).

  • Минимальный S3-сервер — bitnamilegacy/minio:latest (официальный minio/minio удалён с Docker Hub, quay.io/minio/minio требует авторизацию при pull). Приватный bucket messenger создаётся идемпотентно: MINIO_DEFAULT_BUCKETS при старте сервера и head_bucket/create_bucket в app/s3.py (обрабатывает BucketAlreadyOwnedByYou).
  • Разделение метаданных и байтов: таблица attachments хранит id, chat_id, owner_id, filename, content_type, size_bytes, sha256, сгенерированный сервером object_key, status, variants, error_code. Байты лежат только в приватном bucket; в БД и на локальном диске API оригинала нет. filename не используется как ключ S3.
  • Проверки загрузки (app/images.py): MIME определяется по magic bytes PNG/JPEG, заголовок Content-Type обязан совпадать; размеры читаются из IHDR/SOF без полного декодирования; лимит 10 MiB применяется потоково до полной буферизации, лимит 40 млн пикселей — до декодирования. Имя файла не содержит /, \, NUL и управляющие символы. Несоответствие MIME → 415, превышение → 413, мусор → 415, не 500.
  • Консистентность S3/БД: S3 PUT выполняется до вставки метаданных; при неудачной транзакции PostgreSQL выполняется best-effort delete_object (нет вечного неучтённого объекта). 201 ready возвращается только после успешного PUT и COMMIT.
  • Доступ: GET /attachments/{id} и /content требуют Bearer и membership в чате; посторонний и неизвестный ID получают одинаковый 404. Download идёт через API побайтно, без redirect; variant по умолчанию original, других вариантов в lab4 нет.
  • Сообщения с вложениями: attachment_ids (0–10 уникальных UUID) Check-validate, все ID обязаны принадлежать тому же чату иначе 404; пустой текст допустим только при наличии вложения. Идемпотентный ключ хранится в PostgreSQL и покрывает каноническое тело с attachment_ids; повтор возвращает тот же Message.
  • Отказ и рестарт: scripts/stop-one.sh останавливает только реплику с alias из X-Instance-Id; nginx настроен с max_fails=1 fail_timeout=5s, proxy_connect_timeout 1s и proxy_next_upstream error timeout http_502 http_503 http_504, поэтому вторая реплика продолжает отдавать и метаданные, и байты из общего S3. scripts/restart.sh перезапускает db, minio, api1, api2 без удаления volume.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
S3 в стенде, метаданные в PostgreSQL, байты в приватном bucket docker compose ps; psql SELECT 5 сервисов; строки attachments с object_key; байты не в БД evidence/lifecycle.txt, разделы 1, 4
Upload 201 ready, checksum и побайтный download python tests/smoke.py PASS: lab4 public API scenario...; SHA-256 и размер совпадают evidence/lifecycle.txt, раздел 3
Чужой чат/вложение недоступно smoke: 404 для eve PASS evidence/lifecycle.txt, раздел 3
Лимиты и MIME по содержимому app/images.py + own tests 14 юнит-тестов OK (fixture PNG, мусор, filename) evidence/lifecycle.txt, раздел 9
Restart с сохранением volumes и того же файла make test-persistence PASS: данные, сессия и оригинал прочитаны после рестарта evidence/lifecycle.txt, разделы 5–6
Отказ реплики, download через другую make test-failover 2 реплики до отказа, 105 успешных записей, 1 переходная ошибка, recovery 0.624 с, PASS evidence/lifecycle.txt, разделы 7–8
lab3-минимум сохранён smoke + idempotency_records PASS; ledger в PostgreSQL evidence/lifecycle.txt, разделы 3–4

Эксперименты и отказы

Не проводились (целевая оценка 3); уровни 4/5 с отказами S3, reconciliation и нагрузочными экспериментами не заявлены.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Останов API-реплики, загрузившей файл вторая реплика читает метаданные и байты из общего S3 PASS: исходный файл побайтно совпадает, сессия и сообщения на месте первая успешная запись за 0.624 с; потерь 0
Перезапуск db + minio + api1 + api2 вложения и оригиналы сохраняются PASS; schema_migrations без повторов автоматическое ожидание готовности; потерь 0

Ограничения и следующие шаги

  • Уровень 4 не реализован: нет отдельной проверки недоступности S3, отрицательных тестов >10 MiB/подмены MIME, reconciliation orphan-объектов с grace period, ограниченных S3-credentials и эксперимента ≥10 одновременных загрузок.
  • Компенсация при отказе между S3 PUT и DB COMMIT — best-effort в том же запросе; нет фонового reconciler (это тема уровня 5).
  • MinIO без TLS и с общим логином в локальном Compose — только для изолированного стенда с синтетическими данными; для удалённой демонстрации нужен TLS.
  • PostgreSQL и nginx остаются SPOF; отказ узла БД не моделируется.