Files
mtusi2026lab4/REPORT.md

6.5 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
  • Целевая оценка; выбранный трек 5, если нужен: 4
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: контракт курса; MinIO; boto3; Pillow; FastAPI/SQLAlchemy из lab3; помощь ИИ при реализации стенда и вложений.

Запуск из чистого clone

Требования: Docker Compose v2, Python 3.11+, PowerShell или POSIX shell. Образы закреплены тегами/digest в compose.yaml и Dockerfile (python:3.13.16-slim-bookworm, postgres:16.10-bookworm, redis:7.4.6-alpine, haproxy:3.2-bookworm, minio/minio:RELEASE.2024-11-07T00-52-20Z).

# Windows
powershell -File scripts/bootstrap.ps1
docker compose --env-file .env up -d --build --scale api=2
# POSIX
sh scripts/bootstrap.sh
docker compose --env-file .env up -d --build --scale api=2

Дождаться GET http://127.0.0.1:8080/health/ready = 200. Затем:

python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/attachments.py
python student-tests/s3_private.py
python student-tests/upload_mem.py
python student-tests/gc_orphans.py
python student-tests/level3.py
python student-tests/level4.py
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd

На POSIX вместо .cmd используйте scripts/restart.sh и scripts/stop-one.sh.

Остановка без удаления данных: docker compose --env-file .env down. Намеренное удаление учебных volumes: docker compose --env-file .env down -v (секреты в secrets/ удаляйте отдельно). Секреты не коммитятся.

Архитектура и решения

Клиент → HAProxy (lb, :8080) → API × 2 → PostgreSQL (метаданные) + Redis (сессии, AOF always) + MinIO (байты). Консоль MinIO не публикуется; S3 API слушает только 127.0.0.1:9000 для проверки private bucket. API ходит во внутренний http://minio:9000 с отдельным ключом messengerapi и политикой infra/minio-policy.json (object/list на один bucket). Root MinIO только у minio-init.

Вложение: лимит тела 10 MiB до полной буферизации; MIME по magic bytes; пиксели по заголовку изображения (Pillow MAX_IMAGE_PIXELS); object key att/<uuid>. 201 только после PUT в S3 и COMMIT в PostgreSQL. Если INSERT не удался — best-effort DeleteObject. Обрывы HTTP не доходят до S3. Остатки после краша между PUT и COMMIT убирает gc после ATTACHMENT_GC_GRACE_SECONDS (по умолчанию 900 с), не трогая ключи из таблицы attachments.

Текстовые POST без attachment_ids остаются валидными. Пустой text разрешён только с вложениями этого чата.

Соответствие .env.example: S3_ENDPOINT=http://minio:9000, секреты через *_FILE.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python tests/smoke.py --base-url http://127.0.0.1:8080 TODO evidence/ (вывод команды)
Upload 201 ready, checksum, чужой 404 smoke + student-tests/attachments.py TODO evidence/attachments.json
Failover другой реплики python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd TODO вывод команды
Restart volumes python tests/resilience.py --mode persistence --action-script scripts/restart.cmd TODO вывод команды
Негативные файлы / чужой chat python student-tests/attachments.py 413/415/400/404, не 500 evidence/attachments.json
Orphan GC python student-tests/gc_orphans.py orphan удалён, живое вложение нет evidence/gc_orphans.json
10 параллельных upload + RSS python student-tests/upload_mem.py TODO MiB evidence/upload_mem.json
Private bucket python student-tests/s3_private.py anonymous 403/404 evidence/s3_private.json
lab3 replicas/idempotency python student-tests/level3.py ≥2 instance id evidence/level3.json
lab2/3 level4 checks python student-tests/level4.py 3 миграции evidence/level4.json

Эксперименты и отказы

Гипотеза: одна загрузка ограничена 10 MiB, поэтому 10 одновременных PNG не разгоняют RSS реплики без верхней границы. Методика: student-tests/upload_mem.py, docker stats, стенд --scale api=2, лимит контейнера API 512 MiB.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
stop одной API X-Instance-Id цели исчезает, download через другую TODO TODO
restart postgres+redis+minio+api сессия и файл на месте TODO TODO
stop minio /health/ready 503, live 200 TODO после start minio ready возвращается
S3 PUT без COMMIT объект удаляется после grace gc_orphans.py живые ключи не удаляются
anonymous GET :9000 403/404 s3_private.py API download без изменений

Ограничения и следующие шаги

Отказ Docker-host и одиночного PostgreSQL/MinIO не маскируется. Буфер загрузки в RAM до 10 MiB на запрос — это верхняя граница, не zero-copy multipart. Presigned upload и асинхронные варианты — lab5/трек 5, не реализованы. GC не удаляет объекты моложе grace, поэтому кратковременный orphan допустим.