6.5 KiB
Отчёт — лабораторная 4
- Автор, группа: Щербацевич Владислав Сергеевич БПИ2302
- Целевая оценка; выбранный трек 5, если нужен: 4
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: контракт курса; MinIO; boto3; Pillow; FastAPI/SQLAlchemy из lab3; помощь ИИ при реализации стенда и вложений.
Запуск из чистого clone
Требования: Docker Compose v2, Python 3.11+, PowerShell или POSIX shell. Образы закреплены тегами/digest в compose.yaml и Dockerfile (python:3.13.16-slim-bookworm, postgres:16.10-bookworm, redis:7.4.6-alpine, haproxy:3.2-bookworm, minio/minio:RELEASE.2024-11-07T00-52-20Z).
# Windows
powershell -File scripts/bootstrap.ps1
docker compose --env-file .env up -d --build --scale api=2
# POSIX
sh scripts/bootstrap.sh
docker compose --env-file .env up -d --build --scale api=2
Дождаться GET http://127.0.0.1:8080/health/ready = 200. Затем:
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/attachments.py
python student-tests/s3_private.py
python student-tests/upload_mem.py
python student-tests/gc_orphans.py
python student-tests/level3.py
python student-tests/level4.py
python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd
На POSIX вместо .cmd используйте scripts/restart.sh и scripts/stop-one.sh.
Остановка без удаления данных: docker compose --env-file .env down. Намеренное удаление учебных volumes: docker compose --env-file .env down -v (секреты в secrets/ удаляйте отдельно). Секреты не коммитятся.
Архитектура и решения
Клиент → HAProxy (lb, :8080) → API × 2 → PostgreSQL (метаданные) + Redis (сессии, AOF always) + MinIO (байты). Консоль MinIO не публикуется; S3 API слушает только 127.0.0.1:9000 для проверки private bucket. API ходит во внутренний http://minio:9000 с отдельным ключом messengerapi и политикой infra/minio-policy.json (object/list на один bucket). Root MinIO только у minio-init.
Вложение: лимит тела 10 MiB до полной буферизации; MIME по magic bytes; пиксели по заголовку изображения (Pillow MAX_IMAGE_PIXELS); object key att/<uuid>. 201 только после PUT в S3 и COMMIT в PostgreSQL. Если INSERT не удался — best-effort DeleteObject. Обрывы HTTP не доходят до S3. Остатки после краша между PUT и COMMIT убирает gc после ATTACHMENT_GC_GRACE_SECONDS (по умолчанию 900 с), не трогая ключи из таблицы attachments.
Текстовые POST без attachment_ids остаются валидными. Пустой text разрешён только с вложениями этого чата.
Соответствие .env.example: S3_ENDPOINT=http://minio:9000, секреты через *_FILE.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
TODO | evidence/ (вывод команды) |
| Upload 201 ready, checksum, чужой 404 | smoke + student-tests/attachments.py |
TODO | evidence/attachments.json |
| Failover другой реплики | python tests/resilience.py --mode failover --action-script scripts/stop-one.cmd |
TODO | вывод команды |
| Restart volumes | python tests/resilience.py --mode persistence --action-script scripts/restart.cmd |
TODO | вывод команды |
| Негативные файлы / чужой chat | python student-tests/attachments.py |
413/415/400/404, не 500 | evidence/attachments.json |
| Orphan GC | python student-tests/gc_orphans.py |
orphan удалён, живое вложение нет | evidence/gc_orphans.json |
| 10 параллельных upload + RSS | python student-tests/upload_mem.py |
TODO MiB | evidence/upload_mem.json |
| Private bucket | python student-tests/s3_private.py |
anonymous 403/404 | evidence/s3_private.json |
| lab3 replicas/idempotency | python student-tests/level3.py |
≥2 instance id | evidence/level3.json |
| lab2/3 level4 checks | python student-tests/level4.py |
3 миграции | evidence/level4.json |
Эксперименты и отказы
Гипотеза: одна загрузка ограничена 10 MiB, поэтому 10 одновременных PNG не разгоняют RSS реплики без верхней границы. Методика: student-tests/upload_mem.py, docker stats, стенд --scale api=2, лимит контейнера API 512 MiB.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| stop одной API | X-Instance-Id цели исчезает, download через другую | TODO | TODO |
| restart postgres+redis+minio+api | сессия и файл на месте | TODO | TODO |
| stop minio | /health/ready 503, live 200 |
TODO | после start minio ready возвращается |
| S3 PUT без COMMIT | объект удаляется после grace | gc_orphans.py |
живые ключи не удаляются |
| anonymous GET :9000 | 403/404 | s3_private.py |
API download без изменений |
Ограничения и следующие шаги
Отказ Docker-host и одиночного PostgreSQL/MinIO не маскируется. Буфер загрузки в RAM до 10 MiB на запрос — это верхняя граница, не zero-copy multipart. Presigned upload и асинхронные варианты — lab5/трек 5, не реализованы. GC не удаляет объекты моложе grace, поэтому кратковременный orphan допустим.