144 lines
11 KiB
Markdown
144 lines
11 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- Автор, группа: Долда Кирилл, БПИ2301
|
||
- Целевая оценка; 5, Трек 2 (Согласованность двух хранилищ)
|
||
- Commit/PR: TODO после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary, minio, filetype, Pillow, python-multipart.
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Требования: Docker Desktop, Python 3.13 (для локальных тестов).
|
||
|
||
Версии runtime/образов:
|
||
python:3.13-slim
|
||
postgres:16-alpine
|
||
redis:7-alpine
|
||
nginx:alpine
|
||
pgsty/silo:latest
|
||
pgsty/mc:latest
|
||
|
||
Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4, python-multipart==0.0.9, minio==7.2.9, filetype==1.2.0, Pillow==10.4.0.
|
||
|
||
Создание локальных secrets/.env:
|
||
cp .env.example .env
|
||
|
||
Сборка и запуск:
|
||
docker compose up -d --build
|
||
docker compose restart nginx
|
||
|
||
Ожидание готовности:
|
||
until curl -sf http://localhost:8080/health/ready
|
||
|
||
Миграции (однократно, до запуска трафика):
|
||
docker compose exec -w /app app1 alembic upgrade head
|
||
|
||
Bootstrap S3:
|
||
**minio-init автоматически: создаёт бакет messenger-attachments и создает api-user**
|
||
**Проверить:**
|
||
docker compose exec minio sh -c 'mc alias set myminio http://localhost:9000 minioadmin minioadmin > /dev/null && mc admin user list myminio'
|
||
**Ожидаемо: api-user, minioadmin**
|
||
|
||
Тесты:
|
||
|
||
make check - offline-проверка структуры и синтаксиса
|
||
make test - публичный smoke-тест контракта API (PASS)
|
||
make test-attachments - тесты вложений (5 сценариев, 5 passed)
|
||
make test-lab3 - тесты лабы 3 (идемпотентность + общая сессия)
|
||
make test-security - тесты безопасности (пароль, logout, expiry)
|
||
make test-dependencies - тесты отказов зависимостей (БД -> 503, Redis -> 500)
|
||
make failover / failover-app2 - остановка реплики -> сервис жив
|
||
make rolling-load / rolling-update - rolling update под нагрузкой
|
||
make ram-experiment - RAM-эксперимент (10 одновременных загрузок)
|
||
make stream-limit - потоковый лимит (100 МБ -> 413)
|
||
make reconcile-dry / reconcile-execute / reconcile-test - reconciler
|
||
make grace-period-test - grace period (свежие не удаляются)
|
||
make used-attachment-test - используемые не удаляются
|
||
make reconcile-cost - стоимость обхода reconciler
|
||
make private-bucket - приватный bucket (403 AccessDenied)
|
||
make s3-user-check - api-user не admin (Access Denied x3)
|
||
docker stats - CPU/RAM при нагрузке
|
||
|
||
Безопасная остановка (данные в томах сохраняются):
|
||
docker compose down
|
||
|
||
Намеренное удаление учебных данных:
|
||
docker compose down -v
|
||
|
||
## Архитектура и решения
|
||
|
||
Схема процессов/хранилищ:
|
||
Клиент -> Nginx (LB) -> API * 2 (app1, app2) -> PostgreSQL (метаданные) + MinIO (байты) + Redis (сессии).
|
||
|
||
Источник истины:
|
||
- PostgreSQL: пользователи, чаты, участники, сообщения, метаданные вложений.
|
||
- MinIO: байты файлов (приватный бакет messenger-attachments, object_key — UUID).
|
||
|
||
Транзакционные границы:
|
||
- Reconciler: orphan — удалить из MinIO (если старше grace period); missing — удалить из БД (если не используется привязан к таблице в БД).
|
||
|
||
Лимиты:
|
||
- MAX_SIZE = 10 МБ на файл (потоковое чтение request.stream() чанками, проверка на каждом чанке).
|
||
- MAX_PIXELS = 40 млн пикселей
|
||
- memory: 512M на app1/app2 (docker-compose.yml).
|
||
- Nginx: client_max_body_size 10M
|
||
|
||
Что перенесено из lab3: PostgreSQL, Redis для сессий, миграции, Bearer-токены, реплики app1/app2, Nginx (least_conn), X-Instance-Id, Idempotency-Key, лимиты CPU/RAM, failover-тесты, rolling update.
|
||
|
||
Что изменено: добавлены MinIO (форк pgsty/silo), таблица attachments (метаданные), приватный bucket (mc anonymous set none), reconciler (scripts/reconcile.py), тесты вложений (tests/test_attachments.py), RAM-эксперимент (scripts/ram-experiment.py), grace period (scripts/run-grace-period-test.sh).
|
||
|
||
Соответствие .env.example:
|
||
- S3_ENDPOINT=http://minio:9000 — адрес MinIO в Docker-сети.
|
||
- S3_BUCKET=messenger-attachments — бакет (приватный).
|
||
- S3_ACCESS_KEY_ID=api-user / S3_SECRET_ACCESS_KEY=api-user-secret-2026 — API-пользователь (не root).
|
||
- MAX_UPLOAD_BYTES=10485760 (10 МБ) / MAX_IMAGE_PIXELS=40000000 (40 млн).
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
|------------------------------------|---------------------------|----------------------------------------------------------------------------| --- |
|
||
| Публичный smoke | make test | PASS: lab4 public API scenario | — |
|
||
| Тесты вложений | make test-attachments | 5 passed | evidence/test-attachments.txt |
|
||
| Приватный bucket | make private-bucket | GET напрямую → 403 AccessDenied | evidence/private-bucket.txt |
|
||
| S3 credentials (api-user не admin) | make s3-user-check | evidence/s3-credentials.txt |
|
||
| RAM-эксперимент (10 загрузок) | make ram-experiment | 10/10 (201), avg 6.37 МБ, пик памяти app1 ~290 МБ / 512 МБ, OOM нет | evidence/ram-experiment.txt |
|
||
| Потоковый лимит (100 МБ -> 413) | make stream-limit | Status 413 за 0.11s, память не растёт (потоковое чтение прервало на 10 МБ) | evidence/stream-limit.txt |
|
||
| Reconciler: обнаружение | make reconcile-test | [ORPHAN] + [MISSING] в dry-run, [DELETED] в execute, повторный dry-run 0/0 | evidence/reconciler-full.txt |
|
||
| Grace period (свежие не удаляются) | make grace-period-test | [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] | evidence/track2-grace-period.txt |
|
||
| Используемые не удаляются | make used-attachment-test | [SKIP] для missing с messages.attachment_ids, COUNT=1 → PASS | evidence/track2-used-attachment.txt |
|
||
| Стоимость обхода | make reconcile-cost | 50 файлов за 1.012s | evidence/track2-cost-50.txt |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
### RAM-эксперимент
|
||
|
||
Гипотеза: лимиты (10 МБ на файл) не дают одной загрузке занять неограниченную RAM. 10 одновременных загрузок не превысят лимит 512 МБ.
|
||
|
||
Методика: scripts/ram-experiment.py — 10 одновременных загрузок через, файлы ~5-7 МБ. Параллельно docker stats.
|
||
|
||
Результат: 10/10 (201), avg 6.37 МБ, суммарно 63.7 МБ, общее время ~1.6s (параллельно). Пик памяти app1 ~290 МБ / 512 МБ (57% лимита), app2 ~94 МБ (Nginx распределил). После нагрузки память вернулась к ~97 МБ. OOM нет.
|
||
|
||
Вывод: лимиты работают — даже 10 загрузок по 6 МБ не выходят за 512 МБ. Потоковое чтение ограничивает пик ≤ 10 МБ на одну загрузку.
|
||
|
||
### Трек 2: Согласованность двух хранилищ
|
||
|
||
Гипотеза: при сбое между записью в MinIO и записью в PostgreSQL появляются расхождения: orphan (файл в S3 без БД), missing (запись в БД без S3). Reconciler находит оба и безопасно исправляет, не удаляя свежие (grace period) и используемые.
|
||
|
||
Результаты:
|
||
|
||
| Сценарий | Наблюдаемо | Файл |
|
||
| --- | --- | --- |
|
||
| Обнаружение (dry-run) | [ORPHAN] + [MISSING] | evidence/reconciler-full.txt |
|
||
| Исправление (execute) | [DELETED] + COUNT=0 | evidence/reconciler-full.txt |
|
||
| Идемпотентность | повторный dry-run → 0/0 | evidence/reconciler-full.txt |
|
||
| Grace period | [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] | evidence/track2-grace-period.txt |
|
||
| Используемые | [SKIP] + COUNT=1 → PASS | evidence/track2-used-attachment.txt |
|
||
| Стоимость обхода | 50 файлов / 1.012s (~2 мс/файл) | evidence/track2-cost-50.txt |
|
||
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Что выдерживается: отказ процесса (реплики), rolling update, общая сессия, идемпотентность, миграции однократно, приватный bucket, S3 credentials (api-user не admin), потоковое чтение (100 МБ → 413 без OOM), reconciler (orphan + missing), grace period.
|
||
|
||
Подтверждённое улучшение (трек 2): reconciler восстанавливает согласованность MinIO/PostgreSQL — находит orphan и missing, идемпотентен, защищает свежие (grace period) и используемые вложения. Стоимость ~2 мс/файл (50 файлов / 1.012s).
|
||
|