Files
mtusi2026lab4/REPORT.md
T

144 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- Автор, группа: Долда Кирилл, БПИ2301
- Целевая оценка; 5, Трек 2 (Согласованность двух хранилищ)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary, minio, filetype, Pillow, python-multipart.
## Запуск из чистого clone
Требования: Docker Desktop, Python 3.13 (для локальных тестов).
Версии runtime/образов:
python:3.13-slim
postgres:16-alpine
redis:7-alpine
nginx:alpine
pgsty/silo:latest
pgsty/mc:latest
Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4, python-multipart==0.0.9, minio==7.2.9, filetype==1.2.0, Pillow==10.4.0.
Создание локальных secrets/.env:
cp .env.example .env
Сборка и запуск:
docker compose up -d --build
docker compose restart nginx
Ожидание готовности:
until curl -sf http://localhost:8080/health/ready
Миграции (однократно, до запуска трафика):
docker compose exec -w /app app1 alembic upgrade head
Bootstrap S3:
**minio-init автоматически: создаёт бакет messenger-attachments и создает api-user**
**Проверить:**
docker compose exec minio sh -c 'mc alias set myminio http://localhost:9000 minioadmin minioadmin > /dev/null && mc admin user list myminio'
**Ожидаемо: api-user, minioadmin**
Тесты:
make check - offline-проверка структуры и синтаксиса
make test - публичный smoke-тест контракта API (PASS)
make test-attachments - тесты вложений (5 сценариев, 5 passed)
make test-lab3 - тесты лабы 3 (идемпотентность + общая сессия)
make test-security - тесты безопасности (пароль, logout, expiry)
make test-dependencies - тесты отказов зависимостей (БД -> 503, Redis -> 500)
make failover / failover-app2 - остановка реплики -> сервис жив
make rolling-load / rolling-update - rolling update под нагрузкой
make ram-experiment - RAM-эксперимент (10 одновременных загрузок)
make stream-limit - потоковый лимит (100 МБ -> 413)
make reconcile-dry / reconcile-execute / reconcile-test - reconciler
make grace-period-test - grace period (свежие не удаляются)
make used-attachment-test - используемые не удаляются
make reconcile-cost - стоимость обхода reconciler
make private-bucket - приватный bucket (403 AccessDenied)
make s3-user-check - api-user не admin (Access Denied x3)
docker stats - CPU/RAM при нагрузке
Безопасная остановка (данные в томах сохраняются):
docker compose down
Намеренное удаление учебных данных:
docker compose down -v
## Архитектура и решения
Схема процессов/хранилищ:
Клиент -> Nginx (LB) -> API * 2 (app1, app2) -> PostgreSQL (метаданные) + MinIO (байты) + Redis (сессии).
Источник истины:
- PostgreSQL: пользователи, чаты, участники, сообщения, метаданные вложений.
- MinIO: байты файлов (приватный бакет messenger-attachments, object_key — UUID).
Транзакционные границы:
- Reconciler: orphan — удалить из MinIO (если старше grace period); missing — удалить из БД (если не используется привязан к таблице в БД).
Лимиты:
- MAX_SIZE = 10 МБ на файл (потоковое чтение request.stream() чанками, проверка на каждом чанке).
- MAX_PIXELS = 40 млн пикселей
- memory: 512M на app1/app2 (docker-compose.yml).
- Nginx: client_max_body_size 10M
Что перенесено из lab3: PostgreSQL, Redis для сессий, миграции, Bearer-токены, реплики app1/app2, Nginx (least_conn), X-Instance-Id, Idempotency-Key, лимиты CPU/RAM, failover-тесты, rolling update.
Что изменено: добавлены MinIO (форк pgsty/silo), таблица attachments (метаданные), приватный bucket (mc anonymous set none), reconciler (scripts/reconcile.py), тесты вложений (tests/test_attachments.py), RAM-эксперимент (scripts/ram-experiment.py), grace period (scripts/run-grace-period-test.sh).
Соответствие .env.example:
- S3_ENDPOINT=http://minio:9000 — адрес MinIO в Docker-сети.
- S3_BUCKET=messenger-attachments — бакет (приватный).
- S3_ACCESS_KEY_ID=api-user / S3_SECRET_ACCESS_KEY=api-user-secret-2026 — API-пользователь (не root).
- MAX_UPLOAD_BYTES=10485760 (10 МБ) / MAX_IMAGE_PIXELS=40000000 (40 млн).
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|------------------------------------|---------------------------|----------------------------------------------------------------------------| --- |
| Публичный smoke | make test | PASS: lab4 public API scenario | — |
| Тесты вложений | make test-attachments | 5 passed | evidence/test-attachments.txt |
| Приватный bucket | make private-bucket | GET напрямую → 403 AccessDenied | evidence/private-bucket.txt |
| S3 credentials (api-user не admin) | make s3-user-check | evidence/s3-credentials.txt |
| RAM-эксперимент (10 загрузок) | make ram-experiment | 10/10 (201), avg 6.37 МБ, пик памяти app1 ~290 МБ / 512 МБ, OOM нет | evidence/ram-experiment.txt |
| Потоковый лимит (100 МБ -> 413) | make stream-limit | Status 413 за 0.11s, память не растёт (потоковое чтение прервало на 10 МБ) | evidence/stream-limit.txt |
| Reconciler: обнаружение | make reconcile-test | [ORPHAN] + [MISSING] в dry-run, [DELETED] в execute, повторный dry-run 0/0 | evidence/reconciler-full.txt |
| Grace period (свежие не удаляются) | make grace-period-test | [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] | evidence/track2-grace-period.txt |
| Используемые не удаляются | make used-attachment-test | [SKIP] для missing с messages.attachment_ids, COUNT=1 → PASS | evidence/track2-used-attachment.txt |
| Стоимость обхода | make reconcile-cost | 50 файлов за 1.012s | evidence/track2-cost-50.txt |
## Эксперименты и отказы
### RAM-эксперимент
Гипотеза: лимиты (10 МБ на файл) не дают одной загрузке занять неограниченную RAM. 10 одновременных загрузок не превысят лимит 512 МБ.
Методика: scripts/ram-experiment.py — 10 одновременных загрузок через, файлы ~5-7 МБ. Параллельно docker stats.
Результат: 10/10 (201), avg 6.37 МБ, суммарно 63.7 МБ, общее время ~1.6s (параллельно). Пик памяти app1 ~290 МБ / 512 МБ (57% лимита), app2 ~94 МБ (Nginx распределил). После нагрузки память вернулась к ~97 МБ. OOM нет.
Вывод: лимиты работают — даже 10 загрузок по 6 МБ не выходят за 512 МБ. Потоковое чтение ограничивает пик ≤ 10 МБ на одну загрузку.
### Трек 2: Согласованность двух хранилищ
Гипотеза: при сбое между записью в MinIO и записью в PostgreSQL появляются расхождения: orphan (файл в S3 без БД), missing (запись в БД без S3). Reconciler находит оба и безопасно исправляет, не удаляя свежие (grace period) и используемые.
Результаты:
| Сценарий | Наблюдаемо | Файл |
| --- | --- | --- |
| Обнаружение (dry-run) | [ORPHAN] + [MISSING] | evidence/reconciler-full.txt |
| Исправление (execute) | [DELETED] + COUNT=0 | evidence/reconciler-full.txt |
| Идемпотентность | повторный dry-run → 0/0 | evidence/reconciler-full.txt |
| Grace period | [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] | evidence/track2-grace-period.txt |
| Используемые | [SKIP] + COUNT=1 → PASS | evidence/track2-used-attachment.txt |
| Стоимость обхода | 50 файлов / 1.012s (~2 мс/файл) | evidence/track2-cost-50.txt |
## Ограничения и следующие шаги
Что выдерживается: отказ процесса (реплики), rolling update, общая сессия, идемпотентность, миграции однократно, приватный bucket, S3 credentials (api-user не admin), потоковое чтение (100 МБ → 413 без OOM), reconciler (orphan + missing), grace period.
Подтверждённое улучшение (трек 2): reconciler восстанавливает согласованность MinIO/PostgreSQL — находит orphan и missing, идемпотентен, защищает свежие (grace period) и используемые вложения. Стоимость ~2 мс/файл (50 файлов / 1.012s).