11 KiB
Отчёт — лабораторная 4
- Автор, группа: Долда Кирилл, БПИ2301
- Целевая оценка; 5, Трек 2 (Согласованность двух хранилищ)
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary, minio, filetype, Pillow, python-multipart.
Запуск из чистого clone
Требования: Docker Desktop, Python 3.13 (для локальных тестов).
Версии runtime/образов:
python:3.13-slim
postgres:16-alpine
redis:7-alpine
nginx:alpine
pgsty/silo:latest
pgsty/mc:latest
Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4, python-multipart==0.0.9, minio==7.2.9, filetype==1.2.0, Pillow==10.4.0.
Создание локальных secrets/.env: cp .env.example .env
Сборка и запуск: docker compose up -d --build docker compose restart nginx
Ожидание готовности: until curl -sf http://localhost:8080/health/ready
Миграции (однократно, до запуска трафика): docker compose exec -w /app app1 alembic upgrade head
Bootstrap S3: minio-init автоматически: создаёт бакет messenger-attachments и создает api-user Проверить: docker compose exec minio sh -c 'mc alias set myminio http://localhost:9000 minioadmin minioadmin > /dev/null && mc admin user list myminio' Ожидаемо: api-user, minioadmin
Тесты:
make check - offline-проверка структуры и синтаксиса make test - публичный smoke-тест контракта API (PASS) make test-attachments - тесты вложений (5 сценариев, 5 passed) make test-lab3 - тесты лабы 3 (идемпотентность + общая сессия) make test-security - тесты безопасности (пароль, logout, expiry) make test-dependencies - тесты отказов зависимостей (БД -> 503, Redis -> 500) make failover / failover-app2 - остановка реплики -> сервис жив make rolling-load / rolling-update - rolling update под нагрузкой make ram-experiment - RAM-эксперимент (10 одновременных загрузок) make stream-limit - потоковый лимит (100 МБ -> 413) make reconcile-dry / reconcile-execute / reconcile-test - reconciler make grace-period-test - grace period (свежие не удаляются) make used-attachment-test - используемые не удаляются make reconcile-cost - стоимость обхода reconciler make private-bucket - приватный bucket (403 AccessDenied) make s3-user-check - api-user не admin (Access Denied x3) docker stats - CPU/RAM при нагрузке
Безопасная остановка (данные в томах сохраняются): docker compose down
Намеренное удаление учебных данных: docker compose down -v
Архитектура и решения
Схема процессов/хранилищ: Клиент -> Nginx (LB) -> API * 2 (app1, app2) -> PostgreSQL (метаданные) + MinIO (байты) + Redis (сессии).
Источник истины:
- PostgreSQL: пользователи, чаты, участники, сообщения, метаданные вложений.
- MinIO: байты файлов (приватный бакет messenger-attachments, object_key — UUID).
Транзакционные границы:
- Reconciler: orphan — удалить из MinIO (если старше grace period); missing — удалить из БД (если не используется привязан к таблице в БД).
Лимиты:
- MAX_SIZE = 10 МБ на файл (потоковое чтение request.stream() чанками, проверка на каждом чанке).
- MAX_PIXELS = 40 млн пикселей
- memory: 512M на app1/app2 (docker-compose.yml).
- Nginx: client_max_body_size 10M
Что перенесено из lab3: PostgreSQL, Redis для сессий, миграции, Bearer-токены, реплики app1/app2, Nginx (least_conn), X-Instance-Id, Idempotency-Key, лимиты CPU/RAM, failover-тесты, rolling update.
Что изменено: добавлены MinIO (форк pgsty/silo), таблица attachments (метаданные), приватный bucket (mc anonymous set none), reconciler (scripts/reconcile.py), тесты вложений (tests/test_attachments.py), RAM-эксперимент (scripts/ram-experiment.py), grace period (scripts/run-grace-period-test.sh).
Соответствие .env.example:
- S3_ENDPOINT=http://minio:9000 — адрес MinIO в Docker-сети.
- S3_BUCKET=messenger-attachments — бакет (приватный).
- S3_ACCESS_KEY_ID=api-user / S3_SECRET_ACCESS_KEY=api-user-secret-2026 — API-пользователь (не root).
- MAX_UPLOAD_BYTES=10485760 (10 МБ) / MAX_IMAGE_PIXELS=40000000 (40 млн).
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | make test | PASS: lab4 public API scenario | — |
| Тесты вложений | make test-attachments | 5 passed | evidence/test-attachments.txt |
| Приватный bucket | make private-bucket | GET напрямую → 403 AccessDenied | evidence/private-bucket.txt |
| S3 credentials (api-user не admin) | make s3-user-check | evidence/s3-credentials.txt | |
| RAM-эксперимент (10 загрузок) | make ram-experiment | 10/10 (201), avg 6.37 МБ, пик памяти app1 ~290 МБ / 512 МБ, OOM нет | evidence/ram-experiment.txt |
| Потоковый лимит (100 МБ -> 413) | make stream-limit | Status 413 за 0.11s, память не растёт (потоковое чтение прервало на 10 МБ) | evidence/stream-limit.txt |
| Reconciler: обнаружение | make reconcile-test | [ORPHAN] + [MISSING] в dry-run, [DELETED] в execute, повторный dry-run 0/0 | evidence/reconciler-full.txt |
| Grace period (свежие не удаляются) | make grace-period-test | [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] | evidence/track2-grace-period.txt |
| Используемые не удаляются | make used-attachment-test | [SKIP] для missing с messages.attachment_ids, COUNT=1 → PASS | evidence/track2-used-attachment.txt |
| Стоимость обхода | make reconcile-cost | 50 файлов за 1.012s | evidence/track2-cost-50.txt |
Эксперименты и отказы
RAM-эксперимент
Гипотеза: лимиты (10 МБ на файл) не дают одной загрузке занять неограниченную RAM. 10 одновременных загрузок не превысят лимит 512 МБ.
Методика: scripts/ram-experiment.py — 10 одновременных загрузок через, файлы ~5-7 МБ. Параллельно docker stats.
Результат: 10/10 (201), avg 6.37 МБ, суммарно 63.7 МБ, общее время ~1.6s (параллельно). Пик памяти app1 ~290 МБ / 512 МБ (57% лимита), app2 ~94 МБ (Nginx распределил). После нагрузки память вернулась к ~97 МБ. OOM нет.
Вывод: лимиты работают — даже 10 загрузок по 6 МБ не выходят за 512 МБ. Потоковое чтение ограничивает пик ≤ 10 МБ на одну загрузку.
Трек 2: Согласованность двух хранилищ
Гипотеза: при сбое между записью в MinIO и записью в PostgreSQL появляются расхождения: orphan (файл в S3 без БД), missing (запись в БД без S3). Reconciler находит оба и безопасно исправляет, не удаляя свежие (grace period) и используемые.
Результаты:
| Сценарий | Наблюдаемо | Файл |
|---|---|---|
| Обнаружение (dry-run) | [ORPHAN] + [MISSING] | evidence/reconciler-full.txt |
| Исправление (execute) | [DELETED] + COUNT=0 | evidence/reconciler-full.txt |
| Идемпотентность | повторный dry-run → 0/0 | evidence/reconciler-full.txt |
| Grace period | [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] | evidence/track2-grace-period.txt |
| Используемые | [SKIP] + COUNT=1 → PASS | evidence/track2-used-attachment.txt |
| Стоимость обхода | 50 файлов / 1.012s (~2 мс/файл) | evidence/track2-cost-50.txt |
Ограничения и следующие шаги
Что выдерживается: отказ процесса (реплики), rolling update, общая сессия, идемпотентность, миграции однократно, приватный bucket, S3 credentials (api-user не admin), потоковое чтение (100 МБ → 413 без OOM), reconciler (orphan + missing), grace period.
Подтверждённое улучшение (трек 2): reconciler восстанавливает согласованность MinIO/PostgreSQL — находит orphan и missing, идемпотентен, защищает свежие (grace period) и используемые вложения. Стоимость ~2 мс/файл (50 файлов / 1.012s).