Files

11 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Долда Кирилл, БПИ2301
  • Целевая оценка; 5, Трек 2 (Согласованность двух хранилищ)
  • Commit/PR: TODO после публикации
  • Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, asyncpg, Alembic, passlib[bcrypt], redis, psycopg2-binary, minio, filetype, Pillow, python-multipart.

Запуск из чистого clone

Требования: Docker Desktop, Python 3.13 (для локальных тестов).

Версии runtime/образов: python:3.13-slim postgres:16-alpine redis:7-alpine nginx:alpine pgsty/silo:latest
pgsty/mc:latest

Python-пакеты: fastapi==0.115.0, uvicorn[standard]==0.52.4, pydantic==2.13.5, sqlalchemy[asyncio]==2.1.0, asyncpg==0.31.0, redis==6.2.0, passlib==1.7.4, bcrypt==4.1.2, alembic==1.14.0, psycopg2-binary, pytest==8.3.4, python-multipart==0.0.9, minio==7.2.9, filetype==1.2.0, Pillow==10.4.0.

Создание локальных secrets/.env: cp .env.example .env

Сборка и запуск: docker compose up -d --build docker compose restart nginx

Ожидание готовности: until curl -sf http://localhost:8080/health/ready

Миграции (однократно, до запуска трафика): docker compose exec -w /app app1 alembic upgrade head

Bootstrap S3: minio-init автоматически: создаёт бакет messenger-attachments и создает api-user Проверить: docker compose exec minio sh -c 'mc alias set myminio http://localhost:9000 minioadmin minioadmin > /dev/null && mc admin user list myminio' Ожидаемо: api-user, minioadmin

Тесты:

make check - offline-проверка структуры и синтаксиса make test - публичный smoke-тест контракта API (PASS) make test-attachments - тесты вложений (5 сценариев, 5 passed) make test-lab3 - тесты лабы 3 (идемпотентность + общая сессия) make test-security - тесты безопасности (пароль, logout, expiry) make test-dependencies - тесты отказов зависимостей (БД -> 503, Redis -> 500) make failover / failover-app2 - остановка реплики -> сервис жив make rolling-load / rolling-update - rolling update под нагрузкой make ram-experiment - RAM-эксперимент (10 одновременных загрузок) make stream-limit - потоковый лимит (100 МБ -> 413) make reconcile-dry / reconcile-execute / reconcile-test - reconciler make grace-period-test - grace period (свежие не удаляются) make used-attachment-test - используемые не удаляются make reconcile-cost - стоимость обхода reconciler make private-bucket - приватный bucket (403 AccessDenied) make s3-user-check - api-user не admin (Access Denied x3) docker stats - CPU/RAM при нагрузке

Безопасная остановка (данные в томах сохраняются): docker compose down

Намеренное удаление учебных данных: docker compose down -v

Архитектура и решения

Схема процессов/хранилищ: Клиент -> Nginx (LB) -> API * 2 (app1, app2) -> PostgreSQL (метаданные) + MinIO (байты) + Redis (сессии).

Источник истины:

  • PostgreSQL: пользователи, чаты, участники, сообщения, метаданные вложений.
  • MinIO: байты файлов (приватный бакет messenger-attachments, object_key — UUID).

Транзакционные границы:

  • Reconciler: orphan — удалить из MinIO (если старше grace period); missing — удалить из БД (если не используется привязан к таблице в БД).

Лимиты:

  • MAX_SIZE = 10 МБ на файл (потоковое чтение request.stream() чанками, проверка на каждом чанке).
  • MAX_PIXELS = 40 млн пикселей
  • memory: 512M на app1/app2 (docker-compose.yml).
  • Nginx: client_max_body_size 10M

Что перенесено из lab3: PostgreSQL, Redis для сессий, миграции, Bearer-токены, реплики app1/app2, Nginx (least_conn), X-Instance-Id, Idempotency-Key, лимиты CPU/RAM, failover-тесты, rolling update.

Что изменено: добавлены MinIO (форк pgsty/silo), таблица attachments (метаданные), приватный bucket (mc anonymous set none), reconciler (scripts/reconcile.py), тесты вложений (tests/test_attachments.py), RAM-эксперимент (scripts/ram-experiment.py), grace period (scripts/run-grace-period-test.sh).

Соответствие .env.example:

  • S3_ENDPOINT=http://minio:9000 — адрес MinIO в Docker-сети.
  • S3_BUCKET=messenger-attachments — бакет (приватный).
  • S3_ACCESS_KEY_ID=api-user / S3_SECRET_ACCESS_KEY=api-user-secret-2026 — API-пользователь (не root).
  • MAX_UPLOAD_BYTES=10485760 (10 МБ) / MAX_IMAGE_PIXELS=40000000 (40 млн).

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke make test PASS: lab4 public API scenario —
Тесты вложений make test-attachments 5 passed evidence/test-attachments.txt
Приватный bucket make private-bucket GET напрямую → 403 AccessDenied evidence/private-bucket.txt
S3 credentials (api-user не admin) make s3-user-check evidence/s3-credentials.txt
RAM-эксперимент (10 загрузок) make ram-experiment 10/10 (201), avg 6.37 МБ, пик памяти app1 ~290 МБ / 512 МБ, OOM нет evidence/ram-experiment.txt
Потоковый лимит (100 МБ -> 413) make stream-limit Status 413 за 0.11s, память не растёт (потоковое чтение прервало на 10 МБ) evidence/stream-limit.txt
Reconciler: обнаружение make reconcile-test [ORPHAN] + [MISSING] в dry-run, [DELETED] в execute, повторный dry-run 0/0 evidence/reconciler-full.txt
Grace period (свежие не удаляются) make grace-period-test [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] evidence/track2-grace-period.txt
Используемые не удаляются make used-attachment-test [SKIP] для missing с messages.attachment_ids, COUNT=1 → PASS evidence/track2-used-attachment.txt
Стоимость обхода make reconcile-cost 50 файлов за 1.012s evidence/track2-cost-50.txt

Эксперименты и отказы

RAM-эксперимент

Гипотеза: лимиты (10 МБ на файл) не дают одной загрузке занять неограниченную RAM. 10 одновременных загрузок не превысят лимит 512 МБ.

Методика: scripts/ram-experiment.py — 10 одновременных загрузок через, файлы ~5-7 МБ. Параллельно docker stats.

Результат: 10/10 (201), avg 6.37 МБ, суммарно 63.7 МБ, общее время ~1.6s (параллельно). Пик памяти app1 ~290 МБ / 512 МБ (57% лимита), app2 ~94 МБ (Nginx распределил). После нагрузки память вернулась к ~97 МБ. OOM нет.

Вывод: лимиты работают — даже 10 загрузок по 6 МБ не выходят за 512 МБ. Потоковое чтение ограничивает пик ≤ 10 МБ на одну загрузку.

Трек 2: Согласованность двух хранилищ

Гипотеза: при сбое между записью в MinIO и записью в PostgreSQL появляются расхождения: orphan (файл в S3 без БД), missing (запись в БД без S3). Reconciler находит оба и безопасно исправляет, не удаляя свежие (grace period) и используемые.

Результаты:

Сценарий Наблюдаемо Файл
Обнаружение (dry-run) [ORPHAN] + [MISSING] evidence/reconciler-full.txt
Исправление (execute) [DELETED] + COUNT=0 evidence/reconciler-full.txt
Идемпотентность повторный dry-run → 0/0 evidence/reconciler-full.txt
Grace period [SKIP] (1 сек) → [ORPHAN] (12 сек) → [DELETED] evidence/track2-grace-period.txt
Используемые [SKIP] + COUNT=1 → PASS evidence/track2-used-attachment.txt
Стоимость обхода 50 файлов / 1.012s (~2 мс/файл) evidence/track2-cost-50.txt

Ограничения и следующие шаги

Что выдерживается: отказ процесса (реплики), rolling update, общая сессия, идемпотентность, миграции однократно, приватный bucket, S3 credentials (api-user не admin), потоковое чтение (100 МБ → 413 без OOM), reconciler (orphan + missing), grace period.

Подтверждённое улучшение (трек 2): reconciler восстанавливает согласованность MinIO/PostgreSQL — находит orphan и missing, идемпотентен, защищает свежие (grace period) и используемые вложения. Стоимость ~2 мс/файл (50 файлов / 1.012s).