Files
mtusi2026lab4/REPORT.md
T

6.9 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Максимова Снежана, БПИ2302
  • Целевая оценка: 4
  • Commit/PR: <ссылка на PR появится после пуша>
  • Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, boto3, Pillow, MinIO. ИИ использовался для генерации черновиков конфигураций и кода, финальная проверка и отладка проводились вручную.

Запуск из чистого clone

Для запуска требуются Docker, Docker Compose и Python.

git clone https://gitea.privcloud.tech/kleprer/mtusi2026lab4.git
cd mtusi2026lab4
# кроссплатформенное копирование .env
python -c "import shutil; shutil.copy('.env.example', '.env')"
docker compose up -d --build --scale api=2

Безопасная остановка (с сохранением данных):

docker compose down

Намеренное удаление учебных данных (БД, кэша, файлов):

docker compose down -v

Архитектура и решения

Схема процессов: Клиент → Nginx (порт 8080) → API-реплики (FastAPI) → PostgreSQL (метаданные, пользователи, сессии), Redis (сессии), MinIO (S3-хранилище для файлов).

Что изменено по сравнению с lab3:

  1. S3-хранилище (MinIO): В compose.yaml добавлен сервис minio и minio-init. Приватный бакет attachments создаётся автоматически. Для API выделены отдельные credentials (api_user), у которых нет прав администратора.
  2. Метаданные файлов: В PostgreSQL добавлена таблица attachments (хранит размер, хэш SHA-256, MIME-тип, путь в S3) и связующая таблица message_attachments.
  3. Валидация изображений: Перед отправкой в S3 файл проверяется через Pillow на корректность формата (только JPEG/PNG) и ограничения (до 10 МБ, до 40 млн пикселей). Также реализована защита от опасных имен файлов (/, \, \x00).
  4. Безопасность: Файлы нельзя скачать напрямую из MinIO. API проверяет, является ли текущий пользователь участником чата, к которому привязан файл (иначе возвращается 404).
  5. Механизм компенсации (Saga): Если файл успешно сохранен в S3, но происходит сбой при записи в БД, вызывается s3.delete_object для удаления «осиротевшего» файла. Это предотвращает утечку места в хранилище.
  6. Контракт Lab4: В ответах API добавлены обязательные поля variants: [], attachment_ids (для сообщений) и updated_at (для вложений).

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke (уровень 3/4) python tests/smoke.py PASS. Тест загружает картинку, проверяет хэш и блокировку доступа для посторонних. вывод консоли
Негативные тесты (уровень 4) pytest student-tests/ -v PASS. Тесты проверяют отказ при опасных именах файлов, битых картинках и привязке чужого вложения (ошибки 400/415/404, не 500). student-tests/test_attachments.py
Persistence (перезапуск) python tests/resilience.py --mode persistence --action-script scripts/restart.cmd PASS. Метаданные и файлы выживают после перезапуска контейнеров. лог теста
Работа MinIO http://localhost:9001 (Web UI) В бакете attachments видны загруженные файлы. скриншот консоли
Защита от чужих python tests/smoke.py От лица eve запрос GET /attachments/{id} возвращает 404. лог теста

Эксперимент с пиковой памятью

В рамках проверки стабильности при конкурентных загрузках был проведен тест: 10 параллельных запросов на загрузку изображений.

  • Потребление до загрузки (idle): 80.12 MiB.
  • Пиковое потребление в момент 10 одновременных загрузок: 87.44 MiB.
  • Прирост: ~7.3 MiB (буферы загружаемых файлов в памяти).
  • Сетевой трафик: увеличился на ~8 MB (подтверждает прохождение данных).

Приложение не превысило заданный лимит (512 MiB в compose.yaml) и не упало с ошибкой OOM (Out Of Memory). Прирост памяти минимален, что доказывает эффективность потоковой обработки и отсутствие утечек. После завершения запросов память возвращается сборщиком мусора.

Ограничения и следующие шаги

  • Нет фоновой обработки: В рамках оценки 4 реализована только синхронная загрузка оригинального файла. Создание миниатюр (thumbnail), ресайз и фоновая обработка через брокер сообщений (worker) запланированы для лабораторной 5.
  • Нет репликации MinIO: В текущей конфигурации используется один инстанс MinIO. При его падении загрузка и скачивание файлов станут недоступны (SPOF).
  • Хранение файлов в оперативной памяти при загрузке: Файл целиком считывается в память (await request.body()) перед отправкой в S3, что допустимо для лимита в 10 МБ, но не масштабируется для больших объемов.