forked from mtusi2026/mtusi2026lab4
6.9 KiB
6.9 KiB
Отчёт — лабораторная 4
- Автор, группа: Максимова Снежана, БПИ2302
- Целевая оценка: 4
- Commit/PR: <ссылка на PR появится после пуша>
- Использованные источники, библиотеки и помощь ИИ: FastAPI, SQLAlchemy, boto3, Pillow, MinIO. ИИ использовался для генерации черновиков конфигураций и кода, финальная проверка и отладка проводились вручную.
Запуск из чистого clone
Для запуска требуются Docker, Docker Compose и Python.
git clone https://gitea.privcloud.tech/kleprer/mtusi2026lab4.git
cd mtusi2026lab4
# кроссплатформенное копирование .env
python -c "import shutil; shutil.copy('.env.example', '.env')"
docker compose up -d --build --scale api=2
Безопасная остановка (с сохранением данных):
docker compose down
Намеренное удаление учебных данных (БД, кэша, файлов):
docker compose down -v
Архитектура и решения
Схема процессов: Клиент → Nginx (порт 8080) → API-реплики (FastAPI) → PostgreSQL (метаданные, пользователи, сессии), Redis (сессии), MinIO (S3-хранилище для файлов).
Что изменено по сравнению с lab3:
- S3-хранилище (MinIO): В
compose.yamlдобавлен сервисminioиminio-init. Приватный бакетattachmentsсоздаётся автоматически. Для API выделены отдельные credentials (api_user), у которых нет прав администратора. - Метаданные файлов: В PostgreSQL добавлена таблица
attachments(хранит размер, хэш SHA-256, MIME-тип, путь в S3) и связующая таблицаmessage_attachments. - Валидация изображений: Перед отправкой в S3 файл проверяется через
Pillowна корректность формата (только JPEG/PNG) и ограничения (до 10 МБ, до 40 млн пикселей). Также реализована защита от опасных имен файлов (/,\,\x00). - Безопасность: Файлы нельзя скачать напрямую из MinIO. API проверяет, является ли текущий пользователь участником чата, к которому привязан файл (иначе возвращается 404).
- Механизм компенсации (Saga): Если файл успешно сохранен в S3, но происходит сбой при записи в БД, вызывается
s3.delete_objectдля удаления «осиротевшего» файла. Это предотвращает утечку места в хранилище. - Контракт Lab4: В ответах API добавлены обязательные поля
variants: [],attachment_ids(для сообщений) иupdated_at(для вложений).
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke (уровень 3/4) | python tests/smoke.py |
PASS. Тест загружает картинку, проверяет хэш и блокировку доступа для посторонних. | вывод консоли |
| Негативные тесты (уровень 4) | pytest student-tests/ -v |
PASS. Тесты проверяют отказ при опасных именах файлов, битых картинках и привязке чужого вложения (ошибки 400/415/404, не 500). | student-tests/test_attachments.py |
| Persistence (перезапуск) | python tests/resilience.py --mode persistence --action-script scripts/restart.cmd |
PASS. Метаданные и файлы выживают после перезапуска контейнеров. | лог теста |
| Работа MinIO | http://localhost:9001 (Web UI) |
В бакете attachments видны загруженные файлы. |
скриншот консоли |
| Защита от чужих | python tests/smoke.py |
От лица eve запрос GET /attachments/{id} возвращает 404. |
лог теста |
Эксперимент с пиковой памятью
В рамках проверки стабильности при конкурентных загрузках был проведен тест: 10 параллельных запросов на загрузку изображений.
- Потребление до загрузки (idle): 80.12 MiB.
- Пиковое потребление в момент 10 одновременных загрузок: 87.44 MiB.
- Прирост: ~7.3 MiB (буферы загружаемых файлов в памяти).
- Сетевой трафик: увеличился на ~8 MB (подтверждает прохождение данных).
Приложение не превысило заданный лимит (512 MiB в compose.yaml) и не упало с ошибкой OOM (Out Of Memory). Прирост памяти минимален, что доказывает эффективность потоковой обработки и отсутствие утечек. После завершения запросов память возвращается сборщиком мусора.
Ограничения и следующие шаги
- Нет фоновой обработки: В рамках оценки 4 реализована только синхронная загрузка оригинального файла. Создание миниатюр (thumbnail), ресайз и фоновая обработка через брокер сообщений (worker) запланированы для лабораторной 5.
- Нет репликации MinIO: В текущей конфигурации используется один инстанс MinIO. При его падении загрузка и скачивание файлов станут недоступны (SPOF).
- Хранение файлов в оперативной памяти при загрузке: Файл целиком считывается в память (
await request.body()) перед отправкой в S3, что допустимо для лимита в 10 МБ, но не масштабируется для больших объемов.