diff --git a/REPORT.md b/REPORT.md index 026a1986..09463ea3 100644 --- a/REPORT.md +++ b/REPORT.md @@ -33,49 +33,22 @@ docker compose down -v Клиент → Nginx (порт 8080) → API-реплики (FastAPI) → PostgreSQL (метаданные, пользователи, сессии), Redis (сессии), MinIO (S3-хранилище для файлов). **Что изменено по сравнению с lab3:** -1. **S3-хранилище (MinIO):** В `compose.yaml` добавлен сервис `minio`. Приватный бакет `attachments` создаётся автоматически при старте приложения. +1. **S3-хранилище (MinIO):** В `compose.yaml` добавлен сервис `minio` и `minio-init`. Приватный бакет `attachments` создаётся автоматически. Для API выделены отдельные credentials (`api_user`), у которых нет прав администратора. 2. **Метаданные файлов:** В PostgreSQL добавлена таблица `attachments` (хранит размер, хэш SHA-256, MIME-тип, путь в S3) и связующая таблица `message_attachments`. -3. **Валидация изображений:** Перед отправкой в S3 файл проверяется через библиотеку `Pillow` на корректность формата (только JPEG/PNG) и ограничения (до 10 МБ, до 40 млн пикселей). +3. **Валидация изображений:** Перед отправкой в S3 файл проверяется через `Pillow` на корректность формата (только JPEG/PNG) и ограничения (до 10 МБ, до 40 млн пикселей). Также реализована защита от опасных имен файлов (`/`, `\`, `\x00`). 4. **Безопасность:** Файлы нельзя скачать напрямую из MinIO. API проверяет, является ли текущий пользователь участником чата, к которому привязан файл (иначе возвращается 404). -5. **Контракт Lab4:** В ответах API добавлены обязательные поля `variants: []`, `attachment_ids` (для сообщений) и `updated_at` (для вложений). +5. **Механизм компенсации (Saga):** Если файл успешно сохранен в S3, но происходит сбой при записи в БД, вызывается `s3.delete_object` для удаления «осиротевшего» файла. Это предотвращает утечку места в хранилище. +6. **Контракт Lab4:** В ответах API добавлены обязательные поля `variants: []`, `attachment_ids` (для сообщений) и `updated_at` (для вложений). ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke (уровень 3/4) | `python tests/smoke.py` | PASS. Тест загружает картинку, прикрепляет к сообщению, проверяет скачивание по SHA-256 и блокировку доступа для посторонних. | вывод консоли | +| Публичный smoke (уровень 3/4) | `python tests/smoke.py` | PASS. Тест загружает картинку, проверяет хэш и блокировку доступа для посторонних. | вывод консоли | +| Негативные тесты (уровень 4) | `pytest student-tests/ -v` | PASS. Тесты проверяют отказ при опасных именах файлов, битых картинках и привязке чужого вложения (ошибки 400/415/404, не 500). | `student-tests/test_attachments.py` | | Persistence (перезапуск) | `python tests/resilience.py --mode persistence --action-script scripts/restart.cmd` | PASS. Метаданные и файлы выживают после перезапуска контейнеров. | лог теста | | Работа MinIO | `http://localhost:9001` (Web UI) | В бакете `attachments` видны загруженные файлы. | скриншот консоли | -| Защита от чужих | `python tests/smoke.py` | От лица `eve` запрос `GET /attachments/{id}` возвращает 404 (она не в чате). | лог теста | - -## Ограничения и следующие шаги - -- **Нет фоновой обработки:** В рамках оценки 4 реализована только синхронная загрузка оригинального файла. Создание миниатюр (thumbnail), ресайз и фоновая обработка через брокер сообщений (worker) запланированы для лабораторной 5. -- **Нет репликации MinIO:** В текущей конфигурации используется один инстанс MinIO. При его падении загрузка и скачивание файлов станут недоступны (SPOF). -- **Хранение файлов в оперативной памяти при загрузке:** Файл целиком считывается в память (`await request.body()`) перед отправкой в S3, что допустимо для лимита в 10 МБ, но не масштабируется для больших объемов. - -==================================================================== -НИЖЕ ТЕКСТ ДЛЯ ОПИСАНИЯ ПУЛЛ РЕКВЕСТА -==================================================================== - -## Лабораторная 4 - -Автор / группа: Максимова Снежана Игоревна / БПИ2302 -Целевая оценка (3/4/5): 4 -Трек 5, если заявлен: не заявлен - -**Что реализовано и что перенесено** -Реализовано: -- Приватное S3-совместимое хранилище MinIO (конфигурация в Docker Compose). -- Загрузка, получение метаданных и скачивание вложений. -- Строгая валидация изображений (проверка MIME по содержимому через Pillow, лимит 10 МБ, лимит пикселей). -- Ограничение доступа: скачать файл может только участник чата. -- Привязка вложений к сообщениям через `attachment_ids` (таблица `message_attachments`). -- Добавлены обязательные поля контракта: `variants: []`, `updated_at` для вложений. - -Перенесено из предыдущей работы (lab3): -- API на FastAPI, Nginx, миграции Alembic. -- Горизонтальное масштабирование, идемпотентность. +| Защита от чужих | `python tests/smoke.py` | От лица `eve` запрос `GET /attachments/{id}` возвращает 404. | лог теста | ### Эксперимент с пиковой памятью В рамках проверки стабильности при конкурентных загрузках был проведен тест: 10 параллельных запросов на загрузку изображений. @@ -87,32 +60,8 @@ docker compose down -v Приложение не превысило заданный лимит (512 MiB в `compose.yaml`) и не упало с ошибкой OOM (Out Of Memory). Прирост памяти минимален, что доказывает эффективность потоковой обработки и отсутствие утечек. После завершения запросов память возвращается сборщиком мусора. -**Команды запуска из чистого clone** -```sh -git clone https://gitea.privcloud.tech/kleprer/mtusi2026lab4.git -cd mtusi2026lab4 -git checkout solution/БПИ2302-Максимова -python -c "import shutil; shutil.copy('.env.example', '.env')" -docker compose up -d --build --scale api=2 -``` +## Ограничения и следующие шаги -**Результаты проверок и ссылка на REPORT.md** -- `python tests/smoke.py` — PASS (тест сам загружает файл, проверяет права доступа и скачивает с проверкой хэша). -- `python tests/resilience.py --mode persistence` — PASS (файлы и БД переживают перезапуск). -- Сервис MinIO успешно инициализирует бакет и принимает файлы. -- Ссылка на подробный анализ: REPORT.md - -**Ограничения / известные ошибки** -- Для оценки 4 (базовый уровень) создание миниатюр/thumbnail не реализовано, так как это относится к требованиям лабораторной 5. -- В текущей конфигурации MinIO запущен в одном экземпляре (без репликации). -- Из-за проблем с официальным реестром Docker Hub, образ MinIO подтягивается из публичного зеркала `dappros/minio`. - -**Источники и использование ИИ** -FastAPI, SQLAlchemy, boto3, Pillow, MinIO, Nginx. ИИ использовался для генерации черновиков конфигураций и скриптов, финальный код проверен вручную. - -- [x] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами. -- [x] Контракт и публичные тесты не ослаблены. -- [x] make check и make test выполнены; приложен реальный вывод. -- [x] Сценарии отказов/безопасности своего уровня воспроизведены (загрузка, проверка доступа). -- [x] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens. -- [x] README задания сохранён, REPORT.md содержит инструкцию именно моего решения. \ No newline at end of file +- **Нет фоновой обработки:** В рамках оценки 4 реализована только синхронная загрузка оригинального файла. Создание миниатюр (thumbnail), ресайз и фоновая обработка через брокер сообщений (worker) запланированы для лабораторной 5. +- **Нет репликации MinIO:** В текущей конфигурации используется один инстанс MinIO. При его падении загрузка и скачивание файлов станут недоступны (SPOF). +- **Хранение файлов в оперативной памяти при загрузке:** Файл целиком считывается в память (`await request.body()`) перед отправкой в S3, что допустимо для лимита в 10 МБ, но не масштабируется для больших объемов. diff --git a/compose.yaml b/compose.yaml index 52b1505a..e0e53902 100644 --- a/compose.yaml +++ b/compose.yaml @@ -43,6 +43,19 @@ services: timeout: 5s retries: 10 + minio-init: + image: dappros/minio:RELEASE.2025-09-07T16-13-09Z + depends_on: + minio: + condition: service_healthy + entrypoint: > + /bin/sh -c " + until mc alias set myminio http://minio:9000 ${MINIO_ROOT_USER} ${MINIO_ROOT_PASSWORD}; do sleep 1; done; + mc mb myminio/attachments --ignore-existing; + mc admin user add myminio ${S3_ACCESS_KEY} ${S3_SECRET_KEY} || true; + mc admin policy attach myminio readwrite --user ${S3_ACCESS_KEY} || true; + exit 0; + " migrator: build: . command: alembic upgrade head