forked from mtusi2026/mtusi2026lab4
75 lines
5.9 KiB
Markdown
75 lines
5.9 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- Дадайкин Андрей, БВТ2302
|
||
- Целевая оценка: 4
|
||
- Commit/PR: TODO после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ:
|
||
- - aioboto3` для асинхронной работы с S3 API.
|
||
- - Использован ИИ (LLM) для код-ревью структуры валидатора изображений
|
||
-
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Требования:** ОС Windows 11 (или Linux/WSL2), Docker Desktop, Python 3.12, Poetry.
|
||
|
||
1. **Настройка окружения:**
|
||
Скопируйте пример переменных окружения:
|
||
```cmd
|
||
copy .env.example .env
|
||
```
|
||
|
||
|
||
2. **Запуск инфраструктуры и API:**
|
||
```cmd
|
||
docker compose --env-file .env up -d --build
|
||
```
|
||
*Контейнер `migrate` автоматически применит миграции к PostgreSQL перед стартом `api`. SeaweedFS поднимется как S3-совместимое хранилище.*
|
||
|
||
3. **Локальные тесты (в WSL или Git Bash):**
|
||
```bash
|
||
poetry install
|
||
poetry run make check
|
||
poetry run make test BASE_URL=http://localhost:8080
|
||
poetry run pytest student-tests/
|
||
```
|
||
|
||
4. **Тестирование отказоустойчивости:**
|
||
```bash
|
||
poetry run make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:8080
|
||
poetry run make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:8080
|
||
```
|
||
*(На Windows скрипты `.sh` необходимо запускать через WSL или терминал, поддерживающий bash-скрипты, предварительно выполнив `chmod +x scripts/*.sh`).*
|
||
|
||
5. **Остановка и очистка данных:**
|
||
```cmd
|
||
docker compose down -v
|
||
```
|
||
|
||
## Архитектура и решения
|
||
|
||
- **Хранилище байтов (S3):** Использован легковесный SeaweedFS (`chrislusf/seaweedfs:latest`), работающий в режиме S3-шлюза. Сервис изолирован в сети `backend`, публичный доступ закрыт (доступ только через API-реплики).
|
||
- **Хранилище метаданных:** PostgreSQL (таблица `attachments` с полями `status`, `sha256`, `size_bytes`, `content_type`).
|
||
- **Связь файлов и сообщений:** Массив `attachment_ids (UUID[])` добавлен в таблицу `messages`.
|
||
- **Потоковая загрузка:** Реализован endpoint `POST /chats/{chat_id}/attachments`. Данные читаются через `request.stream()` и записываются в `tempfile`.
|
||
- **Эффективная защита по RAM (Anti-Decompression Bomb):** Парсинг ширины и высоты PNG/JPEG происходит путем ручного чтения бинарных заголовков. Это позволяет отсекать изображения >40 млн пикселей, не декодируя файл в оперативную память.
|
||
- **Безопасность имен:** Оригинальное имя файла `filename` сохраняется в БД для отображения клиенту. В S3 объект сохраняется под сгенерированным ключом `chat_id/attachment_id`, что исключает атаки типа Path Traversal.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `make test` | Пройден сценарий lab4, SHA-256 скачанного файла совпал. | `tests/smoke.py` |
|
||
| Ограничение загрузки (до 10 МБ, mime) | `pytest student-tests/test_attachments.py` | Загрузка TXT под видом PNG возвращает 415. | `student-tests/test_attachments.py` |
|
||
| Отсутствие доступа у постороннего | `make test` | Вызов GET-методов контента от 3-го лица выдает 404. | `tests/smoke.py` |
|
||
| Restart стенда с сохранением файлов | `make test-persistence` | После `scripts/restart.sh` (БД, Valkey, API, S3) скачанный файл не бьется. | `scripts/restart.sh` |
|
||
| Отказ API при загрузке (failover) | `make test-failover` | Скачивание файла происходит успешно через соседнюю реплику после остановки первой. | `scripts/stop-one.sh` |
|
||
| Механизм компенсации БД/S3 | Запуск `scripts/reconcile_s3.py` | Скрипт (запускаемый по cron) находит `queued` файлы старше 24ч и удаляет сирот из S3. | `scripts/reconcile_s3.py` |
|
||
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
- **Ограничения парсера:** Ручной валидатор изображений `validate_image_and_get_mime` поддерживает базовые форматы JPEG и PNG. Прогрессивные форматы (WebP, AVIF) пока отклоняются с ошибкой 415.
|
||
- **Упрощение реконсиляции:** Текущий механизм реконсилятора (`reconcile_s3.py`) запускается вручную. В production среде его необходимо вынести в Celery Beat или Kubernetes CronJob.
|
||
- **Следующий шаг:** Переход на асинхронную генерацию миниатюр (thumbnail) и crop вариантов через брокер сообщений (RabbitMQ) для выполнения требований Лабораторной №5.
|
||
|