Files
mtusi2026lab4/REPORT.md
T

82 lines
8.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Отчёт — лабораторная 4
- **Автор, группа:** Вотчицева Вероника, БВТ2302
- **Целевая оценка:** 4
- **Commit/PR:** ТУТ_БУДЕТ_ССЫЛКА_НА_PR
- **Использованные источники, библиотеки и помощь ИИ:**
- Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL.
- S3-хранилище: SeaweedFS 4.35, библиотека boto3.
- Работа с изображениями: Pillow 11.3.0.
- При подготовке каркаса приложения, инфраструктуры и скриптов использовался ассистент (Claude).
## Запуск из чистого clone
**Prerequisites:** Docker Desktop (с поддержкой флага `--wait`), Python 3.9+ для запуска проверок.
```powershell
# 1. Подготовка окружения (создание локальных паролей)
Copy-Item .env.example .env
# (при необходимости отредактировать пароли в .env)
# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, S3, 2 API и HAProxy)
docker compose up -d --build --wait --wait-timeout 150
# 3. Запуск проверок
python tests/smoke.py
python student-tests/test_attachments.py
```
**Остановка и удаление данных:**
- Безопасная остановка с сохранением данных: `docker compose down`
- Намеренное удаление всех учебных данных (volumes): `docker compose down -v`
Публичный адрес API: `http://localhost:8080`. Проверка готовности: `/health/ready`.
## Архитектура и решения
Клиент → HAProxy (roundrobin) → FastAPI×2 → PostgreSQL + Redis + SeaweedFS (S3).
PostgreSQL хранит пользователей, чаты, сообщения и **метаданные вложений**.
Redis — сессии. S3 (SeaweedFS) — приватные оригинальные файлы PNG/JPEG.
**Что добавлено в lab4:**
1. **S3-хранилище:** Развернут SeaweedFS 4.35. Создан приватный бакет `messenger-attachments`. Прямой доступ к S3 извне закрыт. Скрипт `infra/generate-s3-config.py` создает два ключа доступа (admin для настройки и API-ключ с жесткими правами только на этот бакет).
2. **Метаданные вложений:** Созданы таблицы `attachments` (хранит UUID, chat_id, owner_id, object_key, размер, SHA-256) и `message_attachments` (связь многие-ко-многим).
3. **Безопасность загрузки:** Лимит 10 МиБ, лимит 40 мегапикселей, проверка реального формата (через Pillow). Имя файла (`filename`) не используется как путь в S3 — ключ объекта генерируется сервером случайно.
4. **Защита от утечек памяти:** При загрузке используется `SpooledTemporaryFile`. Файлы до 1 МБ держатся в RAM, больше — сбрасываются на диск. При скачивании используется `StreamingResponse` с отдачей чанками по 64 КБ.
5. **Согласованность данных (S3 + PostgreSQL):** Если файл успешно загружен в S3, но запись метаданных в БД упала с ошибкой, выполняется компенсирующее удаление файла из S3 (best-effort). Для "файлов-призраков" (если процесс убит посередине) предусмотрен скрипт `src/reconcile.py`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `python tests/smoke.py` | PASS: lab4 public API scenario | `evidence/smoke.txt` |
| Ошибки доступа и форматов | `python student-tests/test_attachments.py` | PASS: private downloads, MIME spoof, corrupt image | `evidence/test_attachments.txt` |
| 12 параллельных сообщений (Lab3) | `python student-tests/run.py` | PASS: 12 concurrent requests across 2 replicas | `evidence/concurrency-lab4.txt` |
| Приватность S3 | `docker compose exec -T api1 python -m src.private_check` | PASS: S3 requires authentication | `evidence/private-s3-lab4.txt` |
| 10 одновременных загрузок и RAM | `python scripts/experiment_uploads.py` | PASS: 10 parallel uploads (пик памяти в JSON) | `evidence/uploads-10.json` |
| Persistence | `python tests/resilience.py --mode persistence` | PASS: данные и токен выжили | `evidence/persistence-lab4.txt` |
## Эксперименты и отказы
**1. Защита от переполнения памяти (OOM).**
Проведен эксперимент из 10 одновременных загрузок файлов. Благодаря `SpooledTemporaryFile` и стримингу, пиковое потребление RAM контейнера `api` осталось в пределах выделенных 384 МБ. Сервер не упал. Данные о пике памяти зафиксированы в `evidence/uploads-10.json`.
**2. Негативные тесты безопасности.**
- **Подмена MIME:** отправка PNG с заголовком `image/jpeg` корректно отклоняется с кодом `415`.
- **Бомба декомпрессии:** подмена байтов заголовка PNG на 10000x5000 пикселей (50 МП) отклоняется с кодом `413` (лимит 40 МП) до полной распаковки.
- **Path Traversal:** передача имени файла `../hidden.png` отклоняется с кодом `400`.
- **Изоляция:** попытка прикрепить файл из чужого чата возвращает `404`.
**3. Отказ и сохранность данных.**
Сценарий `persistence` проверяет, что при полном перезапуске контейнеров (API, БД, S3, Redis) старый токен остается рабочим, а ранее загруженные картинки остаются доступными для скачивания через API.
| Воздействие | Что ожидали | Что наблюдали | Потеря данных |
| --- | --- | --- | --- |
| `docker compose restart` | Токен и файл выживут | Токен и файл скачались без ошибок | Нет |
| Остановка `api1` | Скачивание через `api2` | Файл успешно скачан через живую реплику | Нет |
## Ограничения
- **Единая точка отказа:** S3 (SeaweedFS) запущен в единственном экземпляре и не реплицирован. При его падении загрузка и скачивание файлов становятся недоступны (API возвращает 503).
- **Транспорт:** Лабораторная работает по HTTP. Для production-среды требуется HTTPS (будет реализовано в лабе 7).
- **Восстановление orphan-файлов:** Скрипт `reconcile.py` удаляет мусорные файлы из S3 с задержкой (grace period) не менее 1 часа, чтобы случайно не удалить файл, чья транзакция в БД еще находится в процессе выполнения.