forked from mtusi2026/mtusi2026lab4
82 lines
8.0 KiB
Markdown
82 lines
8.0 KiB
Markdown
# Отчёт — лабораторная 4
|
||
|
||
- **Автор, группа:** Вотчицева Вероника, БВТ2302
|
||
- **Целевая оценка:** 4
|
||
- **Commit/PR:** ТУТ_БУДЕТ_ССЫЛКА_НА_PR
|
||
- **Использованные источники, библиотеки и помощь ИИ:**
|
||
- Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL.
|
||
- S3-хранилище: SeaweedFS 4.35, библиотека boto3.
|
||
- Работа с изображениями: Pillow 11.3.0.
|
||
- При подготовке каркаса приложения, инфраструктуры и скриптов использовался ассистент (Claude).
|
||
|
||
## Запуск из чистого clone
|
||
|
||
**Prerequisites:** Docker Desktop (с поддержкой флага `--wait`), Python 3.9+ для запуска проверок.
|
||
|
||
```powershell
|
||
# 1. Подготовка окружения (создание локальных паролей)
|
||
Copy-Item .env.example .env
|
||
# (при необходимости отредактировать пароли в .env)
|
||
|
||
# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, S3, 2 API и HAProxy)
|
||
docker compose up -d --build --wait --wait-timeout 150
|
||
|
||
# 3. Запуск проверок
|
||
python tests/smoke.py
|
||
python student-tests/test_attachments.py
|
||
```
|
||
|
||
**Остановка и удаление данных:**
|
||
- Безопасная остановка с сохранением данных: `docker compose down`
|
||
- Намеренное удаление всех учебных данных (volumes): `docker compose down -v`
|
||
|
||
Публичный адрес API: `http://localhost:8080`. Проверка готовности: `/health/ready`.
|
||
|
||
## Архитектура и решения
|
||
|
||
Клиент → HAProxy (roundrobin) → FastAPI×2 → PostgreSQL + Redis + SeaweedFS (S3).
|
||
PostgreSQL хранит пользователей, чаты, сообщения и **метаданные вложений**.
|
||
Redis — сессии. S3 (SeaweedFS) — приватные оригинальные файлы PNG/JPEG.
|
||
|
||
**Что добавлено в lab4:**
|
||
1. **S3-хранилище:** Развернут SeaweedFS 4.35. Создан приватный бакет `messenger-attachments`. Прямой доступ к S3 извне закрыт. Скрипт `infra/generate-s3-config.py` создает два ключа доступа (admin для настройки и API-ключ с жесткими правами только на этот бакет).
|
||
2. **Метаданные вложений:** Созданы таблицы `attachments` (хранит UUID, chat_id, owner_id, object_key, размер, SHA-256) и `message_attachments` (связь многие-ко-многим).
|
||
3. **Безопасность загрузки:** Лимит 10 МиБ, лимит 40 мегапикселей, проверка реального формата (через Pillow). Имя файла (`filename`) не используется как путь в S3 — ключ объекта генерируется сервером случайно.
|
||
4. **Защита от утечек памяти:** При загрузке используется `SpooledTemporaryFile`. Файлы до 1 МБ держатся в RAM, больше — сбрасываются на диск. При скачивании используется `StreamingResponse` с отдачей чанками по 64 КБ.
|
||
5. **Согласованность данных (S3 + PostgreSQL):** Если файл успешно загружен в S3, но запись метаданных в БД упала с ошибкой, выполняется компенсирующее удаление файла из S3 (best-effort). Для "файлов-призраков" (если процесс убит посередине) предусмотрен скрипт `src/reconcile.py`.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `python tests/smoke.py` | PASS: lab4 public API scenario | `evidence/smoke.txt` |
|
||
| Ошибки доступа и форматов | `python student-tests/test_attachments.py` | PASS: private downloads, MIME spoof, corrupt image | `evidence/test_attachments.txt` |
|
||
| 12 параллельных сообщений (Lab3) | `python student-tests/run.py` | PASS: 12 concurrent requests across 2 replicas | `evidence/concurrency-lab4.txt` |
|
||
| Приватность S3 | `docker compose exec -T api1 python -m src.private_check` | PASS: S3 requires authentication | `evidence/private-s3-lab4.txt` |
|
||
| 10 одновременных загрузок и RAM | `python scripts/experiment_uploads.py` | PASS: 10 parallel uploads (пик памяти в JSON) | `evidence/uploads-10.json` |
|
||
| Persistence | `python tests/resilience.py --mode persistence` | PASS: данные и токен выжили | `evidence/persistence-lab4.txt` |
|
||
|
||
## Эксперименты и отказы
|
||
|
||
**1. Защита от переполнения памяти (OOM).**
|
||
Проведен эксперимент из 10 одновременных загрузок файлов. Благодаря `SpooledTemporaryFile` и стримингу, пиковое потребление RAM контейнера `api` осталось в пределах выделенных 384 МБ. Сервер не упал. Данные о пике памяти зафиксированы в `evidence/uploads-10.json`.
|
||
|
||
**2. Негативные тесты безопасности.**
|
||
- **Подмена MIME:** отправка PNG с заголовком `image/jpeg` корректно отклоняется с кодом `415`.
|
||
- **Бомба декомпрессии:** подмена байтов заголовка PNG на 10000x5000 пикселей (50 МП) отклоняется с кодом `413` (лимит 40 МП) до полной распаковки.
|
||
- **Path Traversal:** передача имени файла `../hidden.png` отклоняется с кодом `400`.
|
||
- **Изоляция:** попытка прикрепить файл из чужого чата возвращает `404`.
|
||
|
||
**3. Отказ и сохранность данных.**
|
||
Сценарий `persistence` проверяет, что при полном перезапуске контейнеров (API, БД, S3, Redis) старый токен остается рабочим, а ранее загруженные картинки остаются доступными для скачивания через API.
|
||
|
||
| Воздействие | Что ожидали | Что наблюдали | Потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| `docker compose restart` | Токен и файл выживут | Токен и файл скачались без ошибок | Нет |
|
||
| Остановка `api1` | Скачивание через `api2` | Файл успешно скачан через живую реплику | Нет |
|
||
|
||
## Ограничения
|
||
|
||
- **Единая точка отказа:** S3 (SeaweedFS) запущен в единственном экземпляре и не реплицирован. При его падении загрузка и скачивание файлов становятся недоступны (API возвращает 503).
|
||
- **Транспорт:** Лабораторная работает по HTTP. Для production-среды требуется HTTPS (будет реализовано в лабе 7).
|
||
- **Восстановление orphan-файлов:** Скрипт `reconcile.py` удаляет мусорные файлы из S3 с задержкой (grace period) не менее 1 часа, чтобы случайно не удалить файл, чья транзакция в БД еще находится в процессе выполнения. |