8.0 KiB
Отчёт — лабораторная 4
- Автор, группа: Вотчицева Вероника, БВТ2302
- Целевая оценка: 4
- Commit/PR: ТУТ_БУДЕТ_ССЫЛКА_НА_PR
- Использованные источники, библиотеки и помощь ИИ:
- Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL.
- S3-хранилище: SeaweedFS 4.35, библиотека boto3.
- Работа с изображениями: Pillow 11.3.0.
- При подготовке каркаса приложения, инфраструктуры и скриптов использовался ассистент (Claude).
Запуск из чистого clone
Prerequisites: Docker Desktop (с поддержкой флага --wait), Python 3.9+ для запуска проверок.
# 1. Подготовка окружения (создание локальных паролей)
Copy-Item .env.example .env
# (при необходимости отредактировать пароли в .env)
# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, S3, 2 API и HAProxy)
docker compose up -d --build --wait --wait-timeout 150
# 3. Запуск проверок
python tests/smoke.py
python student-tests/test_attachments.py
Остановка и удаление данных:
- Безопасная остановка с сохранением данных:
docker compose down - Намеренное удаление всех учебных данных (volumes):
docker compose down -v
Публичный адрес API: http://localhost:8080. Проверка готовности: /health/ready.
Архитектура и решения
Клиент → HAProxy (roundrobin) → FastAPI×2 → PostgreSQL + Redis + SeaweedFS (S3). PostgreSQL хранит пользователей, чаты, сообщения и метаданные вложений. Redis — сессии. S3 (SeaweedFS) — приватные оригинальные файлы PNG/JPEG.
Что добавлено в lab4:
- S3-хранилище: Развернут SeaweedFS 4.35. Создан приватный бакет
messenger-attachments. Прямой доступ к S3 извне закрыт. Скриптinfra/generate-s3-config.pyсоздает два ключа доступа (admin для настройки и API-ключ с жесткими правами только на этот бакет). - Метаданные вложений: Созданы таблицы
attachments(хранит UUID, chat_id, owner_id, object_key, размер, SHA-256) иmessage_attachments(связь многие-ко-многим). - Безопасность загрузки: Лимит 10 МиБ, лимит 40 мегапикселей, проверка реального формата (через Pillow). Имя файла (
filename) не используется как путь в S3 — ключ объекта генерируется сервером случайно. - Защита от утечек памяти: При загрузке используется
SpooledTemporaryFile. Файлы до 1 МБ держатся в RAM, больше — сбрасываются на диск. При скачивании используетсяStreamingResponseс отдачей чанками по 64 КБ. - Согласованность данных (S3 + PostgreSQL): Если файл успешно загружен в S3, но запись метаданных в БД упала с ошибкой, выполняется компенсирующее удаление файла из S3 (best-effort). Для "файлов-призраков" (если процесс убит посередине) предусмотрен скрипт
src/reconcile.py.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py |
PASS: lab4 public API scenario | evidence/smoke.txt |
| Ошибки доступа и форматов | python student-tests/test_attachments.py |
PASS: private downloads, MIME spoof, corrupt image | evidence/test_attachments.txt |
| 12 параллельных сообщений (Lab3) | python student-tests/run.py |
PASS: 12 concurrent requests across 2 replicas | evidence/concurrency-lab4.txt |
| Приватность S3 | docker compose exec -T api1 python -m src.private_check |
PASS: S3 requires authentication | evidence/private-s3-lab4.txt |
| 10 одновременных загрузок и RAM | python scripts/experiment_uploads.py |
PASS: 10 parallel uploads (пик памяти в JSON) | evidence/uploads-10.json |
| Persistence | python tests/resilience.py --mode persistence |
PASS: данные и токен выжили | evidence/persistence-lab4.txt |
Эксперименты и отказы
1. Защита от переполнения памяти (OOM).
Проведен эксперимент из 10 одновременных загрузок файлов. Благодаря SpooledTemporaryFile и стримингу, пиковое потребление RAM контейнера api осталось в пределах выделенных 384 МБ. Сервер не упал. Данные о пике памяти зафиксированы в evidence/uploads-10.json.
2. Негативные тесты безопасности.
- Подмена MIME: отправка PNG с заголовком
image/jpegкорректно отклоняется с кодом415. - Бомба декомпрессии: подмена байтов заголовка PNG на 10000x5000 пикселей (50 МП) отклоняется с кодом
413(лимит 40 МП) до полной распаковки. - Path Traversal: передача имени файла
../hidden.pngотклоняется с кодом400. - Изоляция: попытка прикрепить файл из чужого чата возвращает
404.
3. Отказ и сохранность данных.
Сценарий persistence проверяет, что при полном перезапуске контейнеров (API, БД, S3, Redis) старый токен остается рабочим, а ранее загруженные картинки остаются доступными для скачивания через API.
| Воздействие | Что ожидали | Что наблюдали | Потеря данных |
|---|---|---|---|
docker compose restart |
Токен и файл выживут | Токен и файл скачались без ошибок | Нет |
Остановка api1 |
Скачивание через api2 |
Файл успешно скачан через живую реплику | Нет |
Ограничения
- Единая точка отказа: S3 (SeaweedFS) запущен в единственном экземпляре и не реплицирован. При его падении загрузка и скачивание файлов становятся недоступны (API возвращает 503).
- Транспорт: Лабораторная работает по HTTP. Для production-среды требуется HTTPS (будет реализовано в лабе 7).
- Восстановление orphan-файлов: Скрипт
reconcile.pyудаляет мусорные файлы из S3 с задержкой (grace period) не менее 1 часа, чтобы случайно не удалить файл, чья транзакция в БД еще находится в процессе выполнения.