Files
mtusi2026lab4/REPORT.md
T

8.0 KiB
Raw Blame History

Отчёт — лабораторная 4

  • Автор, группа: Вотчицева Вероника, БВТ2302
  • Целевая оценка: 4
  • Commit/PR: ТУТ_БУДЕТ_ССЫЛКА_НА_PR
  • Использованные источники, библиотеки и помощь ИИ:
    • Python 3.12, FastAPI, SQLAlchemy (asyncpg), Redis, HAProxy, PostgreSQL.
    • S3-хранилище: SeaweedFS 4.35, библиотека boto3.
    • Работа с изображениями: Pillow 11.3.0.
    • При подготовке каркаса приложения, инфраструктуры и скриптов использовался ассистент (Claude).

Запуск из чистого clone

Prerequisites: Docker Desktop (с поддержкой флага --wait), Python 3.9+ для запуска проверок.

# 1. Подготовка окружения (создание локальных паролей)
Copy-Item .env.example .env
# (при необходимости отредактировать пароли в .env)

# 2. Запуск стенда (сборка, миграции, запуск БД, Redis, S3, 2 API и HAProxy)
docker compose up -d --build --wait --wait-timeout 150

# 3. Запуск проверок
python tests/smoke.py
python student-tests/test_attachments.py

Остановка и удаление данных:

  • Безопасная остановка с сохранением данных: docker compose down
  • Намеренное удаление всех учебных данных (volumes): docker compose down -v

Публичный адрес API: http://localhost:8080. Проверка готовности: /health/ready.

Архитектура и решения

Клиент → HAProxy (roundrobin) → FastAPI×2 → PostgreSQL + Redis + SeaweedFS (S3). PostgreSQL хранит пользователей, чаты, сообщения и метаданные вложений. Redis — сессии. S3 (SeaweedFS) — приватные оригинальные файлы PNG/JPEG.

Что добавлено в lab4:

  1. S3-хранилище: Развернут SeaweedFS 4.35. Создан приватный бакет messenger-attachments. Прямой доступ к S3 извне закрыт. Скрипт infra/generate-s3-config.py создает два ключа доступа (admin для настройки и API-ключ с жесткими правами только на этот бакет).
  2. Метаданные вложений: Созданы таблицы attachments (хранит UUID, chat_id, owner_id, object_key, размер, SHA-256) и message_attachments (связь многие-ко-многим).
  3. Безопасность загрузки: Лимит 10 МиБ, лимит 40 мегапикселей, проверка реального формата (через Pillow). Имя файла (filename) не используется как путь в S3 — ключ объекта генерируется сервером случайно.
  4. Защита от утечек памяти: При загрузке используется SpooledTemporaryFile. Файлы до 1 МБ держатся в RAM, больше — сбрасываются на диск. При скачивании используется StreamingResponse с отдачей чанками по 64 КБ.
  5. Согласованность данных (S3 + PostgreSQL): Если файл успешно загружен в S3, но запись метаданных в БД упала с ошибкой, выполняется компенсирующее удаление файла из S3 (best-effort). Для "файлов-призраков" (если процесс убит посередине) предусмотрен скрипт src/reconcile.py.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python tests/smoke.py PASS: lab4 public API scenario evidence/smoke.txt
Ошибки доступа и форматов python student-tests/test_attachments.py PASS: private downloads, MIME spoof, corrupt image evidence/test_attachments.txt
12 параллельных сообщений (Lab3) python student-tests/run.py PASS: 12 concurrent requests across 2 replicas evidence/concurrency-lab4.txt
Приватность S3 docker compose exec -T api1 python -m src.private_check PASS: S3 requires authentication evidence/private-s3-lab4.txt
10 одновременных загрузок и RAM python scripts/experiment_uploads.py PASS: 10 parallel uploads (пик памяти в JSON) evidence/uploads-10.json
Persistence python tests/resilience.py --mode persistence PASS: данные и токен выжили evidence/persistence-lab4.txt

Эксперименты и отказы

1. Защита от переполнения памяти (OOM). Проведен эксперимент из 10 одновременных загрузок файлов. Благодаря SpooledTemporaryFile и стримингу, пиковое потребление RAM контейнера api осталось в пределах выделенных 384 МБ. Сервер не упал. Данные о пике памяти зафиксированы в evidence/uploads-10.json.

2. Негативные тесты безопасности.

  • Подмена MIME: отправка PNG с заголовком image/jpeg корректно отклоняется с кодом 415.
  • Бомба декомпрессии: подмена байтов заголовка PNG на 10000x5000 пикселей (50 МП) отклоняется с кодом 413 (лимит 40 МП) до полной распаковки.
  • Path Traversal: передача имени файла ../hidden.png отклоняется с кодом 400.
  • Изоляция: попытка прикрепить файл из чужого чата возвращает 404.

3. Отказ и сохранность данных. Сценарий persistence проверяет, что при полном перезапуске контейнеров (API, БД, S3, Redis) старый токен остается рабочим, а ранее загруженные картинки остаются доступными для скачивания через API.

Воздействие Что ожидали Что наблюдали Потеря данных
docker compose restart Токен и файл выживут Токен и файл скачались без ошибок Нет
Остановка api1 Скачивание через api2 Файл успешно скачан через живую реплику Нет

Ограничения

  • Единая точка отказа: S3 (SeaweedFS) запущен в единственном экземпляре и не реплицирован. При его падении загрузка и скачивание файлов становятся недоступны (API возвращает 503).
  • Транспорт: Лабораторная работает по HTTP. Для production-среды требуется HTTPS (будет реализовано в лабе 7).
  • Восстановление orphan-файлов: Скрипт reconcile.py удаляет мусорные файлы из S3 с задержкой (grace period) не менее 1 часа, чтобы случайно не удалить файл, чья транзакция в БД еще находится в процессе выполнения.