Files
2026-11-14 15:09:57 +03:00

12 KiB
Raw Permalink Blame History

Отчёт — лабораторная 4

  • Автор, группа: Павлов Никита, БВТ2301
  • Целевая оценка; выбранный трек 5, если нужен: Оценка 4
  • Commit/PR: Отправлен в ветку main (Gitea)
  • Использованные источники, библиотеки и помощь ИИ: FastAPI, asyncpg, Redis, boto3, Pillow, Argon2-cffi, Nginx, Docker Compose, PostgreSQL 16, RustFS (S3-совместимое хранилище). Помощь ИИ (LLM) для настройки объектного S3-хранилища RustFS, потокового контроля лимитов, валидации изображений и написания граничных тестов.

Запуск из чистого clone

Версии: Docker Desktop, Docker Compose v2, Python 3.12+. Базовые образы: rustfs/rustfs:latest, postgres:16.2-alpine, redis:7.2.4-alpine, nginx:1.25.4-alpine, python:3.11.9-slim-bookworm. Prerequisites: установленные Git, Docker и Python.

  1. Локальные секреты и конфигурация: Создать папку secrets/ и 4 файла без расширений:
  • secrets/database_url: postgresql://appuser:apppassword@postgres:5432/messenger_db
  • secrets/cache_url: redis://redis:6379/0
  • secrets/s3_access_key_id: miniouser
  • secrets/s3_secret_access_key: miniopassword123 Создать файл .env на основе .env.example.
  1. Сборка и запуск всего стека: docker compose up -d --build

  2. Инициализация и миграции: Однократный контейнер migrator автоматически накатывает SQL-миграции (включая 003_attachments.sql) и идемпотентно создает приватный бакет messenger-attachments в RustFS до старта реплик API.

  3. Ожидание готовности: docker compose ps (Все сервисы: load_balancer, api-1, api-2, postgres, redis, s3 в статусе healthy).

  4. Запуск тестов:

Публичный смоук-тест API

python -X utf8 tests/smoke.py --base-url "http://localhost:8080"

Тест отказа целевой реплики с проверкой скачивания вложения через выжившую реплику

python -X utf8 tests/resilience.py --mode failover --action-script "scripts/stop-one.bat" --base-url "http://localhost:8080"

Тест сохранности метаданных, сессий и байтов S3 при полном рестарте

python -X utf8 tests/resilience.py --mode persistence --action-script "scripts/restart.bat" --base-url "http://localhost:8080"

Собственные тесты уровня 4 (413, 415, 404, 400, целостность SHA-256)

python -m pytest student-tests/test_lab4.py

Эксперимент уровня 4 (12 одновременных загрузок по 1 МБ с замером RAM)

python scripts/experiment_concurrent_uploads.py

Проверка приватности бакета снаружи API

curl.exe -i http://localhost:9000/messenger-attachments/test

  1. Остановка и удаление: Безопасная остановка: docker compose stop Намеренное удаление всех учебных данных и томов: docker compose down -v

Архитектура и решения

Схема процессов и хранилищ: Клиент -> Nginx (порт 8080, client_max_body_size 15m) -> API x2 (FastAPI, порт 8000) -> PostgreSQL 16 (метаданные) + Redis 7 AOF (сессии) + RustFS S3 (бинарные объекты).

Что перенесено из lab3 и что изменено:

  • Сохранены балансировка Nginx с keepalive/failover, идемпотентность отправки сообщений (Idempotency-Key), сессии в Redis с AOF, хеширование Argon2id и выделенный контейнер migrator.
  • Выбран S3-совместимый сервер RustFS (вместо MinIO, публичные образы которого удалены с Docker Hub). Административная консоль отключена (RUSTFS_CONSOLE_ENABLE=false) и не публикуется в общую сеть.
  • Разделение данных: байты вложений сохраняются в приватный бакет messenger-attachments под серверным ключом attachments/{chat_id}/{att_id} (клиентский filename используется только как отображаемое имя). Метаданные, хеш SHA-256 и привязка к chat_id хранятся в PostgreSQL.
  • Потоковая валидация и лимиты до декодирования: проверяется Content-Length, затем тело читается по кускам через request.stream() с немедленным прерыванием при превышении 10 MiB (413). Проверяются отсутствие управляющих символов/слэшей в filename (400), магические байты PNG/JPEG (415), целостность и разрешение <= 40 млн пикселей через Pillow (413 / 415).
  • Авторизованный доступ: GET /attachments/{id} и /content проверяют членство текущего пользователя в chat_members; посторонний получает 404. Скачивание проксируется через API без редиректов.
  • Согласованность и компенсация (Grace Period): запись в S3 происходит до фиксации метаданных в PostgreSQL. При сбое транзакции или обрыве загрузки на этапе API в БД не остаётся невалидных метаданных; неучтённые "сиротские" S3-объекты очищаются с безопасным Grace Period (15 минут), чтобы не удалить активные конкурентные загрузки.

Соответствие .env.example: Все переменные (S3_ENDPOINT, S3_BUCKET, S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS, DATABASE_URL_FILE, CACHE_URL_FILE) замаплены в src/main.py с чтением секретов из /run/secrets/.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python -X utf8 tests/smoke.py PASS: lab4 public API scenario (SHA-256 совпал, чужой получил 404) Вывод консоли
Failover с файлом python -X utf8 tests/resilience.py --mode failover PASS (102 записи, 1 сбой при переключении, восстановление 1.188 сек, файл скачан с другой реплики) scripts/stop-one.bat
Persistence с файлом python -X utf8 tests/resilience.py --mode persistence PASS (сессии, сообщения и байты в S3 пережили рестарт) scripts/restart.bat
Уровень 4: Негативные тесты python -m pytest student-tests/test_lab4.py 6 passed (413 >10MiB, 415 битый/подмена MIME, 404 чужой/другой чат, 400 опасный filename) student-tests/test_lab4.py
Уровень 4: Память и нагрузка python scripts/experiment_concurrent_uploads.py 12 загрузок по 1 МБ за 2.02 сек, пик RAM 74.75 MiB / 256 MiB scripts/experiment_concurrent_uploads.py
Уровень 4: Приватный S3 curl.exe -i http://localhost:9000/messenger-attachments/test HTTP/1.1 403 Forbidden (AccessDenied) Консоль, compose.yaml

Эксперименты и отказы

  1. Эксперимент: 12 одновременных загрузок изображений с измерением пика RAM Гипотеза: При лимите контейнера API в 256 MiB RAM и потоковом контроле лимита тела (10 MiB) до декодирования, 12 параллельных загрузок по 1 МБ обработаются стабильно и не приведут к OOM или утечке памяти. Профиль нагрузки: 12 параллельных потоков (ThreadPoolExecutor), файлы PNG по 1 МБ. Оборудование/лимиты: Docker Desktop (лимиты API: 0.50 CPU, 256 MiB RAM на реплику).

Raw Summary замеров (docker stats):

  • Память ДО нагрузки: mtusi2026lab4-api-1: 61.16 MiB / 256 MiB (0.15% CPU) mtusi2026lab4-api-2: 61.18 MiB / 256 MiB (0.12% CPU)
  • ПИКОВАЯ память во время 12 параллельных загрузок (завершено за 2.02 сек, все статусы 201 Created): mtusi2026lab4-api-1: 74.75 MiB / 256 MiB (9.65% CPU) mtusi2026lab4-api-2: 72.70 MiB / 256 MiB (11.08% CPU)
  • Память ПОСЛЕ нагрузки (через 3 сек): mtusi2026lab4-api-1: 74.61 MiB / 256 MiB (0.20% CPU) mtusi2026lab4-api-2: 72.62 MiB / 256 MiB (0.17% CPU)

Вывод: Прирост пиковой памяти при одновременной обработке 12 МБ бинарных данных составил всего ~13.6 MiB на реплику. Потребление RAM строго ограничено, утечек памяти и OOM нет.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка целевой реплики после upload Скачивание файла через выжившую реплику Файл скачан без ошибок, SHA-256 совпал Восстановление 1.188 сек, потерь нет
Рестарт всего стека Сохранность метаданных и байтов S3 Токен, переписка и файлы доступны после старта Восстановление < 5 сек, потерь нет
Прямой GET в S3 бакет Запрет доступа без API HTTP 403 Forbidden (AccessDenied) Доступ закрыт
Поврежденный PNG / файл > 10 MiB Отклонение без 500 ошибки Корректные JSON-ответы 415 и 413 Сервис стабилен

Ограничения и следующие шаги

Ограничения:

  1. Буфер валидируемого изображения (до 10 МБ) временно удерживается в памяти перед отправкой в S3 для проверки сигнатуры и целостности Pillow.
  2. При внезапном падении API (SIGKILL) между s3.put_object и INSERT в PostgreSQL остаётся неучтённый объект в S3, для удаления которого нужен фоновый reconciler с Grace Period.
  3. Одиночный экземпляр RustFS S3 без репликации является единой точкой отказа (SPOF) для бинарного хранилища.

Следующие шаги (для Lab 5):

  • Переход к асинхронной фоновой обработке вложений (возврат 202 Accepted со статусом queued).
  • Генерация миниатюр (thumbnail 256x256) и оптимизированных вариантов (WebP) через воркеры и очередь задач.