12 KiB
Отчёт — лабораторная 4
- Автор, группа: Павлов Никита, БВТ2301
- Целевая оценка; выбранный трек 5, если нужен: Оценка 4
- Commit/PR: Отправлен в ветку main (Gitea)
- Использованные источники, библиотеки и помощь ИИ: FastAPI, asyncpg, Redis, boto3, Pillow, Argon2-cffi, Nginx, Docker Compose, PostgreSQL 16, RustFS (S3-совместимое хранилище). Помощь ИИ (LLM) для настройки объектного S3-хранилища RustFS, потокового контроля лимитов, валидации изображений и написания граничных тестов.
Запуск из чистого clone
Версии: Docker Desktop, Docker Compose v2, Python 3.12+. Базовые образы: rustfs/rustfs:latest, postgres:16.2-alpine, redis:7.2.4-alpine, nginx:1.25.4-alpine, python:3.11.9-slim-bookworm. Prerequisites: установленные Git, Docker и Python.
- Локальные секреты и конфигурация: Создать папку secrets/ и 4 файла без расширений:
- secrets/database_url: postgresql://appuser:apppassword@postgres:5432/messenger_db
- secrets/cache_url: redis://redis:6379/0
- secrets/s3_access_key_id: miniouser
- secrets/s3_secret_access_key: miniopassword123 Создать файл .env на основе .env.example.
-
Сборка и запуск всего стека: docker compose up -d --build
-
Инициализация и миграции: Однократный контейнер migrator автоматически накатывает SQL-миграции (включая 003_attachments.sql) и идемпотентно создает приватный бакет messenger-attachments в RustFS до старта реплик API.
-
Ожидание готовности: docker compose ps (Все сервисы: load_balancer, api-1, api-2, postgres, redis, s3 в статусе healthy).
-
Запуск тестов:
Публичный смоук-тест API
python -X utf8 tests/smoke.py --base-url "http://localhost:8080"
Тест отказа целевой реплики с проверкой скачивания вложения через выжившую реплику
python -X utf8 tests/resilience.py --mode failover --action-script "scripts/stop-one.bat" --base-url "http://localhost:8080"
Тест сохранности метаданных, сессий и байтов S3 при полном рестарте
python -X utf8 tests/resilience.py --mode persistence --action-script "scripts/restart.bat" --base-url "http://localhost:8080"
Собственные тесты уровня 4 (413, 415, 404, 400, целостность SHA-256)
python -m pytest student-tests/test_lab4.py
Эксперимент уровня 4 (12 одновременных загрузок по 1 МБ с замером RAM)
python scripts/experiment_concurrent_uploads.py
Проверка приватности бакета снаружи API
curl.exe -i http://localhost:9000/messenger-attachments/test
- Остановка и удаление: Безопасная остановка: docker compose stop Намеренное удаление всех учебных данных и томов: docker compose down -v
Архитектура и решения
Схема процессов и хранилищ: Клиент -> Nginx (порт 8080, client_max_body_size 15m) -> API x2 (FastAPI, порт 8000) -> PostgreSQL 16 (метаданные) + Redis 7 AOF (сессии) + RustFS S3 (бинарные объекты).
Что перенесено из lab3 и что изменено:
- Сохранены балансировка Nginx с keepalive/failover, идемпотентность отправки сообщений (Idempotency-Key), сессии в Redis с AOF, хеширование Argon2id и выделенный контейнер migrator.
- Выбран S3-совместимый сервер RustFS (вместо MinIO, публичные образы которого удалены с Docker Hub). Административная консоль отключена (RUSTFS_CONSOLE_ENABLE=false) и не публикуется в общую сеть.
- Разделение данных: байты вложений сохраняются в приватный бакет messenger-attachments под серверным ключом attachments/{chat_id}/{att_id} (клиентский filename используется только как отображаемое имя). Метаданные, хеш SHA-256 и привязка к chat_id хранятся в PostgreSQL.
- Потоковая валидация и лимиты до декодирования: проверяется Content-Length, затем тело читается по кускам через request.stream() с немедленным прерыванием при превышении 10 MiB (413). Проверяются отсутствие управляющих символов/слэшей в filename (400), магические байты PNG/JPEG (415), целостность и разрешение <= 40 млн пикселей через Pillow (413 / 415).
- Авторизованный доступ: GET /attachments/{id} и /content проверяют членство текущего пользователя в chat_members; посторонний получает 404. Скачивание проксируется через API без редиректов.
- Согласованность и компенсация (Grace Period): запись в S3 происходит до фиксации метаданных в PostgreSQL. При сбое транзакции или обрыве загрузки на этапе API в БД не остаётся невалидных метаданных; неучтённые "сиротские" S3-объекты очищаются с безопасным Grace Period (15 минут), чтобы не удалить активные конкурентные загрузки.
Соответствие .env.example: Все переменные (S3_ENDPOINT, S3_BUCKET, S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE, MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS, DATABASE_URL_FILE, CACHE_URL_FILE) замаплены в src/main.py с чтением секретов из /run/secrets/.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python -X utf8 tests/smoke.py | PASS: lab4 public API scenario (SHA-256 совпал, чужой получил 404) | Вывод консоли |
| Failover с файлом | python -X utf8 tests/resilience.py --mode failover | PASS (102 записи, 1 сбой при переключении, восстановление 1.188 сек, файл скачан с другой реплики) | scripts/stop-one.bat |
| Persistence с файлом | python -X utf8 tests/resilience.py --mode persistence | PASS (сессии, сообщения и байты в S3 пережили рестарт) | scripts/restart.bat |
| Уровень 4: Негативные тесты | python -m pytest student-tests/test_lab4.py | 6 passed (413 >10MiB, 415 битый/подмена MIME, 404 чужой/другой чат, 400 опасный filename) | student-tests/test_lab4.py |
| Уровень 4: Память и нагрузка | python scripts/experiment_concurrent_uploads.py | 12 загрузок по 1 МБ за 2.02 сек, пик RAM 74.75 MiB / 256 MiB | scripts/experiment_concurrent_uploads.py |
| Уровень 4: Приватный S3 | curl.exe -i http://localhost:9000/messenger-attachments/test | HTTP/1.1 403 Forbidden (AccessDenied) | Консоль, compose.yaml |
Эксперименты и отказы
- Эксперимент: 12 одновременных загрузок изображений с измерением пика RAM Гипотеза: При лимите контейнера API в 256 MiB RAM и потоковом контроле лимита тела (10 MiB) до декодирования, 12 параллельных загрузок по 1 МБ обработаются стабильно и не приведут к OOM или утечке памяти. Профиль нагрузки: 12 параллельных потоков (ThreadPoolExecutor), файлы PNG по 1 МБ. Оборудование/лимиты: Docker Desktop (лимиты API: 0.50 CPU, 256 MiB RAM на реплику).
Raw Summary замеров (docker stats):
- Память ДО нагрузки: mtusi2026lab4-api-1: 61.16 MiB / 256 MiB (0.15% CPU) mtusi2026lab4-api-2: 61.18 MiB / 256 MiB (0.12% CPU)
- ПИКОВАЯ память во время 12 параллельных загрузок (завершено за 2.02 сек, все статусы 201 Created): mtusi2026lab4-api-1: 74.75 MiB / 256 MiB (9.65% CPU) mtusi2026lab4-api-2: 72.70 MiB / 256 MiB (11.08% CPU)
- Память ПОСЛЕ нагрузки (через 3 сек): mtusi2026lab4-api-1: 74.61 MiB / 256 MiB (0.20% CPU) mtusi2026lab4-api-2: 72.62 MiB / 256 MiB (0.17% CPU)
Вывод: Прирост пиковой памяти при одновременной обработке 12 МБ бинарных данных составил всего ~13.6 MiB на реплику. Потребление RAM строго ограничено, утечек памяти и OOM нет.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Остановка целевой реплики после upload | Скачивание файла через выжившую реплику | Файл скачан без ошибок, SHA-256 совпал | Восстановление 1.188 сек, потерь нет |
| Рестарт всего стека | Сохранность метаданных и байтов S3 | Токен, переписка и файлы доступны после старта | Восстановление < 5 сек, потерь нет |
| Прямой GET в S3 бакет | Запрет доступа без API | HTTP 403 Forbidden (AccessDenied) | Доступ закрыт |
| Поврежденный PNG / файл > 10 MiB | Отклонение без 500 ошибки | Корректные JSON-ответы 415 и 413 | Сервис стабилен |
Ограничения и следующие шаги
Ограничения:
- Буфер валидируемого изображения (до 10 МБ) временно удерживается в памяти перед отправкой в S3 для проверки сигнатуры и целостности Pillow.
- При внезапном падении API (SIGKILL) между s3.put_object и INSERT в PostgreSQL остаётся неучтённый объект в S3, для удаления которого нужен фоновый reconciler с Grace Period.
- Одиночный экземпляр RustFS S3 без репликации является единой точкой отказа (SPOF) для бинарного хранилища.
Следующие шаги (для Lab 5):
- Переход к асинхронной фоновой обработке вложений (возврат 202 Accepted со статусом queued).
- Генерация миниатюр (thumbnail 256x256) и оптимизированных вариантов (WebP) через воркеры и очередь задач.