8.0 KiB
Отчёт — лабораторная 4
- Автор, группа: [Впиши сюда свои ФИО и Группу, например: Иванова А.А., БИВ-231]
- Целевая оценка: 4 (весь уровень 3 + весь уровень 4)
- Commit/PR: [Вставь ссылку на свой Pull Request после пуша]
- Использованные источники, библиотеки и помощь ИИ: Использованы библиотеки: FastAPI, Uvicorn, psycopg3, boto3, Pillow, pydantic. Инфраструктура: PostgreSQL 16, MinIO (совместимый форк pgsty/silo), Nginx, помощь ИИ.
Запуск из чистого clone
Prerequisites: Docker Desktop, Python 3.11+ (для запуска тестов), Git Bash (или WSL).
-
Создание секрета базы данных: В корне проекта создайте папку
secrets(если её нет) и файлsecrets/database_urlсо строкой подключения:postgresql://messenger:messenger@postgres:5432/messenger -
Сборка и запуск:
docker compose up -d --build -
Ожидание готовности: Дождитесь статуса
healthyу всех контейнеров:docker compose ps -
Запуск публичных тестов:
PYTHONUTF8=1 python tests/smoke.py --base-url http://localhost:8080 -
Запуск собственных тестов (уровень 4):
PYTHONUTF8=1 python student-tests/test_level4.py -
Безопасная остановка:
docker compose downДля намеренного удаления всех учебных данных используйте
docker compose down -v(удалит volumes).
Архитектура и решения
Схема процессов: Клиент → Nginx (порт 8080) → 2 API-реплики (FastAPI) → PostgreSQL (метаданные) + MinIO (файлы).
Ключевые решения:
- Источник истины: PostgreSQL (пользователи, чаты, сообщения, сессии, метаданные вложений, ключи идемпотентности).
- Сессии: Хранятся в PostgreSQL, что позволяет им выживать при перезапуске и быть доступными обеим репликам. Токены хранятся в виде SHA-256 хешей.
- Балансировка: Nginx с директивой
least_connи таймаутами (proxy_next_upstream), чтобы быстро исключать упавшую реплику. - Хранение файлов: Байты хранятся в приватном бакете MinIO (
messenger-attachments). Ключ объекта генерируется сервером (UUID), оригинальное имя файла используется только для отображения. - Потоковая обработка: Загрузка файлов реализована через
request.stream()иtempfile.SpooledTemporaryFile. Файл не читается целиком в оперативную память, что защищает от OOM при пиковых нагрузках. - Безопасность S3: API использует отдельного пользователя
api-userс ограниченной IAM-политикой (только GetObject/PutObject), а не root-доступ. Админ-консоль MinIO не проброшена наружу. - Компенсация ошибок: Если при загрузке файла S3 PUT прошел успешно, а запись в PostgreSQL упала, срабатывает блок
except, который удаляет "осиротевший" объект из S3.
Соответствие переменных .env:
Переменные S3_* и SESSION_TTL_SECONDS передаются контейнерам через compose.yaml. Секрет БД передается через Docker Secrets (/run/secrets/database_url).
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат |
|---|---|---|
| Публичный smoke | make test |
PASS: lab4 public API scenario |
| Уровень 3: S3, вложения | make test |
Файл загружается, checksum совпадает, чужой получает 404 |
| Уровень 4: Негативные тесты | python student-tests/test_level4.py |
PASS: 413 (big), 415 (broken), 415 (fake MIME), 400 (path traversal), 404 (ACL) |
| Уровень 4: Нагрузка на RAM | python student-tests/test_level4.py |
10 параллельных загрузок успешно, RAM не утекает (SpooledTemporaryFile) |
| Уровень 4: Failover | python tests/resilience.py --mode failover --action-script scripts/stop_one.bat |
PASS: failover preserved confirmed data and existing session |
| Уровень 4: Persistence | python tests/resilience.py --mode persistence --action-script scripts/restart.bat |
PASS: persistence preserved confirmed data and existing session |
(Скриншот с успешным прохождением тестов прилагается в папке evidence).
Эксперименты и отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
Остановка одной API-реплики (stop_one.bat) |
Переключение трафика, ошибки только в момент отказа | 50 успешных записей, 4 ошибки (во время рестарта) | Восстановление за 0.953 сек. Данные сохранены. |
Перезапуск всей системы (restart.bat) |
Данные и сессии выживают | Успешно | Старый токен валиден. Вложения и сообщения на месте. |
| Загрузка файла > 10 МБ | Отклонение с 413 | Отклонено | Потери данных нет. |
| Одновременная загрузка 10 файлов | Отсутствие падения по памяти | Все 10 успешно | Потери данных нет. |
Ограничения и следующие шаги
- Один Docker-host: Стенд развернут на одной машине. Отказоустойчивость к потере физического сервера (host) не обеспечивается. Если сервер выключится, Nginx, PostgreSQL и MinIO упадут вместе.
- Секреты в Compose: Для уровня 4 допустимо использование тестовых credentials для MinIO в открытом виде в
compose.yaml(для синтетического стенда). Для production необходимо использовать Vault или Docker Secrets для всех компонентов. - Orphan-очистка: Компенсация работает на уровне кода API (try/except), но нет фонового "сборщика мусора" (reconciler), который бы проходил по S3 раз в час и удалял объекты старше 24 часов, не имеющие метаданных в БД. Это реализуется на оценку 5 (Трек 2).
- Производительность: Замеров RPS для загрузки изображений не производилось (тестировалась только надежность и отсутствие OOM).