11 KiB
Отчёт — лабораторная 2
- Автор, группа: Павлов Никита, БВТ2301
- Целевая оценка; выбранный трек 5, если нужен: Оценка 5, Трек 2 (План запроса и восстановление)
- Commit/PR: Отправлен в ветку master (Gitea)
- Использованные источники, библиотеки и помощь ИИ: FastAPI, asyncpg, Redis, Argon2-cffi, Pydantic, Uvicorn, Pytest, Docker Compose, PostgreSQL 16. Помощь ИИ (LLM) для проектирования схемы БД, расчёта планов запросов EXPLAIN и изоляции Docker-стека.
Запуск из чистого clone
Версии: Docker Desktop, Docker Compose v2, Python 3.12+. Базовые образы: postgres:16.2-alpine, redis:7.2.4-alpine, python:3.11.9-slim-bookworm. Prerequisites: установленные Git, Docker и Python.
-
Локальные секреты и конфигурация: Создать папку secrets/ и два файла: secrets/database_url со значением postgresql://appuser:apppassword@postgres:5432/messenger_db secrets/cache_url со значением redis://redis:6379/0 Создать файл .env на основе .env.example.
-
Сборка и запуск всего стека: docker compose up -d --build
-
Ожидание готовности (healthcheck всех трех сервисов): docker compose ps (Все сервисы: api, postgres, redis находятся в статусе Up ... (healthy))
-
Запуск тестов:
Публичный смоук-тест API
python tests/smoke.py --base-url "http://localhost:8080"
Тест сохранности сессий и данных при перезапуске
python tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080"
Собственные тесты уровня 4 (аутентификация, откат транзакций, отзыв)
python -m pytest student-tests/test_lab2.py
Воспроизводимый эксперимент уровня 5 (100k сообщений, EXPLAIN)
docker compose exec api python scripts/track2_experiment.py
- Остановка и удаление: Безопасная остановка: docker compose stop Остановка с удалением учебных данных: docker compose down -v
Архитектура и решения
Схема процессов и хранилищ:
- API (FastAPI + asyncpg + redis-py): Stateless микросервис, запущенный от непривилегированного пользователя appuser.
- Источник истины (Primary Store): Реляционная СУБД PostgreSQL 16.2. Хранит постоянные сущности: users, chats, chat_members, messages.
- Хранилище сессий и кэш: Redis 7.2.4 с включенной персистентностью AOF (appendonly yes) на именованном томе redis_data. Хранит сессии с TTL (SESSION_TTL_SECONDS) в виде session: -> user_id.
Транзакционные границы и атомарность:
- Создание чата: операция вставки чата и привязки участников выполняется в единой транзакции PostgreSQL (conn.transaction()). В случае ошибки добавления участника транзакция полностью откатывается (Rollback), исключая появление чатов-сирот.
- Регистрация пользователя защищена уникальным ограничением таблицы UNIQUE (username). Попытка дублирования вызывает asyncpg.UniqueViolationError и возвращает 409 Conflict.
- Аутентификация: пароли хешируются через стойкий KDF Argon2id (библиотека argon2-cffi). Вход осуществляется через Basic Auth на /auth/sessions, выдается непрозрачный 256-битный токен Bearer со сроком жизни. Бизнес-эндпоинты требуют только Bearer-авторизацию.
- Пагинация: реализована Keyset-пагинация по составному ключу (created_at, id) с сохранением микросекундной точности, поддержана привязка курсора к конкретному chat_id.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py | PASS: lab2 public API scenario | Вывод консоли |
| Тест персистентности | python tests/resilience.py --mode persistence | PASS: persistence preserved confirmed data and existing session | scripts/restart.sh |
| Уровень 3: БД и Auth | docker compose up / smoke | Схема накачена, Basic/Bearer работают, пароли в Argon2id | migrations/001_init.sql |
| Уровень 4: Тесты | python -m pytest student-tests/test_lab2.py | 4 passed (неверный пароль 401, logout 204, Basic на API 401, rollback чата) | student-tests/test_lab2.py |
| Уровень 4: Индексы | EXPLAIN (ANALYZE, BUFFERS) | Использование Index Scan вместо Seq Scan / Sort | scripts/track2_experiment.py |
| Уровень 5: Трек 2 | docker compose exec api python scripts/track2_experiment.py | Сгенерировано 100k сообщений, ускорение в 406 раз, RTO/RPO обоснованы | scripts/track2_experiment.py |
Эксперименты и отказы (Трек 2: Исследование планов запросов и восстановления)
- Методика эксперимента: В PostgreSQL сгенерировано 100 000 сообщений с неравномерным распределением по чатам (Big Chat — 85 000 сообщений, Mid Chat — 10 000, Small Chat — 5 000). Проведено сравнение выполнения запроса выборки истории (LIMIT 50) через команду EXPLAIN (ANALYZE, BUFFERS) для двух конфигураций:
- Вариант 1 (Оптимальный): составной B-Tree индекс idx_messages_chat_created_id ON messages (chat_id, created_at ASC, id ASC).
- Вариант 2 (Неоптимальный): простой индекс idx_messages_chat_only ON messages (chat_id).
- Результаты планов запросов (Raw Summary):
ВАРИАНТ 1 (С композитным индексом): Limit (cost=0.41..206.28 rows=50 width=540) (actual time=0.012..0.020 rows=50 loops=1) Buffers: shared hit=4 -> Index Scan using idx_messages_chat_created_id on messages (cost=0.41..329.81 rows=80 width=540) (actual time=0.011..0.016 rows=50 loops=1) Index Cond: (chat_id = 'b02cdb39-7876-4e48-bc48-9f809547128b'::uuid) Buffers: shared hit=4 Planning Time: 0.106 ms Execution Time: 0.045 ms
ВАРИАНТ 2 (Только по chat_id): Limit (cost=970.71..970.84 rows=50 width=540) (actual time=18.231..18.237 rows=50 loops=1) Buffers: shared hit=1053 read=74 -> Sort (cost=970.71..971.96 rows=500 width=540) (actual time=18.230..18.232 rows=50 loops=1) Sort Key: created_at, id Sort Method: top-N heapsort Memory: 28kB Buffers: shared hit=1053 read=74 -> Bitmap Heap Scan on messages (cost=8.17..954.10 rows=500 width=540) (actual time=1.549..8.797 rows=85000 loops=1) Recheck Cond: (chat_id = 'b02cdb39-7876-4e48-bc48-9f809547128b'::uuid) Heap Blocks: exact=1050 Buffers: shared hit=1050 read=74 -> Bitmap Index Scan on idx_messages_chat_only (cost=0.00..8.04 rows=500 width=0) (actual time=1.452..1.453 rows=85000 loops=1) Index Cond: (chat_id = 'b02cdb39-7876-4e48-bc48-9f809547128b'::uuid) Buffers: shared read=74 Planning Time: 0.227 ms Execution Time: 18.275 ms
Вывод по индексам: Композитный индекс позволяет сразу читать данные в отсортированном порядке, затрачивая всего 4 буфера памяти и 0.045 мс. Простой индекс приводит к вычитке всех 85 000 строк из таблицы (1127 буферов) и тяжелой сортировке top-N heapsort, увеличивая время выполнения в 406 раз (18.275 мс).
- Оценка восстановления (Disaster Recovery):
- Общий размер БД: 27 MB.
- RPO (Recovery Point Objective): 0 секунд. Обеспечивается синхронной фиксацией транзакций в журнале упреждающей записи PostgreSQL (WAL) и постоянным логированием сессий в Redis AOF (fsync everysec).
- RTO (Recovery Time Objective): менее 5 секунд. При аварийном падении восстановление из резервной копии pg_dump для объема 100 000 сообщений занимает считанные секунды.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| Запрос пагинации с композитным индексом | Мгновенный Index Scan | Время 0.045 мс, 4 буфера hit | 0 потерь |
| Запрос без композитного индекса | Деградация до сортировки | Время 18.275 мс, 1127 буферов | Замедление в 406 раз |
| Перезапуск контейнеров (docker compose restart) | Полное сохранение данных и сессий | Сессии и переписка доступны без изменений | Восстановление < 3 сек, потерь нет (0%) |
Ограничения и следующие шаги
Ограничения:
- Одиночный узел PostgreSQL: при физическом уничтожении хоста или тома требуется восстановление из внешнего бэкапа (RTO зависит от размера снапшота).
- Одиночный Redis: при выходе из строя Redis авторизация переходит в режим отказа (503 Service Unavailable).
Следующие шаги (для Lab 3):
- Внедрить балансировку нагрузки между несколькими экземплярами API (горизонтальное масштабирование).
- Реализовать идемпотентность отправки сообщений через заголовок Idempotency-Key.
- Добавить репликацию PostgreSQL (Master-Replica) и распределенный кэш.