13 KiB
Отчёт — лабораторная 2
- Автор, группа: Травкин С.А., БВТ2304.
- Целевая оценка; выбранный трек 5, если нужен: 5, трек 2 — исследование индексов и восстановление PostgreSQL.
- Commit/PR: указать после финального push.
- Использованные источники, библиотеки и помощь ИИ: README и API-контракт лабораторной, документация FastAPI, SQLAlchemy, Alembic, PostgreSQL, Redis и Docker Compose. Использованы Python, FastAPI, SQLAlchemy, asyncpg, Alembic, PostgreSQL 17.6, Redis 8.2.2, Argon2id. ChatGPT применялся для разбора задания, разработки, тестирования и оформления отчёта.
Запуск из чистого clone
Необходимы Docker Engine, Docker Compose, Git и Python 3.9+ для публичных тестов.
Создать локальную конфигурацию:
cp .env.example .env
mkdir -p secrets
chmod 700 secrets
Создать файлы секретов:
python3 - <<'PY'
from pathlib import Path
import secrets
directory = Path("secrets")
password = secrets.token_hex(24)
values = {
"postgres_password": password,
"database_url": f"postgresql+asyncpg://lab2:{password}@postgres:5432/messenger",
"cache_url": "redis://redis:6379/0",
}
for name, value in values.items():
path = directory / name
path.write_text(value, encoding="utf-8")
path.chmod(0o600)
PY
Запустить приложение:
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose ps -a
curl -i http://localhost:8080/health/ready
Миграции выполняются автоматически сервисом migrate после готовности PostgreSQL. Ожидаемый ответ /health/ready — HTTP 200, {"status":"ok"}.
Основные проверки:
make check
make test
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
make test-persistence ACTION_SCRIPT=scripts/restart.sh
Дополнительные тесты:
python tests_student/test_auth.py
python tests_student/test_race.py
./scripts/test_short_ttl.sh
./scripts/test_failures.sh
Проверка отката транзакции:
docker compose run --rm --no-deps \
-e PYTHONPATH=/app \
-v "$PWD/tests_student:/app/tests_student:ro" \
api python tests_student/test_rollback.py
Остановка без удаления данных — docker compose down. Команда docker compose down -v дополнительно удаляет volumes с учебными данными.
Архитектура и решения
Архитектура: клиент → FastAPI → PostgreSQL / Redis.
PostgreSQL хранит пользователей, чаты, участников и сообщения. Redis используется для хранения сессий с TTL. Данные размещаются в Docker named volumes.
В PostgreSQL созданы таблицы users, chats, chat_members, messages. Используются UUID, первичные и внешние ключи, уникальность username. Для истории сообщений создан составной индекс (chat_id, created_at, id) и реализована keyset-пагинация.
Создание чата и добавление участников выполняются транзакционно. При ошибке изменения откатываются.
Пароли хешируются с Argon2id. Вход выполняется через Basic, дальнейшая авторизация — по случайному Bearer-токену. Токены хранятся в Redis, имеют TTL и удаляются при logout. Авторизация через X-User-Id не используется.
Для Redis включён AOF с appendfsync everysec. Для PostgreSQL настроен пул соединений pool_size=5, max_overflow=5, pool_timeout=5 секунд и таймаут подключения 5 секунд. Для Redis заданы таймауты подключения и операций.
Конфигурация передаётся через .env и Compose. Строки подключения и пароль PostgreSQL читаются из файлов Docker secrets. Миграции Alembic запускаются отдельным сервисом migrate.
Доказательства критериев
| Критерий | Результат | Доказательство |
|---|---|---|
| Публичный API и проверки | make check, make validate, make test — PASS |
evidence/grade4_checks.txt |
| Постоянное хранение | Данные и действующий токен сохранились после перезапуска | evidence/grade4_resilience.txt |
| PostgreSQL и миграции | Схема создаётся на пустой базе | migrations/versions/f7c51e1e945b_initial_schema.py |
| Транзакции | Ошибка составной операции приводит к rollback | evidence/grade4_checks.txt |
| Авторизация | Basic, Bearer, logout, неверный пароль проверены | evidence/grade4_checks.txt |
| Конкурентная регистрация | Один запрос — 201, второй — 409 | evidence/grade4_checks.txt |
| TTL сессии | После истечения TTL получен 401 | evidence/grade4_resilience.txt |
| Отказы зависимостей | При отказе PostgreSQL или Redis — 503, после восстановления — 200 | evidence/failure_timings.txt |
| Индекс и пагинация | Keyset читает 100 строк индекса против 15 100 у OFFSET | evidence/explain_history.txt |
| Трек 2: набор данных | 120 000 сообщений в четырёх чатах | evidence/grade5_dataset.txt |
| Трек 2: сравнение индексов | Сравнены обычный и покрывающий индексы | evidence/grade5_indexes.txt |
| Трек 2: стоимость записи | По 5 измерений вставки 10 000 сообщений | evidence/grade5_write_repeat.txt |
| Трек 2: восстановление | Backup восстановлен в отдельный PostgreSQL volume за 1,03 с | evidence/grade5_restore_time.txt |
| Трек 2: сверка данных | Количество, выбранные сообщения и контрольная сумма совпали | evidence/grade5_verify_source.txt, evidence/grade5_verify_restored.txt |
Эксперименты и отказы
1. Пагинация истории сообщений.
На 20 000 сообщениях сравнивались OFFSET и keyset-пагинация с EXPLAIN (ANALYZE, BUFFERS).
| Показатель | OFFSET | Keyset |
|---|---|---|
| Execution Time | 1,908 мс | 0,053 мс |
| Shared buffer hits | 435 | 7 |
| Просмотрено строк индекса | 15 100 | 100 |
В данном измерении keyset оказался примерно в 36 раз быстрее.
2. Проверки отказов.
При остановке Redis и PostgreSQL /health/ready возвращал 503, /health/live — 200. Защищённые запросы возвращали 503 без предоставления доступа. После восстановления зависимостей запросы снова выполнялись успешно.
Время отказного запроса /users/me: Redis — 4,006 и 8,000 с; PostgreSQL — 4,006 и 4,008 с. Точное время восстановления зависимостей не измерялось. Проверки сохранения данных и сессий после штатного перезапуска пройдены.
3. Трек 2 — сравнение индексов.
В отдельной базе lab2_benchmark подготовлено 120 000 синтетических сообщений с неравномерным распределением по чатам: 90 000, 20 000, 8 000 и 2 000.
Сравнивались два индекса:
- A —
(chat_id, created_at, id); - B —
(chat_id, created_at, id) INCLUDE (sender_id, text).
| Показатель | Индекс A | Индекс B |
|---|---|---|
| Размер | 6928 КБ | 13 МБ |
| План чтения | Index Scan | Index Only Scan |
| Большой чат, 100 сообщений | 0,059 мс | 0,074 мс |
| Малый чат, 100 сообщений | 0,068 мс | 0,085 мс |
| Медиана вставки 10 000 сообщений | 24,310 мс | 23,397 мс |
| WAL при вставке 10 000 сообщений | 2 895 528 байт | 3 857 376 байт |
Чтение проверялось после VACUUM (ANALYZE). Покрывающий индекс обеспечил Index Only Scan с Heap Fetches: 0, но в выполненных измерениях не показал преимущества по времени.
Стоимость записи измерялась пять раз для каждого варианта на свежих копиях таблиц с чередованием порядка тестов. Использовался EXPLAIN (ANALYZE, BUFFERS, WAL). В одном прогоне индекса A зафиксирован выброс 93,088 мс, причина которого не установлена.
Индекс B создавал примерно на 33,2% больше WAL-байтов и занимал больше места. Устойчивого преимущества по времени не обнаружено. Для приложения сохранён исходный индекс A.
4. Трек 2 — backup и восстановление.
Для базы lab2_benchmark создан резервный архив pg_dump -Fc размером около 4,0 МБ. Восстановление выполнено через pg_restore в отдельный контейнер PostgreSQL 17.6 с новым Docker volume lab2_grade5_restore_data.
- Время команды восстановления — 1,03 с.
- Код завершения
pg_restore— 0. - В исходной и восстановленной базах по 120 000 записей в каждой из таблиц
messages,bench_index_a,bench_index_b. - Распределение сообщений по чатам совпало.
- Десять выбранных сообщений совпали.
- Контрольная сумма содержимого всех 120 000 сообщений совпала:
16c1cb06c01f4ec4f161e45b59a5dce7. diffрезультатов сверки завершился с кодом 0.
Восстановление прошло успешно, расхождений в проверенных данных не обнаружено.
Ограничения и следующие шаги
Эксперименты выполнены локально в Docker на синтетических данных. Чтение для каждого варианта измерялось однократно, запись — пять раз. Результаты зависят от состояния кэша и фоновой нагрузки. Полноценное нагрузочное тестирование с RPS, p95/p99 и использованием CPU/RAM не проводилось.
Измеренные 1,03 с — время команды восстановления, а не гарантированное RTO. Полное восстановление сервиса дополнительно требует обнаружения сбоя, подготовки инфраструктуры и переключения приложения.
При восстановлении из полного дампа возможна потеря изменений, сделанных после его создания. Нулевой RPO не обеспечивается. Для уменьшения потерь необходимы регулярные резервные копии и архивирование WAL с возможностью PITR.
Автоматическое переключение на резервную базу и восстановление с заданными RPO/RTO не реализованы. Дальнейшие улучшения — автоматизация backup, настройка PITR и расширение нагрузочных испытаний.