Files
mtusi2026lab2/REPORT.md
T
casablancawastaken 173455c94e
Skeleton contracts / contracts (pull_request) Failing after 34s
лаба на 5
2026-10-08 02:29:37 +03:00

13 KiB
Raw Blame History

Отчёт — лабораторная 2

  • Автор, группа: Травкин С.А., БВТ2304.
  • Целевая оценка; выбранный трек 5, если нужен: 5, трек 2 — исследование индексов и восстановление PostgreSQL.
  • Commit/PR: указать после финального push.
  • Использованные источники, библиотеки и помощь ИИ: README и API-контракт лабораторной, документация FastAPI, SQLAlchemy, Alembic, PostgreSQL, Redis и Docker Compose. Использованы Python, FastAPI, SQLAlchemy, asyncpg, Alembic, PostgreSQL 17.6, Redis 8.2.2, Argon2id. ChatGPT применялся для разбора задания, разработки, тестирования и оформления отчёта.

Запуск из чистого clone

Необходимы Docker Engine, Docker Compose, Git и Python 3.9+ для публичных тестов.

Создать локальную конфигурацию:

cp .env.example .env
mkdir -p secrets
chmod 700 secrets

Создать файлы секретов:

python3 - <<'PY'
from pathlib import Path
import secrets

directory = Path("secrets")
password = secrets.token_hex(24)

values = {
    "postgres_password": password,
    "database_url": f"postgresql+asyncpg://lab2:{password}@postgres:5432/messenger",
    "cache_url": "redis://redis:6379/0",
}

for name, value in values.items():
    path = directory / name
    path.write_text(value, encoding="utf-8")
    path.chmod(0o600)
PY

Запустить приложение:

docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose ps -a
curl -i http://localhost:8080/health/ready

Миграции выполняются автоматически сервисом migrate после готовности PostgreSQL. Ожидаемый ответ /health/ready — HTTP 200, {"status":"ok"}.

Основные проверки:

make check
make test
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python
make test-persistence ACTION_SCRIPT=scripts/restart.sh

Дополнительные тесты:

python tests_student/test_auth.py
python tests_student/test_race.py
./scripts/test_short_ttl.sh
./scripts/test_failures.sh

Проверка отката транзакции:

docker compose run --rm --no-deps \
  -e PYTHONPATH=/app \
  -v "$PWD/tests_student:/app/tests_student:ro" \
  api python tests_student/test_rollback.py

Остановка без удаления данных — docker compose down. Команда docker compose down -v дополнительно удаляет volumes с учебными данными.

Архитектура и решения

Архитектура: клиент → FastAPI → PostgreSQL / Redis.

PostgreSQL хранит пользователей, чаты, участников и сообщения. Redis используется для хранения сессий с TTL. Данные размещаются в Docker named volumes.

В PostgreSQL созданы таблицы users, chats, chat_members, messages. Используются UUID, первичные и внешние ключи, уникальность username. Для истории сообщений создан составной индекс (chat_id, created_at, id) и реализована keyset-пагинация.

Создание чата и добавление участников выполняются транзакционно. При ошибке изменения откатываются.

Пароли хешируются с Argon2id. Вход выполняется через Basic, дальнейшая авторизация — по случайному Bearer-токену. Токены хранятся в Redis, имеют TTL и удаляются при logout. Авторизация через X-User-Id не используется.

Для Redis включён AOF с appendfsync everysec. Для PostgreSQL настроен пул соединений pool_size=5, max_overflow=5, pool_timeout=5 секунд и таймаут подключения 5 секунд. Для Redis заданы таймауты подключения и операций.

Конфигурация передаётся через .env и Compose. Строки подключения и пароль PostgreSQL читаются из файлов Docker secrets. Миграции Alembic запускаются отдельным сервисом migrate.

Доказательства критериев

Критерий Результат Доказательство
Публичный API и проверки make check, make validate, make test — PASS evidence/grade4_checks.txt
Постоянное хранение Данные и действующий токен сохранились после перезапуска evidence/grade4_resilience.txt
PostgreSQL и миграции Схема создаётся на пустой базе migrations/versions/f7c51e1e945b_initial_schema.py
Транзакции Ошибка составной операции приводит к rollback evidence/grade4_checks.txt
Авторизация Basic, Bearer, logout, неверный пароль проверены evidence/grade4_checks.txt
Конкурентная регистрация Один запрос — 201, второй — 409 evidence/grade4_checks.txt
TTL сессии После истечения TTL получен 401 evidence/grade4_resilience.txt
Отказы зависимостей При отказе PostgreSQL или Redis — 503, после восстановления — 200 evidence/failure_timings.txt
Индекс и пагинация Keyset читает 100 строк индекса против 15 100 у OFFSET evidence/explain_history.txt
Трек 2: набор данных 120 000 сообщений в четырёх чатах evidence/grade5_dataset.txt
Трек 2: сравнение индексов Сравнены обычный и покрывающий индексы evidence/grade5_indexes.txt
Трек 2: стоимость записи По 5 измерений вставки 10 000 сообщений evidence/grade5_write_repeat.txt
Трек 2: восстановление Backup восстановлен в отдельный PostgreSQL volume за 1,03 с evidence/grade5_restore_time.txt
Трек 2: сверка данных Количество, выбранные сообщения и контрольная сумма совпали evidence/grade5_verify_source.txt, evidence/grade5_verify_restored.txt

Эксперименты и отказы

1. Пагинация истории сообщений.

На 20 000 сообщениях сравнивались OFFSET и keyset-пагинация с EXPLAIN (ANALYZE, BUFFERS).

Показатель OFFSET Keyset
Execution Time 1,908 мс 0,053 мс
Shared buffer hits 435 7
Просмотрено строк индекса 15 100 100

В данном измерении keyset оказался примерно в 36 раз быстрее.

2. Проверки отказов.

При остановке Redis и PostgreSQL /health/ready возвращал 503, /health/live — 200. Защищённые запросы возвращали 503 без предоставления доступа. После восстановления зависимостей запросы снова выполнялись успешно.

Время отказного запроса /users/me: Redis — 4,006 и 8,000 с; PostgreSQL — 4,006 и 4,008 с. Точное время восстановления зависимостей не измерялось. Проверки сохранения данных и сессий после штатного перезапуска пройдены.

3. Трек 2 — сравнение индексов.

В отдельной базе lab2_benchmark подготовлено 120 000 синтетических сообщений с неравномерным распределением по чатам: 90 000, 20 000, 8 000 и 2 000.

Сравнивались два индекса:

  • A — (chat_id, created_at, id);
  • B — (chat_id, created_at, id) INCLUDE (sender_id, text).
Показатель Индекс A Индекс B
Размер 6928 КБ 13 МБ
План чтения Index Scan Index Only Scan
Большой чат, 100 сообщений 0,059 мс 0,074 мс
Малый чат, 100 сообщений 0,068 мс 0,085 мс
Медиана вставки 10 000 сообщений 24,310 мс 23,397 мс
WAL при вставке 10 000 сообщений 2 895 528 байт 3 857 376 байт

Чтение проверялось после VACUUM (ANALYZE). Покрывающий индекс обеспечил Index Only Scan с Heap Fetches: 0, но в выполненных измерениях не показал преимущества по времени.

Стоимость записи измерялась пять раз для каждого варианта на свежих копиях таблиц с чередованием порядка тестов. Использовался EXPLAIN (ANALYZE, BUFFERS, WAL). В одном прогоне индекса A зафиксирован выброс 93,088 мс, причина которого не установлена.

Индекс B создавал примерно на 33,2% больше WAL-байтов и занимал больше места. Устойчивого преимущества по времени не обнаружено. Для приложения сохранён исходный индекс A.

4. Трек 2 — backup и восстановление.

Для базы lab2_benchmark создан резервный архив pg_dump -Fc размером около 4,0 МБ. Восстановление выполнено через pg_restore в отдельный контейнер PostgreSQL 17.6 с новым Docker volume lab2_grade5_restore_data.

  • Время команды восстановления — 1,03 с.
  • Код завершения pg_restore — 0.
  • В исходной и восстановленной базах по 120 000 записей в каждой из таблиц messages, bench_index_a, bench_index_b.
  • Распределение сообщений по чатам совпало.
  • Десять выбранных сообщений совпали.
  • Контрольная сумма содержимого всех 120 000 сообщений совпала: 16c1cb06c01f4ec4f161e45b59a5dce7.
  • diff результатов сверки завершился с кодом 0.

Восстановление прошло успешно, расхождений в проверенных данных не обнаружено.

Ограничения и следующие шаги

Эксперименты выполнены локально в Docker на синтетических данных. Чтение для каждого варианта измерялось однократно, запись — пять раз. Результаты зависят от состояния кэша и фоновой нагрузки. Полноценное нагрузочное тестирование с RPS, p95/p99 и использованием CPU/RAM не проводилось.

Измеренные 1,03 с — время команды восстановления, а не гарантированное RTO. Полное восстановление сервиса дополнительно требует обнаружения сбоя, подготовки инфраструктуры и переключения приложения.

При восстановлении из полного дампа возможна потеря изменений, сделанных после его создания. Нулевой RPO не обеспечивается. Для уменьшения потерь необходимы регулярные резервные копии и архивирование WAL с возможностью PITR.

Автоматическое переключение на резервную базу и восстановление с заданными RPO/RTO не реализованы. Дальнейшие улучшения — автоматизация backup, настройка PITR и расширение нагрузочных испытаний.