Files
mtusi2026lab2/REPORT.md
T
2026-10-27 00:18:03 +03:00

18 KiB
Raw Blame History

Отчёт — лабораторная 2

  • Автор, группа: Григорян Илья, БПИ2303 (ветка solution/BPI2303-Grigoryan)
  • Целевая оценка: 4, трек 5 не заявлен
  • Commit/PR: заполнить после публикации; commit, на котором собраны доказательства, записан в evidence/00-environment.txt
  • Источники и библиотеки: FastAPI, SQLAlchemy 2.1 (async) + asyncpg, Alembic, redis-py, argon2-cffi, Pydantic / pydantic-settings, pytest + pytest-asyncio + httpx; документация PostgreSQL (transactions, EXPLAIN), Redis persistence, RFC 7617
  • Помощь ИИ: ассистент Claude (Claude Code) — ревью схемы БД, реализация и ревью слоёв storage/domain, тесты, скрипты сбора доказательств, черновик отчёта. Решения обсуждались и проверялись автором

Запуск из чистого clone

Требования: Docker Engine с Compose v2 (проверено на Docker 29.9.2, Compose 5.6.1), make, curl, Python 3.12 — только для тестов. Образы закреплены: python:3.12.15-slim-bookworm, postgres:16.10-bookworm, redis:7.4.2-bookworm.


cp .env.example .env # заменить DB_PASSWORD и REDIS_PASSWORD

make check

docker compose --env-file .env config --quiet

make up # сборка → postgres, redis healthy → migrate → api; ждёт /health/ready

make test # публичный smoke на http://localhost:8080

make test-persistence ACTION_SCRIPT=scripts/restart.sh

  • Миграции: сервис migrate выполняет alembic upgrade head при каждом up, повтор не дублирует данные. Ручных действий, кроме паролей в .env, нет.
  • Безопасная остановка без потери данных: make down. Намеренное удаление учебных данных: docker compose down -v.
  • Собственные тесты и доказательства идут на отдельном тестовом стенде (проект compose <каталог>-test, порты 18080/15432/16379), основной стенд они не трогают:

python3 -m venv venv && venv/bin/pip install -r requirements.txt

make test-all # тестовый стенд + pytest (включая рестарт Redis) + smoke + persistence

make evidence # перегенерировать evidence/

make test-stand-down # остановить; make test-stand-destroy — удалить вместе с volumes

Архитектура и решения

Клиент → API (FastAPI, один процесс uvicorn) → PostgreSQL (все данные) и Redis (сессии).

Роль Service Образ Health / readiness Volume Порт хоста Credentials
API api сборка из Dockerfile HEALTHCHECK → /health/live; /health/ready проверяет PostgreSQL и Redis — 127.0.0.1:8080 env_file: .env
Миграции migrate тот же образ one-shot; api ждёт успешного завершения — — .env
БД postgres postgres:16.10-bookworm pg_isready pgdata 127.0.0.1:5432 POSTGRES_PASSWORD из .env
Сессии redis redis:7.4.2-bookworm redis-cli ping redisdata 127.0.0.1:6379 --requirepass из .env; конфиг infra/redis/redis.conf

Источник истины. PostgreSQL — пользователи, чаты, участники, сообщения, счётчик сообщений. Redis — единственное хранилище сессий.

Схема (миграции db06fd3126ff, abd273076068): UUID-ключи, внешние ключи, UNIQUE(username), составной PK chat_members(chat_id, user_id), индексы messages(chat_id, created_at, id) под keyset-историю и chat_members(user_id, chat_id) под список чатов пользователя, timestamptz. created_at сообщений берётся из clock_timestamp() в БД. Форматы и длины проверяются в одном месте — Pydantic-схемах; в БД остаются структурные ограничения.

Сессии.

  • Ключ session:<sha256(token)> → user_id, запись SET … PXAT expires_at. Сам токен (256 бит, secrets.token_urlsafe(32)) не хранится.
  • Expiry: срок абсолютный (SESSION_TTL_SECONDS), Redis удаляет ключ сам. Активность и рестарт срок не продлевают.
  • Инвалидация: logout — атомарный DEL; повторный logout получает 401.
  • Persistence: AOF с appendfsync always, чтобы не терять logout. maxmemory-policy noeviction, чтобы Redis не вытеснял сессии. Volume redisdata. После FLUSHALL все пользователи входят заново, данные PostgreSQL не затронуты.

Пароли. Argon2id (m=64 MiB, t=3, p=4) в отдельном пуле потоков размером cpu / p. Для неизвестного username выполняется проверка против фиктивного хеша, поэтому время ответа не выдаёт существование пользователя.

Транзакционные границы. commit и rollback есть только в слое domain:

  • регистрация: проверка username → commit (соединение возвращается в пул до Argon2) → INSERT → commit. IntegrityError → rollback → 409;
  • вход: SELECT → commit до проверки пароля → SET в Redis;
  • создание чата: чат и участники вставляются одной транзакцией;
  • сообщение: проверка членства → атомарный upsert счётчика с условием value < MAX_MESSAGES → INSERT → commit. Лимит точен и при конкурентных отправках.

Пулы и таймауты.

  • PostgreSQL: пул 5 + 10, ожидание соединения 3 с, подключение 3 с, statement_timeout 5 с.
  • Redis: блокирующий пул на 20 соединений, ожидание 1 с, подключение 1 с, операция 0.5 с, один повтор.
  • Лимиты: MAX_IN_FLIGHT → 429, MAX_MESSAGES → 503. SQL только через SQLAlchemy, все запросы параметризованы.

Из lab1 перенесено: API, формат ошибок, X-Request-Id, курсорная пагинация, лимиты. Изменено: хранилище in-memory → PostgreSQL; X-User-Id → Basic (только POST /auth/sessions) + Bearer; регистрация с паролем.

Переменные .env.example:

  • APP_*, LOG_LEVEL — uvicorn;
  • SESSION_TTL_SECONDS, SESSION_STORE=redis — сессии;
  • REDIS_* — app/core/redis.py;
  • DB_* — app/core/database.py;
  • MAX_* — лимиты;
  • *_HOST_PORT — публикация портов в compose.

Доказательства критериев

Критерий README Команда / сценарий Наблюдаемый результат Файл
Публичный smoke make test PASS 02-smoke.txt
Данные и сессии переживают рестарт API и всех хранилищ make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS; Up N seconds у api, postgres, redis до и после 03-persistence.txt
PK/FK, уникальность username, миграции с нуля и повторно test_constraints.py, test_migrations.py ограничения срабатывают в БД; повторный upgrade не дублирует; модели совпадают с миграциями 01-pytest.txt
Атомарное создание чата test_failed_chat_creation_leaves_no_partial_data, test_failed_chat_insert_rolls_back_whole_transaction 400, ни чата, ни участников 01-pytest.txt
Basic только на входе, Bearer везде, X-User-Id игнорируется test_auth.py, smoke 401 + WWW-Authenticate; X-User-Id не меняет пользователя 01-pytest.txt
Срок жизни и отзыв сессии make expiry-demo, test_sessions.py 200 → 401 после TTL; logout → 401 08-expiry.txt
Пароли — KDF test_password_is_not_stored_in_plaintext $argon2id$… в БД 01-pytest.txt
Redis — сессии с TTL и persistence make evidence appendfsync always, noeviction, aof_enabled:1; TTL ключа = expires_at 06-redis-config.txt
Пул, таймауты, параметризованные запросы код app/core/database.py, app/core/redis.py пулы ограничены, отказ Redis отвечает за ≈1 с 05-failures.txt
Гонка регистрации и rollback составной операции test_concurrency.py 16 одновременных → 1×201 + 15×409; откат при сбое вставки 01-pytest.txt
Индекс истории + EXPLAIN на ≥10 000 make explain, test_history_plan.py Index Scan, 51 строка, 4–6 буферов; без индекса — Seq Scan + Sort, 618 буферов 04-explain-history.txt
Автопроверки expiry, logout, неверного пароля, отказа Redis/БД make test-docker 112 passed 01-pytest.txt, 05-failures.txt

Эксперименты и отказы

Гипотеза: при потере Redis или PostgreSQL API отвечает ограниченным 503 и не пропускает анонимов, а после возврата сервиса прежний токен снова работает. Стенд: i7-10510U (8 потоков), 15 GiB RAM, без CPU/RAM-лимитов на контейнерах, один процесс API — см. 00-environment.txt.

Воздействие Что ожидаем Что наблюдали Восстановление / потеря данных
Остановка Redis 503 на вход и Bearer-запросы, ready 503, live 200 503 за ≈1 с; без токена 401; live 200 после старта тот же токен → 200 (AOF), потерь нет
Остановка PostgreSQL 503 на бизнес-запросы, ready 503 503, детали подключения не раскрываются после старта → 200, потерь нет
Рестарт api + postgres + redis данные и токен сохраняются PASS persistence ≈15 с до готовности, потерь нет
FLUSHDB Redis все сессии недействительны 401 для всех токенов пользователи входят заново, PostgreSQL не затронут
Нагрузка: closed-loop POST сообщений, 20 с, concurrency 8 без ошибок 172 RPS, 0 % ошибок, p50/p95/p99 = 36/112/172 мс; api ≈95 % CPU, postgres ≈18 % 07-load.json, 07-load-resources.txt

Ограничения измерения нагрузки: один короткий прогон, closed-loop клиент на той же машине (coordinated omission), latency только успешных запросов.

Ограничения и следующие шаги

  • Узкое место — один процесс API (CPU). Горизонтальное масштабирование — lab3.
  • Счётчик сообщений — одна строка, все отправки проходят через её блокировку до commit. При росте нагрузки — шардирование счётчика с менее строгим лимитом.
  • Redis — единственное хранилище сессий: потеря volume или FLUSHALL разлогинивает всех. appendfsync always удорожает только вход и выход.
  • Один Docker-host и одиночные PostgreSQL/Redis без репликации: отказ хоста не переживается.
  • HTTP без TLS — только локальный стенд с синтетическими данными. Пароль Redis виден в docker inspect; управление секретами — lab7.