18 KiB
Отчёт — лабораторная 2
- Автор, группа: Григорян Илья, БПИ2303 (ветка
solution/BPI2303-Grigoryan) - Целевая оценка: 4, трек 5 не заявлен
- Commit/PR: commit, на котором собраны доказательства(
e3b316352c), записан в evidence/00-environment.txt - Источники и библиотеки: FastAPI, SQLAlchemy 2.1 (async) + asyncpg, Alembic, redis-py, argon2-cffi, Pydantic / pydantic-settings, pytest + pytest-asyncio + httpx; документация PostgreSQL (transactions, EXPLAIN), Redis persistence, RFC 7617
- Помощь ИИ: ассистент Claude (Claude Code) — ревью схемы БД, реализация и ревью слоёв storage/domain, тесты, скрипты сбора доказательств, черновик отчёта. Решения обсуждались и проверялись автором
Запуск из чистого clone
Требования: Docker Engine с Compose v2 (проверено на Docker 29.9.2, Compose 5.6.1), make, curl, Python 3.12 — только для тестов. Образы закреплены: python:3.12.15-slim-bookworm, postgres:16.10-bookworm, redis:7.4.2-bookworm.
cp .env.example .env # заменить DB_PASSWORD и REDIS_PASSWORD
make check
docker compose --env-file .env config --quiet
make up # сборка → postgres, redis healthy → migrate → api; ждёт /health/ready
make test # публичный smoke на http://localhost:8080
make test-persistence ACTION_SCRIPT=scripts/restart.sh
- Миграции: сервис
migrateвыполняетalembic upgrade headпри каждомup, повтор не дублирует данные. Ручных действий, кроме паролей в.env, нет. - Безопасная остановка без потери данных:
make down. Намеренное удаление учебных данных:docker compose down -v. - Собственные тесты и доказательства идут на отдельном тестовом стенде (проект compose
<каталог>-test, порты 18080/15432/16379), основной стенд они не трогают:
python3 -m venv venv && venv/bin/pip install -r requirements.txt
make test-all # тестовый стенд + pytest (включая рестарт Redis) + smoke + persistence
make evidence # перегенерировать evidence/
make test-stand-down # остановить; make test-stand-destroy — удалить вместе с volumes
Архитектура и решения
Клиент → API (FastAPI, один процесс uvicorn) → PostgreSQL (все данные) и Redis (сессии).
| Роль | Service | Образ | Health / readiness | Volume | Порт хоста | Credentials |
|---|---|---|---|---|---|---|
| API | api |
сборка из Dockerfile |
HEALTHCHECK → /health/live; /health/ready проверяет PostgreSQL и Redis |
— | 127.0.0.1:8080 |
env_file: .env |
| Миграции | migrate |
тот же образ | one-shot; api ждёт успешного завершения |
— | — | .env |
| БД | postgres |
postgres:16.10-bookworm |
pg_isready |
pgdata |
127.0.0.1:5432 |
POSTGRES_PASSWORD из .env |
| Сессии | redis |
redis:7.4.2-bookworm |
redis-cli ping |
redisdata |
127.0.0.1:6379 |
--requirepass из .env; конфиг infra/redis/redis.conf |
Источник истины. PostgreSQL — пользователи, чаты, участники, сообщения, счётчик сообщений. Redis — единственное хранилище сессий.
Схема (миграции db06fd3126ff, abd273076068): UUID-ключи, внешние ключи, UNIQUE(username), составной PK chat_members(chat_id, user_id), индексы messages(chat_id, created_at, id) под keyset-историю и chat_members(user_id, chat_id) под список чатов пользователя, timestamptz. created_at сообщений берётся из clock_timestamp() в БД. Форматы и длины проверяются в одном месте — Pydantic-схемах; в БД остаются структурные ограничения.
Сессии.
- Ключ
session:<sha256(token)>→user_id, записьSET … PXAT expires_at. Сам токен (256 бит,secrets.token_urlsafe(32)) не хранится. - Expiry: срок абсолютный (
SESSION_TTL_SECONDS), Redis удаляет ключ сам. Активность и рестарт срок не продлевают. - Инвалидация: logout — атомарный
DEL; повторный logout получает 401. - Persistence: AOF с
appendfsync always, чтобы не терять logout.maxmemory-policy noeviction, чтобы Redis не вытеснял сессии. Volumeredisdata. ПослеFLUSHALLвсе пользователи входят заново, данные PostgreSQL не затронуты.
Пароли. Argon2id (m=64 MiB, t=3, p=4) в отдельном пуле потоков размером cpu / p. Для неизвестного username выполняется проверка против фиктивного хеша, поэтому время ответа не выдаёт существование пользователя.
Транзакционные границы. commit и rollback есть только в слое domain:
- регистрация: проверка username →
commit(соединение возвращается в пул до Argon2) → INSERT →commit.IntegrityError→ rollback → 409; - вход: SELECT →
commitдо проверки пароля →SETв Redis; - создание чата: чат и участники вставляются одной транзакцией;
- сообщение: проверка членства → атомарный upsert счётчика с условием
value < MAX_MESSAGES→ INSERT →commit. Лимит точен и при конкурентных отправках.
Пулы и таймауты.
- PostgreSQL: пул 5 + 10, ожидание соединения 3 с, подключение 3 с,
statement_timeout5 с. - Redis: блокирующий пул на 20 соединений, ожидание 1 с, подключение 1 с, операция 0.5 с, один повтор.
- Лимиты:
MAX_IN_FLIGHT→ 429,MAX_MESSAGES→ 503. SQL только через SQLAlchemy, все запросы параметризованы.
Из lab1 перенесено: API, формат ошибок, X-Request-Id, курсорная пагинация, лимиты.
Изменено: хранилище in-memory → PostgreSQL; X-User-Id → Basic (только POST /auth/sessions) + Bearer; регистрация с паролем.
Переменные .env.example:
APP_*,LOG_LEVEL— uvicorn;SESSION_TTL_SECONDS,SESSION_STORE=redis— сессии;REDIS_*—app/core/redis.py;DB_*—app/core/database.py;MAX_*— лимиты;*_HOST_PORT— публикация портов в compose.
Доказательства критериев
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
|---|---|---|---|
| Публичный smoke | make test |
PASS | 02-smoke.txt |
| Данные и сессии переживают рестарт API и всех хранилищ | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS; Up N seconds у api, postgres, redis до и после |
03-persistence.txt |
| PK/FK, уникальность username, миграции с нуля и повторно | test_constraints.py, test_migrations.py |
ограничения срабатывают в БД; повторный upgrade не дублирует; модели совпадают с миграциями |
01-pytest.txt |
| Атомарное создание чата | test_failed_chat_creation_leaves_no_partial_data, test_failed_chat_insert_rolls_back_whole_transaction |
400, ни чата, ни участников | 01-pytest.txt |
Basic только на входе, Bearer везде, X-User-Id игнорируется |
test_auth.py, smoke |
401 + WWW-Authenticate; X-User-Id не меняет пользователя |
01-pytest.txt |
| Срок жизни и отзыв сессии | make expiry-demo, test_sessions.py |
200 → 401 после TTL; logout → 401 | 08-expiry.txt |
| Пароли — KDF | test_password_is_not_stored_in_plaintext |
$argon2id$… в БД |
01-pytest.txt |
| Redis — сессии с TTL и persistence | make evidence |
appendfsync always, noeviction, aof_enabled:1; TTL ключа = expires_at |
06-redis-config.txt |
| Пул, таймауты, параметризованные запросы | код app/core/database.py, app/core/redis.py |
пулы ограничены, отказ Redis отвечает за ≈1 с | 05-failures.txt |
| Гонка регистрации и rollback составной операции | test_concurrency.py |
16 одновременных → 1×201 + 15×409; откат при сбое вставки | 01-pytest.txt |
| Индекс истории + EXPLAIN на ≥10 000 | make explain, test_history_plan.py |
Index Scan, 51 строка, 4–6 буферов; без индекса — Seq Scan + Sort, 618 буферов | 04-explain-history.txt |
| Автопроверки expiry, logout, неверного пароля, отказа Redis/БД | make test-docker |
112 passed | 01-pytest.txt, 05-failures.txt |
Эксперименты и отказы
Гипотеза: при потере Redis или PostgreSQL API отвечает ограниченным 503 и не пропускает анонимов, а после возврата сервиса прежний токен снова работает. Стенд: i7-10510U (8 потоков), 15 GiB RAM, без CPU/RAM-лимитов на контейнерах, один процесс API — см. 00-environment.txt.
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|---|---|---|---|
| Остановка Redis | 503 на вход и Bearer-запросы, ready 503, live 200 | 503 за ≈1 с; без токена 401; live 200 | после старта тот же токен → 200 (AOF), потерь нет |
| Остановка PostgreSQL | 503 на бизнес-запросы, ready 503 | 503, детали подключения не раскрываются | после старта → 200, потерь нет |
| Рестарт api + postgres + redis | данные и токен сохраняются | PASS persistence | ≈15 с до готовности, потерь нет |
FLUSHDB Redis |
все сессии недействительны | 401 для всех токенов | пользователи входят заново, PostgreSQL не затронут |
| Нагрузка: closed-loop POST сообщений, 20 с, concurrency 8 | без ошибок | 172 RPS, 0 % ошибок, p50/p95/p99 = 36/112/172 мс; api ≈95 % CPU, postgres ≈18 % | 07-load.json, 07-load-resources.txt |
Ограничения измерения нагрузки: один короткий прогон, closed-loop клиент на той же машине (coordinated omission), latency только успешных запросов.
Ограничения и следующие шаги
- Узкое место — один процесс API (CPU). Горизонтальное масштабирование — lab3.
- Счётчик сообщений — одна строка, все отправки проходят через её блокировку до
commit. При росте нагрузки — шардирование счётчика с менее строгим лимитом. - Redis — единственное хранилище сессий: потеря volume или
FLUSHALLразлогинивает всех.appendfsync alwaysудорожает только вход и выход. - Один Docker-host и одиночные PostgreSQL/Redis без репликации: отказ хоста не переживается.
- HTTP без TLS — только локальный стенд с синтетическими данными. Пароль Redis виден в
docker inspect; управление секретами — lab7.