Files
2026-10-24 13:20:09 +03:00

12 KiB
Raw Permalink Blame History

Отчёт — лабораторная 2

Автор: Юртаев (группа не указана). Цель: 5, трек 1 — согласованность кэша. Commit/PR не создавались. Использованы Python 3.12, FastAPI, psycopg 3, redis-py, hashlib.scrypt; реализация и эксперимент подготовлены с помощью Codex.

Запуск

Проверено на Apple M4, 16 GiB RAM, Docker 29.3.0. Образы: Python 3.12.10, PostgreSQL 16.8, Redis 7.4.2. Явных CPU/RAM лимитов нет; Docker Desktop показывал 7.65 GiB доступной памяти.

cp .env.example .env
# Заменить POSTGRES_PASSWORD в локальном .env на случайный учебный пароль.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
python3 tests/level4.py

API открыт только на 127.0.0.1:8080. При первом старте миграции migrations/*.sql применяются под транзакционной advisory lock; повторный старт их пропускает. Остановка: docker compose --env-file .env down. Намеренное удаление учебных данных: docker compose --env-file .env down -v. .env и volume исключены из Git. Если порт 8080 занят, можно задать APP_PORT=8082 для Compose и BASE_URL=http://localhost:8082 для тестов; финальные регрессии и persistence были повторены так из-за другого локального стенда на 8080.

Лимит HTTP JSON-тела MAX_HTTP_BODY_BYTES по умолчанию 65 536 байт и не может быть меньше: это позволяет передать 4000 Unicode-символов даже при ASCII-экранировании json.dumps. Длина текста и пароля проверяется уже после декодирования JSON; пароль из одних пробельных символов отклоняется.

Архитектура

Из первой лабораторной сохранены пользователи, чаты, сообщения, проверки доступа и keyset pagination. Идентификация изменена по контракту: регистрация с паролем, Basic только для создания сессии, Bearer для остальных защищённых endpoint. PostgreSQL — источник истины для users, chats, chat_members, messages, sessions и chat_versions. Redis содержит только страницы истории (TTL 30 с) и краткие lock-ключи; его данные можно потерять. Сессии в PostgreSQL переживают полный рестарт, не продлевают TTL и отзываются удалением. В БД хранится SHA-256 случайного 256-битного токена как индексный идентификатор; пароль хешируется scrypt с отдельной солью 128 бит и параметрами N=16384,r=8,p=1.

Схема задаёт UUID PK, FK, уникальный username, PK (chat_id,user_id), индексы chat_members(user_id,chat_id), chats(created_at,id) и messages(chat_id,created_at,id). Создание чата с участниками и начальной версией — одна транзакция. Вставка сообщения и увеличение версии — одна транзакция. SQL параметризован; пул ограничен 10 соединениями, ожидание пула и подключение ограничены 3 с, statement_timeout=3000 мс, lock_timeout=2000 мс. Пароль БД передаётся отдельным параметром и безопасно экранируется make_conninfo, включая спецсимволы. Подтверждение COMMIT опирается на PostgreSQL с обычным synchronous_commit=on и сохранность volume/хоста.

При GET истории приложение проверяет сессию, членство и текущую версию чата в PostgreSQL. Ключ Redis включает chat ID, версию, limit и cursor. Запись подтверждается после COMMIT вместе с новой версией; следующий GET не использует кэш старой версии. При отказе Redis история читается из PostgreSQL, при отказе PostgreSQL обязательный путь и /health/ready возвращают 503. /health/live проверяет только процесс.

Проверки уровней 3 и 4

Критерий Команда Результат
Публичный контракт make test PASS: Basic/Bearer, чаты, история, пагинация, ошибки, logout
Полный рестарт make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS: старый токен и сообщение после остановки/старта API, PostgreSQL и Redis без удаления volume
Гонка username python3 tests/level4.py 16 конкурентных запросов: один 201, пятнадцать 409
Rollback та же команда Тестовый trigger вызывает ошибку при вставке участника; чат отсутствует после отката
Отказы и expiry та же команда Redis down: чтение/запись работают; PostgreSQL down: 503; TTL 2 с: 401; анонимный доступ не принят
Границы JSON и пароля та же команда 4000 emoji проходят с ASCII-экранированием (48 012 байт) и без него (16 012 байт); пароль из 12 пробелов получает 400
Миграции полный рестарт выше Повторный запуск сохранил данные и не применил миграцию повторно
Индекс истории python3 scripts/cache_experiment.py на 10 000 строках Index Scan using messages_history_idx, 101 строка, 6 buffer hits, 0.083 мс; полный план в evidence/history_explain.txt
Линт make lint PASS: синтаксис, пробелы, неиспользуемые импорты в изменённом Python-коде

План получен запросом SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id='<synthetic-chat-uuid>' ORDER BY created_at,id LIMIT 101. Следующая страница использует (created_at,id)>(cursor_at,cursor_id) и тот же индекс; полный scan истории для каждой страницы не требуется.

Трек 1: гипотеза и эксперимент

Гипотеза: 32 одновременных запроса холодной страницы без защиты дадут cache stampede; Redis SET NX PX и ожидание результата сократят число SQL-запросов истории, а версия PostgreSQL обеспечит read-after-write.

python3 scripts/cache_experiment.py создаёт синтетического пользователя, чат и 10 000 сообщений одной транзакцией. Затем отправляет 32 одновременных GET первой страницы (limit=100) в трёх режимах: кэш выключен, кэш без lock, кэш с lock. Перед каждым холодным прогоном очищает Redis и пересоздаёт API; затем повторяет 32 GET на прогретом кэше. Для воспроизводимой конкуренции во всех режимах эксперимент задаёт искусственную задержку cache miss 150 мс; в обычном запуске она равна нулю. history_sql считает именно SELECT страницы, без проверок сессии, членства и версии. Отдельная проба кэширует пустую страницу, записывает сообщение, сразу читает его, перезапускает Redis и читает снова. Эндпоинт счётчиков работает только при локальном ENABLE_EXPERIMENT_METRICS=1 и доступен из контейнера.

Три независимых запуска сохранены в evidence/cache_experiment_run1.json … run3.json:

Режим Холодный SELECT истории / 32 GET Прогретый SELECT / 32 GET Холодный p95, мс (3 повтора) Прогретый p95, мс (3 повтора)
Без кэша 32 32 666.36 / 690.73 / 686.28 680.33 / 684.34 / 665.88
Кэш без lock 10 0 254.70 / 253.97 / 243.40 103.82 / 102.69 / 104.81
Кэш с lock 1 0 230.95 / 248.14 / 239.43 105.44 / 102.45 / 107.05

Во всех трёх запусках read_after_write=true, cache_restart_recovered=true, HTTP-ошибок не было. При одинаковом включённом кэше lock сократил дублирующиеся SQL-запросы холодной страницы с 10 до 1. Проверка версии по-прежнему требует SQL при каждом GET. Если SELECT длится дольше 500 мс ожидания, конкурентные клиенты могут снова выполнить запрос: lock с TTL 2 с не является распределённой транзакцией. Уже начавшееся чтение при конкурентной вставке может видеть прежний снимок; чтение после подтверждённой записи получает новую версию. Snapshot между HTTP-запросами не обещается.

Отдельная 30-секундная нагрузка python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json: 16 331 успешный POST, 0 ошибок, 543.96 RPS, p50/p95/p99 = 7.088/9.878/12.638 мс. Один срез docker stats --no-stream во время нагрузки: API 128.04% CPU / 58.87 MiB; PostgreSQL 25.94% / 32.18 MiB; Redis 0.39% / 9.32 MiB. Closed-loop клиент имеет coordinated omission; один срез CPU/RAM не показывает пики. Все задержки локальные, без удалённой сети и лимитов CPU.

Ограничения

HTTP допустим только на локальном изолированном стенде с синтетическими данными. Истёкшие сессии не очищаются фоново, но доступ к ним отклоняется в SQL. Старые версии страниц кэша удаляются по TTL. Результаты зависят от распределения размеров чатов, диска, ресурсов Docker и клиента; измерения не заявляют производительность production-системы.