12 KiB
Отчёт — лабораторная 2
Автор: Юртаев (группа не указана). Цель: 5, трек 1 — согласованность кэша. Commit/PR не создавались. Использованы Python 3.12, FastAPI, psycopg 3, redis-py, hashlib.scrypt; реализация и эксперимент подготовлены с помощью Codex.
Запуск
Проверено на Apple M4, 16 GiB RAM, Docker 29.3.0. Образы: Python 3.12.10, PostgreSQL 16.8, Redis 7.4.2. Явных CPU/RAM лимитов нет; Docker Desktop показывал 7.65 GiB доступной памяти.
cp .env.example .env
# Заменить POSTGRES_PASSWORD в локальном .env на случайный учебный пароль.
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make lint check test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
python3 tests/level4.py
API открыт только на 127.0.0.1:8080. При первом старте миграции migrations/*.sql применяются под транзакционной advisory lock; повторный старт их пропускает. Остановка: docker compose --env-file .env down. Намеренное удаление учебных данных: docker compose --env-file .env down -v. .env и volume исключены из Git.
Если порт 8080 занят, можно задать APP_PORT=8082 для Compose и BASE_URL=http://localhost:8082 для тестов; финальные регрессии и persistence были повторены так из-за другого локального стенда на 8080.
Лимит HTTP JSON-тела MAX_HTTP_BODY_BYTES по умолчанию 65 536 байт и не может быть меньше: это позволяет передать 4000 Unicode-символов даже при ASCII-экранировании json.dumps. Длина текста и пароля проверяется уже после декодирования JSON; пароль из одних пробельных символов отклоняется.
Архитектура
Из первой лабораторной сохранены пользователи, чаты, сообщения, проверки доступа и keyset pagination. Идентификация изменена по контракту: регистрация с паролем, Basic только для создания сессии, Bearer для остальных защищённых endpoint. PostgreSQL — источник истины для users, chats, chat_members, messages, sessions и chat_versions. Redis содержит только страницы истории (TTL 30 с) и краткие lock-ключи; его данные можно потерять. Сессии в PostgreSQL переживают полный рестарт, не продлевают TTL и отзываются удалением. В БД хранится SHA-256 случайного 256-битного токена как индексный идентификатор; пароль хешируется scrypt с отдельной солью 128 бит и параметрами N=16384,r=8,p=1.
Схема задаёт UUID PK, FK, уникальный username, PK (chat_id,user_id), индексы chat_members(user_id,chat_id), chats(created_at,id) и messages(chat_id,created_at,id). Создание чата с участниками и начальной версией — одна транзакция. Вставка сообщения и увеличение версии — одна транзакция. SQL параметризован; пул ограничен 10 соединениями, ожидание пула и подключение ограничены 3 с, statement_timeout=3000 мс, lock_timeout=2000 мс. Пароль БД передаётся отдельным параметром и безопасно экранируется make_conninfo, включая спецсимволы. Подтверждение COMMIT опирается на PostgreSQL с обычным synchronous_commit=on и сохранность volume/хоста.
При GET истории приложение проверяет сессию, членство и текущую версию чата в PostgreSQL. Ключ Redis включает chat ID, версию, limit и cursor. Запись подтверждается после COMMIT вместе с новой версией; следующий GET не использует кэш старой версии. При отказе Redis история читается из PostgreSQL, при отказе PostgreSQL обязательный путь и /health/ready возвращают 503. /health/live проверяет только процесс.
Проверки уровней 3 и 4
| Критерий | Команда | Результат |
|---|---|---|
| Публичный контракт | make test |
PASS: Basic/Bearer, чаты, история, пагинация, ошибки, logout |
| Полный рестарт | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS: старый токен и сообщение после остановки/старта API, PostgreSQL и Redis без удаления volume |
| Гонка username | python3 tests/level4.py |
16 конкурентных запросов: один 201, пятнадцать 409 |
| Rollback | та же команда | Тестовый trigger вызывает ошибку при вставке участника; чат отсутствует после отката |
| Отказы и expiry | та же команда | Redis down: чтение/запись работают; PostgreSQL down: 503; TTL 2 с: 401; анонимный доступ не принят |
| Границы JSON и пароля | та же команда | 4000 emoji проходят с ASCII-экранированием (48 012 байт) и без него (16 012 байт); пароль из 12 пробелов получает 400 |
| Миграции | полный рестарт выше | Повторный запуск сохранил данные и не применил миграцию повторно |
| Индекс истории | python3 scripts/cache_experiment.py на 10 000 строках |
Index Scan using messages_history_idx, 101 строка, 6 buffer hits, 0.083 мс; полный план в evidence/history_explain.txt |
| Линт | make lint |
PASS: синтаксис, пробелы, неиспользуемые импорты в изменённом Python-коде |
План получен запросом SELECT id,chat_id,sender_id,text,created_at FROM messages WHERE chat_id='<synthetic-chat-uuid>' ORDER BY created_at,id LIMIT 101. Следующая страница использует (created_at,id)>(cursor_at,cursor_id) и тот же индекс; полный scan истории для каждой страницы не требуется.
Трек 1: гипотеза и эксперимент
Гипотеза: 32 одновременных запроса холодной страницы без защиты дадут cache stampede; Redis SET NX PX и ожидание результата сократят число SQL-запросов истории, а версия PostgreSQL обеспечит read-after-write.
python3 scripts/cache_experiment.py создаёт синтетического пользователя, чат и 10 000 сообщений одной транзакцией. Затем отправляет 32 одновременных GET первой страницы (limit=100) в трёх режимах: кэш выключен, кэш без lock, кэш с lock. Перед каждым холодным прогоном очищает Redis и пересоздаёт API; затем повторяет 32 GET на прогретом кэше. Для воспроизводимой конкуренции во всех режимах эксперимент задаёт искусственную задержку cache miss 150 мс; в обычном запуске она равна нулю. history_sql считает именно SELECT страницы, без проверок сессии, членства и версии. Отдельная проба кэширует пустую страницу, записывает сообщение, сразу читает его, перезапускает Redis и читает снова. Эндпоинт счётчиков работает только при локальном ENABLE_EXPERIMENT_METRICS=1 и доступен из контейнера.
Три независимых запуска сохранены в evidence/cache_experiment_run1.json … run3.json:
| Режим | Холодный SELECT истории / 32 GET | Прогретый SELECT / 32 GET | Холодный p95, мс (3 повтора) | Прогретый p95, мс (3 повтора) |
|---|---|---|---|---|
| Без кэша | 32 | 32 | 666.36 / 690.73 / 686.28 | 680.33 / 684.34 / 665.88 |
| Кэш без lock | 10 | 0 | 254.70 / 253.97 / 243.40 | 103.82 / 102.69 / 104.81 |
| Кэш с lock | 1 | 0 | 230.95 / 248.14 / 239.43 | 105.44 / 102.45 / 107.05 |
Во всех трёх запусках read_after_write=true, cache_restart_recovered=true, HTTP-ошибок не было. При одинаковом включённом кэше lock сократил дублирующиеся SQL-запросы холодной страницы с 10 до 1. Проверка версии по-прежнему требует SQL при каждом GET. Если SELECT длится дольше 500 мс ожидания, конкурентные клиенты могут снова выполнить запрос: lock с TTL 2 с не является распределённой транзакцией. Уже начавшееся чтение при конкурентной вставке может видеть прежний снимок; чтение после подтверждённой записи получает новую версию. Snapshot между HTTP-запросами не обещается.
Отдельная 30-секундная нагрузка python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json: 16 331 успешный POST, 0 ошибок, 543.96 RPS, p50/p95/p99 = 7.088/9.878/12.638 мс. Один срез docker stats --no-stream во время нагрузки: API 128.04% CPU / 58.87 MiB; PostgreSQL 25.94% / 32.18 MiB; Redis 0.39% / 9.32 MiB. Closed-loop клиент имеет coordinated omission; один срез CPU/RAM не показывает пики. Все задержки локальные, без удалённой сети и лимитов CPU.
Ограничения
HTTP допустим только на локальном изолированном стенде с синтетическими данными. Истёкшие сессии не очищаются фоново, но доступ к ним отклоняется в SQL. Старые версии страниц кэша удаляются по TTL. Результаты зависят от распределения размеров чатов, диска, ресурсов Docker и клиента; измерения не заявляют производительность production-системы.