forked from mtusi2026/mtusi2026lab2
131 lines
16 KiB
Markdown
131 lines
16 KiB
Markdown
# Лабораторная работа 2.
|
||
|
||
## Автор и состояние
|
||
|
||
- Автор: Савин Александр, БВТ2303.
|
||
- Целевая оценка: 5, трек 1 — согласованность кэша.
|
||
- Среда: macOS, Colima/Docker, docker-compose; API в образе Python 3.11, локальные исследовательские скрипты — Python 3.13.
|
||
|
||
## Исправление замечания
|
||
|
||
Замечание: действительный токен пользователя A при конфликтующей, ещё не истёкшей записи session:T в Valkey возвращал пользователя B, в том числе во всех восьми параллельных запросах. [Исходный комментарий](https://gitea.privcloud.tech/mtusi2026/mtusi2026lab2/pulls/63#issuecomment-436).
|
||
|
||
Причина: прежний код сверял действительность сессии в PostgreSQL, но возвращал user_id и user из кэша без сравнения с БД. Исправление в Store.get_session_by_token/get_cached_session: PostgreSQL определяет возвращаемую идентичность; несовпадающий кэш удаляется и восстанавливается из авторитетной записи. Повторный SELECT сессии устранён.
|
||
|
||
В tests/cache_consistency.py добавлены проверки конфликтующего payload с expires_at=2100 год, восьми параллельных GET /api/v1/users/me, повреждённой записи и повторного заполнения кэша после logout. В последнем запуске на исправленном контейнере все восемь запросов вернули владельца токена A: concurrent_identity_checks=8/8. Отдельно проверены forged_identity_rejected=True, malformed_cache_recovers=True, repopulated_revoked_cache_rejected=True. Это дополняет прежнюю проверку истёкшего payload, которая не покрывала замечание №436.
|
||
|
||
## Архитектура и схема
|
||
|
||
FastAPI/Uvicorn обслуживает REST API. PostgreSQL 16 — источник истины для пользователей, чатов, участников, сообщений и сессий. Valkey 8 хранит JSON-кэш сессий под session:<token>. История сообщений читается непосредственно из PostgreSQL.
|
||
|
||
Миграция migrations/001_initial_schema.sql задаёт PK, FK, UNIQUE username/token, составной PK членства и индексы. Store.init ведёт schema_migrations и пропускает применённые версии. Миграции включены в Docker-образ. Создание чата и всех участников — одна транзакция; исключение приводит к rollback.
|
||
|
||
SQL параметризован. psycopg_pool.ConnectionPool ограничивает количество соединений: min_size=1, DB_POOL_MAX_SIZE=10 по умолчанию, timeout=5 секунд, max_waiting=20. На соединениях заданы connect_timeout=5 секунд, statement_timeout=5000 мс и lock_timeout=500 мс. Пул открывается при старте API и закрывается при shutdown. Операции не удерживают соединение при повторном получении другого соединения; smoke отдельно прошёл при DB_POOL_MAX_SIZE=1.
|
||
|
||
## Аутентификация и сессии
|
||
|
||
Регистрация использует библиотечный Argon2id: time_cost=3, memory_cost=65536 KiB, parallelism=2, hash_len=32, salt_len=16. Basic принимается только при создании сессии. Токен генерируется secrets.token_urlsafe(32); защищённые операции требуют Bearer и проверяют членство в чате.
|
||
|
||
Сессия хранит expires_at и revoked_at в PostgreSQL. При каждом запросе выполняется один SELECT сессии с JOIN пользователя. Если сессия истекла или отозвана, кэш не даёт доступ. Если сессия действительна, кэш сравнивается с авторитетными данными целиком; повреждённое или несовпадающее значение заменяется. Возвращаются данные из БД, поэтому чужой user_id из кэша не используется.
|
||
|
||
TTL кэша рассчитывается из оставшегося времени сессии; он не продлевает expires_at. Logout фиксирует revoked_at, затем удаляет кэш. RedisError приводит к обходу кэша, а недоступность PostgreSQL не позволяет подтвердить сессию. Для OperationalError, включая ошибки пула, API формирует 503. Health/live проверяет процесс, health/ready — PostgreSQL; Valkey не является обязательным для доступности.
|
||
|
||
Важно: кэш не устраняет обязательный SELECT сессии. Преимущество кэша относительно решения вообще без Valkey не доказано.
|
||
|
||
## Воспроизводимый запуск
|
||
|
||
```sh
|
||
python3 -m venv .venv
|
||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||
# Подготовить локальный .env по .env.example.
|
||
docker-compose up -d --build
|
||
# Дождаться 200 от http://localhost:8080/health/ready.
|
||
make check
|
||
make validate PYTHON=.venv/bin/python
|
||
make test PYTHON=.venv/bin/python
|
||
make cache-consistency PYTHON=.venv/bin/python
|
||
make test-storage PYTHON=.venv/bin/python
|
||
make research-cache PYTHON=.venv/bin/python
|
||
.venv/bin/python scripts/explain_pagination.py
|
||
make test-persistence PYTHON=.venv/bin/python ACTION_SCRIPT=scripts/restart.sh
|
||
```
|
||
|
||
Если установлен плагин Compose v2, эквивалентная команда — docker compose. Скрипт restart.sh поддерживает обе формы. Прямые SQL/Valkey-проверки по умолчанию используют опубликованные localhost:5432 и localhost:6379; при иных настройках задать DATABASE_URL и CACHE_URL. Для API-тестов можно задать BASE_URL.
|
||
|
||
## Результаты после исправлений
|
||
|
||
| Проверка | Результат |
|
||
| --- | --- |
|
||
| make check | PASS |
|
||
| make validate | PASS |
|
||
| Smoke на локальном API :8081 с pool max_size=1 | PASS |
|
||
| Smoke на пересобранном контейнере :8080 | PASS |
|
||
| Cache consistency на пересобранном контейнере | PASS |
|
||
| tests/storage_regression.py | 5/5 PASS |
|
||
| tests/session_expiry.py на API с SESSION_TTL_SECONDS=2 | PASS: неверный пароль, действующая сессия, затем 401 после expiry |
|
||
| EXPLAIN на 10 000 временных сообщениях | Index Scan, 3 непустые страницы |
|
||
| Полный persistence через scripts/restart.sh | PASS |
|
||
|
||
Регрессионные тесты проверили откат составной операции при несуществующем участнике, две конкурентные регистрации одного username, обход семи сообщений с одинаковой временной меткой страницами по два, истечение сессии в БД при наличии кэша и fallback при RedisError. Созданные ими пользователи/чаты удаляются после проверки.
|
||
|
||
Расширенная проверка cache_consistency подтвердила: stale_cache_rejected, forged_identity_rejected, malformed_cache_recovers, repopulated_revoked_cache_rejected, short_ttl_recovers_from_db, logout_revokes_cache. Пример последнего запуска на контейнере: avg_latency_ms=2.36, p95_latency_ms=2.49 (10 запросов; это не надёжный benchmark).
|
||
|
||
Короткий TTL кэша проверяет восстановление, а не expiry сессии. Регрессионный тест отдельно сдвигает expires_at в прошлое. Дополнительно tests/session_expiry.py выполнен на временном API :8082 с SESSION_TTL_SECONDS=2: неверный пароль дал 401, действующая сессия — 200, истёкшая — 401. Полная матрица реальных остановок зависимостей пока не выполнена; имитация RedisError не заменяет её.
|
||
|
||
## Индекс и пагинация
|
||
|
||
Индекс: messages(chat_id, created_at, id). Запрос использует WHERE chat_id = %s AND (created_at, id) > (%s, %s::uuid), ORDER BY created_at ASC, id ASC, LIMIT limit+1. Это позволяет продолжать чтение после составного ключа без OFFSET в API. Составной ключ устраняет неоднозначность одинакового created_at.
|
||
|
||
scripts/explain_pagination.py создаёт 10 000 строк в транзакции, измеряет страницы после позиций 0, 5000 и 9900 с LIMIT 51 и откатывает fixtures. OFFSET используется только для выбора экспериментальных границ, не в запросе истории.
|
||
|
||
| Позиция | Возвращено строк | План | shared hit | Execution Time |
|
||
| --- | --- | --- | --- | --- |
|
||
| 0 | 51 | Index Scan idx_messages_chat_created | 5 | 0.052 мс |
|
||
| 5000 | 51 | Index Scan idx_messages_chat_created | 5 | 0.025 мс |
|
||
| 9900 | 51 | Index Scan idx_messages_chat_created | 6 | 0.027 мс |
|
||
|
||
Это локальное измерение на прогретом небольшом наборе. Оно подтверждает план конкретных страниц, но не универсальные задержки под нагрузкой. Курсор не поддерживает единый снимок между HTTP-запросами; вставки с ключом до уже пройденной границы могут быть пропущены.
|
||
|
||
## Трек 1: конкурентная подмена данных кэша
|
||
|
||
Гипотеза: проверка действительности токена в БД без сверки идентичности из кэша допускает возврат чужого пользователя. Исправление должно возвращать авторитетную идентичность и исключить повторный SELECT сессии.
|
||
|
||
Методика scripts/research_cache.py:
|
||
|
||
1. Создать двух тестовых пользователей и действующую сессию первого.
|
||
2. В отдельной изолированной функции воспроизвести прежний алгоритм: SELECT сессии, чтение кэша, повторный SELECT действительности, возврат кэша.
|
||
3. Измерить 100 прогретых последовательных чтений каждого алгоритма, подсчитать вызовы SELECT сессии.
|
||
4. Использовать два потока и Event: после первого чтения БД, до GET кэша, записать в кэш идентичность второго пользователя с действующим expiry.
|
||
5. Убедиться, что прежний алгоритм вернул чужую идентичность, исправленный вернул владельца токена.
|
||
6. Удалить собственный ключ и проверить восстановление из БД. В конце удалить fixtures.
|
||
|
||
| Показатель | Прежний алгоритм | Исправленный |
|
||
| --- | --- | --- |
|
||
| Чтений | 100 | 100 |
|
||
| SELECT сессии | 200 | 100 |
|
||
| Среднее | 5.154 мс | 6.867 мс |
|
||
| p95 | 6.739 мс | 8.805 мс |
|
||
| Чужая идентичность при конкурентной подмене | Да | Нет |
|
||
|
||
Вывод: исправлена подмена и устранён лишний SELECT. Улучшение задержки не подтверждено: в этом запуске исправленный вариант медленнее. Алгоритмы измерены последовательно в локальной среде; влияние нагрузки и порядка не исключено. Baseline существует только внутри исследовательского скрипта и не публикует небезопасный API.
|
||
|
||
Граница эксперимента: детерминированное чередование чтения и повреждения кэша, а не случайный stress-тест. Возможность записать чужое значение в кэш предполагается. Защита от cache stampede и кэш истории не реализованы. Read-after-write сообщений обеспечивается фиксацией до ответа и чтением из основной БД; smoke и persistence проверяют подтверждённые сообщения. Удаление собственного ключа моделирует cache miss, а реальный рестарт проверяется отдельно.
|
||
|
||
## Сохранность и ограничения
|
||
|
||
scripts/restart.sh пересоздаёт app, db, valkey с сохранением именованных volumes. Persistence-тест подтвердил, что прежний токен читает прежние подтверждённые данные после этого действия. PostgreSQL хранит основное состояние; Valkey использует AOF и RDB-настройку save 60 1. TTL не продлевается при рестарте.
|
||
|
||
Проверка не моделирует потерю хоста, диска, volumes или аварийное отключение питания. Volume не является резервной копией. Нет координации одновременных миграторов нескольких API-реплик.
|
||
|
||
## Повтор проверки короткой сессии
|
||
|
||
В отдельном терминале запустить временный API, затем выполнить тест и остановить временный процесс:
|
||
|
||
```sh
|
||
SESSION_TTL_SECONDS=2 .venv/bin/uvicorn app:app --host 127.0.0.1 --port 8082
|
||
# В другом терминале:
|
||
BASE_URL=http://127.0.0.1:8082 .venv/bin/python tests/session_expiry.py
|
||
```
|
||
|
||
Обычный Compose-стенд сохраняет TTL=3600. Как и публичный smoke, HTTP-тест оставляет созданного синтетического пользователя в БД.
|