Подтверждённые сообщения и действующие сессии переживают перезапуск, история читается по индексу, копия восстанавливается в новый том. Co-authored-by: Cursor <cursoragent@cursor.com>
26 KiB
Отчёт — лабораторная 2
Автор, группа: Казанцева Виктория / БПИ2301
Целевая оценка; выбранный трек 5, если нужен: 5, трек 2 (план запроса и восстановление из копии)
Commit/PR: TODO после публикации
Использованные источники, библиотеки и помощь ИИ: контракт и публичные тесты skeleton, свой код лабораторной 1, документация PostgreSQL (транзакции, EXPLAIN, pg_dump/pg_restore), документация Redis про AOF, RFC 7617 про Basic. Библиотеки: argon2-cffi 23.1.0, psycopg 3.2.9 с пулом, redis 5.2.1. Образы: python:3.12.7-slim-bookworm, postgres:16.8-bookworm, redis:7.4.2-alpine. Реализацию и текст отчёта готовила с помощью Cursor. Команды, smoke и замеры прогнаны локально, числа ниже с этого запуска.
Запуск из чистого clone
Нужны Docker и Python 3.9+. У меня проверки шли на Python 3.11.5, Windows. python3 в Makefile на этой машине не обязателен: те же команды ниже вызывают python.
Пароль стенда лежит только в .env. Файл в gitignore. В репозиторий попадает .env.example с учебным паролем локального стенда, его не надо использовать нигде кроме этой машины.
copy .env.example .env
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
Дальше подождать, пока http://127.0.0.1:8080/health/ready ответит 200. Миграции накатывает сам API при старте, отдельную команду запускать не нужно.
Проверки:
python scripts/check_contract.py
python tests/smoke.py --base-url http://127.0.0.1:8080
python tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://127.0.0.1:8080
python -m unittest discover -s student-tests -v
python student-tests/check_dependencies.py
python -m venv .venv
.venv\Scripts\python -m pip install -r requirements.txt
.venv\Scripts\python student-tests\experiment_track2.py
На Linux и macOS persistence запускается так, как написано в задании: make test-persistence ACTION_SCRIPT=scripts/restart.sh после chmod +x scripts/restart.sh. На Windows публичный тест стартует hook как программу и не смотрит на shebang, поэтому тот же перезапуск лежит в scripts/restart.cmd. Я прогнала публичный тест с .cmd и отдельно выполнила scripts/restart.sh через Git Bash: поднялись те же три контейнера, /health/ready снова стал 200, после этого smoke ещё раз прошёл.
Остановка без удаления данных: docker compose --env-file .env stop. Данные остаются в томах pg-data и redis-data.
Намеренный сброс учебного стенда, его не вызывать в проверке сохранности: docker compose --env-file .env down -v. После этого пользователи, сообщения и сессии пропадут. Файл дампа эксперимента backups/messenger_bench.dump в git не входит, его можно удалить руками.
Архитектура и решения
Клиент ходит в один процесс API. Пользователи, чаты, участники и сообщения лежат в PostgreSQL. Сессии лежат только в Redis. История сообщений в Redis не кэшируется: после успешного POST следующее чтение идёт в PostgreSQL, поэтому устаревшей страницы истории быть не должно.
Из лабораторной 1 остались разбор HTTP, курсор, лимит тела 65536 байт, ограничение одновременных тел и лимит запросов в секунду. Лимит частоты по-прежнему в памяти процесса и после рестарта начинается заново. Изменилась аутентификация. Вместо X-User-Id при регистрации нужен пароль, сессия создаётся только POST /api/v1/auth/sessions с Basic, остальные запросы принимают только Bearer. Заголовок X-User-Id читается и ни на что не влияет.
Пароль хешируется Argon2id, параметры m=19456, t=2, p=1. Это медленный KDF с солью. bcrypt я не брала: он режет длинный UTF-8 пароль около 72 байт, а по контракту пароль может быть до 128 code points и содержать двоеточие. SHA-256 пароля тоже не подходит: он быстрый, и перебор остаётся дешёвым. В Redis ключ сессии — это SHA-256 от случайного токена. Это быстрый поиск, не хеш пароля. Если скопировать Redis, там будет дайджест, а не строка, которой можно представиться. Сам токен — token_urlsafe(32), 256 бит, клиенту он отдаётся один раз.
Аутентификация и доступ к чату — разные проверки. Сначала нужно понять, кто пришёл. Нет токена, токен неизвестен, он просрочен или уже отозван — 401. Неверный пароль и несуществующий username дают один и тот же 401, без подсказки, что именно не так. Если человек известен, но чата нет или его там нет среди участников, ответ 404 и один и тот же текст. 403 я не использую, чтобы по коду нельзя было понять, существует чужой чат или нет.
Сессия живёт SESSION_TTL_SECONDS. На обычном стенде это 3600, для отдельной проверки — 2. В Redis у ключа стоит такой же TTL. При чтении TTL не продлевается, рестарт его тоже не продлевает. Logout удаляет ключ. Пока Redis не отвечает, запрос с Bearer получает 503, а не 200. Запрос вообще без токена по-прежнему 401: анонима я не считаю пользователем только из-за того, что хранилище сессий лежит. То же с PostgreSQL: профиль и история без базы не отдаются.
/health/live смотрит только на процесс. /health/ready делает SELECT 1 и PING. Если Postgres или Redis недоступны, ready отвечает 503.
Пул Postgres: минимум 1 соединение, максимум 8, ждать свободное можно 5 секунд, connect timeout 3 секунды, statement_timeout 3 секунды, lock_timeout 2 секунды. Перед выдачей соединения пул проверяет его SELECT 1, поэтому после возвращения базы старые обрывы не остаются навсегда. Запросы только с параметрами %s. В тесте display_name со строкой a'; drop table users;-- сохранился как текст, таблица users осталась.
Границы транзакций записаны в migrations/001_init.sql и повторены в src/db.py:
- регистрация — один INSERT. Гонку одного username решает уникальный индекс, в процессе отдельного замка на это нет. Восемь параллельных регистраций дали один 201 и семь 409, в таблице одна строка;
- создание чата — INSERT чата и INSERT участников в одной транзакции. Если участника нет, внешний ключ рвёт транзакцию, и строка чата тоже откатывается. Проверка: число чатов до и после такого запроса совпало, чата с этим названием нет;
- сообщение — проверка участия и INSERT в одной транзакции. Сверху взята
pg_advisory_xact_lock, чтобы пределMAX_MESSAGESне проехал на два сразу. Это простой замок на все записи сообщений, для стенда его хватает, при большой нагрузке он станет узким местом; - чтение — одна транзакция без записи.
COMMIT при synchronous_commit=on и fsync=on значит, что запись WAL дошла до диска до ответа клиенту. Оба параметра явно стоят в compose.yaml, там же full_page_writes=on. Если бы synchronous_commit был off, COMMIT мог бы вернуться раньше сброса на диск, и авария сразу после ответа потеряла бы последние сообщения. Удаление тома это всё равно не лечит: том — это и есть диск.
Redis запущен с --appendonly yes --appendfsync always. CONFIG GET показал appendfsync always, INFO persistence — aof_enabled:1 и aof_last_write_status:ok. SET не возвращается, пока запись не сброшена. Поэтому токен, который клиент уже получил, переживает рестарт Redis. Режим everysec мог бы потерять около секунды. FLUSHALL или том Redis без AOF сессии сотрёт, сообщения в Postgres при этом останутся. Проверено наоборот: docker stop Redis без удаления тома, затем start, тот же токен снова читает того же пользователя, текст сообщения на месте.
Повторный запуск миграций ничего не вставляет. Версия лежит в schema_migrations. Второй вызов apply_migrations() вернул 0, число пользователей не изменилось.
Стенд публикует порты только на 127.0.0.1. Это HTTP без TLS, для удалённой демонстрации его недостаточно. Контейнер API работает не от root, uid 10001.
Образы, которые реально стояли:
| Роль | Образ | Digest |
|---|---|---|
| API | свой Dockerfile от python:3.12.7-slim-bookworm | sha256:60d9996b6a8a3689d36db740b49f4327be3be09a21122bd02fb8895abb38b50d |
| Postgres | postgres:16.8-bookworm | sha256:301bcb60b8a3ee4ab7e147932723e3abd1cef53516ce5210b39fd9fe5e3602ae |
| Redis | redis:7.4.2-alpine | sha256:02419de7eddf55aa5bcf49efb74e88fa8d931b4d77c07eff8a6b2144472b6952 |
Имена контейнеров фиксированы: mtusi-lab2-api, mtusi-lab2-postgres, mtusi-lab2-redis. Hook перезапускает именно их и не делает down -v.
Доказательства критериев
Машина: 12th Gen Intel Core i7-12650H, Windows видит около 15,7 ГБ памяти. Буферы в EXPLAIN — shared hit, то есть страницы уже были в кэше Postgres. Это сравнение планов, не холодного диска.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 | PASS: lab2 public API scenario. После restart.sh smoke прошёл ещё раз | вывод консоли |
| Сохранность тома | python tests/resilience.py --mode persistence --action-script scripts/restart.cmd | PASS: тот же токен и то же сообщение после рестарта API, Postgres и Redis | вывод консоли |
| Hook на sh | Git Bash scripts/restart.sh | docker restart вернул три контейнера, затем /health/ready 200 | scripts/restart.sh |
| Повтор миграции | test_migrations_do_not_duplicate | в schema_migrations одна строка, повторный вызов вернул 0, пользователи не задвоились | student-tests/test_api.py |
| Гонка username | test_duplicate_username_race | 8 потоков: один 201, семь 409, в users ровно одна строка | student-tests/test_api.py |
| Откат создания чата | test_chat_create_rolls_back | 400, чат с таким title не появился, общее число чатов не выросло | student-tests/test_api.py |
| Argon2id и параметры | test_password_hash_is_argon2id_and_quotes_stay_data | префикс хеша $argon2id, пароль внутри хеша не лежит, кавычки в имени не выполнились как SQL |
student-tests/test_api.py |
| Logout, Basic не на бизнес-методе, X-User-Id | test_colon_in_password_and_logout | пароль с двоеточием входит; Basic и голый X-User-Id на /users/me дают 401 Bearer; после DELETE 204 тот же токен даёт 401 | student-tests/test_api.py |
| Чужой курсор, огромный limit, лишний тип | test_lab1_edges_still_hold | 415 на application/jsonx, 400 на cursor @@@ и на limit из девяток |
student-tests/test_api.py |
| Короткий TTL | python student-tests/check_dependencies.py | окно сессии 1,991 с, сразу после входа 200, после паузы 401 Bearer | evidence/dependencies.json |
| Redis недоступен | тот же скрипт, docker stop mtusi-lab2-redis | без токена 401, с токеном 503, live 200, ready 503. После start тот же токен 200, сообщение на месте | evidence/dependencies.json |
| Postgres недоступен | docker stop mtusi-lab2-postgres | те же коды: аноним 401, Bearer 503, live 200, ready 503. После start история та же | evidence/dependencies.json |
| EXPLAIN на большой истории | student-tests/experiment_track2.py | 100100 сообщений, самый большой чат 80000. Keyset-страница: Index Scan messages_chat_history_idx, 50 строк, shared hit=6, 0,027 мс | evidence/explain-keyset.txt, evidence/track2.json |
| Второй план и второй индекс | тот же эксперимент | OFFSET 40000: 40050 строк, shared hit=788, 4,180 мс. Без индекса: Seq Scan, фильтр выкинул 98101 строку, shared hit=1248, 3,986 мс. Индекс только по created_at на чате в 4000: выкинул 205 строк, shared hit=259, 0,073 мс | evidence/explain-offset.txt, explain-seqscan.txt, explain-created-only.txt |
| Цена записи | тот же эксперимент | 2000 вставок с индексом истории 31,8 мс, без него 27,6 мс. Построение индекса на 100100 строках 71,9 мс | evidence/track2.json |
| Backup и новое хранилище | pg_dump -Fc, затем новый контейнер и новый том | дамп 3 094 487 байт за 0,477 с, восстановление 0,610 с. Пользователи 3, чаты 155, участники 165, сообщения 100100. Пять выбранных сообщений совпали. На новой базе тот же keyset снова Index Scan, shared hit=6 | evidence/track2.json, evidence/explain-restored.txt |
| Redis реально хранит сессии | CONFIG GET и INFO persistence | appendfsync always, aof_enabled 1, aof_last_write_status ok | evidence/redis-persistence.txt |
Свои тесты API: python -m unittest discover -s student-tests -v — 7 тестов, OK, 3,203 с.
Эксперименты и отказы
Трек 2. Гипотеза: страница истории одного чата не должна читать всю таблицу, если есть индекс (chat_id, created_at, id), а OFFSET и индекс только по времени так не умеют. Отдельно: логический дамп, залитый в пустой том, сохраняет строки, но не заменяет непрерывный архив WAL и ничего не знает про Redis.
Как мерила. Отдельная база messenger_bench, не та, куда пишет API. 155 чатов: один на 80000 сообщений, четыре по 4000, десять по 300, двадцать по 40, двадцать по 10 и сто по одному сообщению. Всего 100100. Время сообщений специально перемешано между чатами, иначе индекс по created_at случайно попадает в один чат просто потому, что строки лежали подряд. После загрузки ANALYZE. Каждый EXPLAIN (ANALYZE, BUFFERS) снят вторым прогоном, первый только прогревал план. Потом индекс истории снят, снят полный просмотр для страницы чата на 4000 сообщений, создан индекс только по created_at, снят его план, рабочий индекс возвращён. Вставки для цены записи откатываются, в дамп они не попадают. Дамп снят pg_dump -Fc внутри контейнера Postgres 16.8 и залит pg_restore в новый контейнер с новым томом mtusi-lab2-restore-data, порт 127.0.0.1:5433. После сверки контейнер и том удалены, дамп остался в backups/, он в gitignore.
Что вышло на этом запуске. Загрузка 100100 строк заняла 2,356 с. Страница большого чата по ключу курсора прочитала 50 строк и 6 страниц буфера за 0,027 мс. Та же история через OFFSET 40000 прочитала 40050 строк и 788 страниц за 4,180 мс: индекс тот же, но офсет не умеет прыгнуть сразу на нужное место. Без вторичного индекса страница среднего чата просмотрела таблицу, фильтр отбросил 98101 строку, буфер 1248, время 3,986 мс. Индекс только по created_at на этом же месте отбросил 205 чужих строк и взял 259 страниц против 6 у нормального индекса. Время у него всё ещё маленькое, 0,073 мс, потому что данные в кэше, но страниц он трогает больше: ведущая колонка не та, по которой идёт запрос.
Запись 2000 строк с индексом истории заняла 31,8 мс, без него 27,6 мс. На такой пачке разница маленькая, по одному запуску я бы не стала говорить, что индекс «заметно тормозит вставку». Честнее цена построения: создать его на уже лежащих 100100 строках стоило 71,9 мс. Для этой лабораторной я оставляю узкий индекс без body. Тело всё равно читается из кучи, но страница — это 50 строк, а более широкий индекс дороже на каждой вставке.
Дамп получился на 3,0 МБ за 0,477 с. Восстановление в пустой том — 0,610 с. Счётчики совпали: 3 пользователя, 155 чатов, 165 участий, 100100 сообщений. Совпали первое, среднее и последнее сообщение большого чата, сообщение из чата на 4000 и единственное сообщение маленького чата. На восстановленной базе тот же keyset снова пошёл в messages_chat_history_idx, 6 страниц, 0,027 мс. Индекс messages_created_only_idx в дамп не входил, его я создавала только на время замера и удалила.
Потеря данных. pg_dump берёт снимок на начало копирования. То, что записали после старта дампа, в файл не попадает. Это не архив WAL: дыра равна всему, что случилось после последней копии. 0,610 с — время этого маленького дампа на ноутбуке, не оценка для большой базы. Сессий в дампе нет. Если восстановить только Postgres, сообщения будут, а старые токены нет, пока жив Redis с тем же AOF. Если стереть том Redis и оставить Postgres, будет наоборот. synchronous_commit=on не спасает от down -v и не спасает от дампа, который просто давно не снимали.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| рестарт API, Postgres и Redis с томами | тот же токен читает те же сообщения | публичный persistence-тест PASS | контейнеры поднялись, ready снова 200. Новых дыр в данных тест не увидел |
| stop/start Redis без удаления тома | 503, пока он лежит; потом тот же токен | без токена 401, с токеном 503, live 200, ready 503; после start токен и сообщение на месте | AOF остался, TTL не продлился |
| stop/start Postgres | 503 на бизнес-запросе, история не пропадает | Bearer 503, аноним 401; после start та же история и тот же токен | пул дождался базы. Сообщения не переписывались |
| SESSION_TTL_SECONDS=2 | свежая сессия работает, потом 401 | окно 1,991 с, затем 401 | сессия кончилась по времени, пользователь в Postgres остался |
| неверный пароль и logout | 401, хеш пароля не светится | 401 Basic на чужом пароле; после logout 401 Bearer | учётная запись не удалялась |
| дамп и новый том | те же числа и выбранные строки | 100100 = 100100, пять сообщений совпали | 0,477 с на дамп и 0,610 с на восстановление. Всё новее дампа в него не вошло бы |
Ограничения и следующие шаги
Кэш истории я сознательно не делала. Контракт требует, чтобы успешная запись была видна следующему чтению, а для трека 2 вопрос был про план и копию, не про stampede. Если кэш появится, его придётся сбрасывать в той же транзакции, что и INSERT, иначе страница устареет.
COUNT(*) под advisory lock на каждое сообщение точный, но сериализует запись. Лимит частоты живёт в памяти одного процесса. Тело больше 64 КБ по-прежнему обрывается, как в первой работе, но это не защита от числа соединений.
EXPLAIN снят на тёплом кэше, shared_buffers у контейнера 128 МБ, вся таблица туда помещается. По shared hit видно, сколько страниц тронул план, и не видно, сколько заняло бы чтение с диска. Один прогон вставки на 2000 строк слишком короткий, чтобы по нему сравнивать индексы: 31,8 и 27,6 мс легко поедут от шума.
Дамп не включает Redis и не является PITR. Стенд один, без второй реплики API. HTTP открыт только на localhost и без TLS. Пароль Redis и Postgres — учебные, они не должны уезжать с этой машины.