Files
mtusi2026lab2/RESEARCH.md
T
2026-11-05 01:43:30 +03:00

15 KiB
Raw Blame History

Исследование: план запроса и восстановление

Карпова Надежда Сергеевна, БВИ2302. Лабораторная 2, цель — 5, трек 2.

Гипотеза и воспроизводимость

Для истории конкретного чата B-tree (chat_id,created_at,id) должен читать меньше чужих строк, чем (created_at,id), особенно при сильно разных размерах чатов. Цена — более широкий индекс и обслуживание при записи. Гипотеза проверяет чтение, отдельно измеряется цена записи; улучшение любого возможного workload не обещается.

Команды из корня после python3 scripts/init-local.py и docker compose up -d --build --wait:

python3 scripts/capture.py evidence/grade5-functional-local.txt -- python3 student-tests/run_all.py
python3 scripts/capture.py evidence/grade5-study-local.txt -- python3 student-tests/research.py

Запускать последовательно. Исследование создаёт отдельные БД/volume со случайными именами; рабочие данные messenger не удаляет и индексы рабочей БД не меняет. Для нового опыта сохраняйте предыдущий query-study.json отдельно: скрипт пишет текущий результат в этот файл. Все данные синтетические; пароли/токены не печатаются.

Исходный код эксперимента: research.py, research_worker.py. Фактический stdout: grade5-study.txt. Полный JSON с 360 отдельными измеряемыми чтениями, планами и backup fingerprints: query-study.json. Ресурсы и версии: environment.txt.

Набор данных и методика

  • PostgreSQL 17.6, схемы/PK/FK/CHECK из migrations/001_initial.sql; одна исследовательская учётная запись без рабочего password hash и сессий.
  • 102 чата, 120000 сообщений: один 100000, один 19000, остальные 100 чатов по 10. Длина текста меняется: синтетический префикс и 64..575 символов наполнения. Время детерминированно увеличивается на 1 мкс, UUID детерминированны из синтетических меток. Это не равномерный production traffic.
  • Два варианта индекса: messages_global(created_at,id) и производственный messages_history(chat_id,created_at,id). Остальные PK/FK-индексы одинаковы. Не применяются enable_seqscan=off и другие принуждения планировщика.
  • Три раунда; порядок global→chat_first, chat_first→global, global→chat_first. Для каждого — пересоздание индекса и ANALYZE. Три профиля запросов, 3 прогрева и 20 измеряемых SELECT на профиль. Чтения последовательные, concurrency=1. В таблице ниже — медиана трёх медиан по 20 запросам. Raw_ms и p95 каждого раунда сохранены, p95 при таком числе запросов имеет низкую статистическую устойчивость.
  • Измерение perf_counter вокруг execute+fetchall внутри API-контейнера по Docker network: включает SQL roundtrip и получение результата, не включает HTTP, authentication и Argon2id. EXPLAIN ANALYZE выполняется отдельно после измеряемых чтений, его Execution Time может отличаться от roundtrip.
  • Стоимость записи: настоящий INSERT 5000 строк с FK/PK и текущим вторичным индексом, затем ROLLBACK, чтобы не менять базовые 120000 сообщений. Время включает SQL/FK/индексную работу, не включает COMMIT/fsync подтверждения клиенту. Между вариантами VACUUM ANALYZE удаляет dead tuples. Это сравнение стоимости statement, не полного end-to-end write latency.
  • Замеры warm-cache: Shared Read Blocks в показанных планах равны 0. Планировщик может использовать parallel scan; доступные CPU/RAM разделяются с облачной задачей. Отдельных лимитов на контейнеры не задавали.

Измеряемый SQL совпадает с ключевой частью GET истории API:

SELECT * FROM messages
WHERE chat_id = $1
  AND (created_at,id) > ($2,$3)
ORDER BY created_at,id
LIMIT 51;

API получает limit+1, чтобы определить next_cursor. Индекс сначала ограничивает конкретный chat_id, затем диапазон keyset, OFFSET не применяется. В API до SQL истории отдельно проверяются сессия и членство.

Фактические результаты чтения

Дата: 5 ноября 2026 по Москве; UTC-метка полного исследования: 2026-11-04T22:04:18.889913+00:00.

Профиль (created_at,id), мс (chat_id,created_at,id), мс Отношение времени global/chat_first
Большой чат, продолжение после 50000 0.322 0.335 0.96×
Чат 19000, первая страница 22.437 0.276 81.28×
Чат 10, первая страница 27.168 0.142 191.74×

Для большого чата продолжение и так попадает в плотный диапазон глобального индекса: преимущества выбранного индекса в этих измерениях нет, небольшая разница сопоставима с разбросом. Для среднего и редкого чата гипотеза подтверждена в данном warm-cache наборе: значительно меньше прочитанных/отфильтрованных чужих строк. Полученные отношения нельзя называть ускорением всего API или переносить на другие распределения.

Почему изменился план

В первом раунде global для среднего чата выполняет Index Scan messages_global с фильтром chat_id, отбрасывает 100000 чужих строк и использует 8359 shared hit blocks, чтобы вернуть 51 строку. Производственный messages_history возвращает 51 строку при 6 shared hit blocks, chat_id входит в Index Cond.

Для редкого чата global выбирает Gather Merge → Sort → parallel Seq Scan: фактически просматривает всю таблицу, Shared Hit Blocks верхнего узла 6360. Внутри parallel plan Actual Rows/Rows Removed by Filter приведены в среднем за loop и округлены — их нельзя бездумно складывать как точный общий счётчик. messages_history выбирает Index Scan, возвращает все 10 строк при 13 shared hit blocks. Полного scan истории в выбранном варианте на этих страницах нет.

Большой чат: оба варианта читают только 51 строку по индексу, соответственно 7 и 8 shared hit blocks первого раунда. Это объясняет отсутствие выигрыша для этого профиля. Shared hits — логические обращения к буферам PostgreSQL, а не количество физических дисковых операций. Полные деревья всех раундов доступны в JSON.

Цена записи и размер индекса

Вариант INSERT 5000, мс по трём раундам Медиана, мс Размер индекса первого раунда, байт
global 68.552, 62.403, 91.077 68.552 5087232
chat_first 70.005, 65.643, 78.178 70.005 7618560

Производственный индекс шире примерно на 50% в этом прогоне. Медианная стоимость INSERT немного выше, но диапазоны трёх наблюдений перекрываются: доказать статистически устойчивое замедление записи по этим трём точкам нельзя. Утверждение «чтение улучшилось бесплатно» также неверно: ширина и место индекса реально увеличились. Index build_ms каждого раунда сохранён в JSON, но сборка индекса не является обычной ценой одного сообщения.

Настоящий backup и восстановление в новое хранилище

  1. После сравнения восстановлен production index messages_history в исследовательской БД. Создан pg_dump -Fc этой БД.
  2. Создан новый именованный volume, запущен отдельный postgres:17.6-bookworm с отдельной БД; доступ только через внутреннюю Docker network. Исходная рабочая БД не заменялась.
  3. Сохранённый dump передан pg_restore через pipe. Проверены exit status и pg_dump/pg_restore; бинарные bytes не выводились в логи.
  4. После восстановления проверены количества всех таблиц, три выбранных сообщения (начало, граница большого чата, последнее) и SHA-256 сериализованного полного содержимого всех 120000 сообщений, отсортированных по UUID. Это проверяет реальные данные, а не только число строк или открытый порт.
  5. Dump удалён после проверки, recovery-контейнер остановлен/удалён. Новый volume сохранён для осмотра, имя зафиксировано в JSON. Ни dump, ни credential-файлы в архив решения не включены.
Показатель Фактическое значение
pg_dump 0.679 с
Bootstrap нового PostgreSQL + передача + pg_restore 6.288 с
Полная сверка после восстановления 2.288 с
Размер backup 4100912 байт
Counts source = restored users=1, chats=102, members=102, messages=120000, sessions=0, schema_migrations=1
Сверка трёх выбранных сообщений полное совпадение всех полей
SHA-256 всех сообщений (одинаковый source/restored) fcc7a69c6f3fe35cabe5eab0645a7ace6774fca5a120541a4ccb92edbb58d9b8
Новый volume lab2-recovery-d495852d11-data

Границы результата и потери данных

Backup — согласованный логический snapshot pg_dump; в эксперименте после заполнения не было конкурентных писателей. Данные на момент snapshot восстановлены без обнаруженной потери и без повторного seed. После snapshot новые COMMIT автоматически в dump не добавляются. Без WAL archiving/PITR потенциальный RPO — интервал от последнего backup до аварии; для нового backup нужен новый запуск, а не обещание «потери всегда нулевые».

Время около шести секунд — bootstrap и restore маленького сжатого синтетического набора на этом же Docker-host. Сверка заняла дополнительное время. Это не SLA и не production RTO: не учитываются обнаружение аварии, сеть удалённого backup, оператор, существенно больший объём или восстановление всего host. Новый volume логически отдельный, но физический host тот же: off-site защиту такое размещение не даёт.

Три раунда не дают строгого доверительного интервала. Очередность вариантов частично чередуется, кэш не сбрасывается и распределение времени намеренно кластеризует большие чаты. Это усиливает эффект глобального индекса для поздних/малых чатов; при равномерно перемешанных данных цифры изменятся. Исследование подтверждает выбор индекса для выбранной модели, а не универсальный рекорд.

Отдельно от backup-исследования сохранность действующих сессий и подтверждённых сообщений после рестарта API, PostgreSQL и Redis проверена публичным persistence-сценарием в grade5-functional.txt. В самом исследовательском dump сессий нет.

Вывод

Для истории конкретного чата выбран (chat_id,created_at,id): он убирает чтение чужой истории в исследованных страницах и резко сокращает работу для маленьких/средних чатов. Для плотного большого чата преимущества не обнаружено; индекс занимает больше места, цена записи требует дальнейших повторов. Восстановление в новый PostgreSQL и новый volume подтверждено сверкой всех 120000 сообщений, но границы backup snapshot и общий физический host остаются ограничениями.