15 KiB
Исследование: план запроса и восстановление
Карпова Надежда Сергеевна, БВИ2302. Лабораторная 2, цель — 5, трек 2.
Гипотеза и воспроизводимость
Для истории конкретного чата B-tree (chat_id,created_at,id) должен читать меньше чужих строк, чем (created_at,id), особенно при сильно разных размерах чатов. Цена — более широкий индекс и обслуживание при записи. Гипотеза проверяет чтение, отдельно измеряется цена записи; улучшение любого возможного workload не обещается.
Команды из корня после python3 scripts/init-local.py и docker compose up -d --build --wait:
python3 scripts/capture.py evidence/grade5-functional-local.txt -- python3 student-tests/run_all.py
python3 scripts/capture.py evidence/grade5-study-local.txt -- python3 student-tests/research.py
Запускать последовательно. Исследование создаёт отдельные БД/volume со случайными именами; рабочие данные messenger не удаляет и индексы рабочей БД не меняет. Для нового опыта сохраняйте предыдущий query-study.json отдельно: скрипт пишет текущий результат в этот файл. Все данные синтетические; пароли/токены не печатаются.
Исходный код эксперимента: research.py, research_worker.py. Фактический stdout: grade5-study.txt. Полный JSON с 360 отдельными измеряемыми чтениями, планами и backup fingerprints: query-study.json. Ресурсы и версии: environment.txt.
Набор данных и методика
- PostgreSQL 17.6, схемы/PK/FK/CHECK из migrations/001_initial.sql; одна исследовательская учётная запись без рабочего password hash и сессий.
- 102 чата, 120000 сообщений: один 100000, один 19000, остальные 100 чатов по 10. Длина текста меняется: синтетический префикс и 64..575 символов наполнения. Время детерминированно увеличивается на 1 мкс, UUID детерминированны из синтетических меток. Это не равномерный production traffic.
- Два варианта индекса:
messages_global(created_at,id)и производственныйmessages_history(chat_id,created_at,id). Остальные PK/FK-индексы одинаковы. Не применяются enable_seqscan=off и другие принуждения планировщика. - Три раунда; порядок global→chat_first, chat_first→global, global→chat_first. Для каждого — пересоздание индекса и ANALYZE. Три профиля запросов, 3 прогрева и 20 измеряемых SELECT на профиль. Чтения последовательные, concurrency=1. В таблице ниже — медиана трёх медиан по 20 запросам. Raw_ms и p95 каждого раунда сохранены, p95 при таком числе запросов имеет низкую статистическую устойчивость.
- Измерение perf_counter вокруг execute+fetchall внутри API-контейнера по Docker network: включает SQL roundtrip и получение результата, не включает HTTP, authentication и Argon2id. EXPLAIN ANALYZE выполняется отдельно после измеряемых чтений, его Execution Time может отличаться от roundtrip.
- Стоимость записи: настоящий INSERT 5000 строк с FK/PK и текущим вторичным индексом, затем ROLLBACK, чтобы не менять базовые 120000 сообщений. Время включает SQL/FK/индексную работу, не включает COMMIT/fsync подтверждения клиенту. Между вариантами VACUUM ANALYZE удаляет dead tuples. Это сравнение стоимости statement, не полного end-to-end write latency.
- Замеры warm-cache: Shared Read Blocks в показанных планах равны 0. Планировщик может использовать parallel scan; доступные CPU/RAM разделяются с облачной задачей. Отдельных лимитов на контейнеры не задавали.
Измеряемый SQL совпадает с ключевой частью GET истории API:
SELECT * FROM messages
WHERE chat_id = $1
AND (created_at,id) > ($2,$3)
ORDER BY created_at,id
LIMIT 51;
API получает limit+1, чтобы определить next_cursor. Индекс сначала ограничивает конкретный chat_id, затем диапазон keyset, OFFSET не применяется. В API до SQL истории отдельно проверяются сессия и членство.
Фактические результаты чтения
Дата: 5 ноября 2026 по Москве; UTC-метка полного исследования: 2026-11-04T22:04:18.889913+00:00.
| Профиль | (created_at,id), мс | (chat_id,created_at,id), мс | Отношение времени global/chat_first |
|---|---|---|---|
| Большой чат, продолжение после 50000 | 0.322 | 0.335 | 0.96× |
| Чат 19000, первая страница | 22.437 | 0.276 | 81.28× |
| Чат 10, первая страница | 27.168 | 0.142 | 191.74× |
Для большого чата продолжение и так попадает в плотный диапазон глобального индекса: преимущества выбранного индекса в этих измерениях нет, небольшая разница сопоставима с разбросом. Для среднего и редкого чата гипотеза подтверждена в данном warm-cache наборе: значительно меньше прочитанных/отфильтрованных чужих строк. Полученные отношения нельзя называть ускорением всего API или переносить на другие распределения.
Почему изменился план
В первом раунде global для среднего чата выполняет Index Scan messages_global с фильтром chat_id, отбрасывает 100000 чужих строк и использует 8359 shared hit blocks, чтобы вернуть 51 строку. Производственный messages_history возвращает 51 строку при 6 shared hit blocks, chat_id входит в Index Cond.
Для редкого чата global выбирает Gather Merge → Sort → parallel Seq Scan: фактически просматривает всю таблицу, Shared Hit Blocks верхнего узла 6360. Внутри parallel plan Actual Rows/Rows Removed by Filter приведены в среднем за loop и округлены — их нельзя бездумно складывать как точный общий счётчик. messages_history выбирает Index Scan, возвращает все 10 строк при 13 shared hit blocks. Полного scan истории в выбранном варианте на этих страницах нет.
Большой чат: оба варианта читают только 51 строку по индексу, соответственно 7 и 8 shared hit blocks первого раунда. Это объясняет отсутствие выигрыша для этого профиля. Shared hits — логические обращения к буферам PostgreSQL, а не количество физических дисковых операций. Полные деревья всех раундов доступны в JSON.
Цена записи и размер индекса
| Вариант | INSERT 5000, мс по трём раундам | Медиана, мс | Размер индекса первого раунда, байт |
|---|---|---|---|
| global | 68.552, 62.403, 91.077 | 68.552 | 5087232 |
| chat_first | 70.005, 65.643, 78.178 | 70.005 | 7618560 |
Производственный индекс шире примерно на 50% в этом прогоне. Медианная стоимость INSERT немного выше, но диапазоны трёх наблюдений перекрываются: доказать статистически устойчивое замедление записи по этим трём точкам нельзя. Утверждение «чтение улучшилось бесплатно» также неверно: ширина и место индекса реально увеличились. Index build_ms каждого раунда сохранён в JSON, но сборка индекса не является обычной ценой одного сообщения.
Настоящий backup и восстановление в новое хранилище
- После сравнения восстановлен production index messages_history в исследовательской БД. Создан
pg_dump -Fcэтой БД. - Создан новый именованный volume, запущен отдельный
postgres:17.6-bookwormс отдельной БД; доступ только через внутреннюю Docker network. Исходная рабочая БД не заменялась. - Сохранённый dump передан pg_restore через pipe. Проверены exit status и pg_dump/pg_restore; бинарные bytes не выводились в логи.
- После восстановления проверены количества всех таблиц, три выбранных сообщения (начало, граница большого чата, последнее) и SHA-256 сериализованного полного содержимого всех 120000 сообщений, отсортированных по UUID. Это проверяет реальные данные, а не только число строк или открытый порт.
- Dump удалён после проверки, recovery-контейнер остановлен/удалён. Новый volume сохранён для осмотра, имя зафиксировано в JSON. Ни dump, ни credential-файлы в архив решения не включены.
| Показатель | Фактическое значение |
|---|---|
| pg_dump | 0.679 с |
| Bootstrap нового PostgreSQL + передача + pg_restore | 6.288 с |
| Полная сверка после восстановления | 2.288 с |
| Размер backup | 4100912 байт |
| Counts source = restored | users=1, chats=102, members=102, messages=120000, sessions=0, schema_migrations=1 |
| Сверка трёх выбранных сообщений | полное совпадение всех полей |
| SHA-256 всех сообщений (одинаковый source/restored) | fcc7a69c6f3fe35cabe5eab0645a7ace6774fca5a120541a4ccb92edbb58d9b8 |
| Новый volume | lab2-recovery-d495852d11-data |
Границы результата и потери данных
Backup — согласованный логический snapshot pg_dump; в эксперименте после заполнения не было конкурентных писателей. Данные на момент snapshot восстановлены без обнаруженной потери и без повторного seed. После snapshot новые COMMIT автоматически в dump не добавляются. Без WAL archiving/PITR потенциальный RPO — интервал от последнего backup до аварии; для нового backup нужен новый запуск, а не обещание «потери всегда нулевые».
Время около шести секунд — bootstrap и restore маленького сжатого синтетического набора на этом же Docker-host. Сверка заняла дополнительное время. Это не SLA и не production RTO: не учитываются обнаружение аварии, сеть удалённого backup, оператор, существенно больший объём или восстановление всего host. Новый volume логически отдельный, но физический host тот же: off-site защиту такое размещение не даёт.
Три раунда не дают строгого доверительного интервала. Очередность вариантов частично чередуется, кэш не сбрасывается и распределение времени намеренно кластеризует большие чаты. Это усиливает эффект глобального индекса для поздних/малых чатов; при равномерно перемешанных данных цифры изменятся. Исследование подтверждает выбор индекса для выбранной модели, а не универсальный рекорд.
Отдельно от backup-исследования сохранность действующих сессий и подтверждённых сообщений после рестарта API, PostgreSQL и Redis проверена публичным persistence-сценарием в grade5-functional.txt. В самом исследовательском dump сессий нет.
Вывод
Для истории конкретного чата выбран (chat_id,created_at,id): он убирает чтение чужой истории в исследованных страницах и резко сокращает работу для маленьких/средних чатов. Для плотного большого чата преимущества не обнаружено; индекс занимает больше места, цена записи требует дальнейших повторов. Восстановление в новый PostgreSQL и новый volume подтверждено сверкой всех 120000 сообщений, но границы backup snapshot и общий физический host остаются ограничениями.