Files
mtusi2026lab2/docs/track2.md
2026-10-15 20:55:44 +03:00

9.9 KiB
Raw Permalink Blame History

Track 2: план запроса и восстановление

Цель и гипотеза

Эксперимент проверяет историю сообщений на реальной схеме приложения при неравномерной нагрузке и отдельно доказывает восстановимость логического backup.

Гипотезы:

  1. Keyset-пагинация по (chat_id, created_at, id) должна читать число строк, близкое к размеру страницы, независимо от глубины истории, а OFFSET должен просматривать и отбрасывать все предыдущие строки.
  2. Покрывающий индекс с INCLUDE (sender_id, text) может дать Index Only Scan, но увеличит размер индекса и объём работы при записи.
  3. Custom-format pg_dump можно восстановить в отдельный PostgreSQL volume и получить те же количества и контрольные сообщения, что в snapshot источника.

Повторяемая методика

Команда:

make test-track2

Полная накопительная проверка уровней 4 и 5:

make test-level5 PYTHON=.venv/bin/python

scripts/run_track2.sh создаёт временную базу в основном PostgreSQL-кластере, применяет настоящую миграцию 000001_initial.up.sql и запускает tests/track2_experiment.sql. Рабочая база messenger не изменяется.

Создаются три чата и ровно 100 000 детерминированных сообщений:

Чат Сообщений Доля
hot 90 000 90%
medium 9 000 9%
small 1 000 1%

UUID, текст и время сообщений воспроизводимо выводятся из номера generate_series(1, 100000). После каждой загрузки выполняется VACUUM (ANALYZE). Искусственного прогрева нет; варианты выполняются последовательно на одном локальном стенде, поэтому абсолютное время не является production benchmark.

Сравниваются:

  1. индекс миграции (chat_id, created_at, id) и keyset-запрос после позиции 50 000;
  2. тот же индекс и запрос с OFFSET 50000;
  3. экспериментальный индекс (chat_id, created_at, id) INCLUDE (sender_id, text) и тот же keyset-запрос.

Для обоих вариантов индекса загрузка измеряется через EXPLAIN (ANALYZE, BUFFERS, WAL) на вставке всех 100 000 сообщений. Индекс второго варианта создаётся только во временной базе; миграция приложения не изменяется.

Результаты плана чтения

Финальный из трёх последовательных проверочных запусков на окружении из REPORT.md дал:

Вариант План Возвращено / просмотрено Buffers hit Execution Time
Обычный индекс + keyset Index Scan 101 / 101 6 0.112 ms
Обычный индекс + OFFSET 50000 Index Scan 101 / 50 101 1 383 6.703 ms
Покрывающий индекс + keyset Index Only Scan, Heap Fetches: 0 101 / 101 6 0.073 ms

OFFSET на этой странице просмотрел почти в 496 раз больше строк и затронул примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от данных, кэша и железа, а стоимость OFFSET продолжает расти с номером страницы.

Покрывающий индекс после VACUUM действительно позволил отдать все выбранные поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым, поэтому выигрыш одного локального измерения не оправдывает автоматическую замену production-индекса.

Стоимость записи и хранения

Вариант INSERT 100 000 WAL records WAL bytes Размер индекса
(chat_id, created_at, id) 2 852.258 ms 301 273 38 560 620 5 914 624 B (5 776 KiB)
... INCLUDE (sender_id, text) 3 086.374 ms 302 607 49 573 476 16 842 752 B (16 MiB)

Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше, но по трём последовательным запускам разница колебалась от −3.2% до +8.7%. Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency. WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени нужны чередование вариантов и более длинная серия повторов.

Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию. Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования реальной преимущественно читающей нагрузки.

Backup, восстановление и сверка

После измерений временная source-база содержит настоящую схему и 100 000 сообщений с покрывающим индексом. Скрипт:

  1. создаёт transaction-consistent custom-format backup через pg_dump;
  2. запускает профиль recovery в уникальном Compose-проекте — отдельный контейнер PostgreSQL с новым named volume и без host-порта;
  3. создаёт в нём новую пустую базу и выполняет pg_restore --exit-on-error;
  4. строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte;
  5. удаляет source-базу, dump, recovery-контейнер и его временный volume даже при ошибке.

Fingerprint включает количества users, chats, chat_members, messages, sessions, распределение 90 000/9 000/1 000, список индексов сообщений и полные идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений. Raw dump создаётся во временном каталоге и не попадает в Git.

Наблюдаемый результат:

backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.

recovery_ms включает запуск отдельного контейнера до healthcheck, создание новой БД, pg_restore и fingerprint-сверку. Он не включает обнаружение аварии, получение backup из удалённого хранилища, переключение приложения/DNS и прогрев. В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный recovery — 8 016–8 269 ms.

RPO, RTO и ограничения

Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки, попавшие в согласованный snapshot pg_dump, совпали. Это не означает нулевой операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала последнего успешно сохранённого dump; практическая граница определяется интервалом backup и временем его создания.

Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO. Данные маленькие, image уже находился локально, backup лежал на том же host, а проверка не моделировала повреждение host/volume или сетевую передачу. Логический backup удобен и переносим между совместимыми версиями PostgreSQL, однако для крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR.

Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не измеряет конкурентные чтения/записи, холодный disk cache, длительный churn, bloat, autovacuum, репликацию и поведение при заполненном диске.