9.9 KiB
Track 2: план запроса и восстановление
Цель и гипотеза
Эксперимент проверяет историю сообщений на реальной схеме приложения при неравномерной нагрузке и отдельно доказывает восстановимость логического backup.
Гипотезы:
- Keyset-пагинация по
(chat_id, created_at, id)должна читать число строк, близкое к размеру страницы, независимо от глубины истории, аOFFSETдолжен просматривать и отбрасывать все предыдущие строки. - Покрывающий индекс с
INCLUDE (sender_id, text)может датьIndex Only Scan, но увеличит размер индекса и объём работы при записи. - Custom-format
pg_dumpможно восстановить в отдельный PostgreSQL volume и получить те же количества и контрольные сообщения, что в snapshot источника.
Повторяемая методика
Команда:
make test-track2
Полная накопительная проверка уровней 4 и 5:
make test-level5 PYTHON=.venv/bin/python
scripts/run_track2.sh создаёт временную базу в основном PostgreSQL-кластере,
применяет настоящую миграцию 000001_initial.up.sql и запускает
tests/track2_experiment.sql. Рабочая база messenger не изменяется.
Создаются три чата и ровно 100 000 детерминированных сообщений:
| Чат | Сообщений | Доля |
|---|---|---|
| hot | 90 000 | 90% |
| medium | 9 000 | 9% |
| small | 1 000 | 1% |
UUID, текст и время сообщений воспроизводимо выводятся из номера
generate_series(1, 100000). После каждой загрузки выполняется VACUUM (ANALYZE). Искусственного прогрева нет; варианты выполняются последовательно
на одном локальном стенде, поэтому абсолютное время не является production
benchmark.
Сравниваются:
- индекс миграции
(chat_id, created_at, id)и keyset-запрос после позиции 50 000; - тот же индекс и запрос с
OFFSET 50000; - экспериментальный индекс
(chat_id, created_at, id) INCLUDE (sender_id, text)и тот же keyset-запрос.
Для обоих вариантов индекса загрузка измеряется через EXPLAIN (ANALYZE, BUFFERS, WAL) на вставке всех 100 000 сообщений. Индекс второго варианта
создаётся только во временной базе; миграция приложения не изменяется.
Результаты плана чтения
Финальный из трёх последовательных проверочных запусков на окружении из
REPORT.md дал:
| Вариант | План | Возвращено / просмотрено | Buffers hit | Execution Time |
|---|---|---|---|---|
| Обычный индекс + keyset | Index Scan |
101 / 101 | 6 | 0.112 ms |
Обычный индекс + OFFSET 50000 |
Index Scan |
101 / 50 101 | 1 383 | 6.703 ms |
| Покрывающий индекс + keyset | Index Only Scan, Heap Fetches: 0 |
101 / 101 | 6 | 0.073 ms |
OFFSET на этой странице просмотрел почти в 496 раз больше строк и затронул
примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время
было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от
данных, кэша и железа, а стоимость OFFSET продолжает расти с номером страницы.
Покрывающий индекс после VACUUM действительно позволил отдать все выбранные
поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым,
поэтому выигрыш одного локального измерения не оправдывает автоматическую
замену production-индекса.
Стоимость записи и хранения
| Вариант | INSERT 100 000 | WAL records | WAL bytes | Размер индекса |
|---|---|---|---|---|
(chat_id, created_at, id) |
2 852.258 ms | 301 273 | 38 560 620 | 5 914 624 B (5 776 KiB) |
... INCLUDE (sender_id, text) |
3 086.374 ms | 302 607 | 49 573 476 | 16 842 752 B (16 MiB) |
Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше, но по трём последовательным запускам разница колебалась от −3.2% до +8.7%. Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency. WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени нужны чередование вариантов и более длинная серия повторов.
Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию. Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования реальной преимущественно читающей нагрузки.
Backup, восстановление и сверка
После измерений временная source-база содержит настоящую схему и 100 000 сообщений с покрывающим индексом. Скрипт:
- создаёт transaction-consistent custom-format backup через
pg_dump; - запускает профиль
recoveryв уникальном Compose-проекте — отдельный контейнер PostgreSQL с новым named volume и без host-порта; - создаёт в нём новую пустую базу и выполняет
pg_restore --exit-on-error; - строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte;
- удаляет source-базу, dump, recovery-контейнер и его временный volume даже при ошибке.
Fingerprint включает количества users, chats, chat_members, messages,
sessions, распределение 90 000/9 000/1 000, список индексов сообщений и полные
идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений.
Raw dump создаётся во временном каталоге и не попадает в Git.
Наблюдаемый результат:
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.
recovery_ms включает запуск отдельного контейнера до healthcheck, создание
новой БД, pg_restore и fingerprint-сверку. Он не включает обнаружение аварии,
получение backup из удалённого хранилища, переключение приложения/DNS и прогрев.
В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный
recovery — 8 016–8 269 ms.
RPO, RTO и ограничения
Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки,
попавшие в согласованный snapshot pg_dump, совпали. Это не означает нулевой
операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала
последнего успешно сохранённого dump; практическая граница определяется
интервалом backup и временем его создания.
Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO. Данные маленькие, image уже находился локально, backup лежал на том же host, а проверка не моделировала повреждение host/volume или сетевую передачу. Логический backup удобен и переносим между совместимыми версиями PostgreSQL, однако для крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR.
Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не измеряет конкурентные чтения/записи, холодный disk cache, длительный churn, bloat, autovacuum, репликацию и поведение при заполненном диске.