152 lines
9.9 KiB
Markdown
152 lines
9.9 KiB
Markdown
# Track 2: план запроса и восстановление
|
||
|
||
## Цель и гипотеза
|
||
|
||
Эксперимент проверяет историю сообщений на реальной схеме приложения при
|
||
неравномерной нагрузке и отдельно доказывает восстановимость логического backup.
|
||
|
||
Гипотезы:
|
||
|
||
1. Keyset-пагинация по `(chat_id, created_at, id)` должна читать число строк,
|
||
близкое к размеру страницы, независимо от глубины истории, а `OFFSET` должен
|
||
просматривать и отбрасывать все предыдущие строки.
|
||
2. Покрывающий индекс с `INCLUDE (sender_id, text)` может дать `Index Only
|
||
Scan`, но увеличит размер индекса и объём работы при записи.
|
||
3. Custom-format `pg_dump` можно восстановить в отдельный PostgreSQL volume и
|
||
получить те же количества и контрольные сообщения, что в snapshot источника.
|
||
|
||
## Повторяемая методика
|
||
|
||
Команда:
|
||
|
||
```sh
|
||
make test-track2
|
||
```
|
||
|
||
Полная накопительная проверка уровней 4 и 5:
|
||
|
||
```sh
|
||
make test-level5 PYTHON=.venv/bin/python
|
||
```
|
||
|
||
`scripts/run_track2.sh` создаёт временную базу в основном PostgreSQL-кластере,
|
||
применяет настоящую миграцию `000001_initial.up.sql` и запускает
|
||
`tests/track2_experiment.sql`. Рабочая база `messenger` не изменяется.
|
||
|
||
Создаются три чата и ровно 100 000 детерминированных сообщений:
|
||
|
||
| Чат | Сообщений | Доля |
|
||
| --- | ---: | ---: |
|
||
| hot | 90 000 | 90% |
|
||
| medium | 9 000 | 9% |
|
||
| small | 1 000 | 1% |
|
||
|
||
UUID, текст и время сообщений воспроизводимо выводятся из номера
|
||
`generate_series(1, 100000)`. После каждой загрузки выполняется `VACUUM
|
||
(ANALYZE)`. Искусственного прогрева нет; варианты выполняются последовательно
|
||
на одном локальном стенде, поэтому абсолютное время не является production
|
||
benchmark.
|
||
|
||
Сравниваются:
|
||
|
||
1. индекс миграции `(chat_id, created_at, id)` и keyset-запрос после позиции
|
||
50 000;
|
||
2. тот же индекс и запрос с `OFFSET 50000`;
|
||
3. экспериментальный индекс `(chat_id, created_at, id) INCLUDE (sender_id,
|
||
text)` и тот же keyset-запрос.
|
||
|
||
Для обоих вариантов индекса загрузка измеряется через `EXPLAIN (ANALYZE,
|
||
BUFFERS, WAL)` на вставке всех 100 000 сообщений. Индекс второго варианта
|
||
создаётся только во временной базе; миграция приложения не изменяется.
|
||
|
||
## Результаты плана чтения
|
||
|
||
Финальный из трёх последовательных проверочных запусков на окружении из
|
||
`REPORT.md` дал:
|
||
|
||
| Вариант | План | Возвращено / просмотрено | Buffers hit | Execution Time |
|
||
| --- | --- | ---: | ---: | ---: |
|
||
| Обычный индекс + keyset | `Index Scan` | 101 / 101 | 6 | 0.112 ms |
|
||
| Обычный индекс + `OFFSET 50000` | `Index Scan` | 101 / 50 101 | 1 383 | 6.703 ms |
|
||
| Покрывающий индекс + keyset | `Index Only Scan`, `Heap Fetches: 0` | 101 / 101 | 6 | 0.073 ms |
|
||
|
||
`OFFSET` на этой странице просмотрел почти в 496 раз больше строк и затронул
|
||
примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время
|
||
было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от
|
||
данных, кэша и железа, а стоимость `OFFSET` продолжает расти с номером страницы.
|
||
|
||
Покрывающий индекс после `VACUUM` действительно позволил отдать все выбранные
|
||
поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым,
|
||
поэтому выигрыш одного локального измерения не оправдывает автоматическую
|
||
замену production-индекса.
|
||
|
||
## Стоимость записи и хранения
|
||
|
||
| Вариант | INSERT 100 000 | WAL records | WAL bytes | Размер индекса |
|
||
| --- | ---: | ---: | ---: | ---: |
|
||
| `(chat_id, created_at, id)` | 2 852.258 ms | 301 273 | 38 560 620 | 5 914 624 B (5 776 KiB) |
|
||
| `... INCLUDE (sender_id, text)` | 3 086.374 ms | 302 607 | 49 573 476 | 16 842 752 B (16 MiB) |
|
||
|
||
Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал
|
||
примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше,
|
||
но по трём последовательным запускам разница колебалась от −3.2% до +8.7%.
|
||
Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency.
|
||
WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени
|
||
нужны чередование вариантов и более длинная серия повторов.
|
||
|
||
Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию.
|
||
Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования
|
||
реальной преимущественно читающей нагрузки.
|
||
|
||
## Backup, восстановление и сверка
|
||
|
||
После измерений временная source-база содержит настоящую схему и 100 000
|
||
сообщений с покрывающим индексом. Скрипт:
|
||
|
||
1. создаёт transaction-consistent custom-format backup через `pg_dump`;
|
||
2. запускает профиль `recovery` в уникальном Compose-проекте — отдельный
|
||
контейнер PostgreSQL с новым named volume и без host-порта;
|
||
3. создаёт в нём новую пустую базу и выполняет `pg_restore --exit-on-error`;
|
||
4. строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte;
|
||
5. удаляет source-базу, dump, recovery-контейнер и его временный volume даже
|
||
при ошибке.
|
||
|
||
Fingerprint включает количества `users`, `chats`, `chat_members`, `messages`,
|
||
`sessions`, распределение 90 000/9 000/1 000, список индексов сообщений и полные
|
||
идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений.
|
||
Raw dump создаётся во временном каталоге и не попадает в Git.
|
||
|
||
Наблюдаемый результат:
|
||
|
||
```text
|
||
backup_bytes=3000682
|
||
backup_ms=731
|
||
recovery_ms=8269
|
||
fingerprints_match=true
|
||
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.
|
||
```
|
||
|
||
`recovery_ms` включает запуск отдельного контейнера до healthcheck, создание
|
||
новой БД, `pg_restore` и fingerprint-сверку. Он не включает обнаружение аварии,
|
||
получение backup из удалённого хранилища, переключение приложения/DNS и прогрев.
|
||
В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный
|
||
recovery — 8 016–8 269 ms.
|
||
|
||
## RPO, RTO и ограничения
|
||
|
||
Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки,
|
||
попавшие в согласованный snapshot `pg_dump`, совпали. Это не означает нулевой
|
||
операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала
|
||
последнего успешно сохранённого dump; практическая граница определяется
|
||
интервалом backup и временем его создания.
|
||
|
||
Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO.
|
||
Данные маленькие, image уже находился локально, backup лежал на том же host, а
|
||
проверка не моделировала повреждение host/volume или сетевую передачу. Логический
|
||
backup удобен и переносим между совместимыми версиями PostgreSQL, однако для
|
||
крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR.
|
||
|
||
Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не
|
||
измеряет конкурентные чтения/записи, холодный disk cache, длительный churn,
|
||
bloat, autovacuum, репликацию и поведение при заполненном диске.
|