Track 2 уровня 5

This commit is contained in:
2026-10-15 20:55:44 +03:00
parent 09b4b1d49d
commit 9fabf8dff3
10 changed files with 810 additions and 8 deletions
+151
View File
@@ -0,0 +1,151 @@
# Track 2: план запроса и восстановление
## Цель и гипотеза
Эксперимент проверяет историю сообщений на реальной схеме приложения при
неравномерной нагрузке и отдельно доказывает восстановимость логического backup.
Гипотезы:
1. Keyset-пагинация по `(chat_id, created_at, id)` должна читать число строк,
близкое к размеру страницы, независимо от глубины истории, а `OFFSET` должен
просматривать и отбрасывать все предыдущие строки.
2. Покрывающий индекс с `INCLUDE (sender_id, text)` может дать `Index Only
Scan`, но увеличит размер индекса и объём работы при записи.
3. Custom-format `pg_dump` можно восстановить в отдельный PostgreSQL volume и
получить те же количества и контрольные сообщения, что в snapshot источника.
## Повторяемая методика
Команда:
```sh
make test-track2
```
Полная накопительная проверка уровней 4 и 5:
```sh
make test-level5 PYTHON=.venv/bin/python
```
`scripts/run_track2.sh` создаёт временную базу в основном PostgreSQL-кластере,
применяет настоящую миграцию `000001_initial.up.sql` и запускает
`tests/track2_experiment.sql`. Рабочая база `messenger` не изменяется.
Создаются три чата и ровно 100 000 детерминированных сообщений:
| Чат | Сообщений | Доля |
| --- | ---: | ---: |
| hot | 90 000 | 90% |
| medium | 9 000 | 9% |
| small | 1 000 | 1% |
UUID, текст и время сообщений воспроизводимо выводятся из номера
`generate_series(1, 100000)`. После каждой загрузки выполняется `VACUUM
(ANALYZE)`. Искусственного прогрева нет; варианты выполняются последовательно
на одном локальном стенде, поэтому абсолютное время не является production
benchmark.
Сравниваются:
1. индекс миграции `(chat_id, created_at, id)` и keyset-запрос после позиции
50 000;
2. тот же индекс и запрос с `OFFSET 50000`;
3. экспериментальный индекс `(chat_id, created_at, id) INCLUDE (sender_id,
text)` и тот же keyset-запрос.
Для обоих вариантов индекса загрузка измеряется через `EXPLAIN (ANALYZE,
BUFFERS, WAL)` на вставке всех 100 000 сообщений. Индекс второго варианта
создаётся только во временной базе; миграция приложения не изменяется.
## Результаты плана чтения
Финальный из трёх последовательных проверочных запусков на окружении из
`REPORT.md` дал:
| Вариант | План | Возвращено / просмотрено | Buffers hit | Execution Time |
| --- | --- | ---: | ---: | ---: |
| Обычный индекс + keyset | `Index Scan` | 101 / 101 | 6 | 0.112 ms |
| Обычный индекс + `OFFSET 50000` | `Index Scan` | 101 / 50 101 | 1 383 | 6.703 ms |
| Покрывающий индекс + keyset | `Index Only Scan`, `Heap Fetches: 0` | 101 / 101 | 6 | 0.073 ms |
`OFFSET` на этой странице просмотрел почти в 496 раз больше строк и затронул
примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время
было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от
данных, кэша и железа, а стоимость `OFFSET` продолжает расти с номером страницы.
Покрывающий индекс после `VACUUM` действительно позволил отдать все выбранные
поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым,
поэтому выигрыш одного локального измерения не оправдывает автоматическую
замену production-индекса.
## Стоимость записи и хранения
| Вариант | INSERT 100 000 | WAL records | WAL bytes | Размер индекса |
| --- | ---: | ---: | ---: | ---: |
| `(chat_id, created_at, id)` | 2 852.258 ms | 301 273 | 38 560 620 | 5 914 624 B (5 776 KiB) |
| `... INCLUDE (sender_id, text)` | 3 086.374 ms | 302 607 | 49 573 476 | 16 842 752 B (16 MiB) |
Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал
примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше,
но по трём последовательным запускам разница колебалась от −3.2% до +8.7%.
Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency.
WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени
нужны чередование вариантов и более длинная серия повторов.
Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию.
Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования
реальной преимущественно читающей нагрузки.
## Backup, восстановление и сверка
После измерений временная source-база содержит настоящую схему и 100 000
сообщений с покрывающим индексом. Скрипт:
1. создаёт transaction-consistent custom-format backup через `pg_dump`;
2. запускает профиль `recovery` в уникальном Compose-проекте — отдельный
контейнер PostgreSQL с новым named volume и без host-порта;
3. создаёт в нём новую пустую базу и выполняет `pg_restore --exit-on-error`;
4. строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte;
5. удаляет source-базу, dump, recovery-контейнер и его временный volume даже
при ошибке.
Fingerprint включает количества `users`, `chats`, `chat_members`, `messages`,
`sessions`, распределение 90 000/9 000/1 000, список индексов сообщений и полные
идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений.
Raw dump создаётся во временном каталоге и не попадает в Git.
Наблюдаемый результат:
```text
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.
```
`recovery_ms` включает запуск отдельного контейнера до healthcheck, создание
новой БД, `pg_restore` и fingerprint-сверку. Он не включает обнаружение аварии,
получение backup из удалённого хранилища, переключение приложения/DNS и прогрев.
В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный
recovery — 8 016–8 269 ms.
## RPO, RTO и ограничения
Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки,
попавшие в согласованный snapshot `pg_dump`, совпали. Это не означает нулевой
операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала
последнего успешно сохранённого dump; практическая граница определяется
интервалом backup и временем его создания.
Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO.
Данные маленькие, image уже находился локально, backup лежал на том же host, а
проверка не моделировала повреждение host/volume или сетевую передачу. Логический
backup удобен и переносим между совместимыми версиями PostgreSQL, однако для
крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR.
Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не
измеряет конкурентные чтения/записи, холодный disk cache, длительный churn,
bloat, autovacuum, репликацию и поведение при заполненном диске.