Files
mtusi2026lab2/docs/track2.md
T
d1frend 9fabf8dff3
Skeleton contracts / contracts (pull_request) Canceled after 0s
Track 2 уровня 5
2026-10-15 20:55:44 +03:00

152 lines
9.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Track 2: план запроса и восстановление
## Цель и гипотеза
Эксперимент проверяет историю сообщений на реальной схеме приложения при
неравномерной нагрузке и отдельно доказывает восстановимость логического backup.
Гипотезы:
1. Keyset-пагинация по `(chat_id, created_at, id)` должна читать число строк,
близкое к размеру страницы, независимо от глубины истории, а `OFFSET` должен
просматривать и отбрасывать все предыдущие строки.
2. Покрывающий индекс с `INCLUDE (sender_id, text)` может дать `Index Only
Scan`, но увеличит размер индекса и объём работы при записи.
3. Custom-format `pg_dump` можно восстановить в отдельный PostgreSQL volume и
получить те же количества и контрольные сообщения, что в snapshot источника.
## Повторяемая методика
Команда:
```sh
make test-track2
```
Полная накопительная проверка уровней 4 и 5:
```sh
make test-level5 PYTHON=.venv/bin/python
```
`scripts/run_track2.sh` создаёт временную базу в основном PostgreSQL-кластере,
применяет настоящую миграцию `000001_initial.up.sql` и запускает
`tests/track2_experiment.sql`. Рабочая база `messenger` не изменяется.
Создаются три чата и ровно 100 000 детерминированных сообщений:
| Чат | Сообщений | Доля |
| --- | ---: | ---: |
| hot | 90 000 | 90% |
| medium | 9 000 | 9% |
| small | 1 000 | 1% |
UUID, текст и время сообщений воспроизводимо выводятся из номера
`generate_series(1, 100000)`. После каждой загрузки выполняется `VACUUM
(ANALYZE)`. Искусственного прогрева нет; варианты выполняются последовательно
на одном локальном стенде, поэтому абсолютное время не является production
benchmark.
Сравниваются:
1. индекс миграции `(chat_id, created_at, id)` и keyset-запрос после позиции
50 000;
2. тот же индекс и запрос с `OFFSET 50000`;
3. экспериментальный индекс `(chat_id, created_at, id) INCLUDE (sender_id,
text)` и тот же keyset-запрос.
Для обоих вариантов индекса загрузка измеряется через `EXPLAIN (ANALYZE,
BUFFERS, WAL)` на вставке всех 100 000 сообщений. Индекс второго варианта
создаётся только во временной базе; миграция приложения не изменяется.
## Результаты плана чтения
Финальный из трёх последовательных проверочных запусков на окружении из
`REPORT.md` дал:
| Вариант | План | Возвращено / просмотрено | Buffers hit | Execution Time |
| --- | --- | ---: | ---: | ---: |
| Обычный индекс + keyset | `Index Scan` | 101 / 101 | 6 | 0.112 ms |
| Обычный индекс + `OFFSET 50000` | `Index Scan` | 101 / 50 101 | 1 383 | 6.703 ms |
| Покрывающий индекс + keyset | `Index Only Scan`, `Heap Fetches: 0` | 101 / 101 | 6 | 0.073 ms |
`OFFSET` на этой странице просмотрел почти в 496 раз больше строк и затронул
примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время
было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от
данных, кэша и железа, а стоимость `OFFSET` продолжает расти с номером страницы.
Покрывающий индекс после `VACUUM` действительно позволил отдать все выбранные
поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым,
поэтому выигрыш одного локального измерения не оправдывает автоматическую
замену production-индекса.
## Стоимость записи и хранения
| Вариант | INSERT 100 000 | WAL records | WAL bytes | Размер индекса |
| --- | ---: | ---: | ---: | ---: |
| `(chat_id, created_at, id)` | 2 852.258 ms | 301 273 | 38 560 620 | 5 914 624 B (5 776 KiB) |
| `... INCLUDE (sender_id, text)` | 3 086.374 ms | 302 607 | 49 573 476 | 16 842 752 B (16 MiB) |
Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал
примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше,
но по трём последовательным запускам разница колебалась от −3.2% до +8.7%.
Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency.
WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени
нужны чередование вариантов и более длинная серия повторов.
Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию.
Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования
реальной преимущественно читающей нагрузки.
## Backup, восстановление и сверка
После измерений временная source-база содержит настоящую схему и 100 000
сообщений с покрывающим индексом. Скрипт:
1. создаёт transaction-consistent custom-format backup через `pg_dump`;
2. запускает профиль `recovery` в уникальном Compose-проекте — отдельный
контейнер PostgreSQL с новым named volume и без host-порта;
3. создаёт в нём новую пустую базу и выполняет `pg_restore --exit-on-error`;
4. строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte;
5. удаляет source-базу, dump, recovery-контейнер и его временный volume даже
при ошибке.
Fingerprint включает количества `users`, `chats`, `chat_members`, `messages`,
`sessions`, распределение 90 000/9 000/1 000, список индексов сообщений и полные
идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений.
Raw dump создаётся во временном каталоге и не попадает в Git.
Наблюдаемый результат:
```text
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.
```
`recovery_ms` включает запуск отдельного контейнера до healthcheck, создание
новой БД, `pg_restore` и fingerprint-сверку. Он не включает обнаружение аварии,
получение backup из удалённого хранилища, переключение приложения/DNS и прогрев.
В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный
recovery — 8 016–8 269 ms.
## RPO, RTO и ограничения
Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки,
попавшие в согласованный snapshot `pg_dump`, совпали. Это не означает нулевой
операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала
последнего успешно сохранённого dump; практическая граница определяется
интервалом backup и временем его создания.
Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO.
Данные маленькие, image уже находился локально, backup лежал на том же host, а
проверка не моделировала повреждение host/volume или сетевую передачу. Логический
backup удобен и переносим между совместимыми версиями PostgreSQL, однако для
крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR.
Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не
измеряет конкурентные чтения/записи, холодный disk cache, длительный churn,
bloat, autovacuum, репликацию и поведение при заполненном диске.