# Track 2: план запроса и восстановление ## Цель и гипотеза Эксперимент проверяет историю сообщений на реальной схеме приложения при неравномерной нагрузке и отдельно доказывает восстановимость логического backup. Гипотезы: 1. Keyset-пагинация по `(chat_id, created_at, id)` должна читать число строк, близкое к размеру страницы, независимо от глубины истории, а `OFFSET` должен просматривать и отбрасывать все предыдущие строки. 2. Покрывающий индекс с `INCLUDE (sender_id, text)` может дать `Index Only Scan`, но увеличит размер индекса и объём работы при записи. 3. Custom-format `pg_dump` можно восстановить в отдельный PostgreSQL volume и получить те же количества и контрольные сообщения, что в snapshot источника. ## Повторяемая методика Команда: ```sh make test-track2 ``` Полная накопительная проверка уровней 4 и 5: ```sh make test-level5 PYTHON=.venv/bin/python ``` `scripts/run_track2.sh` создаёт временную базу в основном PostgreSQL-кластере, применяет настоящую миграцию `000001_initial.up.sql` и запускает `tests/track2_experiment.sql`. Рабочая база `messenger` не изменяется. Создаются три чата и ровно 100 000 детерминированных сообщений: | Чат | Сообщений | Доля | | --- | ---: | ---: | | hot | 90 000 | 90% | | medium | 9 000 | 9% | | small | 1 000 | 1% | UUID, текст и время сообщений воспроизводимо выводятся из номера `generate_series(1, 100000)`. После каждой загрузки выполняется `VACUUM (ANALYZE)`. Искусственного прогрева нет; варианты выполняются последовательно на одном локальном стенде, поэтому абсолютное время не является production benchmark. Сравниваются: 1. индекс миграции `(chat_id, created_at, id)` и keyset-запрос после позиции 50 000; 2. тот же индекс и запрос с `OFFSET 50000`; 3. экспериментальный индекс `(chat_id, created_at, id) INCLUDE (sender_id, text)` и тот же keyset-запрос. Для обоих вариантов индекса загрузка измеряется через `EXPLAIN (ANALYZE, BUFFERS, WAL)` на вставке всех 100 000 сообщений. Индекс второго варианта создаётся только во временной базе; миграция приложения не изменяется. ## Результаты плана чтения Финальный из трёх последовательных проверочных запусков на окружении из `REPORT.md` дал: | Вариант | План | Возвращено / просмотрено | Buffers hit | Execution Time | | --- | --- | ---: | ---: | ---: | | Обычный индекс + keyset | `Index Scan` | 101 / 101 | 6 | 0.112 ms | | Обычный индекс + `OFFSET 50000` | `Index Scan` | 101 / 50 101 | 1 383 | 6.703 ms | | Покрывающий индекс + keyset | `Index Only Scan`, `Heap Fetches: 0` | 101 / 101 | 6 | 0.073 ms | `OFFSET` на этой странице просмотрел почти в 496 раз больше строк и затронул примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от данных, кэша и железа, а стоимость `OFFSET` продолжает расти с номером страницы. Покрывающий индекс после `VACUUM` действительно позволил отдать все выбранные поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым, поэтому выигрыш одного локального измерения не оправдывает автоматическую замену production-индекса. ## Стоимость записи и хранения | Вариант | INSERT 100 000 | WAL records | WAL bytes | Размер индекса | | --- | ---: | ---: | ---: | ---: | | `(chat_id, created_at, id)` | 2 852.258 ms | 301 273 | 38 560 620 | 5 914 624 B (5 776 KiB) | | `... INCLUDE (sender_id, text)` | 3 086.374 ms | 302 607 | 49 573 476 | 16 842 752 B (16 MiB) | Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше, но по трём последовательным запускам разница колебалась от −3.2% до +8.7%. Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency. WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени нужны чередование вариантов и более длинная серия повторов. Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию. Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования реальной преимущественно читающей нагрузки. ## Backup, восстановление и сверка После измерений временная source-база содержит настоящую схему и 100 000 сообщений с покрывающим индексом. Скрипт: 1. создаёт transaction-consistent custom-format backup через `pg_dump`; 2. запускает профиль `recovery` в уникальном Compose-проекте — отдельный контейнер PostgreSQL с новым named volume и без host-порта; 3. создаёт в нём новую пустую базу и выполняет `pg_restore --exit-on-error`; 4. строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte; 5. удаляет source-базу, dump, recovery-контейнер и его временный volume даже при ошибке. Fingerprint включает количества `users`, `chats`, `chat_members`, `messages`, `sessions`, распределение 90 000/9 000/1 000, список индексов сообщений и полные идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений. Raw dump создаётся во временном каталоге и не попадает в Git. Наблюдаемый результат: ```text backup_bytes=3000682 backup_ms=731 recovery_ms=8269 fingerprints_match=true PASS: Track 2 query/index and backup-to-separate-storage experiment completed. ``` `recovery_ms` включает запуск отдельного контейнера до healthcheck, создание новой БД, `pg_restore` и fingerprint-сверку. Он не включает обнаружение аварии, получение backup из удалённого хранилища, переключение приложения/DNS и прогрев. В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный recovery — 8 016–8 269 ms. ## RPO, RTO и ограничения Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки, попавшие в согласованный snapshot `pg_dump`, совпали. Это не означает нулевой операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала последнего успешно сохранённого dump; практическая граница определяется интервалом backup и временем его создания. Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO. Данные маленькие, image уже находился локально, backup лежал на том же host, а проверка не моделировала повреждение host/volume или сетевую передачу. Логический backup удобен и переносим между совместимыми версиями PostgreSQL, однако для крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR. Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не измеряет конкурентные чтения/записи, холодный disk cache, длительный churn, bloat, autovacuum, репликацию и поведение при заполненном диске.