10 KiB
Уровень 5 - трек 2: SQL и восстановление
Проверено: 2026-10-05T17:43:13.860337+00:00. Полные планы, отдельные измерения и manifest: research-track2.json. Лог всех проверок: grade5-checks.txt.
Гипотеза
Составной индекс (chat_id, created_at, id) ускоряет чтение упорядоченной страницы истории, особенно после глубокого cursor в большом чате. Дополнительные ключи увеличивают размер индекса и могут увеличить стоимость вставки.
Повторяемая методика
make up
make verify-grade5
# Только исследование, если уровни 3/4 уже проверены:
make research-grade5
Скрипт student-tests/research_track2.py создаёт нового пользователя и четыре чата через API, затем вставляет SQL-командами 100 000 синтетических сообщений: 80 000 / 15 000 / 4 000 / 1 000. Тексты имеют разные размеры, время назначено на фиксированной временной шкале. Каждый запуск создаёт отдельный набор; существующие данные сохраняются.
В отдельной временной схеме создаются две таблицы с одинаковыми UUID PK, FK на пользователей/чаты и теми же 100 000 сообщениями. У первой индекс (chat_id), у второй (chat_id, created_at, id). Индексы рабочей таблицы API не меняются. Временная схема удаляется в finally.
Для INSERT выполняются один прогрев и три замера с чередованием порядка вариантов; перед каждым таблица очищается TRUNCATE. EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) измеряет серверное выполнение INSERT, включая обслуживание индексов и FK. COMMIT и HTTP в это время не входят. Для чтения - ANALYZE, один прогрев и пять измерений каждого запроса; приведена медиана Execution Time.
Страницы используют реальный набор колонок и keyset-условие API, ORDER BY created_at, id и LIMIT 51. Исследованы первая страница большого чата, страница после 75 000-й записи и после 500-й записи малого чата. Никакие enable_seqscan/другие настройки planner не отключаются.
Окружение PostgreSQL: 17.6 (Debian 17.6-2.pgdg13+1), shared_buffers 128MB, work_mem 4MB, fsync on, synchronous_commit on. Один локальный Docker Desktop на macOS; buffers прогреты.
Результаты
| Чтение, медиана ms | Индекс chat_id | Составной индекс |
|---|---|---|
| large_first | 15.970 | 0.072 |
| large_after_75000 | 8.794 | 0.066 |
| small_after_500 | 0.420 | 0.083 |
| Запись и хранение | Индекс chat_id | Составной индекс |
|---|---|---|
| INSERT 100 000, медиана ms | 2140.540 | 2016.552 |
| Размер индекса, bytes | 671744 | 10526720 |
| Таблица с индексами, bytes | 23142400 | 32997376 |
Глубокая страница в этом прогоне ускорилась в 133.2 раза. Изменение медианного времени INSERT составило -5.8%. Полные планы показывают выбранный scan, условия индекса, сортировку, фактические строки и buffer hits; данные позволяют проверить причину результата.
Составной индекс соответствует запросу API: равенство по chat_id задаёт первый ключ, пара created_at/id задаёт границу cursor и порядок. Выбранный индекс оставлен в миграции API. Число и времена локального прогона не являются универсальной характеристикой сервера; повторные измерения меняются с нагрузкой и состоянием caches.
Backup → новое хранилище → сверка
Использован pg_dump PostgreSQL 17 в custom-формате (-Fc --schema=public) и pg_restore (--no-owner --no-privileges --exit-on-error --single-transaction). Dump включает всю public-схему приложения: пользователей, чаты, членство, сообщения, сессии и версии миграций. Во время сравнения manifest и dump другие записи API должны быть остановлены; pg_dump сам получает согласованный snapshot.
Backup: backups/lab2-9141f49f4eb947bf.dump, 12239941 bytes. Файл имеет права 0600; папка backups/ игнорируется Git и Docker build. Его содержимое включает password/session hashes, поэтому в Git сохраняются только обезличенные результаты проверки.
Цель - отдельный Compose-сервис postgres-restore (profile research), PostgreSQL 17.6, volume mtusi2026lab2_restore_data; источник использует mtusi2026lab2_postgres_data. Каждый запуск создаёт новую пустую БД restored_9141f49f4eb947bf. До восстановления public-таблиц: 0. Пустая public-схема, созданная template0, удаляется только в этой новой БД перед восстановлением schema dump.
| Таблица | В snapshot | После restore |
|---|---|---|
| users | 191 | 191 |
| chats | 73 | 73 |
| chat_members | 125 | 125 |
| messages | 380569 | 380569 |
| sessions | 183 | 183 |
| schema_migrations | 1 | 1 |
Также совпали 12 выбранных сообщений (начало/середина/конец каждого чата) и MD5 канонического содержимого всех 100 000 сообщений исследуемого набора: 7f31b71a7f144ef51b8cebfafd4b80df. MD5 здесь - checksum синтетического набора для сверки, password KDF остаётся Argon2id.
| Этап | Время, s |
|---|---|
| pg_dump и запись файла | 1.491 |
| Запуск/ожидание контейнера восстановления | 0.736 |
| pg_restore | 2.165 |
| Сверка manifest и границы snapshot | 3.741 |
Время bootstrap при повторном запуске учитывает уже существующий контейнер; отдельная восстановленная БД всё равно новая и пустая. Это измерения отдельных этапов локального восстановления. Полный production RTO дополнительно включает обнаружение отказа, доставку backup, переключение API, проверку и эксплуатационные действия.
Граница потери данных
После завершения dump через API подтверждено ещё одно сообщение 6e5ad2c3-e930-4aaf-a651-c9a972dac9a3. Оно есть в источнике и отсутствует в восстановленной БД. Это показывает границу snapshot: успешные записи после снимка не входят в данный backup.
RPO определяется возрастом последнего доступного согласованного backup. Без архивирования WAL/PITR более поздние записи этим dump не восстанавливаются. В этом эксперименте показана одна такая подтверждённая запись; число потерь при реальном отказе зависит от активности и частоты backup.
Ограничения
Один локальный хост, фиксированный набор из четырёх чатов, прогретые buffers, три замера вставки и пять чтений. Вставка SQL-пакетом отличается от одиночных HTTP-запросов; COMMIT/HTTP/Argon2 не входят в её замер. Восстановление логического dump не моделирует повреждение диска, failover или PITR. Redis - восстанавливаемый кэш; его RAM не входит в backup. API после restore в этом эксперименте не переключается: исходный стенд продолжает работать, цель проверяется SQL-сверкой.
После эксперимента контейнер восстановления можно остановить: docker compose --profile research stop postgres-restore. Его volume и dump остаются для защиты. Основные API/Redis/PostgreSQL продолжают работу.