Files
mtusi2026lab2/docs/RESEARCH.md
T
Никита 6a8908ab99
Skeleton contracts / contracts (pull_request) Failing after 30s
ЛР 2: PostgreSQL, сессии, Redis и исследование
2026-10-06 13:34:34 +03:00

10 KiB
Raw Blame History

Уровень 5 - трек 2: SQL и восстановление

Проверено: 2026-10-05T17:43:13.860337+00:00. Полные планы, отдельные измерения и manifest: research-track2.json. Лог всех проверок: grade5-checks.txt.

Гипотеза

Составной индекс (chat_id, created_at, id) ускоряет чтение упорядоченной страницы истории, особенно после глубокого cursor в большом чате. Дополнительные ключи увеличивают размер индекса и могут увеличить стоимость вставки.

Повторяемая методика

make up
make verify-grade5
# Только исследование, если уровни 3/4 уже проверены:
make research-grade5

Скрипт student-tests/research_track2.py создаёт нового пользователя и четыре чата через API, затем вставляет SQL-командами 100 000 синтетических сообщений: 80 000 / 15 000 / 4 000 / 1 000. Тексты имеют разные размеры, время назначено на фиксированной временной шкале. Каждый запуск создаёт отдельный набор; существующие данные сохраняются.

В отдельной временной схеме создаются две таблицы с одинаковыми UUID PK, FK на пользователей/чаты и теми же 100 000 сообщениями. У первой индекс (chat_id), у второй (chat_id, created_at, id). Индексы рабочей таблицы API не меняются. Временная схема удаляется в finally.

Для INSERT выполняются один прогрев и три замера с чередованием порядка вариантов; перед каждым таблица очищается TRUNCATE. EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) измеряет серверное выполнение INSERT, включая обслуживание индексов и FK. COMMIT и HTTP в это время не входят. Для чтения - ANALYZE, один прогрев и пять измерений каждого запроса; приведена медиана Execution Time.

Страницы используют реальный набор колонок и keyset-условие API, ORDER BY created_at, id и LIMIT 51. Исследованы первая страница большого чата, страница после 75 000-й записи и после 500-й записи малого чата. Никакие enable_seqscan/другие настройки planner не отключаются.

Окружение PostgreSQL: 17.6 (Debian 17.6-2.pgdg13+1), shared_buffers 128MB, work_mem 4MB, fsync on, synchronous_commit on. Один локальный Docker Desktop на macOS; buffers прогреты.

Результаты

Чтение, медиана ms Индекс chat_id Составной индекс
large_first 15.970 0.072
large_after_75000 8.794 0.066
small_after_500 0.420 0.083
Запись и хранение Индекс chat_id Составной индекс
INSERT 100 000, медиана ms 2140.540 2016.552
Размер индекса, bytes 671744 10526720
Таблица с индексами, bytes 23142400 32997376

Глубокая страница в этом прогоне ускорилась в 133.2 раза. Изменение медианного времени INSERT составило -5.8%. Полные планы показывают выбранный scan, условия индекса, сортировку, фактические строки и buffer hits; данные позволяют проверить причину результата.

Составной индекс соответствует запросу API: равенство по chat_id задаёт первый ключ, пара created_at/id задаёт границу cursor и порядок. Выбранный индекс оставлен в миграции API. Число и времена локального прогона не являются универсальной характеристикой сервера; повторные измерения меняются с нагрузкой и состоянием caches.

Backup → новое хранилище → сверка

Использован pg_dump PostgreSQL 17 в custom-формате (-Fc --schema=public) и pg_restore (--no-owner --no-privileges --exit-on-error --single-transaction). Dump включает всю public-схему приложения: пользователей, чаты, членство, сообщения, сессии и версии миграций. Во время сравнения manifest и dump другие записи API должны быть остановлены; pg_dump сам получает согласованный snapshot.

Backup: backups/lab2-9141f49f4eb947bf.dump, 12239941 bytes. Файл имеет права 0600; папка backups/ игнорируется Git и Docker build. Его содержимое включает password/session hashes, поэтому в Git сохраняются только обезличенные результаты проверки.

Цель - отдельный Compose-сервис postgres-restore (profile research), PostgreSQL 17.6, volume mtusi2026lab2_restore_data; источник использует mtusi2026lab2_postgres_data. Каждый запуск создаёт новую пустую БД restored_9141f49f4eb947bf. До восстановления public-таблиц: 0. Пустая public-схема, созданная template0, удаляется только в этой новой БД перед восстановлением schema dump.

Таблица В snapshot После restore
users 191 191
chats 73 73
chat_members 125 125
messages 380569 380569
sessions 183 183
schema_migrations 1 1

Также совпали 12 выбранных сообщений (начало/середина/конец каждого чата) и MD5 канонического содержимого всех 100 000 сообщений исследуемого набора: 7f31b71a7f144ef51b8cebfafd4b80df. MD5 здесь - checksum синтетического набора для сверки, password KDF остаётся Argon2id.

Этап Время, s
pg_dump и запись файла 1.491
Запуск/ожидание контейнера восстановления 0.736
pg_restore 2.165
Сверка manifest и границы snapshot 3.741

Время bootstrap при повторном запуске учитывает уже существующий контейнер; отдельная восстановленная БД всё равно новая и пустая. Это измерения отдельных этапов локального восстановления. Полный production RTO дополнительно включает обнаружение отказа, доставку backup, переключение API, проверку и эксплуатационные действия.

Граница потери данных

После завершения dump через API подтверждено ещё одно сообщение 6e5ad2c3-e930-4aaf-a651-c9a972dac9a3. Оно есть в источнике и отсутствует в восстановленной БД. Это показывает границу snapshot: успешные записи после снимка не входят в данный backup.

RPO определяется возрастом последнего доступного согласованного backup. Без архивирования WAL/PITR более поздние записи этим dump не восстанавливаются. В этом эксперименте показана одна такая подтверждённая запись; число потерь при реальном отказе зависит от активности и частоты backup.

Ограничения

Один локальный хост, фиксированный набор из четырёх чатов, прогретые buffers, три замера вставки и пять чтений. Вставка SQL-пакетом отличается от одиночных HTTP-запросов; COMMIT/HTTP/Argon2 не входят в её замер. Восстановление логического dump не моделирует повреждение диска, failover или PITR. Redis - восстанавливаемый кэш; его RAM не входит в backup. API после restore в этом эксперименте не переключается: исходный стенд продолжает работать, цель проверяется SQL-сверкой.

После эксперимента контейнер восстановления можно остановить: docker compose --profile research stop postgres-restore. Его volume и dump остаются для защиты. Основные API/Redis/PostgreSQL продолжают работу.

Первичные источники