Трек 2: план запроса, стоимость записи, backup и восстановление
Гипотеза: индекс только chat_id не может быстро продолжить позднюю страницу; составной (chat_id,created_at,id) устранит фильтрацию всей истории и сортировку. INCLUDE(sender_id,text) может дать Index Only Scan, но увеличит размер индекса и цену записи. OFFSET останется линейным даже с правильным индексом.
make up
make research
# Рисунок необязателен для выполнения эксперимента:
.venv/bin/python -m pip install -r research/requirements.txt
.venv/bin/python research/summarize.py
Скрипт использует три новые временные базы в PostgreSQL текущего Compose-проекта. Рабочую messenger не очищает и её индексы не меняет. Каждая исследовательская БД содержит одинаковые 100 000 синтетических сообщений в чатах размером 80 000 / 15 000 / 4 000 / 1 000. Все FK, PK и CHECK соответствуют рабочей миграции. Индекс истории — единственная структурная разница: chat_only, keyset, covering. text имеет примерно 100 ASCII-символов; идентификаторы и исходные данные детерминированы. Исследовательский пользователь не предназначен для входа через API.
Измерения выполняются драйвером psycopg из отдельного процесса внутри API-контейнера, PostgreSQL — в другом контейнере. На оба выделено по 1 CPU и 512 MiB. Для каждого индекса, размера чата и варианта keyset/OFFSET: 3 прогрева и 30 последовательных чтений по 50 строк возле конца исходной истории. Сохраняются все задержки, p50/p95/p99 nearest-rank, фактические последовательные QPS, ошибки, EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON). Это измерения SQL, не HTTP-пропускной способности.
Стоимость записи: 10 транзакций по 1000 строк, EXPLAIN (ANALYZE, BUFFERS, WAL) реального INSERT и настоящий COMMIT каждой транзакции. Сохраняются SQL execution time, WAL bytes, dirtied blocks, wall time с COMMIT. После этого только исследовательские write-строки удаляются, выполняется VACUUM ANALYZE; чтение и backup снова используют ровно 100 000 исходных сообщений. Таблицы всех трёх вариантов проходят одинаковую процедуру. Время включает сбор плана, поэтому не является чистой оценкой одиночного INSERT.
Backup: pg_dump -Fc базы с рабочим составным индексом, файл backups/lab2-research.dump исключён из Git. После dump добавляется canary-запись. Затем создаются НОВЫЙ контейнер PostgreSQL и НОВЫЙ volume; pg_restore --exit-on-error загружает снимок. Сверяются количества всех таблиц, 7 выбранных сообщений разных чатов, SHA-256 всей истории и отсутствие сообщений без членства. Canary после снимка ожидаемо не восстанавливается. Время подготовки пустого сервера и самого restore учитывается отдельно.
Все временные исследовательские БД, целевой контейнер и его volume удаляются в finally. Рабочий volume не удаляется. Dump остаётся локально для повторного изучения, не содержит реальных данных. Доказательства: evidence/research.json, explain-plans.json, CSV, таблица и рисунок.
Ограничения: один компьютер, последовательный клиент, фиксированный порядок вариантов, прогретые страницы, 30 чтений и 10 write-batch. Перцентили малыми выборками не задают SLA; результаты не доказывают HTTP capacity или влияние конкурентных записей. Измеряется локальный логический backup без сетевого копирования и восстановления настроек ОС/ролей. RPO — момент снимка, а не ноль; для восстановления более поздних COMMIT потребуются WAL-архив и PITR. Новое хранилище запущено на том же хосте, отказ самого хоста не моделируется. Размеры CPU/RAM заданы явно, отдельное профилирование CPU не проводилось.