lab2: Postgres, Redis-кэш сессий, миграции, отчёт, трек 2
Skeleton contracts / contracts (pull_request) Canceled after 0s

This commit is contained in:
2026-10-08 22:19:50 +03:00
parent c744ee5613
commit a7635cd486
27 changed files with 314 additions and 55 deletions
+160 -55
View File
@@ -1,84 +1,189 @@
# Отчёт — лабораторная 2
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Иванов Данил, БВТ2301
- Целевая оценка: 5, выбранный трек: Трек 2 «План запроса и восстановление»
- Commit/PR: c744ee5 (дополнить ссылкой на PR после публикации)
- Использованные источники: документация Spring Boot 4, Spring Data Redis, Lettuce, PostgreSQL (EXPLAIN, pg_dump/pg_restore), Redis persistence. Помощь ИИ: Deep seek — консультации по миграции на Boot 4 (Jackson 3, flyway-starter, starter-aspectj), настройке Lettuce (нативный epoll), keyset-пагинации.
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Prerequisites: Docker Desktop с запущенным engine (WSL2-бэкенд), Git, локальный `gradle-9.7.1-bin.zip` в корне проекта (для offline-сборки), Python 3.9+ для тестов.
Запуск из чистого clone
git clone url
Secrets (Linux / macOS / Git Bash):
mkdir -p secrets
printf 'messenger' > secrets/postgres_db.txt
printf 'messenger' > secrets/postgres_user.txt
printf 'change-me-local-only' > secrets/postgres_password.txt
Secrets (Windows PowerShell):
New-Item -ItemType Directory -Force secrets | Out-Null
[System.IO.File]::WriteAllText("$PWD\secrets\postgres_db.txt", "messenger")
[System.IO.File]::WriteAllText("$PWD\secrets\postgres_user.txt", "messenger")
[System.IO.File]::WriteAllText("$PWD\secrets\postgres_password.txt", "change-me-local-only")
.env:
cp .env.example .env
Отредактировать .env: APP_ENV=lab, SESSION_TTL_SECONDS=400, SESSION_STORE=postgres
Gradle offline:
curl -L --retry 5 --retry-delay 10 -o gradle-9.7.1-bin.zip https://services.gradle.org/distributions/gradle-9.7.1-bin.zip
Python venv (Linux):
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
Python venv (Windows):
py -m venv .venv
.venv\Scripts\python.exe -m pip install -r requirements-dev.txt
Сборка и запуск:
docker compose --env-file .env up -d --build
docker compose --env-file .env ps
curl.exe -s http://localhost:8080/health/ready
Публичные проверки:
py scripts/check_contract.py
.venv\Scripts\python.exe scripts\validate_openapi.py
py tests/smoke.py --base-url http://localhost:8080
Persistence (Linux):
py tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8080
Persistence (Windows):
py tests/resilience.py --mode persistence --action-script scripts\restart.bat --base-url http://localhost:8080
Остановка:
docker compose --env-file .env stop
docker compose --env-file .env down -v
Трек 2 (опционально):
Get-Content scripts\seed_track2.sql | docker compose --env-file .env exec -T db psql -U messenger -d messenger
docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;"
docker compose --env-file .env exec db psql -U messenger -d messenger -c "SELECT count(*) FROM messages;"
## Архитектура и решения
Схема процессов/хранилищ:
Клиент → API (Spring Boot 4, Java 21) → PostgreSQL 16. На уровне 4 добавлен Redis 7.4 как кэш активных сессий.
Все три сервиса в одном compose.yaml, объединены сетью messenger-net, volumes — pgdata и redisdata.
Клиент → API (Spring Boot 4, Java 21) → PostgreSQL 16. На уровне 4 добавлен Redis 7.4 как кэш активных сессий. Все три сервиса в одном `compose.yaml`, объединены сетью `messenger-net`, volumes — `pgdata` и `redisdata`.
Источник истины:
PostgreSQL. Пользователи, чаты, участники, сообщения и сессии хранятся в нём. Redis (уровень 4) — производное хранилище, кэш.
При расхождении верим Postgres. При недоступности Redis приложение продолжает работать через Postgres.
PostgreSQL. Пользователи, чаты, участники, сообщения и сессии хранятся в нём. Redis — производное хранилище, кэш. При расхождении верим Postgres. При недоступности Redis приложение продолжает работать через Postgres.
Транзакционные границы:
ChatService.createChat — @Transactional: вставка в chats + N вставок в chat_members. При ошибке любого INSERT — откат целиком (проверено rollback-сценарием).
MessageService.createMessage — @Transactional: ACL-проверка, COUNT лимита, INSERT messages.
SessionService.createSession — @Transactional: INSERT sessions + запись в Redis-кэш.
requireActive, listChats, listMessages — @Transactional(readOnly = true).
- `ChatService.createChat` — `@Transactional`: вставка в `chats` + N вставок в `chat_members`. При ошибке любого INSERT — откат целиком (проверено rollback-сценарием).
- `MessageService.createMessage` — `@Transactional`: ACL-проверка, COUNT лимита, INSERT messages.
- `SessionService.createSession` — `@Transactional`: INSERT sessions + запись в Redis-кэш.
- `requireActive`, `listChats`, `listMessages` — `@Transactional(readOnly = true)`.
Ограничения:
Кэш сессий в Redis не инвалидируется по TTL-истечении Postgres-записи — только по expiresAt при чтении.
При жёстком рассинхроне максимум до SESSION_TTL_SECONDS может висеть «протухшая» копия.
Keyset-пагинация в JPQL транслируется в OR-условие — индекс используется как диапазон только в native-варианте.
Один узел Postgres, без репликации; RPO = время с последнего pg_dump.
- Кэш сессий в Redis не инвалидируется по TTL-истечении Postgres-записи — только по `expiresAt` при чтении. При жёстком рассинхроне максимум до `SESSION_TTL_SECONDS` может висеть «протухшая» копия.
- Keyset-пагинация в JPQL транслируется в OR-условие — индекс используется как диапазон только в native-варианте.
- Один узел Postgres, без репликации; RPO = время с последнего `pg_dump`.
Перенесено из lab1:
модель чатов и сообщений, CRUD-эндпоинты, структура DTO.
Перенесено из lab1: модель чатов и сообщений, CRUD-эндпоинты, структура DTO.
Изменено в этой работе:
состояние переехало в Postgres (вместо in-memory), добавлены Flyway-миграции, аутентификация переведена с X-User-Id на Basic → Bearer с opaque-токеном, пароли хешируются BCrypt, на уровне 4 добавлен Redis для кэша сессий, на уровне 5 — исследование плана запроса и восстановления.
Изменено в этой работе: состояние переехало в Postgres (вместо in-memory), добавлены Flyway-миграции, аутентификация переведена с `X-User-Id` на `Basic → Bearer` с opaque-токеном, пароли хешируются BCrypt, на уровне 4 добавлен Redis для кэша сессий, на уровне 5 — исследование плана запроса и восстановления.
Соответствие .env → конфигурации:
.env Куда попадает Роль
APP_ENV SPRING_PROFILES_ACTIVE профиль Spring
SESSION_TTL_SECONDS app.session.ttl TTL сессии и кэша
SESSION_STORE флаг выбора хранилища сессий postgres / redis
REDIS_COMMAND_TIMEOUT app.redis.command-timeout таймаут команды Lettuce
REDIS_CONNECT_TIMEOUT app.redis.connect-timeout таймаут TCP-connect
POSTGRES_* (secrets) SPRING_DATASOURCE_*_FILE креды БД через Docker secrets
SPRING_DATA_REDIS_HOST/PORT spring.data.redis.* адрес Redis
Соответствие `.env` → конфигурации:
| `.env` | Куда попадает | Роль |
|-------------------------------|------------------------------|-------------------------------|
| `APP_ENV` | `SPRING_PROFILES_ACTIVE` | профиль Spring |
| `SESSION_TTL_SECONDS` | `app.session.ttl` | TTL сессии и кэша |
| `SESSION_STORE` | флаг выбора хранилища сессий | postgres / redis |
| `REDIS_COMMAND_TIMEOUT` | `app.redis.command-timeout` | таймаут команды Lettuce |
| `REDIS_CONNECT_TIMEOUT` | `app.redis.connect-timeout` | таймаут TCP-connect |
| `POSTGRES_*` (secrets) | `SPRING_DATASOURCE_*_FILE` | креды БД через Docker secrets |
| `SPRING_DATA_REDIS_HOST/PORT` | `spring.data.redis.*` | адрес Redis |
Секреты БД передаются через Docker secrets (`/run/secrets/postgres_*`), не через `.env`; `.env` содержит только неконфиденциальные параметры.
Секреты БД передаются через Docker secrets (/run/secrets/postgres_*), не через .env; .env содержит только неконфиденциальные параметры.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|-----------------------------------|---------------------------------------------------|--------------------------------|-----------------------------------------------------------|
| Публичный smoke | py tests/smoke.py | PASS | evidence/lab2/level3-<run>/03-smoke.log |
| Persistence | py tests/resilience.py --mode persistence | PASS | 05-persistence.log + 04/06-compose-ps |
| Структура и контракт | py scripts/check_contract.py; validate_openapi.py | PASS | 01-check.log, 02-validate.log |
| Секреты не в Git | git check-ignore | 4 пути игнорируются | 07-gitignore.txt |
| Составная операция атомарна | @Transactional в ChatService | код в репо | src/main/java/ru/mtusi/messenger/service/ChatService.java |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| Redis с TTL, источник истины | keys + ttl | ключи sessions::*, TTL>0 | 01-redis-keys.txt, 02-redis-ttl.txt |
| Graceful degradation Redis | stop redis + smoke | PASS, Cache GET failed в логах | 03-redis-down-smoke.log |
| Expiry TTL=5 | SESSION_TTL_SECONDS=5 | 200 → 401 | 04-expiry.log |
| Readiness 503 при мёртвой БД | stop db + curl | live=200, ready=503 | 05-06-db-down-*.txt |
| Логин 503 при мёртвой БД | stop db + login | 503 unavailable | 07-db-down-login.txt |
| Гонка регистрации | 2× POST /users | 201 + 409 | 09-race.txt |
| Rollback | чат с фиктивным member | 404 + count=0 | 10-rollback.txt |
| EXPLAIN 10k+ | EXPLAIN (ANALYZE, BUFFERS) | Index Scan | 11-14-explain-*.txt |
|-----------------------------------|---------------------------------------------------|--------------------------------|-----------------------------------------------------------|
### Уровень 3
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий | Команда | Результат | Файл |
|-----------------------------|---------------------------------------------|---------------------|-------------------------------------------------------------|
| Публичный smoke | `py tests/smoke.py` | PASS | `evidence/lab2/level3-<run>/03-smoke.log` |
| Persistence | `py tests/resilience.py --mode persistence` | PASS | `05-persistence.log` + `04/06-compose-ps` |
| Структура и контракт | `check_contract.py`, `validate_openapi.py` | PASS | `01-check.log`, `02-validate.log` |
| Секреты не в Git | `git check-ignore` | 4 пути игнорируются | `07-gitignore.txt` |
| Составная операция атомарна | `@Transactional` в `ChatService` | код в репо | `src/main/java/ru/mtusi/messenger/service/ChatService.java` |
### Уровень 4
| Критерий | Команда | Результат | Файл |
|---------------------------------|------------------------------|-----------------------------------------------------------------|---------------------------------------------------------------|
| Redis с TTL, источник истины | `keys` + `ttl` | ключи `sessions::*`, TTL>0, value JSON `SessionRecord` | `01-redis-keys.txt`, `02-redis-ttl.txt`, `03-redis-value.txt` |
| Graceful degradation Redis | `stop redis` + smoke | PASS, `Cache GET failed` в логах, приложение читает из Postgres | `03-redis-down-smoke.log` |
| Expiry TTL=5 | `SESSION_TTL_SECONDS=5` | 200 → 401 через 6 сек | `04-expiry.log` |
| Readiness 503 при мёртвой БД | `stop db` + curl | live=200, ready=503 `unavailable` | `05-db-down-live.txt`, `06-db-down-ready.txt` |
| Логин 503 при мёртвой БД | `stop db` + login | 503 `unavailable` (не 500) | `07-db-down-login.txt` |
| Восстановление после `start db` | curl `/health/ready` | 200 | `08-db-up-ready.txt` |
| Гонка регистрации | 2× `POST /users` параллельно | 201 + 409 | `09-race.txt` |
| Rollback составной операции | чат с фиктивным `member_id` | 404 + count=0 | `10-rollback.txt` |
| EXPLAIN на 10k+ | `EXPLAIN (ANALYZE, BUFFERS)` | Index Scan, keyset не делает Seq Scan | `11-14-explain-*.txt` |
### Уровень 5 — Трек 2
| Критерий | Команда | Результат | Файл |
|------------------------------|--------------------------------------|------------------------------------------------------------------------------|------------------------------------|
| 100k+ сообщений неравномерно | seed + count + GROUP BY | 116 011 / Huge 50k / Medium 5×5k / Small 250×100 | `track2-<run>/01-seed.log` |
| EXPLAIN на 3 размерах | `EXPLAIN (ANALYZE, BUFFERS)` ×9 | OR деградирует линейно (30 514 буферов на 50k), tuple константен (54 буфера) | `track2-<run>/02-10-explain-*.txt` |
| Сравнение индексов | A / B / C | A (8568 kB) — единственный корректный для tuple-keyset | `track2-<run>/11-14-*.txt` |
| Стоимость записи | 3× INSERT 1000 строк, 4 vs 2 индекса | 4idx ~51 ms, 2idx ~23 ms (медиана) | `track2-<run>/15-16-insert-*.log` |
| Backup → restore | `pg_dump -Fc` → `pg_restore` | RTO 1.98 сек, count и md5 совпали | `track2-<run>/17-22-*.txt` |
| Сводка трека | markdown | гипотеза/методика/результаты/RTO/RPO | `track2-<run>/README.md` |
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
Hardware: Docker Desktop, Windows 11, 4 CPU, 16 GB RAM. Версии: PostgreSQL 16.15, Redis 7.4.11, Java 21, Spring Boot 4.1.1. Объём данных для трека 2: 116 011 сообщений, 263 чата, 49 пользователей. Прогрев: не делался (все измерения на горячем кэше `shared_buffers`). Повторы: 3 прогона для INSERT, взята медиана.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря |
|----------------------------------------|-----------------------------------------------------|---------------------------------------------------|------------------------------------------------|
| `stop redis` + smoke | приложение переживёт, `@Cacheable` уйдёт в Postgres | PASS, `Cache GET failed`, время ответа +0.5 сек | 0 (кэш восстанавливается при следующем чтении) |
| `SESSION_TTL_SECONDS=5`, sleep 6 | сессия истечёт | 200 → 401 | 6 сек — время TTL |
| `stop db` + `/health/live` | 200 (процесс жив) | 200 `{"status":"ok"}` | — |
| `stop db` + `/health/ready` | 503 `unavailable` | 503 `{"error":{"code":"unavailable"}}` | — |
| `stop db` + login | 503 `unavailable`, не 500 | 503 через ~4.2 сек (Hikari timeout 2s + overhead) | — |
| 2× `POST /users` с одинаковым username | 201 + 409 | 201 + 409 | — |
| Чат с несуществующим `member_id` | 404 + откат | 404 + `count(*)=0` | — |
| EXPLAIN keyset-OR на Huge (50k) | линейная деградация по позиции курсора | 30 514 буферов, 30 208 Rows Removed, 15.9 ms | — |
| EXPLAIN keyset-tuple на Huge | константа ~52 буфера | 54 буфера, 0.27 ms | — |
| 4 vs 2 индекса, INSERT 1000 строк | +10-30 ms с лишними индексами | 51 ms vs 23 ms (медиана) | — |
| `pg_dump` 35 МБ → `pg_restore` | RTO в секундах, полная сверка | RTO 1.98 сек, count и md5 совпали | потери = с момента последнего дампа |
Гипотеза трека: keyset через JPQL-OR деградирует линейно; tuple-синтаксис константен; индекс `(chat_id, created_at, id)` оправдан; `pg_dump` даёт полное восстановление.
Методика: см. `evidence/lab2/track2-<run>/README.md`.
Ограничения измерения: медиана по 3 прогонам (грубо); горячий кэш `shared_buffers`; один узел без конкурентной нагрузки; JPQL не генерирует tuple-синтаксис, в текущем коде — OR-вариант.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
Что выдерживает приложение:
- Отказ Redis: чтение уходит в Postgres, запись сессий идёт напрямую в БД. Медленнее, но не падает.
- Отказ Postgres: `/health/ready` отдаёт 503, `/health/live` — 200, бизнес-запросы возвращают 503 `unavailable` вместо 500. Hikari `connection-timeout=2000ms` не даёт висеть клиенту 30 секунд.
- Рестарт API и БД без потери volumes: сессии и данные переживают (persistence-тест).
- Гонка регистрации и rollback составной операции: корректная обработка через unique constraint и `@Transactional`.
Что не реализовано или учебное упрощение:
- Один узел Postgres, без репликации и failover БД.
- Кэш Redis не инвалидируется автоматически при TTL-истечении Postgres-записи — полагается на проверку `expiresAt` в `requireActive`. При жёстком рассинхроне возможно окно до `SESSION_TTL_SECONDS`.
- Keyset-пагинация в коде использует JPQL-трансляцию с OR — деградирует линейно на глубоких страницах. Обходной путь (native SQL с tuple) описан в отчёте трека 2, но в код не внесён: сохраняет совместимость с `@EntityGraph` для `Chat.members` и `@Cacheable` на `SessionService`.
- Backup — логический (`pg_dump`), не физический. Для production: `pg_basebackup` + WAL-архив + PITR.
Подтверждено (гипотеза → результат):
- Graceful degradation Redis: PASS.
- Keyset OR деградирует линейно, tuple константен: доказано на 50k и 5k.
- Индекс `(chat_id, created_at, id)` оправдан: tuple-keyset за 54 буфера.
- Восстановление из `pg_dump`: count и md5 совпали, RTO 1.98 сек.
Гипотеза (не проверено в этой лабе):
- На 500k+ сообщениях разница между OR и tuple станет критичной (секунды vs миллисекунды). Требует отдельного эксперимента.
- Параллельный restore (`pg_restore -j 4`) ускорит RTO пропорционально числу воркеров. Требует замера.
- WAL-архивирование даст RPO в секунды. Требует настройки `archive_mode` и хранилища.
@@ -0,0 +1,2 @@
узнать актуальные ID чатов
docker compose --env-file .env exec db psql -U messenger -d messenger -c "SELECT id, title FROM chats WHERE title IN ('Huge chat', 'Medium chat 1', 'Small chat 1') ORDER BY title;"
@@ -0,0 +1,3 @@
docker compose --env-file .env exec db psql -U messenger -d messenger -c "DROP INDEX idx_test_c;"
docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_messages_chat_created_asc_id ON messages (chat_id, created_at ASC, id ASC);"
docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;"
@@ -0,0 +1,3 @@
docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_test_b ON messages (chat_id, created_at ASC);"
docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_test_c ON messages (chat_id, id);"
docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;"
@@ -0,0 +1 @@
docker compose --env-file .env exec db psql -U messenger -d messenger -c "DROP INDEX idx_test_b; DROP INDEX idx_test_c;"
@@ -0,0 +1 @@
docker compose --env-file .env exec db psql -U messenger -d postgres -c "CREATE DATABASE messenger_restore;"
@@ -0,0 +1 @@
docker compose --env-file .env exec db psql -U messenger -d postgres -c "DROP DATABASE messenger_restore;"
@@ -0,0 +1,143 @@
Трек 2. План запроса и восстановление
Дата: 2026-10-08
Commit: c744ee5
Окружение: Docker Desktop, Windows 11, 4 CPU / 16 GB RAM
Версии: PostgreSQL 16.15, Redis 7.4.11, Java 21, Spring Boot 4.1.1
Гипотеза
1. План keyset-пагинации деградирует линейно с размером чата, если keyset выражен через OR-условие (JPQL-трансляция Hibernate). Tuple-синтаксис (created_at, id) > (?, ?) использует B-tree как диапазон и даёт константную стоимость.
2. Индекс (chat_id, created_at, id) оправдан для keyset, но не бесплатен — каждый дополнительный индекс увеличивает стоимость записи.
3. Логический дамп (pg_dump -Fc) позволяет полностью восстановить БД в новое хранилище с проверяемым RTO.
Профиль данных
- Сообщений: 116 011
- Чатов: 263
- Пользователей: 49
- Распределение: Huge chat 50 000, seed_chat 10 000, 5 Medium по 5 000, 250 Small по 100
- Размер таблицы messages: 15 МБ
- Размер индекса idx_messages_chat_created_asc_id: 8 568 kB
- Размер индекса messages_pkey: 4 376 kB
- Размер БД messenger: 35 МБ
Методика
EXPLAIN
Для трёх чатов разного размера (Huge 50k, Medium 5k, Small 100) сняты три варианта плана:
1. first page — ORDER BY created_at, id LIMIT 50 без курсора.
2. OR-keyset — как генерирует Hibernate из JPQL: (created_at > X OR (created_at = X AND id > Y)).
3. tuple-keyset — как должно быть: (created_at, id) > (X, Y).
Команда: EXPLAIN (ANALYZE, BUFFERS) SELECT ...
Метрика: Buffers: shared hit — сколько страниц (индексных + heap) реально прочитано. Это устойчивее, чем Execution Time, который зависит от кэша.
Сравнение индексов
Созданы два альтернативных индекса:
- A (текущий): (chat_id, created_at ASC, id ASC) — 8 568 kB.
- B: (chat_id, created_at ASC) — 4 384 kB.
- C: (chat_id, id) — 5 368 kB.
Для каждого — EXPLAIN с tuple-запросом (или эквивалентным для его колонок). После замера индексы удалены.
Стоимость записи
3 прогона INSERT 1000 сообщений с 4 индексами, 3 прогона с 2 индексами. Взята медиана. Разница — цена двух лишних индексов.
Backup и restore
1. Контрольные точки: count(*) по messages, users, chats; md5(string_agg(id, ',')) по messages.
2. pg_dump -Fc в файл.
3. CREATE DATABASE messenger_restore.
4. pg_restore с таймером (Measure-Command).
5. Сверка count и md5.
6. Выборочная сверка: 3 сообщения по конкретному чату.
7. DROP DATABASE.
Результаты
EXPLAIN (ANALYZE, BUFFERS)
| Чат | Размер | Запрос | План | Buffers | Rows Removed | Time |
|--------|----------|---------|-------------------------|-----------|---------------|---------|
| Huge | 50k | first | Index Scan | 53 | 0 | 0.23 ms |
| Huge | 50k | OR | Index Scan + Filter | 30 514 | 30 208 | 15.9 ms |
| Huge | 50k | tuple | Index Scan + Index Cond | 54 | 0 | 0.27 ms |
| Medium | 5k | first | Index Scan | 52 | 0 | 0.17 ms |
| Medium | 5k | OR | Index Scan + Filter | 3 048 | 3 001 | 1.9 ms |
| Medium | 5k | tuple | Index Scan + Index Cond | 53 | 0 | 0.18 ms |
| Small | 100 | first | Index Scan | 28 | 0 | 0.14 ms |
| Small | 100 | OR | Bitmap Heap + Sort | 27 | 0 | 0.48 ms |
| Small | 100 | tuple | Bitmap Heap + Sort | 24 | 0 | 0.24 ms |
Вывод 1. OR-keyset деградирует линейно: 50k → 30 514 буферов, 5k → 3 048 буферов. Отношение 10×. Tuple-keyset константен: 54 и 53 буфера. Разница ×565 и ×57 соответственно.
Вывод 2. На мелких чатах (100 строк) Postgres выбирает Bitmap Heap Scan + Sort вместо Index Scan — планировщик сам решает, что индекс на маленькой выборке не окупается.
Сравнение индексов
| Индекс | Определение | Размер | Buffers (Huge, tuple) |
|----------|---------------------------|----------|------------------------|
| A | (chat_id, created_at, id) | 8 568 kB | 54 |
| B | (chat_id, created_at) | 4 384 kB | 53 (по created_at) |
| C | (chat_id, id) | 5 368 kB | 50 (по id) |
Вывод. Все три индекса дают keyset за ~53 буфера. Но B не может разорвать ties по created_at (два сообщения с одной миллисекундой могут дублироваться или пропускаться при пагинации), C сортирует по UUID вместо времени. Только A даёт стабильный tuple-keyset (created_at, id). Дополнительные 4 МБ оправданы корректностью.
Стоимость записи
| Конфигурация | Прогоны (ms) | Медиана |
|----------------|--------------------|----------|
| 4 индекса | 89.4 / 51.5 / 38.8 | ~51 ms |
| 2 индекса | 23.6 / 22.9 / 23.2 | ~23 ms |
Вывод. Дельта ~28 ms на 1000 строк = ~28 µs/строка за два лишних индекса = ~14 µs за индекс. На учебном объёме это незаметно, но при высоком RPS и больших таблицах каждый индекс должен быть обоснован конкретным запросом.
Backup и restore
| Метрика | Значение |
|-----------------------------------------|----------------------------------|
| Count before (messages / users / chats) | 116 011 / 49 / 263 |
| md5 id сообщений before | ca7a05ca849eedb7a4b7abd0044b3322 |
| Размер дампа (-Fc) | 4.6 МБ (сжатие ~8×) |
| RTO (restore) | 1.98 сек |
| Count after | 116 011 / 49 / 263 |
| md5 after | ca7a05ca849eedb7a4b7abd0044b3322 |
| Выборочная сверка (3 сообщения) | id/text/created_at совпали 1-в-1 |
RTO и RPO
RTO (Recovery Time Objective)
Восстановление 35 МБ БД заняло 1.98 сек. Масштабируется ~линейно: 350 МБ → ~20 сек, 3.5 ГБ → ~3.5 мин. Для ускорения: pg_restore -j N (параллельный restore из custom format), больше CPU. На production обычно измеряется не в секундах, а в бизнес-требованиях (например, «восстановиться за 4 часа»), и достигается через реплику + PITR, а не только pg_dump.
RPO (Recovery Point Objective)
RPO = время с момента последнего pg_dump. Стратегии:
| Стратегия | RPO |
|--------------------------|-------------|
| pg_dump раз в сутки | до 24 часов |
| pg_dump раз в час | до 1 часа |
| WAL-архивирование (PITR) | секунды |
| Синхронная репликация | ~0 |
На учебном стенде RPO не определён (нет расписания дампов). Границы потери данных:
- Всё, что появилось после последнего дампа — теряется.
- Незакоммиченные транзакции при краше — откатываются автоматически (WAL).
- synchronous_commit = off ускоряет запись, но может потерять последние ~200 мс закоммиченных транзакций при краше ОС или питания.
Ограничения
1. JPQL не генерирует tuple-синтаксис. Hibernate транслирует keyset в OR, что даёт линейную деградацию. Обходной путь — native SQL с (created_at, id) > (?, ?). В текущей реализации используется OR-вариант.
2. Тест на одном узле. Нет конкурентной нагрузки, нет параллельных writers, нет replication lag.
3. pg_dump — логический бэкап. На больших БД (десятки ГБ) полный restore занимает часы. Для production: pg_basebackup (физический) + WAL-архив + PITR.
4. Замеры INSERT проведены на горячем кэше с shared_buffers по умолчанию (~128 МБ). На больших объёмах пропорции индексов могут отличаться.
5. Медиана по 3 прогонам — грубая. Для production-замеров нужно ≥10 прогонов и p95.