lab2: Postgres, Redis-кэш сессий, миграции, отчёт, трек 2
Skeleton contracts / contracts (pull_request) Canceled after 0s
Skeleton contracts / contracts (pull_request) Canceled after 0s
This commit is contained in:
@@ -1,84 +1,189 @@
|
||||
# Отчёт — лабораторная 2
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Иванов Данил, БВТ2301
|
||||
- Целевая оценка: 5, выбранный трек: Трек 2 «План запроса и восстановление»
|
||||
- Commit/PR: c744ee5 (дополнить ссылкой на PR после публикации)
|
||||
- Использованные источники: документация Spring Boot 4, Spring Data Redis, Lettuce, PostgreSQL (EXPLAIN, pg_dump/pg_restore), Redis persistence. Помощь ИИ: Deep seek — консультации по миграции на Boot 4 (Jackson 3, flyway-starter, starter-aspectj), настройке Lettuce (нативный epoll), keyset-пагинации.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Prerequisites: Docker Desktop с запущенным engine (WSL2-бэкенд), Git, локальный `gradle-9.7.1-bin.zip` в корне проекта (для offline-сборки), Python 3.9+ для тестов.
|
||||
|
||||
Запуск из чистого clone
|
||||
|
||||
git clone url
|
||||
|
||||
Secrets (Linux / macOS / Git Bash):
|
||||
mkdir -p secrets
|
||||
printf 'messenger' > secrets/postgres_db.txt
|
||||
printf 'messenger' > secrets/postgres_user.txt
|
||||
printf 'change-me-local-only' > secrets/postgres_password.txt
|
||||
|
||||
Secrets (Windows PowerShell):
|
||||
New-Item -ItemType Directory -Force secrets | Out-Null
|
||||
[System.IO.File]::WriteAllText("$PWD\secrets\postgres_db.txt", "messenger")
|
||||
[System.IO.File]::WriteAllText("$PWD\secrets\postgres_user.txt", "messenger")
|
||||
[System.IO.File]::WriteAllText("$PWD\secrets\postgres_password.txt", "change-me-local-only")
|
||||
|
||||
.env:
|
||||
cp .env.example .env
|
||||
Отредактировать .env: APP_ENV=lab, SESSION_TTL_SECONDS=400, SESSION_STORE=postgres
|
||||
|
||||
Gradle offline:
|
||||
curl -L --retry 5 --retry-delay 10 -o gradle-9.7.1-bin.zip https://services.gradle.org/distributions/gradle-9.7.1-bin.zip
|
||||
|
||||
Python venv (Linux):
|
||||
python3 -m venv .venv
|
||||
.venv/bin/python -m pip install -r requirements-dev.txt
|
||||
|
||||
Python venv (Windows):
|
||||
py -m venv .venv
|
||||
.venv\Scripts\python.exe -m pip install -r requirements-dev.txt
|
||||
|
||||
Сборка и запуск:
|
||||
docker compose --env-file .env up -d --build
|
||||
docker compose --env-file .env ps
|
||||
curl.exe -s http://localhost:8080/health/ready
|
||||
|
||||
Публичные проверки:
|
||||
py scripts/check_contract.py
|
||||
.venv\Scripts\python.exe scripts\validate_openapi.py
|
||||
py tests/smoke.py --base-url http://localhost:8080
|
||||
|
||||
Persistence (Linux):
|
||||
py tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8080
|
||||
|
||||
Persistence (Windows):
|
||||
py tests/resilience.py --mode persistence --action-script scripts\restart.bat --base-url http://localhost:8080
|
||||
|
||||
Остановка:
|
||||
docker compose --env-file .env stop
|
||||
docker compose --env-file .env down -v
|
||||
|
||||
Трек 2 (опционально):
|
||||
Get-Content scripts\seed_track2.sql | docker compose --env-file .env exec -T db psql -U messenger -d messenger
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;"
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "SELECT count(*) FROM messages;"
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
Схема процессов/хранилищ:
|
||||
Клиент → API (Spring Boot 4, Java 21) → PostgreSQL 16. На уровне 4 добавлен Redis 7.4 как кэш активных сессий.
|
||||
Все три сервиса в одном compose.yaml, объединены сетью messenger-net, volumes — pgdata и redisdata.
|
||||
Клиент → API (Spring Boot 4, Java 21) → PostgreSQL 16. На уровне 4 добавлен Redis 7.4 как кэш активных сессий. Все три сервиса в одном `compose.yaml`, объединены сетью `messenger-net`, volumes — `pgdata` и `redisdata`.
|
||||
|
||||
Источник истины:
|
||||
PostgreSQL. Пользователи, чаты, участники, сообщения и сессии хранятся в нём. Redis (уровень 4) — производное хранилище, кэш.
|
||||
При расхождении верим Postgres. При недоступности Redis приложение продолжает работать через Postgres.
|
||||
PostgreSQL. Пользователи, чаты, участники, сообщения и сессии хранятся в нём. Redis — производное хранилище, кэш. При расхождении верим Postgres. При недоступности Redis приложение продолжает работать через Postgres.
|
||||
|
||||
Транзакционные границы:
|
||||
ChatService.createChat — @Transactional: вставка в chats + N вставок в chat_members. При ошибке любого INSERT — откат целиком (проверено rollback-сценарием).
|
||||
MessageService.createMessage — @Transactional: ACL-проверка, COUNT лимита, INSERT messages.
|
||||
SessionService.createSession — @Transactional: INSERT sessions + запись в Redis-кэш.
|
||||
requireActive, listChats, listMessages — @Transactional(readOnly = true).
|
||||
- `ChatService.createChat` — `@Transactional`: вставка в `chats` + N вставок в `chat_members`. При ошибке любого INSERT — откат целиком (проверено rollback-сценарием).
|
||||
- `MessageService.createMessage` — `@Transactional`: ACL-проверка, COUNT лимита, INSERT messages.
|
||||
- `SessionService.createSession` — `@Transactional`: INSERT sessions + запись в Redis-кэш.
|
||||
- `requireActive`, `listChats`, `listMessages` — `@Transactional(readOnly = true)`.
|
||||
|
||||
Ограничения:
|
||||
Кэш сессий в Redis не инвалидируется по TTL-истечении Postgres-записи — только по expiresAt при чтении.
|
||||
При жёстком рассинхроне максимум до SESSION_TTL_SECONDS может висеть «протухшая» копия.
|
||||
Keyset-пагинация в JPQL транслируется в OR-условие — индекс используется как диапазон только в native-варианте.
|
||||
Один узел Postgres, без репликации; RPO = время с последнего pg_dump.
|
||||
- Кэш сессий в Redis не инвалидируется по TTL-истечении Postgres-записи — только по `expiresAt` при чтении. При жёстком рассинхроне максимум до `SESSION_TTL_SECONDS` может висеть «протухшая» копия.
|
||||
- Keyset-пагинация в JPQL транслируется в OR-условие — индекс используется как диапазон только в native-варианте.
|
||||
- Один узел Postgres, без репликации; RPO = время с последнего `pg_dump`.
|
||||
|
||||
Перенесено из lab1:
|
||||
модель чатов и сообщений, CRUD-эндпоинты, структура DTO.
|
||||
Перенесено из lab1: модель чатов и сообщений, CRUD-эндпоинты, структура DTO.
|
||||
|
||||
Изменено в этой работе:
|
||||
состояние переехало в Postgres (вместо in-memory), добавлены Flyway-миграции, аутентификация переведена с X-User-Id на Basic → Bearer с opaque-токеном, пароли хешируются BCrypt, на уровне 4 добавлен Redis для кэша сессий, на уровне 5 — исследование плана запроса и восстановления.
|
||||
Изменено в этой работе: состояние переехало в Postgres (вместо in-memory), добавлены Flyway-миграции, аутентификация переведена с `X-User-Id` на `Basic → Bearer` с opaque-токеном, пароли хешируются BCrypt, на уровне 4 добавлен Redis для кэша сессий, на уровне 5 — исследование плана запроса и восстановления.
|
||||
|
||||
Соответствие .env → конфигурации:
|
||||
.env Куда попадает Роль
|
||||
APP_ENV SPRING_PROFILES_ACTIVE профиль Spring
|
||||
SESSION_TTL_SECONDS app.session.ttl TTL сессии и кэша
|
||||
SESSION_STORE флаг выбора хранилища сессий postgres / redis
|
||||
REDIS_COMMAND_TIMEOUT app.redis.command-timeout таймаут команды Lettuce
|
||||
REDIS_CONNECT_TIMEOUT app.redis.connect-timeout таймаут TCP-connect
|
||||
POSTGRES_* (secrets) SPRING_DATASOURCE_*_FILE креды БД через Docker secrets
|
||||
SPRING_DATA_REDIS_HOST/PORT spring.data.redis.* адрес Redis
|
||||
Соответствие `.env` → конфигурации:
|
||||
|
||||
| `.env` | Куда попадает | Роль |
|
||||
|-------------------------------|------------------------------|-------------------------------|
|
||||
| `APP_ENV` | `SPRING_PROFILES_ACTIVE` | профиль Spring |
|
||||
| `SESSION_TTL_SECONDS` | `app.session.ttl` | TTL сессии и кэша |
|
||||
| `SESSION_STORE` | флаг выбора хранилища сессий | postgres / redis |
|
||||
| `REDIS_COMMAND_TIMEOUT` | `app.redis.command-timeout` | таймаут команды Lettuce |
|
||||
| `REDIS_CONNECT_TIMEOUT` | `app.redis.connect-timeout` | таймаут TCP-connect |
|
||||
| `POSTGRES_*` (secrets) | `SPRING_DATASOURCE_*_FILE` | креды БД через Docker secrets |
|
||||
| `SPRING_DATA_REDIS_HOST/PORT` | `spring.data.redis.*` | адрес Redis |
|
||||
|
||||
Секреты БД передаются через Docker secrets (`/run/secrets/postgres_*`), не через `.env`; `.env` содержит только неконфиденциальные параметры.
|
||||
|
||||
Секреты БД передаются через Docker secrets (/run/secrets/postgres_*), не через .env; .env содержит только неконфиденциальные параметры.
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
|-----------------------------------|---------------------------------------------------|--------------------------------|-----------------------------------------------------------|
|
||||
| Публичный smoke | py tests/smoke.py | PASS | evidence/lab2/level3-<run>/03-smoke.log |
|
||||
| Persistence | py tests/resilience.py --mode persistence | PASS | 05-persistence.log + 04/06-compose-ps |
|
||||
| Структура и контракт | py scripts/check_contract.py; validate_openapi.py | PASS | 01-check.log, 02-validate.log |
|
||||
| Секреты не в Git | git check-ignore | 4 пути игнорируются | 07-gitignore.txt |
|
||||
| Составная операция атомарна | @Transactional в ChatService | код в репо | src/main/java/ru/mtusi/messenger/service/ChatService.java |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| Redis с TTL, источник истины | keys + ttl | ключи sessions::*, TTL>0 | 01-redis-keys.txt, 02-redis-ttl.txt |
|
||||
| Graceful degradation Redis | stop redis + smoke | PASS, Cache GET failed в логах | 03-redis-down-smoke.log |
|
||||
| Expiry TTL=5 | SESSION_TTL_SECONDS=5 | 200 → 401 | 04-expiry.log |
|
||||
| Readiness 503 при мёртвой БД | stop db + curl | live=200, ready=503 | 05-06-db-down-*.txt |
|
||||
| Логин 503 при мёртвой БД | stop db + login | 503 unavailable | 07-db-down-login.txt |
|
||||
| Гонка регистрации | 2× POST /users | 201 + 409 | 09-race.txt |
|
||||
| Rollback | чат с фиктивным member | 404 + count=0 | 10-rollback.txt |
|
||||
| EXPLAIN 10k+ | EXPLAIN (ANALYZE, BUFFERS) | Index Scan | 11-14-explain-*.txt |
|
||||
|-----------------------------------|---------------------------------------------------|--------------------------------|-----------------------------------------------------------|
|
||||
### Уровень 3
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Критерий | Команда | Результат | Файл |
|
||||
|-----------------------------|---------------------------------------------|---------------------|-------------------------------------------------------------|
|
||||
| Публичный smoke | `py tests/smoke.py` | PASS | `evidence/lab2/level3-<run>/03-smoke.log` |
|
||||
| Persistence | `py tests/resilience.py --mode persistence` | PASS | `05-persistence.log` + `04/06-compose-ps` |
|
||||
| Структура и контракт | `check_contract.py`, `validate_openapi.py` | PASS | `01-check.log`, `02-validate.log` |
|
||||
| Секреты не в Git | `git check-ignore` | 4 пути игнорируются | `07-gitignore.txt` |
|
||||
| Составная операция атомарна | `@Transactional` в `ChatService` | код в репо | `src/main/java/ru/mtusi/messenger/service/ChatService.java` |
|
||||
|
||||
### Уровень 4
|
||||
|
||||
| Критерий | Команда | Результат | Файл |
|
||||
|---------------------------------|------------------------------|-----------------------------------------------------------------|---------------------------------------------------------------|
|
||||
| Redis с TTL, источник истины | `keys` + `ttl` | ключи `sessions::*`, TTL>0, value JSON `SessionRecord` | `01-redis-keys.txt`, `02-redis-ttl.txt`, `03-redis-value.txt` |
|
||||
| Graceful degradation Redis | `stop redis` + smoke | PASS, `Cache GET failed` в логах, приложение читает из Postgres | `03-redis-down-smoke.log` |
|
||||
| Expiry TTL=5 | `SESSION_TTL_SECONDS=5` | 200 → 401 через 6 сек | `04-expiry.log` |
|
||||
| Readiness 503 при мёртвой БД | `stop db` + curl | live=200, ready=503 `unavailable` | `05-db-down-live.txt`, `06-db-down-ready.txt` |
|
||||
| Логин 503 при мёртвой БД | `stop db` + login | 503 `unavailable` (не 500) | `07-db-down-login.txt` |
|
||||
| Восстановление после `start db` | curl `/health/ready` | 200 | `08-db-up-ready.txt` |
|
||||
| Гонка регистрации | 2× `POST /users` параллельно | 201 + 409 | `09-race.txt` |
|
||||
| Rollback составной операции | чат с фиктивным `member_id` | 404 + count=0 | `10-rollback.txt` |
|
||||
| EXPLAIN на 10k+ | `EXPLAIN (ANALYZE, BUFFERS)` | Index Scan, keyset не делает Seq Scan | `11-14-explain-*.txt` |
|
||||
|
||||
### Уровень 5 — Трек 2
|
||||
|
||||
| Критерий | Команда | Результат | Файл |
|
||||
|------------------------------|--------------------------------------|------------------------------------------------------------------------------|------------------------------------|
|
||||
| 100k+ сообщений неравномерно | seed + count + GROUP BY | 116 011 / Huge 50k / Medium 5×5k / Small 250×100 | `track2-<run>/01-seed.log` |
|
||||
| EXPLAIN на 3 размерах | `EXPLAIN (ANALYZE, BUFFERS)` ×9 | OR деградирует линейно (30 514 буферов на 50k), tuple константен (54 буфера) | `track2-<run>/02-10-explain-*.txt` |
|
||||
| Сравнение индексов | A / B / C | A (8568 kB) — единственный корректный для tuple-keyset | `track2-<run>/11-14-*.txt` |
|
||||
| Стоимость записи | 3× INSERT 1000 строк, 4 vs 2 индекса | 4idx ~51 ms, 2idx ~23 ms (медиана) | `track2-<run>/15-16-insert-*.log` |
|
||||
| Backup → restore | `pg_dump -Fc` → `pg_restore` | RTO 1.98 сек, count и md5 совпали | `track2-<run>/17-22-*.txt` |
|
||||
| Сводка трека | markdown | гипотеза/методика/результаты/RTO/RPO | `track2-<run>/README.md` |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Hardware: Docker Desktop, Windows 11, 4 CPU, 16 GB RAM. Версии: PostgreSQL 16.15, Redis 7.4.11, Java 21, Spring Boot 4.1.1. Объём данных для трека 2: 116 011 сообщений, 263 чата, 49 пользователей. Прогрев: не делался (все измерения на горячем кэше `shared_buffers`). Повторы: 3 прогона для INSERT, взята медиана.
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря |
|
||||
|----------------------------------------|-----------------------------------------------------|---------------------------------------------------|------------------------------------------------|
|
||||
| `stop redis` + smoke | приложение переживёт, `@Cacheable` уйдёт в Postgres | PASS, `Cache GET failed`, время ответа +0.5 сек | 0 (кэш восстанавливается при следующем чтении) |
|
||||
| `SESSION_TTL_SECONDS=5`, sleep 6 | сессия истечёт | 200 → 401 | 6 сек — время TTL |
|
||||
| `stop db` + `/health/live` | 200 (процесс жив) | 200 `{"status":"ok"}` | — |
|
||||
| `stop db` + `/health/ready` | 503 `unavailable` | 503 `{"error":{"code":"unavailable"}}` | — |
|
||||
| `stop db` + login | 503 `unavailable`, не 500 | 503 через ~4.2 сек (Hikari timeout 2s + overhead) | — |
|
||||
| 2× `POST /users` с одинаковым username | 201 + 409 | 201 + 409 | — |
|
||||
| Чат с несуществующим `member_id` | 404 + откат | 404 + `count(*)=0` | — |
|
||||
| EXPLAIN keyset-OR на Huge (50k) | линейная деградация по позиции курсора | 30 514 буферов, 30 208 Rows Removed, 15.9 ms | — |
|
||||
| EXPLAIN keyset-tuple на Huge | константа ~52 буфера | 54 буфера, 0.27 ms | — |
|
||||
| 4 vs 2 индекса, INSERT 1000 строк | +10-30 ms с лишними индексами | 51 ms vs 23 ms (медиана) | — |
|
||||
| `pg_dump` 35 МБ → `pg_restore` | RTO в секундах, полная сверка | RTO 1.98 сек, count и md5 совпали | потери = с момента последнего дампа |
|
||||
|
||||
Гипотеза трека: keyset через JPQL-OR деградирует линейно; tuple-синтаксис константен; индекс `(chat_id, created_at, id)` оправдан; `pg_dump` даёт полное восстановление.
|
||||
|
||||
Методика: см. `evidence/lab2/track2-<run>/README.md`.
|
||||
|
||||
Ограничения измерения: медиана по 3 прогонам (грубо); горячий кэш `shared_buffers`; один узел без конкурентной нагрузки; JPQL не генерирует tuple-синтаксис, в текущем коде — OR-вариант.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
Что выдерживает приложение:
|
||||
- Отказ Redis: чтение уходит в Postgres, запись сессий идёт напрямую в БД. Медленнее, но не падает.
|
||||
- Отказ Postgres: `/health/ready` отдаёт 503, `/health/live` — 200, бизнес-запросы возвращают 503 `unavailable` вместо 500. Hikari `connection-timeout=2000ms` не даёт висеть клиенту 30 секунд.
|
||||
- Рестарт API и БД без потери volumes: сессии и данные переживают (persistence-тест).
|
||||
- Гонка регистрации и rollback составной операции: корректная обработка через unique constraint и `@Transactional`.
|
||||
|
||||
Что не реализовано или учебное упрощение:
|
||||
- Один узел Postgres, без репликации и failover БД.
|
||||
- Кэш Redis не инвалидируется автоматически при TTL-истечении Postgres-записи — полагается на проверку `expiresAt` в `requireActive`. При жёстком рассинхроне возможно окно до `SESSION_TTL_SECONDS`.
|
||||
- Keyset-пагинация в коде использует JPQL-трансляцию с OR — деградирует линейно на глубоких страницах. Обходной путь (native SQL с tuple) описан в отчёте трека 2, но в код не внесён: сохраняет совместимость с `@EntityGraph` для `Chat.members` и `@Cacheable` на `SessionService`.
|
||||
- Backup — логический (`pg_dump`), не физический. Для production: `pg_basebackup` + WAL-архив + PITR.
|
||||
|
||||
Подтверждено (гипотеза → результат):
|
||||
- Graceful degradation Redis: PASS.
|
||||
- Keyset OR деградирует линейно, tuple константен: доказано на 50k и 5k.
|
||||
- Индекс `(chat_id, created_at, id)` оправдан: tuple-keyset за 54 буфера.
|
||||
- Восстановление из `pg_dump`: count и md5 совпали, RTO 1.98 сек.
|
||||
|
||||
Гипотеза (не проверено в этой лабе):
|
||||
- На 500k+ сообщениях разница между OR и tuple станет критичной (секунды vs миллисекунды). Требует отдельного эксперимента.
|
||||
- Параллельный restore (`pg_restore -j 4`) ускорит RTO пропорционально числу воркеров. Требует замера.
|
||||
- WAL-архивирование даст RPO в секунды. Требует настройки `archive_mode` и хранилища.
|
||||
@@ -0,0 +1,2 @@
|
||||
узнать актуальные ID чатов
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "SELECT id, title FROM chats WHERE title IN ('Huge chat', 'Medium chat 1', 'Small chat 1') ORDER BY title;"
|
||||
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
@@ -0,0 +1,3 @@
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "DROP INDEX idx_test_c;"
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_messages_chat_created_asc_id ON messages (chat_id, created_at ASC, id ASC);"
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;"
|
||||
@@ -0,0 +1,3 @@
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_test_b ON messages (chat_id, created_at ASC);"
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_test_c ON messages (chat_id, id);"
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;"
|
||||
@@ -0,0 +1 @@
|
||||
docker compose --env-file .env exec db psql -U messenger -d messenger -c "DROP INDEX idx_test_b; DROP INDEX idx_test_c;"
|
||||
Binary file not shown.
Binary file not shown.
Binary file not shown.
@@ -0,0 +1 @@
|
||||
docker compose --env-file .env exec db psql -U messenger -d postgres -c "CREATE DATABASE messenger_restore;"
|
||||
Binary file not shown.
Binary file not shown.
Binary file not shown.
@@ -0,0 +1 @@
|
||||
docker compose --env-file .env exec db psql -U messenger -d postgres -c "DROP DATABASE messenger_restore;"
|
||||
@@ -0,0 +1,143 @@
|
||||
Трек 2. План запроса и восстановление
|
||||
|
||||
Дата: 2026-10-08
|
||||
Commit: c744ee5
|
||||
Окружение: Docker Desktop, Windows 11, 4 CPU / 16 GB RAM
|
||||
Версии: PostgreSQL 16.15, Redis 7.4.11, Java 21, Spring Boot 4.1.1
|
||||
|
||||
Гипотеза
|
||||
|
||||
1. План keyset-пагинации деградирует линейно с размером чата, если keyset выражен через OR-условие (JPQL-трансляция Hibernate). Tuple-синтаксис (created_at, id) > (?, ?) использует B-tree как диапазон и даёт константную стоимость.
|
||||
2. Индекс (chat_id, created_at, id) оправдан для keyset, но не бесплатен — каждый дополнительный индекс увеличивает стоимость записи.
|
||||
3. Логический дамп (pg_dump -Fc) позволяет полностью восстановить БД в новое хранилище с проверяемым RTO.
|
||||
|
||||
Профиль данных
|
||||
|
||||
- Сообщений: 116 011
|
||||
- Чатов: 263
|
||||
- Пользователей: 49
|
||||
- Распределение: Huge chat 50 000, seed_chat 10 000, 5 Medium по 5 000, 250 Small по 100
|
||||
- Размер таблицы messages: 15 МБ
|
||||
- Размер индекса idx_messages_chat_created_asc_id: 8 568 kB
|
||||
- Размер индекса messages_pkey: 4 376 kB
|
||||
- Размер БД messenger: 35 МБ
|
||||
|
||||
Методика
|
||||
|
||||
EXPLAIN
|
||||
|
||||
Для трёх чатов разного размера (Huge 50k, Medium 5k, Small 100) сняты три варианта плана:
|
||||
|
||||
1. first page — ORDER BY created_at, id LIMIT 50 без курсора.
|
||||
2. OR-keyset — как генерирует Hibernate из JPQL: (created_at > X OR (created_at = X AND id > Y)).
|
||||
3. tuple-keyset — как должно быть: (created_at, id) > (X, Y).
|
||||
|
||||
Команда: EXPLAIN (ANALYZE, BUFFERS) SELECT ...
|
||||
|
||||
Метрика: Buffers: shared hit — сколько страниц (индексных + heap) реально прочитано. Это устойчивее, чем Execution Time, который зависит от кэша.
|
||||
|
||||
Сравнение индексов
|
||||
|
||||
Созданы два альтернативных индекса:
|
||||
|
||||
- A (текущий): (chat_id, created_at ASC, id ASC) — 8 568 kB.
|
||||
- B: (chat_id, created_at ASC) — 4 384 kB.
|
||||
- C: (chat_id, id) — 5 368 kB.
|
||||
|
||||
Для каждого — EXPLAIN с tuple-запросом (или эквивалентным для его колонок). После замера индексы удалены.
|
||||
|
||||
Стоимость записи
|
||||
|
||||
3 прогона INSERT 1000 сообщений с 4 индексами, 3 прогона с 2 индексами. Взята медиана. Разница — цена двух лишних индексов.
|
||||
|
||||
Backup и restore
|
||||
|
||||
1. Контрольные точки: count(*) по messages, users, chats; md5(string_agg(id, ',')) по messages.
|
||||
2. pg_dump -Fc в файл.
|
||||
3. CREATE DATABASE messenger_restore.
|
||||
4. pg_restore с таймером (Measure-Command).
|
||||
5. Сверка count и md5.
|
||||
6. Выборочная сверка: 3 сообщения по конкретному чату.
|
||||
7. DROP DATABASE.
|
||||
|
||||
Результаты
|
||||
|
||||
EXPLAIN (ANALYZE, BUFFERS)
|
||||
|
||||
| Чат | Размер | Запрос | План | Buffers | Rows Removed | Time |
|
||||
|--------|----------|---------|-------------------------|-----------|---------------|---------|
|
||||
| Huge | 50k | first | Index Scan | 53 | 0 | 0.23 ms |
|
||||
| Huge | 50k | OR | Index Scan + Filter | 30 514 | 30 208 | 15.9 ms |
|
||||
| Huge | 50k | tuple | Index Scan + Index Cond | 54 | 0 | 0.27 ms |
|
||||
| Medium | 5k | first | Index Scan | 52 | 0 | 0.17 ms |
|
||||
| Medium | 5k | OR | Index Scan + Filter | 3 048 | 3 001 | 1.9 ms |
|
||||
| Medium | 5k | tuple | Index Scan + Index Cond | 53 | 0 | 0.18 ms |
|
||||
| Small | 100 | first | Index Scan | 28 | 0 | 0.14 ms |
|
||||
| Small | 100 | OR | Bitmap Heap + Sort | 27 | 0 | 0.48 ms |
|
||||
| Small | 100 | tuple | Bitmap Heap + Sort | 24 | 0 | 0.24 ms |
|
||||
|
||||
Вывод 1. OR-keyset деградирует линейно: 50k → 30 514 буферов, 5k → 3 048 буферов. Отношение 10×. Tuple-keyset константен: 54 и 53 буфера. Разница ×565 и ×57 соответственно.
|
||||
|
||||
Вывод 2. На мелких чатах (100 строк) Postgres выбирает Bitmap Heap Scan + Sort вместо Index Scan — планировщик сам решает, что индекс на маленькой выборке не окупается.
|
||||
|
||||
Сравнение индексов
|
||||
|
||||
| Индекс | Определение | Размер | Buffers (Huge, tuple) |
|
||||
|----------|---------------------------|----------|------------------------|
|
||||
| A | (chat_id, created_at, id) | 8 568 kB | 54 |
|
||||
| B | (chat_id, created_at) | 4 384 kB | 53 (по created_at) |
|
||||
| C | (chat_id, id) | 5 368 kB | 50 (по id) |
|
||||
|
||||
Вывод. Все три индекса дают keyset за ~53 буфера. Но B не может разорвать ties по created_at (два сообщения с одной миллисекундой могут дублироваться или пропускаться при пагинации), C сортирует по UUID вместо времени. Только A даёт стабильный tuple-keyset (created_at, id). Дополнительные 4 МБ оправданы корректностью.
|
||||
|
||||
Стоимость записи
|
||||
|
||||
| Конфигурация | Прогоны (ms) | Медиана |
|
||||
|----------------|--------------------|----------|
|
||||
| 4 индекса | 89.4 / 51.5 / 38.8 | ~51 ms |
|
||||
| 2 индекса | 23.6 / 22.9 / 23.2 | ~23 ms |
|
||||
|
||||
Вывод. Дельта ~28 ms на 1000 строк = ~28 µs/строка за два лишних индекса = ~14 µs за индекс. На учебном объёме это незаметно, но при высоком RPS и больших таблицах каждый индекс должен быть обоснован конкретным запросом.
|
||||
|
||||
Backup и restore
|
||||
|
||||
| Метрика | Значение |
|
||||
|-----------------------------------------|----------------------------------|
|
||||
| Count before (messages / users / chats) | 116 011 / 49 / 263 |
|
||||
| md5 id сообщений before | ca7a05ca849eedb7a4b7abd0044b3322 |
|
||||
| Размер дампа (-Fc) | 4.6 МБ (сжатие ~8×) |
|
||||
| RTO (restore) | 1.98 сек |
|
||||
| Count after | 116 011 / 49 / 263 |
|
||||
| md5 after | ca7a05ca849eedb7a4b7abd0044b3322 |
|
||||
| Выборочная сверка (3 сообщения) | id/text/created_at совпали 1-в-1 |
|
||||
|
||||
RTO и RPO
|
||||
|
||||
RTO (Recovery Time Objective)
|
||||
|
||||
Восстановление 35 МБ БД заняло 1.98 сек. Масштабируется ~линейно: 350 МБ → ~20 сек, 3.5 ГБ → ~3.5 мин. Для ускорения: pg_restore -j N (параллельный restore из custom format), больше CPU. На production обычно измеряется не в секундах, а в бизнес-требованиях (например, «восстановиться за 4 часа»), и достигается через реплику + PITR, а не только pg_dump.
|
||||
|
||||
RPO (Recovery Point Objective)
|
||||
|
||||
RPO = время с момента последнего pg_dump. Стратегии:
|
||||
|
||||
| Стратегия | RPO |
|
||||
|--------------------------|-------------|
|
||||
| pg_dump раз в сутки | до 24 часов |
|
||||
| pg_dump раз в час | до 1 часа |
|
||||
| WAL-архивирование (PITR) | секунды |
|
||||
| Синхронная репликация | ~0 |
|
||||
|
||||
На учебном стенде RPO не определён (нет расписания дампов). Границы потери данных:
|
||||
|
||||
- Всё, что появилось после последнего дампа — теряется.
|
||||
- Незакоммиченные транзакции при краше — откатываются автоматически (WAL).
|
||||
- synchronous_commit = off ускоряет запись, но может потерять последние ~200 мс закоммиченных транзакций при краше ОС или питания.
|
||||
|
||||
Ограничения
|
||||
|
||||
1. JPQL не генерирует tuple-синтаксис. Hibernate транслирует keyset в OR, что даёт линейную деградацию. Обходной путь — native SQL с (created_at, id) > (?, ?). В текущей реализации используется OR-вариант.
|
||||
2. Тест на одном узле. Нет конкурентной нагрузки, нет параллельных writers, нет replication lag.
|
||||
3. pg_dump — логический бэкап. На больших БД (десятки ГБ) полный restore занимает часы. Для production: pg_basebackup (физический) + WAL-архив + PITR.
|
||||
4. Замеры INSERT проведены на горячем кэше с shared_buffers по умолчанию (~128 МБ). На больших объёмах пропорции индексов могут отличаться.
|
||||
5. Медиана по 3 прогонам — грубая. Для production-замеров нужно ≥10 прогонов и p95.
|
||||
Reference in New Issue
Block a user