diff --git a/REPORT.md b/REPORT.md index fc122780..b24951ec 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,84 +1,189 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Иванов Данил, БВТ2301 +- Целевая оценка: 5, выбранный трек: Трек 2 «План запроса и восстановление» +- Commit/PR: c744ee5 (дополнить ссылкой на PR после публикации) +- Использованные источники: документация Spring Boot 4, Spring Data Redis, Lettuce, PostgreSQL (EXPLAIN, pg_dump/pg_restore), Redis persistence. Помощь ИИ: Deep seek — консультации по миграции на Boot 4 (Jackson 3, flyway-starter, starter-aspectj), настройке Lettuce (нативный epoll), keyset-пагинации. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Prerequisites: Docker Desktop с запущенным engine (WSL2-бэкенд), Git, локальный `gradle-9.7.1-bin.zip` в корне проекта (для offline-сборки), Python 3.9+ для тестов. + +Запуск из чистого clone + +git clone url + +Secrets (Linux / macOS / Git Bash): +mkdir -p secrets +printf 'messenger' > secrets/postgres_db.txt +printf 'messenger' > secrets/postgres_user.txt +printf 'change-me-local-only' > secrets/postgres_password.txt + +Secrets (Windows PowerShell): +New-Item -ItemType Directory -Force secrets | Out-Null +[System.IO.File]::WriteAllText("$PWD\secrets\postgres_db.txt", "messenger") +[System.IO.File]::WriteAllText("$PWD\secrets\postgres_user.txt", "messenger") +[System.IO.File]::WriteAllText("$PWD\secrets\postgres_password.txt", "change-me-local-only") + +.env: +cp .env.example .env +Отредактировать .env: APP_ENV=lab, SESSION_TTL_SECONDS=400, SESSION_STORE=postgres + +Gradle offline: +curl -L --retry 5 --retry-delay 10 -o gradle-9.7.1-bin.zip https://services.gradle.org/distributions/gradle-9.7.1-bin.zip + +Python venv (Linux): +python3 -m venv .venv +.venv/bin/python -m pip install -r requirements-dev.txt + +Python venv (Windows): +py -m venv .venv +.venv\Scripts\python.exe -m pip install -r requirements-dev.txt + +Сборка и запуск: +docker compose --env-file .env up -d --build +docker compose --env-file .env ps +curl.exe -s http://localhost:8080/health/ready + +Публичные проверки: +py scripts/check_contract.py +.venv\Scripts\python.exe scripts\validate_openapi.py +py tests/smoke.py --base-url http://localhost:8080 + +Persistence (Linux): +py tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8080 + +Persistence (Windows): +py tests/resilience.py --mode persistence --action-script scripts\restart.bat --base-url http://localhost:8080 + +Остановка: +docker compose --env-file .env stop +docker compose --env-file .env down -v + +Трек 2 (опционально): +Get-Content scripts\seed_track2.sql | docker compose --env-file .env exec -T db psql -U messenger -d messenger +docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;" +docker compose --env-file .env exec db psql -U messenger -d messenger -c "SELECT count(*) FROM messages;" ## Архитектура и решения Схема процессов/хранилищ: -Клиент → API (Spring Boot 4, Java 21) → PostgreSQL 16. На уровне 4 добавлен Redis 7.4 как кэш активных сессий. -Все три сервиса в одном compose.yaml, объединены сетью messenger-net, volumes — pgdata и redisdata. +Клиент → API (Spring Boot 4, Java 21) → PostgreSQL 16. На уровне 4 добавлен Redis 7.4 как кэш активных сессий. Все три сервиса в одном `compose.yaml`, объединены сетью `messenger-net`, volumes — `pgdata` и `redisdata`. Источник истины: -PostgreSQL. Пользователи, чаты, участники, сообщения и сессии хранятся в нём. Redis (уровень 4) — производное хранилище, кэш. -При расхождении верим Postgres. При недоступности Redis приложение продолжает работать через Postgres. +PostgreSQL. Пользователи, чаты, участники, сообщения и сессии хранятся в нём. Redis — производное хранилище, кэш. При расхождении верим Postgres. При недоступности Redis приложение продолжает работать через Postgres. Транзакционные границы: -ChatService.createChat — @Transactional: вставка в chats + N вставок в chat_members. При ошибке любого INSERT — откат целиком (проверено rollback-сценарием). -MessageService.createMessage — @Transactional: ACL-проверка, COUNT лимита, INSERT messages. -SessionService.createSession — @Transactional: INSERT sessions + запись в Redis-кэш. -requireActive, listChats, listMessages — @Transactional(readOnly = true). +- `ChatService.createChat` — `@Transactional`: вставка в `chats` + N вставок в `chat_members`. При ошибке любого INSERT — откат целиком (проверено rollback-сценарием). +- `MessageService.createMessage` — `@Transactional`: ACL-проверка, COUNT лимита, INSERT messages. +- `SessionService.createSession` — `@Transactional`: INSERT sessions + запись в Redis-кэш. +- `requireActive`, `listChats`, `listMessages` — `@Transactional(readOnly = true)`. Ограничения: -Кэш сессий в Redis не инвалидируется по TTL-истечении Postgres-записи — только по expiresAt при чтении. -При жёстком рассинхроне максимум до SESSION_TTL_SECONDS может висеть «протухшая» копия. -Keyset-пагинация в JPQL транслируется в OR-условие — индекс используется как диапазон только в native-варианте. -Один узел Postgres, без репликации; RPO = время с последнего pg_dump. +- Кэш сессий в Redis не инвалидируется по TTL-истечении Postgres-записи — только по `expiresAt` при чтении. При жёстком рассинхроне максимум до `SESSION_TTL_SECONDS` может висеть «протухшая» копия. +- Keyset-пагинация в JPQL транслируется в OR-условие — индекс используется как диапазон только в native-варианте. +- Один узел Postgres, без репликации; RPO = время с последнего `pg_dump`. -Перенесено из lab1: -модель чатов и сообщений, CRUD-эндпоинты, структура DTO. +Перенесено из lab1: модель чатов и сообщений, CRUD-эндпоинты, структура DTO. -Изменено в этой работе: -состояние переехало в Postgres (вместо in-memory), добавлены Flyway-миграции, аутентификация переведена с X-User-Id на Basic → Bearer с opaque-токеном, пароли хешируются BCrypt, на уровне 4 добавлен Redis для кэша сессий, на уровне 5 — исследование плана запроса и восстановления. +Изменено в этой работе: состояние переехало в Postgres (вместо in-memory), добавлены Flyway-миграции, аутентификация переведена с `X-User-Id` на `Basic → Bearer` с opaque-токеном, пароли хешируются BCrypt, на уровне 4 добавлен Redis для кэша сессий, на уровне 5 — исследование плана запроса и восстановления. -Соответствие .env → конфигурации: -.env Куда попадает Роль -APP_ENV SPRING_PROFILES_ACTIVE профиль Spring -SESSION_TTL_SECONDS app.session.ttl TTL сессии и кэша -SESSION_STORE флаг выбора хранилища сессий postgres / redis -REDIS_COMMAND_TIMEOUT app.redis.command-timeout таймаут команды Lettuce -REDIS_CONNECT_TIMEOUT app.redis.connect-timeout таймаут TCP-connect -POSTGRES_* (secrets) SPRING_DATASOURCE_*_FILE креды БД через Docker secrets -SPRING_DATA_REDIS_HOST/PORT spring.data.redis.* адрес Redis +Соответствие `.env` → конфигурации: + +| `.env` | Куда попадает | Роль | +|-------------------------------|------------------------------|-------------------------------| +| `APP_ENV` | `SPRING_PROFILES_ACTIVE` | профиль Spring | +| `SESSION_TTL_SECONDS` | `app.session.ttl` | TTL сессии и кэша | +| `SESSION_STORE` | флаг выбора хранилища сессий | postgres / redis | +| `REDIS_COMMAND_TIMEOUT` | `app.redis.command-timeout` | таймаут команды Lettuce | +| `REDIS_CONNECT_TIMEOUT` | `app.redis.connect-timeout` | таймаут TCP-connect | +| `POSTGRES_*` (secrets) | `SPRING_DATASOURCE_*_FILE` | креды БД через Docker secrets | +| `SPRING_DATA_REDIS_HOST/PORT` | `spring.data.redis.*` | адрес Redis | + +Секреты БД передаются через Docker secrets (`/run/secrets/postgres_*`), не через `.env`; `.env` содержит только неконфиденциальные параметры. -Секреты БД передаются через Docker secrets (/run/secrets/postgres_*), не через .env; .env содержит только неконфиденциальные параметры. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -|-----------------------------------|---------------------------------------------------|--------------------------------|-----------------------------------------------------------| -| Публичный smoke | py tests/smoke.py | PASS | evidence/lab2/level3-/03-smoke.log | -| Persistence | py tests/resilience.py --mode persistence | PASS | 05-persistence.log + 04/06-compose-ps | -| Структура и контракт | py scripts/check_contract.py; validate_openapi.py | PASS | 01-check.log, 02-validate.log | -| Секреты не в Git | git check-ignore | 4 пути игнорируются | 07-gitignore.txt | -| Составная операция атомарна | @Transactional в ChatService | код в репо | src/main/java/ru/mtusi/messenger/service/ChatService.java | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | -| Redis с TTL, источник истины | keys + ttl | ключи sessions::*, TTL>0 | 01-redis-keys.txt, 02-redis-ttl.txt | -| Graceful degradation Redis | stop redis + smoke | PASS, Cache GET failed в логах | 03-redis-down-smoke.log | -| Expiry TTL=5 | SESSION_TTL_SECONDS=5 | 200 → 401 | 04-expiry.log | -| Readiness 503 при мёртвой БД | stop db + curl | live=200, ready=503 | 05-06-db-down-*.txt | -| Логин 503 при мёртвой БД | stop db + login | 503 unavailable | 07-db-down-login.txt | -| Гонка регистрации | 2× POST /users | 201 + 409 | 09-race.txt | -| Rollback | чат с фиктивным member | 404 + count=0 | 10-rollback.txt | -| EXPLAIN 10k+ | EXPLAIN (ANALYZE, BUFFERS) | Index Scan | 11-14-explain-*.txt | -|-----------------------------------|---------------------------------------------------|--------------------------------|-----------------------------------------------------------| +### Уровень 3 -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Критерий | Команда | Результат | Файл | +|-----------------------------|---------------------------------------------|---------------------|-------------------------------------------------------------| +| Публичный smoke | `py tests/smoke.py` | PASS | `evidence/lab2/level3-/03-smoke.log` | +| Persistence | `py tests/resilience.py --mode persistence` | PASS | `05-persistence.log` + `04/06-compose-ps` | +| Структура и контракт | `check_contract.py`, `validate_openapi.py` | PASS | `01-check.log`, `02-validate.log` | +| Секреты не в Git | `git check-ignore` | 4 пути игнорируются | `07-gitignore.txt` | +| Составная операция атомарна | `@Transactional` в `ChatService` | код в репо | `src/main/java/ru/mtusi/messenger/service/ChatService.java` | + +### Уровень 4 + +| Критерий | Команда | Результат | Файл | +|---------------------------------|------------------------------|-----------------------------------------------------------------|---------------------------------------------------------------| +| Redis с TTL, источник истины | `keys` + `ttl` | ключи `sessions::*`, TTL>0, value JSON `SessionRecord` | `01-redis-keys.txt`, `02-redis-ttl.txt`, `03-redis-value.txt` | +| Graceful degradation Redis | `stop redis` + smoke | PASS, `Cache GET failed` в логах, приложение читает из Postgres | `03-redis-down-smoke.log` | +| Expiry TTL=5 | `SESSION_TTL_SECONDS=5` | 200 → 401 через 6 сек | `04-expiry.log` | +| Readiness 503 при мёртвой БД | `stop db` + curl | live=200, ready=503 `unavailable` | `05-db-down-live.txt`, `06-db-down-ready.txt` | +| Логин 503 при мёртвой БД | `stop db` + login | 503 `unavailable` (не 500) | `07-db-down-login.txt` | +| Восстановление после `start db` | curl `/health/ready` | 200 | `08-db-up-ready.txt` | +| Гонка регистрации | 2× `POST /users` параллельно | 201 + 409 | `09-race.txt` | +| Rollback составной операции | чат с фиктивным `member_id` | 404 + count=0 | `10-rollback.txt` | +| EXPLAIN на 10k+ | `EXPLAIN (ANALYZE, BUFFERS)` | Index Scan, keyset не делает Seq Scan | `11-14-explain-*.txt` | + +### Уровень 5 — Трек 2 + +| Критерий | Команда | Результат | Файл | +|------------------------------|--------------------------------------|------------------------------------------------------------------------------|------------------------------------| +| 100k+ сообщений неравномерно | seed + count + GROUP BY | 116 011 / Huge 50k / Medium 5×5k / Small 250×100 | `track2-/01-seed.log` | +| EXPLAIN на 3 размерах | `EXPLAIN (ANALYZE, BUFFERS)` ×9 | OR деградирует линейно (30 514 буферов на 50k), tuple константен (54 буфера) | `track2-/02-10-explain-*.txt` | +| Сравнение индексов | A / B / C | A (8568 kB) — единственный корректный для tuple-keyset | `track2-/11-14-*.txt` | +| Стоимость записи | 3× INSERT 1000 строк, 4 vs 2 индекса | 4idx ~51 ms, 2idx ~23 ms (медиана) | `track2-/15-16-insert-*.log` | +| Backup → restore | `pg_dump -Fc` → `pg_restore` | RTO 1.98 сек, count и md5 совпали | `track2-/17-22-*.txt` | +| Сводка трека | markdown | гипотеза/методика/результаты/RTO/RPO | `track2-/README.md` | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Hardware: Docker Desktop, Windows 11, 4 CPU, 16 GB RAM. Версии: PostgreSQL 16.15, Redis 7.4.11, Java 21, Spring Boot 4.1.1. Объём данных для трека 2: 116 011 сообщений, 263 чата, 49 пользователей. Прогрев: не делался (все измерения на горячем кэше `shared_buffers`). Повторы: 3 прогона для INSERT, взята медиана. -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Воздействие | Что ожидали | Что наблюдали | Время восстановления / потеря | +|----------------------------------------|-----------------------------------------------------|---------------------------------------------------|------------------------------------------------| +| `stop redis` + smoke | приложение переживёт, `@Cacheable` уйдёт в Postgres | PASS, `Cache GET failed`, время ответа +0.5 сек | 0 (кэш восстанавливается при следующем чтении) | +| `SESSION_TTL_SECONDS=5`, sleep 6 | сессия истечёт | 200 → 401 | 6 сек — время TTL | +| `stop db` + `/health/live` | 200 (процесс жив) | 200 `{"status":"ok"}` | — | +| `stop db` + `/health/ready` | 503 `unavailable` | 503 `{"error":{"code":"unavailable"}}` | — | +| `stop db` + login | 503 `unavailable`, не 500 | 503 через ~4.2 сек (Hikari timeout 2s + overhead) | — | +| 2× `POST /users` с одинаковым username | 201 + 409 | 201 + 409 | — | +| Чат с несуществующим `member_id` | 404 + откат | 404 + `count(*)=0` | — | +| EXPLAIN keyset-OR на Huge (50k) | линейная деградация по позиции курсора | 30 514 буферов, 30 208 Rows Removed, 15.9 ms | — | +| EXPLAIN keyset-tuple на Huge | константа ~52 буфера | 54 буфера, 0.27 ms | — | +| 4 vs 2 индекса, INSERT 1000 строк | +10-30 ms с лишними индексами | 51 ms vs 23 ms (медиана) | — | +| `pg_dump` 35 МБ → `pg_restore` | RTO в секундах, полная сверка | RTO 1.98 сек, count и md5 совпали | потери = с момента последнего дампа | + +Гипотеза трека: keyset через JPQL-OR деградирует линейно; tuple-синтаксис константен; индекс `(chat_id, created_at, id)` оправдан; `pg_dump` даёт полное восстановление. + +Методика: см. `evidence/lab2/track2-/README.md`. + +Ограничения измерения: медиана по 3 прогонам (грубо); горячий кэш `shared_buffers`; один узел без конкурентной нагрузки; JPQL не генерирует tuple-синтаксис, в текущем коде — OR-вариант. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Что выдерживает приложение: +- Отказ Redis: чтение уходит в Postgres, запись сессий идёт напрямую в БД. Медленнее, но не падает. +- Отказ Postgres: `/health/ready` отдаёт 503, `/health/live` — 200, бизнес-запросы возвращают 503 `unavailable` вместо 500. Hikari `connection-timeout=2000ms` не даёт висеть клиенту 30 секунд. +- Рестарт API и БД без потери volumes: сессии и данные переживают (persistence-тест). +- Гонка регистрации и rollback составной операции: корректная обработка через unique constraint и `@Transactional`. + +Что не реализовано или учебное упрощение: +- Один узел Postgres, без репликации и failover БД. +- Кэш Redis не инвалидируется автоматически при TTL-истечении Postgres-записи — полагается на проверку `expiresAt` в `requireActive`. При жёстком рассинхроне возможно окно до `SESSION_TTL_SECONDS`. +- Keyset-пагинация в коде использует JPQL-трансляцию с OR — деградирует линейно на глубоких страницах. Обходной путь (native SQL с tuple) описан в отчёте трека 2, но в код не внесён: сохраняет совместимость с `@EntityGraph` для `Chat.members` и `@Cacheable` на `SessionService`. +- Backup — логический (`pg_dump`), не физический. Для production: `pg_basebackup` + WAL-архив + PITR. + +Подтверждено (гипотеза → результат): +- Graceful degradation Redis: PASS. +- Keyset OR деградирует линейно, tuple константен: доказано на 50k и 5k. +- Индекс `(chat_id, created_at, id)` оправдан: tuple-keyset за 54 буфера. +- Восстановление из `pg_dump`: count и md5 совпали, RTO 1.98 сек. + +Гипотеза (не проверено в этой лабе): +- На 500k+ сообщениях разница между OR и tuple станет критичной (секунды vs миллисекунды). Требует отдельного эксперимента. +- Параллельный restore (`pg_restore -j 4`) ускорит RTO пропорционально числу воркеров. Требует замера. +- WAL-архивирование даст RPO в секунды. Требует настройки `archive_mode` и хранилища. \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/01.1 b/evidence/lab2/track2-2026-10-08_c744ee5/01.1 new file mode 100644 index 00000000..47a0851f --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/01.1 @@ -0,0 +1,2 @@ +узнать актуальные ID чатов +docker compose --env-file .env exec db psql -U messenger -d messenger -c "SELECT id, title FROM chats WHERE title IN ('Huge chat', 'Medium chat 1', 'Small chat 1') ORDER BY title;" \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/02-explain-huge-first.txt b/evidence/lab2/track2-2026-10-08_c744ee5/02-explain-huge-first.txt new file mode 100644 index 00000000..7ce327ed Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/02-explain-huge-first.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/03-explain-huge-or.txt b/evidence/lab2/track2-2026-10-08_c744ee5/03-explain-huge-or.txt new file mode 100644 index 00000000..78010965 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/03-explain-huge-or.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/04-explain-huge-tuple.txt b/evidence/lab2/track2-2026-10-08_c744ee5/04-explain-huge-tuple.txt new file mode 100644 index 00000000..503b7af1 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/04-explain-huge-tuple.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/05-explain-medium-first.txt b/evidence/lab2/track2-2026-10-08_c744ee5/05-explain-medium-first.txt new file mode 100644 index 00000000..9220bbaa Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/05-explain-medium-first.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/06-explain-medium-or.txt b/evidence/lab2/track2-2026-10-08_c744ee5/06-explain-medium-or.txt new file mode 100644 index 00000000..40ef58da Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/06-explain-medium-or.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/07-explain-medium-tuple.txt b/evidence/lab2/track2-2026-10-08_c744ee5/07-explain-medium-tuple.txt new file mode 100644 index 00000000..43373390 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/07-explain-medium-tuple.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/08-explain-small-first.txt b/evidence/lab2/track2-2026-10-08_c744ee5/08-explain-small-first.txt new file mode 100644 index 00000000..516d2432 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/08-explain-small-first.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/09-explain-small-or.txt b/evidence/lab2/track2-2026-10-08_c744ee5/09-explain-small-or.txt new file mode 100644 index 00000000..c92dd0a7 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/09-explain-small-or.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/10-explain-small-tuple.txt b/evidence/lab2/track2-2026-10-08_c744ee5/10-explain-small-tuple.txt new file mode 100644 index 00000000..bd258ef1 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/10-explain-small-tuple.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/11-index-sizes.txt b/evidence/lab2/track2-2026-10-08_c744ee5/11-index-sizes.txt new file mode 100644 index 00000000..539e9264 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/11-index-sizes.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/12-explain-index-a.txt b/evidence/lab2/track2-2026-10-08_c744ee5/12-explain-index-a.txt new file mode 100644 index 00000000..87439789 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/12-explain-index-a.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/13-explain-index-b.txt b/evidence/lab2/track2-2026-10-08_c744ee5/13-explain-index-b.txt new file mode 100644 index 00000000..377bd90a Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/13-explain-index-b.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/14-explain-index-c.txt b/evidence/lab2/track2-2026-10-08_c744ee5/14-explain-index-c.txt new file mode 100644 index 00000000..62aa416a Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/14-explain-index-c.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/15.1 b/evidence/lab2/track2-2026-10-08_c744ee5/15.1 new file mode 100644 index 00000000..f1aa77f0 --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/15.1 @@ -0,0 +1,3 @@ +docker compose --env-file .env exec db psql -U messenger -d messenger -c "DROP INDEX idx_test_c;" +docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_messages_chat_created_asc_id ON messages (chat_id, created_at ASC, id ASC);" +docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;" \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/15.2 b/evidence/lab2/track2-2026-10-08_c744ee5/15.2 new file mode 100644 index 00000000..223b621c --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/15.2 @@ -0,0 +1,3 @@ +docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_test_b ON messages (chat_id, created_at ASC);" +docker compose --env-file .env exec db psql -U messenger -d messenger -c "CREATE INDEX idx_test_c ON messages (chat_id, id);" +docker compose --env-file .env exec db psql -U messenger -d messenger -c "ANALYZE messages;" \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/16.1 b/evidence/lab2/track2-2026-10-08_c744ee5/16.1 new file mode 100644 index 00000000..20f3e5ca --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/16.1 @@ -0,0 +1 @@ +docker compose --env-file .env exec db psql -U messenger -d messenger -c "DROP INDEX idx_test_b; DROP INDEX idx_test_c;" \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/17-counts-before.txt b/evidence/lab2/track2-2026-10-08_c744ee5/17-counts-before.txt new file mode 100644 index 00000000..4c90edb0 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/17-counts-before.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/18-dump-size.txt b/evidence/lab2/track2-2026-10-08_c744ee5/18-dump-size.txt new file mode 100644 index 00000000..90ae2d13 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/18-dump-size.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/19-restore-time.txt b/evidence/lab2/track2-2026-10-08_c744ee5/19-restore-time.txt new file mode 100644 index 00000000..31b3c527 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/19-restore-time.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/19.1 b/evidence/lab2/track2-2026-10-08_c744ee5/19.1 new file mode 100644 index 00000000..674d4943 --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/19.1 @@ -0,0 +1 @@ +docker compose --env-file .env exec db psql -U messenger -d postgres -c "CREATE DATABASE messenger_restore;" \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/20-counts-after.txt b/evidence/lab2/track2-2026-10-08_c744ee5/20-counts-after.txt new file mode 100644 index 00000000..0b4eb6f5 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/20-counts-after.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/21-sample-original.txt b/evidence/lab2/track2-2026-10-08_c744ee5/21-sample-original.txt new file mode 100644 index 00000000..1105f116 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/21-sample-original.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/22-sample-restored.txt b/evidence/lab2/track2-2026-10-08_c744ee5/22-sample-restored.txt new file mode 100644 index 00000000..b888ff14 Binary files /dev/null and b/evidence/lab2/track2-2026-10-08_c744ee5/22-sample-restored.txt differ diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/23.1 b/evidence/lab2/track2-2026-10-08_c744ee5/23.1 new file mode 100644 index 00000000..a1bfd860 --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/23.1 @@ -0,0 +1 @@ +docker compose --env-file .env exec db psql -U messenger -d postgres -c "DROP DATABASE messenger_restore;" \ No newline at end of file diff --git a/evidence/lab2/track2-2026-10-08_c744ee5/README.md b/evidence/lab2/track2-2026-10-08_c744ee5/README.md new file mode 100644 index 00000000..e559312b --- /dev/null +++ b/evidence/lab2/track2-2026-10-08_c744ee5/README.md @@ -0,0 +1,143 @@ +Трек 2. План запроса и восстановление + +Дата: 2026-10-08 +Commit: c744ee5 +Окружение: Docker Desktop, Windows 11, 4 CPU / 16 GB RAM +Версии: PostgreSQL 16.15, Redis 7.4.11, Java 21, Spring Boot 4.1.1 + +Гипотеза + +1. План keyset-пагинации деградирует линейно с размером чата, если keyset выражен через OR-условие (JPQL-трансляция Hibernate). Tuple-синтаксис (created_at, id) > (?, ?) использует B-tree как диапазон и даёт константную стоимость. +2. Индекс (chat_id, created_at, id) оправдан для keyset, но не бесплатен — каждый дополнительный индекс увеличивает стоимость записи. +3. Логический дамп (pg_dump -Fc) позволяет полностью восстановить БД в новое хранилище с проверяемым RTO. + +Профиль данных + +- Сообщений: 116 011 +- Чатов: 263 +- Пользователей: 49 +- Распределение: Huge chat 50 000, seed_chat 10 000, 5 Medium по 5 000, 250 Small по 100 +- Размер таблицы messages: 15 МБ +- Размер индекса idx_messages_chat_created_asc_id: 8 568 kB +- Размер индекса messages_pkey: 4 376 kB +- Размер БД messenger: 35 МБ + +Методика + +EXPLAIN + +Для трёх чатов разного размера (Huge 50k, Medium 5k, Small 100) сняты три варианта плана: + +1. first page — ORDER BY created_at, id LIMIT 50 без курсора. +2. OR-keyset — как генерирует Hibernate из JPQL: (created_at > X OR (created_at = X AND id > Y)). +3. tuple-keyset — как должно быть: (created_at, id) > (X, Y). + +Команда: EXPLAIN (ANALYZE, BUFFERS) SELECT ... + +Метрика: Buffers: shared hit — сколько страниц (индексных + heap) реально прочитано. Это устойчивее, чем Execution Time, который зависит от кэша. + +Сравнение индексов + +Созданы два альтернативных индекса: + +- A (текущий): (chat_id, created_at ASC, id ASC) — 8 568 kB. +- B: (chat_id, created_at ASC) — 4 384 kB. +- C: (chat_id, id) — 5 368 kB. + +Для каждого — EXPLAIN с tuple-запросом (или эквивалентным для его колонок). После замера индексы удалены. + +Стоимость записи + +3 прогона INSERT 1000 сообщений с 4 индексами, 3 прогона с 2 индексами. Взята медиана. Разница — цена двух лишних индексов. + +Backup и restore + +1. Контрольные точки: count(*) по messages, users, chats; md5(string_agg(id, ',')) по messages. +2. pg_dump -Fc в файл. +3. CREATE DATABASE messenger_restore. +4. pg_restore с таймером (Measure-Command). +5. Сверка count и md5. +6. Выборочная сверка: 3 сообщения по конкретному чату. +7. DROP DATABASE. + +Результаты + +EXPLAIN (ANALYZE, BUFFERS) + +| Чат | Размер | Запрос | План | Buffers | Rows Removed | Time | +|--------|----------|---------|-------------------------|-----------|---------------|---------| +| Huge | 50k | first | Index Scan | 53 | 0 | 0.23 ms | +| Huge | 50k | OR | Index Scan + Filter | 30 514 | 30 208 | 15.9 ms | +| Huge | 50k | tuple | Index Scan + Index Cond | 54 | 0 | 0.27 ms | +| Medium | 5k | first | Index Scan | 52 | 0 | 0.17 ms | +| Medium | 5k | OR | Index Scan + Filter | 3 048 | 3 001 | 1.9 ms | +| Medium | 5k | tuple | Index Scan + Index Cond | 53 | 0 | 0.18 ms | +| Small | 100 | first | Index Scan | 28 | 0 | 0.14 ms | +| Small | 100 | OR | Bitmap Heap + Sort | 27 | 0 | 0.48 ms | +| Small | 100 | tuple | Bitmap Heap + Sort | 24 | 0 | 0.24 ms | + +Вывод 1. OR-keyset деградирует линейно: 50k → 30 514 буферов, 5k → 3 048 буферов. Отношение 10×. Tuple-keyset константен: 54 и 53 буфера. Разница ×565 и ×57 соответственно. + +Вывод 2. На мелких чатах (100 строк) Postgres выбирает Bitmap Heap Scan + Sort вместо Index Scan — планировщик сам решает, что индекс на маленькой выборке не окупается. + +Сравнение индексов + +| Индекс | Определение | Размер | Buffers (Huge, tuple) | +|----------|---------------------------|----------|------------------------| +| A | (chat_id, created_at, id) | 8 568 kB | 54 | +| B | (chat_id, created_at) | 4 384 kB | 53 (по created_at) | +| C | (chat_id, id) | 5 368 kB | 50 (по id) | + +Вывод. Все три индекса дают keyset за ~53 буфера. Но B не может разорвать ties по created_at (два сообщения с одной миллисекундой могут дублироваться или пропускаться при пагинации), C сортирует по UUID вместо времени. Только A даёт стабильный tuple-keyset (created_at, id). Дополнительные 4 МБ оправданы корректностью. + +Стоимость записи + +| Конфигурация | Прогоны (ms) | Медиана | +|----------------|--------------------|----------| +| 4 индекса | 89.4 / 51.5 / 38.8 | ~51 ms | +| 2 индекса | 23.6 / 22.9 / 23.2 | ~23 ms | + +Вывод. Дельта ~28 ms на 1000 строк = ~28 µs/строка за два лишних индекса = ~14 µs за индекс. На учебном объёме это незаметно, но при высоком RPS и больших таблицах каждый индекс должен быть обоснован конкретным запросом. + +Backup и restore + +| Метрика | Значение | +|-----------------------------------------|----------------------------------| +| Count before (messages / users / chats) | 116 011 / 49 / 263 | +| md5 id сообщений before | ca7a05ca849eedb7a4b7abd0044b3322 | +| Размер дампа (-Fc) | 4.6 МБ (сжатие ~8×) | +| RTO (restore) | 1.98 сек | +| Count after | 116 011 / 49 / 263 | +| md5 after | ca7a05ca849eedb7a4b7abd0044b3322 | +| Выборочная сверка (3 сообщения) | id/text/created_at совпали 1-в-1 | + +RTO и RPO + +RTO (Recovery Time Objective) + +Восстановление 35 МБ БД заняло 1.98 сек. Масштабируется ~линейно: 350 МБ → ~20 сек, 3.5 ГБ → ~3.5 мин. Для ускорения: pg_restore -j N (параллельный restore из custom format), больше CPU. На production обычно измеряется не в секундах, а в бизнес-требованиях (например, «восстановиться за 4 часа»), и достигается через реплику + PITR, а не только pg_dump. + +RPO (Recovery Point Objective) + +RPO = время с момента последнего pg_dump. Стратегии: + +| Стратегия | RPO | +|--------------------------|-------------| +| pg_dump раз в сутки | до 24 часов | +| pg_dump раз в час | до 1 часа | +| WAL-архивирование (PITR) | секунды | +| Синхронная репликация | ~0 | + +На учебном стенде RPO не определён (нет расписания дампов). Границы потери данных: + +- Всё, что появилось после последнего дампа — теряется. +- Незакоммиченные транзакции при краше — откатываются автоматически (WAL). +- synchronous_commit = off ускоряет запись, но может потерять последние ~200 мс закоммиченных транзакций при краше ОС или питания. + +Ограничения + +1. JPQL не генерирует tuple-синтаксис. Hibernate транслирует keyset в OR, что даёт линейную деградацию. Обходной путь — native SQL с (created_at, id) > (?, ?). В текущей реализации используется OR-вариант. +2. Тест на одном узле. Нет конкурентной нагрузки, нет параллельных writers, нет replication lag. +3. pg_dump — логический бэкап. На больших БД (десятки ГБ) полный restore занимает часы. Для production: pg_basebackup (физический) + WAL-архив + PITR. +4. Замеры INSERT проведены на горячем кэше с shared_buffers по умолчанию (~128 МБ). На больших объёмах пропорции индексов могут отличаться. +5. Медиана по 3 прогонам — грубая. Для production-замеров нужно ≥10 прогонов и p95. \ No newline at end of file