Track 2 уровня 5

This commit is contained in:
2026-10-15 20:55:44 +03:00
parent 09b4b1d49d
commit 9fabf8dff3
10 changed files with 810 additions and 8 deletions
+3
View File
@@ -8,6 +8,9 @@ APP_ENV=lab
POSTGRES_USER=messenger
POSTGRES_DB=messenger
# Used only by the optional recovery profile during Track 2 verification.
POSTGRES_RESTORE_DB=messenger_restore_admin
SESSION_TTL_SECONDS=3600
SESSION_STORE=postgres
+11
View File
@@ -31,6 +31,8 @@ COMPOSE_CMD = $(COMPOSE) --env-file "$(ENV_FILE)"
test-database-failure \
explain-history \
test-level4 \
test-track2 \
test-level5 \
compose-config \
compose-build \
compose-up \
@@ -59,6 +61,8 @@ help:
@echo "test-database-failure: verify bounded errors while PostgreSQL is stopped"
@echo "explain-history: run EXPLAIN on a rolled-back 10000-message fixture"
@echo "test-level4: run the complete cumulative level 4 verification"
@echo "test-track2: benchmark 100000 messages and verify backup/restore"
@echo "test-level5: run cumulative level 4 checks and Track 2"
@echo "compose-config: validate resolved Compose configuration"
@echo "compose-build: build application images"
@echo "compose-up: start the stack"
@@ -162,6 +166,13 @@ test-level4:
$(MAKE) test-persistence ACTION_SCRIPT=scripts/restart.sh
$(MAKE) explain-history
test-track2:
scripts/run_track2.sh
test-level5:
$(MAKE) test-level4
$(MAKE) test-track2
compose-config:
@test -f "$(ENV_FILE)" || \
(echo "$(ENV_FILE) is missing; run: make init-env"; exit 2)
+52 -8
View File
@@ -2,7 +2,7 @@
- Автор, группа: Чурилин, БВТ2301
- Целевая оценка: 5; выбран Track 2 «План запроса и восстановление»
- Commit/PR: уровень 3 — commit `158fed1`; уровень 4 — ветка `solution/bvt2301-churilin`, итоговые ссылки указываются в MR
- Commit/PR: уровень 3 — commit `158fed1`; уровень 4 — commit `09b4b1d`; Track 2 уровня 5 — ветка `solution/bvt2301-churilin`, итоговые ссылки указываются в MR
- Использованные библиотеки: `pgx/v5`, `go-redis/v9`, `google/uuid`, `x/crypto/argon2`, `golang-migrate`
- Использованные источники: документация PostgreSQL, Go, Docker Compose и Redis; при проектировании, реализации и проверке использовался ИИ-ассистент
@@ -60,6 +60,12 @@ make validate PYTHON=.venv/bin/python
# Полная накопительная проверка уровня 4:
make test-level4 PYTHON=.venv/bin/python
# Только исследование Track 2:
make test-track2
# Полная накопительная проверка уровней 4 и 5:
make test-level5 PYTHON=.venv/bin/python
# Отдельная повторная проверка идемпотентности миграций:
docker compose run --rm migrate
@@ -108,6 +114,10 @@ PostgreSQL является источником истины для польз
Опциональный профиль `tools` запускает Redis Insight 3.8.0. Только его UI
доступен на `127.0.0.1:5540`; сам Redis остаётся внутри Compose-сети.
Опциональный профиль `recovery` запускается только сценарием Track 2. Он
поднимает второй PostgreSQL без host-порта на отдельном named volume
`postgres_restore_data`, чтобы восстановление не могло смешаться с рабочей БД.
Образы закреплены одновременно версией и digest. Dockerfile использует
multi-stage build, а runtime-процесс запускается от непривилегированного
пользователя.
@@ -197,6 +207,35 @@ PostgreSQL. Request ID присутствует в успешных ответа
затем перезапускает API. PostgreSQL volume сохраняется, а Redis начинает с
пустого кеша. Миграции при этом не выполняются заново и данные не seed-ятся.
### Track 2: план запроса и восстановление
`make test-track2` применяет настоящую миграцию к временной БД и создаёт ровно
100 000 сообщений с распределением по трём чатам 90 000 / 9 000 / 1 000.
Рабочая БД приложения не изменяется. Сравниваются keyset и `OFFSET 50000` на
индексе `(chat_id, created_at, id)`, а также keyset на покрывающем индексе с
`INCLUDE (sender_id, text)`.
В финальном из трёх запусков keyset на обычном индексе вернул 101 строку при 6
buffer hits за 0.112 ms. `OFFSET` просмотрел 50 101 строку и 1 383 buffer pages
за 6.703 ms. Покрывающий индекс дал `Index Only Scan`, 0 heap fetches, 6 buffer
hits и 0.073 ms. При этом он вырос с 5 914 624 до 16 842 752 bytes и при
загрузке сгенерировал 49 573 476 вместо 38 560 620 WAL bytes. Поэтому миграция
сохраняет узкий индекс: keyset уже ограничивает работу размером страницы, а
дополнительная write/storage cost покрытия доказана лучше, чем выигрыш одного
локального измерения.
Затем custom-format backup размером 3 000 682 bytes восстановлен в новый volume
уникального Compose-проекта. Backup занял 731 ms, весь локальный recovery вместе
со стартом контейнера, healthcheck, restore и сверкой — 8 269 ms. Канонические
fingerprint источника и восстановления совпали: количества всех таблиц,
распределение сообщений, список индексов и первое/50 000-е/100 000-е сообщения.
Для включённого snapshot потерь не наблюдалось. Без WAL archiving/PITR коммиты
после последнего dump теряются, поэтому операционный RPO ограничен частотой
backup и границей snapshot. Измеренное время не является production RTO: в нём
нет обнаружения аварии, доставки удалённого backup и переключения трафика.
Полная методика и ограничения находятся в `docs/track2.md`.
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
@@ -217,6 +256,10 @@ PostgreSQL. Request ID присутствует в успешных ответа
| Отказ PostgreSQL | `make test-database-failure` | PASS: live=200, ready/DB=503, anonymous=401, восстановление старой сессии | `evidence/level4.md` |
| Индекс истории | `make explain-history` | 10 000 строк; Index Scan, 101 строка, 0.068/0.111 мс | `evidence/level4.md` |
| Redis Insight | `make compose-tools-up` и `/api/health/` | `{"status":"up"}`, UI только на localhost | `evidence/level4.md` |
| 100 000 неравномерных сообщений | `make test-track2` | 90 000 / 9 000 / 1 000 в трёх чатах | `evidence/level5-track2.md` |
| Сравнение запросов и индексов | `make test-track2` | keyset: 101 строка/6 buffers; OFFSET: 50 101 строка/1 383 buffers; covering: Index Only Scan | `evidence/level5-track2.md` |
| Стоимость записи | `make test-track2` | covering: 2.85x размер индекса и +28.6% WAL | `evidence/level5-track2.md` |
| Backup и восстановление | `make test-track2` | новый PostgreSQL volume, 100 000 сообщений, fingerprints совпали, recovery 8.269 с | `evidence/level5-track2.md` |
## Эксперименты и отказы
@@ -227,6 +270,7 @@ PostgreSQL. Request ID присутствует в успешных ответа
| Stop Redis | Не менять readiness и не отдавать 5xx для доступных из PostgreSQL операций | Автотест подтвердил чтение старого чата, создание нового, сохранение Bearer-auth и 401 для неверного токена | Fallback GET около 254 мс при timeout 250 мс; потерь нет |
| Stop PostgreSQL | Оставить liveness, снять readiness и не раскрывать внутренние ошибки | Автотест получил live 200, ready 503, DB-запросы 503 и anonymous 401; после start прежняя сессия снова работает | Ответы ограничены DB/readiness timeout; подтверждённые данные не потеряны |
| API с TTL сессии 2 с | Быстро отозвать токен по времени и сохранить logout | Автотест получил 401 после 3.25 с, затем подтвердил новый login и немедленный отзыв logout | API автоматически возвращён к TTL 3600 с |
| Логический backup → отдельное хранилище | Получить согласованный snapshot и доказать восстановление без доступа к source volume | Fingerprint всех counts, распределения, индексов и трёх выбранных сообщений совпал | Backup 731 ms; recovery 8 269 ms; snapshot без потерь, но без WAL/PITR теряются более новые коммиты |
Проверка выполнялась только на синтетических данных. Зафиксированные количества
уровня 3 приведены в `evidence/level3.md`; последующие Redis-тесты добавляли
@@ -235,11 +279,11 @@ production-снимок.
## Ограничения и следующие шаги
- Все обязательные критерии уровня 4 реализованы и имеют автоматические или
воспроизводимые проверки. Это не доказывает промышленную отказоустойчивость,
корректность при произвольных сетевых partition или максимальную пропускную
способность.
- Track 2 уровня 5 ещё не выполнен: нужны не менее 100 000 неравномерно
распределённых сообщений, сравнение вариантов индексов/запросов, стоимость
записи и проверенный backup/restore.
- Все обязательные критерии уровня 4 и Track 2 уровня 5 реализованы и имеют
автоматические или воспроизводимые проверки. Это не доказывает промышленную
отказоустойчивость, корректность при произвольных network partition или
максимальную пропускную способность.
- Track 2 выполнен тремя последовательными прогонами на синтетических данных.
Он не моделирует конкурентную production-нагрузку, холодный disk cache,
autovacuum/bloat, удалённое backup-хранилище или WAL/PITR.
- Стенд учебный и одноузловой: он не обеспечивает HA PostgreSQL или API.
+24
View File
@@ -125,9 +125,33 @@ services:
condition: service_healthy
restart: unless-stopped
postgres-restore:
image: postgres:16.15-alpine3.24@sha256:721873c34ceb9f8d8fc265984940dc982404c105f19ad51be9fdc5970a6080ea
profiles: ["recovery"]
environment:
POSTGRES_USER: ${POSTGRES_USER:-messenger}
POSTGRES_DB: ${POSTGRES_RESTORE_DB:-messenger_restore_admin}
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
secrets:
- postgres_password
volumes:
- postgres_restore_data:/var/lib/postgresql/data
healthcheck:
test:
[
"CMD-SHELL",
"pg_isready -U ${POSTGRES_USER:-messenger} -d ${POSTGRES_RESTORE_DB:-messenger_restore_admin}",
]
interval: 5s
timeout: 3s
retries: 10
start_period: 5s
restart: "no"
volumes:
postgres_data:
redis_insight_data:
postgres_restore_data:
secrets:
postgres_password:
+151
View File
@@ -0,0 +1,151 @@
# Track 2: план запроса и восстановление
## Цель и гипотеза
Эксперимент проверяет историю сообщений на реальной схеме приложения при
неравномерной нагрузке и отдельно доказывает восстановимость логического backup.
Гипотезы:
1. Keyset-пагинация по `(chat_id, created_at, id)` должна читать число строк,
близкое к размеру страницы, независимо от глубины истории, а `OFFSET` должен
просматривать и отбрасывать все предыдущие строки.
2. Покрывающий индекс с `INCLUDE (sender_id, text)` может дать `Index Only
Scan`, но увеличит размер индекса и объём работы при записи.
3. Custom-format `pg_dump` можно восстановить в отдельный PostgreSQL volume и
получить те же количества и контрольные сообщения, что в snapshot источника.
## Повторяемая методика
Команда:
```sh
make test-track2
```
Полная накопительная проверка уровней 4 и 5:
```sh
make test-level5 PYTHON=.venv/bin/python
```
`scripts/run_track2.sh` создаёт временную базу в основном PostgreSQL-кластере,
применяет настоящую миграцию `000001_initial.up.sql` и запускает
`tests/track2_experiment.sql`. Рабочая база `messenger` не изменяется.
Создаются три чата и ровно 100 000 детерминированных сообщений:
| Чат | Сообщений | Доля |
| --- | ---: | ---: |
| hot | 90 000 | 90% |
| medium | 9 000 | 9% |
| small | 1 000 | 1% |
UUID, текст и время сообщений воспроизводимо выводятся из номера
`generate_series(1, 100000)`. После каждой загрузки выполняется `VACUUM
(ANALYZE)`. Искусственного прогрева нет; варианты выполняются последовательно
на одном локальном стенде, поэтому абсолютное время не является production
benchmark.
Сравниваются:
1. индекс миграции `(chat_id, created_at, id)` и keyset-запрос после позиции
50 000;
2. тот же индекс и запрос с `OFFSET 50000`;
3. экспериментальный индекс `(chat_id, created_at, id) INCLUDE (sender_id,
text)` и тот же keyset-запрос.
Для обоих вариантов индекса загрузка измеряется через `EXPLAIN (ANALYZE,
BUFFERS, WAL)` на вставке всех 100 000 сообщений. Индекс второго варианта
создаётся только во временной базе; миграция приложения не изменяется.
## Результаты плана чтения
Финальный из трёх последовательных проверочных запусков на окружении из
`REPORT.md` дал:
| Вариант | План | Возвращено / просмотрено | Buffers hit | Execution Time |
| --- | --- | ---: | ---: | ---: |
| Обычный индекс + keyset | `Index Scan` | 101 / 101 | 6 | 0.112 ms |
| Обычный индекс + `OFFSET 50000` | `Index Scan` | 101 / 50 101 | 1 383 | 6.703 ms |
| Покрывающий индекс + keyset | `Index Only Scan`, `Heap Fetches: 0` | 101 / 101 | 6 | 0.073 ms |
`OFFSET` на этой странице просмотрел почти в 496 раз больше строк и затронул
примерно в 230 раз больше buffer pages, чем keyset. В трёх запусках его время
было примерно в 45–60 раз выше. Это не постоянные коэффициенты: они зависят от
данных, кэша и железа, а стоимость `OFFSET` продолжает расти с номером страницы.
Покрывающий индекс после `VACUUM` действительно позволил отдать все выбранные
поля из индекса без обращения к heap. Обычный keyset-запрос уже был быстрым,
поэтому выигрыш одного локального измерения не оправдывает автоматическую
замену production-индекса.
## Стоимость записи и хранения
| Вариант | INSERT 100 000 | WAL records | WAL bytes | Размер индекса |
| --- | ---: | ---: | ---: | ---: |
| `(chat_id, created_at, id)` | 2 852.258 ms | 301 273 | 38 560 620 | 5 914 624 B (5 776 KiB) |
| `... INCLUDE (sender_id, text)` | 3 086.374 ms | 302 607 | 49 573 476 | 16 842 752 B (16 MiB) |
Покрывающий индекс занял примерно в 2.85 раза больше места и сгенерировал
примерно на 28.6% больше WAL. В финальном запуске вставка была на 8.2% дольше,
но по трём последовательным запускам разница колебалась от −3.2% до +8.7%.
Это иллюстрирует cache/order effect и не доказывает устойчивую разницу latency.
WAL и размер надёжно показывают дополнительную стоимость; для сравнения времени
нужны чередование вариантов и более длинная серия повторов.
Решение для приложения: сохранить узкий индекс миграции и keyset-пагинацию.
Покрывающий вариант имеет смысл повторно рассмотреть только после профилирования
реальной преимущественно читающей нагрузки.
## Backup, восстановление и сверка
После измерений временная source-база содержит настоящую схему и 100 000
сообщений с покрывающим индексом. Скрипт:
1. создаёт transaction-consistent custom-format backup через `pg_dump`;
2. запускает профиль `recovery` в уникальном Compose-проекте — отдельный
контейнер PostgreSQL с новым named volume и без host-порта;
3. создаёт в нём новую пустую базу и выполняет `pg_restore --exit-on-error`;
4. строит канонический JSON fingerprint обеих баз и сравнивает его byte-for-byte;
5. удаляет source-базу, dump, recovery-контейнер и его временный volume даже
при ошибке.
Fingerprint включает количества `users`, `chats`, `chat_members`, `messages`,
`sessions`, распределение 90 000/9 000/1 000, список индексов сообщений и полные
идентификаторы/время/MD5 текста для первого, 50 000-го и 100 000-го сообщений.
Raw dump создаётся во временном каталоге и не попадает в Git.
Наблюдаемый результат:
```text
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.
```
`recovery_ms` включает запуск отдельного контейнера до healthcheck, создание
новой БД, `pg_restore` и fingerprint-сверку. Он не включает обнаружение аварии,
получение backup из удалённого хранилища, переключение приложения/DNS и прогрев.
В трёх последовательных запусках backup занимал 599–731 ms, а весь локальный
recovery — 8 016–8 269 ms.
## RPO, RTO и ограничения
Для восстановленного snapshot наблюдаемый RPO равен нулю: все строки,
попавшие в согласованный snapshot `pg_dump`, совпали. Это не означает нулевой
операционный RPO. Без WAL archiving/PITR будут потеряны коммиты после начала
последнего успешно сохранённого dump; практическая граница определяется
интервалом backup и временем его создания.
Наблюдаемый локальный recovery занял 8.269 секунды, но это не production RTO.
Данные маленькие, image уже находился локально, backup лежал на том же host, а
проверка не моделировала повреждение host/volume или сетевую передачу. Логический
backup удобен и переносим между совместимыми версиями PostgreSQL, однако для
крупных баз обычно восстанавливается медленнее физического backup с WAL/PITR.
Эксперимент однопоточный и выполнен три раза на синтетических данных. Он не
измеряет конкурентные чтения/записи, холодный disk cache, длительный churn,
bloat, autovacuum, репликацию и поведение при заполненном диске.
+84
View File
@@ -0,0 +1,84 @@
# Доказательства уровня 5 — Track 2
Состояние: Track 2 «План запроса и восстановление» выполнен поверх commit уровня
4 `09b4b1d`. Все данные синтетические; dump, credentials и токены в Git не
сохраняются.
## Окружение и команда
Окружение совпадает с `evidence/level4.md`: Ubuntu 26.04 в WSL2, Intel Core
i5-1135G7 (4 cores / 8 logical CPU), доступные Docker 3.724 GiB RAM, Docker
29.7.2, Compose 5.5.0 и PostgreSQL 16.15.
```sh
make test-track2
```
Сценарий использует реальную миграцию в отдельной временной БД, а восстановление
выполняет в отдельном PostgreSQL-контейнере и новом named volume уникального
Compose-проекта. Рабочая база API не изменяется. Данные распределены по чатам
как 90 000 / 9 000 / 1 000.
## Чтение и индексы
```text
current index + keyset:
Index Scan, rows=101, Buffers hit=6, Execution Time=0.112 ms
current index + OFFSET 50000:
Index Scan, rows scanned=50101, Buffers hit=1383,
Execution Time=6.703 ms
covering index + keyset:
Index Only Scan, rows=101, Heap Fetches=0, Buffers hit=6,
Execution Time=0.073 ms
```
Keyset ограничивает работу размером страницы. `OFFSET` обязан пройти 50 000
предыдущих строк. Покрывающий индекс устраняет heap fetch после `VACUUM`, но
увеличивает стоимость хранения и записи.
## Стоимость записи
```text
current (chat_id, created_at, id):
100000 rows, 2852.258 ms, WAL records=301273,
WAL bytes=38560620, index bytes=5914624
covering INCLUDE (sender_id, text):
100000 rows, 3086.374 ms, WAL records=302607,
WAL bytes=49573476, index bytes=16842752
```
Покрывающий индекс оказался примерно в 2.85 раза больше и создал на 28.6%
больше WAL. По трём последовательным запускам разница времени вставки менялась
от −3.2% до +8.7%, поэтому latency не интерпретируется как устойчивое
преимущество варианта; последовательный тест подвержен cache/order effect.
## Backup и новое хранилище
```text
backup_bytes=3000682
backup_ms=731
recovery_ms=8269
fingerprints_match=true
counts:
users=3, chats=3, chat_members=3, messages=100000, sessions=0
distribution:
hot=90000, medium=9000, small=1000
PASS: Track 2 query/index and backup-to-separate-storage experiment completed.
```
Source и restored fingerprint byte-for-byte совпали. Помимо количеств он
проверяет распределение, индексы и первое/50 000-е/100 000-е сообщения вместе
с UUID, временем, отправителем, чатом и MD5 текста.
Время recovery включает старт отдельного PostgreSQL, ожидание healthcheck,
создание новой БД, restore и сверку. Для snapshot потерь нет. Без WAL/PITR
коммиты после snapshot последнего dump будут потеряны, поэтому production RPO
равен интервалу backup плюс граница snapshot, а измеренные 8.269 секунды не
включают обнаружение аварии, загрузку удалённого backup и переключение трафика.
Полная методика, SQL-варианты и ограничения описаны в `docs/track2.md`.
+106
View File
@@ -0,0 +1,106 @@
#!/bin/sh
set -eu
project_root=$(CDPATH= cd -- "$(dirname -- "$0")/.." && pwd)
cd "$project_root"
env_file=${ENV_FILE:-.env}
run_id="$(date +%s)_$$"
source_db="track2_source_$run_id"
restore_db="track2_restore_$run_id"
recovery_project="mtusi2026lab2_recovery_$run_id"
temp_dir=$(mktemp -d)
backup_file="$temp_dir/track2.dump"
source_fingerprint="$temp_dir/source.fingerprint"
restore_fingerprint="$temp_dir/restore.fingerprint"
source_created=0
cleanup() {
status=$?
trap - EXIT HUP INT TERM
docker compose -p "$recovery_project" --env-file "$env_file" \
--profile recovery down --volumes --remove-orphans >/dev/null 2>&1 || true
if [ "$source_created" -eq 1 ]; then
docker compose --env-file "$env_file" exec -T \
-e TARGET_DB="$source_db" postgres sh -ec \
'dropdb --if-exists -U "$POSTGRES_USER" "$TARGET_DB"' \
>/dev/null 2>&1 || true
fi
rm -f "$backup_file" "$source_fingerprint" "$restore_fingerprint"
rmdir "$temp_dir" 2>/dev/null || true
exit "$status"
}
trap cleanup EXIT
trap 'exit 129' HUP
trap 'exit 130' INT
trap 'exit 143' TERM
source_created=1
docker compose --env-file "$env_file" exec -T \
-e TARGET_DB="$source_db" postgres sh -ec \
'createdb -U "$POSTGRES_USER" "$TARGET_DB"'
docker compose --env-file "$env_file" exec -T \
-e TARGET_DB="$source_db" postgres sh -ec \
'exec psql -v ON_ERROR_STOP=1 -U "$POSTGRES_USER" -d "$TARGET_DB"' \
< migrations/000001_initial.up.sql
echo "Running isolated 100000-message query/index experiment."
docker compose --env-file "$env_file" exec -T \
-e TARGET_DB="$source_db" postgres sh -ec \
'exec psql -v ON_ERROR_STOP=1 -U "$POSTGRES_USER" -d "$TARGET_DB"' \
< tests/track2_experiment.sql
docker compose --env-file "$env_file" exec -T \
-e TARGET_DB="$source_db" postgres sh -ec \
'exec psql -v ON_ERROR_STOP=1 -U "$POSTGRES_USER" -d "$TARGET_DB"' \
< tests/track2_fingerprint.sql > "$source_fingerprint"
backup_started=$(date +%s%N)
docker compose --env-file "$env_file" exec -T \
-e TARGET_DB="$source_db" postgres sh -ec \
'exec pg_dump -U "$POSTGRES_USER" -d "$TARGET_DB" \
--format=custom --compress=6 --no-owner --no-privileges' \
> "$backup_file"
backup_finished=$(date +%s%N)
recovery_started=$(date +%s%N)
docker compose -p "$recovery_project" --env-file "$env_file" --profile recovery \
up -d --wait postgres-restore
docker compose -p "$recovery_project" --env-file "$env_file" \
--profile recovery exec -T \
-e TARGET_DB="$restore_db" postgres-restore sh -ec \
'createdb -U "$POSTGRES_USER" "$TARGET_DB"'
docker compose -p "$recovery_project" --env-file "$env_file" \
--profile recovery exec -T \
-e TARGET_DB="$restore_db" postgres-restore sh -ec \
'exec pg_restore --exit-on-error -U "$POSTGRES_USER" -d "$TARGET_DB" \
--no-owner --no-privileges' \
< "$backup_file"
docker compose -p "$recovery_project" --env-file "$env_file" \
--profile recovery exec -T \
-e TARGET_DB="$restore_db" postgres-restore sh -ec \
'exec psql -v ON_ERROR_STOP=1 -U "$POSTGRES_USER" -d "$TARGET_DB"' \
< tests/track2_fingerprint.sql > "$restore_fingerprint"
cmp -s "$source_fingerprint" "$restore_fingerprint"
recovery_finished=$(date +%s%N)
backup_ms=$(( (backup_finished - backup_started) / 1000000 ))
recovery_ms=$(( (recovery_finished - recovery_started) / 1000000 ))
backup_bytes=$(wc -c < "$backup_file" | tr -d ' ')
echo "BACKUP_RESTORE_RESULT"
echo "backup_bytes=$backup_bytes"
echo "backup_ms=$backup_ms"
echo "recovery_ms=$recovery_ms"
echo "fingerprints_match=true"
echo "source_and_restored_fingerprint:"
cat "$source_fingerprint"
echo "PASS: Track 2 query/index and backup-to-separate-storage experiment completed."
+13
View File
@@ -43,6 +43,19 @@ python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json
Это простой **closed-loop** генератор POST сообщений; он ограничен производительностью клиента и страдает coordinated omission. Он выдаёт successful RPS, ошибки и p50/p95/p99 **только успешных запросов**. Во время нагрузки нет прозрачных retry; timeout мог скрыть совершённую запись, поэтому это throughput HTTP-подтверждений, не точный счётчик COMMIT. Изменение размера истории входит в профиль. Для серьёзного исследования используйте k6/Locust/wrk либо свой обоснованный генератор, а не выводите максимальную пропускную способность из одного запуска этого скрипта. Для нагрузки pipeline изображений нужен отдельный сценарий студента.
## Track 2: 100 000 сообщений и восстановление
```sh
make test-track2
```
Сценарий создаёт временную БД на реальной миграции, сравнивает keyset,
`OFFSET 50000` и покрывающий индекс через `EXPLAIN (ANALYZE, BUFFERS, WAL)`,
затем делает `pg_dump` и восстанавливает его в отдельный PostgreSQL volume.
Source/restored fingerprint включает counts, распределение, индексы и три
выбранных сообщения. Временные БД и dump удаляются автоматически; рабочая БД
API не изменяется. Методика и ограничения: `docs/track2.md`.
## HTTPS, lab7
```sh
+272
View File
@@ -0,0 +1,272 @@
\set ON_ERROR_STOP on
\pset pager off
\timing off
INSERT INTO users (
id,
username,
display_name,
password_hash
)
VALUES
(
'00000000-0000-4000-8000-000000000001',
'track2_hot_user',
'Track 2 hot chat user',
'synthetic-not-a-login-hash'
),
(
'00000000-0000-4000-8000-000000000002',
'track2_medium_user',
'Track 2 medium chat user',
'synthetic-not-a-login-hash'
),
(
'00000000-0000-4000-8000-000000000003',
'track2_small_user',
'Track 2 small chat user',
'synthetic-not-a-login-hash'
);
INSERT INTO chats (
id,
title
)
VALUES
(
'00000000-0000-4000-8000-000000000101',
'Track 2 hot chat'
),
(
'00000000-0000-4000-8000-000000000102',
'Track 2 medium chat'
),
(
'00000000-0000-4000-8000-000000000103',
'Track 2 small chat'
);
INSERT INTO chat_members (
chat_id,
user_id,
position
)
VALUES
(
'00000000-0000-4000-8000-000000000101',
'00000000-0000-4000-8000-000000000001',
0
),
(
'00000000-0000-4000-8000-000000000102',
'00000000-0000-4000-8000-000000000002',
0
),
(
'00000000-0000-4000-8000-000000000103',
'00000000-0000-4000-8000-000000000003',
0
);
\echo 'WRITE PLAN: current index (chat_id, created_at, id)'
EXPLAIN (ANALYZE, BUFFERS, WAL)
WITH generated AS (
SELECT
number,
md5('track2-message-' || number::text) AS digest,
CASE
WHEN number <= 90000
THEN '00000000-0000-4000-8000-000000000101'::uuid
WHEN number <= 99000
THEN '00000000-0000-4000-8000-000000000102'::uuid
ELSE '00000000-0000-4000-8000-000000000103'::uuid
END AS chat_id,
CASE
WHEN number <= 90000
THEN '00000000-0000-4000-8000-000000000001'::uuid
WHEN number <= 99000
THEN '00000000-0000-4000-8000-000000000002'::uuid
ELSE '00000000-0000-4000-8000-000000000003'::uuid
END AS sender_id
FROM generate_series(1, 100000) AS series(number)
)
INSERT INTO messages (
id,
chat_id,
sender_id,
text,
created_at
)
SELECT
(
substr(digest, 1, 8) || '-' ||
substr(digest, 9, 4) || '-4' ||
substr(digest, 14, 3) || '-a' ||
substr(digest, 18, 3) || '-' ||
substr(digest, 21, 12)
)::uuid,
chat_id,
sender_id,
'Synthetic Track 2 message ' || number ||
' with deterministic payload for index comparison',
TIMESTAMPTZ '2026-01-01 00:00:00+00'
+ number * INTERVAL '1 microsecond'
FROM generated;
VACUUM (ANALYZE) messages;
\echo 'UNEVEN DISTRIBUTION: current variant'
SELECT
chat_id,
count(*) AS message_count
FROM messages
GROUP BY chat_id
ORDER BY message_count DESC;
\echo 'INDEX SIZE: current variant'
SELECT
pg_relation_size('messages_chat_created_at_id_idx') AS index_bytes,
pg_size_pretty(
pg_relation_size('messages_chat_created_at_id_idx')
) AS index_size;
SELECT
id AS cursor_id,
created_at AS cursor_created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-000000000101'
ORDER BY created_at, id
OFFSET 49999
LIMIT 1
\gset
\echo 'READ PLAN: current index plus keyset cursor'
EXPLAIN (ANALYZE, BUFFERS)
SELECT
id,
chat_id,
sender_id,
text,
created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-000000000101'
AND (created_at, id) > (
:'cursor_created_at'::timestamptz,
:'cursor_id'::uuid
)
ORDER BY created_at, id
LIMIT 101;
\echo 'READ PLAN: current index plus OFFSET 50000'
EXPLAIN (ANALYZE, BUFFERS)
SELECT
id,
chat_id,
sender_id,
text,
created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-000000000101'
ORDER BY created_at, id
OFFSET 50000
LIMIT 101;
DROP INDEX messages_chat_created_at_id_idx;
TRUNCATE TABLE messages;
CREATE INDEX messages_chat_created_at_id_covering_idx
ON messages (chat_id, created_at, id)
INCLUDE (sender_id, text);
\echo 'WRITE PLAN: covering index with INCLUDE (sender_id, text)'
EXPLAIN (ANALYZE, BUFFERS, WAL)
WITH generated AS (
SELECT
number,
md5('track2-message-' || number::text) AS digest,
CASE
WHEN number <= 90000
THEN '00000000-0000-4000-8000-000000000101'::uuid
WHEN number <= 99000
THEN '00000000-0000-4000-8000-000000000102'::uuid
ELSE '00000000-0000-4000-8000-000000000103'::uuid
END AS chat_id,
CASE
WHEN number <= 90000
THEN '00000000-0000-4000-8000-000000000001'::uuid
WHEN number <= 99000
THEN '00000000-0000-4000-8000-000000000002'::uuid
ELSE '00000000-0000-4000-8000-000000000003'::uuid
END AS sender_id
FROM generate_series(1, 100000) AS series(number)
)
INSERT INTO messages (
id,
chat_id,
sender_id,
text,
created_at
)
SELECT
(
substr(digest, 1, 8) || '-' ||
substr(digest, 9, 4) || '-4' ||
substr(digest, 14, 3) || '-a' ||
substr(digest, 18, 3) || '-' ||
substr(digest, 21, 12)
)::uuid,
chat_id,
sender_id,
'Synthetic Track 2 message ' || number ||
' with deterministic payload for index comparison',
TIMESTAMPTZ '2026-01-01 00:00:00+00'
+ number * INTERVAL '1 microsecond'
FROM generated;
VACUUM (ANALYZE) messages;
\echo 'UNEVEN DISTRIBUTION: covering variant'
SELECT
chat_id,
count(*) AS message_count
FROM messages
GROUP BY chat_id
ORDER BY message_count DESC;
\echo 'INDEX SIZE: covering variant'
SELECT
pg_relation_size(
'messages_chat_created_at_id_covering_idx'
) AS index_bytes,
pg_size_pretty(
pg_relation_size(
'messages_chat_created_at_id_covering_idx'
)
) AS index_size;
SELECT
id AS cursor_id,
created_at AS cursor_created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-000000000101'
ORDER BY created_at, id
OFFSET 49999
LIMIT 1
\gset
\echo 'READ PLAN: covering index plus keyset cursor'
EXPLAIN (ANALYZE, BUFFERS)
SELECT
id,
chat_id,
sender_id,
text,
created_at
FROM messages
WHERE chat_id = '00000000-0000-4000-8000-000000000101'
AND (created_at, id) > (
:'cursor_created_at'::timestamptz,
:'cursor_id'::uuid
)
ORDER BY created_at, id
LIMIT 101;
+94
View File
@@ -0,0 +1,94 @@
\set ON_ERROR_STOP on
\pset tuples_only on
\pset format unaligned
\pset pager off
WITH selected_messages AS (
(
SELECT
id::text AS id,
chat_id::text AS chat_id,
sender_id::text AS sender_id,
md5(text) AS text_md5,
to_char(
created_at AT TIME ZONE 'UTC',
'YYYY-MM-DD"T"HH24:MI:SS.US"Z"'
) AS created_at
FROM messages
ORDER BY created_at, id
LIMIT 1
)
UNION ALL
(
SELECT
id::text,
chat_id::text,
sender_id::text,
md5(text),
to_char(
created_at AT TIME ZONE 'UTC',
'YYYY-MM-DD"T"HH24:MI:SS.US"Z"'
)
FROM messages
ORDER BY created_at, id
OFFSET 49999
LIMIT 1
)
UNION ALL
(
SELECT
id::text,
chat_id::text,
sender_id::text,
md5(text),
to_char(
created_at AT TIME ZONE 'UTC',
'YYYY-MM-DD"T"HH24:MI:SS.US"Z"'
)
FROM messages
ORDER BY created_at, id
OFFSET 99999
LIMIT 1
)
),
distribution AS (
SELECT
chat_id::text AS chat_id,
count(*) AS message_count
FROM messages
GROUP BY chat_id
)
SELECT jsonb_build_object(
'counts',
jsonb_build_object(
'users', (SELECT count(*) FROM users),
'chats', (SELECT count(*) FROM chats),
'chat_members', (SELECT count(*) FROM chat_members),
'messages', (SELECT count(*) FROM messages),
'sessions', (SELECT count(*) FROM sessions)
),
'message_distribution',
(
SELECT jsonb_object_agg(
chat_id,
message_count
ORDER BY chat_id
)
FROM distribution
),
'selected_messages',
(
SELECT jsonb_agg(
to_jsonb(selected_messages)
ORDER BY created_at, id
)
FROM selected_messages
),
'message_indexes',
(
SELECT jsonb_agg(indexname ORDER BY indexname)
FROM pg_indexes
WHERE schemaname = 'public'
AND tablename = 'messages'
)
)::text;