31 KiB
Отчёт — лабораторная 2
- Автор, группа: Морозова Ольга Андреевна, БВТ2303
- Целевая оценка: 5
- Выбранный трек 5: Трек 2. План запроса и восстановление.
- Репозиторий: Gitea
- PR: TODO после публикации
- Использованные источники: README.md, COURSE.md, contracts/openapi.json, contracts/README.md, документация Go, PostgreSQL, Redis, Docker
- Библиотеки: Go 1.22 (stdlib), github.com/google/uuid v1.6.0, github.com/jackc/pgx/v5 v5.5.5, github.com/redis/go-redis/v9 v9.5.1, golang.org/x/crypto v0.23.0 (Argon2id). Тесты — Python 3 (stdlib).
- Помощь ИИ: Deepseek — написание и проверка кода.
Запуск из чистого clone
Команды выполнялись в WSL2 (Ubuntu) на Windows 11.
Требования: Docker 24+ (Compose v2), Go 1.22+ (только для локальной сборки без Docker), Python 3.9+ (для тестов), make, psql при работе с треком 2 напрямую.
Версии (фиксированные теги образов):
golang:1.22-alpine— build stagealpine:3.20— runtime stagepostgres:16.3-alpineredis:7.2.5-alpine
Подготовка
git clone https://gitea.privcloud.tech/MiniLynx/mtusi2026lab2-fork
cd mtusi2026lab2-fork
# 1. Секреты. В репозиторий они НЕ входят (см. .gitignore).
mkdir -p secrets
printf 'local-dev-postgres-password\n' > secrets/postgres_password.txt
printf 'postgres://messenger:local-dev-postgres-password@postgres:5432/messenger?sslmode=disable\n' \
> secrets/database_url.txt
printf 'redis://redis:6379/0\n' > secrets/cache_url.txt
# 2. Локальный .env на основе .env.example.
cp .env.example .env
# 3. Python для проверок.
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-dev.txt
Сборка и запуск
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
# Дождаться /health/ready
docker compose ps
Тесты
make check
make validate PYTHON=.venv/bin/python
make test
# Persistence (lab2+)
chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Собственные проверки lab2
make my_tests
Остановка (с сохранением volumes)
docker compose --env-file .env down
Намеренное удаление учебных данных (НЕ использовать в persistence-проверках)
docker compose --env-file .env down -v
rm -f secrets/*.txt
Архитектура и решения
HTTP-клиент → API (Go, net/http, PID 1, non-root app:app)
├── PostgreSQL 16.3 ─ users, chats, chat_members, messages, sessions
└── Redis 7.2.5 ─ кэш сессий (source of truth — PostgreSQL)
- Источник истины: PostgreSQL. Redis — только кэш; при его недоступности API продолжает работать через БД (проверяется в
lab2_extra.py). - Транзакционные границы:
CreateChat—BEGIN ... COMMIT(Read Committed): проверка существования всехmember_ids, вставкаchats, вставкаchat_members. При неизвестном участнике — rollback, наружуErrInvalid→ 400.AddMessage—BEGIN ... COMMIT: проверка членства + вставка сообщения.
- Пароли: Argon2id (PHC-строка,
m=19456, t=2, p=1, 16-байтная соль, 32-байтный ключ), OWASP baseline. Сравнение —subtle.ConstantTimeCompare. При отсутствии пользователя всё равно выполняется фиктивный verify, чтобы не различать таймингом «нет пользователя» и «неверный пароль». - Сессии: opaque-токен, 32 случайных байта (
crypto/rand),base64.RawURLEncoding→ 43 символа, ≥256 бит. Хранится вsessions(token, user_id, expires_at). Кэш в Redis ключомsession:<token>, TTL = остаток доexpires_at. - Graceful shutdown: SIGTERM/SIGINT,
srv.Shutdown(ctx)с 10-секундным бюджетом. - Пул соединений:
MaxConns=10,MinConns=1,ConnectTimeout=5s,MaxConnIdleTime=5m,MaxConnLifetime=1h. - Кэш Redis:
DialTimeout=1s,ReadTimeout=500ms,WriteTimeout=500ms,MaxRetries=0— при недоступности сразу идём в БД, чтобы не блокировать клиента.
Что перенесено из lab1
- Структура пакетов
src/api,src/domain,src/config,cmd/messenger. - Формат ошибок и
X-Request-Id. - Маршрутизация на
net/httpServeMux (Go 1.22 patterns). - Dockerfile (multi-stage, non-root, healthcheck).
Что изменено
X-User-Idбольше не даёт доступ; бизнес-эндпоинты принимают толькоAuthorization: Bearer.X-User-Idигнорируется (проверяется smoke-тестом: подстановка чужого id не меняет владельца сессии).POST /auth/sessionsпринимает только Basic; выдача201 Session,DELETE /auth/sessions/current→ 204.POST /usersтребуетpassword(12–128 code points).- Всё состояние — в PostgreSQL; добавлены миграции
0001_init.sql,0002_sessions.sql,0003_messages_alt_index.sql. - Добавлен Redis как кэш сессий.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Offline-структура и локальные refs | make check |
PASS | png |
| Полная OpenAPI 3.1 и JSON Schema | make validate PYTHON=.venv/bin/python |
PASS | png |
| Публичный smoke, API lab1 с новой аутентификацией | make test |
PASS | png |
| Persistence: перезапуск API+БД+Redis, токен жив | make test-persistence ACTION_SCRIPT=scripts/restart.sh |
PASS | png |
| Нагрузочный тест | make load |
"failed_requests": 0, "error_ratio": 0.0, "successful_latency_ms": { "p50": 16.403, "p95": 27.836, "p99": 39.511 } | png |
| Реальный перезапуск хранилищ (не no-op) | docker compose stop postgres redis → start → md5 users/messages до и после |
md5 совпадают volume inspect показывает те же CreatedAt у pgdata/redisdata |
png |
| Контейнеры healthy | docker compose ps |
api / postgres / redis — Up (healthy) | png |
| Миграции идемпотентны | docker compose logs migrate |
NOTICE: relation ... already exists, skipping для 0001/0002/0003, migrations done |
png |
| Схема БД | \d+ users chats chat_members messages sessions |
соответствует | txt |
| Стенд, volumes и секреты | docker compose --env-file .env config --quiet, git check-ignore .env |
API, БД, Redis и frontend healthy; именованные тома; .env исключён из Git |
репозиторий |
| TTL expiry (короткий SESSION_TTL_SECONDS) | make my_tests → lab2_expiry.py --ttl 2 |
original SESSION_TTL_SECONDS=3600 → SESSION_TTL_SECONDS=2 → токен 401 → restoring SESSION_TTL_SECONDS=3600 |
png |
| Гонка username | lab2_extra.py |
username race yields exactly one 201 and one 409 |
png |
| Rollback CreateChat | lab2_extra.py |
create chat is atomic; unknown member aborts the whole operation |
png |
| Logout удаляет из источника истины | lab2_extra.py |
logout revokes session in source of truth (401 → 401) |
png |
| Redis down → API работает через БД | lab2_extra.py |
API works through DB when Redis is down (/health/ready 200) |
png |
| PostgreSQL down → 503 | lab2_extra.py |
/health/ready returns 503 when PostgreSQL is down |
png |
| Redis реально используется для сессий | docker compose exec redis redis-cli KEYS 'session:*' до и после make test |
до: (empty array); после: 2 ключа session:uU8vOzLpbuPdAv6eughP4WkM6EePWjK9R6hAJ_1vO4, session:dVnW7V0E3VEPrnq_6_jg5nFIWO0RY2PIdZkIY7s-9tCj-Y |
png |
Трек 2. План запроса и восстановление
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Засев ≥100 000 сообщений | psql < scripts/seed_messages.sql |
seeded 150000 messages across 200 chats; count(*)=150000 |
png |
| Неравномерное распределение по чатам | SELECT chat_id, count(*) ... GROUP BY chat_id ORDER BY n DESC LIMIT 10 |
топ-5 чатов: 24286, 24200, 24187, 24074, 24029; далее единицы (181, 180, 175, 172, 171) — 80/20-профиль | png |
| Размер таблицы и индексов | pg_relation_size / pg_indexes_size / pg_total_relation_size |
table 30 MB, indexes 73 MB, total 104 MB | png |
| VACUUM ANALYZE | VACUUM (ANALYZE, VERBOSE) messages; |
3879 pages, 150000 live, 0 dead; 150000 estimated rows | png |
| EXPLAIN A (только узкий индекс) | DROP covering → VACUUM → explain_A.sql |
Index Scan using idx_messages_chat_created_id, Buffers: shared hit=18, Execution Time: 0.484 ms |
png, txt |
| EXPLAIN B (узкий + покрывающий) | CREATE covering → VACUUM → explain_B.sql |
Index Only Scan using idx_messages_chat_covering, Heap Fetches: 0, Buffers: shared hit=6 read=5, Execution Time: 0.494 ms |
png, txt |
| Размер индексов | SELECT indexname, pg_size_pretty(pg_relation_size(indexname::regclass)) FROM pg_indexes WHERE tablename='messages' |
covering 34 MB, created_id 18 MB, pkey 7480 kB | png |
| Стоимость записи: только A | DROP covering → bench_insert.sql (10 000 INSERT, \timing on) |
INSERT 0 10000, Time: 901.418 ms |
png, txt |
| Стоимость записи: A+B | CREATE covering → bench_insert.sql |
INSERT 0 10000, Time: 1010.371 ms |
png, txt |
| Статистика индексов | pg_stat_reset(); 20×SELECT...; pg_stat_user_indexes |
idx_messages_chat_covering: idx_scan=20, idx_tup_read=1020, idx_tup_fetch=0; idx_messages_chat_created_id: idx_scan=0 — planner выбрал покрывающий |
png |
| Backup | time sh scripts/backup.sh evidence |
real 0m1.829s, файл evidence/lab2_track2_backup_20261009T125319Z.dump |
png |
| Restore в новую БД | time docker compose exec -T postgres pg_restore ... < "$DUMP" |
real 0m4.093s; \dt в messenger_restore показывает users/chats/chat_members/messages/sessions |
png |
| Сверка count | SELECT count(*) FROM messenger_restore.messages |
160000 (150000 seed + 10000 bench) |
png |
| Сверка md5 + контрольные UUID | md5(string_agg(... ORDER BY id)) в src и dst |
src=b67e892fa51734cdd2fe263931a4c7d4 == dst=b67e892fa51734cdd2fe263931a4c7d4, MATCH; 5 самых старых сообщений совпадают побайтово по id/chat_id/sender_id/created_at |
png |
Эксперименты и отказы
Трек 2. План запроса и восстановление
Гипотеза
- Для keyset-пагинации
ORDER BY (created_at, id) LIMIT 51узкий индекс(chat_id, created_at, id)даётIndex Scan+ heap fetches. Покрывающий(chat_id, created_at, id) INCLUDE (sender_id, text)позволяетIndex Only Scanбез обращений к heap. Ожидание — меньшеBuffersи стабильнее latency на больших историях. - Плата — рост размера индекса и замедление INSERT на горячий чат (вторая структура, шире запись).
- Логический backup/restore в отдельную БД даёт побайтовое совпадение count и контрольных UUID; время восстановления линейно от размера дампа.
Методика
scripts/seed_messages.sql— 150 000 сообщений, 50 пользователей, 200 чатов, 80% сообщений в 5 «горячих» чатах (см. png). Пароли seed-пользователей — фиктивный bcrypt-хеш, для FK и планов этого достаточно.VACUUM (ANALYZE, VERBOSE) messages;перед EXPLAIN (png).scripts/explain_A.sql— с только узким индексом;scripts/explain_B.sql— с обоими; обаEXPLAIN (ANALYZE, BUFFERS, FORMAT TEXT).scripts/bench_insert.sql— 10 000 INSERT в один чат,\timing on, без индекса B и с ним.pg_stat_reset()+ 20 запросов +pg_stat_user_indexes— чтобы planner выбрал индекс по реальной статистике.scripts/backup.sh(pg_dump -Fc),scripts/restore.sh(новая БДmessenger_restoreна том же инстансе), сверка —md5(string_agg(... ORDER BY id))в обеих БД и контрольные 5 UUID поcreated_at, id.
Hardware/лимиты:
- Хост: Windows 11, WSL2, AMD Ryzen 5 3500U, 8 ядер, 8 GB RAM.
- Контейнеры: без явных CPU/RAM-лимитов; один Docker-host.
- Версии: Docker Engine 29.1.3, PostgreSQL 16.3, Redis 7.2.5, Go 1.22, alpine 3.20.
Результаты
EXPLAIN (150 000 сообщений, топ-чат 24 286 сообщений):
| План | Узел | Buffers | Heap Fetches | Execution Time |
|---|---|---|---|---|
| A (только узкий) | Index Scan using idx_messages_chat_created_id |
shared hit=18 | — | 0.484 ms |
| B (узкий + покрывающий) | Index Only Scan using idx_messages_chat_covering |
shared hit=6 read=5 | 0 | 0.494 ms |
Покрывающий индекс убирает heap fetches и снижает Buffers (18 → 11). Execution Time на 51 строке в пределах шума — это ожидаемо, выигрыш проявляется на больших страницах.
Размер индексов:
| Индекс | Размер |
|---|---|
idx_messages_chat_covering |
34 MB |
idx_messages_chat_created_id |
18 MB |
messages_pkey |
7480 kB |
Стоимость записи (10 000 INSERT в один чат):
| Индексы | Время |
|---|---|
| Только A | 901.418 ms |
| A + B | 1010.371 ms |
Прирост ~12% на запись — плата за покрывающий индекс. Для горячего чата это осознанный компромисс.
Статистика использования индексов (после pg_stat_reset() и 20 запросов):
| Индекс | idx_scan | idx_tup_read | idx_tup_fetch |
|---|---|---|---|
idx_messages_chat_covering |
20 | 1020 | 0 |
idx_messages_chat_created_id |
0 | 0 | 0 |
messages_pkey |
0 | 0 | 0 |
Planner предпочёл покрывающий индекс. idx_tup_fetch=0 подтверждает Index Only Scan.
Backup / restore:
| Сценарий | Время |
|---|---|
pg_dump -Fc (160 000 сообщений) |
1.829 s |
pg_restore в messenger_restore |
4.093 s |
| Восстановленный count | 160000 |
| md5 src == dst | b67e892fa51734cdd2fe263931a4c7d4 (MATCH) |
| 5 контрольных UUID | совпадают побайтово |
Выводы по треку
- Гипотеза 1 подтверждена: покрывающий индекс переводит чтение в
Index Only Scan, убирая heap fetches. На 150 000 сообщениях planner действительно выбирает его,idx_tup_fetch=0. - Гипотеза 2 подтверждена: два индекса дороже на записи (+12% на 10 000 INSERT). Для горячего чата (24 286 сообщений) это оправданный компромисс; в реальной системе имело бы смысл оставить только один или разнести чтение/запись.
- Гипотеза 3 подтверждена: логический restore даёт побайтовое совпадение count и контрольных UUID. Граница: восстановление выполнено в новую БД на том же PostgreSQL-инстансе, а не на отдельный host. Это учебный компромисс; реальный DR требует отдельного инстанса, проверки WAL/архива и измерения RPO/RTO, чего здесь нет.
Отказы
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
| SIGTERM | Корректное завершение ≤10 с | shutting down... → stopped, exit 0 |
≤1 с; данные не теряются (PostgreSQL) |
docker compose restart postgres redis без -v |
Данные и токен сессии живы | make test-persistence PASS; md5 users/messages до и после совпадают |
~5–10 с |
| Redis недоступен | API работает через PostgreSQL | 200 на /health/ready и бизнес-запросах |
без потерь |
| PostgreSQL недоступен | /health/ready → 503 |
503 | до восстановления контейнера |
| Истечение SESSION_TTL_SECONDS=2 | Токен → 401 | PASS, .env восстановлен до 3600 |
— |
| Logout | Токен отозван, повтор → 401 | 204 → 401 → 401 | — |
| Неверный пароль | 401 с WWW-Authenticate: Basic |
совпадает | — |
| Гонка одинакового username | Ровно один 201, остальные 409 | PASS | — |
| CreateChat с неизвестным участником | 400, частичного чата нет | PASS | — |
Ограничения и следующие шаги
- Один Docker-host. Падение хоста или PostgreSQL-контейнера не покрывается.
- Redis — кэш, не источник истины. При
flushall/рестарте сессии читаются из PostgreSQL.appendonly yes+save 60 1включены для случая, если Redis станет единственным хранилищем сессий. - Кэш консистентен, но не согласован. После
Revokeмы явно удаляем ключ; при падении API междуDELETEв БД иDELв Redis возможно окно «висячего» кэша с истёкшим TTL. TTL ограничивает окно. - Seed-пользователи не логинятся (фиктивный
password_hash). Для трека 2 это неважно; в защите не пытайтесь залогиниться подseed_u_*. scripts/verify_restore.sqlне использовался в финальном прогоне: он опирается наdblink, а расширение не установлено. Сверка выполненаmd5(string_agg(... ORDER BY id))в обеих БД + сравнение 5 контрольных UUID. Скриптverify_restore.sqlследует либо дополнитьCREATE EXTENSION IF NOT EXISTS dblink;, либо заменить на md5-сверку.scripts/restore.shвосстанавливает в БД на том же инстансе. Не считается DR. Реальный DR — отдельный инстанс, WAL/архив, RPO/RTO.down -v— destructive-команда для намеренного удаления учебных данных; в persistence-сценарии не используется.- Отчёт не содержит токенов,
.env,secrets/*.txt, signed URL, приватных ключей, реальных сообщений. Все пользователи синтетические.