15 KiB
Отчёт — лабораторная 2
- Автор, группа: Черненко Сергей БПИ-2301
- Целевая оценка; выбранный трек 5: 5, трек 2 (план запроса и восстановление)
- Commit/PR: заполнить после публикации
- Использованные источники, библиотеки и помощь ИИ: Go 1.26.5, pgx v5.7.6, go-redis v9.14.1, golang.org/x/crypto (Argon2id), PostgreSQL 16.10, Redis 7.4.6. Контракт и публичные тесты — из skeleton. Часть кода, тестов и этого текста написана с помощью ИИ в Cursor; команды и цифры ниже перепроверены прогоном 23 октября 2026.
Запуск из чистого clone
Нужны Docker и Python 3.9+ (здесь Python 3.12.10). Go на хосте нужен только для go test.
Copy-Item .env.example .env
docker compose --env-file .env up -d --build
Подождать, пока http://127.0.0.1:8080/health/ready отвечает 200. Пароли в .env.example учебные, файл .env не коммитится.
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/run.py --base-url http://127.0.0.1:8080
python student-tests/deps.py --base-url http://127.0.0.1:8080
python student-tests/track2.py
Проверка истечения сессии: в .env поставить SESSION_TTL_SECONDS=2, выполнить docker compose --env-file .env up -d --no-deps --force-recreate api, затем python student-tests/expiry.py --base-url http://127.0.0.1:8080 --wait 3. После этого вернуть 3600 и пересоздать api. Обычный smoke требует TTL не меньше 300.
Сохранность на Linux:
chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
На Windows тот же restart.sh из Python не запускается. Прогон 23 октября выполнен в контейнере Alpine, подключённом к сети стенда. Команда записана в evidence/persistence.txt.
Остановка без удаления данных: docker compose --env-file .env down. Удаление учебных volumes: docker compose --env-file .env down -v.
Образы: golang:1.26.5-alpine и alpine:3.24.1 закреплены digest в Dockerfile. PostgreSQL postgres:16.10-alpine (sha256:029660641a0cfc575b14f336ba448fb8a75fd595d42e1fa316b9fb4378742297). Redis redis:7.4.6-alpine (sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98). Собранный API: sha256:149cd36e705b568cfbf00b8b889cba3772e1f0910d0bba514b811f0411b99685. Процесс слушает 0.0.0.0:8080 от пользователя 10001:10001. Лимит контейнера API: 2 CPU и 768 МиБ.
Архитектура и решения
Клиент ходит только в API. PostgreSQL — источник истины для пользователей, чатов, состава и сообщений. Redis хранит сессии и больше ничего. Пароль в Redis не попадает. В ключе лежит SHA-256 токена, не сам токен. TTL выставляется один раз при входе и чтением не продлевается.
Пароль хешируется Argon2id (m=19456 КиБ, t=1, p=1). Это password KDF, не checksum: проверка намеренно дороже, чтобы перебор пароля был медленным. SHA-256 для этого не годится.
Создание чата — одна транзакция: строка чата и строки участников. Если участника нет, транзакция откатывается, пустой чат не остаётся. Отправка сообщения вставляет строку только если отправитель есть в chat_members.
История читается keyset-запросом (created_at, id) > cursor ORDER BY created_at, id LIMIT n+1. Индекс messages_history_idx по (chat_id, created_at, id) создаётся миграцией 002. Пул PostgreSQL — не больше 8 соединений, statement_timeout 8 с, таймаут запроса 4 с.
/health/live проверяет только процесс. /health/ready — 200, если отвечают и PostgreSQL, и Redis. Иначе 503 без текста SQL и адресов. Запрос без Bearer получает 401, даже если Redis выключен: отсутствие сессии не превращается в доверие.
Из лабораторной 1 перенесены контракт сообщений, строгий JSON и курсор. X-User-Id больше не выбирает пользователя. Регистрация требует password. Вход — Basic только на POST /api/v1/auth/sessions.
| Переменная | Куда попадает |
|---|---|
APP_HOST, APP_PORT, APP_ENV |
процесс API |
DATABASE_URL |
пул PostgreSQL; в Compose собирается из POSTGRES_* |
CACHE_URL |
клиент Redis; в Compose собирается из REDIS_PASSWORD |
SESSION_TTL_SECONDS |
срок новой сессии, по умолчанию 3600 |
SESSION_STORE=redis |
сессии только в Redis; пользователи и сообщения остаются в PostgreSQL |
MIGRATIONS_DIR |
каталог 001_tables.sql и 002_message_history_index.sql |
Повторный старт читает schema_migrations и не применяет уже записанные файлы, поэтому данные не дублируются.
PostgreSQL запущен с synchronous_commit=on и fsync=on. Успешный ответ клиенту означает, что COMMIT этой транзакции уже подтверждён сервером. Redis: appendonly yes, appendfsync everysec, volume redis-data. Одного TTL без AOF было бы мало: рестарт контейнера стёр бы сессии.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS | evidence/smoke.txt |
| Пользователи, чаты, участники, сообщения в PostgreSQL; уникальный username; миграции | схема migrations/, повторный старт API не плодит строки |
smoke создаёт данные после миграции с пустого volume | migrations/ |
| Атомарное создание чата | неизвестный участник, затем пустой список чатов | 400, чат не виден |
evidence/student-tests.txt |
Basic только на вход, Bearer дальше, X-User-Id не даёт доступ, logout |
smoke и student-tests/run.py |
401 / 204 / повторный 401 |
evidence/smoke.txt, evidence/student-tests.txt |
| Argon2id | регистрация и проверка пароля | неверный и неизвестный пользователь дают один и тот же текст 401 |
evidence/student-tests.txt |
| Рестарт API, PostgreSQL и Redis с прежним токеном | scripts/restart.sh через tests/resilience.py |
PASS, сообщение и сессия на месте | evidence/persistence.txt |
| Redis — хранилище сессий с TTL и AOF | CONFIG GET appendonly внутри track2 |
yes, appendfsync everysec |
evidence/track2.json |
| Гонка username | 8 параллельных регистраций | ровно один 201, остальные 409 |
evidence/student-tests.txt |
| Пул, таймауты, параметризованные запросы | код cmd/messenger/main.go, запросы с $1 |
недоступная БД отвечает 503, не зависает дольше таймаута клиента |
evidence/deps.txt |
| EXPLAIN на чате ≥ 10 000 | keyset первой страницы чата из 20 000 | Index Scan по messages_history_idx, 0.191 мс, shared hit=14 |
evidence/track2-explain.txt |
| Пагинация без полного прохода | глубокая страница чата из 70 000 | index scan читает 51 строку, не весь чат | evidence/track2-explain.txt |
| Короткий TTL, logout, неверный пароль | expiry.py, run.py |
через 3 с после TTL=2 ответ 401; logout 204 |
evidence/expiry.txt, evidence/student-tests.txt |
| Падение Redis и PostgreSQL | student-tests/deps.py |
ready 503; без токена 401; с токеном при мёртвом Redis 503 |
evidence/deps.txt |
| Трек 2 | python student-tests/track2.py |
100040 сообщений, два плана, цена записи, restore | evidence/track2.json |
Эксперименты и отказы
Гипотеза: страница истории через (created_at, id) > cursor на индексе (chat_id, created_at, id) читает около одной страницы даже глубоко в большом чате. OFFSET на том же индексе читает весь пропущенный префикс. Индекс только по created_at на отметке, до которой дошёл лишь самый большой чат, тоже почти точечный, поэтому он не доказывает отказ от фильтра по чату. Дополнительный индекс замедляет вставку. pg_dump во второй volume повторяет снимок и не содержит строку, закоммиченную после старта дампа.
Стенд 23 октября 2026. Windows 11 (10.0.22621), 16 логических CPU, 15.3 ГиБ RAM, Docker 29.3.1. API ограничен 2 CPU и 768 МиБ. PostgreSQL и Redis в этом прогоне без отдельного CPU-лимита. Набор: 100040 сообщений, 73 чата, размеры 70000, 20000, 8000, 1500, 400, 80, 15, 5, сорок чатов по одному сообщению и 25 пустых.
| Запрос | Что сделал планировщик | Время | Буферы |
|---|---|---|---|
| Keyset, глубина 60000, индекс истории | Index Scan, фактически 51 строка | 0.262 мс | shared hit=14 |
| OFFSET 60000 того же чата | тот же индекс, фактически 60051 строка | 30.490 мс | shared hit=1124 |
| Первая страница чата из 20000 | Index Scan по индексу истории | 0.191 мс | shared hit=14 |
Тот же глубокий keyset, индекс только по created_at |
Index Scan + фильтр, отброшена 1 строка | 0.391 мс | shared hit=11 read=3 |
Вставка одних и тех же 50000 строк: только первичный ключ 118 мс, первичный ключ плюс индекс истории 153 мс. Это один прогон, не серия повторов.
pg_dump -Fc занял 0.466 с и 2.98 МиБ. pg_restore в отдельный контейнер postgres-restore со своим volume — 0.667 с. Счётчики после восстановления совпали со снимком: 2 пользователя, 73 чата, 146 участий, 100040 сообщений. Три выбранные строки большого чата совпали. Строка, вставленная в источник после дампа, в восстановленной базе отсутствует (extra_row_in_restore = 0), а в источнике сообщений стало 100041.
PostgreSQL в этом прогоне: server_version=16.10, synchronous_commit=on, fsync=on.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
restart API, PostgreSQL и Redis |
тот же токен читает то же сообщение | PASS публичного persistence-теста | контейнеры поднялись в пределах ожидания теста; volume не удалялся |
| Останов Redis | нет доступа «наугад» | без токена 401, с токеном 503, ready 503 |
после start ready снова 200, старая сессия жива |
| Останов PostgreSQL | регистрация не проходит | 503, аноним остаётся 401 |
после start ready 200 |
COMMIT после начала pg_dump |
этой строки нет в новом хранилище | в источнике 100041, в копии 100040 | дамп 0.466 с, restore 0.667 с; строка после дампа потеряна для этой копии |
| Жёсткое выключение питания | не проверялось | нет измерения | при appendfsync everysec Redis может потерять около секунды новых сессий; выключение хоста до fsync PostgreSQL этим стендом не воспроизводилось |
Ограничения и следующие шаги
Рестарт контейнеров на одном Docker-host не равен потере машины. down -v уничтожает и сообщения, и сессии. Снимок pg_dump не содержит транзакции, закоммиченные после его старта. Два сообщения в одну микросекунду упорядочиваются по id, а не по порядку COMMIT. Индекс только по времени на глубокой странице самого большого чата оказался почти таким же дешёвым: соседние чаты короче и до этой секунды не доходят. Вывод про OFFSET от этого не зависит: он прочитал 60051 строку против 51 у keyset.
Пароль Argon2id с t=1 — учебный параметр, не настройка lab7. TLS нет: стенд слушает только 127.0.0.1. Redis без пароля с хоста не опубликован, пароль есть на внутренней сети.