Files
mtusi2026lab2/REPORT.md
2026-10-23 16:31:42 +03:00

15 KiB
Raw Permalink Blame History

Отчёт — лабораторная 2

  • Автор, группа: Черненко Сергей БПИ-2301
  • Целевая оценка; выбранный трек 5: 5, трек 2 (план запроса и восстановление)
  • Commit/PR: заполнить после публикации
  • Использованные источники, библиотеки и помощь ИИ: Go 1.26.5, pgx v5.7.6, go-redis v9.14.1, golang.org/x/crypto (Argon2id), PostgreSQL 16.10, Redis 7.4.6. Контракт и публичные тесты — из skeleton. Часть кода, тестов и этого текста написана с помощью ИИ в Cursor; команды и цифры ниже перепроверены прогоном 23 октября 2026.

Запуск из чистого clone

Нужны Docker и Python 3.9+ (здесь Python 3.12.10). Go на хосте нужен только для go test.

Copy-Item .env.example .env
docker compose --env-file .env up -d --build

Подождать, пока http://127.0.0.1:8080/health/ready отвечает 200. Пароли в .env.example учебные, файл .env не коммитится.

python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/run.py --base-url http://127.0.0.1:8080
python student-tests/deps.py --base-url http://127.0.0.1:8080
python student-tests/track2.py

Проверка истечения сессии: в .env поставить SESSION_TTL_SECONDS=2, выполнить docker compose --env-file .env up -d --no-deps --force-recreate api, затем python student-tests/expiry.py --base-url http://127.0.0.1:8080 --wait 3. После этого вернуть 3600 и пересоздать api. Обычный smoke требует TTL не меньше 300.

Сохранность на Linux:

chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh

На Windows тот же restart.sh из Python не запускается. Прогон 23 октября выполнен в контейнере Alpine, подключённом к сети стенда. Команда записана в evidence/persistence.txt.

Остановка без удаления данных: docker compose --env-file .env down. Удаление учебных volumes: docker compose --env-file .env down -v.

Образы: golang:1.26.5-alpine и alpine:3.24.1 закреплены digest в Dockerfile. PostgreSQL postgres:16.10-alpine (sha256:029660641a0cfc575b14f336ba448fb8a75fd595d42e1fa316b9fb4378742297). Redis redis:7.4.6-alpine (sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98). Собранный API: sha256:149cd36e705b568cfbf00b8b889cba3772e1f0910d0bba514b811f0411b99685. Процесс слушает 0.0.0.0:8080 от пользователя 10001:10001. Лимит контейнера API: 2 CPU и 768 МиБ.

Архитектура и решения

Клиент ходит только в API. PostgreSQL — источник истины для пользователей, чатов, состава и сообщений. Redis хранит сессии и больше ничего. Пароль в Redis не попадает. В ключе лежит SHA-256 токена, не сам токен. TTL выставляется один раз при входе и чтением не продлевается.

Пароль хешируется Argon2id (m=19456 КиБ, t=1, p=1). Это password KDF, не checksum: проверка намеренно дороже, чтобы перебор пароля был медленным. SHA-256 для этого не годится.

Создание чата — одна транзакция: строка чата и строки участников. Если участника нет, транзакция откатывается, пустой чат не остаётся. Отправка сообщения вставляет строку только если отправитель есть в chat_members.

История читается keyset-запросом (created_at, id) > cursor ORDER BY created_at, id LIMIT n+1. Индекс messages_history_idx по (chat_id, created_at, id) создаётся миграцией 002. Пул PostgreSQL — не больше 8 соединений, statement_timeout 8 с, таймаут запроса 4 с.

/health/live проверяет только процесс. /health/ready — 200, если отвечают и PostgreSQL, и Redis. Иначе 503 без текста SQL и адресов. Запрос без Bearer получает 401, даже если Redis выключен: отсутствие сессии не превращается в доверие.

Из лабораторной 1 перенесены контракт сообщений, строгий JSON и курсор. X-User-Id больше не выбирает пользователя. Регистрация требует password. Вход — Basic только на POST /api/v1/auth/sessions.

Переменная Куда попадает
APP_HOST, APP_PORT, APP_ENV процесс API
DATABASE_URL пул PostgreSQL; в Compose собирается из POSTGRES_*
CACHE_URL клиент Redis; в Compose собирается из REDIS_PASSWORD
SESSION_TTL_SECONDS срок новой сессии, по умолчанию 3600
SESSION_STORE=redis сессии только в Redis; пользователи и сообщения остаются в PostgreSQL
MIGRATIONS_DIR каталог 001_tables.sql и 002_message_history_index.sql

Повторный старт читает schema_migrations и не применяет уже записанные файлы, поэтому данные не дублируются.

PostgreSQL запущен с synchronous_commit=on и fsync=on. Успешный ответ клиенту означает, что COMMIT этой транзакции уже подтверждён сервером. Redis: appendonly yes, appendfsync everysec, volume redis-data. Одного TTL без AOF было бы мало: рестарт контейнера стёр бы сессии.

Доказательства критериев

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke python tests/smoke.py --base-url http://127.0.0.1:8080 PASS evidence/smoke.txt
Пользователи, чаты, участники, сообщения в PostgreSQL; уникальный username; миграции схема migrations/, повторный старт API не плодит строки smoke создаёт данные после миграции с пустого volume migrations/
Атомарное создание чата неизвестный участник, затем пустой список чатов 400, чат не виден evidence/student-tests.txt
Basic только на вход, Bearer дальше, X-User-Id не даёт доступ, logout smoke и student-tests/run.py 401 / 204 / повторный 401 evidence/smoke.txt, evidence/student-tests.txt
Argon2id регистрация и проверка пароля неверный и неизвестный пользователь дают один и тот же текст 401 evidence/student-tests.txt
Рестарт API, PostgreSQL и Redis с прежним токеном scripts/restart.sh через tests/resilience.py PASS, сообщение и сессия на месте evidence/persistence.txt
Redis — хранилище сессий с TTL и AOF CONFIG GET appendonly внутри track2 yes, appendfsync everysec evidence/track2.json
Гонка username 8 параллельных регистраций ровно один 201, остальные 409 evidence/student-tests.txt
Пул, таймауты, параметризованные запросы код cmd/messenger/main.go, запросы с $1 недоступная БД отвечает 503, не зависает дольше таймаута клиента evidence/deps.txt
EXPLAIN на чате ≥ 10 000 keyset первой страницы чата из 20 000 Index Scan по messages_history_idx, 0.191 мс, shared hit=14 evidence/track2-explain.txt
Пагинация без полного прохода глубокая страница чата из 70 000 index scan читает 51 строку, не весь чат evidence/track2-explain.txt
Короткий TTL, logout, неверный пароль expiry.py, run.py через 3 с после TTL=2 ответ 401; logout 204 evidence/expiry.txt, evidence/student-tests.txt
Падение Redis и PostgreSQL student-tests/deps.py ready 503; без токена 401; с токеном при мёртвом Redis 503 evidence/deps.txt
Трек 2 python student-tests/track2.py 100040 сообщений, два плана, цена записи, restore evidence/track2.json

Эксперименты и отказы

Гипотеза: страница истории через (created_at, id) > cursor на индексе (chat_id, created_at, id) читает около одной страницы даже глубоко в большом чате. OFFSET на том же индексе читает весь пропущенный префикс. Индекс только по created_at на отметке, до которой дошёл лишь самый большой чат, тоже почти точечный, поэтому он не доказывает отказ от фильтра по чату. Дополнительный индекс замедляет вставку. pg_dump во второй volume повторяет снимок и не содержит строку, закоммиченную после старта дампа.

Стенд 23 октября 2026. Windows 11 (10.0.22621), 16 логических CPU, 15.3 ГиБ RAM, Docker 29.3.1. API ограничен 2 CPU и 768 МиБ. PostgreSQL и Redis в этом прогоне без отдельного CPU-лимита. Набор: 100040 сообщений, 73 чата, размеры 70000, 20000, 8000, 1500, 400, 80, 15, 5, сорок чатов по одному сообщению и 25 пустых.

Запрос Что сделал планировщик Время Буферы
Keyset, глубина 60000, индекс истории Index Scan, фактически 51 строка 0.262 мс shared hit=14
OFFSET 60000 того же чата тот же индекс, фактически 60051 строка 30.490 мс shared hit=1124
Первая страница чата из 20000 Index Scan по индексу истории 0.191 мс shared hit=14
Тот же глубокий keyset, индекс только по created_at Index Scan + фильтр, отброшена 1 строка 0.391 мс shared hit=11 read=3

Вставка одних и тех же 50000 строк: только первичный ключ 118 мс, первичный ключ плюс индекс истории 153 мс. Это один прогон, не серия повторов.

pg_dump -Fc занял 0.466 с и 2.98 МиБ. pg_restore в отдельный контейнер postgres-restore со своим volume — 0.667 с. Счётчики после восстановления совпали со снимком: 2 пользователя, 73 чата, 146 участий, 100040 сообщений. Три выбранные строки большого чата совпали. Строка, вставленная в источник после дампа, в восстановленной базе отсутствует (extra_row_in_restore = 0), а в источнике сообщений стало 100041.

PostgreSQL в этом прогоне: server_version=16.10, synchronous_commit=on, fsync=on.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
restart API, PostgreSQL и Redis тот же токен читает то же сообщение PASS публичного persistence-теста контейнеры поднялись в пределах ожидания теста; volume не удалялся
Останов Redis нет доступа «наугад» без токена 401, с токеном 503, ready 503 после start ready снова 200, старая сессия жива
Останов PostgreSQL регистрация не проходит 503, аноним остаётся 401 после start ready 200
COMMIT после начала pg_dump этой строки нет в новом хранилище в источнике 100041, в копии 100040 дамп 0.466 с, restore 0.667 с; строка после дампа потеряна для этой копии
Жёсткое выключение питания не проверялось нет измерения при appendfsync everysec Redis может потерять около секунды новых сессий; выключение хоста до fsync PostgreSQL этим стендом не воспроизводилось

Ограничения и следующие шаги

Рестарт контейнеров на одном Docker-host не равен потере машины. down -v уничтожает и сообщения, и сессии. Снимок pg_dump не содержит транзакции, закоммиченные после его старта. Два сообщения в одну микросекунду упорядочиваются по id, а не по порядку COMMIT. Индекс только по времени на глубокой странице самого большого чата оказался почти таким же дешёвым: соседние чаты короче и до этой секунды не доходят. Вывод про OFFSET от этого не зависит: он прочитал 60051 строку против 51 у keyset.

Пароль Argon2id с t=1 — учебный параметр, не настройка lab7. TLS нет: стенд слушает только 127.0.0.1. Redis без пароля с хоста не опубликован, пароль есть на внутренней сети.