Files
mtusi2026lab2/REPORT.md
T
2026-10-02 22:04:22 +03:00

25 KiB
Raw Blame History

Лабораторная работа № 2 — постоянное хранение и сессии

  • Автор: Максим Шептунов, группа БВТ2301.
  • Целевая оценка: 5.
  • Выбранный трек: 2, «План запроса и восстановление».
  • Дата проверки: 02.10.2026.
  • Исходный skeleton: 65003b61195361aac238f19c9bff0027ca58e09e.
  • Commit решения и ссылка на PR: заполнить после публикации.
  • Помощь ИИ: помощь с реализацией, тестами и разбором результатов.
  • Все численные результаты ниже получены на моём стенде. Доказательства — файлы evidence/local_* и JSON текущего эксперимента.

1. Переход от первой лабораторной

За основу взят мой итоговый вариант lab1. Сохранены операции с пользователями, чатами и сообщениями, проверки входных данных, доступ только участникам, единый формат ошибок и курсорная пагинация.

Хранение в памяти заменено PostgreSQL. Вместо доверия заголовку X-User-Id добавлены пароль и сессии. Redis используется для кеширования публичного профиля пользователя. Добавлены миграции, ограничения базы, проверки транзакций, перезапуска и отказов. Обязательные контракты и публичные тесты lab2 не изменялись.

2. Окружение и запуск

Параметр Значение
Система Windows 11, WSL2/Ubuntu; ядро 5.15.146.1-microsoft-standard-WSL2
CPU Intel Core i5-1240P; WSL видит 16 логических CPU
Память, видимая WSL около 7,6 GiB; swap 2,0 GiB
Python хоста / API 3.10.12 / 3.12.10
Docker 28.0.1
Docker Compose v2.27.0-desktop.2
PostgreSQL 16.9, образ postgres:16.9-bookworm
Redis 7.4.3, образ redis:7.4.3-bookworm
PostgreSQL shared_buffers / work_mem 128MB / 4MB
PostgreSQL fsync / synchronous_commit on / on

Окружение зафиксировано в evidence/local_environment.txt. Это параметры виртуальной среды, а не измерение потребления CPU и памяти процессами. Образы закреплены тегами; зависимости API перечислены в requirements.txt.

Запуск из каталога проекта:

python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-dev.txt
chmod +x scripts/*.sh
make setup
docker compose config --quiet
docker compose up -d --build --wait
make ready

На хост устанавливаются зависимости проверки OpenAPI; зависимости API устанавливаются в Docker-образе.

setup создаёт пароль и строку подключения в .secrets, а также .env. Каталог .secrets имеет права 700; db_password — 600; database_url — 644, чтобы непривилегированный пользователь API мог прочитать файл, смонтированный через Compose secrets. Закрытый родительский каталог ограничивает доступ других пользователей хоста. .secrets и .env исключены из Git и контекста сборки.

Первый запуск выявил ошибку прав чтения database_url; права и setup.sh исправлены. Успешная готовность и работа после исправления подтверждены local_ready.txt, local_services.txt и local_smoke.txt.

Обычная остановка: docker compose down. Именованные volumes сохраняются. docker compose down -v удаляет данные и не используется для проверки перезапуска. Пароль не следует заменять отдельно от существующего PostgreSQL volume.

3. Архитектура, схема и транзакции

FastAPI выполняет валидацию, аутентификацию и проверку доступа. PostgreSQL — источник истины для users, chats, chat_members, messages и sessions. У PostgreSQL постоянный volume. Redis хранит публичные профили с TTL 60 секунд; его данные также находятся в volume, включён AOF с appendfsync everysec.

Схема задана в migrations/001_initial.sql:

  • UUID — первичные ключи основных объектов;
  • users.username имеет UNIQUE и проверку формата;
  • chat_members имеет составной PRIMARY KEY (chat_id, user_id);
  • внешние ключи запрещают ссылки на отсутствующих пользователей и чаты;
  • messages(chat_id, sender_id) ссылается на членство (chat_id, user_id);
  • CHECK ограничивает допустимость текстовых полей;
  • индекс messages(chat_id, created_at, id) соответствует чтению истории;
  • индекс chat_members(user_id, chat_id) помогает искать чаты пользователя;
  • sessions содержит хеш токена, пользователя и expires_at.

Создание чата и всех участников выполняется в одной транзакции. В тесте ошибка внешнего ключа возникает после частичных вставок; после rollback отсутствуют и чат, и членство. INSERT сообщения фиксируется до ответа 201.

Конкурентная регистрация защищена UNIQUE: из восьми запросов с одинаковым username один успешен, остальные получают 409. SQL-параметры передаются отдельно через psycopg, без конкатенации пользовательских значений.

Миграции применяются при запуске. schema_migrations хранит версии; изменение схемы и запись версии атомарны. Advisory lock сериализует одновременное применение миграций. Повторное применение проверено тестом.

Пул PostgreSQL: 1–8 соединений, ожидание соединения 2 секунды, connect_timeout 2 секунды, statement_timeout 3 секунды, lock_timeout 2 секунды. Это пределы отдельных стадий, а не единый deadline всего HTTP-запроса.

4. Аутентификация и кеш

Пароли хешируются Argon2id: time_cost=2, memory_cost=19456 KiB, parallelism=1, случайная соль библиотеки. Basic разрешён только для POST /api/v1/auth/sessions. Для операций с чатами и сообщениями нужен Bearer; X-User-Id не предоставляет доступ.

Токен генерируется из 32 случайных байтов. Клиент получает исходный токен, PostgreSQL хранит только SHA-256. Быстрый хеш подходит для случайного токена высокой энтропии; для человеческого пароля используется медленный KDF.

Сессия имеет абсолютный срок: момент выдачи плюс TTL, по умолчанию 3600 секунд. На каждом защищённом запросе PostgreSQL проверяет токен и expires_at. Logout удаляет сессию; перезапуск не продлевает её срок. Уже начатый запрос может завершиться после logout.

Redis не кеширует действительность сессии: после проверки в PostgreSQL он заменяет повторное SQL-чтение публичного профиля. При отказе Redis профиль читается из PostgreSQL. Профиль не редактируется обязательным API; при добавлении редактирования понадобится инвалидация кеша.

В Docker-прогоне первоначально обнаружена задержка fallback более восьми секунд. Добавлены dns_opt timeout:1/attempts:1 для API и пропуск записи в кеш после ошибки его чтения. Повторный тест отказов прошёл. Socket timeout Redis равен 0,25 секунды, но не является общим пределом времени с учётом DNS. Весь сценарий Redis offline занял 3,065 секунды, а не один запрос.

При отказе PostgreSQL приложение не доверяет данным клиента: защищённый запрос получает 503. /health/live не требует базы; /health/ready проверяет PostgreSQL. Пустой Redis не препятствует готовности.

Локальный API опубликован только на 127.0.0.1:8080. При удалённом использовании нужен TLS: Basic/Base64 не шифрует пароль. Пароли и токены не добавляются в evidence.

5. Выполненные проверки

Проверка Результат Доказательство в evidence
make check PASS, структура и синтаксис; не проверяет работающий API local_check.txt
make validate PASS, OpenAPI и JSON Schema; не проверяет работающий API local_validate.txt
make ready, docker compose ps API готов, три сервиса healthy local_ready.txt, local_services.txt
make test PASS публичного сценария API local_smoke.txt
make student-checks PASS гонки регистрации, валидации, cursor scope, read-after-write и logout local_student_checks.txt
Тест API из lab1 10 клиентов создали ровно 100 уникальных сообщений; пагинация прошла local_student_checks.txt
Тест БД PASS rollback чата и участников, повтор миграций local_student_checks.txt
SIGTERM и перезапуск API завершение за 0,166 с, старый пользователь и токен сохранились local_student_checks.txt
make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS сохранности подтверждённых данных и старой сессии local_persistence.txt
make test-dependencies PASS отказов, восстановления и запрета анонимного доступа local_dependencies.txt, dependency_failures.json
make test-expiry PASS срока сессии с TTL=2 local_expiry.txt
make test после отказов PASS local_smoke_after_failures.txt
make experiment PASS 100000 сообщений, двух индексов, запросов и записи local_experiment.txt, track2_raw.json
make backup-restore PASS отдельного PostgreSQL/volume и сверки данных local_backup_restore.txt, backup_restore.json, restore_verification.json
Финальный make test PASS после эксперимента и восстановления local_final_smoke.txt

scripts/restart.sh останавливает API, Redis и PostgreSQL, затем запускает хранилища и API с ожиданием готовности. Тест persistence использует прежний токен и ранее подтверждённые данные, без повторной регистрации. В выводе теста scope hook не раскрывается; его объём определяется указанным скриптом.

Команды воспроизведения:

make check
make validate
make test
make student-checks
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-dependencies
make test-expiry
make ready
make test
make experiment
make backup-restore
make test

6. Исследование трека 2

Гипотеза и методика

Гипотеза: составной индекс (chat_id, created_at, id) вместе с keyset-пагинацией уменьшает работу при чтении глубокой страницы. OFFSET даже при наличии индекса должен пройти пропускаемые строки. Более широкий индекс требует дополнительного места и может увеличить стоимость записи.

Эксперимент изолирован в схеме research_07e953c76ff9 внутри основной БД. Это не отдельное физическое хранилище. Структура таблиц и ограничения соответствуют приложению.

Создано 100000 сообщений: пять чатов на 70000, 20000, 9000, 900 и 100 сообщений. Использованы случайные UUID, текст переменной длины и время с интервалом 1 микросекунда. Seed=42 задаёт порядок измерений, но не делает UUID детерминированными.

Сравниваются индексы (chat_id) и (chat_id, created_at, id), запросы OFFSET и keyset, три позиции в каждом чате: около начала, середины и 90% истории. Всего 60 комбинаций. Каждый запрос возвращает до 51 строки, соответствуя странице API на 50 сообщений с дополнительной строкой для определения продолжения.

Для сравнения выбирается одна граница, после которой оба запроса возвращают одну и ту же страницу. Позиция около начала означает чтение после первой выбранной строки, а не первый запрос без курсора.

Для каждой комбинации выполнены 5 прогревов и 30 измерений, concurrency=1. Перед измерением обновлена статистика ANALYZE. Планировщик не принуждается использовать индекс. Client latency включает SQL, передачу результата и работу драйвера; это не HTTP latency. EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) выполнен отдельно. p50 — медиана, p95/p99 вычислены методом ближайшего ранга; при 30 измерениях p99 фактически максимум.

Результат глубокой страницы большого чата

Чат: 70000 сообщений. Курсор после позиции 62999; OFFSET пропускает 63000 строк.

Индекс Запрос p50, мс p95, мс
chat_id OFFSET 39,608 46,870
chat_id keyset 12,574 16,630
chat_id, created_at, id OFFSET 10,017 14,338
chat_id, created_at, id keyset 0,741 0,982

Keyset с составным индексом примерно в 13,5 раза быстрее по медиане, чем OFFSET с тем же индексом. Это результат конкретной страницы и стенда.

У начала большого чата медианы составного индекса: OFFSET 0,375 мс, keyset 0,508 мс. Преимущество keyset не универсально: при малом числе пропускаемых строк различие невелико. Полные результаты находятся в track2_summary.md и track2_raw.json.

Объяснение планами

Для глубокого OFFSET с составным индексом план содержит Limit → Index Scan. Сканирование отдаёт 63051 строку; Limit пропускает 63000. Shared hit blocks — 2447.

Для keyset с составным индексом: Limit → Index Scan с границей пары (created_at, id) в Index Cond. Сканирование отдаёт 51 строку, shared hit blocks — 6. Отдельная сортировка не нужна. Server Execution Time этого отдельного EXPLAIN — 0,068 мс; это не клиентская медиана 0,741 мс.

При индексе только chat_id глубокий OFFSET использует Seq Scan → Sort → Limit, сортировка external merge с временными блоками. Для keyset с простым индексом в этом прогоне выбран Index Scan и top-N heapsort; отобрано 7000 строк до ограничения страницы. Один курсор без соответствующего составного индекса не обеспечивает столь же дешёвое чтение.

Размер индекса и запись

После каждой конфигурации выполнено пять транзакций COPY по 1000 строк с COMMIT. Текст партии одинаковой длины; сообщения распределены по чатам равномерно. Удаление дополнительных строк находится вне таймера. Это пакетная SQL-вставка, не время HTTP POST.

Индекс Размер, байт Медиана партии, мс
chat_id 720896 29,870
chat_id, created_at, id 5914624 33,735

Составной индекс примерно в 8,2 раза больше. Медиана пакетной записи выше примерно на 12,9%. В этом прогоне ускорение чтения сопровождалось увеличением размера и наблюдаемым замедлением записи. Пять партий и фиксированный порядок конфигураций не позволяют заявлять статистически устойчивую величину накладных расходов.

Ограничения: прогретые кеши, один клиент SQL, виртуальная среда, отсутствие исследования холодного диска и максимальной нагрузки. Тридцать повторов недостаточны для надёжной оценки редкого хвоста задержек. Вариант без дополнительного индекса не измерялся. Повтор эксперимента создаёт новую схему и не удаляет старые.

7. Backup, восстановление и границы потери данных

scripts/backup_restore.sh выполняет pg_dump -Fc всей БД, создаёт отдельный Compose project и новый PostgreSQL volume, восстанавливает архив через pg_restore и проверяет данные исследовательской схемы. Рабочее хранилище не заменяется.

Показатель Результат
Создание backup 1,033 с
Запуск нового PostgreSQL 5,770 с
pg_restore 1,109 с
Размер архива 3208212 байт
Проект восстановления lab2-restore-1790966246-29166
Полных выбранных сообщений совпало 5

Сверка после восстановления: users=1, chats=5, chat_members=5, messages=100000, sessions=0 в исследовательской схеме. Сравниваются id, chat_id, sender_id, text и created_at пяти сообщений. Это проверка количества и выборочных полных строк, не полный checksum базы. Сохранность сессий проверяется отдельно тестом persistence.

Дамп содержит всю БД, включая рабочие тестовые данные, а 100000 — количество сообщений текущей исследовательской схемы. Raw dump хранится в backups и не публикуется.

pg_dump создаёт согласованный снимок. Более поздние записи не гарантируются в копии. RPO зависит от возраста и периодичности backup; нулевой RPO не заявляется. PITR и архивирование WAL не настроены.

RTO включает подготовку хранилища, передачу backup, восстановление, проверки и переключение приложения. Измеренные 1,109 с — только pg_restore; запуск нового сервера измерен отдельно, время проверки и полного переключения не включено.

При fsync=on и synchronous_commit=on COMMIT подтверждает локальную фиксацию WAL. Volume сохраняет данные при обычном restart, но не защищает от физической потери диска или хоста.

8. Отказы и ограничения реализации

Воздействие Факт проверки Граница результата
Перезапуск API и хранилищ прежние данные и токен сохранились volumes сохранены; это не потеря диска
Redis offline fallback, чтение/запись и logout работают; сценарий 3,065 с время всего набора операций, не одного GET
PostgreSQL offline 503 защищённого запроса, live=200, без токена=401; сценарий 0,024 с конкретный отказ в этом прогоне, не общий предел
Restore в новый volume количество и пять полных сообщений совпали более поздние записи могут отсутствовать

Один API и одна PostgreSQL primary, без HA и репликации. Курсор задаёт устойчивый порядок (created_at, id), но отдельные страницы не образуют единый снимок: конкурентная поздняя фиксация строки с ключом до курсора может привести к её пропуску при обходе. UUID не является порядком COMMIT.

Профиль и членство не редактируются обязательным API. Истёкшие сессии отвергаются по expires_at; периодическая очистка таблицы отдельно не реализована. Нет отдельного механизма идемпотентности отправки сообщений. Требуются дополнительные измерения перед масштабированием пула и количества API.

9. Источники