25 KiB
Лабораторная работа № 2 — постоянное хранение и сессии
- Автор: Максим Шептунов, группа БВТ2301.
- Целевая оценка: 5.
- Выбранный трек: 2, «План запроса и восстановление».
- Дата проверки: 02.10.2026.
- Исходный skeleton:
65003b61195361aac238f19c9bff0027ca58e09e. - Commit решения и ссылка на PR: заполнить после публикации.
- Помощь ИИ: помощь с реализацией, тестами и разбором результатов.
- Все численные результаты ниже получены на моём стенде. Доказательства — файлы
evidence/local_*и JSON текущего эксперимента.
1. Переход от первой лабораторной
За основу взят мой итоговый вариант lab1. Сохранены операции с пользователями, чатами и сообщениями, проверки входных данных, доступ только участникам, единый формат ошибок и курсорная пагинация.
Хранение в памяти заменено PostgreSQL. Вместо доверия заголовку X-User-Id добавлены пароль и сессии. Redis используется для кеширования публичного профиля пользователя. Добавлены миграции, ограничения базы, проверки транзакций, перезапуска и отказов. Обязательные контракты и публичные тесты lab2 не изменялись.
2. Окружение и запуск
| Параметр | Значение |
|---|---|
| Система | Windows 11, WSL2/Ubuntu; ядро 5.15.146.1-microsoft-standard-WSL2 |
| CPU | Intel Core i5-1240P; WSL видит 16 логических CPU |
| Память, видимая WSL | около 7,6 GiB; swap 2,0 GiB |
| Python хоста / API | 3.10.12 / 3.12.10 |
| Docker | 28.0.1 |
| Docker Compose | v2.27.0-desktop.2 |
| PostgreSQL | 16.9, образ postgres:16.9-bookworm |
| Redis | 7.4.3, образ redis:7.4.3-bookworm |
| PostgreSQL shared_buffers / work_mem | 128MB / 4MB |
| PostgreSQL fsync / synchronous_commit | on / on |
Окружение зафиксировано в evidence/local_environment.txt. Это параметры виртуальной среды, а не измерение потребления CPU и памяти процессами. Образы закреплены тегами; зависимости API перечислены в requirements.txt.
Запуск из каталога проекта:
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements-dev.txt
chmod +x scripts/*.sh
make setup
docker compose config --quiet
docker compose up -d --build --wait
make ready
На хост устанавливаются зависимости проверки OpenAPI; зависимости API устанавливаются в Docker-образе.
setup создаёт пароль и строку подключения в .secrets, а также .env. Каталог .secrets имеет права 700; db_password — 600; database_url — 644, чтобы непривилегированный пользователь API мог прочитать файл, смонтированный через Compose secrets. Закрытый родительский каталог ограничивает доступ других пользователей хоста. .secrets и .env исключены из Git и контекста сборки.
Первый запуск выявил ошибку прав чтения database_url; права и setup.sh исправлены. Успешная готовность и работа после исправления подтверждены local_ready.txt, local_services.txt и local_smoke.txt.
Обычная остановка: docker compose down. Именованные volumes сохраняются. docker compose down -v удаляет данные и не используется для проверки перезапуска. Пароль не следует заменять отдельно от существующего PostgreSQL volume.
3. Архитектура, схема и транзакции
FastAPI выполняет валидацию, аутентификацию и проверку доступа. PostgreSQL — источник истины для users, chats, chat_members, messages и sessions. У PostgreSQL постоянный volume. Redis хранит публичные профили с TTL 60 секунд; его данные также находятся в volume, включён AOF с appendfsync everysec.
Схема задана в migrations/001_initial.sql:
- UUID — первичные ключи основных объектов;
- users.username имеет UNIQUE и проверку формата;
- chat_members имеет составной PRIMARY KEY (chat_id, user_id);
- внешние ключи запрещают ссылки на отсутствующих пользователей и чаты;
- messages(chat_id, sender_id) ссылается на членство (chat_id, user_id);
- CHECK ограничивает допустимость текстовых полей;
- индекс messages(chat_id, created_at, id) соответствует чтению истории;
- индекс chat_members(user_id, chat_id) помогает искать чаты пользователя;
- sessions содержит хеш токена, пользователя и expires_at.
Создание чата и всех участников выполняется в одной транзакции. В тесте ошибка внешнего ключа возникает после частичных вставок; после rollback отсутствуют и чат, и членство. INSERT сообщения фиксируется до ответа 201.
Конкурентная регистрация защищена UNIQUE: из восьми запросов с одинаковым username один успешен, остальные получают 409. SQL-параметры передаются отдельно через psycopg, без конкатенации пользовательских значений.
Миграции применяются при запуске. schema_migrations хранит версии; изменение схемы и запись версии атомарны. Advisory lock сериализует одновременное применение миграций. Повторное применение проверено тестом.
Пул PostgreSQL: 1–8 соединений, ожидание соединения 2 секунды, connect_timeout 2 секунды, statement_timeout 3 секунды, lock_timeout 2 секунды. Это пределы отдельных стадий, а не единый deadline всего HTTP-запроса.
4. Аутентификация и кеш
Пароли хешируются Argon2id: time_cost=2, memory_cost=19456 KiB, parallelism=1, случайная соль библиотеки. Basic разрешён только для POST /api/v1/auth/sessions. Для операций с чатами и сообщениями нужен Bearer; X-User-Id не предоставляет доступ.
Токен генерируется из 32 случайных байтов. Клиент получает исходный токен, PostgreSQL хранит только SHA-256. Быстрый хеш подходит для случайного токена высокой энтропии; для человеческого пароля используется медленный KDF.
Сессия имеет абсолютный срок: момент выдачи плюс TTL, по умолчанию 3600 секунд. На каждом защищённом запросе PostgreSQL проверяет токен и expires_at. Logout удаляет сессию; перезапуск не продлевает её срок. Уже начатый запрос может завершиться после logout.
Redis не кеширует действительность сессии: после проверки в PostgreSQL он заменяет повторное SQL-чтение публичного профиля. При отказе Redis профиль читается из PostgreSQL. Профиль не редактируется обязательным API; при добавлении редактирования понадобится инвалидация кеша.
В Docker-прогоне первоначально обнаружена задержка fallback более восьми секунд. Добавлены dns_opt timeout:1/attempts:1 для API и пропуск записи в кеш после ошибки его чтения. Повторный тест отказов прошёл. Socket timeout Redis равен 0,25 секунды, но не является общим пределом времени с учётом DNS. Весь сценарий Redis offline занял 3,065 секунды, а не один запрос.
При отказе PostgreSQL приложение не доверяет данным клиента: защищённый запрос получает 503. /health/live не требует базы; /health/ready проверяет PostgreSQL. Пустой Redis не препятствует готовности.
Локальный API опубликован только на 127.0.0.1:8080. При удалённом использовании нужен TLS: Basic/Base64 не шифрует пароль. Пароли и токены не добавляются в evidence.
5. Выполненные проверки
| Проверка | Результат | Доказательство в evidence |
|---|---|---|
| make check | PASS, структура и синтаксис; не проверяет работающий API | local_check.txt |
| make validate | PASS, OpenAPI и JSON Schema; не проверяет работающий API | local_validate.txt |
| make ready, docker compose ps | API готов, три сервиса healthy | local_ready.txt, local_services.txt |
| make test | PASS публичного сценария API | local_smoke.txt |
| make student-checks | PASS гонки регистрации, валидации, cursor scope, read-after-write и logout | local_student_checks.txt |
| Тест API из lab1 | 10 клиентов создали ровно 100 уникальных сообщений; пагинация прошла | local_student_checks.txt |
| Тест БД | PASS rollback чата и участников, повтор миграций | local_student_checks.txt |
| SIGTERM и перезапуск API | завершение за 0,166 с, старый пользователь и токен сохранились | local_student_checks.txt |
| make test-persistence ACTION_SCRIPT=scripts/restart.sh | PASS сохранности подтверждённых данных и старой сессии | local_persistence.txt |
| make test-dependencies | PASS отказов, восстановления и запрета анонимного доступа | local_dependencies.txt, dependency_failures.json |
| make test-expiry | PASS срока сессии с TTL=2 | local_expiry.txt |
| make test после отказов | PASS | local_smoke_after_failures.txt |
| make experiment | PASS 100000 сообщений, двух индексов, запросов и записи | local_experiment.txt, track2_raw.json |
| make backup-restore | PASS отдельного PostgreSQL/volume и сверки данных | local_backup_restore.txt, backup_restore.json, restore_verification.json |
| Финальный make test | PASS после эксперимента и восстановления | local_final_smoke.txt |
scripts/restart.sh останавливает API, Redis и PostgreSQL, затем запускает хранилища и API с ожиданием готовности. Тест persistence использует прежний токен и ранее подтверждённые данные, без повторной регистрации. В выводе теста scope hook не раскрывается; его объём определяется указанным скриптом.
Команды воспроизведения:
make check
make validate
make test
make student-checks
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-dependencies
make test-expiry
make ready
make test
make experiment
make backup-restore
make test
6. Исследование трека 2
Гипотеза и методика
Гипотеза: составной индекс (chat_id, created_at, id) вместе с keyset-пагинацией уменьшает работу при чтении глубокой страницы. OFFSET даже при наличии индекса должен пройти пропускаемые строки. Более широкий индекс требует дополнительного места и может увеличить стоимость записи.
Эксперимент изолирован в схеме research_07e953c76ff9 внутри основной БД. Это не отдельное физическое хранилище. Структура таблиц и ограничения соответствуют приложению.
Создано 100000 сообщений: пять чатов на 70000, 20000, 9000, 900 и 100 сообщений. Использованы случайные UUID, текст переменной длины и время с интервалом 1 микросекунда. Seed=42 задаёт порядок измерений, но не делает UUID детерминированными.
Сравниваются индексы (chat_id) и (chat_id, created_at, id), запросы OFFSET и keyset, три позиции в каждом чате: около начала, середины и 90% истории. Всего 60 комбинаций. Каждый запрос возвращает до 51 строки, соответствуя странице API на 50 сообщений с дополнительной строкой для определения продолжения.
Для сравнения выбирается одна граница, после которой оба запроса возвращают одну и ту же страницу. Позиция около начала означает чтение после первой выбранной строки, а не первый запрос без курсора.
Для каждой комбинации выполнены 5 прогревов и 30 измерений, concurrency=1. Перед измерением обновлена статистика ANALYZE. Планировщик не принуждается использовать индекс. Client latency включает SQL, передачу результата и работу драйвера; это не HTTP latency. EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) выполнен отдельно. p50 — медиана, p95/p99 вычислены методом ближайшего ранга; при 30 измерениях p99 фактически максимум.
Результат глубокой страницы большого чата
Чат: 70000 сообщений. Курсор после позиции 62999; OFFSET пропускает 63000 строк.
| Индекс | Запрос | p50, мс | p95, мс |
|---|---|---|---|
| chat_id | OFFSET | 39,608 | 46,870 |
| chat_id | keyset | 12,574 | 16,630 |
| chat_id, created_at, id | OFFSET | 10,017 | 14,338 |
| chat_id, created_at, id | keyset | 0,741 | 0,982 |
Keyset с составным индексом примерно в 13,5 раза быстрее по медиане, чем OFFSET с тем же индексом. Это результат конкретной страницы и стенда.
У начала большого чата медианы составного индекса: OFFSET 0,375 мс, keyset 0,508 мс. Преимущество keyset не универсально: при малом числе пропускаемых строк различие невелико. Полные результаты находятся в track2_summary.md и track2_raw.json.
Объяснение планами
Для глубокого OFFSET с составным индексом план содержит Limit → Index Scan. Сканирование отдаёт 63051 строку; Limit пропускает 63000. Shared hit blocks — 2447.
Для keyset с составным индексом: Limit → Index Scan с границей пары (created_at, id) в Index Cond. Сканирование отдаёт 51 строку, shared hit blocks — 6. Отдельная сортировка не нужна. Server Execution Time этого отдельного EXPLAIN — 0,068 мс; это не клиентская медиана 0,741 мс.
При индексе только chat_id глубокий OFFSET использует Seq Scan → Sort → Limit, сортировка external merge с временными блоками. Для keyset с простым индексом в этом прогоне выбран Index Scan и top-N heapsort; отобрано 7000 строк до ограничения страницы. Один курсор без соответствующего составного индекса не обеспечивает столь же дешёвое чтение.
Размер индекса и запись
После каждой конфигурации выполнено пять транзакций COPY по 1000 строк с COMMIT. Текст партии одинаковой длины; сообщения распределены по чатам равномерно. Удаление дополнительных строк находится вне таймера. Это пакетная SQL-вставка, не время HTTP POST.
| Индекс | Размер, байт | Медиана партии, мс |
|---|---|---|
| chat_id | 720896 | 29,870 |
| chat_id, created_at, id | 5914624 | 33,735 |
Составной индекс примерно в 8,2 раза больше. Медиана пакетной записи выше примерно на 12,9%. В этом прогоне ускорение чтения сопровождалось увеличением размера и наблюдаемым замедлением записи. Пять партий и фиксированный порядок конфигураций не позволяют заявлять статистически устойчивую величину накладных расходов.
Ограничения: прогретые кеши, один клиент SQL, виртуальная среда, отсутствие исследования холодного диска и максимальной нагрузки. Тридцать повторов недостаточны для надёжной оценки редкого хвоста задержек. Вариант без дополнительного индекса не измерялся. Повтор эксперимента создаёт новую схему и не удаляет старые.
7. Backup, восстановление и границы потери данных
scripts/backup_restore.sh выполняет pg_dump -Fc всей БД, создаёт отдельный Compose project и новый PostgreSQL volume, восстанавливает архив через pg_restore и проверяет данные исследовательской схемы. Рабочее хранилище не заменяется.
| Показатель | Результат |
|---|---|
| Создание backup | 1,033 с |
| Запуск нового PostgreSQL | 5,770 с |
| pg_restore | 1,109 с |
| Размер архива | 3208212 байт |
| Проект восстановления | lab2-restore-1790966246-29166 |
| Полных выбранных сообщений совпало | 5 |
Сверка после восстановления: users=1, chats=5, chat_members=5, messages=100000, sessions=0 в исследовательской схеме. Сравниваются id, chat_id, sender_id, text и created_at пяти сообщений. Это проверка количества и выборочных полных строк, не полный checksum базы. Сохранность сессий проверяется отдельно тестом persistence.
Дамп содержит всю БД, включая рабочие тестовые данные, а 100000 — количество сообщений текущей исследовательской схемы. Raw dump хранится в backups и не публикуется.
pg_dump создаёт согласованный снимок. Более поздние записи не гарантируются в копии. RPO зависит от возраста и периодичности backup; нулевой RPO не заявляется. PITR и архивирование WAL не настроены.
RTO включает подготовку хранилища, передачу backup, восстановление, проверки и переключение приложения. Измеренные 1,109 с — только pg_restore; запуск нового сервера измерен отдельно, время проверки и полного переключения не включено.
При fsync=on и synchronous_commit=on COMMIT подтверждает локальную фиксацию WAL. Volume сохраняет данные при обычном restart, но не защищает от физической потери диска или хоста.
8. Отказы и ограничения реализации
| Воздействие | Факт проверки | Граница результата |
|---|---|---|
| Перезапуск API и хранилищ | прежние данные и токен сохранились | volumes сохранены; это не потеря диска |
| Redis offline | fallback, чтение/запись и logout работают; сценарий 3,065 с | время всего набора операций, не одного GET |
| PostgreSQL offline | 503 защищённого запроса, live=200, без токена=401; сценарий 0,024 с | конкретный отказ в этом прогоне, не общий предел |
| Restore в новый volume | количество и пять полных сообщений совпали | более поздние записи могут отсутствовать |
Один API и одна PostgreSQL primary, без HA и репликации. Курсор задаёт устойчивый порядок (created_at, id), но отдельные страницы не образуют единый снимок: конкурентная поздняя фиксация строки с ключом до курсора может привести к её пропуску при обходе. UUID не является порядком COMMIT.
Профиль и членство не редактируются обязательным API. Истёкшие сессии отвергаются по expires_at; периодическая очистка таблицы отдельно не реализована. Нет отдельного механизма идемпотентности отправки сообщений. Требуются дополнительные измерения перед масштабированием пула и количества API.
9. Источники
- README.md, COURSE.md и contracts/ текущей лабораторной.
- PostgreSQL 16: https://www.postgresql.org/docs/16/indexes-multicolumn.html
- EXPLAIN: https://www.postgresql.org/docs/16/using-explain.html
- Backup: https://www.postgresql.org/docs/16/app-pgdump.html
- Restore: https://www.postgresql.org/docs/16/app-pgrestore.html
- psycopg: https://www.psycopg.org/psycopg3/docs/
- Argon2: https://argon2-cffi.readthedocs.io/
- HTTP Basic: https://www.rfc-editor.org/rfc/rfc7617