Лабораторная 2. PostgreSQL, сессии и Redis/Valkey

Перенести состояние в постоянное хранилище и связать запросы с аутентифицированным пользователем. Подтверждённые сообщения и действующие сессии переживают перезапуск.

В этой версии перенесён REST API из lab1 и реализованы PostgreSQL, миграции, хеширование паролей scrypt и постоянные Bearer-сессии. PostgreSQL остаётся источником истины; Redis используется как TTL-кэш для чтения сессий, с fallback на PostgreSQL при недоступности кэша. Web UI не требуется.

Код приложения разделён в src/: handlers.py обрабатывает HTTP и маршруты, store.py отвечает за PostgreSQL/Redis, security.py — хеширование паролей и общие проверки, config.py содержит настройки, errors.py — ошибки API, app.py собирает и запускает сервер. server.py остаётся точкой входа.

Карта курса · Процесс fork/PR · OpenAPI · Семантика API · Проверки · Отчёт · Примеры JSON · Памятка преподавателю

Откуда начинаем

Перенесите собственный минимум lab1. Изменения API: password при регистрации, Basic для создания сессии, Bearer вместо X-User-Id для бизнес-запросов.

Архитектура: Клиент → API → PostgreSQL; на 4 появляется Redis ИЛИ Valkey для сессий/кэша.

Что сделать

  1. Опишите таблицы, ограничения, индексы и транзакционные границы до написания запросов. Добавьте версионируемые миграции.
  2. Перенесите пользователей, чаты, членство и сообщения в PostgreSQL. Не используйте SQLite как замену PostgreSQL в принимаемом стенде.
  3. Реализуйте регистрацию с password KDF, вход через Basic, opaque Bearer-сессию, expiry и logout. Действующие сессии тоже должны сохраняться.
  4. Подготовьте единый локальный запуск API и БД (Compose рекомендуется уже здесь), подключите именованные volumes.
  5. Пройдите smoke и тест полного перезапуска. На 4 добавьте Redis/Valkey с конкретной ролью и повторите эксперимент отказа.

Оценка «3»: работающий минимум

  • Минимум lab1 сохранён с объявленным переходом на новую аутентификацию. Все обязательные данные и ещё действующие сессии переживают рестарт API и хранилищ без удаления volumes.
  • PostgreSQL содержит пользователей, чаты, участников и сообщения. Есть первичные/внешние ключи, уникальность username и миграции с нуля. Составная операция создания чата выполняется атомарно.
  • Basic применяется только на POST /auth/sessions, остальные endpoint требуют Bearer. Есть срок жизни сессии и отзыв; X-User-Id не даёт доступ. Пароли уже хешируются password KDF.
  • make test и make test-persistence ACTION_SCRIPT=scripts/restart.sh проходят. Миграции повторно запускаются без дублирования данных. Secrets/volumes не попадают в Git.

Оценка «4»: уровень стажёра/джуна

Весь уровень 3 и все пункты ниже:

  • Redis ИЛИ Valkey реально используется для сессий с TTL либо осмысленного кэша. Опишите источник истины, политику expiry и инвалидации. Если это единственное хранилище сессий, включите persistence, выдерживающее проверяемый рестарт; один TTL не сохраняет данные.
  • Используются параметризованные запросы/безопасный ORM, ограниченный connection pool и таймауты. Проверены гонка регистрации одинакового username и rollback составной операции.
  • Индекс истории обоснован запросом и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях; пагинация не использует полный scan всей истории на каждую страницу.
  • Есть автоматическая проверка expiry при коротком SESSION_TTL_SECONDS, logout, неверного пароля и недоступности Redis/БД. При потере сервиса приложение возвращает ограниченную ошибку/корректно обходит кэш, не принимает запрос от анонимного пользователя как доверенный.

Оценка «5»: исследование и доказанный результат

Весь уровень 4 и один законченный трек на выбор. Приведите гипотезу, повторяемую методику, результаты и ограничения.

Трек 1. Согласованность кэша. Покажите на конкурентном сценарии stale read или cache stampede, реализуйте защиту и измерьте число SQL-запросов/latency до и после. Докажите read-after-write из контракта и восстановление после рестарта кэша; одной установки Redis недостаточно.

Трек 2. План запроса и восстановление. Исследуйте ≥100 000 сообщений с неравномерными размерами чатов, сравните ≥2 индекса/запроса и стоимость записи. Сделайте backup → восстановление в новое хранилище → сверку количества и выбранных сообщений. Обсудите время восстановления и границы потери данных.

Запуск и проверка

Создайте локальный .env и замените пароль PostgreSQL на новый локальный пароль (для строки подключения используйте hex-значение):

cp .env.example .env
# Отредактируйте POSTGRES_PASSWORD в .env; не добавляйте .env в Git.
docker compose --env-file .env up -d --build

API ждёт готовности PostgreSQL, применяет новые SQL-миграции из migrations/ и слушает http://127.0.0.1:8080. Схема создаётся при первом старте; повторный запуск не применяет миграции заново.

make check
make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Остановить контейнеры, сохранив данные в именованном volume:
docker compose --env-file .env down

Данные сохраняются в postgres_data. Для намеренного удаления всего учебного состояния, включая пользователей, сообщения и действующие сессии, выполните отдельно и только после проверки нужного compose-проекта:

docker compose --env-file .env down --volumes

.env.example, compose.yaml и contracts/infrastructure.json описывают локальные настройки и роли компонентов. Секреты, .env и Docker volumes не должны попадать в Git.

Проверки уровня 4 и исследовательский трек уровня 5 запускаются явно на учебном стенде:

make grade4
make track5

make grade4 временно перезапускает API с двухсекундным TTL для проверки expiry, запускает интеграционные проверки Redis/PostgreSQL, включая конкурентное заполнение кэша сессии одновременно с logout, и возвращает штатный TTL. make track5 создаёт отдельные случайно именованные временные БД, измеряет два варианта индекса на skewed-наборе по 100 000 сообщений на вариант, затем проверяет custom-format backup/restore и удаляет только созданные им БД. Численные результаты и планы сохраняются в evidence/track5_query_restore.*.

Примеры запросов доступны в examples/requests.http, примеры JSON — в contracts/examples.json. Для полной проверки схемы (по желанию локально; CI делает её автоматически):

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements-dev.txt
make validate PYTHON=.venv/bin/python

Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по tests/README.md, остальные доказательства приведите в отчёте.

Сценарий защиты

  1. Применить миграции к пустому volume, создать пользователей, войти, отправить сообщение.
  2. Запустить persistence-сценарий: он держит токен только в памяти тестового процесса; action script перезапускает API и все используемые хранилища, сохраняя volumes.
  3. После готовности тот же токен читает те же данные; после logout — 401. Повторить с отдельным коротким TTL для проверки expiry.
  4. Для 4: показать роль Redis/Valkey, план SQL и ошибку зависимости. Для 5: выполнить выбранный эксперимент.

Что должно быть в PR

Исходники, Dockerfile, миграции, compose.yaml либо эквивалентный воспроизводимый запуск, scripts/restart.sh, собственные тесты и отчёт.

Заполните REPORT.md и шаблон PR, укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах объявленных переходов.

Вопросы на защите

  • Что подтверждает COMMIT и какие гарантии зависят от настройки durability?
  • Где хранятся сессии и что будет после flush/restart Redis?
  • Чем аутентификация отличается от доступа к конкретному чату?
  • Почему hash пароля и быстрый checksum имеют разные задачи?

Первичные материалы

S
Description
No description provided
Readme
235 KiB
Languages
Python 95.3%
Shell 2.6%
Makefile 1.4%
Dockerfile 0.7%