forked from mtusi2026/mtusi2026lab2
124 lines
13 KiB
Markdown
124 lines
13 KiB
Markdown
# Лабораторная 2. PostgreSQL, сессии и Redis/Valkey
|
|
|
|
Перенести состояние в постоянное хранилище и связать запросы с аутентифицированным пользователем. Подтверждённые сообщения и действующие сессии переживают перезапуск.
|
|
|
|
В этой версии перенесён REST API из lab1 и реализованы PostgreSQL, миграции, хеширование паролей scrypt и постоянные Bearer-сессии. PostgreSQL остаётся источником истины; Redis используется как TTL-кэш для чтения сессий, с fallback на PostgreSQL при недоступности кэша. Web UI не требуется.
|
|
|
|
Код приложения разделён в `src/`: `handlers.py` обрабатывает HTTP и маршруты, `store.py` отвечает за PostgreSQL/Redis, `security.py` — хеширование паролей и общие проверки, `config.py` содержит настройки, `errors.py` — ошибки API, `app.py` собирает и запускает сервер. `server.py` остаётся точкой входа.
|
|
|
|
[Карта курса](COURSE.md) · [Процесс fork/PR](CONTRIBUTING.md) · [OpenAPI](contracts/openapi.json) · [Семантика API](contracts/README.md) · [Проверки](tests/README.md) · [Отчёт](REPORT.md) · [Примеры JSON](contracts/examples.json) · [Памятка преподавателю](MAINTAINERS.md)
|
|
|
|
## Откуда начинаем
|
|
|
|
Перенесите собственный минимум lab1. Изменения API: password при регистрации, Basic для создания сессии, Bearer вместо X-User-Id для бизнес-запросов.
|
|
|
|
**Архитектура:** Клиент → API → PostgreSQL; на 4 появляется Redis ИЛИ Valkey для сессий/кэша.
|
|
|
|
## Что сделать
|
|
|
|
1. Опишите таблицы, ограничения, индексы и транзакционные границы до написания запросов. Добавьте версионируемые миграции.
|
|
2. Перенесите пользователей, чаты, членство и сообщения в PostgreSQL. Не используйте SQLite как замену PostgreSQL в принимаемом стенде.
|
|
3. Реализуйте регистрацию с password KDF, вход через Basic, opaque Bearer-сессию, expiry и logout. Действующие сессии тоже должны сохраняться.
|
|
4. Подготовьте единый локальный запуск API и БД (Compose рекомендуется уже здесь), подключите именованные volumes.
|
|
5. Пройдите smoke и тест полного перезапуска. На 4 добавьте Redis/Valkey с конкретной ролью и повторите эксперимент отказа.
|
|
|
|
## Оценка «3»: работающий минимум
|
|
|
|
- Минимум lab1 сохранён с объявленным переходом на новую аутентификацию. Все обязательные данные и ещё действующие сессии переживают рестарт API и хранилищ без удаления volumes.
|
|
- PostgreSQL содержит пользователей, чаты, участников и сообщения. Есть первичные/внешние ключи, уникальность username и миграции с нуля. Составная операция создания чата выполняется атомарно.
|
|
- Basic применяется только на POST /auth/sessions, остальные endpoint требуют Bearer. Есть срок жизни сессии и отзыв; X-User-Id не даёт доступ. Пароли уже хешируются password KDF.
|
|
- make test и make test-persistence ACTION_SCRIPT=scripts/restart.sh проходят. Миграции повторно запускаются без дублирования данных. Secrets/volumes не попадают в Git.
|
|
|
|
## Оценка «4»: уровень стажёра/джуна
|
|
|
|
Весь уровень 3 **и все** пункты ниже:
|
|
|
|
- Redis ИЛИ Valkey реально используется для сессий с TTL либо осмысленного кэша. Опишите источник истины, политику expiry и инвалидации. Если это единственное хранилище сессий, включите persistence, выдерживающее проверяемый рестарт; один TTL не сохраняет данные.
|
|
- Используются параметризованные запросы/безопасный ORM, ограниченный connection pool и таймауты. Проверены гонка регистрации одинакового username и rollback составной операции.
|
|
- Индекс истории обоснован запросом и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях; пагинация не использует полный scan всей истории на каждую страницу.
|
|
- Есть автоматическая проверка expiry при коротком SESSION_TTL_SECONDS, logout, неверного пароля и недоступности Redis/БД. При потере сервиса приложение возвращает ограниченную ошибку/корректно обходит кэш, не принимает запрос от анонимного пользователя как доверенный.
|
|
|
|
## Оценка «5»: исследование и доказанный результат
|
|
|
|
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
|
|
|
**Трек 1. Согласованность кэша.** Покажите на конкурентном сценарии stale read или cache stampede, реализуйте защиту и измерьте число SQL-запросов/latency до и после. Докажите read-after-write из контракта и восстановление после рестарта кэша; одной установки Redis недостаточно.
|
|
|
|
**Трек 2. План запроса и восстановление.** Исследуйте ≥100 000 сообщений с неравномерными размерами чатов, сравните ≥2 индекса/запроса и стоимость записи. Сделайте backup → восстановление в новое хранилище → сверку количества и выбранных сообщений. Обсудите время восстановления и границы потери данных.
|
|
|
|
## Запуск и проверка
|
|
|
|
Создайте локальный `.env` и замените пароль PostgreSQL на новый локальный пароль (для строки подключения используйте hex-значение):
|
|
|
|
```sh
|
|
cp .env.example .env
|
|
# Отредактируйте POSTGRES_PASSWORD в .env; не добавляйте .env в Git.
|
|
docker compose --env-file .env up -d --build
|
|
```
|
|
|
|
API ждёт готовности PostgreSQL, применяет новые SQL-миграции из `migrations/` и слушает `http://127.0.0.1:8080`. Схема создаётся при первом старте; повторный запуск не применяет миграции заново.
|
|
|
|
```sh
|
|
make check
|
|
make test
|
|
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
|
# Остановить контейнеры, сохранив данные в именованном volume:
|
|
docker compose --env-file .env down
|
|
```
|
|
|
|
Данные сохраняются в `postgres_data`. Для намеренного удаления всего учебного состояния, включая пользователей, сообщения и действующие сессии, выполните отдельно и только после проверки нужного compose-проекта:
|
|
|
|
```sh
|
|
docker compose --env-file .env down --volumes
|
|
```
|
|
|
|
`.env.example`, `compose.yaml` и `contracts/infrastructure.json` описывают локальные настройки и роли компонентов. Секреты, `.env` и Docker volumes не должны попадать в Git.
|
|
|
|
Проверки уровня 4 и исследовательский трек уровня 5 запускаются явно на учебном стенде:
|
|
|
|
```sh
|
|
make grade4
|
|
make track5
|
|
```
|
|
|
|
`make grade4` временно перезапускает API с двухсекундным TTL для проверки expiry, запускает интеграционные проверки Redis/PostgreSQL, включая конкурентное заполнение кэша сессии одновременно с logout, и возвращает штатный TTL. `make track5` создаёт отдельные случайно именованные временные БД, измеряет два варианта индекса на skewed-наборе по 100 000 сообщений на вариант, затем проверяет custom-format backup/restore и удаляет только созданные им БД. Численные результаты и планы сохраняются в `evidence/track5_query_restore.*`.
|
|
|
|
|
|
Примеры запросов доступны в `examples/requests.http`, примеры JSON — в `contracts/examples.json`. Для полной проверки схемы (по желанию локально; CI делает её автоматически):
|
|
|
|
```sh
|
|
python3 -m venv .venv
|
|
.venv/bin/python -m pip install -r requirements-dev.txt
|
|
make validate PYTHON=.venv/bin/python
|
|
```
|
|
|
|
Smoke не выставляет оценку автоматически. Проверку сохранности/отказов запускайте явно по [tests/README.md](tests/README.md), остальные доказательства приведите в отчёте.
|
|
|
|
## Сценарий защиты
|
|
|
|
1. Применить миграции к пустому volume, создать пользователей, войти, отправить сообщение.
|
|
2. Запустить persistence-сценарий: он держит токен только в памяти тестового процесса; action script перезапускает API и все используемые хранилища, сохраняя volumes.
|
|
3. После готовности тот же токен читает те же данные; после logout — 401. Повторить с отдельным коротким TTL для проверки expiry.
|
|
4. Для 4: показать роль Redis/Valkey, план SQL и ошибку зависимости. Для 5: выполнить выбранный эксперимент.
|
|
|
|
## Что должно быть в PR
|
|
|
|
Исходники, Dockerfile, миграции, compose.yaml либо эквивалентный воспроизводимый запуск, scripts/restart.sh, собственные тесты и отчёт.
|
|
|
|
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
|
|
|
## Вопросы на защите
|
|
|
|
- Что подтверждает COMMIT и какие гарантии зависят от настройки durability?
|
|
- Где хранятся сессии и что будет после flush/restart Redis?
|
|
- Чем аутентификация отличается от доступа к конкретному чату?
|
|
- Почему hash пароля и быстрый checksum имеют разные задачи?
|
|
|
|
## Первичные материалы
|
|
|
|
- [PostgreSQL transactions](https://www.postgresql.org/docs/current/tutorial-transactions.html)
|
|
- [PostgreSQL EXPLAIN](https://www.postgresql.org/docs/current/using-explain.html)
|
|
- [Valkey persistence](https://valkey.io/topics/persistence/)
|
|
- [Redis persistence](https://redis.io/docs/latest/operate/oss_and_stack/management/persistence/)
|
|
- [Basic authentication](https://www.rfc-editor.org/info/rfc7617/)
|