forked from mtusi2026/mtusi2026lab2
121 lines
17 KiB
Markdown
121 lines
17 KiB
Markdown
# Отчёт — лабораторная 2
|
||
|
||
- Автор, группа: Щербацевич Владислав БПИ2302
|
||
- Целевая оценка: **4**. Трек 5 не выбран.
|
||
- Commit/PR: заполнить после публикации
|
||
- Использованные источники, библиотеки и помощь ИИ: FastAPI, Uvicorn, Pydantic, psycopg3+pool, redis-py, argon2-cffi; контракт курса; помощь ИИ при переносе на PostgreSQL/сессии/Redis
|
||
|
||
## Запуск из чистого clone
|
||
|
||
Стенд: Windows 10, Docker Desktop 29.6.1, виртуальной машине Docker выделено 20 CPU и около 15.4 ГиБ RAM. Лимиты CPU/RAM на сервисы не ставились. Хостовый Python для проверок — 3.13.0. Образ API — `python:3.13.16-slim-bookworm` (digest зафиксирован в `Dockerfile`).
|
||
|
||
Образы хранилищ:
|
||
|
||
- PostgreSQL `16.10-bookworm`, digest `sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74`
|
||
- Redis `7.4.6-alpine`, digest `sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98`
|
||
|
||
```sh
|
||
python -m venv .venv
|
||
.venv/bin/python -m pip install -r requirements.txt
|
||
sh scripts/bootstrap.sh
|
||
docker compose --env-file .env up -d --build
|
||
```
|
||
|
||
На Windows те же шаги: `powershell -File scripts/bootstrap.ps1`, затем `docker compose --env-file .env up -d --build`. Bootstrap создаёт неотслеживаемые `.env` и `secrets/`. В git их нет. Пароль учебный и только локальный; в отчёт и логи он не копируется.
|
||
|
||
Дождаться `GET /health/ready` → `200 {"status":"ok"}`. Затем:
|
||
|
||
```sh
|
||
python tests/smoke.py --base-url http://127.0.0.1:8080
|
||
python student-tests/run.py
|
||
python student-tests/level4.py
|
||
```
|
||
|
||
Сохранность:
|
||
|
||
```sh
|
||
chmod +x scripts/restart.sh
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
```
|
||
|
||
`scripts/restart.sh` делает `docker compose restart api postgres redis` и не вызывает `down -v`. На PowerShell процесс Windows не запускает `.sh` напрямую (WinError 193). Там тот же файл выполняется через Git Bash: `python student-tests/persistence.py`. На Linux достаточно `make test-persistence`.
|
||
|
||
Остановка без удаления данных: `docker compose --env-file .env stop`. Удаление учебных томов: `docker compose --env-file .env down -v`.
|
||
|
||
Хостовый порт PostgreSQL — **5433**. Внутри сети Compose база остаётся `postgres:5432`. На этой машине привязка `127.0.0.1:5432` запрещена (WinError 10013), Redis на `127.0.0.1:6379` и API на `127.0.0.1:8080` открываются. Порты не публикуются наружу интерфейса, только на loopback.
|
||
|
||
## Архитектура и решения
|
||
|
||
Клиент ходит в один процесс API. Пользователи, чаты, участники и сообщения лежат в PostgreSQL: это источник истины. Сессии лежат только в Redis. Кэша истории нет, поэтому после COMMIT следующее чтение видит ту же строку без инвалидации.
|
||
|
||
Из lab1 перенесены контрактные правила чата, keyset-пагинация и формат ошибок. Память процесса больше не хранит эти данные. Аутентификация заменена по переходу 1 → 2: регистрация принимает `password`, `POST /api/v1/auth/sessions` принимает только Basic, остальные защищённые методы — только Bearer. Заголовок `X-User-Id` не читается.
|
||
|
||
Схема — `migrations/001_initial.sql`. При старте API берёт `pg_advisory_xact_lock` и применяет файл, только если его имени ещё нет в `schema_migrations`. Повторный старт пишет в лог `migrations newly_applied=0` и не вставляет строки заново. После `scripts/restart.sh` в логе API было именно `newly_applied=0`, версия осталась `001_initial.sql`.
|
||
|
||
Транзакции:
|
||
|
||
- регистрация: Argon2 считается до захвата соединения; в транзакции одна вставка `users`; уникальность username держит ограничение `uq_users_username`;
|
||
- создание чата: в одной транзакции проверка участников, вставка `chats` и все строки `chat_members`;
|
||
- сообщение: в одной транзакции проверка членства и вставка `messages`.
|
||
|
||
Пароль — Argon2id, параметры `m=32768` (32 МиБ), `t=2`, `p=1`, длина хеша 32 байта. Это не SHA-256 и не усечение bcrypt. Для отсутствующего пользователя выполняется проверка фиктивного хеша, ответ тот же, что и при неверном пароле: `401` и `WWW-Authenticate: Basic`.
|
||
|
||
Сессия — 32 случайных байта (`token_urlsafe(32)`, 256 бит). В Redis ключ `sess:` + SHA-256 токена, значение — `user_id` и абсолютный `expires_at`. Команда `SET` с `PXAT` записывает абсолютное время в миллисекундах, поэтому повтор AOF после рестарта не сдвигает срок. Чтение делает `GET` и не продлевает TTL. Logout делает `GETDEL`. Пока Redis не отвечает, запрос с Bearer получает `503`, запрос без заголовка — `401`: анонимный клиент не становится доверенным.
|
||
|
||
Redis запущен с `--appendonly yes --appendfsync always` и томом `redis_data`. `CONFIG GET` показал `appendonly=yes`, `appendfsync=always`. Ответ `201` на вход возвращается после того, как Redis подтвердил запись.
|
||
|
||
Пул SQLAlchemy: `pool_size=10`, `max_overflow=10`, ожидание соединения 5 с, `pool_pre_ping=true`. asyncpg: таймаут подключения 2 с, `command_timeout` 5 с. На стороне PostgreSQL `statement_timeout` 5 с, `lock_timeout` 5 с, `idle_in_transaction_session_timeout` 10 с. Redis: таймаут сокета 1 с, не больше 50 соединений. Запросы параметризованы через SQLAlchemy; текст сообщения в SQL не склеивается.
|
||
|
||
Переменные из `.env.example` совпадают с `compose.yaml`: `SESSION_TTL_SECONDS` (в стенде 3600, для проверки истечения отдельно 2), `DATABASE_URL_FILE` и `CACHE_URL_FILE` внутри API, прямые `DATABASE_URL` и `REDIS_URL` для процессов на хосте. `SESSION_STORE=redis`.
|
||
|
||
`/health/live` смотрит только процесс. `/health/ready` требует и PostgreSQL, и Redis: без сессий и без источника истины обязательный путь не обслуживается.
|
||
|
||
## Доказательства критериев
|
||
|
||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||
| --- | --- | --- | --- |
|
||
| Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | `PASS: lab2 public API scenario` | вывод команды, повторён после рестарта |
|
||
| Данные и сессия переживают рестарт | `python student-tests/persistence.py` (`scripts/restart.sh` перезапускает api, postgres, redis, тома на месте) | тот же Bearer читает то же сообщение; лог API: `migrations newly_applied=0` | вывод команды |
|
||
| PostgreSQL, ключи, миграция с нуля | старт пустого тома, затем повторный старт | таблицы users/chats/chat_members/messages, PK/FK, `uq_users_username`; вторая миграция не применяется | `migrations/001_initial.sql`, лог `newly_applied=0` |
|
||
| Атомарное создание чата | неизвестный участник; отдельно обрыв после INSERT чата | число чатов не меняется, строки с заголовком проверки нет (`11` и `11`, `title_rows=0`) | `evidence/level4.json` |
|
||
| Basic только на создании сессии, Bearer на остальном, `X-User-Id` не даёт доступ | `student-tests/level4.py` | неверный и неизвестный пароль дают один и тот же текст `401`; Basic на `/users/me` — `401`; один `X-User-Id` — `401`; чужой `X-User-Id` вместе с Bearer не меняет пользователя | `evidence/level4.json` |
|
||
| Пароль — Argon2id, в том числе Unicode и двоеточие | пароль `Пароль:пример-12` | повторный Basic-вход успешен | вывод `PASS: unicode password with colon` |
|
||
| Срок сессии и logout | `DELETE /api/v1/auth/sessions/current`, затем отдельный процесс с `SESSION_TTL_SECONDS=2` | logout → `204`, повтор и чтение → `401`; после `expires_at` чтение → `401` | `evidence/level4.json` |
|
||
| Redis — хранилище сессий с устойчивым TTL | `PTTL` до и после `docker compose restart redis` | `3590337` мс → `3588378` мс, ключ жив, тот же токен принимается | `evidence/level4.json` |
|
||
| Гонка одинакового username | 16 параллельных `POST /users` | ровно один `201` и пятнадцать `409` | `evidence/level4.json` |
|
||
| Параметризованные запросы | текст `'; DROP TABLE messages; --` | таблица `messages` на месте, текст сохранён как данные | вывод level4 |
|
||
| Индекс истории и keyset | 10 000 сообщений, `EXPLAIN (ANALYZE, BUFFERS)` первой страницы и страницы после 5000-й строки | `Index Scan using ix_messages_history`, не `Seq Scan`; `shared hit=5` и `shared hit=4`; `actual rows=50`; 0.050 мс и 0.051 мс | `evidence/explain_messages.txt` |
|
||
| Отказ Redis и PostgreSQL | `docker compose stop redis`, затем postgres; потом `start` | live `200`; ready `503`; без заголовка `401`; с Bearer `503`; после возврата данные и сессия на месте, 10 000 строк целы | `evidence/level4.json` |
|
||
| Свои проверки lab1 на новом входе | `python student-tests/run.py` | пагинация, 100 сообщений от 10 клиентов, текст сообщения не попадает в лог | `evidence/concurrency.json` |
|
||
|
||
Проверка инфраструктурного hook: `docker compose ps` до и после `restart` показывает те же сервисы `api`, `postgres`, `redis`; тома `postgres_data` и `redis_data` не удалялись. Скрипт завершился с кодом 0.
|
||
|
||
## Эксперименты и отказы
|
||
|
||
Нагрузка уровня 5 не заявлялась. Ниже только обязательные отказы уровня 4. Прогрев — до `/health/ready`. Конкуренция гонки — 16 запросов регистрации. История для плана — 10 000 строк в одном чате. Повторы: smoke дважды (до и после рестарта), level4 и persistence по одному успешному прогону. RPS и перцентили нагрузки не измерялись: это не трек 5. CPU/RAM стенда — 20 CPU и 15.4 ГиБ у Docker Desktop, без лимитов сервисов.
|
||
|
||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||
| --- | --- | --- | --- |
|
||
| `restart` API, PostgreSQL и Redis | тот же токен и то же сообщение, TTL не сбрасывается в полный час | сообщение найдено тем же Bearer; `PTTL` уменьшился с 3590337 до 3588378 мс | готовность около 2 с после старта контейнеров; подтверждённые строки не пропали |
|
||
| `SESSION_TTL_SECONDS=2` | после `expires_at` сессия недействительна | `401` | новая сессия нужна сразу после срока; данные пользователя остаются |
|
||
| `stop redis` | live жив, ready нет, аноним не доверен, Bearer не обслуживается | 200 / 503 / 401 / 503 | после `start redis` тот же токен снова `200`; сессия не потеряна за счёт AOF |
|
||
| `stop postgres` | live жив, чтение истории невозможно, аноним не доверен | 200 / 503 / 401 / 503 | после `start postgres` история читается; 10 000 сообщений на месте |
|
||
|
||
## Ответы к вопросам защиты
|
||
|
||
COMMIT в PostgreSQL фиксирует транзакцию чата или сообщения. При `synchronous_commit=on` (значение по умолчанию у этого образа) сервер подтверждает COMMIT после записи WAL. Это не защита от потери всего диска хоста и не замена резервной копии. Том Docker сохраняет каталог данных между рестартом контейнера, но не между `down -v`.
|
||
|
||
Сессия после рестарта Redis читается из AOF. `appendfsync always` просит fsync на каждую запись. `PXAT` хранит абсолютный срок, поэтому рестарт его не продлевает. Если удалить том Redis или выключить AOF, сессии пропадут, а пользователи и сообщения в PostgreSQL останутся. Один только TTL без persistence ключ после рестарта не возвращает.
|
||
|
||
Аутентификация отвечает на вопрос «кто вызывает». Доступ к чату отвечает на вопрос «состоит ли этот пользователь в чате». Чужой чат для уже вошедшего пользователя — `404`, не `403`, чтобы не подтверждать существование. Неверный токен — `401` и возникает раньше проверки чата.
|
||
|
||
Хеш пароля должен быть медленным и со случайной солью: его задача — сделать перебор дорогим, если база утечёт. Контрольная сумма вроде SHA-256 быстро узнаёт, изменились ли байты. Для пароля она не подходит: одинаковые пароли дали бы одинаковый хеш, а проверка была бы слишком дешёвой.
|
||
|
||
## Ограничения и следующие шаги
|
||
|
||
Стенд выдерживает рестарт контейнеров на том же Docker-хосте и короткую остановку Redis или PostgreSQL. Он не выдерживает потерю самого хоста, порчу тома и одновременный отказ диска. Один процесс API — не горизонтальное масштабирование; это задача lab3.
|
||
|
||
Роль `messenger` в учебном образе PostgreSQL — суперпользователь. Отдельная роль только для DML здесь не выделялась. У Redis нет AUTH: порт открыт только на `127.0.0.1`, сеть Compose внутренняя. Argon2id запущен с учебными параметрами, не с промышленным профилем lab7. История не кэшируется, поэтому отдельной инвалидации кэша сообщений нет.
|
||
|
||
Не делался ни один трек оценки 5: ни измерение cache stampede, ни backup на 100 000 сообщений.
|