# Отчёт — лабораторная 2 - Автор, группа: Щербацевич Владислав БПИ2302 - Целевая оценка: **4**. Трек 5 не выбран. - Commit/PR: заполнить после публикации - Использованные источники, библиотеки и помощь ИИ: FastAPI, Uvicorn, Pydantic, psycopg3+pool, redis-py, argon2-cffi; контракт курса; помощь ИИ при переносе на PostgreSQL/сессии/Redis ## Запуск из чистого clone Стенд: Windows 10, Docker Desktop 29.6.1, виртуальной машине Docker выделено 20 CPU и около 15.4 ГиБ RAM. Лимиты CPU/RAM на сервисы не ставились. Хостовый Python для проверок — 3.13.0. Образ API — `python:3.13.16-slim-bookworm` (digest зафиксирован в `Dockerfile`). Образы хранилищ: - PostgreSQL `16.10-bookworm`, digest `sha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74` - Redis `7.4.6-alpine`, digest `sha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98` ```sh python -m venv .venv .venv/bin/python -m pip install -r requirements.txt sh scripts/bootstrap.sh docker compose --env-file .env up -d --build ``` На Windows те же шаги: `powershell -File scripts/bootstrap.ps1`, затем `docker compose --env-file .env up -d --build`. Bootstrap создаёт неотслеживаемые `.env` и `secrets/`. В git их нет. Пароль учебный и только локальный; в отчёт и логи он не копируется. Дождаться `GET /health/ready` → `200 {"status":"ok"}`. Затем: ```sh python tests/smoke.py --base-url http://127.0.0.1:8080 python student-tests/run.py python student-tests/level4.py ``` Сохранность: ```sh chmod +x scripts/restart.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh ``` `scripts/restart.sh` делает `docker compose restart api postgres redis` и не вызывает `down -v`. На PowerShell процесс Windows не запускает `.sh` напрямую (WinError 193). Там тот же файл выполняется через Git Bash: `python student-tests/persistence.py`. На Linux достаточно `make test-persistence`. Остановка без удаления данных: `docker compose --env-file .env stop`. Удаление учебных томов: `docker compose --env-file .env down -v`. Хостовый порт PostgreSQL — **5433**. Внутри сети Compose база остаётся `postgres:5432`. На этой машине привязка `127.0.0.1:5432` запрещена (WinError 10013), Redis на `127.0.0.1:6379` и API на `127.0.0.1:8080` открываются. Порты не публикуются наружу интерфейса, только на loopback. ## Архитектура и решения Клиент ходит в один процесс API. Пользователи, чаты, участники и сообщения лежат в PostgreSQL: это источник истины. Сессии лежат только в Redis. Кэша истории нет, поэтому после COMMIT следующее чтение видит ту же строку без инвалидации. Из lab1 перенесены контрактные правила чата, keyset-пагинация и формат ошибок. Память процесса больше не хранит эти данные. Аутентификация заменена по переходу 1 → 2: регистрация принимает `password`, `POST /api/v1/auth/sessions` принимает только Basic, остальные защищённые методы — только Bearer. Заголовок `X-User-Id` не читается. Схема — `migrations/001_initial.sql`. При старте API берёт `pg_advisory_xact_lock` и применяет файл, только если его имени ещё нет в `schema_migrations`. Повторный старт пишет в лог `migrations newly_applied=0` и не вставляет строки заново. После `scripts/restart.sh` в логе API было именно `newly_applied=0`, версия осталась `001_initial.sql`. Транзакции: - регистрация: Argon2 считается до захвата соединения; в транзакции одна вставка `users`; уникальность username держит ограничение `uq_users_username`; - создание чата: в одной транзакции проверка участников, вставка `chats` и все строки `chat_members`; - сообщение: в одной транзакции проверка членства и вставка `messages`. Пароль — Argon2id, параметры `m=32768` (32 МиБ), `t=2`, `p=1`, длина хеша 32 байта. Это не SHA-256 и не усечение bcrypt. Для отсутствующего пользователя выполняется проверка фиктивного хеша, ответ тот же, что и при неверном пароле: `401` и `WWW-Authenticate: Basic`. Сессия — 32 случайных байта (`token_urlsafe(32)`, 256 бит). В Redis ключ `sess:` + SHA-256 токена, значение — `user_id` и абсолютный `expires_at`. Команда `SET` с `PXAT` записывает абсолютное время в миллисекундах, поэтому повтор AOF после рестарта не сдвигает срок. Чтение делает `GET` и не продлевает TTL. Logout делает `GETDEL`. Пока Redis не отвечает, запрос с Bearer получает `503`, запрос без заголовка — `401`: анонимный клиент не становится доверенным. Redis запущен с `--appendonly yes --appendfsync always` и томом `redis_data`. `CONFIG GET` показал `appendonly=yes`, `appendfsync=always`. Ответ `201` на вход возвращается после того, как Redis подтвердил запись. Пул SQLAlchemy: `pool_size=10`, `max_overflow=10`, ожидание соединения 5 с, `pool_pre_ping=true`. asyncpg: таймаут подключения 2 с, `command_timeout` 5 с. На стороне PostgreSQL `statement_timeout` 5 с, `lock_timeout` 5 с, `idle_in_transaction_session_timeout` 10 с. Redis: таймаут сокета 1 с, не больше 50 соединений. Запросы параметризованы через SQLAlchemy; текст сообщения в SQL не склеивается. Переменные из `.env.example` совпадают с `compose.yaml`: `SESSION_TTL_SECONDS` (в стенде 3600, для проверки истечения отдельно 2), `DATABASE_URL_FILE` и `CACHE_URL_FILE` внутри API, прямые `DATABASE_URL` и `REDIS_URL` для процессов на хосте. `SESSION_STORE=redis`. `/health/live` смотрит только процесс. `/health/ready` требует и PostgreSQL, и Redis: без сессий и без источника истины обязательный путь не обслуживается. ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke | `python tests/smoke.py --base-url http://127.0.0.1:8080` | `PASS: lab2 public API scenario` | вывод команды, повторён после рестарта | | Данные и сессия переживают рестарт | `python student-tests/persistence.py` (`scripts/restart.sh` перезапускает api, postgres, redis, тома на месте) | тот же Bearer читает то же сообщение; лог API: `migrations newly_applied=0` | вывод команды | | PostgreSQL, ключи, миграция с нуля | старт пустого тома, затем повторный старт | таблицы users/chats/chat_members/messages, PK/FK, `uq_users_username`; вторая миграция не применяется | `migrations/001_initial.sql`, лог `newly_applied=0` | | Атомарное создание чата | неизвестный участник; отдельно обрыв после INSERT чата | число чатов не меняется, строки с заголовком проверки нет (`11` и `11`, `title_rows=0`) | `evidence/level4.json` | | Basic только на создании сессии, Bearer на остальном, `X-User-Id` не даёт доступ | `student-tests/level4.py` | неверный и неизвестный пароль дают один и тот же текст `401`; Basic на `/users/me` — `401`; один `X-User-Id` — `401`; чужой `X-User-Id` вместе с Bearer не меняет пользователя | `evidence/level4.json` | | Пароль — Argon2id, в том числе Unicode и двоеточие | пароль `Пароль:пример-12` | повторный Basic-вход успешен | вывод `PASS: unicode password with colon` | | Срок сессии и logout | `DELETE /api/v1/auth/sessions/current`, затем отдельный процесс с `SESSION_TTL_SECONDS=2` | logout → `204`, повтор и чтение → `401`; после `expires_at` чтение → `401` | `evidence/level4.json` | | Redis — хранилище сессий с устойчивым TTL | `PTTL` до и после `docker compose restart redis` | `3590337` мс → `3588378` мс, ключ жив, тот же токен принимается | `evidence/level4.json` | | Гонка одинакового username | 16 параллельных `POST /users` | ровно один `201` и пятнадцать `409` | `evidence/level4.json` | | Параметризованные запросы | текст `'; DROP TABLE messages; --` | таблица `messages` на месте, текст сохранён как данные | вывод level4 | | Индекс истории и keyset | 10 000 сообщений, `EXPLAIN (ANALYZE, BUFFERS)` первой страницы и страницы после 5000-й строки | `Index Scan using ix_messages_history`, не `Seq Scan`; `shared hit=5` и `shared hit=4`; `actual rows=50`; 0.050 мс и 0.051 мс | `evidence/explain_messages.txt` | | Отказ Redis и PostgreSQL | `docker compose stop redis`, затем postgres; потом `start` | live `200`; ready `503`; без заголовка `401`; с Bearer `503`; после возврата данные и сессия на месте, 10 000 строк целы | `evidence/level4.json` | | Свои проверки lab1 на новом входе | `python student-tests/run.py` | пагинация, 100 сообщений от 10 клиентов, текст сообщения не попадает в лог | `evidence/concurrency.json` | Проверка инфраструктурного hook: `docker compose ps` до и после `restart` показывает те же сервисы `api`, `postgres`, `redis`; тома `postgres_data` и `redis_data` не удалялись. Скрипт завершился с кодом 0. ## Эксперименты и отказы Нагрузка уровня 5 не заявлялась. Ниже только обязательные отказы уровня 4. Прогрев — до `/health/ready`. Конкуренция гонки — 16 запросов регистрации. История для плана — 10 000 строк в одном чате. Повторы: smoke дважды (до и после рестарта), level4 и persistence по одному успешному прогону. RPS и перцентили нагрузки не измерялись: это не трек 5. CPU/RAM стенда — 20 CPU и 15.4 ГиБ у Docker Desktop, без лимитов сервисов. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | | `restart` API, PostgreSQL и Redis | тот же токен и то же сообщение, TTL не сбрасывается в полный час | сообщение найдено тем же Bearer; `PTTL` уменьшился с 3590337 до 3588378 мс | готовность около 2 с после старта контейнеров; подтверждённые строки не пропали | | `SESSION_TTL_SECONDS=2` | после `expires_at` сессия недействительна | `401` | новая сессия нужна сразу после срока; данные пользователя остаются | | `stop redis` | live жив, ready нет, аноним не доверен, Bearer не обслуживается | 200 / 503 / 401 / 503 | после `start redis` тот же токен снова `200`; сессия не потеряна за счёт AOF | | `stop postgres` | live жив, чтение истории невозможно, аноним не доверен | 200 / 503 / 401 / 503 | после `start postgres` история читается; 10 000 сообщений на месте | ## Ответы к вопросам защиты COMMIT в PostgreSQL фиксирует транзакцию чата или сообщения. При `synchronous_commit=on` (значение по умолчанию у этого образа) сервер подтверждает COMMIT после записи WAL. Это не защита от потери всего диска хоста и не замена резервной копии. Том Docker сохраняет каталог данных между рестартом контейнера, но не между `down -v`. Сессия после рестарта Redis читается из AOF. `appendfsync always` просит fsync на каждую запись. `PXAT` хранит абсолютный срок, поэтому рестарт его не продлевает. Если удалить том Redis или выключить AOF, сессии пропадут, а пользователи и сообщения в PostgreSQL останутся. Один только TTL без persistence ключ после рестарта не возвращает. Аутентификация отвечает на вопрос «кто вызывает». Доступ к чату отвечает на вопрос «состоит ли этот пользователь в чате». Чужой чат для уже вошедшего пользователя — `404`, не `403`, чтобы не подтверждать существование. Неверный токен — `401` и возникает раньше проверки чата. Хеш пароля должен быть медленным и со случайной солью: его задача — сделать перебор дорогим, если база утечёт. Контрольная сумма вроде SHA-256 быстро узнаёт, изменились ли байты. Для пароля она не подходит: одинаковые пароли дали бы одинаковый хеш, а проверка была бы слишком дешёвой. ## Ограничения и следующие шаги Стенд выдерживает рестарт контейнеров на том же Docker-хосте и короткую остановку Redis или PostgreSQL. Он не выдерживает потерю самого хоста, порчу тома и одновременный отказ диска. Один процесс API — не горизонтальное масштабирование; это задача lab3. Роль `messenger` в учебном образе PostgreSQL — суперпользователь. Отдельная роль только для DML здесь не выделялась. У Redis нет AUTH: порт открыт только на `127.0.0.1`, сеть Compose внутренняя. Argon2id запущен с учебными параметрами, не с промышленным профилем lab7. История не кэшируется, поэтому отдельной инвалидации кэша сообщений нет. Не делался ни один трек оценки 5: ни измерение cache stampede, ни backup на 100 000 сообщений.