17 KiB
Отчёт — лабораторная 2
- Автор, группа: Щербацевич Владислав БПИ2302
- Целевая оценка: 4. Трек 5 не выбран.
- Commit/PR:
0406baa - Использованные источники, библиотеки и помощь ИИ: FastAPI, Uvicorn, Pydantic, psycopg3+pool, redis-py, argon2-cffi; контракт курса; помощь ИИ при переносе на PostgreSQL/сессии/Redis
Запуск из чистого clone
Стенд: Windows 10, Docker Desktop 29.6.1, виртуальной машине Docker выделено 20 CPU и около 15.4 ГиБ RAM. Лимиты CPU/RAM на сервисы не ставились. Хостовый Python для проверок — 3.13.0. Образ API — python:3.13.16-slim-bookworm (digest зафиксирован в Dockerfile).
Образы хранилищ:
- PostgreSQL
16.10-bookworm, digestsha256:38471f330eb885e04de130b768d6db4e10469e2311879c7e5c699f6d2d8a1c74 - Redis
7.4.6-alpine, digestsha256:3b73847e72874be07e6657b129a94761662b79bc0f679273757d4218573b2a98
python -m venv .venv
.venv/bin/python -m pip install -r requirements.txt
sh scripts/bootstrap.sh
docker compose --env-file .env up -d --build
На Windows те же шаги: powershell -File scripts/bootstrap.ps1, затем docker compose --env-file .env up -d --build. Bootstrap создаёт неотслеживаемые .env и secrets/. В git их нет. Пароль учебный и только локальный; в отчёт и логи он не копируется.
Дождаться GET /health/ready → 200 {"status":"ok"}. Затем:
python tests/smoke.py --base-url http://127.0.0.1:8080
python student-tests/run.py
python student-tests/level4.py
Сохранность:
chmod +x scripts/restart.sh
make test-persistence ACTION_SCRIPT=scripts/restart.sh
scripts/restart.sh делает docker compose restart api postgres redis и не вызывает down -v. На PowerShell процесс Windows не запускает .sh напрямую (WinError 193). Там тот же файл выполняется через Git Bash: python student-tests/persistence.py. На Linux достаточно make test-persistence.
Остановка без удаления данных: docker compose --env-file .env stop. Удаление учебных томов: docker compose --env-file .env down -v.
Хостовый порт PostgreSQL — 5433. Внутри сети Compose база остаётся postgres:5432. На этой машине привязка 127.0.0.1:5432 запрещена (WinError 10013), Redis на 127.0.0.1:6379 и API на 127.0.0.1:8080 открываются. Порты не публикуются наружу интерфейса, только на loopback.
Архитектура и решения
Клиент ходит в один процесс API. Пользователи, чаты, участники и сообщения лежат в PostgreSQL: это источник истины. Сессии лежат только в Redis. Кэша истории нет, поэтому после COMMIT следующее чтение видит ту же строку без инвалидации.
Из lab1 перенесены контрактные правила чата, keyset-пагинация и формат ошибок. Память процесса больше не хранит эти данные. Аутентификация заменена по переходу 1 → 2: регистрация принимает password, POST /api/v1/auth/sessions принимает только Basic, остальные защищённые методы — только Bearer. Заголовок X-User-Id не читается.
Схема — migrations/001_initial.sql. При старте API берёт pg_advisory_xact_lock и применяет файл, только если его имени ещё нет в schema_migrations. Повторный старт пишет в лог migrations newly_applied=0 и не вставляет строки заново. После scripts/restart.sh в логе API было именно newly_applied=0, версия осталась 001_initial.sql.
Транзакции:
- регистрация: Argon2 считается до захвата соединения; в транзакции одна вставка
users; уникальность username держит ограничениеuq_users_username; - создание чата: в одной транзакции проверка участников, вставка
chatsи все строкиchat_members; - сообщение: в одной транзакции проверка членства и вставка
messages.
Пароль — Argon2id, параметры m=32768 (32 МиБ), t=2, p=1, длина хеша 32 байта. Это не SHA-256 и не усечение bcrypt. Для отсутствующего пользователя выполняется проверка фиктивного хеша, ответ тот же, что и при неверном пароле: 401 и WWW-Authenticate: Basic.
Сессия — 32 случайных байта (token_urlsafe(32), 256 бит). В Redis ключ sess: + SHA-256 токена, значение — user_id и абсолютный expires_at. Команда SET с PXAT записывает абсолютное время в миллисекундах, поэтому повтор AOF после рестарта не сдвигает срок. Чтение делает GET и не продлевает TTL. Logout делает GETDEL. Пока Redis не отвечает, запрос с Bearer получает 503, запрос без заголовка — 401: анонимный клиент не становится доверенным.
Redis запущен с --appendonly yes --appendfsync always и томом redis_data. CONFIG GET показал appendonly=yes, appendfsync=always. Ответ 201 на вход возвращается после того, как Redis подтвердил запись.
Пул SQLAlchemy: pool_size=10, max_overflow=10, ожидание соединения 5 с, pool_pre_ping=true. asyncpg: таймаут подключения 2 с, command_timeout 5 с. На стороне PostgreSQL statement_timeout 5 с, lock_timeout 5 с, idle_in_transaction_session_timeout 10 с. Redis: таймаут сокета 1 с, не больше 50 соединений. Запросы параметризованы через SQLAlchemy; текст сообщения в SQL не склеивается.
Переменные из .env.example совпадают с compose.yaml: SESSION_TTL_SECONDS (в стенде 3600, для проверки истечения отдельно 2), DATABASE_URL_FILE и CACHE_URL_FILE внутри API, прямые DATABASE_URL и REDIS_URL для процессов на хосте. SESSION_STORE=redis.
/health/live смотрит только процесс. /health/ready требует и PostgreSQL, и Redis: без сессий и без источника истины обязательный путь не обслуживается.
Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke | python tests/smoke.py --base-url http://127.0.0.1:8080 |
PASS: lab2 public API scenario |
вывод команды, повторён после рестарта |
| Данные и сессия переживают рестарт | python student-tests/persistence.py (scripts/restart.sh перезапускает api, postgres, redis, тома на месте) |
тот же Bearer читает то же сообщение; лог API: migrations newly_applied=0 |
вывод команды |
| PostgreSQL, ключи, миграция с нуля | старт пустого тома, затем повторный старт | таблицы users/chats/chat_members/messages, PK/FK, uq_users_username; вторая миграция не применяется |
migrations/001_initial.sql, лог newly_applied=0 |
| Атомарное создание чата | неизвестный участник; отдельно обрыв после INSERT чата | число чатов не меняется, строки с заголовком проверки нет (11 и 11, title_rows=0) |
evidence/level4.json |
Basic только на создании сессии, Bearer на остальном, X-User-Id не даёт доступ |
student-tests/level4.py |
неверный и неизвестный пароль дают один и тот же текст 401; Basic на /users/me — 401; один X-User-Id — 401; чужой X-User-Id вместе с Bearer не меняет пользователя |
evidence/level4.json |
| Пароль — Argon2id, в том числе Unicode и двоеточие | пароль Пароль:пример-12 |
повторный Basic-вход успешен | вывод PASS: unicode password with colon |
| Срок сессии и logout | DELETE /api/v1/auth/sessions/current, затем отдельный процесс с SESSION_TTL_SECONDS=2 |
logout → 204, повтор и чтение → 401; после expires_at чтение → 401 |
evidence/level4.json |
| Redis — хранилище сессий с устойчивым TTL | PTTL до и после docker compose restart redis |
3590337 мс → 3588378 мс, ключ жив, тот же токен принимается |
evidence/level4.json |
| Гонка одинакового username | 16 параллельных POST /users |
ровно один 201 и пятнадцать 409 |
evidence/level4.json |
| Параметризованные запросы | текст '; DROP TABLE messages; -- |
таблица messages на месте, текст сохранён как данные |
вывод level4 |
| Индекс истории и keyset | 10 000 сообщений, EXPLAIN (ANALYZE, BUFFERS) первой страницы и страницы после 5000-й строки |
Index Scan using ix_messages_history, не Seq Scan; shared hit=5 и shared hit=4; actual rows=50; 0.050 мс и 0.051 мс |
evidence/explain_messages.txt |
| Отказ Redis и PostgreSQL | docker compose stop redis, затем postgres; потом start |
live 200; ready 503; без заголовка 401; с Bearer 503; после возврата данные и сессия на месте, 10 000 строк целы |
evidence/level4.json |
| Свои проверки lab1 на новом входе | python student-tests/run.py |
пагинация, 100 сообщений от 10 клиентов, текст сообщения не попадает в лог | evidence/concurrency.json |
Проверка инфраструктурного hook: docker compose ps до и после restart показывает те же сервисы api, postgres, redis; тома postgres_data и redis_data не удалялись. Скрипт завершился с кодом 0.
Эксперименты и отказы
Нагрузка уровня 5 не заявлялась. Ниже только обязательные отказы уровня 4. Прогрев — до /health/ready. Конкуренция гонки — 16 запросов регистрации. История для плана — 10 000 строк в одном чате. Повторы: smoke дважды (до и после рестарта), level4 и persistence по одному успешному прогону. RPS и перцентили нагрузки не измерялись: это не трек 5. CPU/RAM стенда — 20 CPU и 15.4 ГиБ у Docker Desktop, без лимитов сервисов.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
restart API, PostgreSQL и Redis |
тот же токен и то же сообщение, TTL не сбрасывается в полный час | сообщение найдено тем же Bearer; PTTL уменьшился с 3590337 до 3588378 мс |
готовность около 2 с после старта контейнеров; подтверждённые строки не пропали |
SESSION_TTL_SECONDS=2 |
после expires_at сессия недействительна |
401 |
новая сессия нужна сразу после срока; данные пользователя остаются |
stop redis |
live жив, ready нет, аноним не доверен, Bearer не обслуживается | 200 / 503 / 401 / 503 | после start redis тот же токен снова 200; сессия не потеряна за счёт AOF |
stop postgres |
live жив, чтение истории невозможно, аноним не доверен | 200 / 503 / 401 / 503 | после start postgres история читается; 10 000 сообщений на месте |
Ответы к вопросам защиты
COMMIT в PostgreSQL фиксирует транзакцию чата или сообщения. При synchronous_commit=on (значение по умолчанию у этого образа) сервер подтверждает COMMIT после записи WAL. Это не защита от потери всего диска хоста и не замена резервной копии. Том Docker сохраняет каталог данных между рестартом контейнера, но не между down -v.
Сессия после рестарта Redis читается из AOF. appendfsync always просит fsync на каждую запись. PXAT хранит абсолютный срок, поэтому рестарт его не продлевает. Если удалить том Redis или выключить AOF, сессии пропадут, а пользователи и сообщения в PostgreSQL останутся. Один только TTL без persistence ключ после рестарта не возвращает.
Аутентификация отвечает на вопрос «кто вызывает». Доступ к чату отвечает на вопрос «состоит ли этот пользователь в чате». Чужой чат для уже вошедшего пользователя — 404, не 403, чтобы не подтверждать существование. Неверный токен — 401 и возникает раньше проверки чата.
Хеш пароля должен быть медленным и со случайной солью: его задача — сделать перебор дорогим, если база утечёт. Контрольная сумма вроде SHA-256 быстро узнаёт, изменились ли байты. Для пароля она не подходит: одинаковые пароли дали бы одинаковый хеш, а проверка была бы слишком дешёвой.
Ограничения и следующие шаги
Стенд выдерживает рестарт контейнеров на том же Docker-хосте и короткую остановку Redis или PostgreSQL. Он не выдерживает потерю самого хоста, порчу тома и одновременный отказ диска. Один процесс API — не горизонтальное масштабирование; это задача lab3.
Роль messenger в учебном образе PostgreSQL — суперпользователь. Отдельная роль только для DML здесь не выделялась. У Redis нет AUTH: порт открыт только на 127.0.0.1, сеть Compose внутренняя. Argon2id запущен с учебными параметрами, не с промышленным профилем lab7. История не кэшируется, поэтому отдельной инвалидации кэша сообщений нет.
Не делался ни один трек оценки 5: ни измерение cache stampede, ни backup на 100 000 сообщений.