From a7223cf1645a7469aefdcc39e4e0473eb47058d3 Mon Sep 17 00:00:00 2001 From: gytall Date: Tue, 27 Oct 2026 00:18:03 +0300 Subject: [PATCH] add evidence and report.md --- .env.example | 4 + DEFENSE.md | 234 ++++++++++++++++++++++++++++++++ Makefile | 21 ++- REPORT.md | 136 ++++++++++++++++--- app/endpoints/dependencies.py | 23 +++- compose.yaml | 20 +-- evidence/00-environment.txt | 15 ++ evidence/01-pytest.txt | 113 +++++++++++++++ evidence/02-smoke.txt | 1 + evidence/03-persistence.txt | 14 ++ evidence/04-explain-history.txt | 51 +++++++ evidence/05-failures.txt | 23 ++++ evidence/06-redis-config.txt | 10 ++ evidence/07-load-resources.txt | 4 + evidence/07-load.json | 17 +++ evidence/08-expiry.txt | 5 + infra/redis/redis.conf | 5 + requirements.txt | 6 +- scripts/collect_evidence.sh | 81 +++++++++++ scripts/expiry_demo.sh | 28 ++++ scripts/explain_history.py | 132 ++++++++++++++++++ scripts/failure_demo.sh | 64 +++++++++ 22 files changed, 968 insertions(+), 39 deletions(-) create mode 100644 DEFENSE.md create mode 100644 evidence/00-environment.txt create mode 100644 evidence/01-pytest.txt create mode 100644 evidence/02-smoke.txt create mode 100644 evidence/03-persistence.txt create mode 100644 evidence/04-explain-history.txt create mode 100644 evidence/05-failures.txt create mode 100644 evidence/06-redis-config.txt create mode 100644 evidence/07-load-resources.txt create mode 100644 evidence/07-load.json create mode 100644 evidence/08-expiry.txt create mode 100644 infra/redis/redis.conf create mode 100755 scripts/collect_evidence.sh create mode 100755 scripts/expiry_demo.sh create mode 100644 scripts/explain_history.py create mode 100755 scripts/failure_demo.sh diff --git a/.env.example b/.env.example index a5b2f45..89eba8e 100644 --- a/.env.example +++ b/.env.example @@ -29,3 +29,7 @@ DB_MAX_OVERFLOW=10 DB_POOL_TIMEOUT_SECONDS=3 DB_CONNECT_TIMEOUT_SECONDS=3 DB_STATEMENT_TIMEOUT_MS=5000 + +API_HOST_PORT=8080 +DB_HOST_PORT=5432 +REDIS_HOST_PORT=6379 diff --git a/DEFENSE.md b/DEFENSE.md new file mode 100644 index 0000000..c1de0f6 --- /dev/null +++ b/DEFENSE.md @@ -0,0 +1,234 @@ +# Ответы на критерии и сценарий защиты — лабораторная 2 + +Ссылки на доказательства ведут в [evidence/](evidence/). Все команды выполняются из корня репозитория. + +- **Основной стенд** — `make up`, `http://localhost:8080`. +- **Тестовый стенд** — порты 18080/15432/16379, на основной не влияет. Его поднимают и используют цели `test-stand-*`, `test-all`, `*-demo`, `evidence`. + +--- + +## Уровень 3 + +### Минимум lab1 сохранён, данные и действующие сессии переживают рестарт API и хранилищ без удаления volumes + +API lab1 (пользователи, чаты, сообщения, пагинация, формат ошибок, `X-Request-Id`) сохранён с объявленными переходами: пароль при регистрации, Basic только для входа, Bearer вместо `X-User-Id`. + +Что хранится и где: +- пользователи, чаты, участники, сообщения — в PostgreSQL, volume `pgdata`; +- сессии — в Redis с AOF, volume `redisdata`. + +`scripts/restart.sh` перезапускает postgres и redis, ждёт healthy, затем перезапускает api. Volumes не удаляет и данные заново не заливает. + +**Проверка:** `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (основной стенд) или `make test-stand-persistence` (тестовый). Тест держит токен в памяти, вызывает рестарт и тем же токеном читает те же данные. +**Доказательство:** [03-persistence.txt](evidence/03-persistence.txt) — PASS и `Up N seconds` у всех трёх контейнеров после рестарта. + +### PostgreSQL содержит пользователей, чаты, участников и сообщения; есть PK/FK, уникальность username и миграции с нуля; создание чата атомарно + +Таблицы `users`, `chats`, `chat_members`, `messages`, `counters`: +- первичные ключи UUID; +- `chat_members` → `chats` (каскадное удаление) и `users`; `messages` → `chats` и `users`; +- `UNIQUE(username)`, составной PK `chat_members(chat_id, user_id)` запрещает дубли членства. + +Миграции: `migrations/versions/db06fd3126ff_create_initial_schema.py`, `abd273076068_add_counters.py`. Применяются сервисом `migrate` к пустой базе. + +Атомарность: чат и все участники вставляются в одной транзакции (`app/domain/chats.py`). При ошибке любой вставки выполняется `rollback`, и не остаётся ни чата, ни участников. + +**Проверка:** `make test-own` — тесты `test_constraints.py`, `test_migrations.py`, `test_failed_chat_creation_leaves_no_partial_data`, `test_failed_chat_insert_rolls_back_whole_transaction`. Схему можно посмотреть: `docker compose exec postgres sh -c 'psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -c "\d messages"'`. +**Доказательство:** [01-pytest.txt](evidence/01-pytest.txt). + +### Basic только на POST /auth/sessions, остальное требует Bearer; есть срок жизни и отзыв; X-User-Id не даёт доступа; пароли хешируются KDF + +- **`POST /auth/sessions`** принимает только `Authorization: Basic`. Неверные данные дают одинаковый 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`. +- **Бизнес-эндпоинты** принимают только Bearer. Basic, `X-User-Id`, пустой или неизвестный токен дают 401 с `WWW-Authenticate: Bearer realm="messenger"`. +- **Срок жизни** — `SESSION_TTL_SECONDS` (3600 по умолчанию). Отзыв — `DELETE /auth/sessions/current` → 204, повтор → 401. +- **Пароли** — Argon2id (`$argon2id$v=19$m=65536,t=3,p=4$…`), открытый пароль нигде не хранится. + +**Проверка:** `make expiry-demo` (API на тестовом стенде с TTL=3 с), тесты `test_auth.py` и `test_sessions.py`, публичный smoke. +**Доказательство:** [08-expiry.txt](evidence/08-expiry.txt), [01-pytest.txt](evidence/01-pytest.txt), [02-smoke.txt](evidence/02-smoke.txt). + +### make test и make test-persistence проходят, миграции идемпотентны, secrets и volumes не в Git + +- `make test` → `PASS: lab2 public API scenario`. +- `make test-persistence ACTION_SCRIPT=scripts/restart.sh` → `PASS: persistence preserved confirmed data and existing session`. +- **Миграции:** Alembic хранит применённую ревизию в `alembic_version`, поэтому повторный `upgrade head` ничего не делает. Тест `test_upgrade_twice_is_idempotent_and_keeps_data` вставляет пользователя, повторяет миграции и проверяет, что запись одна. +- **Git:** `.env` в `.gitignore`, в репозитории только `.env.example` с заглушками `change-me`. Данные живут в именованных Docker volumes, не в каталоге проекта. + +**Проверка:** `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `git ls-files | grep -E '^\.env$'` (вывод пустой). + +--- + +## Уровень 4 + +### Redis используется для сессий с TTL; описаны источник истины, expiry, инвалидация; persistence выдерживает рестарт + +- **Источник истины для сессий — только Redis**, для остальных данных — PostgreSQL. +- **Ключ** `session:` → `user_id`, записывается `SET … PXAT expires_at`. TTL ключа совпадает с `expires_at` из ответа до миллисекунды. +- **Expiry:** срок абсолютный, Redis удаляет ключ сам. Активность и рестарт срок не продлевают: Redis хранит абсолютное время истечения. +- **Инвалидация:** logout — атомарный `DEL` (из двух одновременных logout успешен ровно один). Отдельного «выйти везде» в контракте нет. +- **Persistence** ([infra/redis/redis.conf](infra/redis/redis.conf)): + - `appendonly yes` и `appendfsync always` — запись на диск при каждом входе и выходе, отзыв не теряется; + - `maxmemory-policy noeviction` — Redis не вытесняет сессии; + - volume `redisdata`. + +**Проверка:** `make test-docker` — тест `test_sessions_survive_redis_restart` делает `docker compose restart redis`; живой токен работает, отозванный остаётся отозванным. Для ручной проверки: `docker compose exec redis redis-cli --scan --pattern 'session:*'`, затем `PTTL <ключ>`. +**Доказательство:** [06-redis-config.txt](evidence/06-redis-config.txt), [05-failures.txt](evidence/05-failures.txt) (после остановки и старта Redis тот же токен → 200), [01-pytest.txt](evidence/01-pytest.txt). + +### Параметризованные запросы, ограниченный пул и таймауты; проверены гонка регистрации и rollback + +- **Запросы** только через SQLAlchemy (`select`, `insert … on_conflict`). Значения уходят параметрами `$1, $2…`, SQL из f-строк не собирается. +- **PostgreSQL** (`app/core/database.py`): пул 5 + 10, ожидание соединения 3 с, подключение 3 с, `statement_timeout` 5 с. Исчерпание пула или недоступность БД дают 503. +- **Redis** (`app/core/redis.py`): блокирующий пул на 20 соединений, ожидание 1 с, подключение 1 с, операция 0.5 с, один повтор. +- **Гонка регистрации:** `UNIQUE(username)` в БД + перехват `IntegrityError` → 409. Тест: 16 одновременных регистраций одного имени дают 1×201 и 15×409. +- **Rollback:** при сбое вставки участника откатывается весь чат. +- **Лимит сообщений** — атомарный upsert счётчика: 20 параллельных отправок при лимите 5 дают ровно 5×201 и 15×503. + +**Проверка:** `make test-concurrency`. +**Доказательство:** [01-pytest.txt](evidence/01-pytest.txt) (раздел `test_concurrency.py`). + +### Индекс истории обоснован запросом и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений; пагинация без полного скана + +Запрос страницы: +```sql +WHERE chat_id = :c AND (created_at, id) > (:t, :i) ORDER BY created_at, id LIMIT 51 +``` +Индекс `ix_messages_chat_id_created_at_id (chat_id, created_at, id)` повторяет этот запрос: +- равенство по первой колонке выбирает нужный чат; +- сравнение пары `(created_at, id)` задаёт позицию в индексе; +- порядок индекса совпадает с `ORDER BY`, сортировка не нужна. + +PostgreSQL читает только 51 строку, сколько бы сообщений ни было в чате. OFFSET не используется. `id` в индексе нужен для однозначной позиции при одинаковом времени. + +Данные: 10 000 сообщений в целевом чате и 40 000 в соседнем. + +| | План | Буферы | Время | +| --- | --- | --- | --- | +| Первая страница | Index Scan, 51 строка | 4 | ≈0.02 мс | +| Страница из середины истории | Index Scan, 51 строка | 5–6 | ≈0.04 мс | +| Та же страница без индекса | Seq Scan + Sort, отброшено 45 000 строк | 618 | ≈4–5 мс | + +**Проверка:** `make explain` (данные создаются в транзакции и откатываются), тест `test_history_plan.py` автоматически проверяет, что используется индекс, нет `Sort` и `Seq Scan`, ни один узел плана не читает больше 51 строки. +**Доказательство:** [04-explain-history.txt](evidence/04-explain-history.txt). + +### Автопроверки expiry при коротком TTL, logout, неверного пароля и недоступности Redis/БД; ограниченная ошибка, без анонимного доступа + +| Что проверяется | Тесты | +| --- | --- | +| Expiry | `test_expired_session_is_rejected_everywhere` (TTL=1 с), `test_session_expires_after_ttl`, `test_relogin_after_expiry_issues_new_working_token` | +| Logout | `test_logout_removes_session_key`, `test_logout_twice_returns_401`, `test_parallel_logout_of_same_token_succeeds_once` | +| Неверный пароль | `test_wrong_password_and_unknown_user_look_identical`, `test_login_rejects_out_of_range_password_like_wrong_password`, `test_unknown_user_takes_comparable_time_to_wrong_password` | +| Redis недоступен | вход, Bearer-запросы, logout и `/health/ready` → 503 менее чем за 3 с; `/health/live` → 200; регистрация работает | +| БД недоступна | с действующим токеном → 503; строки подключения и пароль в ответ не попадают | +| Без анонимов | при упавшем Redis запрос без токена → 401, с любым токеном → 503, но никогда 200 | + +**Проверка:** `make test-docker` (весь набор, 112 тестов), `make failure-demo` (живая остановка Redis и PostgreSQL на тестовом стенде). +**Доказательство:** [01-pytest.txt](evidence/01-pytest.txt), [05-failures.txt](evidence/05-failures.txt). + +--- + +## Вопросы на защите + +### Что подтверждает COMMIT и какие гарантии зависят от настройки durability? + +`COMMIT` подтверждает, что все изменения транзакции стали видны другим транзакциям одновременно (атомарность), и что запись о транзакции попала в WAL. При `synchronous_commit = on` (по умолчанию в PostgreSQL) сервер отвечает на `COMMIT` только после `fsync` WAL на диск: подтверждённое сообщение переживёт падение процесса и перезагрузку. + +От настроек зависит, насколько эта гарантия крепкая: +- `synchronous_commit = off` или `fsync = off` ускоряют запись, но последние подтверждённые транзакции могут потеряться при сбое; +- без реплики потеря диска означает потерю данных; +- в Redis гарантию задаёт `appendfsync`: у нас `always`, то есть fsync на каждую запись. С `everysec` при падении теряется до секунды изменений, например logout. + +### Где хранятся сессии и что будет после flush/restart Redis? + +В Redis под ключом `session:` со значением `user_id` и абсолютным TTL. Сам токен сервер не хранит. + +- **Рестарт** (`docker compose restart redis` или `scripts/restart.sh`): Redis восстанавливает данные из AOF на volume `redisdata`. Действующие токены работают, отозванные остаются отозванными, просроченные ключи удаляются при загрузке, TTL не продлевается. +- **`FLUSHALL` или потеря volume:** все сессии исчезают, все токены дают 401, пользователи входят заново. Данные в PostgreSQL не затронуты. + +Проверено тестами `test_sessions_survive_redis_restart` и `test_redis_flush_invalidates_all_sessions`. + +### Чем аутентификация отличается от доступа к конкретному чату? + +**Аутентификация** отвечает на вопрос «кто ты»: +- **Basic** — один раз при входе, логин и пароль проверяются через Argon2, результат — токен; +- **Bearer** — на каждом запросе: хеш токена ищется в Redis, по нему находится `user_id`; +- нет действительной сессии → 401. + +**Доступ к чату (авторизация)** — отдельная проверка после аутентификации: состоит ли этот пользователь в этом чате (`ensure_chat_member` / `get_chat_for_member`). Посторонний получает 404, а не 403, чтобы не раскрывать, что чат существует. Списки содержат только чаты пользователя. + +Аутентифицированный пользователь не получает доступа к чужим чатам. + +### Почему hash пароля и быстрый checksum имеют разные задачи? + +**Пароль** — секрет с низкой энтропией, его можно угадать перебором по словарю. Поэтому нужен медленный KDF с солью: +- Argon2id тратит ~50 мс и 64 МиБ памяти на попытку, что делает перебор дорогим, в том числе на видеокартах; +- уникальная соль не даёт использовать заранее посчитанные таблицы и скрывает одинаковые пароли. + +**Токен сессии** — 256 случайных бит, перебор невозможен. Для него нужен быстрый детерминированный хеш (SHA-256): +- тот же токен даёт тот же ключ в Redis, и поиск идёт за O(1) на каждом запросе; +- утечка дампа Redis не даёт рабочих токенов. + +Argon2 для токена бессмысленно замедлял бы каждый запрос. А из-за случайной соли по нему нельзя было бы найти ключ. + +--- + +## Сценарий защиты + +Выполняется на основном стенде (`http://localhost:8080`). Перед защитой: `docker compose down -v`, чтобы начать с пустых volumes. + +### 1. Миграции на пустой volume, пользователи, вход, сообщение + +```sh +make up +make test +``` +`make up` собирает образ и запускает контейнеры в таком порядке: postgres и redis до healthy → `migrate` (`alembic upgrade head` на пустой базе создаёт 5 таблиц) → api → ожидание `/health/ready`. `make test` (публичный smoke) создаёт трёх пользователей, входит через Basic, создаёт чат, отправляет сообщения, проверяет пагинацию, доступ постороннего, `X-User-Id` и logout. + +Ожидаемый результат: `PASS: lab2 public API scenario`. + +Вручную можно так: +```sh +curl -s -X POST localhost:8080/api/v1/users -H 'Content-Type: application/json' \ + -d '{"username":"alice","display_name":"Alice","password":"correct horse 42"}' +curl -s -X POST localhost:8080/api/v1/auth/sessions -u 'alice:correct horse 42' +``` +Вторая команда возвращает токен. + +### 2. Persistence: рестарт API и всех хранилищ с сохранением volumes + +```sh +docker compose ps +make test-persistence ACTION_SCRIPT=scripts/restart.sh +docker compose ps +``` +Тест создаёт данные и сессию, держит токен только в памяти и запускает `scripts/restart.sh`. Скрипт перезапускает postgres и redis, ждёт healthy, затем перезапускает api. После этого тест ждёт готовности и тем же токеном читает всю историю. + +Ожидаемый результат: `PASS: persistence preserved confirmed data and existing session`. В `docker compose ps` после теста у api, postgres и redis видно `Up N seconds`: все три контейнера действительно перезапускались. + +### 3. Тот же токен после рестарта; logout → 401; короткий TTL + +- Тот же токен после рестарта проверяет сам `test-persistence` (шаг 2). +- Logout → 401 проверяет smoke (последний шаг) и `make failure-demo` (раздел `logout`). +- Короткий TTL — отдельным API с `SESSION_TTL_SECONDS=3` на тестовом стенде: + +```sh +make expiry-demo +``` +Ожидаемый вывод: +``` +GET /users/me right after login -> 200 +GET /users/me after 4 s -> 401 +DELETE /auth/sessions/current after -> 401 +GET /users/me with new login token -> 200 +``` +TTL переопределяется переменной окружения, `.env` не меняется. После демо API тестового стенда возвращается к TTL из `.env`. + +### 4. Роль Redis, план SQL, ошибка зависимости + +```sh +docker compose exec redis redis-cli CONFIG GET appendfsync +docker compose exec redis redis-cli --scan --pattern 'session:*' +make explain +make failure-demo +``` +- Первые две команды показывают роль Redis: `always` и ключи сессий в виде хешей. +- `make explain` показывает план SQL: Index Scan против Seq Scan + Sort. +- `make failure-demo` показывает ошибку зависимости: Redis и PostgreSQL по очереди останавливаются, на них 503 и `ready` 503, `live` 200; после старта тот же токен снова даёт 200. diff --git a/Makefile b/Makefile index b6460d6..e450feb 100644 --- a/Makefile +++ b/Makefile @@ -33,7 +33,8 @@ endef up down restart ps logs migrate migration \ test-stand-up test-stand-down test-stand-destroy test-stand-ps \ test-stand-smoke test-stand-persistence db-up \ - test-own test-docker test-limits test-concurrency test-migrations test-all + test-own test-docker test-limits test-concurrency test-migrations test-all \ + explain evidence expiry-demo failure-demo help: @echo "Курс: check | validate | test (smoke по BASE_URL) | load | test-persistence ACTION_SCRIPT=scripts/restart.sh" @@ -42,6 +43,8 @@ help: @echo " test-stand-smoke | test-stand-persistence" @echo "Тесты: test-own | test-docker | test-limits | test-concurrency | test-migrations" @echo "Всё: test-all (стенд + pytest + smoke + persistence на тестовом стенде)" + @echo "Демо: explain | expiry-demo | failure-demo (на тестовом стенде)" + @echo "Отчёт: evidence (перегенерировать evidence/ на тестовом стенде)" check: $(PYTHON) scripts/check_contract.py @@ -122,3 +125,19 @@ test-migrations: $(PYTHON) -m pytest tests/test_migrations.py -q test-all: test-stand-up test-docker test-stand-smoke test-stand-persistence + +explain: + $(TEST_ENV) DB_HOST=localhost DB_PORT=$(TEST_DB_PORT) PYTHONPATH=. $(PYTHON) scripts/explain_history.py + +evidence: test-stand-up + $(TEST_ENV) PYTHON=$(PYTHON) BASE_URL=$(TEST_BASE_URL) scripts/collect_evidence.sh + +expiry-demo: test-stand-up + $(TEST_ENV) SESSION_TTL_SECONDS=3 $(COMPOSE) up -d api + $(call wait_ready,$(TEST_BASE_URL)) + BASE_URL=$(TEST_BASE_URL) TTL=3 scripts/expiry_demo.sh + $(TEST_COMPOSE) up -d api + $(call wait_ready,$(TEST_BASE_URL)) + +failure-demo: test-stand-up + $(TEST_ENV) BASE_URL=$(TEST_BASE_URL) scripts/failure_demo.sh diff --git a/REPORT.md b/REPORT.md index e42f2b0..9df23df 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,135 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Григорян Илья, БПИ2303 (ветка `solution/BPI2303-Grigoryan`) +- Целевая оценка: **4**, трек 5 не заявлен +- Commit/PR: заполнить после публикации; commit, на котором собраны доказательства, записан в [evidence/00-environment.txt](evidence/00-environment.txt) +- Источники и библиотеки: FastAPI, SQLAlchemy 2.1 (async) + asyncpg, Alembic, redis-py, argon2-cffi, Pydantic / pydantic-settings, pytest + pytest-asyncio + httpx; документация PostgreSQL (transactions, EXPLAIN), Redis persistence, RFC 7617 +- Помощь ИИ: ассистент Claude (Claude Code) — ревью схемы БД, реализация и ревью слоёв storage/domain, тесты, скрипты сбора доказательств, черновик отчёта. Решения обсуждались и проверялись автором ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Требования: Docker Engine с Compose v2 (проверено на Docker 29.9.2, Compose 5.6.1), `make`, `curl`, Python 3.12 — только для тестов. Образы закреплены: `python:3.12.15-slim-bookworm`, `postgres:16.10-bookworm`, `redis:7.4.2-bookworm`. + +```sh + +cp .env.example .env # заменить DB_PASSWORD и REDIS_PASSWORD + +make check + +docker compose --env-file .env config --quiet + +make up # сборка → postgres, redis healthy → migrate → api; ждёт /health/ready + +make test # публичный smoke на http://localhost:8080 + +make test-persistence ACTION_SCRIPT=scripts/restart.sh + +``` + +- Миграции: сервис `migrate` выполняет `alembic upgrade head` при каждом `up`, повтор не дублирует данные. Ручных действий, кроме паролей в `.env`, нет. +- Безопасная остановка без потери данных: `make down`. Намеренное удаление учебных данных: `docker compose down -v`. +- Собственные тесты и доказательства идут на **отдельном тестовом стенде** (проект compose `<каталог>-test`, порты 18080/15432/16379), основной стенд они не трогают: + +```sh + +python3 -m venv venv && venv/bin/pip install -r requirements.txt + +make test-all # тестовый стенд + pytest (включая рестарт Redis) + smoke + persistence + +make evidence # перегенерировать evidence/ + +make test-stand-down # остановить; make test-stand-destroy — удалить вместе с volumes + +``` ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Клиент → API (FastAPI, один процесс uvicorn) → PostgreSQL (все данные) и Redis (сессии). + +| Роль | Service | Образ | Health / readiness | Volume | Порт хоста | Credentials | +| -------- | ---------- | ------------------------- | ---------------------------------------------------------------------------- | ----------- | ---------------- | ---------------------------------------------------------------------------------- | +| API | `api` | сборка из `Dockerfile` | `HEALTHCHECK` → `/health/live`; `/health/ready` проверяет PostgreSQL и Redis | — | `127.0.0.1:8080` | `env_file: .env` | +| Миграции | `migrate` | тот же образ | one-shot; `api` ждёт успешного завершения | — | — | `.env` | +| БД | `postgres` | `postgres:16.10-bookworm` | `pg_isready` | `pgdata` | `127.0.0.1:5432` | `POSTGRES_PASSWORD` из `.env` | +| Сессии | `redis` | `redis:7.4.2-bookworm` | `redis-cli ping` | `redisdata` | `127.0.0.1:6379` | `--requirepass` из `.env`; конфиг [infra/redis/redis.conf](infra/redis/redis.conf) | + +**Источник истины.** PostgreSQL — пользователи, чаты, участники, сообщения, счётчик сообщений. Redis — единственное хранилище сессий. + +**Схема** (миграции `db06fd3126ff`, `abd273076068`): UUID-ключи, внешние ключи, `UNIQUE(username)`, составной PK `chat_members(chat_id, user_id)`, индексы `messages(chat_id, created_at, id)` под keyset-историю и `chat_members(user_id, chat_id)` под список чатов пользователя, `timestamptz`. `created_at` сообщений берётся из `clock_timestamp()` в БД. Форматы и длины проверяются в одном месте — Pydantic-схемах; в БД остаются структурные ограничения. + +**Сессии.** + +- Ключ `session:` → `user_id`, запись `SET … PXAT expires_at`. Сам токен (256 бит, `secrets.token_urlsafe(32)`) не хранится. +- Expiry: срок абсолютный (`SESSION_TTL_SECONDS`), Redis удаляет ключ сам. Активность и рестарт срок не продлевают. +- Инвалидация: logout — атомарный `DEL`; повторный logout получает 401. +- Persistence: AOF с `appendfsync always`, чтобы не терять logout. `maxmemory-policy noeviction`, чтобы Redis не вытеснял сессии. Volume `redisdata`. После `FLUSHALL` все пользователи входят заново, данные PostgreSQL не затронуты. + +**Пароли.** Argon2id (`m=64 MiB, t=3, p=4`) в отдельном пуле потоков размером `cpu / p`. Для неизвестного username выполняется проверка против фиктивного хеша, поэтому время ответа не выдаёт существование пользователя. + + +**Транзакционные границы.** `commit` и `rollback` есть только в слое domain: + +- **регистрация:** проверка username → `commit` (соединение возвращается в пул до Argon2) → INSERT → `commit`. `IntegrityError` → rollback → 409; +- **вход:** SELECT → `commit` до проверки пароля → `SET` в Redis; +- **создание чата:** чат и участники вставляются одной транзакцией; +- **сообщение:** проверка членства → атомарный upsert счётчика с условием `value < MAX_MESSAGES` → INSERT → `commit`. Лимит точен и при конкурентных отправках. + + +**Пулы и таймауты.** + +- PostgreSQL: пул 5 + 10, ожидание соединения 3 с, подключение 3 с, `statement_timeout` 5 с. +- Redis: блокирующий пул на 20 соединений, ожидание 1 с, подключение 1 с, операция 0.5 с, один повтор. +- Лимиты: `MAX_IN_FLIGHT` → 429, `MAX_MESSAGES` → 503. SQL только через SQLAlchemy, все запросы параметризованы. + + +**Из lab1 перенесено:** API, формат ошибок, `X-Request-Id`, курсорная пагинация, лимиты. +**Изменено:** хранилище in-memory → PostgreSQL; `X-User-Id` → Basic (только `POST /auth/sessions`) + Bearer; регистрация с паролем. + +**Переменные `.env.example`:** + +- `APP_*`, `LOG_LEVEL` — uvicorn; +- `SESSION_TTL_SECONDS`, `SESSION_STORE=redis` — сессии; +- `REDIS_*` — `app/core/redis.py`; +- `DB_*` — `app/core/database.py`; +- `MAX_*` — лимиты; +- `*_HOST_PORT` — публикация портов в compose. ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл | +| -------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------- | --------------------------------------------------------- | +| Публичный smoke | `make test` | PASS | [02-smoke.txt](evidence/02-smoke.txt) | +| Данные и сессии переживают рестарт API и всех хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `Up N seconds` у api, postgres, redis до и после | [03-persistence.txt](evidence/03-persistence.txt) | +| PK/FK, уникальность username, миграции с нуля и повторно | `test_constraints.py`, `test_migrations.py` | ограничения срабатывают в БД; повторный `upgrade` не дублирует; модели совпадают с миграциями | [01-pytest.txt](evidence/01-pytest.txt) | +| Атомарное создание чата | `test_failed_chat_creation_leaves_no_partial_data`, `test_failed_chat_insert_rolls_back_whole_transaction` | 400, ни чата, ни участников | 01-pytest.txt | +| Basic только на входе, Bearer везде, `X-User-Id` игнорируется | `test_auth.py`, smoke | 401 + `WWW-Authenticate`; `X-User-Id` не меняет пользователя | 01-pytest.txt | +| Срок жизни и отзыв сессии | `make expiry-demo`, `test_sessions.py` | 200 → 401 после TTL; logout → 401 | [08-expiry.txt](evidence/08-expiry.txt) | +| Пароли — KDF | `test_password_is_not_stored_in_plaintext` | `$argon2id$…` в БД | 01-pytest.txt | +| Redis — сессии с TTL и persistence | `make evidence` | `appendfsync always`, `noeviction`, `aof_enabled:1`; TTL ключа = `expires_at` | [06-redis-config.txt](evidence/06-redis-config.txt) | +| Пул, таймауты, параметризованные запросы | код `app/core/database.py`, `app/core/redis.py` | пулы ограничены, отказ Redis отвечает за ≈1 с | [05-failures.txt](evidence/05-failures.txt) | +| Гонка регистрации и rollback составной операции | `test_concurrency.py` | 16 одновременных → 1×201 + 15×409; откат при сбое вставки | 01-pytest.txt | +| Индекс истории + EXPLAIN на ≥10 000 | `make explain`, `test_history_plan.py` | Index Scan, 51 строка, 4–6 буферов; без индекса — Seq Scan + Sort, 618 буферов | [04-explain-history.txt](evidence/04-explain-history.txt) | +| Автопроверки expiry, logout, неверного пароля, отказа Redis/БД | `make test-docker` | 112 passed | 01-pytest.txt, 05-failures.txt | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Гипотеза: при потере Redis или PostgreSQL API отвечает ограниченным 503 и не пропускает анонимов, а после возврата сервиса прежний токен снова работает. +Стенд: i7-10510U (8 потоков), 15 GiB RAM, без CPU/RAM-лимитов на контейнерах, один процесс API — см. [00-environment.txt](evidence/00-environment.txt). -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | -| --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных | +| --------------------------------------------------------- | ------------------------------------------------- | ------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------- | +| Остановка Redis | 503 на вход и Bearer-запросы, ready 503, live 200 | 503 за ≈1 с; без токена 401; live 200 | после старта тот же токен → 200 (AOF), потерь нет | +| Остановка PostgreSQL | 503 на бизнес-запросы, ready 503 | 503, детали подключения не раскрываются | после старта → 200, потерь нет | +| Рестарт api + postgres + redis | данные и токен сохраняются | PASS persistence | ≈15 с до готовности, потерь нет | +| `FLUSHDB` Redis | все сессии недействительны | 401 для всех токенов | пользователи входят заново, PostgreSQL не затронут | +| Нагрузка: closed-loop POST сообщений, 20 с, concurrency 8 | без ошибок | 172 RPS, 0 % ошибок, p50/p95/p99 = 36/112/172 мс; api ≈95 % CPU, postgres ≈18 % | [07-load.json](evidence/07-load.json), [07-load-resources.txt](evidence/07-load-resources.txt) | + +Ограничения измерения нагрузки: один короткий прогон, closed-loop клиент на той же машине (coordinated omission), latency только успешных запросов. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Узкое место — один процесс API (CPU). Горизонтальное масштабирование — lab3. +- Счётчик сообщений — одна строка, все отправки проходят через её блокировку до `commit`. При росте нагрузки — шардирование счётчика с менее строгим лимитом. +- Redis — единственное хранилище сессий: потеря volume или `FLUSHALL` разлогинивает всех. `appendfsync always` удорожает только вход и выход. +- Один Docker-host и одиночные PostgreSQL/Redis без репликации: отказ хоста не переживается. +- HTTP без TLS — только локальный стенд с синтетическими данными. Пароль Redis виден в `docker inspect`; управление секретами — lab7. \ No newline at end of file diff --git a/app/endpoints/dependencies.py b/app/endpoints/dependencies.py index 2c5df7e..eccb50d 100644 --- a/app/endpoints/dependencies.py +++ b/app/endpoints/dependencies.py @@ -3,7 +3,9 @@ import binascii from collections.abc import AsyncIterator from typing import Annotated -from fastapi import Depends, Header, Request +from fastapi import Depends, Request, Security +from fastapi.openapi.models import HTTPBase, HTTPBearer +from fastapi.security.base import SecurityBase from redis.asyncio import Redis from sqlalchemy.ext.asyncio import AsyncSession @@ -30,6 +32,21 @@ async def get_redis(request: Request) -> Redis: return redis +class AuthorizationHeader(SecurityBase): + """Отдаёт сырой заголовок Authorization и описывает схему для OpenAPI.""" + + def __init__(self, model: HTTPBase, scheme_name: str) -> None: + self.model = model + self.scheme_name = scheme_name + + async def __call__(self, request: Request) -> str | None: + return request.headers.get("Authorization") + + +basic_auth = AuthorizationHeader(HTTPBase(scheme="basic"), "BasicAuth") +bearer_auth = AuthorizationHeader(HTTPBearer(), "BearerAuth") + + def _split_authorization(authorization: str | None) -> tuple[str, str] | None: if authorization is None: return None @@ -40,7 +57,7 @@ def _split_authorization(authorization: str | None) -> tuple[str, str] | None: async def get_bearer_token( - authorization: Annotated[str | None, Header()] = None, + authorization: Annotated[str | None, Security(bearer_auth)], ) -> str: parts = _split_authorization(authorization) if parts is None or parts[0] != "bearer": @@ -49,7 +66,7 @@ async def get_bearer_token( async def get_basic_credentials( - authorization: Annotated[str | None, Header()] = None, + authorization: Annotated[str | None, Security(basic_auth)], ) -> tuple[str, str]: """(username, password) из `Authorization: Basic`; пароль может содержать ':'.""" parts = _split_authorization(authorization) diff --git a/compose.yaml b/compose.yaml index e8fa00a..e5bd4d7 100644 --- a/compose.yaml +++ b/compose.yaml @@ -19,24 +19,16 @@ services: redis: image: redis:7.4.2-bookworm restart: unless-stopped + command: ["redis-server", "/usr/local/etc/redis/redis.conf", "--requirepass", "${REDIS_PASSWORD}"] environment: - REDIS_PASSWORD: ${REDIS_PASSWORD} - command: - - sh - - -c - - >- - exec redis-server - --appendonly yes - --appendfsync always - --maxmemory 256mb - --maxmemory-policy noeviction - --requirepass "$$REDIS_PASSWORD" + REDISCLI_AUTH: ${REDIS_PASSWORD} volumes: + - ./infra/redis/redis.conf:/usr/local/etc/redis/redis.conf:ro - redisdata:/data ports: - "127.0.0.1:${REDIS_HOST_PORT:-6379}:6379" healthcheck: - test: ["CMD-SHELL", "redis-cli -a \"$$REDIS_PASSWORD\" --no-auth-warning ping | grep -q PONG"] + test: ["CMD", "redis-cli", "ping"] interval: 5s timeout: 3s retries: 10 @@ -56,8 +48,10 @@ services: image: mtusi-messenger:lab2 restart: unless-stopped env_file: .env + environment: + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} ports: - - "127.0.0.1:${API_HOST_PORT:-8080}:8080" + - "127.0.0.1:${API_HOST_PORT:-8080}:${APP_PORT:-8080}" depends_on: postgres: condition: service_healthy diff --git a/evidence/00-environment.txt b/evidence/00-environment.txt new file mode 100644 index 0000000..0ca68dc --- /dev/null +++ b/evidence/00-environment.txt @@ -0,0 +1,15 @@ +date: 2026-10-26T20:56:01Z +commit: 8ad0bb6 (+ uncommitted changes) +branch: solution/BPI2303-Grigoryan +cpu: Intel(R) Core(TM) i7-10510U CPU @ 1.80GHz (8 threads) +memory: 15Gi +kernel: 7.2.11-zen1-1-zen +docker: 29.9.2 +compose: 5.6.1 +python: Python 3.12.14 +stand: http://localhost:18080 (compose project mtusi2026lab2-fork-test) + +SERVICE IMAGE STATUS +api mtusi-messenger:lab2 Up 2 seconds (health: starting) +postgres postgres:16.10-bookworm Up 9 seconds (healthy) +redis redis:7.4.2-bookworm Up 9 seconds (healthy) diff --git a/evidence/01-pytest.txt b/evidence/01-pytest.txt new file mode 100644 index 0000000..80f8c54 --- /dev/null +++ b/evidence/01-pytest.txt @@ -0,0 +1,113 @@ +tests/test_auth.py::test_login_returns_opaque_bearer_session PASSED [ 0%] +tests/test_auth.py::test_each_login_issues_a_different_token PASSED [ 1%] +tests/test_auth.py::test_password_with_colon_works PASSED [ 2%] +tests/test_auth.py::test_unicode_password_works PASSED [ 3%] +tests/test_auth.py::test_wrong_password_and_unknown_user_look_identical PASSED [ 4%] +tests/test_auth.py::test_login_requires_basic_scheme PASSED [ 5%] +tests/test_auth.py::test_business_endpoints_require_bearer PASSED [ 6%] +tests/test_auth.py::test_x_user_id_cannot_override_bearer_identity PASSED [ 7%] +tests/test_auth.py::test_logout_revokes_only_current_session PASSED [ 8%] +tests/test_auth.py::test_logout_twice_returns_401 PASSED [ 8%] +tests/test_auth.py::test_session_expires_after_ttl PASSED [ 9%] +tests/test_auth.py::test_token_is_stored_only_as_sha256_key PASSED [ 10%] +tests/test_auth.py::test_password_is_not_stored_in_plaintext PASSED [ 11%] +tests/test_auth.py::test_login_rejects_out_of_range_password_like_wrong_password PASSED [ 12%] +tests/test_auth.py::test_malformed_basic_credentials_return_401 PASSED [ 13%] +tests/test_auth.py::test_unknown_user_takes_comparable_time_to_wrong_password PASSED [ 14%] +tests/test_chats.py::test_create_and_get_chat PASSED [ 15%] +tests/test_chats.py::test_chat_is_not_visible_to_outsider PASSED [ 16%] +tests/test_chats.py::test_chat_creation_requires_creator_in_members PASSED [ 16%] +tests/test_chats.py::test_chat_payload_boundaries[payload0] PASSED [ 17%] +tests/test_chats.py::test_chat_payload_boundaries[payload1] PASSED [ 18%] +tests/test_chats.py::test_duplicate_members_are_rejected PASSED [ 19%] +tests/test_chats.py::test_unknown_member_is_rejected PASSED [ 20%] +tests/test_chats.py::test_chat_exact_title_limit_is_accepted PASSED [ 21%] +tests/test_chats.py::test_chat_list_hides_chats_without_membership PASSED [ 22%] +tests/test_chats.py::test_nonexistent_chat_returns_404 PASSED [ 23%] +tests/test_chats.py::test_failed_chat_creation_leaves_no_partial_data PASSED [ 24%] +tests/test_chats.py::test_chat_list_pagination_and_order PASSED [ 25%] +tests/test_chats.py::test_chat_endpoints_require_bearer PASSED [ 25%] +tests/test_concurrency.py::test_parallel_registration_of_same_username_creates_exactly_one_user PASSED [ 26%] +tests/test_concurrency.py::test_100_messages_from_10_clients PASSED [ 27%] +tests/test_concurrency.py::test_chat_creation_in_parallel_is_atomic PASSED [ 28%] +tests/test_concurrency.py::test_parallel_registration_of_distinct_usernames_all_succeed PASSED [ 29%] +tests/test_concurrency.py::test_parallel_logins_issue_distinct_valid_tokens PASSED [ 30%] +tests/test_concurrency.py::test_parallel_logout_of_same_token_succeeds_once PASSED [ 31%] +tests/test_concurrency.py::test_message_limit_is_exact_under_concurrency PASSED [ 32%] +tests/test_concurrency.py::test_failed_chat_insert_rolls_back_whole_transaction PASSED [ 33%] +tests/test_constraints.py::test_duplicate_username_is_rejected_by_database PASSED [ 33%] +tests/test_constraints.py::test_message_requires_existing_chat PASSED [ 34%] +tests/test_constraints.py::test_duplicate_membership_is_rejected_by_database PASSED [ 35%] +tests/test_errors.py::test_missing_token_returns_401 PASSED [ 36%] +tests/test_errors.py::test_garbage_token_returns_401 PASSED [ 37%] +tests/test_errors.py::test_malformed_json_returns_400 PASSED [ 38%] +tests/test_errors.py::test_not_found_returns_404 PASSED [ 39%] +tests/test_errors.py::test_method_not_allowed_preserves_405 PASSED [ 40%] +tests/test_errors.py::test_unhandled_exception_is_hidden_from_client PASSED [ 41%] +tests/test_errors.py::test_success_response_contains_request_id PASSED [ 41%] +tests/test_failures.py::test_redis_down_gives_503_for_login_and_protected_endpoints PASSED [ 42%] +tests/test_failures.py::test_redis_down_keeps_registration_working PASSED [ 43%] +tests/test_failures.py::test_database_down_with_valid_session_gives_503 PASSED [ 44%] +tests/test_failures.py::test_dependency_failure_never_authenticates_anonymous_requests PASSED [ 45%] +tests/test_health.py::test_liveness PASSED [ 46%] +tests/test_health.py::test_readiness PASSED [ 47%] +tests/test_health.py::test_readiness_is_503_when_database_is_down PASSED [ 48%] +tests/test_health.py::test_business_request_is_503_when_database_is_down PASSED [ 49%] +tests/test_history_plan.py::test_history_page_uses_composite_index PASSED [ 50%] +tests/test_limits.py::test_message_limit_rejects_without_deleting_confirmed_messages PASSED [ 50%] +tests/test_limits.py::test_in_flight_limit_returns_429_and_recovers PASSED [ 51%] +tests/test_messages.py::test_send_and_list_message PASSED [ 52%] +tests/test_messages.py::test_invalid_message_text[] PASSED [ 53%] +tests/test_messages.py::test_invalid_message_text[ ] PASSED [ 54%] +tests/test_messages.py::test_invalid_message_text[xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx] PASSED [ 55%] +tests/test_messages.py::test_extra_message_field_is_rejected PASSED [ 56%] +tests/test_messages.py::test_messages_are_private_to_chat_members PASSED [ 57%] +tests/test_messages.py::test_pagination_has_no_duplicates PASSED [ 58%] +tests/test_messages.py::test_cursor_cannot_be_used_for_another_chat PASSED [ 58%] +tests/test_messages.py::test_limit_boundaries[0-400] PASSED [ 59%] +tests/test_messages.py::test_limit_boundaries[1-200] PASSED [ 60%] +tests/test_messages.py::test_limit_boundaries[100-200] PASSED [ 61%] +tests/test_messages.py::test_limit_boundaries[101-400] PASSED [ 62%] +tests/test_messages.py::test_message_exact_max_length_is_accepted PASSED [ 63%] +tests/test_messages.py::test_nonexistent_chat_messages_return_404 PASSED [ 64%] +tests/test_messages.py::test_unauthenticated_requests_are_rejected PASSED [ 65%] +tests/test_messages.py::test_messages_survive_new_login PASSED [ 66%] +tests/test_messages.py::test_history_order_is_created_at_then_id PASSED [ 66%] +tests/test_migrations.py::test_upgrade_creates_all_tables PASSED [ 67%] +tests/test_migrations.py::test_upgrade_twice_is_idempotent_and_keeps_data PASSED [ 68%] +tests/test_migrations.py::test_models_and_migrations_are_in_sync PASSED [ 69%] +tests/test_pagination.py::test_garbage_cursor_returns_400[not-base64-%%%] PASSED [ 70%] +tests/test_pagination.py::test_garbage_cursor_returns_400[bm90IGpzb24=] PASSED [ 71%] +tests/test_pagination.py::test_garbage_cursor_returns_400[WzEsIDIsIDNd] PASSED [ 72%] +tests/test_pagination.py::test_garbage_cursor_returns_400[eyJraW5kIjogIm1lc3NhZ2VzIn0=] PASSED [ 73%] +tests/test_pagination.py::test_cursor_without_timezone_is_rejected PASSED [ 74%] +tests/test_pagination.py::test_chat_list_cursor_is_bound_to_its_owner PASSED [ 75%] +tests/test_pagination.py::test_messages_cursor_is_not_accepted_by_chat_list PASSED [ 75%] +tests/test_pagination.py::test_limit_can_change_between_pages PASSED [ 76%] +tests/test_pagination.py::test_message_sent_after_reading_last_page_is_seen_with_cursor PASSED [ 77%] +tests/test_sessions.py::test_session_key_ttl_matches_expires_at PASSED [ 78%] +tests/test_sessions.py::test_session_ttl_is_absolute_and_not_extended_by_activity PASSED [ 79%] +tests/test_sessions.py::test_logout_removes_session_key PASSED [ 80%] +tests/test_sessions.py::test_expired_session_is_rejected_everywhere PASSED [ 81%] +tests/test_sessions.py::test_relogin_after_expiry_issues_new_working_token PASSED [ 82%] +tests/test_sessions.py::test_tampered_token_is_rejected PASSED [ 83%] +tests/test_sessions.py::test_session_of_deleted_user_is_rejected PASSED [ 83%] +tests/test_sessions.py::test_redis_flush_invalidates_all_sessions PASSED [ 84%] +tests/test_sessions.py::test_sessions_survive_redis_restart PASSED [ 85%] +tests/test_users.py::test_register_does_not_leak_password PASSED [ 86%] +tests/test_users.py::test_get_current_user PASSED [ 87%] +tests/test_users.py::test_invalid_user_payloads[body0] PASSED [ 88%] +tests/test_users.py::test_invalid_user_payloads[body1] PASSED [ 89%] +tests/test_users.py::test_invalid_user_payloads[body2] PASSED [ 90%] +tests/test_users.py::test_invalid_user_payloads[body3] PASSED [ 91%] +tests/test_users.py::test_invalid_user_payloads[body4] PASSED [ 91%] +tests/test_users.py::test_invalid_user_payloads[body5] PASSED [ 92%] +tests/test_users.py::test_invalid_user_payloads[body6] PASSED [ 93%] +tests/test_users.py::test_invalid_user_payloads[body7] PASSED [ 94%] +tests/test_users.py::test_invalid_user_payloads[body8] PASSED [ 95%] +tests/test_users.py::test_invalid_user_payloads[body9] PASSED [ 96%] +tests/test_users.py::test_password_length_boundaries_are_accepted PASSED [ 97%] +tests/test_users.py::test_extra_user_field_is_rejected PASSED [ 98%] +tests/test_users.py::test_duplicate_username_returns_conflict PASSED [ 99%] +tests/test_users.py::test_user_exact_length_boundaries_are_accepted PASSED [100%] +============================= 112 passed in 38.60s ============================= diff --git a/evidence/02-smoke.txt b/evidence/02-smoke.txt new file mode 100644 index 0000000..9215419 --- /dev/null +++ b/evidence/02-smoke.txt @@ -0,0 +1 @@ +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/03-persistence.txt b/evidence/03-persistence.txt new file mode 100644 index 0000000..b8d5fb3 --- /dev/null +++ b/evidence/03-persistence.txt @@ -0,0 +1,14 @@ +== before +SERVICE STATUS +api Up 43 seconds (healthy) +postgres Up 51 seconds (healthy) +redis Up 3 seconds (health: starting) + +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +== after (Up N seconds = container was restarted by scripts/restart.sh) +SERVICE STATUS +api Up 5 seconds (healthy) +postgres Up 12 seconds (healthy) +redis Up 14 seconds (healthy) diff --git a/evidence/04-explain-history.txt b/evidence/04-explain-history.txt new file mode 100644 index 0000000..cc7cb3b --- /dev/null +++ b/evidence/04-explain-history.txt @@ -0,0 +1,51 @@ +messages in table: 50003; target chat: 10000; noise chat: 40000 + +== first page (limit+1 = 51) +SELECT * FROM messages +WHERE chat_id = :chat_id +ORDER BY created_at, id +LIMIT :page + +Limit (actual time=0.006..0.015 rows=51 loops=1) + Buffers: shared hit=4 + -> Index Scan using ix_messages_chat_id_created_at_id on messages (actual time=0.006..0.012 rows=51 loops=1) + Index Cond: (chat_id = '87629e85-f573-467a-b369-74d67ea5f2ac'::uuid) + Buffers: shared hit=4 +Planning: + Buffers: shared hit=6 +Planning Time: 0.051 ms +Execution Time: 0.025 ms + +== page after cursor in the middle of history +SELECT * FROM messages +WHERE chat_id = :chat_id AND (created_at, id) > (:after_created_at, :after_id) +ORDER BY created_at, id +LIMIT :page + +Limit (actual time=0.007..0.023 rows=51 loops=1) + Buffers: shared hit=6 + -> Index Scan using ix_messages_chat_id_created_at_id on messages (actual time=0.007..0.020 rows=51 loops=1) + Index Cond: ((chat_id = '87629e85-f573-467a-b369-74d67ea5f2ac'::uuid) AND (ROW(created_at, id) > ROW('2026-10-26 19:33:40.369572+00'::timestamp with time zone, '540382ff-297f-48c1-8515-aca3063b8347'::uuid))) + Buffers: shared hit=6 +Planning Time: 0.044 ms +Execution Time: 0.046 ms + +== same page with index scans disabled (for comparison) +SELECT * FROM messages +WHERE chat_id = :chat_id AND (created_at, id) > (:after_created_at, :after_id) +ORDER BY created_at, id +LIMIT :page + +Limit (actual time=4.477..4.483 rows=51 loops=1) + Buffers: shared hit=618 + -> Sort (actual time=4.476..4.479 rows=51 loops=1) + Sort Key: created_at, id + Sort Method: top-N heapsort Memory: 31kB + Buffers: shared hit=618 + -> Seq Scan on messages (actual time=0.417..4.025 rows=4999 loops=1) + Filter: ((chat_id = '87629e85-f573-467a-b369-74d67ea5f2ac'::uuid) AND (ROW(created_at, id) > ROW('2026-10-26 19:33:40.369572+00'::timestamp with time zone, '540382ff-297f-48c1-8515-aca3063b8347'::uuid))) + Rows Removed by Filter: 45004 + Buffers: shared hit=618 +Planning Time: 0.038 ms +Execution Time: 4.496 ms + diff --git a/evidence/05-failures.txt b/evidence/05-failures.txt new file mode 100644 index 0000000..8063d6b --- /dev/null +++ b/evidence/05-failures.txt @@ -0,0 +1,23 @@ +== baseline +GET /users/me (Bearer) -> 200 (0.003616s) + +== redis stopped +GET /users/me (Bearer) -> 503 (1.030640s) +POST /auth/sessions (Basic) -> 503 (0.677546s) +GET /users/me (no token) -> 401 (0.001655s) +GET /health/ready -> 503 (0.010732s) +GET /health/live -> 200 (0.001545s) +-- redis started again (AOF restored) +GET /users/me (same token) -> 200 (0.004750s) + +== postgres stopped +GET /users/me (Bearer) -> 503 (0.403928s) +GET /api/v1/chats (Bearer) -> 503 (0.011329s) +GET /health/ready -> 503 (0.170920s) +GET /health/live -> 200 (0.004790s) +-- postgres started again +GET /users/me (same token) -> 200 (0.010434s) + +== logout +DELETE /auth/sessions/current -> 204 (0.012516s) +GET /users/me (same token) -> 401 (0.002182s) diff --git a/evidence/06-redis-config.txt b/evidence/06-redis-config.txt new file mode 100644 index 0000000..d3d4d79 --- /dev/null +++ b/evidence/06-redis-config.txt @@ -0,0 +1,10 @@ +appendonly yes +appendfsync always +maxmemory 268435456 +maxmemory-policy noeviction +dir /data + +loading:0 +aof_enabled:1 +aof_last_bgrewrite_status:ok +aof_last_write_status:ok diff --git a/evidence/07-load-resources.txt b/evidence/07-load-resources.txt new file mode 100644 index 0000000..e3776bf --- /dev/null +++ b/evidence/07-load-resources.txt @@ -0,0 +1,4 @@ +NAME CPU % MEM USAGE / LIMIT +mtusi2026lab2-fork-test-api-1 94.22% 73.3MiB / 15.27GiB +mtusi2026lab2-fork-test-postgres-1 17.48% 40.43MiB / 15.27GiB +mtusi2026lab2-fork-test-redis-1 0.95% 10.62MiB / 15.27GiB diff --git a/evidence/07-load.json b/evidence/07-load.json new file mode 100644 index 0000000..4af3743 --- /dev/null +++ b/evidence/07-load.json @@ -0,0 +1,17 @@ +{ + "lab": 2, + "workload": "closed-loop POST messages; no automatic retries", + "requested_duration_seconds": 20.0, + "elapsed_seconds": 20.059, + "concurrency": 8, + "successful_requests": 3050, + "failed_requests": 0, + "error_ratio": 0.0, + "successful_rps": 152.049, + "successful_latency_ms": { + "p50": 41.84, + "p95": 128.928, + "p99": 185.164 + }, + "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." +} diff --git a/evidence/08-expiry.txt b/evidence/08-expiry.txt new file mode 100644 index 0000000..b16ba2d --- /dev/null +++ b/evidence/08-expiry.txt @@ -0,0 +1,5 @@ +SESSION_TTL_SECONDS=3, login at 20:58:36Z, expires_at=2026-10-26T20:58:39.512095Z +GET /users/me right after login -> 200 +GET /users/me after 4 s -> 401 +DELETE /auth/sessions/current after -> 401 +GET /users/me with new login token -> 200 diff --git a/infra/redis/redis.conf b/infra/redis/redis.conf new file mode 100644 index 0000000..f2ae982 --- /dev/null +++ b/infra/redis/redis.conf @@ -0,0 +1,5 @@ +dir /data +appendonly yes +appendfsync always +maxmemory 256mb +maxmemory-policy noeviction diff --git a/requirements.txt b/requirements.txt index 3f730ef..a64e71a 100644 --- a/requirements.txt +++ b/requirements.txt @@ -41,10 +41,10 @@ typing-inspection==0.4.4 typing_extensions==4.16.0 urllib3==2.8.0 uvicorn==0.54.0 -asyncpg +asyncpg==0.32.0 argon2-cffi==25.1.0 redis==8.1.0 -greenlet -pydantic-settings +greenlet==3.5.6 +pydantic-settings==2.16.0 pytest-asyncio==1.4.1 httpx==0.28.1 diff --git a/scripts/collect_evidence.sh b/scripts/collect_evidence.sh new file mode 100755 index 0000000..6cb3114 --- /dev/null +++ b/scripts/collect_evidence.sh @@ -0,0 +1,81 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." + +PYTHON="${PYTHON:-python3}" +BASE_URL="${BASE_URL:-http://localhost:8080}" +OUT=evidence + +compose() { + docker compose --env-file .env "$@" +} + +wait_ready() { + for _ in $(seq 1 90); do + curl -sf "$BASE_URL/health/ready" >/dev/null && return 0 + sleep 1 + done + echo "API $BASE_URL не готов" >&2 + exit 1 +} + +{ + echo "date: $(date -u +%Y-%m-%dT%H:%M:%SZ)" + echo "commit: $(git rev-parse --short HEAD)$(git diff --quiet HEAD -- app migrations tests scripts compose.yaml Dockerfile infra || echo ' (+ uncommitted changes)')" + echo "branch: $(git rev-parse --abbrev-ref HEAD)" + echo "cpu: $(lscpu | sed -n 's/^Model name:[[:space:]]*//p') ($(nproc) threads)" + echo "memory: $(free -h | awk '/^Mem:/ {print $2}')" + echo "kernel: $(uname -r)" + echo "docker: $(docker version --format '{{.Server.Version}}')" + echo "compose: $(docker compose version --short)" + echo "python: $($PYTHON --version 2>&1)" + echo "stand: $BASE_URL (compose project ${COMPOSE_PROJECT_NAME:-default})" + echo + compose ps --format 'table {{.Service}}\t{{.Image}}\t{{.Status}}' +} > "$OUT/00-environment.txt" + +DOCKER_TESTS=1 "$PYTHON" -m pytest tests -v -p no:cacheprovider 2>&1 \ + | grep -E "PASSED|FAILED|SKIPPED|ERROR|passed|failed" > "$OUT/01-pytest.txt" + +"$PYTHON" tests/smoke.py --base-url "$BASE_URL" > "$OUT/02-smoke.txt" 2>&1 + +{ + echo "== before" + compose ps --format 'table {{.Service}}\t{{.Status}}' + echo + "$PYTHON" tests/resilience.py --mode persistence \ + --action-script scripts/restart.sh --base-url "$BASE_URL" 2>&1 + echo + echo "== after (Up N seconds = container was restarted by scripts/restart.sh)" + compose ps --format 'table {{.Service}}\t{{.Status}}' +} > "$OUT/03-persistence.txt" + +DB_HOST=localhost DB_PORT="${DB_HOST_PORT:-5432}" PYTHONPATH=. \ + "$PYTHON" scripts/explain_history.py > "$OUT/04-explain-history.txt" + +BASE_URL="$BASE_URL" scripts/failure_demo.sh > "$OUT/05-failures.txt" 2>&1 + +{ + for key in appendonly appendfsync maxmemory maxmemory-policy dir; do + compose exec -T redis redis-cli CONFIG GET "$key" | paste -sd' ' + done + echo + compose exec -T redis redis-cli INFO persistence \ + | grep -E "^(aof_enabled|aof_last_write_status|aof_last_bgrewrite_status|loading):" +} > "$OUT/06-redis-config.txt" + +"$PYTHON" tests/load.py --base-url "$BASE_URL" --duration 20 --concurrency 8 \ + --output "$OUT/07-load.json" > /dev/null & +LOAD_PID=$! +sleep 10 +docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}' \ + $(compose ps -q) > "$OUT/07-load-resources.txt" +wait "$LOAD_PID" + +SESSION_TTL_SECONDS=3 compose up -d api >/dev/null 2>&1 +wait_ready +BASE_URL="$BASE_URL" TTL=3 scripts/expiry_demo.sh > "$OUT/08-expiry.txt" 2>&1 +compose up -d api >/dev/null 2>&1 +wait_ready + +echo "evidence written to $OUT/" diff --git a/scripts/expiry_demo.sh b/scripts/expiry_demo.sh new file mode 100755 index 0000000..cc32541 --- /dev/null +++ b/scripts/expiry_demo.sh @@ -0,0 +1,28 @@ +#!/bin/sh +set -eu + +BASE_URL="${BASE_URL:-http://localhost:8080}" +TTL="${TTL:?укажите TTL, с которым запущен API (SESSION_TTL_SECONDS)}" +API="$BASE_URL/api/v1" +USERNAME="expiry_$(date +%s)" +PASSWORD="expiry-password-123" + +code() { + curl -s -o /dev/null -w '%{http_code}' "$@" +} + +curl -sf -o /dev/null -X POST "$API/users" -H 'Content-Type: application/json' \ + -d "{\"username\":\"$USERNAME\",\"display_name\":\"Expiry\",\"password\":\"$PASSWORD\"}" +SESSION=$(curl -sf -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD") +TOKEN=$(printf '%s' "$SESSION" | python3 -c 'import json, sys; print(json.load(sys.stdin)["token"])') +EXPIRES_AT=$(printf '%s' "$SESSION" | python3 -c 'import json, sys; print(json.load(sys.stdin)["expires_at"])') +AUTH="Authorization: Bearer $TOKEN" + +echo "SESSION_TTL_SECONDS=$TTL, login at $(date -u +%H:%M:%S)Z, expires_at=$EXPIRES_AT" +echo "GET /users/me right after login -> $(code "$API/users/me" -H "$AUTH")" +sleep $((TTL + 1)) +printf "%-35s -> %s\n" "GET /users/me after $((TTL + 1)) s" "$(code "$API/users/me" -H "$AUTH")" +echo "DELETE /auth/sessions/current after -> $(code -X DELETE "$API/auth/sessions/current" -H "$AUTH")" +NEW_TOKEN=$(curl -sf -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD" \ + | python3 -c 'import json, sys; print(json.load(sys.stdin)["token"])') +echo "GET /users/me with new login token -> $(code "$API/users/me" -H "Authorization: Bearer $NEW_TOKEN")" diff --git a/scripts/explain_history.py b/scripts/explain_history.py new file mode 100644 index 0000000..9d571c4 --- /dev/null +++ b/scripts/explain_history.py @@ -0,0 +1,132 @@ +"""EXPLAIN (ANALYZE, BUFFERS) запроса истории на синтетических данных. + +Данные создаются в одной транзакции и откатываются в конце: база не меняется. +""" + +import asyncio +from uuid import uuid4 + +from sqlalchemy import text +from sqlalchemy.ext.asyncio import AsyncConnection + +from app.core.config import Settings +from app.core.database import create_db_engine + +TARGET_MESSAGES = 10_000 +NOISE_MESSAGES = 40_000 +PAGE = 51 + +HISTORY_FIRST_PAGE = """ +SELECT * FROM messages +WHERE chat_id = :chat_id +ORDER BY created_at, id +LIMIT :page +""" + +HISTORY_AFTER_CURSOR = """ +SELECT * FROM messages +WHERE chat_id = :chat_id AND (created_at, id) > (:after_created_at, :after_id) +ORDER BY created_at, id +LIMIT :page +""" + + +async def seed(connection: AsyncConnection) -> dict[str, object]: + user_id, target_id, noise_id = uuid4(), uuid4(), uuid4() + await connection.execute( + text( + "INSERT INTO users (id, username, display_name, password_hash) " + "VALUES (:id, :username, 'Explain', 'x')" + ), + {"id": user_id, "username": "explain_" + uuid4().hex[:8]}, + ) + await connection.execute( + text("INSERT INTO chats (id, title) VALUES (:a, 'target'), (:b, 'noise')"), + {"a": target_id, "b": noise_id}, + ) + await connection.execute( + text("INSERT INTO chat_members (chat_id, user_id) VALUES (:a, :u), (:b, :u)"), + {"a": target_id, "b": noise_id, "u": user_id}, + ) + for chat_id, count in ((target_id, TARGET_MESSAGES), (noise_id, NOISE_MESSAGES)): + await connection.execute( + text( + "INSERT INTO messages (id, chat_id, sender_id, text, created_at) " + "SELECT gen_random_uuid(), :chat_id, :user_id, 'message ' || g, " + "now() - make_interval(secs => :count - g) " + "FROM generate_series(1, :count) AS g" + ), + {"chat_id": chat_id, "user_id": user_id, "count": count}, + ) + await connection.execute(text("ANALYZE messages")) + + middle = ( + await connection.execute( + text( + "SELECT created_at, id FROM messages WHERE chat_id = :c " + "ORDER BY created_at, id OFFSET :o LIMIT 1" + ), + {"c": target_id, "o": TARGET_MESSAGES // 2}, + ) + ).one() + return { + "chat_id": target_id, + "after_created_at": middle.created_at, + "after_id": middle.id, + "page": PAGE, + } + + +async def explain( + connection: AsyncConnection, title: str, query: str, params: dict[str, object] +) -> None: + rows = await connection.execute( + text(f"EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING ON) {query}"), params + ) + print(f"== {title}") + print(query.strip()) + print() + for row in rows: + print(row[0]) + print() + + +async def main() -> None: + engine = create_db_engine(Settings()) # type: ignore[call-arg] + async with engine.connect() as connection: + transaction = await connection.begin() + params = await seed(connection) + total = ( + await connection.execute(text("SELECT count(*) FROM messages")) + ).scalar_one() + print( + f"messages in table: {total}; target chat: {TARGET_MESSAGES}; noise chat: {NOISE_MESSAGES}" + ) + print() + + first_page = {"chat_id": params["chat_id"], "page": PAGE} + await explain( + connection, "first page (limit+1 = 51)", HISTORY_FIRST_PAGE, first_page + ) + await explain( + connection, + "page after cursor in the middle of history", + HISTORY_AFTER_CURSOR, + params, + ) + + await connection.execute(text("SET LOCAL enable_indexscan = off")) + await connection.execute(text("SET LOCAL enable_bitmapscan = off")) + await explain( + connection, + "same page with index scans disabled (for comparison)", + HISTORY_AFTER_CURSOR, + params, + ) + + await transaction.rollback() + await engine.dispose() + + +if __name__ == "__main__": + asyncio.run(main()) diff --git a/scripts/failure_demo.sh b/scripts/failure_demo.sh new file mode 100755 index 0000000..b5c7332 --- /dev/null +++ b/scripts/failure_demo.sh @@ -0,0 +1,64 @@ +#!/bin/sh +set -eu +cd "$(dirname "$0")/.." + +BASE_URL="${BASE_URL:-http://localhost:8080}" +API="$BASE_URL/api/v1" +USERNAME="demo_$(date +%s)" +PASSWORD="demo-password-123" + +compose() { + docker compose --env-file .env "$@" +} + +code() { + curl -s -o /dev/null -w '%{http_code} (%{time_total}s)' "$@" +} + +wait_healthy() { + attempts=0 + until [ "$(compose ps --format '{{.Health}}' "$1")" = "healthy" ]; do + attempts=$((attempts + 1)) + [ "$attempts" -lt 60 ] || { echo "$1 не стал healthy" >&2; exit 1; } + sleep 1 + done +} + +curl -sf -o /dev/null -X POST "$API/users" -H 'Content-Type: application/json' \ + -d "{\"username\":\"$USERNAME\",\"display_name\":\"Demo\",\"password\":\"$PASSWORD\"}" +TOKEN=$(curl -sf -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD" \ + | python3 -c 'import json, sys; print(json.load(sys.stdin)["token"])') +AUTH="Authorization: Bearer $TOKEN" + +echo "== baseline" +echo "GET /users/me (Bearer) -> $(code "$API/users/me" -H "$AUTH")" + +echo +echo "== redis stopped" +compose stop redis >/dev/null 2>&1 +echo "GET /users/me (Bearer) -> $(code "$API/users/me" -H "$AUTH")" +echo "POST /auth/sessions (Basic) -> $(code -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD")" +echo "GET /users/me (no token) -> $(code "$API/users/me")" +echo "GET /health/ready -> $(code "$BASE_URL/health/ready")" +echo "GET /health/live -> $(code "$BASE_URL/health/live")" +compose start redis >/dev/null 2>&1 +wait_healthy redis +echo "-- redis started again (AOF restored)" +echo "GET /users/me (same token) -> $(code "$API/users/me" -H "$AUTH")" + +echo +echo "== postgres stopped" +compose stop postgres >/dev/null 2>&1 +echo "GET /users/me (Bearer) -> $(code "$API/users/me" -H "$AUTH")" +echo "GET /api/v1/chats (Bearer) -> $(code "$API/chats" -H "$AUTH")" +echo "GET /health/ready -> $(code "$BASE_URL/health/ready")" +echo "GET /health/live -> $(code "$BASE_URL/health/live")" +compose start postgres >/dev/null 2>&1 +wait_healthy postgres +echo "-- postgres started again" +echo "GET /users/me (same token) -> $(code "$API/users/me" -H "$AUTH")" + +echo +echo "== logout" +echo "DELETE /auth/sessions/current -> $(code -X DELETE "$API/auth/sessions/current" -H "$AUTH")" +echo "GET /users/me (same token) -> $(code "$API/users/me" -H "$AUTH")"