add evidence and report.md
This commit is contained in:
@@ -29,3 +29,7 @@ DB_MAX_OVERFLOW=10
|
||||
DB_POOL_TIMEOUT_SECONDS=3
|
||||
DB_CONNECT_TIMEOUT_SECONDS=3
|
||||
DB_STATEMENT_TIMEOUT_MS=5000
|
||||
|
||||
API_HOST_PORT=8080
|
||||
DB_HOST_PORT=5432
|
||||
REDIS_HOST_PORT=6379
|
||||
|
||||
+234
@@ -0,0 +1,234 @@
|
||||
# Ответы на критерии и сценарий защиты — лабораторная 2
|
||||
|
||||
Ссылки на доказательства ведут в [evidence/](evidence/). Все команды выполняются из корня репозитория.
|
||||
|
||||
- **Основной стенд** — `make up`, `http://localhost:8080`.
|
||||
- **Тестовый стенд** — порты 18080/15432/16379, на основной не влияет. Его поднимают и используют цели `test-stand-*`, `test-all`, `*-demo`, `evidence`.
|
||||
|
||||
---
|
||||
|
||||
## Уровень 3
|
||||
|
||||
### Минимум lab1 сохранён, данные и действующие сессии переживают рестарт API и хранилищ без удаления volumes
|
||||
|
||||
API lab1 (пользователи, чаты, сообщения, пагинация, формат ошибок, `X-Request-Id`) сохранён с объявленными переходами: пароль при регистрации, Basic только для входа, Bearer вместо `X-User-Id`.
|
||||
|
||||
Что хранится и где:
|
||||
- пользователи, чаты, участники, сообщения — в PostgreSQL, volume `pgdata`;
|
||||
- сессии — в Redis с AOF, volume `redisdata`.
|
||||
|
||||
`scripts/restart.sh` перезапускает postgres и redis, ждёт healthy, затем перезапускает api. Volumes не удаляет и данные заново не заливает.
|
||||
|
||||
**Проверка:** `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (основной стенд) или `make test-stand-persistence` (тестовый). Тест держит токен в памяти, вызывает рестарт и тем же токеном читает те же данные.
|
||||
**Доказательство:** [03-persistence.txt](evidence/03-persistence.txt) — PASS и `Up N seconds` у всех трёх контейнеров после рестарта.
|
||||
|
||||
### PostgreSQL содержит пользователей, чаты, участников и сообщения; есть PK/FK, уникальность username и миграции с нуля; создание чата атомарно
|
||||
|
||||
Таблицы `users`, `chats`, `chat_members`, `messages`, `counters`:
|
||||
- первичные ключи UUID;
|
||||
- `chat_members` → `chats` (каскадное удаление) и `users`; `messages` → `chats` и `users`;
|
||||
- `UNIQUE(username)`, составной PK `chat_members(chat_id, user_id)` запрещает дубли членства.
|
||||
|
||||
Миграции: `migrations/versions/db06fd3126ff_create_initial_schema.py`, `abd273076068_add_counters.py`. Применяются сервисом `migrate` к пустой базе.
|
||||
|
||||
Атомарность: чат и все участники вставляются в одной транзакции (`app/domain/chats.py`). При ошибке любой вставки выполняется `rollback`, и не остаётся ни чата, ни участников.
|
||||
|
||||
**Проверка:** `make test-own` — тесты `test_constraints.py`, `test_migrations.py`, `test_failed_chat_creation_leaves_no_partial_data`, `test_failed_chat_insert_rolls_back_whole_transaction`. Схему можно посмотреть: `docker compose exec postgres sh -c 'psql -U "$POSTGRES_USER" -d "$POSTGRES_DB" -c "\d messages"'`.
|
||||
**Доказательство:** [01-pytest.txt](evidence/01-pytest.txt).
|
||||
|
||||
### Basic только на POST /auth/sessions, остальное требует Bearer; есть срок жизни и отзыв; X-User-Id не даёт доступа; пароли хешируются KDF
|
||||
|
||||
- **`POST /auth/sessions`** принимает только `Authorization: Basic`. Неверные данные дают одинаковый 401 с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`.
|
||||
- **Бизнес-эндпоинты** принимают только Bearer. Basic, `X-User-Id`, пустой или неизвестный токен дают 401 с `WWW-Authenticate: Bearer realm="messenger"`.
|
||||
- **Срок жизни** — `SESSION_TTL_SECONDS` (3600 по умолчанию). Отзыв — `DELETE /auth/sessions/current` → 204, повтор → 401.
|
||||
- **Пароли** — Argon2id (`$argon2id$v=19$m=65536,t=3,p=4$…`), открытый пароль нигде не хранится.
|
||||
|
||||
**Проверка:** `make expiry-demo` (API на тестовом стенде с TTL=3 с), тесты `test_auth.py` и `test_sessions.py`, публичный smoke.
|
||||
**Доказательство:** [08-expiry.txt](evidence/08-expiry.txt), [01-pytest.txt](evidence/01-pytest.txt), [02-smoke.txt](evidence/02-smoke.txt).
|
||||
|
||||
### make test и make test-persistence проходят, миграции идемпотентны, secrets и volumes не в Git
|
||||
|
||||
- `make test` → `PASS: lab2 public API scenario`.
|
||||
- `make test-persistence ACTION_SCRIPT=scripts/restart.sh` → `PASS: persistence preserved confirmed data and existing session`.
|
||||
- **Миграции:** Alembic хранит применённую ревизию в `alembic_version`, поэтому повторный `upgrade head` ничего не делает. Тест `test_upgrade_twice_is_idempotent_and_keeps_data` вставляет пользователя, повторяет миграции и проверяет, что запись одна.
|
||||
- **Git:** `.env` в `.gitignore`, в репозитории только `.env.example` с заглушками `change-me`. Данные живут в именованных Docker volumes, не в каталоге проекта.
|
||||
|
||||
**Проверка:** `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `git ls-files | grep -E '^\.env$'` (вывод пустой).
|
||||
|
||||
---
|
||||
|
||||
## Уровень 4
|
||||
|
||||
### Redis используется для сессий с TTL; описаны источник истины, expiry, инвалидация; persistence выдерживает рестарт
|
||||
|
||||
- **Источник истины для сессий — только Redis**, для остальных данных — PostgreSQL.
|
||||
- **Ключ** `session:<sha256(token)>` → `user_id`, записывается `SET … PXAT expires_at`. TTL ключа совпадает с `expires_at` из ответа до миллисекунды.
|
||||
- **Expiry:** срок абсолютный, Redis удаляет ключ сам. Активность и рестарт срок не продлевают: Redis хранит абсолютное время истечения.
|
||||
- **Инвалидация:** logout — атомарный `DEL` (из двух одновременных logout успешен ровно один). Отдельного «выйти везде» в контракте нет.
|
||||
- **Persistence** ([infra/redis/redis.conf](infra/redis/redis.conf)):
|
||||
- `appendonly yes` и `appendfsync always` — запись на диск при каждом входе и выходе, отзыв не теряется;
|
||||
- `maxmemory-policy noeviction` — Redis не вытесняет сессии;
|
||||
- volume `redisdata`.
|
||||
|
||||
**Проверка:** `make test-docker` — тест `test_sessions_survive_redis_restart` делает `docker compose restart redis`; живой токен работает, отозванный остаётся отозванным. Для ручной проверки: `docker compose exec redis redis-cli --scan --pattern 'session:*'`, затем `PTTL <ключ>`.
|
||||
**Доказательство:** [06-redis-config.txt](evidence/06-redis-config.txt), [05-failures.txt](evidence/05-failures.txt) (после остановки и старта Redis тот же токен → 200), [01-pytest.txt](evidence/01-pytest.txt).
|
||||
|
||||
### Параметризованные запросы, ограниченный пул и таймауты; проверены гонка регистрации и rollback
|
||||
|
||||
- **Запросы** только через SQLAlchemy (`select`, `insert … on_conflict`). Значения уходят параметрами `$1, $2…`, SQL из f-строк не собирается.
|
||||
- **PostgreSQL** (`app/core/database.py`): пул 5 + 10, ожидание соединения 3 с, подключение 3 с, `statement_timeout` 5 с. Исчерпание пула или недоступность БД дают 503.
|
||||
- **Redis** (`app/core/redis.py`): блокирующий пул на 20 соединений, ожидание 1 с, подключение 1 с, операция 0.5 с, один повтор.
|
||||
- **Гонка регистрации:** `UNIQUE(username)` в БД + перехват `IntegrityError` → 409. Тест: 16 одновременных регистраций одного имени дают 1×201 и 15×409.
|
||||
- **Rollback:** при сбое вставки участника откатывается весь чат.
|
||||
- **Лимит сообщений** — атомарный upsert счётчика: 20 параллельных отправок при лимите 5 дают ровно 5×201 и 15×503.
|
||||
|
||||
**Проверка:** `make test-concurrency`.
|
||||
**Доказательство:** [01-pytest.txt](evidence/01-pytest.txt) (раздел `test_concurrency.py`).
|
||||
|
||||
### Индекс истории обоснован запросом и EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений; пагинация без полного скана
|
||||
|
||||
Запрос страницы:
|
||||
```sql
|
||||
WHERE chat_id = :c AND (created_at, id) > (:t, :i) ORDER BY created_at, id LIMIT 51
|
||||
```
|
||||
Индекс `ix_messages_chat_id_created_at_id (chat_id, created_at, id)` повторяет этот запрос:
|
||||
- равенство по первой колонке выбирает нужный чат;
|
||||
- сравнение пары `(created_at, id)` задаёт позицию в индексе;
|
||||
- порядок индекса совпадает с `ORDER BY`, сортировка не нужна.
|
||||
|
||||
PostgreSQL читает только 51 строку, сколько бы сообщений ни было в чате. OFFSET не используется. `id` в индексе нужен для однозначной позиции при одинаковом времени.
|
||||
|
||||
Данные: 10 000 сообщений в целевом чате и 40 000 в соседнем.
|
||||
|
||||
| | План | Буферы | Время |
|
||||
| --- | --- | --- | --- |
|
||||
| Первая страница | Index Scan, 51 строка | 4 | ≈0.02 мс |
|
||||
| Страница из середины истории | Index Scan, 51 строка | 5–6 | ≈0.04 мс |
|
||||
| Та же страница без индекса | Seq Scan + Sort, отброшено 45 000 строк | 618 | ≈4–5 мс |
|
||||
|
||||
**Проверка:** `make explain` (данные создаются в транзакции и откатываются), тест `test_history_plan.py` автоматически проверяет, что используется индекс, нет `Sort` и `Seq Scan`, ни один узел плана не читает больше 51 строки.
|
||||
**Доказательство:** [04-explain-history.txt](evidence/04-explain-history.txt).
|
||||
|
||||
### Автопроверки expiry при коротком TTL, logout, неверного пароля и недоступности Redis/БД; ограниченная ошибка, без анонимного доступа
|
||||
|
||||
| Что проверяется | Тесты |
|
||||
| --- | --- |
|
||||
| Expiry | `test_expired_session_is_rejected_everywhere` (TTL=1 с), `test_session_expires_after_ttl`, `test_relogin_after_expiry_issues_new_working_token` |
|
||||
| Logout | `test_logout_removes_session_key`, `test_logout_twice_returns_401`, `test_parallel_logout_of_same_token_succeeds_once` |
|
||||
| Неверный пароль | `test_wrong_password_and_unknown_user_look_identical`, `test_login_rejects_out_of_range_password_like_wrong_password`, `test_unknown_user_takes_comparable_time_to_wrong_password` |
|
||||
| Redis недоступен | вход, Bearer-запросы, logout и `/health/ready` → 503 менее чем за 3 с; `/health/live` → 200; регистрация работает |
|
||||
| БД недоступна | с действующим токеном → 503; строки подключения и пароль в ответ не попадают |
|
||||
| Без анонимов | при упавшем Redis запрос без токена → 401, с любым токеном → 503, но никогда 200 |
|
||||
|
||||
**Проверка:** `make test-docker` (весь набор, 112 тестов), `make failure-demo` (живая остановка Redis и PostgreSQL на тестовом стенде).
|
||||
**Доказательство:** [01-pytest.txt](evidence/01-pytest.txt), [05-failures.txt](evidence/05-failures.txt).
|
||||
|
||||
---
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
### Что подтверждает COMMIT и какие гарантии зависят от настройки durability?
|
||||
|
||||
`COMMIT` подтверждает, что все изменения транзакции стали видны другим транзакциям одновременно (атомарность), и что запись о транзакции попала в WAL. При `synchronous_commit = on` (по умолчанию в PostgreSQL) сервер отвечает на `COMMIT` только после `fsync` WAL на диск: подтверждённое сообщение переживёт падение процесса и перезагрузку.
|
||||
|
||||
От настроек зависит, насколько эта гарантия крепкая:
|
||||
- `synchronous_commit = off` или `fsync = off` ускоряют запись, но последние подтверждённые транзакции могут потеряться при сбое;
|
||||
- без реплики потеря диска означает потерю данных;
|
||||
- в Redis гарантию задаёт `appendfsync`: у нас `always`, то есть fsync на каждую запись. С `everysec` при падении теряется до секунды изменений, например logout.
|
||||
|
||||
### Где хранятся сессии и что будет после flush/restart Redis?
|
||||
|
||||
В Redis под ключом `session:<sha256(token)>` со значением `user_id` и абсолютным TTL. Сам токен сервер не хранит.
|
||||
|
||||
- **Рестарт** (`docker compose restart redis` или `scripts/restart.sh`): Redis восстанавливает данные из AOF на volume `redisdata`. Действующие токены работают, отозванные остаются отозванными, просроченные ключи удаляются при загрузке, TTL не продлевается.
|
||||
- **`FLUSHALL` или потеря volume:** все сессии исчезают, все токены дают 401, пользователи входят заново. Данные в PostgreSQL не затронуты.
|
||||
|
||||
Проверено тестами `test_sessions_survive_redis_restart` и `test_redis_flush_invalidates_all_sessions`.
|
||||
|
||||
### Чем аутентификация отличается от доступа к конкретному чату?
|
||||
|
||||
**Аутентификация** отвечает на вопрос «кто ты»:
|
||||
- **Basic** — один раз при входе, логин и пароль проверяются через Argon2, результат — токен;
|
||||
- **Bearer** — на каждом запросе: хеш токена ищется в Redis, по нему находится `user_id`;
|
||||
- нет действительной сессии → 401.
|
||||
|
||||
**Доступ к чату (авторизация)** — отдельная проверка после аутентификации: состоит ли этот пользователь в этом чате (`ensure_chat_member` / `get_chat_for_member`). Посторонний получает 404, а не 403, чтобы не раскрывать, что чат существует. Списки содержат только чаты пользователя.
|
||||
|
||||
Аутентифицированный пользователь не получает доступа к чужим чатам.
|
||||
|
||||
### Почему hash пароля и быстрый checksum имеют разные задачи?
|
||||
|
||||
**Пароль** — секрет с низкой энтропией, его можно угадать перебором по словарю. Поэтому нужен медленный KDF с солью:
|
||||
- Argon2id тратит ~50 мс и 64 МиБ памяти на попытку, что делает перебор дорогим, в том числе на видеокартах;
|
||||
- уникальная соль не даёт использовать заранее посчитанные таблицы и скрывает одинаковые пароли.
|
||||
|
||||
**Токен сессии** — 256 случайных бит, перебор невозможен. Для него нужен быстрый детерминированный хеш (SHA-256):
|
||||
- тот же токен даёт тот же ключ в Redis, и поиск идёт за O(1) на каждом запросе;
|
||||
- утечка дампа Redis не даёт рабочих токенов.
|
||||
|
||||
Argon2 для токена бессмысленно замедлял бы каждый запрос. А из-за случайной соли по нему нельзя было бы найти ключ.
|
||||
|
||||
---
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
Выполняется на основном стенде (`http://localhost:8080`). Перед защитой: `docker compose down -v`, чтобы начать с пустых volumes.
|
||||
|
||||
### 1. Миграции на пустой volume, пользователи, вход, сообщение
|
||||
|
||||
```sh
|
||||
make up
|
||||
make test
|
||||
```
|
||||
`make up` собирает образ и запускает контейнеры в таком порядке: postgres и redis до healthy → `migrate` (`alembic upgrade head` на пустой базе создаёт 5 таблиц) → api → ожидание `/health/ready`. `make test` (публичный smoke) создаёт трёх пользователей, входит через Basic, создаёт чат, отправляет сообщения, проверяет пагинацию, доступ постороннего, `X-User-Id` и logout.
|
||||
|
||||
Ожидаемый результат: `PASS: lab2 public API scenario`.
|
||||
|
||||
Вручную можно так:
|
||||
```sh
|
||||
curl -s -X POST localhost:8080/api/v1/users -H 'Content-Type: application/json' \
|
||||
-d '{"username":"alice","display_name":"Alice","password":"correct horse 42"}'
|
||||
curl -s -X POST localhost:8080/api/v1/auth/sessions -u 'alice:correct horse 42'
|
||||
```
|
||||
Вторая команда возвращает токен.
|
||||
|
||||
### 2. Persistence: рестарт API и всех хранилищ с сохранением volumes
|
||||
|
||||
```sh
|
||||
docker compose ps
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
docker compose ps
|
||||
```
|
||||
Тест создаёт данные и сессию, держит токен только в памяти и запускает `scripts/restart.sh`. Скрипт перезапускает postgres и redis, ждёт healthy, затем перезапускает api. После этого тест ждёт готовности и тем же токеном читает всю историю.
|
||||
|
||||
Ожидаемый результат: `PASS: persistence preserved confirmed data and existing session`. В `docker compose ps` после теста у api, postgres и redis видно `Up N seconds`: все три контейнера действительно перезапускались.
|
||||
|
||||
### 3. Тот же токен после рестарта; logout → 401; короткий TTL
|
||||
|
||||
- Тот же токен после рестарта проверяет сам `test-persistence` (шаг 2).
|
||||
- Logout → 401 проверяет smoke (последний шаг) и `make failure-demo` (раздел `logout`).
|
||||
- Короткий TTL — отдельным API с `SESSION_TTL_SECONDS=3` на тестовом стенде:
|
||||
|
||||
```sh
|
||||
make expiry-demo
|
||||
```
|
||||
Ожидаемый вывод:
|
||||
```
|
||||
GET /users/me right after login -> 200
|
||||
GET /users/me after 4 s -> 401
|
||||
DELETE /auth/sessions/current after -> 401
|
||||
GET /users/me with new login token -> 200
|
||||
```
|
||||
TTL переопределяется переменной окружения, `.env` не меняется. После демо API тестового стенда возвращается к TTL из `.env`.
|
||||
|
||||
### 4. Роль Redis, план SQL, ошибка зависимости
|
||||
|
||||
```sh
|
||||
docker compose exec redis redis-cli CONFIG GET appendfsync
|
||||
docker compose exec redis redis-cli --scan --pattern 'session:*'
|
||||
make explain
|
||||
make failure-demo
|
||||
```
|
||||
- Первые две команды показывают роль Redis: `always` и ключи сессий в виде хешей.
|
||||
- `make explain` показывает план SQL: Index Scan против Seq Scan + Sort.
|
||||
- `make failure-demo` показывает ошибку зависимости: Redis и PostgreSQL по очереди останавливаются, на них 503 и `ready` 503, `live` 200; после старта тот же токен снова даёт 200.
|
||||
@@ -33,7 +33,8 @@ endef
|
||||
up down restart ps logs migrate migration \
|
||||
test-stand-up test-stand-down test-stand-destroy test-stand-ps \
|
||||
test-stand-smoke test-stand-persistence db-up \
|
||||
test-own test-docker test-limits test-concurrency test-migrations test-all
|
||||
test-own test-docker test-limits test-concurrency test-migrations test-all \
|
||||
explain evidence expiry-demo failure-demo
|
||||
|
||||
help:
|
||||
@echo "Курс: check | validate | test (smoke по BASE_URL) | load | test-persistence ACTION_SCRIPT=scripts/restart.sh"
|
||||
@@ -42,6 +43,8 @@ help:
|
||||
@echo " test-stand-smoke | test-stand-persistence"
|
||||
@echo "Тесты: test-own | test-docker | test-limits | test-concurrency | test-migrations"
|
||||
@echo "Всё: test-all (стенд + pytest + smoke + persistence на тестовом стенде)"
|
||||
@echo "Демо: explain | expiry-demo | failure-demo (на тестовом стенде)"
|
||||
@echo "Отчёт: evidence (перегенерировать evidence/ на тестовом стенде)"
|
||||
|
||||
check:
|
||||
$(PYTHON) scripts/check_contract.py
|
||||
@@ -122,3 +125,19 @@ test-migrations:
|
||||
$(PYTHON) -m pytest tests/test_migrations.py -q
|
||||
|
||||
test-all: test-stand-up test-docker test-stand-smoke test-stand-persistence
|
||||
|
||||
explain:
|
||||
$(TEST_ENV) DB_HOST=localhost DB_PORT=$(TEST_DB_PORT) PYTHONPATH=. $(PYTHON) scripts/explain_history.py
|
||||
|
||||
evidence: test-stand-up
|
||||
$(TEST_ENV) PYTHON=$(PYTHON) BASE_URL=$(TEST_BASE_URL) scripts/collect_evidence.sh
|
||||
|
||||
expiry-demo: test-stand-up
|
||||
$(TEST_ENV) SESSION_TTL_SECONDS=3 $(COMPOSE) up -d api
|
||||
$(call wait_ready,$(TEST_BASE_URL))
|
||||
BASE_URL=$(TEST_BASE_URL) TTL=3 scripts/expiry_demo.sh
|
||||
$(TEST_COMPOSE) up -d api
|
||||
$(call wait_ready,$(TEST_BASE_URL))
|
||||
|
||||
failure-demo: test-stand-up
|
||||
$(TEST_ENV) BASE_URL=$(TEST_BASE_URL) scripts/failure_demo.sh
|
||||
|
||||
@@ -1,37 +1,135 @@
|
||||
# Отчёт — лабораторная 2
|
||||
|
||||
- Автор, группа: TODO
|
||||
- Целевая оценка; выбранный трек 5, если нужен: TODO
|
||||
- Commit/PR: TODO после публикации
|
||||
- Использованные источники, библиотеки и помощь ИИ: TODO
|
||||
- Автор, группа: Григорян Илья, БПИ2303 (ветка `solution/BPI2303-Grigoryan`)
|
||||
- Целевая оценка: **4**, трек 5 не заявлен
|
||||
- Commit/PR: заполнить после публикации; commit, на котором собраны доказательства, записан в [evidence/00-environment.txt](evidence/00-environment.txt)
|
||||
- Источники и библиотеки: FastAPI, SQLAlchemy 2.1 (async) + asyncpg, Alembic, redis-py, argon2-cffi, Pydantic / pydantic-settings, pytest + pytest-asyncio + httpx; документация PostgreSQL (transactions, EXPLAIN), Redis persistence, RFC 7617
|
||||
- Помощь ИИ: ассистент Claude (Claude Code) — ревью схемы БД, реализация и ревью слоёв storage/domain, тесты, скрипты сбора доказательств, черновик отчёта. Решения обсуждались и проверялись автором
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
|
||||
Требования: Docker Engine с Compose v2 (проверено на Docker 29.9.2, Compose 5.6.1), `make`, `curl`, Python 3.12 — только для тестов. Образы закреплены: `python:3.12.15-slim-bookworm`, `postgres:16.10-bookworm`, `redis:7.4.2-bookworm`.
|
||||
|
||||
```sh
|
||||
|
||||
cp .env.example .env # заменить DB_PASSWORD и REDIS_PASSWORD
|
||||
|
||||
make check
|
||||
|
||||
docker compose --env-file .env config --quiet
|
||||
|
||||
make up # сборка → postgres, redis healthy → migrate → api; ждёт /health/ready
|
||||
|
||||
make test # публичный smoke на http://localhost:8080
|
||||
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
|
||||
```
|
||||
|
||||
- Миграции: сервис `migrate` выполняет `alembic upgrade head` при каждом `up`, повтор не дублирует данные. Ручных действий, кроме паролей в `.env`, нет.
|
||||
- Безопасная остановка без потери данных: `make down`. Намеренное удаление учебных данных: `docker compose down -v`.
|
||||
- Собственные тесты и доказательства идут на **отдельном тестовом стенде** (проект compose `<каталог>-test`, порты 18080/15432/16379), основной стенд они не трогают:
|
||||
|
||||
```sh
|
||||
|
||||
python3 -m venv venv && venv/bin/pip install -r requirements.txt
|
||||
|
||||
make test-all # тестовый стенд + pytest (включая рестарт Redis) + smoke + persistence
|
||||
|
||||
make evidence # перегенерировать evidence/
|
||||
|
||||
make test-stand-down # остановить; make test-stand-destroy — удалить вместе с volumes
|
||||
|
||||
```
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
|
||||
Клиент → API (FastAPI, один процесс uvicorn) → PostgreSQL (все данные) и Redis (сессии).
|
||||
|
||||
| Роль | Service | Образ | Health / readiness | Volume | Порт хоста | Credentials |
|
||||
| -------- | ---------- | ------------------------- | ---------------------------------------------------------------------------- | ----------- | ---------------- | ---------------------------------------------------------------------------------- |
|
||||
| API | `api` | сборка из `Dockerfile` | `HEALTHCHECK` → `/health/live`; `/health/ready` проверяет PostgreSQL и Redis | — | `127.0.0.1:8080` | `env_file: .env` |
|
||||
| Миграции | `migrate` | тот же образ | one-shot; `api` ждёт успешного завершения | — | — | `.env` |
|
||||
| БД | `postgres` | `postgres:16.10-bookworm` | `pg_isready` | `pgdata` | `127.0.0.1:5432` | `POSTGRES_PASSWORD` из `.env` |
|
||||
| Сессии | `redis` | `redis:7.4.2-bookworm` | `redis-cli ping` | `redisdata` | `127.0.0.1:6379` | `--requirepass` из `.env`; конфиг [infra/redis/redis.conf](infra/redis/redis.conf) |
|
||||
|
||||
**Источник истины.** PostgreSQL — пользователи, чаты, участники, сообщения, счётчик сообщений. Redis — единственное хранилище сессий.
|
||||
|
||||
**Схема** (миграции `db06fd3126ff`, `abd273076068`): UUID-ключи, внешние ключи, `UNIQUE(username)`, составной PK `chat_members(chat_id, user_id)`, индексы `messages(chat_id, created_at, id)` под keyset-историю и `chat_members(user_id, chat_id)` под список чатов пользователя, `timestamptz`. `created_at` сообщений берётся из `clock_timestamp()` в БД. Форматы и длины проверяются в одном месте — Pydantic-схемах; в БД остаются структурные ограничения.
|
||||
|
||||
**Сессии.**
|
||||
|
||||
- Ключ `session:<sha256(token)>` → `user_id`, запись `SET … PXAT expires_at`. Сам токен (256 бит, `secrets.token_urlsafe(32)`) не хранится.
|
||||
- Expiry: срок абсолютный (`SESSION_TTL_SECONDS`), Redis удаляет ключ сам. Активность и рестарт срок не продлевают.
|
||||
- Инвалидация: logout — атомарный `DEL`; повторный logout получает 401.
|
||||
- Persistence: AOF с `appendfsync always`, чтобы не терять logout. `maxmemory-policy noeviction`, чтобы Redis не вытеснял сессии. Volume `redisdata`. После `FLUSHALL` все пользователи входят заново, данные PostgreSQL не затронуты.
|
||||
|
||||
**Пароли.** Argon2id (`m=64 MiB, t=3, p=4`) в отдельном пуле потоков размером `cpu / p`. Для неизвестного username выполняется проверка против фиктивного хеша, поэтому время ответа не выдаёт существование пользователя.
|
||||
|
||||
|
||||
**Транзакционные границы.** `commit` и `rollback` есть только в слое domain:
|
||||
|
||||
- **регистрация:** проверка username → `commit` (соединение возвращается в пул до Argon2) → INSERT → `commit`. `IntegrityError` → rollback → 409;
|
||||
- **вход:** SELECT → `commit` до проверки пароля → `SET` в Redis;
|
||||
- **создание чата:** чат и участники вставляются одной транзакцией;
|
||||
- **сообщение:** проверка членства → атомарный upsert счётчика с условием `value < MAX_MESSAGES` → INSERT → `commit`. Лимит точен и при конкурентных отправках.
|
||||
|
||||
|
||||
**Пулы и таймауты.**
|
||||
|
||||
- PostgreSQL: пул 5 + 10, ожидание соединения 3 с, подключение 3 с, `statement_timeout` 5 с.
|
||||
- Redis: блокирующий пул на 20 соединений, ожидание 1 с, подключение 1 с, операция 0.5 с, один повтор.
|
||||
- Лимиты: `MAX_IN_FLIGHT` → 429, `MAX_MESSAGES` → 503. SQL только через SQLAlchemy, все запросы параметризованы.
|
||||
|
||||
|
||||
**Из lab1 перенесено:** API, формат ошибок, `X-Request-Id`, курсорная пагинация, лимиты.
|
||||
**Изменено:** хранилище in-memory → PostgreSQL; `X-User-Id` → Basic (только `POST /auth/sessions`) + Bearer; регистрация с паролем.
|
||||
|
||||
**Переменные `.env.example`:**
|
||||
|
||||
- `APP_*`, `LOG_LEVEL` — uvicorn;
|
||||
- `SESSION_TTL_SECONDS`, `SESSION_STORE=redis` — сессии;
|
||||
- `REDIS_*` — `app/core/redis.py`;
|
||||
- `DB_*` — `app/core/database.py`;
|
||||
- `MAX_*` — лимиты;
|
||||
- `*_HOST_PORT` — публикация портов в compose.
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | TODO | TODO |
|
||||
| Остальные пункты уровня 3 | TODO | TODO | TODO |
|
||||
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
|
||||
| -------------------------------------------------------------- | ---------------------------------------------------------------------------------------------------------- | --------------------------------------------------------------------------------------------- | --------------------------------------------------------- |
|
||||
| Публичный smoke | `make test` | PASS | [02-smoke.txt](evidence/02-smoke.txt) |
|
||||
| Данные и сессии переживают рестарт API и всех хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `Up N seconds` у api, postgres, redis до и после | [03-persistence.txt](evidence/03-persistence.txt) |
|
||||
| PK/FK, уникальность username, миграции с нуля и повторно | `test_constraints.py`, `test_migrations.py` | ограничения срабатывают в БД; повторный `upgrade` не дублирует; модели совпадают с миграциями | [01-pytest.txt](evidence/01-pytest.txt) |
|
||||
| Атомарное создание чата | `test_failed_chat_creation_leaves_no_partial_data`, `test_failed_chat_insert_rolls_back_whole_transaction` | 400, ни чата, ни участников | 01-pytest.txt |
|
||||
| Basic только на входе, Bearer везде, `X-User-Id` игнорируется | `test_auth.py`, smoke | 401 + `WWW-Authenticate`; `X-User-Id` не меняет пользователя | 01-pytest.txt |
|
||||
| Срок жизни и отзыв сессии | `make expiry-demo`, `test_sessions.py` | 200 → 401 после TTL; logout → 401 | [08-expiry.txt](evidence/08-expiry.txt) |
|
||||
| Пароли — KDF | `test_password_is_not_stored_in_plaintext` | `$argon2id$…` в БД | 01-pytest.txt |
|
||||
| Redis — сессии с TTL и persistence | `make evidence` | `appendfsync always`, `noeviction`, `aof_enabled:1`; TTL ключа = `expires_at` | [06-redis-config.txt](evidence/06-redis-config.txt) |
|
||||
| Пул, таймауты, параметризованные запросы | код `app/core/database.py`, `app/core/redis.py` | пулы ограничены, отказ Redis отвечает за ≈1 с | [05-failures.txt](evidence/05-failures.txt) |
|
||||
| Гонка регистрации и rollback составной операции | `test_concurrency.py` | 16 одновременных → 1×201 + 15×409; откат при сбое вставки | 01-pytest.txt |
|
||||
| Индекс истории + EXPLAIN на ≥10 000 | `make explain`, `test_history_plan.py` | Index Scan, 51 строка, 4–6 буферов; без индекса — Seq Scan + Sort, 618 буферов | [04-explain-history.txt](evidence/04-explain-history.txt) |
|
||||
| Автопроверки expiry, logout, неверного пароля, отказа Redis/БД | `make test-docker` | 112 passed | 01-pytest.txt, 05-failures.txt |
|
||||
|
||||
## Эксперименты и отказы
|
||||
|
||||
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
|
||||
Гипотеза: при потере Redis или PostgreSQL API отвечает ограниченным 503 и не пропускает анонимов, а после возврата сервиса прежний токен снова работает.
|
||||
Стенд: i7-10510U (8 потоков), 15 GiB RAM, без CPU/RAM-лимитов на контейнерах, один процесс API — см. [00-environment.txt](evidence/00-environment.txt).
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| TODO | TODO | TODO | TODO |
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
|
||||
| --------------------------------------------------------- | ------------------------------------------------- | ------------------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------- |
|
||||
| Остановка Redis | 503 на вход и Bearer-запросы, ready 503, live 200 | 503 за ≈1 с; без токена 401; live 200 | после старта тот же токен → 200 (AOF), потерь нет |
|
||||
| Остановка PostgreSQL | 503 на бизнес-запросы, ready 503 | 503, детали подключения не раскрываются | после старта → 200, потерь нет |
|
||||
| Рестарт api + postgres + redis | данные и токен сохраняются | PASS persistence | ≈15 с до готовности, потерь нет |
|
||||
| `FLUSHDB` Redis | все сессии недействительны | 401 для всех токенов | пользователи входят заново, PostgreSQL не затронут |
|
||||
| Нагрузка: closed-loop POST сообщений, 20 с, concurrency 8 | без ошибок | 172 RPS, 0 % ошибок, p50/p95/p99 = 36/112/172 мс; api ≈95 % CPU, postgres ≈18 % | [07-load.json](evidence/07-load.json), [07-load-resources.txt](evidence/07-load-resources.txt) |
|
||||
|
||||
Ограничения измерения нагрузки: один короткий прогон, closed-loop клиент на той же машине (coordinated omission), latency только успешных запросов.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
|
||||
- Узкое место — один процесс API (CPU). Горизонтальное масштабирование — lab3.
|
||||
- Счётчик сообщений — одна строка, все отправки проходят через её блокировку до `commit`. При росте нагрузки — шардирование счётчика с менее строгим лимитом.
|
||||
- Redis — единственное хранилище сессий: потеря volume или `FLUSHALL` разлогинивает всех. `appendfsync always` удорожает только вход и выход.
|
||||
- Один Docker-host и одиночные PostgreSQL/Redis без репликации: отказ хоста не переживается.
|
||||
- HTTP без TLS — только локальный стенд с синтетическими данными. Пароль Redis виден в `docker inspect`; управление секретами — lab7.
|
||||
@@ -3,7 +3,9 @@ import binascii
|
||||
from collections.abc import AsyncIterator
|
||||
from typing import Annotated
|
||||
|
||||
from fastapi import Depends, Header, Request
|
||||
from fastapi import Depends, Request, Security
|
||||
from fastapi.openapi.models import HTTPBase, HTTPBearer
|
||||
from fastapi.security.base import SecurityBase
|
||||
from redis.asyncio import Redis
|
||||
from sqlalchemy.ext.asyncio import AsyncSession
|
||||
|
||||
@@ -30,6 +32,21 @@ async def get_redis(request: Request) -> Redis:
|
||||
return redis
|
||||
|
||||
|
||||
class AuthorizationHeader(SecurityBase):
|
||||
"""Отдаёт сырой заголовок Authorization и описывает схему для OpenAPI."""
|
||||
|
||||
def __init__(self, model: HTTPBase, scheme_name: str) -> None:
|
||||
self.model = model
|
||||
self.scheme_name = scheme_name
|
||||
|
||||
async def __call__(self, request: Request) -> str | None:
|
||||
return request.headers.get("Authorization")
|
||||
|
||||
|
||||
basic_auth = AuthorizationHeader(HTTPBase(scheme="basic"), "BasicAuth")
|
||||
bearer_auth = AuthorizationHeader(HTTPBearer(), "BearerAuth")
|
||||
|
||||
|
||||
def _split_authorization(authorization: str | None) -> tuple[str, str] | None:
|
||||
if authorization is None:
|
||||
return None
|
||||
@@ -40,7 +57,7 @@ def _split_authorization(authorization: str | None) -> tuple[str, str] | None:
|
||||
|
||||
|
||||
async def get_bearer_token(
|
||||
authorization: Annotated[str | None, Header()] = None,
|
||||
authorization: Annotated[str | None, Security(bearer_auth)],
|
||||
) -> str:
|
||||
parts = _split_authorization(authorization)
|
||||
if parts is None or parts[0] != "bearer":
|
||||
@@ -49,7 +66,7 @@ async def get_bearer_token(
|
||||
|
||||
|
||||
async def get_basic_credentials(
|
||||
authorization: Annotated[str | None, Header()] = None,
|
||||
authorization: Annotated[str | None, Security(basic_auth)],
|
||||
) -> tuple[str, str]:
|
||||
"""(username, password) из `Authorization: Basic`; пароль может содержать ':'."""
|
||||
parts = _split_authorization(authorization)
|
||||
|
||||
+7
-13
@@ -19,24 +19,16 @@ services:
|
||||
redis:
|
||||
image: redis:7.4.2-bookworm
|
||||
restart: unless-stopped
|
||||
command: ["redis-server", "/usr/local/etc/redis/redis.conf", "--requirepass", "${REDIS_PASSWORD}"]
|
||||
environment:
|
||||
REDIS_PASSWORD: ${REDIS_PASSWORD}
|
||||
command:
|
||||
- sh
|
||||
- -c
|
||||
- >-
|
||||
exec redis-server
|
||||
--appendonly yes
|
||||
--appendfsync always
|
||||
--maxmemory 256mb
|
||||
--maxmemory-policy noeviction
|
||||
--requirepass "$$REDIS_PASSWORD"
|
||||
REDISCLI_AUTH: ${REDIS_PASSWORD}
|
||||
volumes:
|
||||
- ./infra/redis/redis.conf:/usr/local/etc/redis/redis.conf:ro
|
||||
- redisdata:/data
|
||||
ports:
|
||||
- "127.0.0.1:${REDIS_HOST_PORT:-6379}:6379"
|
||||
healthcheck:
|
||||
test: ["CMD-SHELL", "redis-cli -a \"$$REDIS_PASSWORD\" --no-auth-warning ping | grep -q PONG"]
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 5s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
@@ -56,8 +48,10 @@ services:
|
||||
image: mtusi-messenger:lab2
|
||||
restart: unless-stopped
|
||||
env_file: .env
|
||||
environment:
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
ports:
|
||||
- "127.0.0.1:${API_HOST_PORT:-8080}:8080"
|
||||
- "127.0.0.1:${API_HOST_PORT:-8080}:${APP_PORT:-8080}"
|
||||
depends_on:
|
||||
postgres:
|
||||
condition: service_healthy
|
||||
|
||||
@@ -0,0 +1,15 @@
|
||||
date: 2026-10-26T20:56:01Z
|
||||
commit: 8ad0bb6 (+ uncommitted changes)
|
||||
branch: solution/BPI2303-Grigoryan
|
||||
cpu: Intel(R) Core(TM) i7-10510U CPU @ 1.80GHz (8 threads)
|
||||
memory: 15Gi
|
||||
kernel: 7.2.11-zen1-1-zen
|
||||
docker: 29.9.2
|
||||
compose: 5.6.1
|
||||
python: Python 3.12.14
|
||||
stand: http://localhost:18080 (compose project mtusi2026lab2-fork-test)
|
||||
|
||||
SERVICE IMAGE STATUS
|
||||
api mtusi-messenger:lab2 Up 2 seconds (health: starting)
|
||||
postgres postgres:16.10-bookworm Up 9 seconds (healthy)
|
||||
redis redis:7.4.2-bookworm Up 9 seconds (healthy)
|
||||
@@ -0,0 +1,113 @@
|
||||
tests/test_auth.py::test_login_returns_opaque_bearer_session PASSED [ 0%]
|
||||
tests/test_auth.py::test_each_login_issues_a_different_token PASSED [ 1%]
|
||||
tests/test_auth.py::test_password_with_colon_works PASSED [ 2%]
|
||||
tests/test_auth.py::test_unicode_password_works PASSED [ 3%]
|
||||
tests/test_auth.py::test_wrong_password_and_unknown_user_look_identical PASSED [ 4%]
|
||||
tests/test_auth.py::test_login_requires_basic_scheme PASSED [ 5%]
|
||||
tests/test_auth.py::test_business_endpoints_require_bearer PASSED [ 6%]
|
||||
tests/test_auth.py::test_x_user_id_cannot_override_bearer_identity PASSED [ 7%]
|
||||
tests/test_auth.py::test_logout_revokes_only_current_session PASSED [ 8%]
|
||||
tests/test_auth.py::test_logout_twice_returns_401 PASSED [ 8%]
|
||||
tests/test_auth.py::test_session_expires_after_ttl PASSED [ 9%]
|
||||
tests/test_auth.py::test_token_is_stored_only_as_sha256_key PASSED [ 10%]
|
||||
tests/test_auth.py::test_password_is_not_stored_in_plaintext PASSED [ 11%]
|
||||
tests/test_auth.py::test_login_rejects_out_of_range_password_like_wrong_password PASSED [ 12%]
|
||||
tests/test_auth.py::test_malformed_basic_credentials_return_401 PASSED [ 13%]
|
||||
tests/test_auth.py::test_unknown_user_takes_comparable_time_to_wrong_password PASSED [ 14%]
|
||||
tests/test_chats.py::test_create_and_get_chat PASSED [ 15%]
|
||||
tests/test_chats.py::test_chat_is_not_visible_to_outsider PASSED [ 16%]
|
||||
tests/test_chats.py::test_chat_creation_requires_creator_in_members PASSED [ 16%]
|
||||
tests/test_chats.py::test_chat_payload_boundaries[payload0] PASSED [ 17%]
|
||||
tests/test_chats.py::test_chat_payload_boundaries[payload1] PASSED [ 18%]
|
||||
tests/test_chats.py::test_duplicate_members_are_rejected PASSED [ 19%]
|
||||
tests/test_chats.py::test_unknown_member_is_rejected PASSED [ 20%]
|
||||
tests/test_chats.py::test_chat_exact_title_limit_is_accepted PASSED [ 21%]
|
||||
tests/test_chats.py::test_chat_list_hides_chats_without_membership PASSED [ 22%]
|
||||
tests/test_chats.py::test_nonexistent_chat_returns_404 PASSED [ 23%]
|
||||
tests/test_chats.py::test_failed_chat_creation_leaves_no_partial_data PASSED [ 24%]
|
||||
tests/test_chats.py::test_chat_list_pagination_and_order PASSED [ 25%]
|
||||
tests/test_chats.py::test_chat_endpoints_require_bearer PASSED [ 25%]
|
||||
tests/test_concurrency.py::test_parallel_registration_of_same_username_creates_exactly_one_user PASSED [ 26%]
|
||||
tests/test_concurrency.py::test_100_messages_from_10_clients PASSED [ 27%]
|
||||
tests/test_concurrency.py::test_chat_creation_in_parallel_is_atomic PASSED [ 28%]
|
||||
tests/test_concurrency.py::test_parallel_registration_of_distinct_usernames_all_succeed PASSED [ 29%]
|
||||
tests/test_concurrency.py::test_parallel_logins_issue_distinct_valid_tokens PASSED [ 30%]
|
||||
tests/test_concurrency.py::test_parallel_logout_of_same_token_succeeds_once PASSED [ 31%]
|
||||
tests/test_concurrency.py::test_message_limit_is_exact_under_concurrency PASSED [ 32%]
|
||||
tests/test_concurrency.py::test_failed_chat_insert_rolls_back_whole_transaction PASSED [ 33%]
|
||||
tests/test_constraints.py::test_duplicate_username_is_rejected_by_database PASSED [ 33%]
|
||||
tests/test_constraints.py::test_message_requires_existing_chat PASSED [ 34%]
|
||||
tests/test_constraints.py::test_duplicate_membership_is_rejected_by_database PASSED [ 35%]
|
||||
tests/test_errors.py::test_missing_token_returns_401 PASSED [ 36%]
|
||||
tests/test_errors.py::test_garbage_token_returns_401 PASSED [ 37%]
|
||||
tests/test_errors.py::test_malformed_json_returns_400 PASSED [ 38%]
|
||||
tests/test_errors.py::test_not_found_returns_404 PASSED [ 39%]
|
||||
tests/test_errors.py::test_method_not_allowed_preserves_405 PASSED [ 40%]
|
||||
tests/test_errors.py::test_unhandled_exception_is_hidden_from_client PASSED [ 41%]
|
||||
tests/test_errors.py::test_success_response_contains_request_id PASSED [ 41%]
|
||||
tests/test_failures.py::test_redis_down_gives_503_for_login_and_protected_endpoints PASSED [ 42%]
|
||||
tests/test_failures.py::test_redis_down_keeps_registration_working PASSED [ 43%]
|
||||
tests/test_failures.py::test_database_down_with_valid_session_gives_503 PASSED [ 44%]
|
||||
tests/test_failures.py::test_dependency_failure_never_authenticates_anonymous_requests PASSED [ 45%]
|
||||
tests/test_health.py::test_liveness PASSED [ 46%]
|
||||
tests/test_health.py::test_readiness PASSED [ 47%]
|
||||
tests/test_health.py::test_readiness_is_503_when_database_is_down PASSED [ 48%]
|
||||
tests/test_health.py::test_business_request_is_503_when_database_is_down PASSED [ 49%]
|
||||
tests/test_history_plan.py::test_history_page_uses_composite_index PASSED [ 50%]
|
||||
tests/test_limits.py::test_message_limit_rejects_without_deleting_confirmed_messages PASSED [ 50%]
|
||||
tests/test_limits.py::test_in_flight_limit_returns_429_and_recovers PASSED [ 51%]
|
||||
tests/test_messages.py::test_send_and_list_message PASSED [ 52%]
|
||||
tests/test_messages.py::test_invalid_message_text[] PASSED [ 53%]
|
||||
tests/test_messages.py::test_invalid_message_text[ ] PASSED [ 54%]
|
||||
tests/test_messages.py::test_invalid_message_text[xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx] PASSED [ 55%]
|
||||
tests/test_messages.py::test_extra_message_field_is_rejected PASSED [ 56%]
|
||||
tests/test_messages.py::test_messages_are_private_to_chat_members PASSED [ 57%]
|
||||
tests/test_messages.py::test_pagination_has_no_duplicates PASSED [ 58%]
|
||||
tests/test_messages.py::test_cursor_cannot_be_used_for_another_chat PASSED [ 58%]
|
||||
tests/test_messages.py::test_limit_boundaries[0-400] PASSED [ 59%]
|
||||
tests/test_messages.py::test_limit_boundaries[1-200] PASSED [ 60%]
|
||||
tests/test_messages.py::test_limit_boundaries[100-200] PASSED [ 61%]
|
||||
tests/test_messages.py::test_limit_boundaries[101-400] PASSED [ 62%]
|
||||
tests/test_messages.py::test_message_exact_max_length_is_accepted PASSED [ 63%]
|
||||
tests/test_messages.py::test_nonexistent_chat_messages_return_404 PASSED [ 64%]
|
||||
tests/test_messages.py::test_unauthenticated_requests_are_rejected PASSED [ 65%]
|
||||
tests/test_messages.py::test_messages_survive_new_login PASSED [ 66%]
|
||||
tests/test_messages.py::test_history_order_is_created_at_then_id PASSED [ 66%]
|
||||
tests/test_migrations.py::test_upgrade_creates_all_tables PASSED [ 67%]
|
||||
tests/test_migrations.py::test_upgrade_twice_is_idempotent_and_keeps_data PASSED [ 68%]
|
||||
tests/test_migrations.py::test_models_and_migrations_are_in_sync PASSED [ 69%]
|
||||
tests/test_pagination.py::test_garbage_cursor_returns_400[not-base64-%%%] PASSED [ 70%]
|
||||
tests/test_pagination.py::test_garbage_cursor_returns_400[bm90IGpzb24=] PASSED [ 71%]
|
||||
tests/test_pagination.py::test_garbage_cursor_returns_400[WzEsIDIsIDNd] PASSED [ 72%]
|
||||
tests/test_pagination.py::test_garbage_cursor_returns_400[eyJraW5kIjogIm1lc3NhZ2VzIn0=] PASSED [ 73%]
|
||||
tests/test_pagination.py::test_cursor_without_timezone_is_rejected PASSED [ 74%]
|
||||
tests/test_pagination.py::test_chat_list_cursor_is_bound_to_its_owner PASSED [ 75%]
|
||||
tests/test_pagination.py::test_messages_cursor_is_not_accepted_by_chat_list PASSED [ 75%]
|
||||
tests/test_pagination.py::test_limit_can_change_between_pages PASSED [ 76%]
|
||||
tests/test_pagination.py::test_message_sent_after_reading_last_page_is_seen_with_cursor PASSED [ 77%]
|
||||
tests/test_sessions.py::test_session_key_ttl_matches_expires_at PASSED [ 78%]
|
||||
tests/test_sessions.py::test_session_ttl_is_absolute_and_not_extended_by_activity PASSED [ 79%]
|
||||
tests/test_sessions.py::test_logout_removes_session_key PASSED [ 80%]
|
||||
tests/test_sessions.py::test_expired_session_is_rejected_everywhere PASSED [ 81%]
|
||||
tests/test_sessions.py::test_relogin_after_expiry_issues_new_working_token PASSED [ 82%]
|
||||
tests/test_sessions.py::test_tampered_token_is_rejected PASSED [ 83%]
|
||||
tests/test_sessions.py::test_session_of_deleted_user_is_rejected PASSED [ 83%]
|
||||
tests/test_sessions.py::test_redis_flush_invalidates_all_sessions PASSED [ 84%]
|
||||
tests/test_sessions.py::test_sessions_survive_redis_restart PASSED [ 85%]
|
||||
tests/test_users.py::test_register_does_not_leak_password PASSED [ 86%]
|
||||
tests/test_users.py::test_get_current_user PASSED [ 87%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body0] PASSED [ 88%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body1] PASSED [ 89%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body2] PASSED [ 90%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body3] PASSED [ 91%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body4] PASSED [ 91%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body5] PASSED [ 92%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body6] PASSED [ 93%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body7] PASSED [ 94%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body8] PASSED [ 95%]
|
||||
tests/test_users.py::test_invalid_user_payloads[body9] PASSED [ 96%]
|
||||
tests/test_users.py::test_password_length_boundaries_are_accepted PASSED [ 97%]
|
||||
tests/test_users.py::test_extra_user_field_is_rejected PASSED [ 98%]
|
||||
tests/test_users.py::test_duplicate_username_returns_conflict PASSED [ 99%]
|
||||
tests/test_users.py::test_user_exact_length_boundaries_are_accepted PASSED [100%]
|
||||
============================= 112 passed in 38.60s =============================
|
||||
@@ -0,0 +1 @@
|
||||
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
|
||||
@@ -0,0 +1,14 @@
|
||||
== before
|
||||
SERVICE STATUS
|
||||
api Up 43 seconds (healthy)
|
||||
postgres Up 51 seconds (healthy)
|
||||
redis Up 3 seconds (health: starting)
|
||||
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
== after (Up N seconds = container was restarted by scripts/restart.sh)
|
||||
SERVICE STATUS
|
||||
api Up 5 seconds (healthy)
|
||||
postgres Up 12 seconds (healthy)
|
||||
redis Up 14 seconds (healthy)
|
||||
@@ -0,0 +1,51 @@
|
||||
messages in table: 50003; target chat: 10000; noise chat: 40000
|
||||
|
||||
== first page (limit+1 = 51)
|
||||
SELECT * FROM messages
|
||||
WHERE chat_id = :chat_id
|
||||
ORDER BY created_at, id
|
||||
LIMIT :page
|
||||
|
||||
Limit (actual time=0.006..0.015 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using ix_messages_chat_id_created_at_id on messages (actual time=0.006..0.012 rows=51 loops=1)
|
||||
Index Cond: (chat_id = '87629e85-f573-467a-b369-74d67ea5f2ac'::uuid)
|
||||
Buffers: shared hit=4
|
||||
Planning:
|
||||
Buffers: shared hit=6
|
||||
Planning Time: 0.051 ms
|
||||
Execution Time: 0.025 ms
|
||||
|
||||
== page after cursor in the middle of history
|
||||
SELECT * FROM messages
|
||||
WHERE chat_id = :chat_id AND (created_at, id) > (:after_created_at, :after_id)
|
||||
ORDER BY created_at, id
|
||||
LIMIT :page
|
||||
|
||||
Limit (actual time=0.007..0.023 rows=51 loops=1)
|
||||
Buffers: shared hit=6
|
||||
-> Index Scan using ix_messages_chat_id_created_at_id on messages (actual time=0.007..0.020 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '87629e85-f573-467a-b369-74d67ea5f2ac'::uuid) AND (ROW(created_at, id) > ROW('2026-10-26 19:33:40.369572+00'::timestamp with time zone, '540382ff-297f-48c1-8515-aca3063b8347'::uuid)))
|
||||
Buffers: shared hit=6
|
||||
Planning Time: 0.044 ms
|
||||
Execution Time: 0.046 ms
|
||||
|
||||
== same page with index scans disabled (for comparison)
|
||||
SELECT * FROM messages
|
||||
WHERE chat_id = :chat_id AND (created_at, id) > (:after_created_at, :after_id)
|
||||
ORDER BY created_at, id
|
||||
LIMIT :page
|
||||
|
||||
Limit (actual time=4.477..4.483 rows=51 loops=1)
|
||||
Buffers: shared hit=618
|
||||
-> Sort (actual time=4.476..4.479 rows=51 loops=1)
|
||||
Sort Key: created_at, id
|
||||
Sort Method: top-N heapsort Memory: 31kB
|
||||
Buffers: shared hit=618
|
||||
-> Seq Scan on messages (actual time=0.417..4.025 rows=4999 loops=1)
|
||||
Filter: ((chat_id = '87629e85-f573-467a-b369-74d67ea5f2ac'::uuid) AND (ROW(created_at, id) > ROW('2026-10-26 19:33:40.369572+00'::timestamp with time zone, '540382ff-297f-48c1-8515-aca3063b8347'::uuid)))
|
||||
Rows Removed by Filter: 45004
|
||||
Buffers: shared hit=618
|
||||
Planning Time: 0.038 ms
|
||||
Execution Time: 4.496 ms
|
||||
|
||||
@@ -0,0 +1,23 @@
|
||||
== baseline
|
||||
GET /users/me (Bearer) -> 200 (0.003616s)
|
||||
|
||||
== redis stopped
|
||||
GET /users/me (Bearer) -> 503 (1.030640s)
|
||||
POST /auth/sessions (Basic) -> 503 (0.677546s)
|
||||
GET /users/me (no token) -> 401 (0.001655s)
|
||||
GET /health/ready -> 503 (0.010732s)
|
||||
GET /health/live -> 200 (0.001545s)
|
||||
-- redis started again (AOF restored)
|
||||
GET /users/me (same token) -> 200 (0.004750s)
|
||||
|
||||
== postgres stopped
|
||||
GET /users/me (Bearer) -> 503 (0.403928s)
|
||||
GET /api/v1/chats (Bearer) -> 503 (0.011329s)
|
||||
GET /health/ready -> 503 (0.170920s)
|
||||
GET /health/live -> 200 (0.004790s)
|
||||
-- postgres started again
|
||||
GET /users/me (same token) -> 200 (0.010434s)
|
||||
|
||||
== logout
|
||||
DELETE /auth/sessions/current -> 204 (0.012516s)
|
||||
GET /users/me (same token) -> 401 (0.002182s)
|
||||
@@ -0,0 +1,10 @@
|
||||
appendonly yes
|
||||
appendfsync always
|
||||
maxmemory 268435456
|
||||
maxmemory-policy noeviction
|
||||
dir /data
|
||||
|
||||
loading:0
|
||||
aof_enabled:1
|
||||
aof_last_bgrewrite_status:ok
|
||||
aof_last_write_status:ok
|
||||
@@ -0,0 +1,4 @@
|
||||
NAME CPU % MEM USAGE / LIMIT
|
||||
mtusi2026lab2-fork-test-api-1 94.22% 73.3MiB / 15.27GiB
|
||||
mtusi2026lab2-fork-test-postgres-1 17.48% 40.43MiB / 15.27GiB
|
||||
mtusi2026lab2-fork-test-redis-1 0.95% 10.62MiB / 15.27GiB
|
||||
@@ -0,0 +1,17 @@
|
||||
{
|
||||
"lab": 2,
|
||||
"workload": "closed-loop POST messages; no automatic retries",
|
||||
"requested_duration_seconds": 20.0,
|
||||
"elapsed_seconds": 20.059,
|
||||
"concurrency": 8,
|
||||
"successful_requests": 3050,
|
||||
"failed_requests": 0,
|
||||
"error_ratio": 0.0,
|
||||
"successful_rps": 152.049,
|
||||
"successful_latency_ms": {
|
||||
"p50": 41.84,
|
||||
"p95": 128.928,
|
||||
"p99": 185.164
|
||||
},
|
||||
"note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead."
|
||||
}
|
||||
@@ -0,0 +1,5 @@
|
||||
SESSION_TTL_SECONDS=3, login at 20:58:36Z, expires_at=2026-10-26T20:58:39.512095Z
|
||||
GET /users/me right after login -> 200
|
||||
GET /users/me after 4 s -> 401
|
||||
DELETE /auth/sessions/current after -> 401
|
||||
GET /users/me with new login token -> 200
|
||||
@@ -0,0 +1,5 @@
|
||||
dir /data
|
||||
appendonly yes
|
||||
appendfsync always
|
||||
maxmemory 256mb
|
||||
maxmemory-policy noeviction
|
||||
+3
-3
@@ -41,10 +41,10 @@ typing-inspection==0.4.4
|
||||
typing_extensions==4.16.0
|
||||
urllib3==2.8.0
|
||||
uvicorn==0.54.0
|
||||
asyncpg
|
||||
asyncpg==0.32.0
|
||||
argon2-cffi==25.1.0
|
||||
redis==8.1.0
|
||||
greenlet
|
||||
pydantic-settings
|
||||
greenlet==3.5.6
|
||||
pydantic-settings==2.16.0
|
||||
pytest-asyncio==1.4.1
|
||||
httpx==0.28.1
|
||||
|
||||
Executable
+81
@@ -0,0 +1,81 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
PYTHON="${PYTHON:-python3}"
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
OUT=evidence
|
||||
|
||||
compose() {
|
||||
docker compose --env-file .env "$@"
|
||||
}
|
||||
|
||||
wait_ready() {
|
||||
for _ in $(seq 1 90); do
|
||||
curl -sf "$BASE_URL/health/ready" >/dev/null && return 0
|
||||
sleep 1
|
||||
done
|
||||
echo "API $BASE_URL не готов" >&2
|
||||
exit 1
|
||||
}
|
||||
|
||||
{
|
||||
echo "date: $(date -u +%Y-%m-%dT%H:%M:%SZ)"
|
||||
echo "commit: $(git rev-parse --short HEAD)$(git diff --quiet HEAD -- app migrations tests scripts compose.yaml Dockerfile infra || echo ' (+ uncommitted changes)')"
|
||||
echo "branch: $(git rev-parse --abbrev-ref HEAD)"
|
||||
echo "cpu: $(lscpu | sed -n 's/^Model name:[[:space:]]*//p') ($(nproc) threads)"
|
||||
echo "memory: $(free -h | awk '/^Mem:/ {print $2}')"
|
||||
echo "kernel: $(uname -r)"
|
||||
echo "docker: $(docker version --format '{{.Server.Version}}')"
|
||||
echo "compose: $(docker compose version --short)"
|
||||
echo "python: $($PYTHON --version 2>&1)"
|
||||
echo "stand: $BASE_URL (compose project ${COMPOSE_PROJECT_NAME:-default})"
|
||||
echo
|
||||
compose ps --format 'table {{.Service}}\t{{.Image}}\t{{.Status}}'
|
||||
} > "$OUT/00-environment.txt"
|
||||
|
||||
DOCKER_TESTS=1 "$PYTHON" -m pytest tests -v -p no:cacheprovider 2>&1 \
|
||||
| grep -E "PASSED|FAILED|SKIPPED|ERROR|passed|failed" > "$OUT/01-pytest.txt"
|
||||
|
||||
"$PYTHON" tests/smoke.py --base-url "$BASE_URL" > "$OUT/02-smoke.txt" 2>&1
|
||||
|
||||
{
|
||||
echo "== before"
|
||||
compose ps --format 'table {{.Service}}\t{{.Status}}'
|
||||
echo
|
||||
"$PYTHON" tests/resilience.py --mode persistence \
|
||||
--action-script scripts/restart.sh --base-url "$BASE_URL" 2>&1
|
||||
echo
|
||||
echo "== after (Up N seconds = container was restarted by scripts/restart.sh)"
|
||||
compose ps --format 'table {{.Service}}\t{{.Status}}'
|
||||
} > "$OUT/03-persistence.txt"
|
||||
|
||||
DB_HOST=localhost DB_PORT="${DB_HOST_PORT:-5432}" PYTHONPATH=. \
|
||||
"$PYTHON" scripts/explain_history.py > "$OUT/04-explain-history.txt"
|
||||
|
||||
BASE_URL="$BASE_URL" scripts/failure_demo.sh > "$OUT/05-failures.txt" 2>&1
|
||||
|
||||
{
|
||||
for key in appendonly appendfsync maxmemory maxmemory-policy dir; do
|
||||
compose exec -T redis redis-cli CONFIG GET "$key" | paste -sd' '
|
||||
done
|
||||
echo
|
||||
compose exec -T redis redis-cli INFO persistence \
|
||||
| grep -E "^(aof_enabled|aof_last_write_status|aof_last_bgrewrite_status|loading):"
|
||||
} > "$OUT/06-redis-config.txt"
|
||||
|
||||
"$PYTHON" tests/load.py --base-url "$BASE_URL" --duration 20 --concurrency 8 \
|
||||
--output "$OUT/07-load.json" > /dev/null &
|
||||
LOAD_PID=$!
|
||||
sleep 10
|
||||
docker stats --no-stream --format 'table {{.Name}}\t{{.CPUPerc}}\t{{.MemUsage}}' \
|
||||
$(compose ps -q) > "$OUT/07-load-resources.txt"
|
||||
wait "$LOAD_PID"
|
||||
|
||||
SESSION_TTL_SECONDS=3 compose up -d api >/dev/null 2>&1
|
||||
wait_ready
|
||||
BASE_URL="$BASE_URL" TTL=3 scripts/expiry_demo.sh > "$OUT/08-expiry.txt" 2>&1
|
||||
compose up -d api >/dev/null 2>&1
|
||||
wait_ready
|
||||
|
||||
echo "evidence written to $OUT/"
|
||||
Executable
+28
@@ -0,0 +1,28 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
TTL="${TTL:?укажите TTL, с которым запущен API (SESSION_TTL_SECONDS)}"
|
||||
API="$BASE_URL/api/v1"
|
||||
USERNAME="expiry_$(date +%s)"
|
||||
PASSWORD="expiry-password-123"
|
||||
|
||||
code() {
|
||||
curl -s -o /dev/null -w '%{http_code}' "$@"
|
||||
}
|
||||
|
||||
curl -sf -o /dev/null -X POST "$API/users" -H 'Content-Type: application/json' \
|
||||
-d "{\"username\":\"$USERNAME\",\"display_name\":\"Expiry\",\"password\":\"$PASSWORD\"}"
|
||||
SESSION=$(curl -sf -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD")
|
||||
TOKEN=$(printf '%s' "$SESSION" | python3 -c 'import json, sys; print(json.load(sys.stdin)["token"])')
|
||||
EXPIRES_AT=$(printf '%s' "$SESSION" | python3 -c 'import json, sys; print(json.load(sys.stdin)["expires_at"])')
|
||||
AUTH="Authorization: Bearer $TOKEN"
|
||||
|
||||
echo "SESSION_TTL_SECONDS=$TTL, login at $(date -u +%H:%M:%S)Z, expires_at=$EXPIRES_AT"
|
||||
echo "GET /users/me right after login -> $(code "$API/users/me" -H "$AUTH")"
|
||||
sleep $((TTL + 1))
|
||||
printf "%-35s -> %s\n" "GET /users/me after $((TTL + 1)) s" "$(code "$API/users/me" -H "$AUTH")"
|
||||
echo "DELETE /auth/sessions/current after -> $(code -X DELETE "$API/auth/sessions/current" -H "$AUTH")"
|
||||
NEW_TOKEN=$(curl -sf -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD" \
|
||||
| python3 -c 'import json, sys; print(json.load(sys.stdin)["token"])')
|
||||
echo "GET /users/me with new login token -> $(code "$API/users/me" -H "Authorization: Bearer $NEW_TOKEN")"
|
||||
@@ -0,0 +1,132 @@
|
||||
"""EXPLAIN (ANALYZE, BUFFERS) запроса истории на синтетических данных.
|
||||
|
||||
Данные создаются в одной транзакции и откатываются в конце: база не меняется.
|
||||
"""
|
||||
|
||||
import asyncio
|
||||
from uuid import uuid4
|
||||
|
||||
from sqlalchemy import text
|
||||
from sqlalchemy.ext.asyncio import AsyncConnection
|
||||
|
||||
from app.core.config import Settings
|
||||
from app.core.database import create_db_engine
|
||||
|
||||
TARGET_MESSAGES = 10_000
|
||||
NOISE_MESSAGES = 40_000
|
||||
PAGE = 51
|
||||
|
||||
HISTORY_FIRST_PAGE = """
|
||||
SELECT * FROM messages
|
||||
WHERE chat_id = :chat_id
|
||||
ORDER BY created_at, id
|
||||
LIMIT :page
|
||||
"""
|
||||
|
||||
HISTORY_AFTER_CURSOR = """
|
||||
SELECT * FROM messages
|
||||
WHERE chat_id = :chat_id AND (created_at, id) > (:after_created_at, :after_id)
|
||||
ORDER BY created_at, id
|
||||
LIMIT :page
|
||||
"""
|
||||
|
||||
|
||||
async def seed(connection: AsyncConnection) -> dict[str, object]:
|
||||
user_id, target_id, noise_id = uuid4(), uuid4(), uuid4()
|
||||
await connection.execute(
|
||||
text(
|
||||
"INSERT INTO users (id, username, display_name, password_hash) "
|
||||
"VALUES (:id, :username, 'Explain', 'x')"
|
||||
),
|
||||
{"id": user_id, "username": "explain_" + uuid4().hex[:8]},
|
||||
)
|
||||
await connection.execute(
|
||||
text("INSERT INTO chats (id, title) VALUES (:a, 'target'), (:b, 'noise')"),
|
||||
{"a": target_id, "b": noise_id},
|
||||
)
|
||||
await connection.execute(
|
||||
text("INSERT INTO chat_members (chat_id, user_id) VALUES (:a, :u), (:b, :u)"),
|
||||
{"a": target_id, "b": noise_id, "u": user_id},
|
||||
)
|
||||
for chat_id, count in ((target_id, TARGET_MESSAGES), (noise_id, NOISE_MESSAGES)):
|
||||
await connection.execute(
|
||||
text(
|
||||
"INSERT INTO messages (id, chat_id, sender_id, text, created_at) "
|
||||
"SELECT gen_random_uuid(), :chat_id, :user_id, 'message ' || g, "
|
||||
"now() - make_interval(secs => :count - g) "
|
||||
"FROM generate_series(1, :count) AS g"
|
||||
),
|
||||
{"chat_id": chat_id, "user_id": user_id, "count": count},
|
||||
)
|
||||
await connection.execute(text("ANALYZE messages"))
|
||||
|
||||
middle = (
|
||||
await connection.execute(
|
||||
text(
|
||||
"SELECT created_at, id FROM messages WHERE chat_id = :c "
|
||||
"ORDER BY created_at, id OFFSET :o LIMIT 1"
|
||||
),
|
||||
{"c": target_id, "o": TARGET_MESSAGES // 2},
|
||||
)
|
||||
).one()
|
||||
return {
|
||||
"chat_id": target_id,
|
||||
"after_created_at": middle.created_at,
|
||||
"after_id": middle.id,
|
||||
"page": PAGE,
|
||||
}
|
||||
|
||||
|
||||
async def explain(
|
||||
connection: AsyncConnection, title: str, query: str, params: dict[str, object]
|
||||
) -> None:
|
||||
rows = await connection.execute(
|
||||
text(f"EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING ON) {query}"), params
|
||||
)
|
||||
print(f"== {title}")
|
||||
print(query.strip())
|
||||
print()
|
||||
for row in rows:
|
||||
print(row[0])
|
||||
print()
|
||||
|
||||
|
||||
async def main() -> None:
|
||||
engine = create_db_engine(Settings()) # type: ignore[call-arg]
|
||||
async with engine.connect() as connection:
|
||||
transaction = await connection.begin()
|
||||
params = await seed(connection)
|
||||
total = (
|
||||
await connection.execute(text("SELECT count(*) FROM messages"))
|
||||
).scalar_one()
|
||||
print(
|
||||
f"messages in table: {total}; target chat: {TARGET_MESSAGES}; noise chat: {NOISE_MESSAGES}"
|
||||
)
|
||||
print()
|
||||
|
||||
first_page = {"chat_id": params["chat_id"], "page": PAGE}
|
||||
await explain(
|
||||
connection, "first page (limit+1 = 51)", HISTORY_FIRST_PAGE, first_page
|
||||
)
|
||||
await explain(
|
||||
connection,
|
||||
"page after cursor in the middle of history",
|
||||
HISTORY_AFTER_CURSOR,
|
||||
params,
|
||||
)
|
||||
|
||||
await connection.execute(text("SET LOCAL enable_indexscan = off"))
|
||||
await connection.execute(text("SET LOCAL enable_bitmapscan = off"))
|
||||
await explain(
|
||||
connection,
|
||||
"same page with index scans disabled (for comparison)",
|
||||
HISTORY_AFTER_CURSOR,
|
||||
params,
|
||||
)
|
||||
|
||||
await transaction.rollback()
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
asyncio.run(main())
|
||||
Executable
+64
@@ -0,0 +1,64 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||||
API="$BASE_URL/api/v1"
|
||||
USERNAME="demo_$(date +%s)"
|
||||
PASSWORD="demo-password-123"
|
||||
|
||||
compose() {
|
||||
docker compose --env-file .env "$@"
|
||||
}
|
||||
|
||||
code() {
|
||||
curl -s -o /dev/null -w '%{http_code} (%{time_total}s)' "$@"
|
||||
}
|
||||
|
||||
wait_healthy() {
|
||||
attempts=0
|
||||
until [ "$(compose ps --format '{{.Health}}' "$1")" = "healthy" ]; do
|
||||
attempts=$((attempts + 1))
|
||||
[ "$attempts" -lt 60 ] || { echo "$1 не стал healthy" >&2; exit 1; }
|
||||
sleep 1
|
||||
done
|
||||
}
|
||||
|
||||
curl -sf -o /dev/null -X POST "$API/users" -H 'Content-Type: application/json' \
|
||||
-d "{\"username\":\"$USERNAME\",\"display_name\":\"Demo\",\"password\":\"$PASSWORD\"}"
|
||||
TOKEN=$(curl -sf -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD" \
|
||||
| python3 -c 'import json, sys; print(json.load(sys.stdin)["token"])')
|
||||
AUTH="Authorization: Bearer $TOKEN"
|
||||
|
||||
echo "== baseline"
|
||||
echo "GET /users/me (Bearer) -> $(code "$API/users/me" -H "$AUTH")"
|
||||
|
||||
echo
|
||||
echo "== redis stopped"
|
||||
compose stop redis >/dev/null 2>&1
|
||||
echo "GET /users/me (Bearer) -> $(code "$API/users/me" -H "$AUTH")"
|
||||
echo "POST /auth/sessions (Basic) -> $(code -X POST "$API/auth/sessions" -u "$USERNAME:$PASSWORD")"
|
||||
echo "GET /users/me (no token) -> $(code "$API/users/me")"
|
||||
echo "GET /health/ready -> $(code "$BASE_URL/health/ready")"
|
||||
echo "GET /health/live -> $(code "$BASE_URL/health/live")"
|
||||
compose start redis >/dev/null 2>&1
|
||||
wait_healthy redis
|
||||
echo "-- redis started again (AOF restored)"
|
||||
echo "GET /users/me (same token) -> $(code "$API/users/me" -H "$AUTH")"
|
||||
|
||||
echo
|
||||
echo "== postgres stopped"
|
||||
compose stop postgres >/dev/null 2>&1
|
||||
echo "GET /users/me (Bearer) -> $(code "$API/users/me" -H "$AUTH")"
|
||||
echo "GET /api/v1/chats (Bearer) -> $(code "$API/chats" -H "$AUTH")"
|
||||
echo "GET /health/ready -> $(code "$BASE_URL/health/ready")"
|
||||
echo "GET /health/live -> $(code "$BASE_URL/health/live")"
|
||||
compose start postgres >/dev/null 2>&1
|
||||
wait_healthy postgres
|
||||
echo "-- postgres started again"
|
||||
echo "GET /users/me (same token) -> $(code "$API/users/me" -H "$AUTH")"
|
||||
|
||||
echo
|
||||
echo "== logout"
|
||||
echo "DELETE /auth/sessions/current -> $(code -X DELETE "$API/auth/sessions/current" -H "$AUTH")"
|
||||
echo "GET /users/me (same token) -> $(code "$API/users/me" -H "$AUTH")"
|
||||
Reference in New Issue
Block a user