docs: REPORT lab2, доказательства со стенда из чистого clone, размеры индексов

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Alexey Bodanyuk
2026-10-12 20:20:00 +03:00
co-authored by Claude Opus 5.5
parent eb92e8e91e
commit d65ba991d7
15 changed files with 613 additions and 25 deletions
+240 -18
View File
@@ -1,37 +1,259 @@
# Отчёт — лабораторная 2
- Автор, группа: TODO
- Целевая оценка; выбранный трек 5, если нужен: TODO
- Commit/PR: TODO после публикации
- Использованные источники, библиотеки и помощь ИИ: TODO
- Автор, группа: Боданюк Алексей, БВТ2302
- Целевая оценка: **5**, трек 2 «План запроса и восстановление»
- Ветка: `solution/bvt2302-bodanyuk`. Форк: `<URL форка>`. PR: «ЛР 2 — БВТ2302 — Боданюк — на 5» в mtusi2026/mtusi2026lab2
- Стек: Python 3.13.16, Starlette 1.7.0, uvicorn 0.54.0, psycopg 3.3.6 + psycopg-pool 3.3.3, redis-py 8.1.0 (протокол Valkey), argon2-cffi 25.1.0; PostgreSQL 18.6, Valkey 8.1.3. Все образы закреплены по тегу и digest, все Python-пакеты — по хешам ([requirements.txt](requirements.txt))
- Источники: README, COURSE, контракт ([openapi.json](contracts/openapi.json), [семантика](contracts/README.md)), документация PostgreSQL (transactions, EXPLAIN, pg_dump/pg_restore, pgbench), Valkey persistence, RFC 7617, OWASP Password Storage Cheat Sheet (параметры Argon2id). Учтены замечания преподавателя к PR других студентов этого репозитория (см. раздел «Проверки, на которых ловили другие работы»)
- Помощь ИИ: код, тесты, скрипты эксперимента и черновик отчёта написаны с помощью ИИ-ассистента Claude Code (Anthropic). Все команды и замеры реально выполнены на стенде ниже, их вывод лежит в [evidence/](evidence/). Пояснения для защиты — [docs/DEFENSE.md](docs/DEFENSE.md)
## Запуск из чистого clone
TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных.
Нужны Git, Docker с Compose v2 (проверено: Docker 29.8.0, Compose 5.5.1) и Python 3.9+ (secrets, публичные тесты). Для своих тестов нужен venv. Учётные данные не хранятся в Git: их создаёт скрипт.
```sh
git clone <URL форка> mtusi2026lab2 && cd mtusi2026lab2 && git checkout solution/bvt2302-bodanyuk
python3 scripts/init_secrets.py # случайные локальные пароли -> ./secrets (git-ignored), идемпотентно
cp .env.example .env # необязательно: значения по умолчанию заданы в compose.yaml
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait # postgres+valkey healthy -> migrate -> api healthy
curl -i http://127.0.0.1:8080/health/ready # 200 {"status":"ok"}; Swagger: http://127.0.0.1:8080/docs
make check && make test
make test-persistence ACTION_SCRIPT=scripts/restart.sh
```
- **Миграции:** выполняет одноразовый сервис `migrate` (`python -m messenger.migrate`) перед стартом `api`. Повторный запуск: `docker compose run --rm migrate` → `0001_init: already applied, skipped`.
- **Свои тесты:** `python3 -m venv .venv`, затем `pip install --require-hashes --no-deps -r requirements.txt` и `pip install -r requirements-test.txt`, затем `make student-test`. Все тесты — около 3,5 мин. Те, что не требуют стенда: `make unit-test`.
- **Windows без make:** цели Makefile — однострочные команды. Перед публичными тестами нужно `$env:PYTHONUTF8=1`. Hook сохранности на Windows — `scripts/restart.cmd`: он запускает тот же `restart.sh` через Git Bash, потому что Windows не исполняет `.sh` напрямую.
- **Остановка:** безопасно — `docker compose down` (volumes сохраняются). Намеренное удаление учебных данных — `docker compose down -v` и `rm -rf secrets`. После этого стенд поднимается с нуля той же последовательностью.
## Архитектура и решения
TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации.
```text
клиент ──HTTP──> api (uvicorn+Starlette, 1 процесс, пользователь app, PID 1)
├─ PostgreSQL 18.6 — источник истины: users, chats, chat_members, messages (volume pgdata)
└─ Valkey 8.1.3 — единственное хранилище сессий, AOF appendfsync always (volume valkeydata)
migrate (одноразовый) ──> PostgreSQL: версионированные SQL-миграции, advisory lock, checksum
```
| Роль | Service | Образ | Health / readiness | Volume | Сеть / порт | Credentials |
| --- | --- | --- | --- | --- | --- | --- |
| API | `api` | `mtusi-messenger:lab2` (собирается из исходников) | `HEALTHCHECK` → `/health/ready` | — | `127.0.0.1:8080→8080` | secrets `database_url`, `cache_url` |
| БД | `postgres` | `postgres:18.6-bookworm@sha256:afc7e2d4…` | `pg_isready` | `pgdata` | только внутренняя | secret `postgres_password` |
| Сессии | `valkey` | `valkey/valkey:8.1.3-bookworm@sha256:fea8b3e6…` | `valkey-cli ping` | `valkeydata` | только внутренняя | secret `valkey_password` → include-файл конфига (не в аргументах процесса) |
| Миграции | `migrate` | тот же образ API | завершение с кодом 0 | — | внутренняя | secret `database_url` |
- **Модель данных и транзакции** — [docs/DATA_MODEL.md](docs/DATA_MODEL.md), схема — [migrations/0001_init.sql](migrations/0001_init.sql).
- PK, FK (в том числе `messages (chat_id, sender_id) → chat_members`: отправитель обязан быть участником), `UNIQUE (username)`, CHECK.
- Свободный текст хранится в `bytea`, потому что контракт разрешает U+0000, а `text` в PostgreSQL его не хранит.
- **Создание чата** — одна транзакция: `INSERT chats` → `INSERT chat_members` из `unnest(member_ids)`. Неизвестный участник ломает второй INSERT по FK, и откатывается всё, включая уже вставленный чат.
- **Порядок сообщений.** `UPDATE chats SET last_message_at = greatest(clock_timestamp(), last_message_at + 1 мкс) … RETURNING` блокирует строку чата до COMMIT. Поэтому писатели одного чата идут по очереди, а время строго растёт в порядке коммитов. Это перенос инварианта lab1 («время назначается под замком») в БД.
- **Пагинация** — тот же keyset-cursor, что в lab1, но в SQL: `(created_at, id) > ($2,$3)` по индексу `(chat_id, created_at, id)`. Запросов два — первая страница и после cursor, без `IS NULL OR`. Cursor проверяет диапазон времени (до 9999 года): дата вне диапазона даёт 400, а не 500.
- **Аутентификация** ([authhdr.py](src/messenger/authhdr.py), [sessions.py](src/messenger/sessions.py), [passwords.py](src/messenger/passwords.py)):
- `Basic` принимается только на `POST /auth/sessions`. Любой битый заголовок (не base64, не UTF-8, без `:`) даёт 401, пароль может содержать `:`;
- пароль: 12–128 code points, не из одних пробелов; Argon2id (m=19 MiB, t=2, p=1) считается в отдельном потоке с ограничением параллельности 2;
- неизвестный пользователь проверяется против фиктивного хеша: время и ответ такие же, как при неверном пароле;
- токен — `token_urlsafe(32)` (256 бит), хранится только SHA-256 токена;
- `X-User-Id` и `Basic` на бизнес-endpoint дают 401 с `WWW-Authenticate: Bearer realm="messenger"`.
- **Сессии — роль Valkey (уровень 4).** Источник истины для сессий — Valkey, и это **не** кэш над PostgreSQL. Значение ключа — `{user_id, expires_at}`, срок — абсолютный `PXAT`.
- **Expiry:** `expires_at` проверяется при каждом чтении; рестарт срок не продлевает.
- **Инвалидация:** logout = `DEL`.
- **Persistence:** `appendonly yes`, `appendfsync always`, `maxmemory-policy noeviction` — подтверждённые вход и logout переживают рестарт и падение, а сессии не вытесняются молча.
- **Отказ Valkey:** проверить сессию нельзя → 503 на защищённые запросы и на logout; анонимный доступ никогда не открывается.
Копия одна, поэтому нет сценария «logout потерялся в кэше и токен ожил». Переменная `SESSION_STORE=postgres` переключает сессии на таблицу `sessions` (проверено тестами и hook сохранности).
- **Ограничения ресурсов** ([db.py](src/messenger/db.py)):
- пул psycopg: min 1, max 10, ожидание соединения ≤ 3 с;
- сервер: `statement_timeout` = 2,5 с, `lock_timeout` = 1,25 с, `idle_in_transaction_session_timeout` = 10 с;
- клиентский дедлайн 3 с. Он работает в отдельной задаче: при замороженном PostgreSQL (`docker pause`) psycopg после отмены ещё до 10 с ждёт ответа на cancel. Без этого ответ приходил через 13 с, с этим — через 3,0 с;
- Valkey: таймауты сокета 0,5 с, без скрытых повторов;
- все отказы зависимостей → 503 `unavailable`.
- **Readiness** — 200, только если отвечают PostgreSQL и Valkey (обе зависимости критичны для обязательного пути). Liveness — только жизнь процесса.
- **Из lab1 перенесено** без изменений: формат ошибок и `X-Request-Id`, строгая валидация JSON (лишние поля, типы, NaN, суррогаты, склеенные объекты), JSON-логи без тел и текстов, graceful SIGTERM (≤ 8 с, readiness 503), Swagger. **Изменено:** хранилище, идентификация, cursor — с проверкой диапазона. Перенос сделан отдельным коммитом `893beaa`.
Соответствие `.env.example` реальной конфигурации ([config.py](src/messenger/config.py), [compose.yaml](compose.yaml)):
| Переменная | Значение | Где используется |
| --- | --- | --- |
| `APP_HOST`, `APP_PORT`, `APP_ENV` | `0.0.0.0`, `8080`, `lab` | bind uvicorn, стартовый лог |
| `SESSION_TTL_SECONDS` | `3600` | срок сессии; compose передаёт его в контейнер (проверено `printenv` в тесте TTL=2) |
| `DATABASE_URL_FILE` | `/run/secrets/database_url` | строка подключения из secret-файла |
| `SESSION_STORE` | `valkey` (или `postgres`; `redis` — синоним `valkey`) | выбор хранилища сессий |
| `CACHE_URL_FILE` | `/run/secrets/cache_url` | адрес и пароль Valkey из secret-файла |
| `DB_POOL_MIN/MAX`, `DB_TIMEOUT_SECONDS`, `CACHE_TIMEOUT_SECONDS`, `PASSWORD_HASH_CONCURRENCY` | 1/10, 3, 0.5, 2 | пул и таймауты, параллельность Argon2id |
| `LOG_LEVEL`, `DOCS_ENABLED`, `APP_PUBLISH_PORT` | `info`, `true`, `8080` | логи, Swagger, порт на хосте (только `127.0.0.1`) |
## Доказательства критериев
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | TODO | TODO |
| Остальные пункты уровня 3 | TODO | TODO | TODO |
| Все пункты уровня 4, если заявлен | TODO | TODO | TODO |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
Стенд: Windows 10 22H2, AMD Ryzen 5 3400G (4 ядра / 8 потоков), 16 ГБ RAM, Docker Desktop 29.8.0 (WSL2), дата 2026-10-12. Все проверки уровней 3 и 4 ниже выполнены на стенде, поднятом **из чистого clone** с пустыми volumes (отдельный compose-проект на порту 8081).
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл |
| --- | --- | --- | --- |
| Чистый clone, secrets, миграции с нуля | `init_secrets.py`, `compose up --build --wait`, `compose logs migrate`, повтор `run migrate` | все сервисы healthy; `0001_init: applied`, повтор — `already applied, skipped`; uid 10001, PID 1; `secrets/` и `.env` игнорируются Git | [clean-clone.txt](evidence/clean-clone.txt) |
| Контракт | `make check`, `make validate` | PASS, PASS | [make-check-validate.txt](evidence/make-check-validate.txt) |
| **3:** публичный smoke | `make test` | `PASS: lab2 public API scenario` | [make-test.txt](evidence/make-test.txt) |
| **3:** данные и сессии переживают рестарт API и хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `StartedAt` api, postgres, valkey изменились, volumes те же | [test-persistence-valkey.txt](evidence/test-persistence-valkey.txt), [restart-hook-output.txt](evidence/restart-hook-output.txt) |
| то же для `SESSION_STORE=postgres` | тот же тест после `SESSION_STORE=postgres compose up -d api` | PASS, сессии в таблице `sessions` | [test-persistence-postgres.txt](evidence/test-persistence-postgres.txt) |
| **3:** PK/FK, unique username, миграции с нуля | [0001_init.sql](migrations/0001_init.sql), `test_migrations_rerun_is_a_noop` | схема применяется к пустому volume; повтор ничего не меняет | [student-tests.txt](evidence/student-tests.txt) |
| **3:** атомарное создание чата | `test_create_chat_rolls_back_after_the_chat_row_was_inserted` | `n_tup_ins` таблицы `chats` вырос (INSERT был), строки нет, членство не изменилось | там же |
| **3:** Basic только на входе, Bearer, expiry, отзыв, `X-User-Id` не даёт доступ, KDF | `test_api.py` (18 проверок аутентификации), `test_short_ttl_expires`, `test_secrets_are_not_stored_in_plain_text` | 401 с нужным challenge; logout → 401; TTL=2 → 401; хеш `$argon2id$v=19$m=19456,t=2,p=1$`; в Valkey только `session:<sha256>` | там же |
| **3:** secrets и volumes не в Git | `git check-ignore secrets/database_url .env` | оба игнорируются; в отчёте и evidence нет паролей и токенов | [clean-clone.txt](evidence/clean-clone.txt), [logs-check.txt](evidence/logs-check.txt) |
| **4:** Valkey реально хранит сессии с TTL и persistence | `test_logout_during_valkey_outage_is_never_lost`, `test_restart_does_not_extend_ttl`, persistence-тест | сессии переживают рестарт Valkey; TTL не продлевается; отозванный токен остаётся 401 после рестарта Valkey и API (10 проверок GET и POST) | [student-tests.txt](evidence/student-tests.txt) |
| **4:** параметризованные запросы, ограниченный пул, таймауты | [repo.py](src/messenger/repo.py) (`%s`), [db.py](src/messenger/db.py) | max 10 соединений; пауза PostgreSQL → 503 за 3,0 с; Valkey → 0,5 с | `test_postgres_failure[pause]`, `test_valkey_failure[pause]` |
| **4:** гонка регистрации | `test_registration_race_exactly_one_201_and_seven_409` | 8 одновременных → ровно `[201] + [409]×7` (сравниваются HTTP-коды), в БД 1 строка | [student-tests.txt](evidence/student-tests.txt) |
| **4:** rollback составной операции | см. «атомарное создание чата» | откат **после** первого INSERT | там же |
| **4:** индекс истории и EXPLAIN на ≥ 10 000 | `make explain`, `test_late_page_uses_index_range_not_filter` | 50 189 сообщений, 20 000 в чате; поздняя страница при generic plan: `Index Cond: … ROW(created_at, id) > ROW($2, $3)`, 5 буферов, 0,11 мс; вариант с `IS NULL OR` — `Rows Removed by Filter: 19950`, 526 буферов, 3,3 мс; OFFSET — 526 буферов, 4,4 мс | [explain-history.txt](evidence/explain-history.txt) |
| **4:** expiry, logout, неверный пароль | `test_short_ttl_expires[valkey/postgres]`, `test_logout_revokes_only_this_token`, `test_wrong_password_and_unknown_user_give_the_same_401` | 401 после `expires_at`; logout отзывает только этот токен; неверный пароль и неизвестный пользователь — одинаковый 401 | [student-tests.txt](evidence/student-tests.txt) |
| **4:** недоступность Redis/БД, аноним не доверенный | `test_failures.py`: stop/pause Valkey и PostgreSQL с **действующим** токеном, `LOCK TABLE`, восстановление в `finally` | 503 в пределах дедлайна; аноним — 401; readiness 503; после восстановления тот же токен и данные на месте | там же |
| Логи без секретов и текстов | grep по логу api после трафика | 0 текстов сообщений, паролей, токенов, паролей БД; события `login_failed`, `session_store_unavailable`, access-строки | [logs-check.txt](evidence/logs-check.txt) |
| SIGTERM сохранён из lab1 | `docker compose stop api` × 3 | 1,1–1,2 с, exit 0, без OOM | [sigterm.txt](evidence/sigterm.txt) |
| **5:** трек 2 | `bench/track2/*.py` | см. ниже | [evidence/track2/](evidence/track2/) |
Итог своих тестов на стенде из чистого clone: **108 passed** (45 unit + 63 против стенда), 3 мин 28 с ([student-tests.txt](evidence/student-tests.txt)).
### Проверки, на которых ловили другие работы, и наш результат
| Замечание к чужим PR | У нас | Где проверено |
| --- | --- | --- |
| logout при упавшем Redis → после восстановления токен снова 200 | logout при упавшем Valkey = 503 (ничего не отозвано, клиент это видит). После восстановления logout → 401, и 401 сохраняется после рестарта Valkey и API | `test_logout_during_valkey_outage_is_never_lost` |
| истёкшая сессия принимается из кэша | expiry проверяется при каждом чтении; ключ живёт до абсолютного `PXAT` | `test_short_ttl_expires` |
| пауза PostgreSQL → запрос висит 8+ с; ограничено ожидание пула, но не SQL | клиентский дедлайн в отдельной задаче + `statement_timeout` / `lock_timeout` | `test_postgres_failure[pause]`, `test_locked_table_gives_bounded_503` |
| отказ БД маскируется под 401 | 503 `unavailable` для действующего токена, в обоих режимах сессий | `test_postgres_failure`, `test_postgres_session_store` |
| cursor в `Filter` при generic plan | два отдельных запроса | `test_explain.py` |
| `{"text":"hello\u0000world"}` → 500 | 201, текст сохраняется и читается побайтно | `test_unicode_limits_are_code_points_and_nul_is_stored` |
| пароль из 12 пробелов принимается; `Basic é` → 500 | 400; 401 | `test_bad_password_on_registration_is_400`, `test_malformed_basic_is_401_not_500` |
| bcrypt и пароли длиной 73–128 символов → 500 | Argon2id без ограничения длины; 128 кириллических символов работают | `test_edge_passwords_register_and_login` |
| дата в cursor вне диапазона → 500 | 400 | `test_broken_cursors_are_400_not_500` |
| `SESSION_TTL_SECONDS` не доходит до контейнера | compose передаёт его, тест читает `printenv` в контейнере | `test_short_ttl_expires` |
| в инструкции нет создания secrets | `scripts/init_secrets.py` в первой команде | [clean-clone.txt](evidence/clean-clone.txt) |
| нет executable bit у `restart.sh` | `100755` в Git | `git ls-files -s scripts/restart.sh` |
| тесты отказов засчитывают любую ошибку | сравниваются конкретные коды и время, восстановление в `finally` | `test_failures.py` |
## Трек 2. План запроса и восстановление
### Гипотезы
1. С индексом `(chat_id, created_at, id)` и keyset-запросом стоимость страницы почти не зависит от размера чата и позиции страницы. С индексом только по `(chat_id)` keyset-запросу приходится сортировать весь чат. OFFSET читает весь префикс до позиции. Без индекса читается вся таблица.
2. Каждый вторичный индекс удорожает запись: больше WAL и места, ниже пропускная способность.
3. `pg_dump` даёт согласованный снимок. Восстановление 100 000+ сообщений в новое хранилище занимает секунды, сверка сходится полностью, а граница потери данных — момент снимка.
### Методика
- **Изолированная БД** ([plans.py](bench/track2/plans.py)): отдельный контейнер `postgres:18.6` (тот же digest), `--cpus 2 --memory 2g`, настройки по умолчанию, без опубликованных портов. Схема — наши миграции.
- **Данные** — детерминированный seed: **121 120 сообщений в 200 чатах** неравномерно — 1 × 60 000, 2 × 15 000, 8 × 2 000, 189 × 80. Текст 10–380 байт.
- **Генератор:** pgbench (`-M prepared`, как у драйвера) в отдельном контейнере со своими 2 CPU.
- **Чтение:** одна страница `LIMIT 51` после **случайной** позиции чата (200 позиций по всей длине). Запрос keyset — это SQL приложения (`HISTORY_AFTER`), OFFSET — для сравнения. 4 клиента, прогрев 3 с, замер 10 с, 3 повтора. Индексы: `keyset_index` (наш), `chat_id_index`, `no_index` (только PK).
- **Запись:** транзакция сообщения приложения (`UPDATE chats … RETURNING` + `INSERT`) в случайный из 200 чатов.
- TPS и задержки: 8 клиентов, 5 повторов по 10 с.
- WAL: детерминированно — 5 000 транзакций в 1 клиент, autovacuum таблицы выключен, `CHECKPOINT` перед прогоном, 3 повтора. Первые замеры WAL под 8 клиентами давали разброс в 2 раза из-за checkpoint и autovacuum посреди прогона, поэтому методика заменена.
- Индексы: без вторичных, наш, наш + `(sender_id, created_at)`.
- **Размер индексов** — отдельно на одинаковых 121 120 строках ([index_sizes.py](bench/track2/index_sizes.py)).
- **Backup/restore** ([backup_restore.py](bench/track2/backup_restore.py)) на **живой БД стенда**: к данным стенда добавлены те же 121 120 сообщений, всего 171 410–171 898. Во время дампа писатель отправляет сообщения через API (~40/с).
- `pg_dump -Fc -Z 6` → новый контейнер PostgreSQL с **новым volume** → `pg_restore -j 2` → `ANALYZE` → сверка.
- Сверка: количество строк по таблицам, MD5 всех сообщений (`id | created_at | text`) **каждого** чата, первые и последние 50 сообщений самого большого чата, `schema_migrations`, список индексов. Сообщения писателя в копии должны быть **точным префиксом** подтверждённых.
- Затем наш образ API запускается на восстановленной БД: вход по старому паролю и чтение чата писателя через API.
- 3 раунда.
```sh
python bench/track2/plans.py # чтение и запись (~25 мин)
python bench/track2/plans.py --writes-only # только запись (~6 мин)
python bench/track2/index_sizes.py # размеры индексов
python bench/track2/backup_restore.py --repeats 3
pip install -r requirements-bench.txt && python bench/track2/summarize.py # summary.md + plans.png
```
### Результаты: чтение одной страницы
Медиана 3 повторов; в скобках — min–max TPS между повторами. Полная таблица — [summary.md](evidence/track2/summary.md), сырые данные — [reads.csv](evidence/track2/reads.csv).
| Индекс | Запрос | Чат | TPS | p50, мс | p95, мс | p99, мс |
| --- | --- | ---: | ---: | ---: | ---: | ---: |
| **(chat_id, created_at, id)** | **keyset** | 60 000 | **2 655** (2 402–3 486) | **0,81** | **2,28** | 32,8 |
| (chat_id, created_at, id) | keyset | 15 000 | 2 991 | 0,76 | 1,68 | 32,8 |
| (chat_id, created_at, id) | keyset | 80 | 4 018 | 0,58 | 1,69 | 11,9 |
| (chat_id, created_at, id) | OFFSET | 60 000 | 180 | 11,6 | 69,2 | 81,0 |
| (chat_id, created_at, id) | OFFSET | 15 000 | 791 | 2,53 | 43,9 | 52,6 |
| (chat_id) | keyset | 60 000 | 89,5 | 27,0 | 80,9 | 99,0 |
| (chat_id) | keyset | 15 000 | 362 | 5,64 | 55,7 | 59,4 |
| (chat_id) | OFFSET | 60 000 | 28,3 | 120 | 278 | 389 |
| только PK | keyset | 60 000 | 29,0 | 112 | 197 | 293 |
| только PK | keyset | 80 | 36,3 | 102 | 182 | 193 |
![Трек 2](evidence/track2/plans.png)
- **Наш индекс + keyset:** p50 и p95 почти не зависят от размера чата (0,6–0,8 мс и 1,7–2,3 мс от 80 до 60 000 сообщений). Узел плана `Index Scan … Index Cond: ((chat_id = $1) AND (ROW(created_at, id) > ROW($2, $3)))` читает ровно 51 строку ([explain/keyset_index-big-late-page.txt](evidence/track2/explain/keyset_index-big-late-page.txt)).
- **OFFSET с тем же индексом:** стоимость растёт с позицией. На чате в 60 000 TPS в 15 раз ниже, p95 в 30 раз выше: индекс читается с начала чата до смещения.
- **Индекс только по `chat_id`:** keyset-запрос вынужден взять все строки чата и сделать top-N sort. На 60 000 TPS в 30 раз ниже (89,5 против 2 655). На маленьких чатах (80) разницы нет — сортировать почти нечего.
- **Без индекса:** около 30 TPS на любом чате, потому что каждый запрос сканирует всю таблицу. Размер чата почти не влияет, влияет размер таблицы.
- **Почему p99 нашего варианта ~33 мс при p50 < 1 мс.** Это хвост стенда, а не плана: Docker Desktop в VM на Windows, CFS-квота `--cpus 2` и общий CPU с генератором. Тот же хвост виден на маленьком чате, где работы почти нет. В плане такого хвоста нет (`Execution Time` 0,1 мс).
### Результаты: стоимость записи
| Вторичные индексы messages | TPS (8 клиентов, min–max) | p50, мс | p95, мс | WAL на вставку, байт (min–max) | Размер вторичных индексов на 121 120 строк |
| --- | ---: | ---: | ---: | ---: | ---: |
| нет | 1 954 (1 540–2 055) | 3,55 | 7,14 | 1 930 (1 884–1 940) | 0 |
| (chat_id, created_at, id) — наш | 1 577 (1 002–1 630) | 4,73 | 8,50 | 2 910 (2 800–2 926) | 6,8 МиБ (59 байт/строку) |
| наш + (sender_id, created_at) | 1 223 (896–1 607) | 6,25 | 9,30 | 3 318 (3 310–3 414) | 9,8 МиБ (85 байт/строку) |
- **WAL** — самая надёжная метрика (разброс 1–3%). Наш индекс добавляет **+51%** WAL на вставку, второй индекс — ещё +14%. WAL — это и запись на диск, и трафик репликации, и объём архива для PITR.
- **TPS** падает примерно на 19% и 37% (медианы), но разброс повторов большой (до ±30%), поэтому это тенденция, а не точная цифра. Транзакция также упирается в блокировку строки чата и fsync COMMIT, общие для всех вариантов.
- Индекс только по `chat_id` занимает 0,9 МиБ против 6,8 МиБ у нашего: B-tree PostgreSQL ≥ 13 дедуплицирует одинаковые ключи. Ради поздних страниц мы сознательно платим местом и записью.
- **Вывод:** наш единственный вторичный индекс окупается — чтение страницы большого чата в 30 раз дешевле альтернатив, а запись дорожает умеренно. Второй индекс без запроса, который им пользуется, — чистая потеря.
### Результаты: backup → восстановление в новое хранилище → сверка
| Раунд | Сообщений | Дамп, с | Размер дампа | Восстановление, с | ANALYZE, с | Сверка | Писатель: подтверждено / в копии / после снимка | API на восстановленной БД |
| ---: | ---: | ---: | ---: | ---: | ---: | --- | --- | --- |
| 1 | 171 410 | 1,47 | 5,1 МиБ | 2,21 | 0,57 | всё совпало (257 чатов) | 237 / 101 / 136 | вход ✓, история = копия ✓ |
| 2 | 171 655 | 1,70 | 5,1 МиБ | 1,90 | 0,49 | всё совпало (258 чатов) | 242 / 109 / 133 | ✓ |
| 3 | 171 898 | 1,40 | 5,1 МиБ | 1,76 | 0,49 | всё совпало (259 чатов) | 250 / 110 / 140 | ✓ |
Данные — [backup.json](evidence/track2/backup.json). «Всё совпало» означает, что одновременно выполнено:
- MD5 сообщений каждого чата;
- первые и последние 50 сообщений чата в 60 000;
- число пользователей, чатов и участников;
- `schema_migrations` и список индексов;
- сообщения писателя в копии — **точный префикс** подтверждённых.
### Время восстановления и границы потери данных
- **Согласованность.** `pg_dump` работает в одной транзакции REPEATABLE READ, то есть это MVCC-снимок на момент старта дампа. В копии нет «рваного» состояния: сообщения писателя — непрерывный префикс без пропусков. Например, в раунде 1 последнее сообщение копии — 17:06:57.831, первое потерянное — 17:06:57.857, а записи шли всё время дампа.
- **RPO.** Теряется всё, что подтверждено **после старта снимка**: в эксперименте 133–140 сообщений за ~3,5 с (дамп плюс 2 с после него). В эксплуатации RPO равен интервалу между дампами: при ночном дампе — до 24 часов подтверждённых сообщений. Сессии в Valkey в этот бэкап не входят: после восстановления пользователи входят заново, что безопасно.
- **RTO на этих данных:** около 2,3–2,8 с = `pg_restore` (1,8–2,2 с, включая перестройку индексов) + `ANALYZE` (0,5 с), плюс переключение `DATABASE_URL` и старт API (~2 с). Время восстановления растёт линейно с объёмом данных и индексов. Дамп 5,1 МиБ на 172 000 сообщений — около 31 байта на сообщение после сжатия.
- **Как уменьшить RPO/RTO:** непрерывный архив WAL и PITR (pgBackRest или WAL-G) сокращают RPO до секунд и позволяют восстановить состояние на любой момент. Потоковая реплика сокращает RTO до времени переключения. Синхронная реплика — RPO≈0 ценой задержки COMMIT. Проверять восстановление нужно регулярно, как этот скрипт: копия, которую не восстанавливали, — ещё не копия.
### Ограничения эксперимента
- Данные синтетические: равномерное время сообщений, один отправитель на чат в seed. На реальном распределении селективность индексов другая.
- Настройки PostgreSQL по умолчанию; данные помещаются в `shared_buffers` и кэш ОС, поэтому замерено «тёплое» чтение. На холодном диске разница между вариантами будет больше.
- pgbench в режиме closed loop; один хост с Docker Desktop (VM WSL2) — хвосты p99 и TPS записи шумные (разброс указан). Повторов 3 и 5, без статистических тестов.
- Backup — логический (`pg_dump`) на небольшом объёме. Для больших баз нужны физические бэкапы с WAL. Valkey не входит в эксперимент восстановления: сессии одноразовые.
## Эксперименты и отказы
TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных |
| --- | --- | --- | --- |
| TODO | TODO | TODO | TODO |
| `restart.sh`: stop api → restart postgres, valkey → start api | данные и тот же токен работают | PASS (оба режима сессий), все три `StartedAt` новые | ~11 с до готовности; потерь нет |
| `docker compose stop postgres` с действующим токеном | 503, аноним 401, readiness 503 | 503 < 3,6 с на `/users/me`, `/chats`, историю | после старта тот же токен и сообщение на месте |
| `docker pause postgres` | ограниченное время ответа | 503 через 3,0 с (до исправления — 13 с) | после unpause всё работает |
| `LOCK TABLE messages` на 6 с | быстрый отказ, а не ожидание | 503 < 3,6 с (`lock_timeout`) | после снятия блокировки 200 |
| stop или pause Valkey | 503, аноним 401 | 503 за 0,5 с | после старта прежние сессии действуют (AOF) |
| logout во время отказа Valkey | отзыв не теряется | 503 (не отозван) → после восстановления logout 204 → 401 и после рестарта Valkey и API | токен не «оживает» |
| `SESSION_TTL_SECONDS=2` | 401 после `expires_at` | 401 (Valkey и PostgreSQL) | — |
| TTL 12 с + рестарт Valkey и API | срок не продлевается | 200 до `expires_at`, 401 после | — |
| 8 одновременных регистраций одного имени | 1 × 201, 7 × 409 | ровно так, одна строка в БД | — |
| 10 клиентов × 10 сообщений | 100 уникальных, строгий порядок | 100, 15 страниц по 7, уникальное время | — |
| backup во время записи → restore в новое хранилище | согласованный снимок | префикс без пропусков, сверка 100% | RPO = момент снимка; RTO ≈ 2,5 с на 172 000 сообщений |
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
- **Выдерживается:**
- рестарт API и обоих хранилищ без потери подтверждённых данных и сессий;
- отказ или зависание PostgreSQL или Valkey без зависаний и без анонимного доступа;
- гонки регистрации и записи в один чат.
- **Не выдерживается:**
- потеря хоста или диска (один узел, нет реплик и архива WAL);
- отказ Valkey означает отказ всех защищённых запросов: это сознательная плата за отсутствие второй копии сессий. Повысить доступность можно репликой Valkey или `SESSION_STORE=postgres`.
- **Учебные упрощения:** HTTP без TLS (только локальный стенд с синтетическими данными); secret-файлы читаемы на хосте (0644, чтобы их могли прочитать пользователи контейнеров); один экземпляр API (реплики и балансировщик — lab3).
- **Список чатов при одновременном создании.** Он сортируется по `created_at` без глобального замка. Чат, закоммиченный «задним числом», может не попасть в уже идущий обход, но виден при новом. Для сообщений эта проблема закрыта блокировкой строки чата.
- **Подтверждено замерами:** выигрыш индекса и keyset, стоимость WAL, восстановление и сверка. **Гипотезы** (не проверялись): поведение на холодном диске и на данных в десятки ГБ; выигрыш PITR.
+42
View File
@@ -0,0 +1,42 @@
#!/usr/bin/env python3
"""Index sizes of every variant on the SAME 121 120-row dataset (no writes in between).
python bench/track2/index_sizes.py # ~2 min, writes evidence/track2/index-sizes.csv
"""
from __future__ import annotations
import csv
import sys
from pathlib import Path
sys.path.insert(0, str(Path(__file__).parent))
import plans # noqa: E402 (same image, limits, schema and deterministic seed)
def main() -> int:
plans.start_container("2", "2g")
try:
plans.psql("".join(p.read_text(encoding="utf-8") for p in sorted((plans.ROOT / "migrations").glob("*.sql"))))
plans.psql(plans.SEED)
rows = int(plans.psql("SELECT count(*) FROM messages;"))
out = []
for variant in plans.VARIANTS:
info = plans.use_variant(variant)
secondary = sum(int(b) for name, b in info["index_bytes"].items() if name != "messages_pkey")
out.append({"variant": variant, "rows": rows, "table_bytes": info["table_bytes"],
"pkey_bytes": int(info["index_bytes"]["messages_pkey"]), "secondary_index_bytes": secondary,
"secondary_bytes_per_row": round(secondary / rows, 1), "index_build_seconds": info["index_build_s"]})
print(out[-1], flush=True)
finally:
plans.sh(["docker", "rm", "-f", "-v", plans.CLIENT, plans.NAME], check=False)
path = plans.ROOT / "evidence/track2/index-sizes.csv"
with path.open("w", newline="", encoding="utf-8") as f:
writer = csv.DictWriter(f, fieldnames=list(out[0]))
writer.writeheader()
writer.writerows(out)
print("done:", path)
return 0
if __name__ == "__main__":
sys.exit(main())
+6 -3
View File
@@ -42,6 +42,7 @@ def fmt(x: float) -> str:
def main() -> int:
sys.stdout.reconfigure(encoding="utf-8")
reads, writes, wal = load("reads.csv"), load("writes.csv"), load("wal.csv")
sizes_rows = {r["variant"]: r for r in load("index-sizes.csv")}
meta = json.loads((OUT / "plans-meta.json").read_text(encoding="utf-8"))
r = agg(reads, ("variant", "query", "chat"), ("tps", "p50_ms", "p95_ms", "p99_ms"))
w = agg(writes, ("variant",), ("tps", "p50_ms", "p95_ms", "p99_ms"))
@@ -60,14 +61,16 @@ def main() -> int:
md += ["", "## Запись: транзакция сообщения приложения (UPDATE chats … RETURNING + INSERT)", "",
"TPS и задержка — медиана 5 повторов по 10 с, 8 клиентов. WAL — медиана 3 детерминированных прогонов: "
"5 000 транзакций, 1 клиент, autovacuum выключен, CHECKPOINT перед прогоном.", "",
"| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Размер индексов, МиБ |",
"| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Доп. индексы на 121 120 строк, МиБ |",
"| --- | ---: | ---: | ---: | ---: | ---: | ---: |"]
for variant in ("no_index", "keyset_index", "keyset_plus_sender"):
v = w[(variant,)]
idx = meta["sizes"][variant]["index_bytes"]
idx_mib = sum(int(b) for b in idx.values()) / 2**20
idx_mib = int(sizes_rows[variant]["secondary_index_bytes"]) / 2**20 # same dataset for every variant
md.append(f"| {variant} | {fmt(v['tps'])} ({fmt(v['tps_min'])}–{fmt(v['tps_max'])}) | {fmt(v['p50_ms'])} | {fmt(v['p95_ms'])} "
f"| {fmt(v['p99_ms'])} | {v['wal_bytes_per_insert']:.0f} ({v['wal_min']}–{v['wal_max']}) | {idx_mib:.1f} |")
md += ["", "Размеры индексов измерены отдельно на одинаковых 121 120 строках (bench/track2/index_sizes.py); "
"первичный ключ во всех вариантах — " + f"{int(sizes_rows['no_index']['pkey_bytes']) / 2**20:.1f} МиБ, таблица — "
f"{int(sizes_rows['no_index']['table_bytes']) / 2**20:.1f} МиБ."]
(OUT / "summary.md").write_text("\n".join(md) + "\n", encoding="utf-8", newline="\n")
print("\n".join(md))
+40
View File
@@ -0,0 +1,40 @@
# Clean clone -> build -> fresh volumes -> migrations from zero, 2026-10-12T17:08:32Z
$ git clone --branch solution/bvt2302-bodanyuk <repo> mtusi2026lab2 && cd mtusi2026lab2
eb92e8e bench: трек 2 — планы запросов, стоимость записи, backup/restore со сверкой
$ python scripts/init_secrets.py
created secrets/postgres_password
created secrets/valkey_password
created secrets/database_url
created secrets/cache_url
$ cp .env.example .env # + COMPOSE_PROJECT_NAME/APP_PUBLISH_PORT only to run beside the main stand
$ docker compose --env-file .env config --quiet
config OK
$ docker compose --env-file .env up -d --build --wait
Container mtusi-lab2-clean-api-1 Healthy
Container mtusi-lab2-clean-migrate-1 Exited
Container mtusi-lab2-clean-postgres-1 Healthy
Container mtusi-lab2-clean-valkey-1 Healthy
$ docker compose ps
SERVICE IMAGE STATUS
api mtusi-messenger:lab2 Up 6 seconds (healthy)
postgres postgres:18.6-bookworm@sha256:afc7e2d441324c0388fa80c3d24f733b4194a4eb7f47dd8ee2b08eb1a24a647c Up 13 seconds (healthy)
valkey valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571 Up 13 seconds (healthy)
$ docker compose logs migrate
migrate: 0001_init: applied
migrate: done, 1 migration file(s) checked
$ docker compose volume ls
mtusi-lab2-clean_pgdata
mtusi-lab2-clean_valkeydata
$ curl -i http://127.0.0.1:8081/health/ready
HTTP/1.1 200 OK
x-request-id: 38be4c9665124450b66c5d9218c596d9
{"status":"ok"}
$ docker compose exec api id; PID 1
uid=10001(app) gid=10001(app) groups=10001(app)
PID 1: python -m messenger
$ docker compose run --rm migrate # second run: idempotent
migrate: 0001_init: already applied, skipped
migrate: done, 1 migration file(s) checked
$ git status --short # secrets/.env must not be tracked
secrets/database_url
.env
+63
View File
@@ -0,0 +1,63 @@
$ python scripts/explain_history.py --output evidence/explain-history.txt
messages_total | messages_in_target_chat
----------------+-------------------------
50146 | 20000
(1 row)
=== 1. first page, app query HISTORY_FIRST, generic plan
QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=0.41..122.63 rows=119 width=55) (actual time=0.019..0.030 rows=51.00 loops=1)
Buffers: shared hit=4
-> Index Scan using messages_chat_keyset on messages (cost=0.41..1226.64 rows=1194 width=55) (actual time=0.017..0.025 rows=51.00 loops=1)
Index Cond: (chat_id = $1)
Index Searches: 1
Buffers: shared hit=4
Planning:
Buffers: shared hit=10
Planning Time: 0.157 ms
Execution Time: 0.067 ms
(10 rows)
=== 2. late page (cursor at 19950), app query HISTORY_AFTER, generic plan
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=0.41..59.95 rows=40 width=55) (actual time=0.022..0.036 rows=50.00 loops=1)
Buffers: shared hit=5
-> Index Scan using messages_chat_keyset on messages (cost=0.41..592.75 rows=398 width=55) (actual time=0.020..0.030 rows=50.00 loops=1)
Index Cond: ((chat_id = $1) AND (ROW(created_at, id) > ROW($2, $3)))
Index Searches: 1
Buffers: shared hit=5
Planning Time: 0.163 ms
Execution Time: 0.112 ms
(8 rows)
=== 3. REJECTED: one query with ($2 IS NULL OR ...), same late page, generic plan
QUERY PLAN
-----------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=0.41..123.02 rows=40 width=55) (actual time=3.242..3.257 rows=50.00 loops=1)
Buffers: shared hit=526
-> Index Scan using messages_chat_keyset on messages (cost=0.41..1232.61 rows=402 width=55) (actual time=3.239..3.251 rows=50.00 loops=1)
Index Cond: (chat_id = $1)
Filter: (($2 IS NULL) OR (ROW(created_at, id) > ROW($2, $3)))
Rows Removed by Filter: 19950
Index Searches: 1
Buffers: shared hit=526
Planning Time: 0.125 ms
Execution Time: 3.282 ms
(10 rows)
=== 4. REJECTED: OFFSET pagination, same late page
QUERY PLAN
---------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=122.63..244.84 rows=119 width=55) (actual time=4.404..4.418 rows=50.00 loops=1)
Buffers: shared hit=526
-> Index Scan using messages_chat_keyset on messages (cost=0.41..1226.64 rows=1194 width=55) (actual time=0.015..3.790 rows=20000.00 loops=1)
Index Cond: (chat_id = $1)
Index Searches: 1
Buffers: shared hit=526
Planning Time: 0.091 ms
Execution Time: 4.438 ms
(8 rows)
+22
View File
@@ -0,0 +1,22 @@
# api log checks after smoke + valkey pause + unicode/NUL + wrong password tests, 2026-10-12T17:15:19Z
lines in api log: 93
message texts sent by tests ('Привет, мир', 'Сообщение Боба', 'до отказа', 'hello', 'чужое') found: 0
test passwords ('Test-password', 'T3st-') found: 0
Authorization values (Bearer/Basic + credential) found: 0
postgres/valkey passwords found: 0
event types:
62 "event": "request"
8 "event": "user_created"
7 "event": "session_created"
3 "event": "session_store_unavailable"
3 "event": "login_failed"
3 "event": "chat_created"
1 "event": "starting"
1 "event": "session_revoked"
1 "event": "dependencies_configured"
sample lines:
{"ts": "2026-10-12T17:15:10.934Z", "level": "info", "logger": "messenger", "event": "login_failed", "request_id": "350860a9d9ef4ad4b7fd6a9be0964981"}
{"ts": "2026-10-12T17:15:10.963Z", "level": "info", "logger": "messenger", "event": "session_revoked", "request_id": "5e8711e330724ed2a09f734947793877"}
{"ts": "2026-10-12T17:15:13.849Z", "level": "warning", "logger": "messenger.sessions", "event": "session_store_unavailable", "error": "TimeoutError"}
{"ts": "2026-10-12T17:15:13.850Z", "level": "info", "logger": "messenger.access", "event": "request", "request_id": "14fd3d975da3447e855d860eec8b1832", "method": "GET", "path": "/api/v1/users/me", "status": 503, "duration_ms": 501.281}
{"ts": "2026-10-12T17:15:14.354Z", "level": "info", "logger": "messenger.access", "event": "request", "request_id": "e2ddf53f97a1403fbb635d94d52ea9ad", "method": "GET", "path": "/api/v1/chats/3d96c3ee-a9c8-46eb-b8fe-7f12ba8ec2f0/messages", "status": 503, "duration_ms": 503.088}
+4
View File
@@ -0,0 +1,4 @@
$ make check # python scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
$ make validate # (venv with requirements-dev.txt)
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+2
View File
@@ -0,0 +1,2 @@
$ make test BASE_URL=http://127.0.0.1:8081
PASS: lab2 public API scenario; infrastructure and grading evidence remain separate.
+20
View File
@@ -0,0 +1,20 @@
$ sh scripts/restart.sh # what the hook does (run by hand to see its output)
Container mtusi-lab2-clean-api-1 Stopping
Container mtusi-lab2-clean-api-1 Stopped
Container mtusi-lab2-clean-postgres-1 Restarting
Container mtusi-lab2-clean-valkey-1 Restarting
Container mtusi-lab2-clean-valkey-1 Started
Container mtusi-lab2-clean-postgres-1 Started
Container mtusi-lab2-clean-postgres-1 Waiting
Container mtusi-lab2-clean-postgres-1 Healthy
Container mtusi-lab2-clean-migrate-1 Starting
Container mtusi-lab2-clean-migrate-1 Started
Container mtusi-lab2-clean-postgres-1 Waiting
Container mtusi-lab2-clean-valkey-1 Waiting
Container mtusi-lab2-clean-migrate-1 Waiting
Container mtusi-lab2-clean-valkey-1 Healthy
Container mtusi-lab2-clean-postgres-1 Healthy
Container mtusi-lab2-clean-migrate-1 Exited
Container mtusi-lab2-clean-api-1 Starting
Container mtusi-lab2-clean-api-1 Started
restart.sh: api, postgres and valkey restarted with volumes preserved
+8
View File
@@ -0,0 +1,8 @@
# SIGTERM (docker compose stop = SIGTERM, then SIGKILL after stop_grace_period 10s)
run 1: docker compose stop api -> 1195 ms, exit code 0, OOMKilled=false
run 2: docker compose stop api -> 1089 ms, exit code 0, OOMKilled=false
run 3: docker compose stop api -> 1098 ms, exit code 0, OOMKilled=false
last shutdown log lines:
{"ts": "2026-10-12T17:16:17.419Z", "level": "info", "logger": "messenger", "event": "shutdown_requested", "signal": 15, "timeout_s": 8.0}
{"ts": "2026-10-12T17:16:17.541Z", "level": "info", "logger": "uvicorn.error", "event": "Finished server process [1]"}
{"ts": "2026-10-12T17:16:17.542Z", "level": "info", "logger": "messenger", "event": "stopped"}
+117
View File
@@ -0,0 +1,117 @@
$ BASE_URL=http://127.0.0.1:8081 python -m pytest student-tests -v # stand from the clean clone
============================= test session starts =============================
platform win32 -- Python 3.14.6, pytest-9.1.1, pluggy-1.6.0 -- <repo>/.venv/Scripts/python.exe
rootdir: <clean clone of the repo>
plugins: anyio-4.15.1
collecting ... collected 108 items
student-tests/test_api.py::test_register_never_returns_password_and_login_returns_bearer PASSED
student-tests/test_api.py::test_duplicate_username_is_409 PASSED
student-tests/test_api.py::test_bad_password_on_registration_is_400[short-11ch] PASSED
student-tests/test_api.py::test_bad_password_on_registration_is_400[ ] PASSED
student-tests/test_api.py::test_bad_password_on_registration_is_400[ \t \n \t \n \t \n ] PASSED
student-tests/test_api.py::test_bad_password_on_registration_is_400[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED
student-tests/test_api.py::test_edge_passwords_register_and_login[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED
student-tests/test_api.py::test_edge_passwords_register_and_login[with:colons:inside] PASSED
student-tests/test_api.py::test_edge_passwords_register_and_login[Twelve chars] PASSED
student-tests/test_api.py::test_wrong_password_and_unknown_user_give_the_same_401 PASSED
student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic \xe9] PASSED
student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic !!!] PASSED
student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic bm9fY29sb24=] PASSED
student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic //46eA==] PASSED
student-tests/test_api.py::test_malformed_basic_is_401_not_500[Bearer aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa] PASSED
student-tests/test_api.py::test_malformed_basic_is_401_not_500[] PASSED
student-tests/test_api.py::test_logout_revokes_only_this_token PASSED
student-tests/test_api.py::test_x_user_id_basic_and_garbage_do_not_authenticate PASSED
student-tests/test_api.py::test_malformed_json_is_400[{] PASSED
student-tests/test_api.py::test_malformed_json_is_400[] PASSED
student-tests/test_api.py::test_malformed_json_is_400[[]] PASSED
student-tests/test_api.py::test_malformed_json_is_400[null] PASSED
student-tests/test_api.py::test_malformed_json_is_400[{"username": "abc_def", "display_name": NaN, "password": "Twelve-chars"}] PASSED
student-tests/test_api.py::test_malformed_json_is_400[{"username": "abc_def", "display_name": "x", "password": "Twelve-chars"}{"a": 1}] PASSED
student-tests/test_api.py::test_malformed_json_is_400[{"username": "abc_def", "display_name": "\ud800", "password": "Twelve-chars"}] PASSED
student-tests/test_api.py::test_invalid_registration_fields_are_400[body0] PASSED
student-tests/test_api.py::test_invalid_registration_fields_are_400[body1] PASSED
student-tests/test_api.py::test_invalid_registration_fields_are_400[body2] PASSED
student-tests/test_api.py::test_invalid_registration_fields_are_400[body3] PASSED
student-tests/test_api.py::test_invalid_registration_fields_are_400[body4] PASSED
student-tests/test_api.py::test_invalid_registration_fields_are_400[body5] PASSED
student-tests/test_api.py::test_unicode_limits_are_code_points_and_nul_is_stored PASSED
student-tests/test_api.py::test_oversized_body_and_wrong_content_type PASSED
student-tests/test_api.py::test_chat_validation PASSED
student-tests/test_api.py::test_foreign_chat_is_indistinguishable_from_missing PASSED
student-tests/test_api.py::test_chat_list_order_pagination_and_isolation PASSED
student-tests/test_api.py::test_history_pages_without_loss_or_duplicates PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=0] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=101] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=abc] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=1&limit=2] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=garbage] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=djF8bXx4fDF8Mg] PASSED
student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=djF8bXx4fDk5OTk5OTk5OTk5OTk5OTk5OTk5fHk=] PASSED
student-tests/test_api.py::test_cursor_bound_to_chat PASSED
student-tests/test_api.py::test_read_after_write PASSED
student-tests/test_db.py::test_registration_race_exactly_one_201_and_seven_409 PASSED
student-tests/test_db.py::test_create_chat_rolls_back_after_the_chat_row_was_inserted PASSED
student-tests/test_db.py::test_migrations_rerun_is_a_noop PASSED
student-tests/test_db.py::test_100_messages_from_10_clients_keep_order_and_cursor_walk PASSED
student-tests/test_db.py::test_secrets_are_not_stored_in_plain_text PASSED
student-tests/test_explain.py::test_late_page_uses_index_range_not_filter PASSED
student-tests/test_failures.py::test_valkey_failure[stop] PASSED
student-tests/test_failures.py::test_valkey_failure[pause] PASSED
student-tests/test_failures.py::test_postgres_failure[stop] PASSED
student-tests/test_failures.py::test_postgres_failure[pause] PASSED
student-tests/test_failures.py::test_locked_table_gives_bounded_503 PASSED
student-tests/test_failures.py::test_logout_during_valkey_outage_is_never_lost PASSED
student-tests/test_sessions.py::test_short_ttl_expires[valkey] PASSED
student-tests/test_sessions.py::test_short_ttl_expires[postgres] PASSED
student-tests/test_sessions.py::test_restart_does_not_extend_ttl PASSED
student-tests/test_sessions.py::test_postgres_session_store PASSED
student-tests/unit/test_unit.py::test_valid_passwords[Twelve-chars] PASSED
student-tests/unit/test_unit.py::test_valid_passwords[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED
student-tests/unit/test_unit.py::test_valid_passwords[\u043f\u0430\u0440\u043e\u043b\u044c:\u0441:\u0434\u0432\u043e\u0435\u0442\u043e\u0447\u0438\u044f\u043c\u0438] PASSED
student-tests/unit/test_unit.py::test_valid_passwords[\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600] PASSED
student-tests/unit/test_unit.py::test_valid_passwords[a b c d e f g] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[short-11ch] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[ ] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[\t\n\u3000\t\n\u3000\t\n\u3000\t\n\u3000\t\n\u3000] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[None] PASSED
student-tests/unit/test_unit.py::test_invalid_passwords[123456789012] PASSED
student-tests/unit/test_unit.py::test_text_may_contain_nul_but_not_lone_surrogates PASSED
student-tests/unit/test_unit.py::test_cursor_roundtrip_and_binding PASSED
student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|253402300800000000|11111111-1111-4111-8111-111111111111] PASSED
student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|9999999999999999999|11111111-1111-4111-8111-111111111111] PASSED
student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|-1|11111111-1111-4111-8111-111111111111] PASSED
student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|1|not-a-uuid] PASSED
student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|1|11111111-1111-4111-8111-11111111111G] PASSED
student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v2|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|1|11111111-1111-4111-8111-111111111111] PASSED
student-tests/unit/test_unit.py::test_time_helpers_are_exact PASSED
student-tests/unit/test_unit.py::test_basic_is_parsed_and_password_may_contain_colons PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[None] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic \xe9] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic !!!!] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic bm8tY29sb24=] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic //46cHc=] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic OnBhc3N3b3Jk] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic YWxpY2U6] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic 0JDQu9C40YHQsDpwdw==] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Bearer aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa] PASSED
student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[None] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer short] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa!] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Basic YWxpY2U6cGFzc3dvcmQtMTIz] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Token aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa] PASSED
student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer \xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9] PASSED
student-tests/unit/test_unit.py::test_bearer_ok PASSED
student-tests/unit/test_unit.py::test_argon2id_hash_and_verify PASSED
student-tests/unit/test_unit.py::test_settings_read_secret_files_and_contract_names PASSED
======================= 108 passed in 208.53s (0:03:28) =======================
+24
View File
@@ -0,0 +1,24 @@
# Same persistence test with SESSION_STORE=postgres (sessions in table sessions)
$ SESSION_STORE=postgres docker compose up -d --wait api
Container mtusi-lab2-clean-api-1 Healthy
Container mtusi-lab2-clean-api-1 Recreated
Container mtusi-lab2-clean-postgres-1 Healthy
Container mtusi-lab2-clean-valkey-1 Healthy
api env SESSION_STORE=postgres
containers BEFORE:
api StartedAt=2026-10-12T17:10:11.785377847Z
postgres StartedAt=2026-10-12T17:09:31.655693328Z
valkey StartedAt=2026-10-12T17:09:31.612351204Z
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
containers AFTER:
api StartedAt=2026-10-12T17:10:30.772464788Z
postgres StartedAt=2026-10-12T17:10:23.581636896Z
valkey StartedAt=2026-10-12T17:10:23.504892649Z
sessions rows in PostgreSQL: 3
$ docker compose up -d --wait api # back to the default SESSION_STORE=valkey
Container mtusi-lab2-clean-api-1 Healthy
Container mtusi-lab2-clean-postgres-1 Healthy
Container mtusi-lab2-clean-valkey-1 Healthy
api env SESSION_STORE=valkey
+14
View File
@@ -0,0 +1,14 @@
# make test-persistence ACTION_SCRIPT=scripts/restart.sh (Windows: scripts/restart.cmd runs the same restart.sh via Git Bash)
containers BEFORE:
api StartedAt=2026-10-12T17:09:00.366421789Z
postgres StartedAt=2026-10-12T17:08:53.162313311Z
valkey StartedAt=2026-10-12T17:08:53.503522499Z
$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8081
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
containers AFTER (all three restarted, volumes kept):
api StartedAt=2026-10-12T17:09:38.831312693Z
postgres StartedAt=2026-10-12T17:09:31.655693328Z
valkey StartedAt=2026-10-12T17:09:31.612351204Z
mtusi-lab2-clean_pgdata
mtusi-lab2-clean_valkeydata
+5
View File
@@ -0,0 +1,5 @@
variant,rows,table_bytes,pkey_bytes,secondary_index_bytes,secondary_bytes_per_row,index_build_seconds
keyset_index,121120,35037184,4808704,7159808,59.1,0.3
chat_id_index,121120,35037184,4808704,876544,7.2,0.3
no_index,121120,35037184,4808704,0,0.0,0.0
keyset_plus_sender,121120,35037184,4808704,10240000,84.5,0.59
1 variant rows table_bytes pkey_bytes secondary_index_bytes secondary_bytes_per_row index_build_seconds
2 keyset_index 121120 35037184 4808704 7159808 59.1 0.3
3 chat_id_index 121120 35037184 4808704 876544 7.2 0.3
4 no_index 121120 35037184 4808704 0 0.0 0.0
5 keyset_plus_sender 121120 35037184 4808704 10240000 84.5 0.59
+6 -4
View File
@@ -27,8 +27,10 @@
TPS и задержка — медиана 5 повторов по 10 с, 8 клиентов. WAL — медиана 3 детерминированных прогонов: 5 000 транзакций, 1 клиент, autovacuum выключен, CHECKPOINT перед прогоном.
| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Размер индексов, МиБ |
| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Доп. индексы на 121 120 строк, МиБ |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| no_index | 1 954 (1 540–2 055) | 3.55 | 7.14 | 12.2 | 1930 (1884–1940) | 4.6 |
| keyset_index | 1 577 (1 002–1 630) | 4.73 | 8.50 | 13.0 | 2910 (2800–2926) | 24.0 |
| keyset_plus_sender | 1 223 (896–1 607) | 6.25 | 9.30 | 13.9 | 3318 (3310–3414) | 46.6 |
| no_index | 1 954 (1 540–2 055) | 3.55 | 7.14 | 12.2 | 1930 (1884–1940) | 0.0 |
| keyset_index | 1 577 (1 002–1 630) | 4.73 | 8.50 | 13.0 | 2910 (2800–2926) | 6.8 |
| keyset_plus_sender | 1 223 (896–1 607) | 6.25 | 9.30 | 13.9 | 3318 (3310–3414) | 9.8 |
Размеры индексов измерены отдельно на одинаковых 121 120 строках (bench/track2/index_sizes.py); первичный ключ во всех вариантах — 4.6 МиБ, таблица — 33.4 МиБ.