diff --git a/REPORT.md b/REPORT.md index e42f2b0..d6f0b8d 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,259 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO -- Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Автор, группа: Боданюк Алексей, БВТ2302 +- Целевая оценка: **5**, трек 2 «План запроса и восстановление» +- Ветка: `solution/bvt2302-bodanyuk`. Форк: ``. PR: «ЛР 2 — БВТ2302 — Боданюк — на 5» в mtusi2026/mtusi2026lab2 +- Стек: Python 3.13.16, Starlette 1.7.0, uvicorn 0.54.0, psycopg 3.3.6 + psycopg-pool 3.3.3, redis-py 8.1.0 (протокол Valkey), argon2-cffi 25.1.0; PostgreSQL 18.6, Valkey 8.1.3. Все образы закреплены по тегу и digest, все Python-пакеты — по хешам ([requirements.txt](requirements.txt)) +- Источники: README, COURSE, контракт ([openapi.json](contracts/openapi.json), [семантика](contracts/README.md)), документация PostgreSQL (transactions, EXPLAIN, pg_dump/pg_restore, pgbench), Valkey persistence, RFC 7617, OWASP Password Storage Cheat Sheet (параметры Argon2id). Учтены замечания преподавателя к PR других студентов этого репозитория (см. раздел «Проверки, на которых ловили другие работы») +- Помощь ИИ: код, тесты, скрипты эксперимента и черновик отчёта написаны с помощью ИИ-ассистента Claude Code (Anthropic). Все команды и замеры реально выполнены на стенде ниже, их вывод лежит в [evidence/](evidence/). Пояснения для защиты — [docs/DEFENSE.md](docs/DEFENSE.md) ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Git, Docker с Compose v2 (проверено: Docker 29.8.0, Compose 5.5.1) и Python 3.9+ (secrets, публичные тесты). Для своих тестов нужен venv. Учётные данные не хранятся в Git: их создаёт скрипт. + +```sh +git clone mtusi2026lab2 && cd mtusi2026lab2 && git checkout solution/bvt2302-bodanyuk +python3 scripts/init_secrets.py # случайные локальные пароли -> ./secrets (git-ignored), идемпотентно +cp .env.example .env # необязательно: значения по умолчанию заданы в compose.yaml +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait # postgres+valkey healthy -> migrate -> api healthy +curl -i http://127.0.0.1:8080/health/ready # 200 {"status":"ok"}; Swagger: http://127.0.0.1:8080/docs +make check && make test +make test-persistence ACTION_SCRIPT=scripts/restart.sh +``` + +- **Миграции:** выполняет одноразовый сервис `migrate` (`python -m messenger.migrate`) перед стартом `api`. Повторный запуск: `docker compose run --rm migrate` → `0001_init: already applied, skipped`. +- **Свои тесты:** `python3 -m venv .venv`, затем `pip install --require-hashes --no-deps -r requirements.txt` и `pip install -r requirements-test.txt`, затем `make student-test`. Все тесты — около 3,5 мин. Те, что не требуют стенда: `make unit-test`. +- **Windows без make:** цели Makefile — однострочные команды. Перед публичными тестами нужно `$env:PYTHONUTF8=1`. Hook сохранности на Windows — `scripts/restart.cmd`: он запускает тот же `restart.sh` через Git Bash, потому что Windows не исполняет `.sh` напрямую. +- **Остановка:** безопасно — `docker compose down` (volumes сохраняются). Намеренное удаление учебных данных — `docker compose down -v` и `rm -rf secrets`. После этого стенд поднимается с нуля той же последовательностью. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +```text +клиент ──HTTP──> api (uvicorn+Starlette, 1 процесс, пользователь app, PID 1) + ├─ PostgreSQL 18.6 — источник истины: users, chats, chat_members, messages (volume pgdata) + └─ Valkey 8.1.3 — единственное хранилище сессий, AOF appendfsync always (volume valkeydata) +migrate (одноразовый) ──> PostgreSQL: версионированные SQL-миграции, advisory lock, checksum +``` + +| Роль | Service | Образ | Health / readiness | Volume | Сеть / порт | Credentials | +| --- | --- | --- | --- | --- | --- | --- | +| API | `api` | `mtusi-messenger:lab2` (собирается из исходников) | `HEALTHCHECK` → `/health/ready` | — | `127.0.0.1:8080→8080` | secrets `database_url`, `cache_url` | +| БД | `postgres` | `postgres:18.6-bookworm@sha256:afc7e2d4…` | `pg_isready` | `pgdata` | только внутренняя | secret `postgres_password` | +| Сессии | `valkey` | `valkey/valkey:8.1.3-bookworm@sha256:fea8b3e6…` | `valkey-cli ping` | `valkeydata` | только внутренняя | secret `valkey_password` → include-файл конфига (не в аргументах процесса) | +| Миграции | `migrate` | тот же образ API | завершение с кодом 0 | — | внутренняя | secret `database_url` | + +- **Модель данных и транзакции** — [docs/DATA_MODEL.md](docs/DATA_MODEL.md), схема — [migrations/0001_init.sql](migrations/0001_init.sql). + - PK, FK (в том числе `messages (chat_id, sender_id) → chat_members`: отправитель обязан быть участником), `UNIQUE (username)`, CHECK. + - Свободный текст хранится в `bytea`, потому что контракт разрешает U+0000, а `text` в PostgreSQL его не хранит. +- **Создание чата** — одна транзакция: `INSERT chats` → `INSERT chat_members` из `unnest(member_ids)`. Неизвестный участник ломает второй INSERT по FK, и откатывается всё, включая уже вставленный чат. +- **Порядок сообщений.** `UPDATE chats SET last_message_at = greatest(clock_timestamp(), last_message_at + 1 мкс) … RETURNING` блокирует строку чата до COMMIT. Поэтому писатели одного чата идут по очереди, а время строго растёт в порядке коммитов. Это перенос инварианта lab1 («время назначается под замком») в БД. +- **Пагинация** — тот же keyset-cursor, что в lab1, но в SQL: `(created_at, id) > ($2,$3)` по индексу `(chat_id, created_at, id)`. Запросов два — первая страница и после cursor, без `IS NULL OR`. Cursor проверяет диапазон времени (до 9999 года): дата вне диапазона даёт 400, а не 500. +- **Аутентификация** ([authhdr.py](src/messenger/authhdr.py), [sessions.py](src/messenger/sessions.py), [passwords.py](src/messenger/passwords.py)): + - `Basic` принимается только на `POST /auth/sessions`. Любой битый заголовок (не base64, не UTF-8, без `:`) даёт 401, пароль может содержать `:`; + - пароль: 12–128 code points, не из одних пробелов; Argon2id (m=19 MiB, t=2, p=1) считается в отдельном потоке с ограничением параллельности 2; + - неизвестный пользователь проверяется против фиктивного хеша: время и ответ такие же, как при неверном пароле; + - токен — `token_urlsafe(32)` (256 бит), хранится только SHA-256 токена; + - `X-User-Id` и `Basic` на бизнес-endpoint дают 401 с `WWW-Authenticate: Bearer realm="messenger"`. +- **Сессии — роль Valkey (уровень 4).** Источник истины для сессий — Valkey, и это **не** кэш над PostgreSQL. Значение ключа — `{user_id, expires_at}`, срок — абсолютный `PXAT`. + - **Expiry:** `expires_at` проверяется при каждом чтении; рестарт срок не продлевает. + - **Инвалидация:** logout = `DEL`. + - **Persistence:** `appendonly yes`, `appendfsync always`, `maxmemory-policy noeviction` — подтверждённые вход и logout переживают рестарт и падение, а сессии не вытесняются молча. + - **Отказ Valkey:** проверить сессию нельзя → 503 на защищённые запросы и на logout; анонимный доступ никогда не открывается. + + Копия одна, поэтому нет сценария «logout потерялся в кэше и токен ожил». Переменная `SESSION_STORE=postgres` переключает сессии на таблицу `sessions` (проверено тестами и hook сохранности). +- **Ограничения ресурсов** ([db.py](src/messenger/db.py)): + - пул psycopg: min 1, max 10, ожидание соединения ≤ 3 с; + - сервер: `statement_timeout` = 2,5 с, `lock_timeout` = 1,25 с, `idle_in_transaction_session_timeout` = 10 с; + - клиентский дедлайн 3 с. Он работает в отдельной задаче: при замороженном PostgreSQL (`docker pause`) psycopg после отмены ещё до 10 с ждёт ответа на cancel. Без этого ответ приходил через 13 с, с этим — через 3,0 с; + - Valkey: таймауты сокета 0,5 с, без скрытых повторов; + - все отказы зависимостей → 503 `unavailable`. +- **Readiness** — 200, только если отвечают PostgreSQL и Valkey (обе зависимости критичны для обязательного пути). Liveness — только жизнь процесса. +- **Из lab1 перенесено** без изменений: формат ошибок и `X-Request-Id`, строгая валидация JSON (лишние поля, типы, NaN, суррогаты, склеенные объекты), JSON-логи без тел и текстов, graceful SIGTERM (≤ 8 с, readiness 503), Swagger. **Изменено:** хранилище, идентификация, cursor — с проверкой диапазона. Перенос сделан отдельным коммитом `893beaa`. + +Соответствие `.env.example` реальной конфигурации ([config.py](src/messenger/config.py), [compose.yaml](compose.yaml)): + +| Переменная | Значение | Где используется | +| --- | --- | --- | +| `APP_HOST`, `APP_PORT`, `APP_ENV` | `0.0.0.0`, `8080`, `lab` | bind uvicorn, стартовый лог | +| `SESSION_TTL_SECONDS` | `3600` | срок сессии; compose передаёт его в контейнер (проверено `printenv` в тесте TTL=2) | +| `DATABASE_URL_FILE` | `/run/secrets/database_url` | строка подключения из secret-файла | +| `SESSION_STORE` | `valkey` (или `postgres`; `redis` — синоним `valkey`) | выбор хранилища сессий | +| `CACHE_URL_FILE` | `/run/secrets/cache_url` | адрес и пароль Valkey из secret-файла | +| `DB_POOL_MIN/MAX`, `DB_TIMEOUT_SECONDS`, `CACHE_TIMEOUT_SECONDS`, `PASSWORD_HASH_CONCURRENCY` | 1/10, 3, 0.5, 2 | пул и таймауты, параллельность Argon2id | +| `LOG_LEVEL`, `DOCS_ENABLED`, `APP_PUBLISH_PORT` | `info`, `true`, `8080` | логи, Swagger, порт на хосте (только `127.0.0.1`) | ## Доказательства критериев -| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | -| --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +Стенд: Windows 10 22H2, AMD Ryzen 5 3400G (4 ядра / 8 потоков), 16 ГБ RAM, Docker Desktop 29.8.0 (WSL2), дата 2026-10-12. Все проверки уровней 3 и 4 ниже выполнены на стенде, поднятом **из чистого clone** с пустыми volumes (отдельный compose-проект на порту 8081). -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Критерий README | Команда / сценарий | Наблюдаемый результат | Файл | +| --- | --- | --- | --- | +| Чистый clone, secrets, миграции с нуля | `init_secrets.py`, `compose up --build --wait`, `compose logs migrate`, повтор `run migrate` | все сервисы healthy; `0001_init: applied`, повтор — `already applied, skipped`; uid 10001, PID 1; `secrets/` и `.env` игнорируются Git | [clean-clone.txt](evidence/clean-clone.txt) | +| Контракт | `make check`, `make validate` | PASS, PASS | [make-check-validate.txt](evidence/make-check-validate.txt) | +| **3:** публичный smoke | `make test` | `PASS: lab2 public API scenario` | [make-test.txt](evidence/make-test.txt) | +| **3:** данные и сессии переживают рестарт API и хранилищ | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; `StartedAt` api, postgres, valkey изменились, volumes те же | [test-persistence-valkey.txt](evidence/test-persistence-valkey.txt), [restart-hook-output.txt](evidence/restart-hook-output.txt) | +| то же для `SESSION_STORE=postgres` | тот же тест после `SESSION_STORE=postgres compose up -d api` | PASS, сессии в таблице `sessions` | [test-persistence-postgres.txt](evidence/test-persistence-postgres.txt) | +| **3:** PK/FK, unique username, миграции с нуля | [0001_init.sql](migrations/0001_init.sql), `test_migrations_rerun_is_a_noop` | схема применяется к пустому volume; повтор ничего не меняет | [student-tests.txt](evidence/student-tests.txt) | +| **3:** атомарное создание чата | `test_create_chat_rolls_back_after_the_chat_row_was_inserted` | `n_tup_ins` таблицы `chats` вырос (INSERT был), строки нет, членство не изменилось | там же | +| **3:** Basic только на входе, Bearer, expiry, отзыв, `X-User-Id` не даёт доступ, KDF | `test_api.py` (18 проверок аутентификации), `test_short_ttl_expires`, `test_secrets_are_not_stored_in_plain_text` | 401 с нужным challenge; logout → 401; TTL=2 → 401; хеш `$argon2id$v=19$m=19456,t=2,p=1$`; в Valkey только `session:` | там же | +| **3:** secrets и volumes не в Git | `git check-ignore secrets/database_url .env` | оба игнорируются; в отчёте и evidence нет паролей и токенов | [clean-clone.txt](evidence/clean-clone.txt), [logs-check.txt](evidence/logs-check.txt) | +| **4:** Valkey реально хранит сессии с TTL и persistence | `test_logout_during_valkey_outage_is_never_lost`, `test_restart_does_not_extend_ttl`, persistence-тест | сессии переживают рестарт Valkey; TTL не продлевается; отозванный токен остаётся 401 после рестарта Valkey и API (10 проверок GET и POST) | [student-tests.txt](evidence/student-tests.txt) | +| **4:** параметризованные запросы, ограниченный пул, таймауты | [repo.py](src/messenger/repo.py) (`%s`), [db.py](src/messenger/db.py) | max 10 соединений; пауза PostgreSQL → 503 за 3,0 с; Valkey → 0,5 с | `test_postgres_failure[pause]`, `test_valkey_failure[pause]` | +| **4:** гонка регистрации | `test_registration_race_exactly_one_201_and_seven_409` | 8 одновременных → ровно `[201] + [409]×7` (сравниваются HTTP-коды), в БД 1 строка | [student-tests.txt](evidence/student-tests.txt) | +| **4:** rollback составной операции | см. «атомарное создание чата» | откат **после** первого INSERT | там же | +| **4:** индекс истории и EXPLAIN на ≥ 10 000 | `make explain`, `test_late_page_uses_index_range_not_filter` | 50 189 сообщений, 20 000 в чате; поздняя страница при generic plan: `Index Cond: … ROW(created_at, id) > ROW($2, $3)`, 5 буферов, 0,11 мс; вариант с `IS NULL OR` — `Rows Removed by Filter: 19950`, 526 буферов, 3,3 мс; OFFSET — 526 буферов, 4,4 мс | [explain-history.txt](evidence/explain-history.txt) | +| **4:** expiry, logout, неверный пароль | `test_short_ttl_expires[valkey/postgres]`, `test_logout_revokes_only_this_token`, `test_wrong_password_and_unknown_user_give_the_same_401` | 401 после `expires_at`; logout отзывает только этот токен; неверный пароль и неизвестный пользователь — одинаковый 401 | [student-tests.txt](evidence/student-tests.txt) | +| **4:** недоступность Redis/БД, аноним не доверенный | `test_failures.py`: stop/pause Valkey и PostgreSQL с **действующим** токеном, `LOCK TABLE`, восстановление в `finally` | 503 в пределах дедлайна; аноним — 401; readiness 503; после восстановления тот же токен и данные на месте | там же | +| Логи без секретов и текстов | grep по логу api после трафика | 0 текстов сообщений, паролей, токенов, паролей БД; события `login_failed`, `session_store_unavailable`, access-строки | [logs-check.txt](evidence/logs-check.txt) | +| SIGTERM сохранён из lab1 | `docker compose stop api` × 3 | 1,1–1,2 с, exit 0, без OOM | [sigterm.txt](evidence/sigterm.txt) | +| **5:** трек 2 | `bench/track2/*.py` | см. ниже | [evidence/track2/](evidence/track2/) | + +Итог своих тестов на стенде из чистого clone: **108 passed** (45 unit + 63 против стенда), 3 мин 28 с ([student-tests.txt](evidence/student-tests.txt)). + +### Проверки, на которых ловили другие работы, и наш результат + +| Замечание к чужим PR | У нас | Где проверено | +| --- | --- | --- | +| logout при упавшем Redis → после восстановления токен снова 200 | logout при упавшем Valkey = 503 (ничего не отозвано, клиент это видит). После восстановления logout → 401, и 401 сохраняется после рестарта Valkey и API | `test_logout_during_valkey_outage_is_never_lost` | +| истёкшая сессия принимается из кэша | expiry проверяется при каждом чтении; ключ живёт до абсолютного `PXAT` | `test_short_ttl_expires` | +| пауза PostgreSQL → запрос висит 8+ с; ограничено ожидание пула, но не SQL | клиентский дедлайн в отдельной задаче + `statement_timeout` / `lock_timeout` | `test_postgres_failure[pause]`, `test_locked_table_gives_bounded_503` | +| отказ БД маскируется под 401 | 503 `unavailable` для действующего токена, в обоих режимах сессий | `test_postgres_failure`, `test_postgres_session_store` | +| cursor в `Filter` при generic plan | два отдельных запроса | `test_explain.py` | +| `{"text":"hello\u0000world"}` → 500 | 201, текст сохраняется и читается побайтно | `test_unicode_limits_are_code_points_and_nul_is_stored` | +| пароль из 12 пробелов принимается; `Basic é` → 500 | 400; 401 | `test_bad_password_on_registration_is_400`, `test_malformed_basic_is_401_not_500` | +| bcrypt и пароли длиной 73–128 символов → 500 | Argon2id без ограничения длины; 128 кириллических символов работают | `test_edge_passwords_register_and_login` | +| дата в cursor вне диапазона → 500 | 400 | `test_broken_cursors_are_400_not_500` | +| `SESSION_TTL_SECONDS` не доходит до контейнера | compose передаёт его, тест читает `printenv` в контейнере | `test_short_ttl_expires` | +| в инструкции нет создания secrets | `scripts/init_secrets.py` в первой команде | [clean-clone.txt](evidence/clean-clone.txt) | +| нет executable bit у `restart.sh` | `100755` в Git | `git ls-files -s scripts/restart.sh` | +| тесты отказов засчитывают любую ошибку | сравниваются конкретные коды и время, восстановление в `finally` | `test_failures.py` | + +## Трек 2. План запроса и восстановление + +### Гипотезы + +1. С индексом `(chat_id, created_at, id)` и keyset-запросом стоимость страницы почти не зависит от размера чата и позиции страницы. С индексом только по `(chat_id)` keyset-запросу приходится сортировать весь чат. OFFSET читает весь префикс до позиции. Без индекса читается вся таблица. +2. Каждый вторичный индекс удорожает запись: больше WAL и места, ниже пропускная способность. +3. `pg_dump` даёт согласованный снимок. Восстановление 100 000+ сообщений в новое хранилище занимает секунды, сверка сходится полностью, а граница потери данных — момент снимка. + +### Методика + +- **Изолированная БД** ([plans.py](bench/track2/plans.py)): отдельный контейнер `postgres:18.6` (тот же digest), `--cpus 2 --memory 2g`, настройки по умолчанию, без опубликованных портов. Схема — наши миграции. +- **Данные** — детерминированный seed: **121 120 сообщений в 200 чатах** неравномерно — 1 × 60 000, 2 × 15 000, 8 × 2 000, 189 × 80. Текст 10–380 байт. +- **Генератор:** pgbench (`-M prepared`, как у драйвера) в отдельном контейнере со своими 2 CPU. +- **Чтение:** одна страница `LIMIT 51` после **случайной** позиции чата (200 позиций по всей длине). Запрос keyset — это SQL приложения (`HISTORY_AFTER`), OFFSET — для сравнения. 4 клиента, прогрев 3 с, замер 10 с, 3 повтора. Индексы: `keyset_index` (наш), `chat_id_index`, `no_index` (только PK). +- **Запись:** транзакция сообщения приложения (`UPDATE chats … RETURNING` + `INSERT`) в случайный из 200 чатов. + - TPS и задержки: 8 клиентов, 5 повторов по 10 с. + - WAL: детерминированно — 5 000 транзакций в 1 клиент, autovacuum таблицы выключен, `CHECKPOINT` перед прогоном, 3 повтора. Первые замеры WAL под 8 клиентами давали разброс в 2 раза из-за checkpoint и autovacuum посреди прогона, поэтому методика заменена. + - Индексы: без вторичных, наш, наш + `(sender_id, created_at)`. +- **Размер индексов** — отдельно на одинаковых 121 120 строках ([index_sizes.py](bench/track2/index_sizes.py)). +- **Backup/restore** ([backup_restore.py](bench/track2/backup_restore.py)) на **живой БД стенда**: к данным стенда добавлены те же 121 120 сообщений, всего 171 410–171 898. Во время дампа писатель отправляет сообщения через API (~40/с). + - `pg_dump -Fc -Z 6` → новый контейнер PostgreSQL с **новым volume** → `pg_restore -j 2` → `ANALYZE` → сверка. + - Сверка: количество строк по таблицам, MD5 всех сообщений (`id | created_at | text`) **каждого** чата, первые и последние 50 сообщений самого большого чата, `schema_migrations`, список индексов. Сообщения писателя в копии должны быть **точным префиксом** подтверждённых. + - Затем наш образ API запускается на восстановленной БД: вход по старому паролю и чтение чата писателя через API. + - 3 раунда. + +```sh +python bench/track2/plans.py # чтение и запись (~25 мин) +python bench/track2/plans.py --writes-only # только запись (~6 мин) +python bench/track2/index_sizes.py # размеры индексов +python bench/track2/backup_restore.py --repeats 3 +pip install -r requirements-bench.txt && python bench/track2/summarize.py # summary.md + plans.png +``` + +### Результаты: чтение одной страницы + +Медиана 3 повторов; в скобках — min–max TPS между повторами. Полная таблица — [summary.md](evidence/track2/summary.md), сырые данные — [reads.csv](evidence/track2/reads.csv). + +| Индекс | Запрос | Чат | TPS | p50, мс | p95, мс | p99, мс | +| --- | --- | ---: | ---: | ---: | ---: | ---: | +| **(chat_id, created_at, id)** | **keyset** | 60 000 | **2 655** (2 402–3 486) | **0,81** | **2,28** | 32,8 | +| (chat_id, created_at, id) | keyset | 15 000 | 2 991 | 0,76 | 1,68 | 32,8 | +| (chat_id, created_at, id) | keyset | 80 | 4 018 | 0,58 | 1,69 | 11,9 | +| (chat_id, created_at, id) | OFFSET | 60 000 | 180 | 11,6 | 69,2 | 81,0 | +| (chat_id, created_at, id) | OFFSET | 15 000 | 791 | 2,53 | 43,9 | 52,6 | +| (chat_id) | keyset | 60 000 | 89,5 | 27,0 | 80,9 | 99,0 | +| (chat_id) | keyset | 15 000 | 362 | 5,64 | 55,7 | 59,4 | +| (chat_id) | OFFSET | 60 000 | 28,3 | 120 | 278 | 389 | +| только PK | keyset | 60 000 | 29,0 | 112 | 197 | 293 | +| только PK | keyset | 80 | 36,3 | 102 | 182 | 193 | + +![Трек 2](evidence/track2/plans.png) + +- **Наш индекс + keyset:** p50 и p95 почти не зависят от размера чата (0,6–0,8 мс и 1,7–2,3 мс от 80 до 60 000 сообщений). Узел плана `Index Scan … Index Cond: ((chat_id = $1) AND (ROW(created_at, id) > ROW($2, $3)))` читает ровно 51 строку ([explain/keyset_index-big-late-page.txt](evidence/track2/explain/keyset_index-big-late-page.txt)). +- **OFFSET с тем же индексом:** стоимость растёт с позицией. На чате в 60 000 TPS в 15 раз ниже, p95 в 30 раз выше: индекс читается с начала чата до смещения. +- **Индекс только по `chat_id`:** keyset-запрос вынужден взять все строки чата и сделать top-N sort. На 60 000 TPS в 30 раз ниже (89,5 против 2 655). На маленьких чатах (80) разницы нет — сортировать почти нечего. +- **Без индекса:** около 30 TPS на любом чате, потому что каждый запрос сканирует всю таблицу. Размер чата почти не влияет, влияет размер таблицы. +- **Почему p99 нашего варианта ~33 мс при p50 < 1 мс.** Это хвост стенда, а не плана: Docker Desktop в VM на Windows, CFS-квота `--cpus 2` и общий CPU с генератором. Тот же хвост виден на маленьком чате, где работы почти нет. В плане такого хвоста нет (`Execution Time` 0,1 мс). + +### Результаты: стоимость записи + +| Вторичные индексы messages | TPS (8 клиентов, min–max) | p50, мс | p95, мс | WAL на вставку, байт (min–max) | Размер вторичных индексов на 121 120 строк | +| --- | ---: | ---: | ---: | ---: | ---: | +| нет | 1 954 (1 540–2 055) | 3,55 | 7,14 | 1 930 (1 884–1 940) | 0 | +| (chat_id, created_at, id) — наш | 1 577 (1 002–1 630) | 4,73 | 8,50 | 2 910 (2 800–2 926) | 6,8 МиБ (59 байт/строку) | +| наш + (sender_id, created_at) | 1 223 (896–1 607) | 6,25 | 9,30 | 3 318 (3 310–3 414) | 9,8 МиБ (85 байт/строку) | + +- **WAL** — самая надёжная метрика (разброс 1–3%). Наш индекс добавляет **+51%** WAL на вставку, второй индекс — ещё +14%. WAL — это и запись на диск, и трафик репликации, и объём архива для PITR. +- **TPS** падает примерно на 19% и 37% (медианы), но разброс повторов большой (до ±30%), поэтому это тенденция, а не точная цифра. Транзакция также упирается в блокировку строки чата и fsync COMMIT, общие для всех вариантов. +- Индекс только по `chat_id` занимает 0,9 МиБ против 6,8 МиБ у нашего: B-tree PostgreSQL ≥ 13 дедуплицирует одинаковые ключи. Ради поздних страниц мы сознательно платим местом и записью. +- **Вывод:** наш единственный вторичный индекс окупается — чтение страницы большого чата в 30 раз дешевле альтернатив, а запись дорожает умеренно. Второй индекс без запроса, который им пользуется, — чистая потеря. + +### Результаты: backup → восстановление в новое хранилище → сверка + +| Раунд | Сообщений | Дамп, с | Размер дампа | Восстановление, с | ANALYZE, с | Сверка | Писатель: подтверждено / в копии / после снимка | API на восстановленной БД | +| ---: | ---: | ---: | ---: | ---: | ---: | --- | --- | --- | +| 1 | 171 410 | 1,47 | 5,1 МиБ | 2,21 | 0,57 | всё совпало (257 чатов) | 237 / 101 / 136 | вход ✓, история = копия ✓ | +| 2 | 171 655 | 1,70 | 5,1 МиБ | 1,90 | 0,49 | всё совпало (258 чатов) | 242 / 109 / 133 | ✓ | +| 3 | 171 898 | 1,40 | 5,1 МиБ | 1,76 | 0,49 | всё совпало (259 чатов) | 250 / 110 / 140 | ✓ | + +Данные — [backup.json](evidence/track2/backup.json). «Всё совпало» означает, что одновременно выполнено: +- MD5 сообщений каждого чата; +- первые и последние 50 сообщений чата в 60 000; +- число пользователей, чатов и участников; +- `schema_migrations` и список индексов; +- сообщения писателя в копии — **точный префикс** подтверждённых. + +### Время восстановления и границы потери данных + +- **Согласованность.** `pg_dump` работает в одной транзакции REPEATABLE READ, то есть это MVCC-снимок на момент старта дампа. В копии нет «рваного» состояния: сообщения писателя — непрерывный префикс без пропусков. Например, в раунде 1 последнее сообщение копии — 17:06:57.831, первое потерянное — 17:06:57.857, а записи шли всё время дампа. +- **RPO.** Теряется всё, что подтверждено **после старта снимка**: в эксперименте 133–140 сообщений за ~3,5 с (дамп плюс 2 с после него). В эксплуатации RPO равен интервалу между дампами: при ночном дампе — до 24 часов подтверждённых сообщений. Сессии в Valkey в этот бэкап не входят: после восстановления пользователи входят заново, что безопасно. +- **RTO на этих данных:** около 2,3–2,8 с = `pg_restore` (1,8–2,2 с, включая перестройку индексов) + `ANALYZE` (0,5 с), плюс переключение `DATABASE_URL` и старт API (~2 с). Время восстановления растёт линейно с объёмом данных и индексов. Дамп 5,1 МиБ на 172 000 сообщений — около 31 байта на сообщение после сжатия. +- **Как уменьшить RPO/RTO:** непрерывный архив WAL и PITR (pgBackRest или WAL-G) сокращают RPO до секунд и позволяют восстановить состояние на любой момент. Потоковая реплика сокращает RTO до времени переключения. Синхронная реплика — RPO≈0 ценой задержки COMMIT. Проверять восстановление нужно регулярно, как этот скрипт: копия, которую не восстанавливали, — ещё не копия. + +### Ограничения эксперимента + +- Данные синтетические: равномерное время сообщений, один отправитель на чат в seed. На реальном распределении селективность индексов другая. +- Настройки PostgreSQL по умолчанию; данные помещаются в `shared_buffers` и кэш ОС, поэтому замерено «тёплое» чтение. На холодном диске разница между вариантами будет больше. +- pgbench в режиме closed loop; один хост с Docker Desktop (VM WSL2) — хвосты p99 и TPS записи шумные (разброс указан). Повторов 3 и 5, без статистических тестов. +- Backup — логический (`pg_dump`) на небольшом объёме. Для больших баз нужны физические бэкапы с WAL. Valkey не входит в эксперимент восстановления: сессии одноразовые. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. - -| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | +| Воздействие | Что ожидаем | Что наблюдали | Восстановление / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `restart.sh`: stop api → restart postgres, valkey → start api | данные и тот же токен работают | PASS (оба режима сессий), все три `StartedAt` новые | ~11 с до готовности; потерь нет | +| `docker compose stop postgres` с действующим токеном | 503, аноним 401, readiness 503 | 503 < 3,6 с на `/users/me`, `/chats`, историю | после старта тот же токен и сообщение на месте | +| `docker pause postgres` | ограниченное время ответа | 503 через 3,0 с (до исправления — 13 с) | после unpause всё работает | +| `LOCK TABLE messages` на 6 с | быстрый отказ, а не ожидание | 503 < 3,6 с (`lock_timeout`) | после снятия блокировки 200 | +| stop или pause Valkey | 503, аноним 401 | 503 за 0,5 с | после старта прежние сессии действуют (AOF) | +| logout во время отказа Valkey | отзыв не теряется | 503 (не отозван) → после восстановления logout 204 → 401 и после рестарта Valkey и API | токен не «оживает» | +| `SESSION_TTL_SECONDS=2` | 401 после `expires_at` | 401 (Valkey и PostgreSQL) | — | +| TTL 12 с + рестарт Valkey и API | срок не продлевается | 200 до `expires_at`, 401 после | — | +| 8 одновременных регистраций одного имени | 1 × 201, 7 × 409 | ровно так, одна строка в БД | — | +| 10 клиентов × 10 сообщений | 100 уникальных, строгий порядок | 100, 15 страниц по 7, уникальное время | — | +| backup во время записи → restore в новое хранилище | согласованный снимок | префикс без пропусков, сверка 100% | RPO = момент снимка; RTO ≈ 2,5 с на 172 000 сообщений | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- **Выдерживается:** + - рестарт API и обоих хранилищ без потери подтверждённых данных и сессий; + - отказ или зависание PostgreSQL или Valkey без зависаний и без анонимного доступа; + - гонки регистрации и записи в один чат. +- **Не выдерживается:** + - потеря хоста или диска (один узел, нет реплик и архива WAL); + - отказ Valkey означает отказ всех защищённых запросов: это сознательная плата за отсутствие второй копии сессий. Повысить доступность можно репликой Valkey или `SESSION_STORE=postgres`. +- **Учебные упрощения:** HTTP без TLS (только локальный стенд с синтетическими данными); secret-файлы читаемы на хосте (0644, чтобы их могли прочитать пользователи контейнеров); один экземпляр API (реплики и балансировщик — lab3). +- **Список чатов при одновременном создании.** Он сортируется по `created_at` без глобального замка. Чат, закоммиченный «задним числом», может не попасть в уже идущий обход, но виден при новом. Для сообщений эта проблема закрыта блокировкой строки чата. +- **Подтверждено замерами:** выигрыш индекса и keyset, стоимость WAL, восстановление и сверка. **Гипотезы** (не проверялись): поведение на холодном диске и на данных в десятки ГБ; выигрыш PITR. diff --git a/bench/track2/index_sizes.py b/bench/track2/index_sizes.py new file mode 100644 index 0000000..5e2c0a0 --- /dev/null +++ b/bench/track2/index_sizes.py @@ -0,0 +1,42 @@ +#!/usr/bin/env python3 +"""Index sizes of every variant on the SAME 121 120-row dataset (no writes in between). + + python bench/track2/index_sizes.py # ~2 min, writes evidence/track2/index-sizes.csv +""" +from __future__ import annotations + +import csv +import sys +from pathlib import Path + +sys.path.insert(0, str(Path(__file__).parent)) +import plans # noqa: E402 (same image, limits, schema and deterministic seed) + + +def main() -> int: + plans.start_container("2", "2g") + try: + plans.psql("".join(p.read_text(encoding="utf-8") for p in sorted((plans.ROOT / "migrations").glob("*.sql")))) + plans.psql(plans.SEED) + rows = int(plans.psql("SELECT count(*) FROM messages;")) + out = [] + for variant in plans.VARIANTS: + info = plans.use_variant(variant) + secondary = sum(int(b) for name, b in info["index_bytes"].items() if name != "messages_pkey") + out.append({"variant": variant, "rows": rows, "table_bytes": info["table_bytes"], + "pkey_bytes": int(info["index_bytes"]["messages_pkey"]), "secondary_index_bytes": secondary, + "secondary_bytes_per_row": round(secondary / rows, 1), "index_build_seconds": info["index_build_s"]}) + print(out[-1], flush=True) + finally: + plans.sh(["docker", "rm", "-f", "-v", plans.CLIENT, plans.NAME], check=False) + path = plans.ROOT / "evidence/track2/index-sizes.csv" + with path.open("w", newline="", encoding="utf-8") as f: + writer = csv.DictWriter(f, fieldnames=list(out[0])) + writer.writeheader() + writer.writerows(out) + print("done:", path) + return 0 + + +if __name__ == "__main__": + sys.exit(main()) diff --git a/bench/track2/summarize.py b/bench/track2/summarize.py index 64876d5..cfb8a51 100644 --- a/bench/track2/summarize.py +++ b/bench/track2/summarize.py @@ -42,6 +42,7 @@ def fmt(x: float) -> str: def main() -> int: sys.stdout.reconfigure(encoding="utf-8") reads, writes, wal = load("reads.csv"), load("writes.csv"), load("wal.csv") + sizes_rows = {r["variant"]: r for r in load("index-sizes.csv")} meta = json.loads((OUT / "plans-meta.json").read_text(encoding="utf-8")) r = agg(reads, ("variant", "query", "chat"), ("tps", "p50_ms", "p95_ms", "p99_ms")) w = agg(writes, ("variant",), ("tps", "p50_ms", "p95_ms", "p99_ms")) @@ -60,14 +61,16 @@ def main() -> int: md += ["", "## Запись: транзакция сообщения приложения (UPDATE chats … RETURNING + INSERT)", "", "TPS и задержка — медиана 5 повторов по 10 с, 8 клиентов. WAL — медиана 3 детерминированных прогонов: " "5 000 транзакций, 1 клиент, autovacuum выключен, CHECKPOINT перед прогоном.", "", - "| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Размер индексов, МиБ |", + "| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Доп. индексы на 121 120 строк, МиБ |", "| --- | ---: | ---: | ---: | ---: | ---: | ---: |"] for variant in ("no_index", "keyset_index", "keyset_plus_sender"): v = w[(variant,)] - idx = meta["sizes"][variant]["index_bytes"] - idx_mib = sum(int(b) for b in idx.values()) / 2**20 + idx_mib = int(sizes_rows[variant]["secondary_index_bytes"]) / 2**20 # same dataset for every variant md.append(f"| {variant} | {fmt(v['tps'])} ({fmt(v['tps_min'])}–{fmt(v['tps_max'])}) | {fmt(v['p50_ms'])} | {fmt(v['p95_ms'])} " f"| {fmt(v['p99_ms'])} | {v['wal_bytes_per_insert']:.0f} ({v['wal_min']}–{v['wal_max']}) | {idx_mib:.1f} |") + md += ["", "Размеры индексов измерены отдельно на одинаковых 121 120 строках (bench/track2/index_sizes.py); " + "первичный ключ во всех вариантах — " + f"{int(sizes_rows['no_index']['pkey_bytes']) / 2**20:.1f} МиБ, таблица — " + f"{int(sizes_rows['no_index']['table_bytes']) / 2**20:.1f} МиБ."] (OUT / "summary.md").write_text("\n".join(md) + "\n", encoding="utf-8", newline="\n") print("\n".join(md)) diff --git a/evidence/clean-clone.txt b/evidence/clean-clone.txt new file mode 100644 index 0000000..7622256 --- /dev/null +++ b/evidence/clean-clone.txt @@ -0,0 +1,40 @@ +# Clean clone -> build -> fresh volumes -> migrations from zero, 2026-10-12T17:08:32Z +$ git clone --branch solution/bvt2302-bodanyuk mtusi2026lab2 && cd mtusi2026lab2 +eb92e8e bench: трек 2 — планы запросов, стоимость записи, backup/restore со сверкой +$ python scripts/init_secrets.py +created secrets/postgres_password +created secrets/valkey_password +created secrets/database_url +created secrets/cache_url +$ cp .env.example .env # + COMPOSE_PROJECT_NAME/APP_PUBLISH_PORT only to run beside the main stand +$ docker compose --env-file .env config --quiet +config OK +$ docker compose --env-file .env up -d --build --wait + Container mtusi-lab2-clean-api-1 Healthy + Container mtusi-lab2-clean-migrate-1 Exited + Container mtusi-lab2-clean-postgres-1 Healthy + Container mtusi-lab2-clean-valkey-1 Healthy +$ docker compose ps +SERVICE IMAGE STATUS +api mtusi-messenger:lab2 Up 6 seconds (healthy) +postgres postgres:18.6-bookworm@sha256:afc7e2d441324c0388fa80c3d24f733b4194a4eb7f47dd8ee2b08eb1a24a647c Up 13 seconds (healthy) +valkey valkey/valkey:8.1.3-bookworm@sha256:fea8b3e67b15729d4bb70589eb03367bab9ad1ee89c876f54327fc7c6e618571 Up 13 seconds (healthy) +$ docker compose logs migrate +migrate: 0001_init: applied +migrate: done, 1 migration file(s) checked +$ docker compose volume ls +mtusi-lab2-clean_pgdata +mtusi-lab2-clean_valkeydata +$ curl -i http://127.0.0.1:8081/health/ready +HTTP/1.1 200 OK +x-request-id: 38be4c9665124450b66c5d9218c596d9 +{"status":"ok"} +$ docker compose exec api id; PID 1 +uid=10001(app) gid=10001(app) groups=10001(app) +PID 1: python -m messenger +$ docker compose run --rm migrate # second run: idempotent +migrate: 0001_init: already applied, skipped +migrate: done, 1 migration file(s) checked +$ git status --short # secrets/.env must not be tracked +secrets/database_url +.env diff --git a/evidence/explain-history.txt b/evidence/explain-history.txt new file mode 100644 index 0000000..a031ecc --- /dev/null +++ b/evidence/explain-history.txt @@ -0,0 +1,63 @@ +$ python scripts/explain_history.py --output evidence/explain-history.txt + messages_total | messages_in_target_chat +----------------+------------------------- + 50146 | 20000 +(1 row) + +=== 1. first page, app query HISTORY_FIRST, generic plan + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------ + Limit (cost=0.41..122.63 rows=119 width=55) (actual time=0.019..0.030 rows=51.00 loops=1) + Buffers: shared hit=4 + -> Index Scan using messages_chat_keyset on messages (cost=0.41..1226.64 rows=1194 width=55) (actual time=0.017..0.025 rows=51.00 loops=1) + Index Cond: (chat_id = $1) + Index Searches: 1 + Buffers: shared hit=4 + Planning: + Buffers: shared hit=10 + Planning Time: 0.157 ms + Execution Time: 0.067 ms +(10 rows) + +=== 2. late page (cursor at 19950), app query HISTORY_AFTER, generic plan + QUERY PLAN +---------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.41..59.95 rows=40 width=55) (actual time=0.022..0.036 rows=50.00 loops=1) + Buffers: shared hit=5 + -> Index Scan using messages_chat_keyset on messages (cost=0.41..592.75 rows=398 width=55) (actual time=0.020..0.030 rows=50.00 loops=1) + Index Cond: ((chat_id = $1) AND (ROW(created_at, id) > ROW($2, $3))) + Index Searches: 1 + Buffers: shared hit=5 + Planning Time: 0.163 ms + Execution Time: 0.112 ms +(8 rows) + +=== 3. REJECTED: one query with ($2 IS NULL OR ...), same late page, generic plan + QUERY PLAN +----------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=0.41..123.02 rows=40 width=55) (actual time=3.242..3.257 rows=50.00 loops=1) + Buffers: shared hit=526 + -> Index Scan using messages_chat_keyset on messages (cost=0.41..1232.61 rows=402 width=55) (actual time=3.239..3.251 rows=50.00 loops=1) + Index Cond: (chat_id = $1) + Filter: (($2 IS NULL) OR (ROW(created_at, id) > ROW($2, $3))) + Rows Removed by Filter: 19950 + Index Searches: 1 + Buffers: shared hit=526 + Planning Time: 0.125 ms + Execution Time: 3.282 ms +(10 rows) + +=== 4. REJECTED: OFFSET pagination, same late page + QUERY PLAN +--------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (cost=122.63..244.84 rows=119 width=55) (actual time=4.404..4.418 rows=50.00 loops=1) + Buffers: shared hit=526 + -> Index Scan using messages_chat_keyset on messages (cost=0.41..1226.64 rows=1194 width=55) (actual time=0.015..3.790 rows=20000.00 loops=1) + Index Cond: (chat_id = $1) + Index Searches: 1 + Buffers: shared hit=526 + Planning Time: 0.091 ms + Execution Time: 4.438 ms +(8 rows) + + diff --git a/evidence/logs-check.txt b/evidence/logs-check.txt new file mode 100644 index 0000000..0987096 --- /dev/null +++ b/evidence/logs-check.txt @@ -0,0 +1,22 @@ +# api log checks after smoke + valkey pause + unicode/NUL + wrong password tests, 2026-10-12T17:15:19Z +lines in api log: 93 +message texts sent by tests ('Привет, мир', 'Сообщение Боба', 'до отказа', 'hello', 'чужое') found: 0 +test passwords ('Test-password', 'T3st-') found: 0 +Authorization values (Bearer/Basic + credential) found: 0 +postgres/valkey passwords found: 0 +event types: + 62 "event": "request" + 8 "event": "user_created" + 7 "event": "session_created" + 3 "event": "session_store_unavailable" + 3 "event": "login_failed" + 3 "event": "chat_created" + 1 "event": "starting" + 1 "event": "session_revoked" + 1 "event": "dependencies_configured" +sample lines: +{"ts": "2026-10-12T17:15:10.934Z", "level": "info", "logger": "messenger", "event": "login_failed", "request_id": "350860a9d9ef4ad4b7fd6a9be0964981"} +{"ts": "2026-10-12T17:15:10.963Z", "level": "info", "logger": "messenger", "event": "session_revoked", "request_id": "5e8711e330724ed2a09f734947793877"} +{"ts": "2026-10-12T17:15:13.849Z", "level": "warning", "logger": "messenger.sessions", "event": "session_store_unavailable", "error": "TimeoutError"} +{"ts": "2026-10-12T17:15:13.850Z", "level": "info", "logger": "messenger.access", "event": "request", "request_id": "14fd3d975da3447e855d860eec8b1832", "method": "GET", "path": "/api/v1/users/me", "status": 503, "duration_ms": 501.281} +{"ts": "2026-10-12T17:15:14.354Z", "level": "info", "logger": "messenger.access", "event": "request", "request_id": "e2ddf53f97a1403fbb635d94d52ea9ad", "method": "GET", "path": "/api/v1/chats/3d96c3ee-a9c8-46eb-b8fe-7f12ba8ec2f0/messages", "status": 503, "duration_ms": 503.088} diff --git a/evidence/make-check-validate.txt b/evidence/make-check-validate.txt new file mode 100644 index 0000000..4c0fea8 --- /dev/null +++ b/evidence/make-check-validate.txt @@ -0,0 +1,4 @@ +$ make check # python scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +$ make validate # (venv with requirements-dev.txt) +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. diff --git a/evidence/make-test.txt b/evidence/make-test.txt new file mode 100644 index 0000000..c780a46 --- /dev/null +++ b/evidence/make-test.txt @@ -0,0 +1,2 @@ +$ make test BASE_URL=http://127.0.0.1:8081 +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/restart-hook-output.txt b/evidence/restart-hook-output.txt new file mode 100644 index 0000000..64c69c6 --- /dev/null +++ b/evidence/restart-hook-output.txt @@ -0,0 +1,20 @@ +$ sh scripts/restart.sh # what the hook does (run by hand to see its output) + Container mtusi-lab2-clean-api-1 Stopping + Container mtusi-lab2-clean-api-1 Stopped + Container mtusi-lab2-clean-postgres-1 Restarting + Container mtusi-lab2-clean-valkey-1 Restarting + Container mtusi-lab2-clean-valkey-1 Started + Container mtusi-lab2-clean-postgres-1 Started + Container mtusi-lab2-clean-postgres-1 Waiting + Container mtusi-lab2-clean-postgres-1 Healthy + Container mtusi-lab2-clean-migrate-1 Starting + Container mtusi-lab2-clean-migrate-1 Started + Container mtusi-lab2-clean-postgres-1 Waiting + Container mtusi-lab2-clean-valkey-1 Waiting + Container mtusi-lab2-clean-migrate-1 Waiting + Container mtusi-lab2-clean-valkey-1 Healthy + Container mtusi-lab2-clean-postgres-1 Healthy + Container mtusi-lab2-clean-migrate-1 Exited + Container mtusi-lab2-clean-api-1 Starting + Container mtusi-lab2-clean-api-1 Started +restart.sh: api, postgres and valkey restarted with volumes preserved diff --git a/evidence/sigterm.txt b/evidence/sigterm.txt new file mode 100644 index 0000000..a31bcba --- /dev/null +++ b/evidence/sigterm.txt @@ -0,0 +1,8 @@ +# SIGTERM (docker compose stop = SIGTERM, then SIGKILL after stop_grace_period 10s) +run 1: docker compose stop api -> 1195 ms, exit code 0, OOMKilled=false +run 2: docker compose stop api -> 1089 ms, exit code 0, OOMKilled=false +run 3: docker compose stop api -> 1098 ms, exit code 0, OOMKilled=false +last shutdown log lines: +{"ts": "2026-10-12T17:16:17.419Z", "level": "info", "logger": "messenger", "event": "shutdown_requested", "signal": 15, "timeout_s": 8.0} +{"ts": "2026-10-12T17:16:17.541Z", "level": "info", "logger": "uvicorn.error", "event": "Finished server process [1]"} +{"ts": "2026-10-12T17:16:17.542Z", "level": "info", "logger": "messenger", "event": "stopped"} diff --git a/evidence/student-tests.txt b/evidence/student-tests.txt new file mode 100644 index 0000000..af8055a --- /dev/null +++ b/evidence/student-tests.txt @@ -0,0 +1,117 @@ +$ BASE_URL=http://127.0.0.1:8081 python -m pytest student-tests -v # stand from the clean clone +============================= test session starts ============================= +platform win32 -- Python 3.14.6, pytest-9.1.1, pluggy-1.6.0 -- /.venv/Scripts/python.exe +rootdir: +plugins: anyio-4.15.1 +collecting ... collected 108 items + +student-tests/test_api.py::test_register_never_returns_password_and_login_returns_bearer PASSED +student-tests/test_api.py::test_duplicate_username_is_409 PASSED +student-tests/test_api.py::test_bad_password_on_registration_is_400[short-11ch] PASSED +student-tests/test_api.py::test_bad_password_on_registration_is_400[ ] PASSED +student-tests/test_api.py::test_bad_password_on_registration_is_400[ \t \n \t \n \t \n ] PASSED +student-tests/test_api.py::test_bad_password_on_registration_is_400[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED +student-tests/test_api.py::test_edge_passwords_register_and_login[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED +student-tests/test_api.py::test_edge_passwords_register_and_login[with:colons:inside] PASSED +student-tests/test_api.py::test_edge_passwords_register_and_login[Twelve chars] PASSED +student-tests/test_api.py::test_wrong_password_and_unknown_user_give_the_same_401 PASSED +student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic \xe9] PASSED +student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic !!!] PASSED +student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic bm9fY29sb24=] PASSED +student-tests/test_api.py::test_malformed_basic_is_401_not_500[Basic //46eA==] PASSED +student-tests/test_api.py::test_malformed_basic_is_401_not_500[Bearer aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa] PASSED +student-tests/test_api.py::test_malformed_basic_is_401_not_500[] PASSED +student-tests/test_api.py::test_logout_revokes_only_this_token PASSED +student-tests/test_api.py::test_x_user_id_basic_and_garbage_do_not_authenticate PASSED +student-tests/test_api.py::test_malformed_json_is_400[{] PASSED +student-tests/test_api.py::test_malformed_json_is_400[] PASSED +student-tests/test_api.py::test_malformed_json_is_400[[]] PASSED +student-tests/test_api.py::test_malformed_json_is_400[null] PASSED +student-tests/test_api.py::test_malformed_json_is_400[{"username": "abc_def", "display_name": NaN, "password": "Twelve-chars"}] PASSED +student-tests/test_api.py::test_malformed_json_is_400[{"username": "abc_def", "display_name": "x", "password": "Twelve-chars"}{"a": 1}] PASSED +student-tests/test_api.py::test_malformed_json_is_400[{"username": "abc_def", "display_name": "\ud800", "password": "Twelve-chars"}] PASSED +student-tests/test_api.py::test_invalid_registration_fields_are_400[body0] PASSED +student-tests/test_api.py::test_invalid_registration_fields_are_400[body1] PASSED +student-tests/test_api.py::test_invalid_registration_fields_are_400[body2] PASSED +student-tests/test_api.py::test_invalid_registration_fields_are_400[body3] PASSED +student-tests/test_api.py::test_invalid_registration_fields_are_400[body4] PASSED +student-tests/test_api.py::test_invalid_registration_fields_are_400[body5] PASSED +student-tests/test_api.py::test_unicode_limits_are_code_points_and_nul_is_stored PASSED +student-tests/test_api.py::test_oversized_body_and_wrong_content_type PASSED +student-tests/test_api.py::test_chat_validation PASSED +student-tests/test_api.py::test_foreign_chat_is_indistinguishable_from_missing PASSED +student-tests/test_api.py::test_chat_list_order_pagination_and_isolation PASSED +student-tests/test_api.py::test_history_pages_without_loss_or_duplicates PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=0] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=101] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=abc] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[limit=1&limit=2] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=garbage] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=djF8bXx4fDF8Mg] PASSED +student-tests/test_api.py::test_bad_limit_or_cursor_is_400[cursor=djF8bXx4fDk5OTk5OTk5OTk5OTk5OTk5OTk5fHk=] PASSED +student-tests/test_api.py::test_cursor_bound_to_chat PASSED +student-tests/test_api.py::test_read_after_write PASSED +student-tests/test_db.py::test_registration_race_exactly_one_201_and_seven_409 PASSED +student-tests/test_db.py::test_create_chat_rolls_back_after_the_chat_row_was_inserted PASSED +student-tests/test_db.py::test_migrations_rerun_is_a_noop PASSED +student-tests/test_db.py::test_100_messages_from_10_clients_keep_order_and_cursor_walk PASSED +student-tests/test_db.py::test_secrets_are_not_stored_in_plain_text PASSED +student-tests/test_explain.py::test_late_page_uses_index_range_not_filter PASSED +student-tests/test_failures.py::test_valkey_failure[stop] PASSED +student-tests/test_failures.py::test_valkey_failure[pause] PASSED +student-tests/test_failures.py::test_postgres_failure[stop] PASSED +student-tests/test_failures.py::test_postgres_failure[pause] PASSED +student-tests/test_failures.py::test_locked_table_gives_bounded_503 PASSED +student-tests/test_failures.py::test_logout_during_valkey_outage_is_never_lost PASSED +student-tests/test_sessions.py::test_short_ttl_expires[valkey] PASSED +student-tests/test_sessions.py::test_short_ttl_expires[postgres] PASSED +student-tests/test_sessions.py::test_restart_does_not_extend_ttl PASSED +student-tests/test_sessions.py::test_postgres_session_store PASSED +student-tests/unit/test_unit.py::test_valid_passwords[Twelve-chars] PASSED +student-tests/unit/test_unit.py::test_valid_passwords[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED +student-tests/unit/test_unit.py::test_valid_passwords[\u043f\u0430\u0440\u043e\u043b\u044c:\u0441:\u0434\u0432\u043e\u0435\u0442\u043e\u0447\u0438\u044f\u043c\u0438] PASSED +student-tests/unit/test_unit.py::test_valid_passwords[\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600\U0001f600] PASSED +student-tests/unit/test_unit.py::test_valid_passwords[a b c d e f g] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[short-11ch] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f\u044f] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[ ] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[\t\n\u3000\t\n\u3000\t\n\u3000\t\n\u3000\t\n\u3000] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800\ud800] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[None] PASSED +student-tests/unit/test_unit.py::test_invalid_passwords[123456789012] PASSED +student-tests/unit/test_unit.py::test_text_may_contain_nul_but_not_lone_surrogates PASSED +student-tests/unit/test_unit.py::test_cursor_roundtrip_and_binding PASSED +student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|253402300800000000|11111111-1111-4111-8111-111111111111] PASSED +student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|9999999999999999999|11111111-1111-4111-8111-111111111111] PASSED +student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|-1|11111111-1111-4111-8111-111111111111] PASSED +student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|1|not-a-uuid] PASSED +student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v1|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|1|11111111-1111-4111-8111-11111111111G] PASSED +student-tests/unit/test_unit.py::test_broken_cursors_are_400_not_500[v2|m|3f2c7a5e-0b7d-4a35-9a43-8d1f0f3b2c11|1|11111111-1111-4111-8111-111111111111] PASSED +student-tests/unit/test_unit.py::test_time_helpers_are_exact PASSED +student-tests/unit/test_unit.py::test_basic_is_parsed_and_password_may_contain_colons PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[None] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic \xe9] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic !!!!] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic bm8tY29sb24=] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic //46cHc=] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic OnBhc3N3b3Jk] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic YWxpY2U6] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic 0JDQu9C40YHQsDpwdw==] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Bearer aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa] PASSED +student-tests/unit/test_unit.py::test_bad_basic_is_401_with_basic_challenge[Basic AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[None] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer short] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa!] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Basic YWxpY2U6cGFzc3dvcmQtMTIz] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Token aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa] PASSED +student-tests/unit/test_unit.py::test_bad_bearer_is_401_with_bearer_challenge[Bearer \xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9\xe9] PASSED +student-tests/unit/test_unit.py::test_bearer_ok PASSED +student-tests/unit/test_unit.py::test_argon2id_hash_and_verify PASSED +student-tests/unit/test_unit.py::test_settings_read_secret_files_and_contract_names PASSED + +======================= 108 passed in 208.53s (0:03:28) ======================= diff --git a/evidence/test-persistence-postgres.txt b/evidence/test-persistence-postgres.txt new file mode 100644 index 0000000..5574e13 --- /dev/null +++ b/evidence/test-persistence-postgres.txt @@ -0,0 +1,24 @@ +# Same persistence test with SESSION_STORE=postgres (sessions in table sessions) +$ SESSION_STORE=postgres docker compose up -d --wait api + Container mtusi-lab2-clean-api-1 Healthy + Container mtusi-lab2-clean-api-1 Recreated + Container mtusi-lab2-clean-postgres-1 Healthy + Container mtusi-lab2-clean-valkey-1 Healthy + api env SESSION_STORE=postgres +containers BEFORE: + api StartedAt=2026-10-12T17:10:11.785377847Z + postgres StartedAt=2026-10-12T17:09:31.655693328Z + valkey StartedAt=2026-10-12T17:09:31.612351204Z +$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +containers AFTER: + api StartedAt=2026-10-12T17:10:30.772464788Z + postgres StartedAt=2026-10-12T17:10:23.581636896Z + valkey StartedAt=2026-10-12T17:10:23.504892649Z + sessions rows in PostgreSQL: 3 +$ docker compose up -d --wait api # back to the default SESSION_STORE=valkey + Container mtusi-lab2-clean-api-1 Healthy + Container mtusi-lab2-clean-postgres-1 Healthy + Container mtusi-lab2-clean-valkey-1 Healthy + api env SESSION_STORE=valkey diff --git a/evidence/test-persistence-valkey.txt b/evidence/test-persistence-valkey.txt new file mode 100644 index 0000000..a65b1ca --- /dev/null +++ b/evidence/test-persistence-valkey.txt @@ -0,0 +1,14 @@ +# make test-persistence ACTION_SCRIPT=scripts/restart.sh (Windows: scripts/restart.cmd runs the same restart.sh via Git Bash) +containers BEFORE: + api StartedAt=2026-10-12T17:09:00.366421789Z + postgres StartedAt=2026-10-12T17:08:53.162313311Z + valkey StartedAt=2026-10-12T17:08:53.503522499Z +$ python tests/resilience.py --mode persistence --action-script scripts/restart.cmd --base-url http://127.0.0.1:8081 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +containers AFTER (all three restarted, volumes kept): + api StartedAt=2026-10-12T17:09:38.831312693Z + postgres StartedAt=2026-10-12T17:09:31.655693328Z + valkey StartedAt=2026-10-12T17:09:31.612351204Z +mtusi-lab2-clean_pgdata +mtusi-lab2-clean_valkeydata diff --git a/evidence/track2/index-sizes.csv b/evidence/track2/index-sizes.csv new file mode 100644 index 0000000..cf3a1c5 --- /dev/null +++ b/evidence/track2/index-sizes.csv @@ -0,0 +1,5 @@ +variant,rows,table_bytes,pkey_bytes,secondary_index_bytes,secondary_bytes_per_row,index_build_seconds +keyset_index,121120,35037184,4808704,7159808,59.1,0.3 +chat_id_index,121120,35037184,4808704,876544,7.2,0.3 +no_index,121120,35037184,4808704,0,0.0,0.0 +keyset_plus_sender,121120,35037184,4808704,10240000,84.5,0.59 diff --git a/evidence/track2/summary.md b/evidence/track2/summary.md index f46e8dc..5e01b14 100644 --- a/evidence/track2/summary.md +++ b/evidence/track2/summary.md @@ -27,8 +27,10 @@ TPS и задержка — медиана 5 повторов по 10 с, 8 клиентов. WAL — медиана 3 детерминированных прогонов: 5 000 транзакций, 1 клиент, autovacuum выключен, CHECKPOINT перед прогоном. -| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Размер индексов, МиБ | +| Индексы messages | TPS (min–max) | p50, мс | p95, мс | p99, мс | WAL, байт/вставку (min–max) | Доп. индексы на 121 120 строк, МиБ | | --- | ---: | ---: | ---: | ---: | ---: | ---: | -| no_index | 1 954 (1 540–2 055) | 3.55 | 7.14 | 12.2 | 1930 (1884–1940) | 4.6 | -| keyset_index | 1 577 (1 002–1 630) | 4.73 | 8.50 | 13.0 | 2910 (2800–2926) | 24.0 | -| keyset_plus_sender | 1 223 (896–1 607) | 6.25 | 9.30 | 13.9 | 3318 (3310–3414) | 46.6 | +| no_index | 1 954 (1 540–2 055) | 3.55 | 7.14 | 12.2 | 1930 (1884–1940) | 0.0 | +| keyset_index | 1 577 (1 002–1 630) | 4.73 | 8.50 | 13.0 | 2910 (2800–2926) | 6.8 | +| keyset_plus_sender | 1 223 (896–1 607) | 6.25 | 9.30 | 13.9 | 3318 (3310–3414) | 9.8 | + +Размеры индексов измерены отдельно на одинаковых 121 120 строках (bench/track2/index_sizes.py); первичный ключ во всех вариантах — 4.6 МиБ, таблица — 33.4 МиБ.