diff --git a/.env.example b/.env.example index 001b3362..70ea4924 100644 --- a/.env.example +++ b/.env.example @@ -26,4 +26,6 @@ DB_READY_TIMEOUT=1.5 # --- Реализация lab2: кэш сессий в Valkey --- SESSION_CACHE_TTL_SECONDS=30 SESSION_SWEEP_SECONDS=60 +# Надгробие отозванной сессии в кэше: не меньше SESSION_CACHE_TTL_SECONDS + REQUEST_TIMEOUT +SESSION_REVOKED_TTL_SECONDS=60 CACHE_TIMEOUT=0.2 diff --git a/REPORT.md b/REPORT.md index d768bd24..029a6178 100644 --- a/REPORT.md +++ b/REPORT.md @@ -52,6 +52,7 @@ docker compose --env-file .env start valkey | `SESSION_TTL_SECONDS` | срок жизни сессии | 3600 | | `SESSION_CACHE_TTL_SECONDS` | срок жизни записи в кэше сессий | 30 | | `SESSION_SWEEP_SECONDS` | период удаления истёкших сессий из БД | 60 | +| `SESSION_REVOKED_TTL_SECONDS` | срок жизни надгробия отозванной сессии в кэше | 60 | | `SESSION_STORE` | источник истины для сессий | postgres | | `DB_POOL_MIN`, `DB_POOL_MAX` | границы пула соединений | 1, 10 | | `DB_POOL_TIMEOUT`, `DB_CONNECT_TIMEOUT` | ожидание свободного соединения и подключения, с | 3, 3 | @@ -76,7 +77,7 @@ docker compose --env-file .env start valkey **Кэш сессий намеренно без persistence.** У Valkey выключены и RDB (`--save ""`), и AOF (`--appendonly no`). Это не упущение, а требование безопасности: если кэш переживает рестарт, он может воскресить запись об уже отозванной сессии и вернуть доступ по мёртвому токену. С volatile-кэшом после любого рестарта таблица сессий в PostgreSQL остаётся единственным источником правды, и каждый токен проверяется заново. Persistence кэша обязателен только если он единственное хранилище сессий — у нас это не так. -**Отзыв сессии устойчив к кэшу.** `DELETE /auth/sessions/current` сначала удаляет ключ из Valkey и только потом строку из PostgreSQL. Поэтому 204 означает, что токен мёртв в обоих местах; обратного порядка (сначала БД, потом кэш) мы избегаем именно потому, что при сбое второго шага кэш продолжал бы отдавать отозванную сессию. Если кэш недоступен, logout возвращает 503 и сессию не удаляет: выход не подтверждается, пока нельзя гарантировать, что кэш больше не отдаст токен. Клиент повторяет запрос; проверено тестом `logout_is_not_confirmed_while_cache_is_down`. +**Отзыв сессии устойчив к кэшу и к гонке.** `DELETE /auth/sessions/current` сначала пишет в Valkey надгробие — значение `revoked` с собственным TTL — и только потом удаляет строку из PostgreSQL. Простого удаления ключа недостаточно: между удалением ключа и удалением строки параллельный запрос успевает прочитать ещё живую строку и заново положить ключ, и тогда после подтверждённого 204 токен продолжает работать до истечения кэша. Надгробие закрывает это окно, потому что наполнение кэша после промаха выполняется условно (`SET … NX`) и не может перезаписать надгробие, а `resolve` трактует это значение как «сессии нет» без похода в базу. TTL надгробия не меньше суммы срока жизни кэша и потолка запроса, поэтому ни один начатый до отзыва запрос не успеет положить устаревшую копию. Если кэш недоступен, logout возвращает 503 и сессию не удаляет: выход не подтверждается, пока нельзя гарантировать, что кэш больше не отдаст токен. Проверено тестами `logout_is_not_confirmed_while_cache_is_down` и `revoked_session_cannot_be_resurrected_by_a_race` — второй удерживает строку сессии под `SELECT … FOR UPDATE`, чтобы гонка воспроизводилась детерминированно. **Схема и ограничения** (`migrations/0001_init.sql`). `users.username` — `UNIQUE` плюс `CHECK (username ~ '^[a-z0-9_]{3,32}$')`, так что уникальность username гарантирует база, а не только проверка в коде. `chat_members` — таблица связи с `PRIMARY KEY (chat_id, user_id)` и внешними ключами на `chats` и `users`. `messages` ссылается на `chats` и `users`. `sessions` хранит `token_hash bytea PRIMARY KEY`, `user_id`, `created_at`, `expires_at`. @@ -116,15 +117,16 @@ docker compose --env-file .env start valkey | Составная операция создания чата атомарна | `test_storage_rules.py::unknown_member_rolls_chat_back` | 400 на неизвестного участника, чат в списке отсутствует | `evidence/level4-tests.txt` | | Basic только на `POST /auth/sessions`, остальное — Bearer; `X-User-Id` не даёт доступа | `test_auth_sessions.py` | 9/9 PASS, в том числе Basic на `/users/me` → 401 Bearer, вход с телом → 400, повреждённый UTF-8 → 400/401 | `evidence/level4-tests.txt` | | Срок жизни сессии и отзыв | `make expiry` (TTL=2 с) | 3/3 PASS: истёкший токен → 401, запись истёкшим → 401, `expires_at` соответствует TTL | `evidence/expiry.txt` | -| Отозванная сессия не возвращается вместе с кэшом | `make outages` | 6/6 PASS; после 204 и `restart valkey` токен даёт 401 | `evidence/outages.txt` | +| Отозванная сессия не возвращается вместе с кэшом | `make outages` | 8/8 PASS; после 204 и `restart valkey` токен даёт 401 | `evidence/outages.txt` | +| Отзыв сессии выдерживает гонку с параллельным запросом | `make outages::revoked_session_cannot_be_resurrected_by_a_race` | строка сессии удерживается `SELECT … FOR UPDATE`, параллельный `/users/me` наполняет кэш во время logout; после 204 токен даёт 401 на чтение и на список чатов | `evidence/outages.txt` | | Кэш наполняется после промаха, а не только при входе | `make outages::cache_is_repopulated_after_a_miss`, `::cache_survives_its_own_restart` | после удаления ключа `session:` ответ 200 из PostgreSQL совпадает с кэшированным телом, ключ восстановлен с TTL; после рестарта Valkey кэш пуст и снова наполняется | `evidence/outages.txt` | | Пароли хешируются password KDF | `app/passwords.py`, формат хеша в БД | `$argon2id$v=19$m=19456,t=2,p=1$…`, в API пароль не возвращается | `evidence/level4-tests.txt` | | Любая строка Unicode сохраняется без искажений | `test_storage_rules.py::nul_and_unicode_text_round_trips`, `::text_length_limit_counts_code_points` | `a\u0000b`, одиночный `\u0000`, emoji с ZWJ, комбинирующие и RTL, 4000 code points — 201 и точный round-trip; 4001 — 400 | `evidence/level4-tests.txt` | | Secrets/volumes не попадают в Git | `git status --porcelain`, `git check-ignore -v` | `.env`, `secrets/`, `backups/` игнорируются; в рабочем дереве только код, тесты и `evidence/` | `evidence/git-hygiene.txt` | -| Redis/Valkey реально используется для сессий с TTL | `tests/load.py` с кэшем и без него | 1209.7 RPS / p95 4.57 мс против 550.9 RPS / p95 9.41 мс, `failed_requests: 0` в обоих прогонах | `evidence/load-cache.json`, `evidence/load-nocache.json`, `evidence/load.txt` | -| Параметризованные запросы, ограниченный пул и таймауты | `test_storage_rules.py::sql_injection_is_not_executed`, `::content_type_is_required`, `::broken_json_does_not_break_the_api`, `app/db.py` | SQL-пробы → 400, текст с кавычками сохраняется дословно, битый JSON → 400; пул 1..10, `statement_timeout=5000`, клиентский лимит 6 с, потолок запроса 8 с | `evidence/level4-tests.txt` | +| Redis/Valkey реально используется для сессий с TTL | `tests/load.py` с кэшем и без него | 1276.0 RPS / p95 4.34 мс против 498.2 RPS / p95 11.46 мс, `failed_requests: 0` в обоих прогонах | `evidence/load-cache.json`, `evidence/load-nocache.json`, `evidence/load.txt` | +| Параметризованные запросы, ограниченный пул и таймауты | `test_storage_rules.py` целиком — 12/12 PASS, в том числе `::sql_injection_is_not_executed`, `::content_type_is_required`, `::broken_json_does_not_break_the_api`; настройки в `app/db.py` | SQL-пробы → 400, текст с кавычками сохраняется дословно, битый JSON → 400; пул 1..10, `statement_timeout=5000`, клиентский лимит 6 с, потолок запроса 8 с | `evidence/level4-tests.txt` | | Гонка регистрации одинакового username | `test_storage_rules.py::duplicate_username_race_creates_one_user` (12 потоков) | один 201, одиннадцать 409 | `evidence/level4-tests.txt` | -| Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях, пагинация без полного скана | `make explain` (52 887 сообщений в таблице) | keyset, первая страница: 21 буфер, 0.018 мс; keyset на глубине 90 %: 54 буфера, 0.034 мс; OFFSET той же глубины: 33 082 буфера, 4.15 мс (32 724 строки пройдено ради 50) | `evidence/explain-10k.txt` | +| Индекс истории обоснован EXPLAIN на ≥10 000 сообщениях, пагинация без полного скана | `make explain` (53 293 сообщения в таблице) | keyset, первая страница: 24 буфера, 0.021 мс; keyset на глубине 90 %: 53 буфера, 0.032 мс; OFFSET той же глубины: 34 920 буферов, 4.48 мс (34 513 строк пройдено ради 50) | `evidence/explain-10k.txt` | | Проверка expiry, logout, неверного пароля и недоступности Redis/БД | `make dependency`, `make outages` | без Valkey 3/3 PASS (кэш обойдён, ошибок нет); без PostgreSQL 4/4 PASS: `/health/ready` 503, запись 503, неизвестный токен не становится доверенным; зависшая БД (`pause`) отвечает 503 быстрее 10 с | `evidence/dependency.txt`, `evidence/outages.txt` | | Переменные `.env.example` соответствуют реальной конфигурации | `make bootstrap` на существующем `.env`, затем сверка ключей | отсутствующие переменные дописываются из `.env.example`, расхождений по ключам нет | `evidence/stand.txt` (строка `cache_ttl` в логе старта API) | | Трек 5 (трек 2): ≥100 000 сообщений, ≥2 индекса, цена записи, backup → restore → сверка | `TOTAL=120000 make track2` | 120 000 сообщений в 68 чатах; варианты A/B/C сравнены; md5 истории источника и копии совпали; маркер после бэкапа в копии отсутствует | `evidence/track2/run.txt` | @@ -137,15 +139,15 @@ docker compose --env-file .env start valkey **Гипотеза.** Для keyset-пагинации по контракту (`ORDER BY created_at, id` внутри одного чата) составной индекс `(chat_id, created_at, id)` даёт цену страницы, не зависящую от её глубины, а индекс только по `chat_id` вынуждает поднимать из heap всю историю чата на каждую страницу. Покрывающий индекс с `INCLUDE (sender_id, text)` должен убрать обращения к heap, но увеличить размер индекса и цену записи. -**Методика.** Стенд описан выше, PostgreSQL запущен с `shared_buffers=128MB`, `work_mem=8MB`, `track_io_timing=on`. Данные: `student-tests/seed.sql` добивает историю до заданного размера, распределяя сообщения по 50 чатам с перекосом `power(random(), 3)`; поверх лежат чаты публичного smoke, своих тестов и нагрузочных прогонов. В этом прогоне засев дописал 67 113 строк до ровно 120 000 сообщений в 68 чатах. Размеры чатов неравномерны: 36 305 строк в самом большом, 16 537 во втором, затем 25, 5 и 3 — разброс в четыре порядка. Точка измерения — страница на глубине 90 % истории самого большого чата. Каждый вариант индекса создаётся внутри транзакции и откатывается (`BEGIN … ROLLBACK`), поэтому рабочая схема не меняется и порядок вариантов не влияет на результат. Для каждого варианта снимаются: план `EXPLAIN (ANALYZE, BUFFERS)` одной страницы, время 100 последовательных страниц с разными курсорами (коррелированный `LATERAL`: без зависимости от номера итерации планировщик выполняет подзапрос один раз и измерение обнуляется — так и произошло в первой версии скрипта), размер индекса и время вставки 10 000 строк при этом наборе индексов. Прогрев: засев и `ANALYZE` выполняются до измерений, кэш БД тёплый. +**Методика.** Стенд описан выше, PostgreSQL запущен с `shared_buffers=128MB`, `work_mem=8MB`, `track_io_timing=on`. Данные: `student-tests/seed.sql` добивает историю до заданного размера, распределяя сообщения по 50 чатам с перекосом `power(random(), 3)`; поверх лежат чаты публичного smoke, своих тестов и нагрузочных прогонов. В этом прогоне засев дописал 66 707 строк до ровно 120 000 сообщений в 68 чатах. Размеры чатов неравномерны: 38 293 строки в самом большом, 14 955 во втором, затем 25, 5 и 3 — разброс в четыре порядка. Точка измерения — страница на глубине 90 % истории самого большого чата. Каждый вариант индекса создаётся внутри транзакции и откатывается (`BEGIN … ROLLBACK`), поэтому рабочая схема не меняется и порядок вариантов не влияет на результат. Для каждого варианта снимаются: план `EXPLAIN (ANALYZE, BUFFERS)` одной страницы, время 100 последовательных страниц с разными курсорами (коррелированный `LATERAL`: без зависимости от номера итерации планировщик выполняет подзапрос один раз и измерение обнуляется — так и произошло в первой версии скрипта), размер индекса и время вставки 10 000 строк при этом наборе индексов. Прогрев: засев и `ANALYZE` выполняются до измерений, кэш БД тёплый. | Вариант индекса | План страницы на глубине 90 % | Буферы | Время одной страницы | 100 страниц | Размер индекса | Вставка 10 000 строк | | --- | --- | --- | --- | --- | --- | --- | -| A `(chat_id, created_at, id)` — рабочий | `Index Scan using messages_history_idx` | 54 | 0.042 мс | 1.05 мс | 11 МБ | 0.084 с | -| B `(chat_id)` | `Bitmap Heap Scan` + `Sort`, `Rows Removed by Filter: 32 675` | 484 | 1.88 мс | 2461 мс | 848 кБ | 0.078 с | -| C `(chat_id, created_at, id) INCLUDE (sender_id, text)` | `Index Only Scan`, `Heap Fetches: 0` | 4 | 0.056 мс | 0.72 мс | 14 МБ | 0.086 с | +| A `(chat_id, created_at, id)` — рабочий | `Index Scan using messages_history_idx` | 53 | 0.047 мс | 1.08 мс | 11 МБ | 0.085 с | +| B `(chat_id)` | `Bitmap Heap Scan` + `Sort`, `Rows Removed by Filter: 34 464` | 510 | 2.06 мс | 2529 мс | 856 кБ | 0.081 с | +| C `(chat_id, created_at, id) INCLUDE (sender_id, text)` | `Index Only Scan`, `Heap Fetches: 0` | 4 | 0.027 мс | 0.73 мс | 14 МБ | 0.086 с | -**Что наблюдали.** Вариант B на каждой странице поднимает из heap почти весь чат и отбрасывает фильтром 32 675 строк ради 50 нужных; на серии из 100 страниц он медленнее A примерно в 2300 раз (2461 мс против 1.05 мс), и отставание растёт вместе с размером чата, а не фиксировано. Вариант C не ходит в heap вообще (`Heap Fetches: 0`, 4 буфера против 54) и на серии страниц быстрее A примерно на треть (0.72 мс против 1.05 мс); по одной странице времена A и C различать нельзя — 0.042 и 0.056 мс лежат в пределах разброса единичного замера, поэтому вывод делается по серии и по числу буферов. Цена C — индекс 14 МБ против 11 МБ; разницы во времени вставки между A и C на этих данных не видно (0.086 с против 0.084 с). B пишет быстрее всех (0.078 с) просто потому, что его индекс меньше. +**Что наблюдали.** Вариант B на каждой странице поднимает из heap почти весь чат и отбрасывает фильтром 34 464 строки ради 50 нужных; на серии из 100 страниц он медленнее A примерно в 2350 раз (2529 мс против 1.08 мс), и отставание растёт вместе с размером чата, а не фиксировано. Вариант C не ходит в heap вообще (`Heap Fetches: 0`, 4 буфера против 53) и на серии страниц быстрее A примерно на треть (0.73 мс против 1.08 мс); по одной странице времена A и C различать нельзя — 0.047 и 0.027 мс лежат в пределах разброса единичного замера, поэтому вывод делается по серии и по числу буферов. Цена C — индекс 14 МБ против 11 МБ; разницы во времени вставки между A и C на этих данных не видно (0.086 с против 0.085 с). B пишет быстрее всех (0.081 с) просто потому, что его индекс меньше. **Вывод.** В схему взят вариант A: постоянная цена страницы при умеренном размере индекса. C даёт измеримый выигрыш по буферам и по серии страниц и остаётся кандидатом, если история читается существенно чаще, чем пишется; прежде чем переключаться, его цену записи нужно перемерять на длинных текстах, где дублирование текста в индексе должно проявиться. Переключение — одна миграция. @@ -157,29 +159,31 @@ docker compose --env-file .env start valkey | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| `pg_dump -Fc` базы с 120 000 сообщений | согласованный дамп | файл 5.7 МБ | бэкап 0.741 с | -| `pg_restore` в новый том и новую базу | совпадение количества и содержимого | users 76/76, chats 68/68, chat_members 1036/1036, messages 120 000/120 000, sessions 45/45; md5 истории большого чата (36 305 строк) `1841fdf890f6207bc78cb973bedeec27` в обеих базах; первые три сообщения совпали | восстановление 0.357 с; потерь на момент снимка нет | +| `pg_dump -Fc` базы с 120 000 сообщений | согласованный дамп | файл 5.7 МБ | бэкап 0.743 с | +| `pg_restore` в новый том и новую базу | совпадение количества и содержимого | users 78/78, chats 68/68, chat_members 1036/1036, messages 120 000/120 000, sessions 45/45; md5 истории большого чата (38 293 строки) `f18725746ed1acbdda044e804cdc4c7c` в обеих базах; первые три сообщения совпали | восстановление 0.354 с; потерь на момент снимка нет | | Запись после снимка (маркерное сообщение) | в копии отсутствует | в источнике 1 маркер, в восстановленной копии 0 | потеряно всё, подтверждённое после начала дампа | | Рестарт API и обоих хранилищ с сохранением томов | данные и действующая сессия живы | `PASS` публичного persistence-теста: тот же токен читает ту же историю, дублей нет | простой до readiness < 10 с, потерь нет | -| Остановка Valkey под нагрузкой | кэш обходится, ошибок нет | 550.9 RPS против 1209.7 RPS, p95 9.41 мс против 4.57 мс, `failed_requests: 0` | потерь нет, деградация по скорости ×2.2 | +| Остановка Valkey под нагрузкой | кэш обходится, ошибок нет | 498.2 RPS против 1276.0 RPS, p95 11.46 мс против 4.34 мс, `failed_requests: 0` | потерь нет, деградация по скорости ×2.6 | | Остановка PostgreSQL | ограниченная ошибка, доверия нет | `/health/ready` 503, регистрация 503, неизвестный токен → 503/401, анонимный → 401, `/health/live` 200 | запись недоступна полностью до возврата БД | | Заморозка PostgreSQL (`docker compose pause`) | быстрый 503, а не зависший запрос | 503 быстрее 10 с при потолке запроса 8 с; после `unpause` доступ восстановился | потерь нет | | Рестарт Valkey после подтверждённого logout | отозванный токен остаётся мёртвым | 401 после рестарта кэша | потерь нет | +| Гонка logout и параллельного чтения | подтверждённый отзыв нельзя отменить наполнением кэша | до правки токен жил ещё 30 с после 204; после правки — 401 сразу | потерь нет | +| Неудавшийся logout при замороженной базе | кэш не отказывает сессии, которая ещё жива в базе | 503 клиенту, надгробие снято, ответ API совпадает с наличием строки в базе | потерь нет | | Удаление ключа сессии из кэша | ответ из PostgreSQL совпадает с кэшированным, ключ восстановлен с TTL | тело идентично, `EXISTS` = 1, TTL 30 с | потерь нет | -**Нагрузочный профиль** (для контекста, не доказательство ёмкости): `tests/load.py`, closed loop, concurrency 4, длительность 30 с, по одному прогону на точку. С кэшем: 36 305 успешных POST, 0 ошибок, 1209.659 RPS, p50 3.130 / p95 4.568 / p99 6.509 мс. С остановленным Valkey: 16 537 успешных POST, 0 ошибок, 550.943 RPS, p50 6.908 / p95 9.405 / p99 12.388 мс. Разница — цена похода в PostgreSQL за сессией на каждом запросе; ноль ошибок в обоих прогонах показывает, что отказ кэша обходится, а не ломает запись. Это пропускная способность HTTP-подтверждений, а не счётчик COMMIT: закрытый контур страдает coordinated omission, клиент и сервер работают на одной машине, поэтому абсолютные числа занижены относительно отдельного стенда. +**Нагрузочный профиль** (для контекста, не доказательство ёмкости): `tests/load.py`, closed loop, concurrency 4, длительность 30 с, по одному прогону на точку. С кэшем: 38 293 успешных POST, 0 ошибок, 1275.960 RPS, p50 2.933 / p95 4.335 / p99 7.548 мс. С остановленным Valkey: 14 955 успешных POST, 0 ошибок, 498.216 RPS, p50 7.457 / p95 11.462 / p99 14.472 мс. Разница — цена похода в PostgreSQL за сессией на каждом запросе; ноль ошибок в обоих прогонах показывает, что отказ кэша обходится, а не ломает запись. Это пропускная способность HTTP-подтверждений, а не счётчик COMMIT: закрытый контур страдает coordinated omission, клиент и сервер работают на одной машине, поэтому абсолютные числа занижены относительно отдельного стенда. **Ограничения измерений.** Всё измерено на одной машине, с тёплым кэшом БД, по одному прогону на точку, без фиксации частоты CPU и без контроля троттлинга; потребление CPU и RAM по контейнерам не снималось. По одной странице времена вариантов A и C неразличимы, поэтому для них опорой служат серия из 100 страниц и число буферов. Размер индекса измеряется внутри откатываемой транзакции, поэтому при повторных запусках скрипта к индексу добавляются мёртвые записи до `VACUUM` — сравнивать размеры корректно только внутри одного прогона. Два самых больших чата сформированы нагрузочными прогонами, поэтому тексты в них короткие и однотипные: на длинных текстах разрыв между A и C по размеру индекса и цене записи будет больше. Прогон без кэша выполнялся на уже подросшей таблице, поэтому отношение RPS показывает направление и порядок эффекта, а не точный коэффициент. Числа p50/p95/p99 относятся только к успешным запросам. ## Ограничения и следующие шаги -**Какие отказы выдерживаются.** Перезапуск API, PostgreSQL и Valkey с сохранением томов: подтверждённые данные и ещё действующие сессии остаются, TTL не продлевается, а уже отозванные сессии не оживают. Полная потеря Valkey: сервис продолжает работать, читая сессии из PostgreSQL, цена — падение пропускной способности примерно в 2.2 раза. Потеря соединения с БД: запросы получают 503 с `Retry-After`, пул переподключается сам, readiness честно показывает недоступность. Заморозка БД: клиентский лимит и потолок запроса не дают запросу зависнуть. +**Какие отказы выдерживаются.** Перезапуск API, PostgreSQL и Valkey с сохранением томов: подтверждённые данные и ещё действующие сессии остаются, TTL не продлевается, а уже отозванные сессии не оживают. Полная потеря Valkey: сервис продолжает работать, читая сессии из PostgreSQL, цена — падение пропускной способности примерно в 2.6 раза. Потеря соединения с БД: запросы получают 503 с `Retry-After`, пул переподключается сам, readiness честно показывает недоступность. Заморозка БД: клиентский лимит и потолок запроса не дают запросу зависнуть. **Какие отказы не выдерживаются.** PostgreSQL — единственная точка истины без реплики: при потере тома `pgdata` данные восстанавливаются только из дампа, то есть теряется всё после последнего `pg_dump`. WAL-архивирование и PITR не настроены, непрерывного бэкапа нет. API — один экземпляр, балансировщика нет (это тема lab3), поэтому его перезапуск — простой сервиса, а не бесшовное переключение. Rate limiting по пользователю и HTTPS в объём lab2 не входят. -**Учебные упрощения.** Кэш сессий намеренно volatile: это снимает риск воскрешения отозванной сессии, но после каждого рестарта Valkey первые запросы идут в базу. Logout при недоступном кэше возвращает 503 и не отзывает сессию — выход нужно повторить; альтернатива (удалить строку в БД и надеяться, что кэш очистится) давала бы окно, в котором мёртвый токен работает. Параметры Argon2id (19 МБ, t=2, p=1) выбраны по RFC 9106 как второй рекомендуемый профиль и снижены относительно умолчаний библиотеки (64 МБ), чтобы одновременные входы не съедали память контейнера. Хранение текста в `bytea` усложняет SQL-запросы к этим столбцам — это осознанная цена за точный round-trip Unicode. Данные экспериментов (`load_*` пользователи, `load chat *`) лежат в той же базе, что и smoke-данные: отдельного стенда для экспериментов нет, поэтому два самых больших чата в выборке — это чаты нагрузочных прогонов. +**Учебные упрощения.** Кэш сессий намеренно volatile: это снимает риск воскрешения отозванной сессии, но после каждого рестарта Valkey первые запросы идут в базу. Logout при недоступном кэше возвращает 503 и не отзывает сессию — выход нужно повторить; альтернатива (удалить строку в БД и надеяться, что кэш очистится) давала бы окно, в котором мёртвый токен работает. Надгробие живёт в кэше дольше самой записи о сессии — это сознательная плата за то, чтобы отзыв нельзя было отменить гонкой. Если удаление строки в базе не удалось, надгробие снимается обратно, поэтому кэш не отказывает сессии, которая в базе ещё существует. При этом клиентский таймаут не означает, что запрос не выполнился: после 503 исход отзыва честно неизвестен, и оба ответа на следующий запрос этим токеном законны. Тест `failed_logout_leaves_cache_and_database_consistent` поэтому проверяет не конкретный код ответа, а согласованность: смотрит, есть ли строка сессии в базе, и требует от API ровно соответствующего ей ответа. Параметры Argon2id (19 МБ, t=2, p=1) выбраны по RFC 9106 как второй рекомендуемый профиль и снижены относительно умолчаний библиотеки (64 МБ), чтобы одновременные входы не съедали память контейнера. Хранение текста в `bytea` усложняет SQL-запросы к этим столбцам — это осознанная цена за точный round-trip Unicode. Данные экспериментов (`load_*` пользователи, `load chat *`) лежат в той же базе, что и smoke-данные: отдельного стенда для экспериментов нет, поэтому два самых больших чата в выборке — это чаты нагрузочных прогонов. -**Что подтверждено, а что пока гипотеза.** Подтверждено измерениями: постоянная цена keyset-страницы на 120 тысячах сообщений, деградация варианта B на глубине примерно в 2300 раз, выигрыш покрывающего индекса по буферам (4 против 53) и по серии страниц, выигрыш кэша сессий по RPS и p95 при нулевом числе ошибок, полное совпадение восстановленной копии с источником и отсутствие в ней записей, подтверждённых после снимка, корректная деградация при остановке и при заморозке каждого из хранилищ, устойчивость отзыва сессии к рестарту кэша. Гипотезы, не проверенные здесь: что покрывающий индекс C дороже в записи — на этих данных разница с A укладывается в шум (0.085 с против 0.084 с), и проверять это нужно на текстах, близких к 4000 символов; что C окажется выгоднее на холодном кэше и при большом числе параллельных читателей; что `max_size=10` в пуле — оптимум (значение взято с запасом под `max_connections=50`, но под нагрузкой не подбиралось). +**Что подтверждено, а что пока гипотеза.** Подтверждено измерениями: постоянная цена keyset-страницы на 120 тысячах сообщений, деградация варианта B на глубине примерно в 2350 раз, выигрыш покрывающего индекса по буферам (4 против 53) и по серии страниц, выигрыш кэша сессий по RPS и p95 при нулевом числе ошибок, полное совпадение восстановленной копии с источником и отсутствие в ней записей, подтверждённых после снимка, корректная деградация при остановке и при заморозке каждого из хранилищ, устойчивость отзыва сессии к рестарту кэша. Гипотезы, не проверенные здесь: что покрывающий индекс C дороже в записи — на этих данных разница с A укладывается в шум (0.086 с против 0.085 с), и проверять это нужно на текстах, близких к 4000 символов; что C окажется выгоднее на холодном кэше и при большом числе параллельных читателей; что `max_size=10` в пуле — оптимум (значение взято с запасом под `max_connections=50`, но под нагрузкой не подбиралось). **Следующие шаги.** Настроить WAL-архивирование и проверить PITR с восстановлением на момент времени; добавить реплику PostgreSQL и измерить переключение; подобрать `DB_POOL_MAX` и профиль Argon2id под целевой p95; перенести эксперименты на отдельную базу; в lab3 добавить балансировщик и идемпотентность записи. diff --git a/app/config.py b/app/config.py index 83685a6f..37625df7 100644 --- a/app/config.py +++ b/app/config.py @@ -40,4 +40,8 @@ MAX_BODY_BYTES = _int("MAX_BODY_BYTES", 65536) MAX_RSS_MB = _int("MAX_RSS_MB", 0) PASSWORD_MIN = 12 PASSWORD_MAX = 128 +SESSION_REVOKED_TTL_SECONDS = max( + _int("SESSION_REVOKED_TTL_SECONDS", 60), + SESSION_CACHE_TTL_SECONDS + int(REQUEST_TIMEOUT) + 5, +) INSTANCE_ID = os.environ.get("INSTANCE_ID") or socket.gethostname() diff --git a/app/sessions.py b/app/sessions.py index c257316b..31d472f4 100644 --- a/app/sessions.py +++ b/app/sessions.py @@ -13,6 +13,8 @@ from app.errors import unavailable log = logging.getLogger("messenger.sessions") +REVOKED = "revoked" + class SessionStore: def __init__(self, db) -> None: @@ -60,6 +62,9 @@ class SessionStore: async def resolve(self, token: str) -> Optional[dict]: digest = self.digest(token) cached = await self._cache_get(digest) + if cached == REVOKED: + self.stats["hits"] += 1 + return None if cached is not None: self.stats["hits"] += 1 return cached @@ -80,9 +85,13 @@ class SessionStore: async def revoke(self, token: str) -> None: digest = self.digest(token) - await self._cache_drop(digest) - async with self.db.connection() as conn: - await conn.execute("DELETE FROM sessions WHERE token_hash = %s", (digest,)) + await self._cache_revoke(digest) + try: + async with self.db.connection() as conn: + await conn.execute("DELETE FROM sessions WHERE token_hash = %s", (digest,)) + except Exception: + await self._cache_release(digest) + raise async def sweep(self) -> int: async with self.db.connection() as conn: @@ -103,6 +112,8 @@ class SessionStore: return None if not raw: return None + if raw == REVOKED: + return REVOKED try: return json.loads(raw) except ValueError: @@ -116,17 +127,25 @@ class SessionStore: return payload = json.dumps(user) try: - await self.client.set(self.key(digest), payload, ex=ttl) + await self.client.set(self.key(digest), payload, ex=ttl, nx=True) except Exception: self._cache_failed("set") - async def _cache_drop(self, digest: bytes) -> None: + async def _cache_release(self, digest: bytes) -> None: if self.client is None: return try: await self.client.delete(self.key(digest)) except Exception: - self._cache_failed("delete") + self._cache_failed("release") + + async def _cache_revoke(self, digest: bytes) -> None: + if self.client is None: + return + try: + await self.client.set(self.key(digest), REVOKED, ex=config.SESSION_REVOKED_TTL_SECONDS) + except Exception: + self._cache_failed("revoke") raise unavailable("Кэш сессий недоступен, выход из сессии не подтверждён") from None def _cache_failed(self, operation: str) -> None: diff --git a/evidence/dependency.txt b/evidence/dependency.txt index f47c5c87..905ffa98 100644 --- a/evidence/dependency.txt +++ b/evidence/dependency.txt @@ -1,8 +1,8 @@ === 1. Останавливаю кэш сессий (valkey) === Container mtusi-lab2-valkey-1 Stopping Container mtusi-lab2-valkey-1 Stopped -api Up 31 seconds (healthy) -postgres Up 37 seconds (unhealthy) +api Up 40 seconds (healthy) +postgres Up 46 seconds (unhealthy) PASS login_and_read_work_without_cache PASS unknown_token_is_still_rejected PASS readiness_ignores_the_cache @@ -13,7 +13,7 @@ PASS readiness_ignores_the_cache === 2. Останавливаю PostgreSQL === Container mtusi-lab2-postgres-1 Stopping Container mtusi-lab2-postgres-1 Stopped -api Up 32 seconds (healthy) +api Up 41 seconds (healthy) valkey Up Less than a second (health: starting) PASS readiness_reports_the_outage PASS writes_fail_with_503 @@ -24,6 +24,6 @@ PASS login_fails_closed Container mtusi-lab2-postgres-1 Started === 3. Состояние восстановлено === -api Up 38 seconds (healthy) -postgres Up 3 seconds (health: starting) -valkey Up 7 seconds (healthy) +api Up 44 seconds (healthy) +postgres Up Less than a second (health: starting) +valkey Up 3 seconds (health: starting) diff --git a/evidence/explain-10k.txt b/evidence/explain-10k.txt index 967e5acc..66941c23 100644 --- a/evidence/explain-10k.txt +++ b/evidence/explain-10k.txt @@ -7,7 +7,7 @@ valkey valkey/valkey:8.1-alpine@sha256:081c2f5cb575efc901aa80ff9cdbd1ec6a301682f === Засев 10000 сообщений с неравномерными чатами === seed_duration | seeded_rows | target_total | messages_total -----------------+-------------+--------------+---------------- - 00:00:00.000975 | 0 | 10000 | 52887 + 00:00:00.001099 | 0 | 10000 | 53293 (1 row) @@ -19,70 +19,70 @@ valkey valkey/valkey:8.1-alpine@sha256:081c2f5cb575efc901aa80ff9cdbd1ec6a301682f messages_total | chats_with_messages | table_size | indexes_size ----------------+---------------------+------------+-------------- - 52887 | 14 | 5280 kB | 7024 kB + 53293 | 14 | 5320 kB | 7152 kB (1 row) --- распределение истории по чатам: 5 самых больших и 5 самых маленьких --- chat_id | rows --------------------------------------+------- - 174a0477-1fd5-47a9-ab90-ee8b7ef903af | 36305 - fb87d20c-528a-4bb7-9cd5-e1d4486bdfca | 16537 - 3e751b33-08b7-4433-a2be-bb355af7bf62 | 25 - 11bd8f2b-db27-4c63-89f0-469ee53c6cad | 5 - 30e5554f-e2e0-411e-b5bd-ab86e1fd9c5f | 3 + 69ee7d45-68b4-4606-befe-efaeecdedd32 | 38293 + e95dc135-101e-442f-baf7-b21f0ed7edaf | 14955 + 20948a76-f794-4765-9fcc-7a9ebccafd2e | 25 + b2bd268f-f9b6-40fb-8039-1bde44c0f9ee | 5 + f4d3517a-4afa-4461-a4fc-16c6302f3d7c | 3 (5 rows) chat_id | rows --------------------------------------+------ - b490286c-39b8-4940-92cf-23817def915a | 1 - 6fc32369-98df-4387-b07f-00dfa6e0b391 | 1 - f4c1fdcc-0ddd-4fb5-a962-c8901deac9e2 | 1 - 903d0035-1bda-4ac6-9fbf-52f28fe0b94c | 1 - fb6df905-d5d2-4300-b74f-1f0196f9e2b0 | 1 + 6dbc6664-e048-4858-9ce5-f507afb9fd7c | 1 + ac1c8e3d-4e29-44fc-b770-d3ef6f2351ae | 1 + 5a65b658-2555-4ac9-b10a-9a081f81f37b | 1 + 17c53c09-19a0-4c0c-87f8-2f8c66468119 | 1 + 451812c7-05dc-4b1d-9ddb-3679c4ccd15f | 1 (5 rows) --- A. keyset, первая страница самого большого чата --- QUERY PLAN ---------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=0.41..5.46 rows=50 width=67) (actual time=0.005..0.011 rows=50 loops=1) - Buffers: shared hit=21 - -> Index Scan using messages_history_idx on messages (cost=0.41..3662.26 rows=36288 width=67) (actual time=0.005..0.009 rows=50 loops=1) - Index Cond: (chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) - Buffers: shared hit=21 + Limit (cost=0.41..5.43 rows=50 width=67) (actual time=0.005..0.013 rows=50 loops=1) + Buffers: shared hit=24 + -> Index Scan using messages_history_idx on messages (cost=0.41..3813.50 rows=38014 width=67) (actual time=0.005..0.010 rows=50 loops=1) + Index Cond: (chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) + Buffers: shared hit=24 Planning: Buffers: shared hit=8 - Planning Time: 0.049 ms - Execution Time: 0.018 ms + Planning Time: 0.036 ms + Execution Time: 0.021 ms (9 rows) --- B. keyset, страница на глубине 90% истории (так работает cursor API) --- QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=0.41..8.17 rows=50 width=67) (actual time=0.006..0.014 rows=50 loops=1) - Buffers: shared hit=54 - -> Index Scan using messages_history_idx on messages (cost=0.41..2148.72 rows=13857 width=67) (actual time=0.005..0.012 rows=50 loops=1) - Index Cond: ((chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) AND (ROW(created_at, id) > ROW('2026-10-23 14:37:21.481035+00'::timestamp with time zone, 'b34cffc1-608f-4281-89b6-d598a0000a8d'::uuid))) - Buffers: shared hit=54 - Planning Time: 0.022 ms - Execution Time: 0.034 ms + Limit (cost=0.41..8.31 rows=50 width=67) (actual time=0.006..0.013 rows=50 loops=1) + Buffers: shared hit=53 + -> Index Scan using messages_history_idx on messages (cost=0.41..2141.23 rows=13555 width=67) (actual time=0.006..0.011 rows=50 loops=1) + Index Cond: ((chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) AND (ROW(created_at, id) > ROW('2026-10-23 20:11:34.584521+00'::timestamp with time zone, 'aa6010bb-02c6-4d17-986b-0f5103547576'::uuid))) + Buffers: shared hit=53 + Planning Time: 0.023 ms + Execution Time: 0.032 ms (7 rows) --- C. OFFSET на той же глубине (так API не делает: цена растёт со страницей) --- QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=3297.57..3302.61 rows=50 width=67) (actual time=4.132..4.139 rows=50 loops=1) - Buffers: shared hit=33082 - -> Index Scan using messages_history_idx on messages (cost=0.41..3662.26 rows=36288 width=67) (actual time=0.012..3.519 rows=32724 loops=1) - Index Cond: (chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) - Buffers: shared hit=33082 - Planning Time: 0.020 ms - Execution Time: 4.146 ms + Limit (cost=3457.31..3462.32 rows=50 width=67) (actual time=4.463..4.470 rows=50 loops=1) + Buffers: shared hit=34920 + -> Index Scan using messages_history_idx on messages (cost=0.41..3813.50 rows=38014 width=67) (actual time=0.005..3.799 rows=34513 loops=1) + Index Cond: (chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) + Buffers: shared hit=34920 + Planning Time: 0.016 ms + Execution Time: 4.476 ms (7 rows) --- индексы таблицы messages --- index | size | scans ----------------------+---------+------- - messages_history_idx | 4720 kB | 12 - messages_pkey | 2304 kB | 0 + messages_history_idx | 4832 kB | 12 + messages_pkey | 2320 kB | 0 (2 rows) diff --git a/evidence/git-hygiene.txt b/evidence/git-hygiene.txt index df9f81d7..6efc6fba 100644 --- a/evidence/git-hygiene.txt +++ b/evidence/git-hygiene.txt @@ -1,19 +1,19 @@ - M REPORT.md - M app/sessions.py - M evidence/dependency.txt - M evidence/explain-10k.txt - M evidence/git-hygiene.txt - M evidence/load-cache.json - M evidence/load-nocache.json - M evidence/load.txt - M evidence/migrations.txt - M evidence/outages.txt - M evidence/persistence.txt - M evidence/stand.txt - M evidence/track2/run.txt - M scripts/bootstrap.sh - M student-tests/evidence.sh - M student-tests/test_outages.py +M .env.example +MM REPORT.md +M app/config.py +MM app/sessions.py +MM evidence/dependency.txt +MM evidence/explain-10k.txt +MM evidence/git-hygiene.txt +MM evidence/load-cache.json +MM evidence/load-nocache.json +MM evidence/load.txt +MM evidence/migrations.txt +MM evidence/outages.txt +MM evidence/persistence.txt +MM evidence/stand.txt +MM evidence/track2/run.txt +MM student-tests/test_outages.py --- правила игнорирования --- .gitignore:2:.env .env .gitignore:5:secrets/ secrets/database_url diff --git a/evidence/load-cache.json b/evidence/load-cache.json index 47bf2fb9..9a772232 100644 --- a/evidence/load-cache.json +++ b/evidence/load-cache.json @@ -2,16 +2,16 @@ "lab": 2, "workload": "closed-loop POST messages; no automatic retries", "requested_duration_seconds": 30.0, - "elapsed_seconds": 30.013, + "elapsed_seconds": 30.011, "concurrency": 4, - "successful_requests": 36305, + "successful_requests": 38293, "failed_requests": 0, "error_ratio": 0.0, - "successful_rps": 1209.659, + "successful_rps": 1275.96, "successful_latency_ms": { - "p50": 3.13, - "p95": 4.568, - "p99": 6.509 + "p50": 2.933, + "p95": 4.335, + "p99": 7.548 }, "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." } diff --git a/evidence/load-nocache.json b/evidence/load-nocache.json index 660666da..39c7a958 100644 --- a/evidence/load-nocache.json +++ b/evidence/load-nocache.json @@ -2,16 +2,16 @@ "lab": 2, "workload": "closed-loop POST messages; no automatic retries", "requested_duration_seconds": 30.0, - "elapsed_seconds": 30.016, + "elapsed_seconds": 30.017, "concurrency": 4, - "successful_requests": 16537, + "successful_requests": 14955, "failed_requests": 0, "error_ratio": 0.0, - "successful_rps": 550.943, + "successful_rps": 498.216, "successful_latency_ms": { - "p50": 6.908, - "p95": 9.405, - "p99": 12.388 + "p50": 7.457, + "p95": 11.462, + "p99": 14.472 }, "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." } diff --git a/evidence/load.txt b/evidence/load.txt index 11b0fe6d..d93fb9a2 100644 --- a/evidence/load.txt +++ b/evidence/load.txt @@ -2,16 +2,16 @@ "lab": 2, "workload": "closed-loop POST messages; no automatic retries", "requested_duration_seconds": 30.0, - "elapsed_seconds": 30.013, + "elapsed_seconds": 30.011, "concurrency": 4, - "successful_requests": 36305, + "successful_requests": 38293, "failed_requests": 0, "error_ratio": 0.0, - "successful_rps": 1209.659, + "successful_rps": 1275.96, "successful_latency_ms": { - "p50": 3.13, - "p95": 4.568, - "p99": 6.509 + "p50": 2.933, + "p95": 4.335, + "p99": 7.548 }, "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." } @@ -19,16 +19,16 @@ "lab": 2, "workload": "closed-loop POST messages; no automatic retries", "requested_duration_seconds": 30.0, - "elapsed_seconds": 30.016, + "elapsed_seconds": 30.017, "concurrency": 4, - "successful_requests": 16537, + "successful_requests": 14955, "failed_requests": 0, "error_ratio": 0.0, - "successful_rps": 550.943, + "successful_rps": 498.216, "successful_latency_ms": { - "p50": 6.908, - "p95": 9.405, - "p99": 12.388 + "p50": 7.457, + "p95": 11.462, + "p99": 14.472 }, "note": "Latency percentiles cover successes only. Timeouts/errors are counted separately; closed-loop has coordinated omission and client overhead." } diff --git a/evidence/migrations.txt b/evidence/migrations.txt index f2ce92aa..53210d27 100644 --- a/evidence/migrations.txt +++ b/evidence/migrations.txt @@ -5,8 +5,8 @@ migrate-1 | migrations complete: 1 file(s) Container mtusi-lab2-postgres-1 Running Container mtusi-lab2-postgres-1 Waiting Container mtusi-lab2-postgres-1 Healthy - Container mtusi-lab2-migrate-run-6c5706582141 Creating - Container mtusi-lab2-migrate-run-6c5706582141 Created + Container mtusi-lab2-migrate-run-003b830c021a Creating + Container mtusi-lab2-migrate-run-003b830c021a Created skip 0001_init migrations complete: 1 file(s) --- схема --- @@ -30,6 +30,6 @@ Access method: heap version | checksum | applied_at -----------+------------------------------------------------------------------+------------------------------- - 0001_init | 4fd0a8c68a5cffd3ae67a21646eb1928477d18b8716e68c1220469d858ccb9c1 | 2026-10-23 14:36:13.656522+00 + 0001_init | 4fd0a8c68a5cffd3ae67a21646eb1928477d18b8716e68c1220469d858ccb9c1 | 2026-10-23 20:10:21.263237+00 (1 row) diff --git a/evidence/outages.txt b/evidence/outages.txt index 7e7b0c00..0bca96b3 100644 --- a/evidence/outages.txt +++ b/evidence/outages.txt @@ -3,5 +3,7 @@ PASS logout_is_not_confirmed_while_cache_is_down PASS cached_sessions_do_not_cross_users PASS cache_is_repopulated_after_a_miss PASS cache_survives_its_own_restart +PASS revoked_session_cannot_be_resurrected_by_a_race +PASS failed_logout_leaves_cache_and_database_consistent PASS hung_database_fails_fast -6/6 checks passed +8/8 checks passed diff --git a/evidence/persistence.txt b/evidence/persistence.txt index 28cd5941..132c670c 100644 --- a/evidence/persistence.txt +++ b/evidence/persistence.txt @@ -1,7 +1,7 @@ --- состояние контейнеров до рестарта --- -api Up 39 seconds (healthy) -postgres Up 3 seconds (health: starting) -valkey Up 7 seconds (healthy) +api Up 44 seconds (healthy) +postgres Up Less than a second (health: starting) +valkey Up 3 seconds (health: starting) python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://localhost:8080" Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. @@ -10,9 +10,9 @@ api Up Less than a second (health: starting) postgres Up Less than a second (health: starting) valkey Up Less than a second (health: starting) --- логи postgres о перезапуске --- -postgres-1 | 2026-10-23 14:36:53.364 UTC [1] LOG: starting PostgreSQL 17.7 on aarch64-unknown-linux-musl, compiled by gcc (Alpine 15.2.0) 15.2.0, 64-bit -postgres-1 | 2026-10-23 14:36:53.364 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432 -postgres-1 | 2026-10-23 14:36:53.364 UTC [1] LOG: listening on IPv6 address "::", port 5432 -postgres-1 | 2026-10-23 14:36:53.364 UTC [1] LOG: listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432" -postgres-1 | 2026-10-23 14:36:53.366 UTC [29] LOG: database system was shut down at 2026-10-23 14:36:53 UTC -postgres-1 | 2026-10-23 14:36:53.368 UTC [1] LOG: database system is ready to accept connections +postgres-1 | 2026-10-23 20:11:06.649 UTC [1] LOG: starting PostgreSQL 17.7 on aarch64-unknown-linux-musl, compiled by gcc (Alpine 15.2.0) 15.2.0, 64-bit +postgres-1 | 2026-10-23 20:11:06.649 UTC [1] LOG: listening on IPv4 address "0.0.0.0", port 5432 +postgres-1 | 2026-10-23 20:11:06.649 UTC [1] LOG: listening on IPv6 address "::", port 5432 +postgres-1 | 2026-10-23 20:11:06.650 UTC [1] LOG: listening on Unix socket "/var/run/postgresql/.s.PGSQL.5432" +postgres-1 | 2026-10-23 20:11:06.652 UTC [29] LOG: database system was shut down at 2026-10-23 20:11:06 UTC +postgres-1 | 2026-10-23 20:11:06.654 UTC [1] LOG: database system is ready to accept connections diff --git a/evidence/stand.txt b/evidence/stand.txt index 7d25bad0..9645d169 100644 --- a/evidence/stand.txt +++ b/evidence/stand.txt @@ -8,9 +8,9 @@ PostgreSQL 17.7 on aarch64-unknown-linux-musl, compiled by gcc (Alpine 15.2.0) 1 Valkey server v=8.1.10 sha=00000000:1 malloc=jemalloc-5.3.0 bits=64 build=2cb63ac0e4567989 --- строка старта API: действующие лимиты и TTL --- api-1 | INFO: Waiting for application startup. -api-1 | 2026-10-23 14:36:14,347 INFO messenger started: instance=9b4feca99e44 session_store=postgres session_ttl=3600 cache_ttl=30 pool=1..10 max_inflight=64 max_body=65536 +api-1 | 2026-10-23 20:10:21,987 INFO messenger started: instance=b9f88891f2b8 session_store=postgres session_ttl=3600 cache_ttl=30 pool=1..10 max_inflight=64 max_body=65536 api-1 | INFO: Application startup complete. api-1 | INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit) -api-1 | INFO: 172.18.0.1:56506 - "GET /health/ready HTTP/1.1" 200 OK +api-1 | INFO: 172.18.0.1:57028 - "GET /health/ready HTTP/1.1" 200 OK --- сверка .env с .env.example --- ready: .env and secrets/ created locally; they stay out of Git diff --git a/evidence/track2/run.txt b/evidence/track2/run.txt index 3e5e8e7d..cd55a8eb 100644 --- a/evidence/track2/run.txt +++ b/evidence/track2/run.txt @@ -8,7 +8,7 @@ Docker version 29.7.2, build a7dcaa6 === 1. Засев истории: цель 120000 сообщений, чаты неравномерные === seed_duration | seeded_rows | target_total | messages_total -----------------+-------------+--------------+---------------- - 00:00:00.616654 | 67113 | 120000 | 120000 + 00:00:00.637022 | 66707 | 120000 | 120000 (1 row) @@ -26,15 +26,15 @@ Docker version 29.7.2, build a7dcaa6 QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=0.42..47.47 rows=50 width=90) (actual time=0.009..0.020 rows=50 loops=1) - Buffers: shared hit=54 - -> Index Scan using messages_history_idx on messages (cost=0.42..6827.62 rows=7255 width=90) (actual time=0.008..0.018 rows=50 loops=1) - Index Cond: ((chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) AND (ROW(created_at, id) > ROW('2026-10-23 14:37:21.481035+00'::timestamp with time zone, 'b34cffc1-608f-4281-89b6-d598a0000a8d'::uuid))) - Buffers: shared hit=54 + Limit (cost=0.42..52.46 rows=50 width=89) (actual time=0.015..0.024 rows=50 loops=1) + Buffers: shared hit=53 + -> Index Scan using messages_history_idx on messages (cost=0.42..7478.52 rows=7184 width=89) (actual time=0.014..0.021 rows=50 loops=1) + Index Cond: ((chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) AND (ROW(created_at, id) > ROW('2026-10-23 20:11:34.584521+00'::timestamp with time zone, 'aa6010bb-02c6-4d17-986b-0f5103547576'::uuid))) + Buffers: shared hit=53 Planning: Buffers: shared hit=19 - Planning Time: 0.086 ms - Execution Time: 0.042 ms + Planning Time: 0.097 ms + Execution Time: 0.047 ms (9 rows) pages_measured @@ -44,46 +44,46 @@ Docker version 29.7.2, build a7dcaa6 hundred_pages_duration ------------------------ - 00:00:00.00105 + 00:00:00.001077 (1 row) insert_10k_duration --------------------- - 00:00:00.083522 + 00:00:00.085221 (1 row) ############ Вариант B: только (chat_id) ############ index_size ------------ - 848 kB + 856 kB (1 row) QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------ - Limit (cost=3231.76..3231.89 rows=50 width=90) (actual time=1.856..1.860 rows=50 loops=1) - Buffers: shared hit=451 read=33 - I/O Timings: shared read=0.074 - -> Sort (cost=3231.76..3249.63 rows=7146 width=90) (actual time=1.855..1.857 rows=50 loops=1) + Limit (cost=3274.42..3274.55 rows=50 width=90) (actual time=2.027..2.031 rows=50 loops=1) + Buffers: shared hit=475 read=35 + I/O Timings: shared read=0.088 + -> Sort (cost=3274.42..3292.14 rows=7088 width=90) (actual time=2.026..2.028 rows=50 loops=1) Sort Key: created_at, id Sort Method: top-N heapsort Memory: 33kB - Buffers: shared hit=451 read=33 - I/O Timings: shared read=0.074 - -> Bitmap Heap Scan on messages (cost=408.67..2994.38 rows=7146 width=90) (actual time=1.514..1.710 rows=3630 loops=1) - Recheck Cond: (chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) - Filter: (ROW(created_at, id) > ROW('2026-10-23 14:37:21.481035+00'::timestamp with time zone, 'b34cffc1-608f-4281-89b6-d598a0000a8d'::uuid)) - Rows Removed by Filter: 32675 - Heap Blocks: exact=451 - Buffers: shared hit=451 read=33 - I/O Timings: shared read=0.074 - -> Bitmap Index Scan on messages_chat_only_idx (cost=0.00..406.88 rows=36612 width=0) (actual time=0.362..0.362 rows=36305 loops=1) - Index Cond: (chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) - Buffers: shared read=33 - I/O Timings: shared read=0.074 + Buffers: shared hit=475 read=35 + I/O Timings: shared read=0.088 + -> Bitmap Heap Scan on messages (cost=428.23..3038.96 rows=7088 width=90) (actual time=1.631..1.839 rows=3829 loops=1) + Recheck Cond: (chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) + Filter: (ROW(created_at, id) > ROW('2026-10-23 20:11:34.584521+00'::timestamp with time zone, 'aa6010bb-02c6-4d17-986b-0f5103547576'::uuid)) + Rows Removed by Filter: 34464 + Heap Blocks: exact=475 + Buffers: shared hit=475 read=35 + I/O Timings: shared read=0.088 + -> Bitmap Index Scan on messages_chat_only_idx (cost=0.00..426.46 rows=38156 width=0) (actual time=0.397..0.397 rows=38293 loops=1) + Index Cond: (chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) + Buffers: shared read=35 + I/O Timings: shared read=0.088 Planning: - Buffers: shared hit=28 read=1 + Buffers: shared hit=27 read=1 I/O Timings: shared read=0.009 - Planning Time: 0.126 ms - Execution Time: 1.879 ms + Planning Time: 0.123 ms + Execution Time: 2.056 ms (24 rows) pages_measured @@ -93,12 +93,12 @@ Docker version 29.7.2, build a7dcaa6 hundred_pages_duration ------------------------ - 00:00:02.460907 + 00:00:02.52905 (1 row) insert_10k_duration --------------------- - 00:00:00.077769 + 00:00:00.080589 (1 row) ############ Вариант C: (chat_id, created_at, id) INCLUDE (sender_id, text) ############ @@ -109,19 +109,19 @@ Docker version 29.7.2, build a7dcaa6 QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (cost=0.42..43.36 rows=50 width=90) (actual time=0.039..0.045 rows=50 loops=1) + Limit (cost=0.42..45.99 rows=50 width=89) (actual time=0.014..0.018 rows=50 loops=1) Buffers: shared hit=1 read=3 - I/O Timings: shared read=0.012 - -> Index Only Scan using messages_history_covering_idx on messages (cost=0.42..6095.87 rows=7098 width=90) (actual time=0.038..0.041 rows=50 loops=1) - Index Cond: ((chat_id = '174a0477-1fd5-47a9-ab90-ee8b7ef903af'::uuid) AND (ROW(created_at, id) > ROW('2026-10-23 14:37:21.481035+00'::timestamp with time zone, 'b34cffc1-608f-4281-89b6-d598a0000a8d'::uuid))) + I/O Timings: shared read=0.005 + -> Index Only Scan using messages_history_covering_idx on messages (cost=0.42..6560.61 rows=7197 width=89) (actual time=0.013..0.015 rows=50 loops=1) + Index Cond: ((chat_id = '69ee7d45-68b4-4606-befe-efaeecdedd32'::uuid) AND (ROW(created_at, id) > ROW('2026-10-23 20:11:34.584521+00'::timestamp with time zone, 'aa6010bb-02c6-4d17-986b-0f5103547576'::uuid))) Heap Fetches: 0 Buffers: shared hit=1 read=3 - I/O Timings: shared read=0.012 + I/O Timings: shared read=0.005 Planning: - Buffers: shared hit=29 read=1 - I/O Timings: shared read=0.007 - Planning Time: 0.144 ms - Execution Time: 0.056 ms + Buffers: shared hit=28 read=1 + I/O Timings: shared read=0.003 + Planning Time: 0.118 ms + Execution Time: 0.027 ms (13 rows) pages_measured @@ -131,12 +131,12 @@ Docker version 29.7.2, build a7dcaa6 hundred_pages_duration ------------------------ - 00:00:00.000723 + 00:00:00.000734 (1 row) insert_10k_duration --------------------- - 00:00:00.085783 + 00:00:00.08596 (1 row) ############ Схема после эксперимента (ROLLBACK вернул индексы) ############ @@ -147,7 +147,7 @@ Docker version 29.7.2, build a7dcaa6 (2 rows) -Самый большой чат: 174a0477-1fd5-47a9-ab90-ee8b7ef903af +Самый большой чат: 69ee7d45-68b4-4606-befe-efaeecdedd32 === 3. Состояние источника до бэкапа === relation | rows @@ -156,19 +156,19 @@ Docker version 29.7.2, build a7dcaa6 chats | 68 messages | 120000 sessions | 45 - users | 76 + users | 78 (5 rows) big_chat_rows | big_chat_md5 ---------------+---------------------------------- - 36305 | 1841fdf890f6207bc78cb973bedeec27 + 38293 | f18725746ed1acbdda044e804cdc4c7c (1 row) id | created_at | text --------------------------------------+-------------------------------+---------- - 1d15f9ed-952e-45e7-9553-dcd3bc3dd76e | 2026-10-23 14:36:54.449674+00 | load-2-0 - 4bc8c702-07e1-42d2-be14-8cdd6dad31a7 | 2026-10-23 14:36:54.450312+00 | load-0-0 - 3993ceca-7c29-400d-a1e9-287137672829 | 2026-10-23 14:36:54.450773+00 | load-1-0 + 39cb2935-f53c-4e54-a75d-8b197126a6b4 | 2026-10-23 20:11:07.699544+00 | load-3-0 + 62d3d8a1-fdaa-4a6c-812f-79ef268ada42 | 2026-10-23 20:11:07.700168+00 | load-1-0 + 4fa775f1-6033-4d84-9e6c-0f39844e6201 | 2026-10-23 20:11:07.700828+00 | load-0-0 (3 rows) marker_rows @@ -178,7 +178,7 @@ Docker version 29.7.2, build a7dcaa6 === 4. Бэкап pg_dump -Fc === -backup_seconds=0.741 +backup_seconds=0.743 dump_size=5.7M === 5. Запись после бэкапа: граница потери данных === @@ -188,7 +188,7 @@ dump_size=5.7M /var/run/postgresql:5432 - accepting connections === 7. Восстановление в новое хранилище === -restore_seconds=0.357 +restore_seconds=0.354 === 8. Сверка восстановленной копии === relation | rows @@ -197,19 +197,19 @@ restore_seconds=0.357 chats | 68 messages | 120000 sessions | 45 - users | 76 + users | 78 (5 rows) big_chat_rows | big_chat_md5 ---------------+---------------------------------- - 36305 | 1841fdf890f6207bc78cb973bedeec27 + 38293 | f18725746ed1acbdda044e804cdc4c7c (1 row) id | created_at | text --------------------------------------+-------------------------------+---------- - 1d15f9ed-952e-45e7-9553-dcd3bc3dd76e | 2026-10-23 14:36:54.449674+00 | load-2-0 - 4bc8c702-07e1-42d2-be14-8cdd6dad31a7 | 2026-10-23 14:36:54.450312+00 | load-0-0 - 3993ceca-7c29-400d-a1e9-287137672829 | 2026-10-23 14:36:54.450773+00 | load-1-0 + 39cb2935-f53c-4e54-a75d-8b197126a6b4 | 2026-10-23 20:11:07.699544+00 | load-3-0 + 62d3d8a1-fdaa-4a6c-812f-79ef268ada42 | 2026-10-23 20:11:07.700168+00 | load-1-0 + 4fa775f1-6033-4d84-9e6c-0f39844e6201 | 2026-10-23 20:11:07.700828+00 | load-0-0 (3 rows) marker_rows @@ -219,9 +219,9 @@ restore_seconds=0.357 === 9. Итог === -backup_seconds=0.741 restore_seconds=0.357 +backup_seconds=0.743 restore_seconds=0.354 messages_source_without_marker=120000 messages_restored=120000 -big_chat_md5_source=1841fdf890f6207bc78cb973bedeec27 -big_chat_md5_restored=1841fdf890f6207bc78cb973bedeec27 +big_chat_md5_source=f18725746ed1acbdda044e804cdc4c7c +big_chat_md5_restored=f18725746ed1acbdda044e804cdc4c7c RESULT: восстановленная копия совпадает с источником на момент бэкапа маркеров после бэкапа в восстановленной копии: 0 (ожидается 0: всё, что подтверждено после снимка, в дампе отсутствует) diff --git a/student-tests/test_outages.py b/student-tests/test_outages.py index cc5b63cb..d179dc7b 100644 --- a/student-tests/test_outages.py +++ b/student-tests/test_outages.py @@ -3,6 +3,7 @@ import hashlib import pathlib import subprocess +import threading import time from common import arguments, call, chat_with, expect, member, run @@ -25,6 +26,15 @@ def session_key(token): return "session:" + hashlib.sha256(token.encode("utf-8")).hexdigest() +def session_rows(token): + digest = hashlib.sha256(token.encode("utf-8")).hexdigest() + done = subprocess.run( + COMPOSE + ["exec", "-T", "postgres", "psql", "-U", "messenger", "-d", "messenger", "-t", "-A", + "-c", "select count(*) from sessions where token_hash = '\\x%s'::bytea" % digest], + cwd=str(ROOT), capture_output=True, text=True, check=True) + return int(done.stdout.strip()) + + def wait_ready(base, seconds=90): deadline = time.monotonic() + seconds while time.monotonic() < deadline: @@ -122,12 +132,80 @@ def cache_survives_its_own_restart(base): expect(valkey("exists", key) == "1", "после рестарта кэш больше не наполняется") +def revoked_session_cannot_be_resurrected_by_a_race(base): + actor = member(base, "race") + token = actor["token"] + key = session_key(token) + digest = hashlib.sha256(token.encode("utf-8")).hexdigest() + expect(call(base, "GET", "/api/v1/users/me", token=token)["status"] == 200, "свежая сессия не работает") + expect(valkey("exists", key) == "1", "после входа сессии нет в кэше") + + holder = subprocess.Popen( + COMPOSE + ["exec", "-T", "postgres", "psql", "-U", "messenger", "-d", "messenger", "-X", "-q"], + cwd=str(ROOT), stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True, + ) + holder.stdin.write("BEGIN;\nSELECT 1 FROM sessions WHERE token_hash = '\\x%s'::bytea FOR UPDATE;\n" % digest) + holder.stdin.flush() + time.sleep(0.5) + + outcome = {} + + def logout(): + outcome["status"] = call(base, "DELETE", "/api/v1/auth/sessions/current", token=token, timeout=30)["status"] + + worker = threading.Thread(target=logout) + worker.start() + try: + deadline = time.monotonic() + 5 + while time.monotonic() < deadline and valkey("get", key).startswith("{"): + time.sleep(0.05) + during = call(base, "GET", "/api/v1/users/me", token=token) + finally: + holder.stdin.write("COMMIT;\n\\q\n") + holder.stdin.flush() + holder.wait(timeout=15) + worker.join(timeout=30) + + expect(outcome.get("status") == 204, "logout вернул %s вместо 204" % outcome.get("status")) + after = call(base, "GET", "/api/v1/users/me", token=token) + expect(after["status"] == 401, + "после подтверждённого logout токен ожил: /users/me дал %s, ttl ключа %s (запрос во время гонки дал %s)" + % (after["status"], valkey("ttl", key), during["status"])) + wrote = call(base, "GET", "/api/v1/chats", token=token) + expect(wrote["status"] == 401, "отозванный токен всё ещё читает список чатов: %s" % wrote["status"]) + + +def failed_logout_leaves_cache_and_database_consistent(base): + actor = member(base, "rollback") + token = actor["token"] + key = session_key(token) + expect(call(base, "GET", "/api/v1/users/me", token=token)["status"] == 200, "свежая сессия не работает") + compose("pause", "postgres") + try: + refused = call(base, "DELETE", "/api/v1/auth/sessions/current", token=token, timeout=60) + expect(refused["status"] == 503, "logout при недоступной базе дал %s вместо 503" % refused["status"]) + finally: + compose("unpause", "postgres") + wait_ready(base) + expect(valkey("get", key) != "revoked", "неподтверждённый logout оставил надгробие в кэше") + rows = session_rows(token) + answer = call(base, "GET", "/api/v1/users/me", token=token)["status"] + if rows == 1: + expect(answer == 200, "строка сессии в базе есть, но API отвечает %s" % answer) + expect(call(base, "DELETE", "/api/v1/auth/sessions/current", token=token)["status"] == 204, "повторный logout не прошёл") + expect(call(base, "GET", "/api/v1/users/me", token=token)["status"] == 401, "после подтверждённого logout токен жив") + else: + expect(answer == 401, "строки сессии в базе нет, но API отвечает %s" % answer) + + TESTS = [ revoked_session_stays_revoked_after_cache_restart, logout_is_not_confirmed_while_cache_is_down, cached_sessions_do_not_cross_users, cache_is_repopulated_after_a_miss, cache_survives_its_own_restart, + revoked_session_cannot_be_resurrected_by_a_race, + failed_logout_leaves_cache_and_database_consistent, hung_database_fails_fast, ]