Forward final lab3 session security and validation fixes

This commit is contained in:
Artyom
2026-11-06 12:07:00 +03:00
parent f0fc084fbb
commit 75b93bbba5
41 changed files with 2864 additions and 28 deletions
+4
View File
@@ -56,6 +56,10 @@ make down # остановка без удаления д
## Правила работы с репозиторием
- Поздние исправления ЛР3 перенесены из immutable snapshot `ba78cf6da439a4ec60fd59389583b38285b0b2b1`; диапазон от `f591fa64e525679a31c9db7f942d36c789e1a12f` и применимость evidence описаны в `evidence/forward-port.md`.
- Только свой Compose project `mtusi2026lab4` либо `hlpipe-lab4-*` под разрешённым working_dir; HTTP 18084, остальные host-порты 24000–24999. `NO_PROXY` и `no_proxy`: localhost,127.0.0.1,::1. Чужие контейнеры не останавливать, WIP и volumes сохранять. Совместный Docker допустим; эксклюзивность только в финальном release.
- Runner управляет этапами и агентами: реализация 3→4→5 и evidence → review/fix при major → report → нагрузка/публикация. Самостоятельных агентов, push и Telegram нет; runner/state не менять. Публикация только в разрешённой фазе в private MTUCI-Labs.
- Исправлять критичное: major — доказанная угроза безопасности, данным, доступности или неработающий обязательный сценарий. Прочие minor остаются в findings и ограничениях REPORT и не блокируют этап. Пригодные измерения сохраняются; повторяется только затронутая или признанная непригодной серия с указанной причиной и фоном нагрузки.
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
- Код — `src/messenger/`, миграции — `alembic/versions/NNNN_*.py`, конфигурация LB, нагрузки и S3 — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
- PostgreSQL — SQLAlchemy 2 async с asyncpg как драйвером; ORM-модели внутри зон, Alembic принимает legacy-схему только после сверки журнала и каталога.
File diff suppressed because it is too large Load Diff
+52
View File
@@ -0,0 +1,52 @@
# Поздний перенос ЛР3 → ЛР4
Исходный source SHA: `f591fa64e525679a31c9db7f942d36c789e1a12f`.
Финальный source SHA: `ba78cf6da439a4ec60fd59389583b38285b0b2b1`.
Источник только immutable snapshot `lab3-ba78cf6da439a4ec60fd59389583b38285b0b2b1`
в `.pipeline/.runs/labs/snapshots/`; изменяемый каталог ЛР3 не использован.
База ЛР4: `d7478726a85791c21e065d58f610735a9e687433`, чистое дерево до начала.
План зафиксирован в `f0fc084`; change `forward-lab3-final-review-fixes`.
Полный список всех 214 изменённых файлов, их source blob и решение для каждого:
[manifest](forward-final-2026-11-06/source-manifest.json). Неучтённых путей нет.
## Применимые исправления
| Источник | Файлы ЛР4 | Решение |
| --- | --- | --- |
| `2af24d7`: отзыв сессии и потеря кэша | identity/application/handlers.py; identity/infrastructure/postgres.py, valkey.py | DELETE в транзакции до инвалидации, FOR KEY SHARE при cache miss, nonce reservation и атомарные Lua. Закрывает возврат отозванного токена при flush/evict/replacement и до COMMIT. |
| `2af24d7`: JSON ошибок LB | infra/haproxy/haproxy.cfg | json(ascii) для поля request_id в 502/503/504; заголовок сохранён. Буферы, таймауты и политика POST/upload ЛР4 не затронуты. |
| `e66e2d7`: NUL | identity/domain/values.py; identity/entrypoints/authentication.py; messaging/domain/values.py | Отклонение до SQL, 400 для display_name/title/text, 401 для Basic username. MessageText вручную объединён: text="" с вложением по-прежнему допустим. |
| `7e19d4e`: non-ASCII Basic | identity/entrypoints/authentication.py | Проверка encoded.isascii до Base64, одинаковый 401 вместо 500. |
| Регрессии источника | student-tests/api/test_cache.py, test_sessions.py, test_nul_validation.py; unit/test_authentication.py, test_haproxy_errors.py, test_nul_inputs.py, test_session_cache.py | Перенесены все 7 файлов; проверяют гонки, rollback, TTL, NUL, malformed Basic и JSON ошибок. |
| Переносимые сценарии внутри source evidence | student-tests/tools/forward_network.py, tools/lb_errors/ | Сценарии выполняются заново; изменены порт/образ/project, сервер fixture использует stdlib socketserver. Исходное сырьё не скопировано как результат ЛР4. |
| OpenSpec | 6 исходных capabilities; 3 source archives (19 файлов) | Дельты применяются к прежним префиксам. В history сохранены все сценарии attachment_ids. Архивы ЛР3 сохранены побайтно с lab:3, это история источника, не проверки ЛР4. |
| Контекст | AGENTS.md, openspec/config.yaml | Переносимые правила provenance/Context7/сохранения evidence адаптированы к ЛР4 и текущему правилу major/minor. |
Пять файлов Identity и семь тестовых файлов совпали с базой f591fa6 до переноса,
поэтому взяты из final snapshot целиком. Два файла с механизмами ЛР4 объединены вручную.
SQLAlchemy/Alembic остаются обязательными; новых миграций или зависимостей в диапазоне нет.
## Неприменимые изменения
169 файлов REPORT/evidence ЛР3 не скопированы: это чужой для ЛР4 отчёт, результаты
трёхуровневой матрицы масштабирования и аудиты конкретных образов/стендов ЛР3.
Их цифры не доказывают ЛР4. Четыре переносимых файла сценариев выделены отдельно выше.
AGENTS/config: статусы 135 измерений ЛР3, порты 18083/23083, трек масштабирования,
ограничения отдельной report-фазы не заменяют контекст текущей ЛР4. Применимые
правила перенесены с портами 18084/24000–24999 и актуальным порядком runner.
Нормативные contracts/tests/README/COURSE, secrets/.env/volumes не переносились.
Source REPORT содержит minor про суррогаты; он сохраняется как ограничение, а не исправление.
## Проверки и применимость измерений
Новые команды, UTC и полные SHA сохраняются в `forward-final-2026-11-06/`.
API-сессии/валидация/LB затронуты: повторяются smoke, persistence, failover,
stack faults и сетевые регрессии, три прогона записи и граничные точки памяти.
Reconciler demo повторяется для интеграции с API. Его стоимость 1k–100k сохраняется:
алгоритм, SQL-адаптер вложений, CLI, S3, зависимости и драйвер cost неизменны;
в cost API/LB/Valkey остановлены. Прежняя матрица памяти остаётся историческим
сравнением, новые контрольные точки не выдаются за повтор всех 36 точек.
Фон Docker фиксируется, чужие контейнеры не останавливаются.
Результаты этого этапа будут добавлены после завершения команд.
+3 -3
View File
@@ -36,9 +36,9 @@ defaults
timeout http-keep-alive 5s
timeout queue 3s
timeout check 1s
http-error status 502 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Upstream replica failed","request_id":"%[var(txn.request_id)]"}}'
http-error status 503 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"No ready API replica","request_id":"%[var(txn.request_id)]"}}'
http-error status 504 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Upstream timeout","request_id":"%[var(txn.request_id)]"}}'
http-error status 502 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Upstream replica failed","request_id":"%[var(txn.request_id),json(ascii)]"}}'
http-error status 503 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"No ready API replica","request_id":"%[var(txn.request_id),json(ascii)]"}}'
http-error status 504 content-type application/json hdr X-Request-Id "%[var(txn.request_id)]" lf-string '{"error":{"code":"unavailable","message":"Upstream timeout","request_id":"%[var(txn.request_id),json(ascii)]"}}'
frontend public
bind :8080
@@ -0,0 +1,4 @@
schema: spec-driven
created: 2026-11-06
archived: 2026-11-06
lab: 3
@@ -0,0 +1,32 @@
## Context
Мотивация — в proposal.md. Зона identity уже имеет порты `SessionDirectory` и `SessionRevocations`, адаптеры `PostgresSessionDirectory`/`CachedSessionDirectory`, сборку в `identity/entrypoints/ioc.py`. Меняются только эти адаптеры и порядок операций `CloseSessionHandler`; messaging и shared не расширяются.
## Goals / Non-Goals
Сохранить один GET Valkey на попадание и PostgreSQL как источник истины. Защитить промах от запоздавшей записи при очистке и вытеснении ключей, в том числе до COMMIT logout. Не менять схему, миграции и API.
## Decisions
1. Перед чтением БД создать `session:<sha256>:fill` с уникальным nonce через SET NX и абсолютным TTL не больше лимита кэша. Параллельный читатель без собственного маркера читает БД, но не заполняет кэш. Lua атомарно сравнивает nonce, удаляет собственный маркер и выполняет SET NX сессии. Отсутствие/смена маркера запрещает заполнение. Отзыв одним Lua устанавливает прежнее значение `-` и удаляет маркер. Отдельный ключ сохраняет прежний формат положительного кэша; токен в открытом виде не хранится. Повторная проверка БД на каждом попадании отвергнута: она устраняет пользу кэша. Одного SET NX недостаточно после потери tombstone.
2. Logout выполняет DELETE строки в транзакции PostgreSQL, затем отзыв кэша, затем COMMIT. Ошибка откатывает DELETE и снимает отметку, как прежде. Чтение сессии использует `FOR KEY SHARE`, который не блокирует другие чтения, но ждёт незавершённый DELETE. Если маркер создан после очистки кэша во время logout, чтение дождётся COMMIT и увидит отсутствие строки. Если чтение завершилось до DELETE, последующий отзыв удалит его маркер. Блокировка снимается при закрытии AsyncSession до обращения к Valkey. Одного маркера без этого порядка недостаточно при FLUSHALL до COMMIT.
3. Существующая таблица `sessions`: PK `token_hash bytea`, FK `user_id`, неизменные `created_at`/`expires_at`; SELECT по PK с фильтром абсолютного TTL. Ожидается индексный поиск с LockRows; EXPLAIN здесь не выполняется. SQLAlchemy 2.0.45: `with_for_update(read=True, key_share=True)`, без сырого SQL и без Alembic revision.
4. В теле трёх ошибок HAProxy использовать `json(ascii)`: байты HTTP-заголовка экранируются без потери, кавычки, обратная косая черта и управляющие символы не ломают JSON. Заголовок остаётся исходным. Режим ascii соответствует байтовой/Latin-1 интерпретации HTTP-заголовков; utf8s может молча отбросить байты. Round robin, readiness, retries, DNS, таймауты и контейнерные лимиты не меняются.
## Risks / Trade-offs
- Промах требует дополнительного SET и Lua вместо прежнего SET; чтение БД получает короткую разделяемую блокировку. Попадание не меняется. Цена должна быть проверена финальным нагрузочным агентом, прежние RPS не являются измерениями исправленного SHA.
- Сбой кэша обходит заполнение; ошибка отзыва ведёт к rollback и `503`. TTL маркера ограничивает последствия отменённого чтения; нет локальной координации между репликами.
- Прерванный запрос, прочитавший сессию до logout, может завершиться успешно. После `204` новые запросы обязаны получать `401`.
- Старые реплики всё ещё умеют небезопасное заполнение. Формат данных совместим, но гарантия исправления наступает после замены всех реплик и очистки прежнего кэша сессий в выделенном стенде. Новые volumes не нужны; существующие сохраняются.
- Offline-модель проверяет порядок вызовов и исходы гонок, но не выполнение Lua/блокировок реальными серверами. Для них добавляются интеграционные тесты, запуск — отдельным финальным этапом.
## Migration Plan
Применить код и конфигурацию LB, выполнить полный финальный прогон из чистого clone; старые evidence сохранить с SHA. Откат к прежнему образу возвращает дефект отзыва и не считается исправлением.
## References
- Context7: `/sqlalchemy/sqlalchemy/rel_2_0_45`, `/websites/valkey_io`, `/haproxy/haproxy`.
- [PostgreSQL 17: row locks](https://www.postgresql.org/docs/17/explicit-locking.html#LOCKING-ROWS).
- [HAProxy 3.2: JSON converter](https://docs.haproxy.org/3.2/configuration.html#7.3.1-json).
@@ -0,0 +1,29 @@
## Why
Ревью snapshot `4513d90e482e9bb7bb1fd0402cfec45aa7f52d36` выявило восстановление отозванной сессии запоздавшим заполнением после потери кэша и невалидный JSON ошибок HAProxy при кавычке в `X-Request-Id`. Исправление сохраняет обязательный минимум lab2 и уровень «3» lab3: общие сессии и корректные ответы через LB.
## What Changes
- Связать заполнение кэша с одноразовым маркером, созданным перед чтением PostgreSQL; потеря или смена маркера запрещает запись старой сессии.
- Согласовать чтение сессии и отзыв внутри транзакции, включая очистку кэша до COMMIT logout.
- Экранировать `request_id` в JSON ошибок 502/503/504, сохранив исходный заголовок.
- Добавить регрессионные проверки и список обязательных динамических прогонов следующего этапа.
## Capabilities
### New Capabilities
Нет.
### Modified Capabilities
- `lab2-session-cache`: отзыв остаётся действующим при совмещённой гонке чтения, logout и потери/смены кэша.
- `lab3-load-balancing`: JSON ошибок LB корректен для специальных символов в идентификаторе запроса.
## Impact
Зона identity: адаптеры Valkey/PostgreSQL и обработчик закрытия сессии; инфраструктура: конфигурация HAProxy. Схема, Alembic, зависимости и HTTP-контракт неизменны. Трассировка: `README.md`, уровень «3», сохранение минимума lab2; строки `REPORT.md` о сессиях/кэше и единой точке входа. Прежние измерения относятся к прежнему SHA; новые нагрузочные результаты здесь не заявляются.
## Non-goals
Без возможностей из Out of scope `openspec/config.yaml`, изменения нормативных файлов, Docker, нагрузки, публикации и финального отчёта. Этот этап исправляет код и выполняет только offline-проверки.
@@ -0,0 +1,31 @@
## MODIFIED Requirements
### Requirement: Выход инвалидирует кэш
Отзыв сессии SHALL инвалидировать кэш до фиксации удаления в PostgreSQL. Отозванный токен SHALL получать `401` и при гонке «чтение заполнило кэш после выхода», включая потерю или смену состояния кэша. Если инвалидация невозможна, выход SHALL отвечать `503` и SHALL NOT фиксировать удаление сессии. Если транзакция удаления не завершилась, выход SHALL отвечать `503` и SHALL снимать отметку отзыва: сессия остаётся действующей. Основание: `contracts/README.md`, выход и абсолютный TTL; `README.md`, уровень «3», сохранение минимума lab2.
#### Scenario: Отозванный токен не оживает из кэша
- **WHEN** токен закэширован, после чего пользователь выполняет `DELETE /api/v1/auth/sessions/current`
- **THEN** ответ `204`, а следующий запрос с этим токеном получает `401`
#### Scenario: Выход при недоступном кэше
- **WHEN** Valkey остановлен и пользователь выполняет `DELETE /api/v1/auth/sessions/current`
- **THEN** ответ `503` с кодом `unavailable`, а после запуска Valkey повторный выход отвечает `204`
#### Scenario: Выход при сбое PostgreSQL
- **WHEN** отметка отзыва записана, но транзакция удаления сессии в PostgreSQL завершилась ошибкой
- **THEN** выход отвечает `503` с кодом `unavailable`, токен по-прежнему получает `200`, отметки отзыва в кэше нет
- **AND** после возвращения PostgreSQL повторный выход отвечает `204`, а токен затем получает `401`
#### Scenario: Запоздавшее чтение после выхода и потери кэша
- **WHEN** чтение действующей сессии задержалось, другая реплика завершила logout с `204`, затем очистка или вытеснение удалили отметку отзыва и задержанное чтение продолжилось
- **THEN** новый `GET /api/v1/users/me` с тем же токеном получает `401` с `WWW-Authenticate: Bearer realm="messenger"` и телом общей ошибки, даже если другая проверка успела заново обратиться к кэшу
#### Scenario: Очистка кэша до завершения выхода
- **WHEN** кэш очищен после инвалидации, но до COMMIT удаления сессии, и параллельно начинается новая проверка токена
- **THEN** эта проверка не оставляет действующую сессию в кэше после успешного logout, следующие запросы получают `401`
@@ -0,0 +1,21 @@
## MODIFIED Requirements
### Requirement: Готовность backend и обновление адресов
Балансировщик SHALL активно проверять каждую реплику запросом `GET /health/ready` и SHALL исключать из ротации реплику, которая не отвечает `200`. Адреса реплик SHALL обновляться через DNS без перезапуска балансировщика: остановленная реплика исчезает из ротации, запущенная или пересозданная появляется сама. Ответы, сформированные самим балансировщиком (`502`, `503`, `504`), SHALL иметь тело в общем формате ошибки с `request_id`, равным заголовку `X-Request-Id`.
#### Scenario: Реплика возвращается в ротацию
- **WHEN** остановленная реплика снова запущена
- **THEN** после успешных проверок готовности балансировщик снова направляет на неё запросы без перезапуска `lb`
#### Scenario: Нет ни одной готовой реплики
- **WHEN** все реплики API остановлены
- **THEN** запрос через LB получает `503` с телом `{"error":{"code":"unavailable",...}}`
#### Scenario: Специальные символы идентификатора в ошибке LB
- **WHEN** запрос с допустимым `X-Request-Id`, содержащим кавычку, обратную косую черту или табуляцию, получает ошибку `502`, `503` или `504` от балансировщика
- **THEN** заголовок ответа сохраняет исходное значение, тело является валидным JSON, а декодированное `error.request_id` совпадает с заголовком
- **AND** сохраняется общий формат ошибки из `contracts/README.md`; требование относится к единой точке входа уровня «3» `README.md`
@@ -0,0 +1,14 @@
## 1. Identity: сохранение минимума уровня «3»
- [x] 1.1 Добавить одноразовый маркер заполнения и атомарную проверку/инвалидацию в Valkey; согласовать DELETE, отзыв и COMMIT с блокирующим чтением сессии.
- [x] 1.2 Добавить offline-регрессии потери/смены маркера и интеграционные сценарии logout + очистка/вытеснение, включая очистку до COMMIT; выполнить только offline-подмножество pytest.
## 2. Инфраструктура LB
- [x] 2.1 Применить JSON-конвертер в телах 502/503/504, сохранить заголовок; проверить шаблоны offline на специальных символах.
## 3. Проверки и передача следующему этапу
- [x] 3.1 Выполнить make check, make validate, make lint, offline unit tests и openspec validate --all --strict, сохранить фактический вывод.
- [x] 3.2 Записать в evidence ограничения проверки и обязательные динамические команды для финального агента; сохранить старые измерения с исходными SHA.
- [x] 3.3 Синхронизировать дельты спецификаций, архивировать change с датой и lab: 3; make lint перед английскими коммитами, без push.
@@ -0,0 +1,4 @@
schema: spec-driven
created: 2026-11-06
archived: 2026-11-06
lab: 3
@@ -0,0 +1,22 @@
## Context
См. `proposal.md`. HTTP-заголовки преобразуются из байтов через Latin-1; `b64decode` принимает строку только из ASCII. Context7 `/python/cpython` подтверждает это ограничение; существующий Python 3.14.5 воспроизводит ValueError на `Basic \xff` до VerifyCredentials.
## Goals / Non-Goals
Получать стандартный отказ до проверки credentials. Сохранить строгий Base64, UTF-8 пароля, первое двоеточие как разделитель и прежнюю проверку username. Схема заголовка остаётся регистронезависимой.
## Decisions
1. HTTP-граница identity проверяет `encoded.isascii()` вместе со схемой. Явная проверка выражает ограничение входа и не требует расширять перехват исключений на весь ValueError. Она выполняется до `strip`, чтобы парсер не принимал не-ASCII пробел как часть Base64. Общая нормализация HTTP-заголовков не меняется.
2. Guard и RequestPipeline сохраняют существующий путь `401 unauthorized` с Basic challenge, телом ошибки и обоими X-заголовками. Проверки используют байтовые заголовки и подставной VerifyCredentials, подтверждая отсутствие его вызова. Полный HTTP-тест сравнивает ответ с неверным паролем и передаётся финальному агенту.
3. Новых портов и зависимостей между зонами нет. UserDirectory, IdentityUnitOfWork, PostgreSQL-адаптеры, Valkey и сборка DI прежние. shared, SQL, миграции и инфраструктура не требуют изменений.
## Risks / Trade-offs
- Offline ASGI-вызов не проверяет HAProxy/Uvicorn и реальную БД → отдельный обязательный прогон через LB и интеграционные тесты перечисляются в evidence.
- Проверка ASCII могла бы ошибочно запретить Unicode-пароль → существующая регрессия UTF-8 пароля остаётся в unit-наборе; ограничивается только Base64-представление.
## Migration Plan
Замена кода без миграции данных. Прежние измерения сохраняют свой SHA, динамические результаты новой версии не заявляются. Откат коммита возвращает прежний дефект.
@@ -0,0 +1,27 @@
## Why
Ревью snapshot `d60e29221a553c62ee5dc27615c17fdaa6d27895` выявило необработанный ValueError при `Authorization: Basic` с не-ASCII байтами. Offline-вызовы парсера и guard подтвердили исключение вместо контрактного одинакового `401`.
## What Changes
- Проверять ASCII закодированной части Basic перед декодированием Base64.
- Добавить регрессии для не-ASCII заголовков, стандартного отказа и отсутствия вызова VerifyCredentials.
- Подготовить HTTP-регрессию для финального агента и сохранить offline-доказательства отдельно от нагрузочных результатов.
## Capabilities
### New Capabilities
Нет.
### Modified Capabilities
- `lab2-auth-sessions`: не-ASCII в закодированной части Basic получает одинаковый `401 unauthorized` с Basic challenge.
## Impact
Уровень «3»: сохранение минимума lab2 из `README.md`, раздел «Идентификация и сессии» `contracts/README.md`, строка «Негативные случаи и заголовки, гонки, миграции» в `REPORT.md`. Затронуты только HTTP-граница identity, собственные тесты, OpenSpec и evidence. Динамические проверки выполняет финальный агент; этот этап использует существующее окружение и offline-проверки.
## Non-goals
Возможности лаб 4–7 из Out of scope в `openspec/config.yaml`, изменение SQLAlchemy/Alembic, инфраструктуры, зависимостей, нормативных файлов, итогового отчёта и публикация.
@@ -0,0 +1,46 @@
## MODIFIED Requirements
### Requirement: Вход по Basic выдаёт сессию
Сервис SHALL принимать `POST /api/v1/auth/sessions` только с заголовком `Authorization: Basic <base64(username:password)>` и без тела. Декодирование base64 SHALL быть строгим, разделителем SHALL служить первое двоеточие, пароль SHALL декодироваться как UTF-8. При верных учётных данных ответ SHALL быть `201` с телом `{"token","token_type":"Bearer","expires_at","user"}`, где `token` — непрозрачная случайная строка не короче 32 символов с энтропией не менее 256 бит, `expires_at` — RFC 3339 UTC с `Z`, а `user` совпадает с ответом регистрации. Неверный пароль, неизвестный `username`, отсутствующий и испорченный заголовок SHALL давать одинаковый `401` с кодом `unauthorized` и заголовком `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`.
В соответствии с разделом «Идентификация и сессии» `contracts/README.md`, NUL в Basic username и не-ASCII символы в закодированной части Basic SHALL приводить к тому же `401 unauthorized`.
#### Scenario: Успешный вход
- **WHEN** зарегистрированный пользователь отправляет верные `username:password` в `Basic`
- **THEN** ответ `201`, тело соответствует схеме `Session`, `token_type` равен `Bearer`
- **AND** `user` побайтно равен телу ответа его регистрации, `expires_at` в будущем
#### Scenario: Неверный пароль и неизвестный пользователь неразличимы
- **WHEN** приходит `Basic` с неверным паролем существующего пользователя или с несуществующим `username`
- **THEN** оба ответа — `401` с кодом `unauthorized` и `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`
- **AND** тела ответов различаются только `request_id`
#### Scenario: Испорченный заголовок Basic
- **WHEN** заголовок отсутствует, содержит другую схему, невалидный base64 или строку без двоеточия
- **THEN** ответ `401` с тем же заголовком `WWW-Authenticate: Basic ...`
#### Scenario: Двоеточие в пароле
- **WHEN** пароль пользователя содержит двоеточие и он входит по `Basic`
- **THEN** ответ `201`: разделителем служит первое двоеточие
#### Scenario: Тело запроса при входе
- **WHEN** запрос с верным `Basic` содержит тело
- **THEN** ответ `400` с кодом `invalid_request`, сессия не создаётся
#### Scenario: Username с NUL
- **WHEN** в `POST /api/v1/auth/sessions` передан корректный Base64 от username с NUL и пароля
- **THEN** ответ `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`; тело `{"error":{"code":"unauthorized","message":...,"request_id":...}}` совпадает с ошибкой неверного пароля, кроме `request_id`
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
#### Scenario: Не-ASCII в закодированной части Basic
- **WHEN** `POST /api/v1/auth/sessions` получает `Authorization` с не-ASCII байтами после `Basic `, в том числе `0xff`
- **THEN** ответ `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`; тело `{"error":{"code":"unauthorized","message":...,"request_id":...}}` совпадает с ошибкой неверного пароля, кроме `request_id`
- **AND** ответ содержит непустой `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`; сессия не создаётся
@@ -0,0 +1,10 @@
## 1. Identity — минимум уровня «3»
- [x] 1.1 Добавить offline-регрессии не-ASCII Basic для парсера и ASGI-конвейера; сохранить ожидаемые падения старого кода.
- [x] 1.2 Отклонять не-ASCII до декодирования Base64; проверить стандартный 401, заголовки, тело и отсутствие вызова VerifyCredentials через unit-тесты.
## 2. Проверки и передача
- [x] 2.1 Добавить HTTP-регрессию одинакового 401 с неверным паролем и отсутствия новой сессии; собрать её через pytest --collect-only без Docker.
- [x] 2.2 Выполнить offline unit-тесты, make check, make validate, make lint и OpenSpec strict; сохранить evidence с SHA и командами.
- [x] 2.3 Перечислить обязательные динамические проверки финального агента в evidence, синхронизировать спецификацию и архивировать change.
@@ -0,0 +1,4 @@
schema: spec-driven
created: 2026-11-06
archived: 2026-11-06
lab: 3
@@ -0,0 +1,24 @@
## Context
Причина описана в proposal. `isascii()` допускает NUL; DisplayName, ChatTitle и MessageText также принимают его. Ограничение PostgreSQL подтверждено через Context7: [Character Types, PostgreSQL 17](https://www.postgresql.org/docs/17/datatype-character.html). Регистрация и создание чата конструируют значения до транзакции; отправка проверяет MessageText до MessageLog.post, но при ошибке сначала проверяет доступ.
## Goals / Non-Goals
Цель — отклонить NUL до передачи строки SQL-адаптеру, сохранив коды, форму ошибок и приоритет доступа. Пароль не хранится как исходный text, поэтому правило NUL к нему не применяется. Другие допустимые символы Unicode, переносы строк и табуляция сохраняются без нормализации.
## Decisions
1. Basic-парсер identity явно отклоняет NUL в username. Существующий guard возвращает стандартный одинаковый `401`, VerifyCredentials не вызывается. Изменение всего формата username в Basic избыточно для этого замечания.
2. Каждое доменное значение проверяет NUL после проверки типа и вызывает собственную ошибку зоны. Три короткие проверки сохраняют независимость identity/messaging; общий валидатор в shared и перехват ошибок драйвера не нужны. Существующий реестр преобразует ошибки в `400`.
3. PostMessageHandler сохраняет текущий порядок: при невалидном тексте запрос ChatDirectory проверяет членство, посторонний получает `404`. MessageLog.post не вызывается, поэтому сообщение и квитанция ключа не создаются. Удалять или заменять NUL нельзя: это изменило бы текст и семантику повтора.
4. Порты UserDirectory, IdentityUnitOfWork, MessagingUnitOfWork, ChatDirectory и MessageLog, их PostgreSQL-адаптеры и сборка DI прежние. Новых зависимостей между зонами нет; существующие события и внешние ключи не меняются. Изменений SQL, индексов, миграций и инфраструктуры нет.
## Risks / Trade-offs
- Дополнительная проверка строк линейна по длине → используется встроенный поиск NUL; текущие ограничения размера запроса сохраняются.
- Offline-тесты не доказывают HTTP-поведение с PostgreSQL → добавляются интеграционные сценарии, их выполнение явно передаётся финальному агенту в evidence.
- Ошибки валидации могут случайно изменить приоритет доступа или занять ключ → тесты проверяют отсутствие записи, `404` для чужого/несуществующего чата и успешный повтор исправленного текста с прежним ключом.
## Migration Plan
Миграция данных не требуется: PostgreSQL ранее не мог сохранить NUL. Код заменяется штатно; проверки с реальной БД и через LB выполняет финальный агент на новом SHA. Прежние измерения не приписываются исправленной версии; откат возвращает дефект.
@@ -0,0 +1,31 @@
## Why
Ревью snapshot `82641cbd3d03718e49701a86198bdffb35c0310e` обнаружило пропуск NUL в Basic username и текстовых значениях. PostgreSQL не хранит NUL в `text`: неверный ввод доходит до SQL и может дать `500` вместо ошибки клиента.
## What Changes
- Отклонять NUL в Basic username одинаковым `401 unauthorized`.
- Отклонять NUL в `display_name`, `title` и `text` существующими доменными ошибками `400 invalid_request`, сохраняя `404` для чужого чата.
- Добавить offline-регрессии и HTTP-тесты для обязательного последующего прогона с PostgreSQL.
- Сохранить доказательства и ограничения этого этапа отдельно от прежних нагрузочных результатов.
## Capabilities
### New Capabilities
Нет.
### Modified Capabilities
- `lab2-auth-sessions`: недопустимый Basic username получает одинаковый `401`.
- `lab1-messenger-identity`: NUL в отображаемом имени отклоняется при регистрации.
- `lab1-messenger-chats`: NUL в названии отклоняется без создания чата.
- `lab1-messenger-history`: NUL в сообщении отклоняется без записи и без занятия ключа.
## Impact
Уровень «3»: сохранение минимума lab2 и контрактных ошибок (`README.md`), строка «Негативные случаи и заголовки, гонки, миграции» в `REPORT.md`. Изменяются только валидация зон identity/messaging, собственные тесты, OpenSpec и evidence. Схема, SQLAlchemy/Alembic, зависимости и нормативные файлы остаются прежними. Docker и нагрузочные проверки передаются финальному агенту, текущий этап выполняет только offline-проверки.
## Non-goals
Возможности лаб 4–7 из Out of scope в `openspec/config.yaml`, изменение паролей, SQL, схемы БД, балансировки, итогового отчёта и публикация.
@@ -0,0 +1,40 @@
## MODIFIED Requirements
### Requirement: Создание чата
Сервис SHALL принимать `POST /api/v1/chats` от аутентифицированного пользователя с телом `{"title":..., "member_ids":[...]}` и возвращать `201` с объектом `Chat`. `title` SHALL содержать от 1 до 100 code points и не состоять только из пробельных символов. `member_ids` SHALL содержать от 1 до 100 уникальных идентификаторов существующих пользователей и SHALL включать вызывающего. Чат SHALL создаваться атомарно: при любой ошибке валидации он не создаётся вовсе.
По правилам неверных полей и атомарного создания из `contracts/README.md`, `title` SHALL NOT содержать NUL.
#### Scenario: Чат создан
- **WHEN** участник отправляет `POST /api/v1/chats` с корректным `title` и списком из своего и чужого идентификаторов
- **THEN** ответ `201`, тело соответствует схеме `Chat`, `member_ids` совпадает с запрошенным составом
- **AND** `id` и `created_at` назначены сервером
#### Scenario: Вызывающий не входит в состав
- **WHEN** `member_ids` не содержит идентификатора вызывающего
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Состав содержит дубликаты
- **WHEN** `member_ids` содержит один и тот же идентификатор дважды
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Состав содержит неизвестного пользователя
- **WHEN** `member_ids` содержит идентификатор, которому не соответствует ни один пользователь
- **THEN** ответ `400` с кодом `invalid_request`
- **AND** чат не создаётся
#### Scenario: Запрос без идентификации
- **WHEN** `POST /api/v1/chats` приходит без `Authorization: Bearer` или с недействительным токеном
- **THEN** ответ `401` с кодом `unauthorized` и `WWW-Authenticate: Bearer realm="messenger"`
#### Scenario: NUL в названии чата
- **WHEN** аутентифицированный пользователь отправляет `POST /api/v1/chats` с NUL в `title` и корректными участниками
- **THEN** ответ `400` с телом `{"error":{"code":"invalid_request","message":...,"request_id":...}}`; чат не появляется в списке
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
@@ -0,0 +1,56 @@
## MODIFIED Requirements
### Requirement: Отправка сообщения
Сервис SHALL принимать `POST /api/v1/chats/{chat_id}/messages` от участника чата с телом `{"text":...}` и обязательным заголовком `Idempotency-Key` и возвращать `201` с объектом `Message`. Отправитель SHALL выводиться из предъявленной идентификации; поле `sender_id` в теле запроса SHALL NOT приниматься. `text` SHALL содержать от 1 до 4000 Unicode code points и SHALL NOT состоять только из пробельных символов. `id` и `created_at` SHALL назначаться сервером. Правила ключа описаны в `lab3-idempotent-messages`.
По правилам неверных полей, доступа и идемпотентности из `contracts/README.md`, `text` SHALL NOT содержать NUL; отклонённая запись SHALL NOT занимать `Idempotency-Key`.
#### Scenario: Сообщение отправлено
- **WHEN** участник отправляет `{"text":"Привет, мир 👋"}` в свой чат с новым `Idempotency-Key`
- **THEN** ответ `201`, тело соответствует схеме `Message`
- **AND** `sender_id` равен идентификатору вызывающего, `chat_id` равен чату из пути, `text` побайтово совпадает с отправленным
#### Scenario: Ключ не передан
- **WHEN** участник отправляет корректное тело без заголовка `Idempotency-Key`
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Отправитель не берётся из тела запроса
- **WHEN** тело запроса содержит поле `sender_id`
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Пустой или пробельный текст
- **WHEN** тело содержит `{"text":""}` или `{"text":" "}`
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Текст длиннее предела
- **WHEN** `text` содержит более 4000 Unicode code points
- **THEN** ответ `400` с кодом `invalid_request`
- **AND** длина считается в code points, а не в байтах UTF-8
#### Scenario: Посторонний пишет в чужой чат
- **WHEN** пользователь, не входящий в состав чата, отправляет корректное сообщение с ключом
- **THEN** ответ `404` с кодом `not_found`
- **AND** сообщение не сохраняется
#### Scenario: Доступ проверяется раньше содержимого
- **WHEN** посторонний отправляет в чужой чат с ключом тело с пустым `text`
- **THEN** ответ `404`, а не `400`
#### Scenario: NUL в тексте сообщения
- **WHEN** участник отправляет `POST /api/v1/chats/{chat_id}/messages` с NUL в `text` и новым корректным `Idempotency-Key`
- **THEN** ответ `400` с телом `{"error":{"code":"invalid_request","message":...,"request_id":...}}`; история не меняется, исправленное сообщение с тем же ключом получает `201`, повтор возвращает тот же объект
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
#### Scenario: NUL не раскрывает чужой чат
- **WHEN** посторонний отправляет сообщение с NUL в чужой или несуществующий чат с корректным ключом
- **THEN** ответ `404 not_found` в стандартном теле ошибки с `X-Instance-Id` и `X-Request-Id`; записи нет
@@ -0,0 +1,45 @@
## MODIFIED Requirements
### Requirement: Регистрация пользователя
Сервис SHALL принимать `POST /api/v1/users` без аутентификации и возвращать `201` с объектом `User`, содержащим назначенные сервером `id` и `created_at`. Тело запроса SHALL содержать ровно поля `username`, `display_name` и `password`. `username` SHALL соответствовать `^[a-z0-9_]{3,32}$` и быть уникальным, `display_name` SHALL содержать от 1 до 100 Unicode code points и не состоять только из пробельных символов, требования к `password` задаёт `lab2-auth-sessions`. Ответ SHALL NOT содержать полей, отсутствующих в схеме `User`. Уникальность SHALL соблюдаться и при конкурентной регистрации одного `username`: успешной будет ровно одна, остальные получат `409`.
По правилам неверных полей и ошибок из `contracts/README.md`, `display_name` SHALL NOT содержать NUL.
#### Scenario: Пользователь создан
- **WHEN** приходит `POST /api/v1/users` с телом `{"username":"alice_01","display_name":"Алиса","password":"<12+ символов>"}`
- **THEN** ответ `201`, тело соответствует схеме `User`, `username` и `display_name` совпадают с запросом
- **AND** `id` — UUID, назначенный сервером, `created_at` — RFC 3339 UTC с суффиксом `Z`
#### Scenario: Username занят
- **WHEN** приходит `POST /api/v1/users` с `username`, уже принадлежащим другому пользователю
- **THEN** ответ `409` с телом ошибки и кодом `conflict`
#### Scenario: Username нарушает формат
- **WHEN** `username` содержит заглавные буквы, дефис, пробел, перевод строки или имеет длину вне 3–32 символов
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Display_name пуст или состоит из пробелов
- **WHEN** `display_name` равен `""`, `" "` или длиннее 100 code points
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Тело запроса нарушает схему
- **WHEN** тело содержит лишнее поле, неверный тип поля, не содержит обязательного поля (в том числе `password`) или не является корректным JSON
- **THEN** ответ `400` с кодом `invalid_request`
- **AND** сообщение ошибки не содержит stack trace и внутренних деталей реализации
#### Scenario: Регистрация не требует идентификации
- **WHEN** `POST /api/v1/users` приходит без заголовка `Authorization`
- **THEN** запрос обрабатывается на общих основаниях, ответ не равен `401`
#### Scenario: NUL в отображаемом имени
- **WHEN** `POST /api/v1/users` содержит NUL в `display_name`
- **THEN** ответ `400` с телом `{"error":{"code":"invalid_request","message":...,"request_id":...}}`; пользователь не создаётся, повтор с корректным именем и тем же username может дать `201`
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
@@ -0,0 +1,40 @@
## MODIFIED Requirements
### Requirement: Вход по Basic выдаёт сессию
Сервис SHALL принимать `POST /api/v1/auth/sessions` только с заголовком `Authorization: Basic <base64(username:password)>` и без тела. Декодирование base64 SHALL быть строгим, разделителем SHALL служить первое двоеточие, пароль SHALL декодироваться как UTF-8. При верных учётных данных ответ SHALL быть `201` с телом `{"token","token_type":"Bearer","expires_at","user"}`, где `token` — непрозрачная случайная строка не короче 32 символов с энтропией не менее 256 бит, `expires_at` — RFC 3339 UTC с `Z`, а `user` совпадает с ответом регистрации. Неверный пароль, неизвестный `username`, отсутствующий и испорченный заголовок SHALL давать одинаковый `401` с кодом `unauthorized` и заголовком `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`.
В соответствии с разделом «Идентификация и сессии» `contracts/README.md`, NUL в Basic username SHALL приводить к тому же `401 unauthorized`.
#### Scenario: Успешный вход
- **WHEN** зарегистрированный пользователь отправляет верные `username:password` в `Basic`
- **THEN** ответ `201`, тело соответствует схеме `Session`, `token_type` равен `Bearer`
- **AND** `user` побайтно равен телу ответа его регистрации, `expires_at` в будущем
#### Scenario: Неверный пароль и неизвестный пользователь неразличимы
- **WHEN** приходит `Basic` с неверным паролем существующего пользователя или с несуществующим `username`
- **THEN** оба ответа — `401` с кодом `unauthorized` и `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`
- **AND** тела ответов различаются только `request_id`
#### Scenario: Испорченный заголовок Basic
- **WHEN** заголовок отсутствует, содержит другую схему, невалидный base64 или строку без двоеточия
- **THEN** ответ `401` с тем же заголовком `WWW-Authenticate: Basic ...`
#### Scenario: Двоеточие в пароле
- **WHEN** пароль пользователя содержит двоеточие и он входит по `Basic`
- **THEN** ответ `201`: разделителем служит первое двоеточие
#### Scenario: Тело запроса при входе
- **WHEN** запрос с верным `Basic` содержит тело
- **THEN** ответ `400` с кодом `invalid_request`, сессия не создаётся
#### Scenario: Username с NUL
- **WHEN** в `POST /api/v1/auth/sessions` передан корректный Base64 от username с NUL и пароля
- **THEN** ответ `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`; тело `{"error":{"code":"unauthorized","message":...,"request_id":...}}` совпадает с ошибкой неверного пароля, кроме `request_id`
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
@@ -0,0 +1,15 @@
## 1. Identity — минимум уровня «3»
- [x] 1.1 Добавить offline-регрессии NUL в Basic username и DisplayName, зафиксировать ожидаемые падения старой версии.
- [x] 1.2 Отклонять NUL до VerifyCredentials и записи пользователя; проверить unit-тестами парсер, guard и доменное значение.
## 2. Messaging — валидация и доступ
- [x] 2.1 Добавить регрессии ChatTitle/MessageText, зафиксировать падения старой версии и отклонять NUL собственными ошибками зоны.
- [x] 2.2 Проверить offline отсутствие записи через MessageLog и сохранение приоритета доступа для чужого/несуществующего чата.
## 3. Проверки и передача финальному агенту
- [x] 3.1 Добавить HTTP-тесты NUL: одинаковый 401, отсутствие побочных записей, исправленный повтор с прежним ключом и 404 для постороннего; собрать их через pytest --collect-only без Docker.
- [x] 3.2 Выполнить unit-тесты и архитектурные проверки, make check, make validate, make lint и OpenSpec strict; сохранить команды, SHA и ограничения в новом evidence.
- [x] 3.3 Передать обязательные динамические проверки финальному агенту через evidence, синхронизировать спецификации и архивировать change.
+3 -1
View File
@@ -33,7 +33,7 @@ context: |
Python 3.14 (аннотации вычисляются лениво по PEP 649, `TYPE_CHECKING` и
`from __future__ import annotations` не используются), FastAPI, gunicorn с несколькими
`UvicornWorker` (пакет `uvicorn-worker`), dishka (DI), pydantic v2 + pydantic-settings, structlog,
SQLAlchemy 2 async (ORM/Core, asyncpg как драйвер), Alembic, redis-py (`redis.asyncio`) для Valkey, argon2-cffi,
SQLAlchemy 2.0.45 async (ORM/Core, asyncpg как драйвер), Alembic 1.16.5, redis-py (`redis.asyncio`) для Valkey, argon2-cffi,
aiobotocore (S3 path-style, SigV4, таймауты connect/read, checksum `when_required`), Pillow
(разбор заголовка и проверка изображения), pytest + pytest-asyncio + httpx. Зависимости — uv и
`uv.lock`; ruff и ty обязательны на `src/`, `student-tests/` и Python-обвязке стенда;
@@ -153,6 +153,8 @@ operations:
- "Схема меняется только новым файлом миграции; применённую миграцию не редактируют; миграция совместима с работающей предыдущей версией."
- "Публичные `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` запускаются против поднятого стенда (`make up`) через LB после готовности всех реплик; после failover реплика возвращается `make restore`."
- "Каждый заявленный критерий рубрики подтверждай командой и наблюдаемым результатом в `REPORT.md`; PASS без команды доказательством не считается."
- "Фиксируй SHA кода API и обвязки отдельно; прежнее evidence сохраняй с исходным SHA. Числа сверяй с сырьём, неуспешные попытки сохраняй и объясняй; повторяй только затронутые или непригодные серии."
- "Проверяй документацию закреплённых SQLAlchemy/Alembic через Context7. Не приравнивай микробенчмарк к HTTP throughput, пик RPS к SLO, а no-op миграцию в rolling к проверке изменения схемы."
- "Отмечай выполнение в `tasks.md`; резюме держи кратким."
archive:
guidance:
@@ -69,10 +69,10 @@ class CloseSessionHandler:
self._revocations = revocations
async def __call__(self, command: CloseSession) -> None:
await self._revocations.revoke(command.session)
try:
async with self._uow.transaction():
await self._uow.sessions.remove(command.session.token_hash)
await self._revocations.revoke(command.session)
self._uow.record(SessionClosed(user_id=command.session.user_id))
await self._uow.commit()
except BaseException:
+2
View File
@@ -30,6 +30,8 @@ class DisplayName:
def __post_init__(self) -> None:
if not isinstance(self.value, str):
raise InvalidUserData("поле display_name должно быть строкой")
if "\x00" in self.value:
raise InvalidUserData("поле display_name не может содержать NUL")
if not self.value.strip():
raise InvalidUserData("поле display_name не может быть пустым или состоять из пробелов")
if len(self.value) > DISPLAY_NAME_MAX:
@@ -30,14 +30,14 @@ def challenge_for(path: str) -> str:
def basic_credentials(value: str) -> tuple[str, str] | None:
scheme, _, encoded = value.partition(" ")
if scheme.lower() != "basic":
if scheme.lower() != "basic" or not encoded.isascii():
return None
try:
decoded = b64decode(encoded.strip(), validate=True).decode("utf-8")
except Base64Error, UnicodeDecodeError:
return None
username, separator, password = decoded.partition(":")
if not separator or not username.isascii():
if not separator or not username.isascii() or "\x00" in username:
return None
return username, password
@@ -166,10 +166,12 @@ class PostgresSessionDirectory:
async with self._database.session() as session:
row = (
await session.execute(
select(SessionRow).where(
select(SessionRow)
.where(
SessionRow.token_hash == token_hash,
SessionRow.expires_at > now,
)
.with_for_update(read=True, key_share=True)
)
).scalar_one_or_none()
if row is None:
@@ -1,7 +1,7 @@
import time
from collections.abc import Awaitable
from datetime import datetime, timedelta
from uuid import UUID
from uuid import UUID, uuid4
from redis.asyncio import Redis
from redis.exceptions import RedisError
@@ -13,6 +13,16 @@ from messenger.shared.application.ports import Logger
REVOKED = "-"
FAILURES = (RedisError, OSError)
FILL = """
if redis.call('GET', KEYS[2]) ~= ARGV[1] then return false end
redis.call('DEL', KEYS[2])
if ARGV[2] == '' then return false end
return redis.call('SET', KEYS[1], ARGV[2], 'PXAT', ARGV[3], 'NX')
"""
REVOKE = """
redis.call('SET', KEYS[1], ARGV[1], 'PXAT', ARGV[2])
return redis.call('DEL', KEYS[2])
"""
def key_of(token_hash: bytes) -> str:
@@ -72,18 +82,26 @@ class CachedSessionDirectory:
if cached is not None:
session = decode(token_hash, cached)
return session if session.expires_at > now else None
marker, nonce = f"{key}:fill", uuid4().hex
until = milliseconds(now + self._limit)
reserved = self._closed() and await self._quietly(
self._client.set(marker, nonce, pxat=until, nx=True)
)
session = await self._origin.find(token_hash, now)
if session is not None and self._closed():
until = milliseconds(min(session.expires_at, now + self._limit))
await self._quietly(self._client.set(key, encode(session), pxat=until, nx=True))
if reserved and self._closed():
value = encode(session) if session is not None else ""
if session is not None:
until = min(until, milliseconds(session.expires_at))
await self._quietly(self._client.eval(FILL, 2, key, marker, nonce, value, until))
return session
async def revoke(self, session: Session) -> None:
if not self._closed():
raise Unavailable("кэш сессий недоступен")
key = key_of(session.token_hash)
try:
await self._client.set(
key_of(session.token_hash), REVOKED, pxat=milliseconds(session.expires_at)
await self._client.eval(
REVOKE, 2, key, f"{key}:fill", REVOKED, milliseconds(session.expires_at)
)
except FAILURES as error:
self._trip(error)
+4
View File
@@ -15,6 +15,8 @@ class ChatTitle:
def __post_init__(self) -> None:
if not isinstance(self.value, str):
raise InvalidChatData("поле title должно быть строкой")
if "\x00" in self.value:
raise InvalidChatData("поле title не может содержать NUL")
if not self.value.strip():
raise InvalidChatData("поле title не может быть пустым или состоять из пробелов")
if len(self.value) > CHAT_TITLE_MAX:
@@ -31,6 +33,8 @@ class MessageText:
def __post_init__(self) -> None:
if not isinstance(self.value, str):
raise InvalidMessageText("поле text должно быть строкой")
if "\x00" in self.value:
raise InvalidMessageText("поле text не может содержать NUL")
if self.value and not self.value.strip():
raise InvalidMessageText("поле text не может состоять из пробелов")
if len(self.value) > MESSAGE_TEXT_MAX:
+91 -14
View File
@@ -11,7 +11,12 @@ from sqlalchemy import select
from conftest import actor, bearer, keyed, make_chat, register, resolve, running_app, scalar
from messenger.identity.application.ports import SessionDirectory
from messenger.identity.domain.models import Session
from messenger.identity.infrastructure.postgres import PostgresSessionRepository, SessionRow
from messenger.identity.infrastructure.postgres import (
PostgresIdentityUnitOfWork,
PostgresSessionDirectory,
PostgresSessionRepository,
SessionRow,
)
from messenger.identity.infrastructure.valkey import CachedSessionDirectory
from messenger.shared.application.errors import Unavailable
@@ -44,7 +49,7 @@ async def test_second_check_is_served_from_cache(valkey: dict[str, str]) -> None
await cache.aclose()
async def test_logout_writes_tombstone_before_database(valkey: dict[str, str]) -> None:
async def test_logout_leaves_tombstone_after_commit(valkey: dict[str, str]) -> None:
cache = Redis.from_url(valkey["url"])
async with running_app(cache_url=valkey["url"]) as http:
alice = await register(http, "alice")
@@ -59,19 +64,26 @@ async def test_logout_writes_tombstone_before_database(valkey: dict[str, str]) -
await cache.aclose()
@pytest.mark.parametrize("failure", ["remove", "commit"])
async def test_logout_rejected_by_database_changes_nothing(
valkey: dict[str, str], monkeypatch: pytest.MonkeyPatch
valkey: dict[str, str], monkeypatch: pytest.MonkeyPatch, failure: str
) -> None:
async def broken(self: PostgresSessionRepository, token_hash: bytes) -> None:
raise Unavailable("PostgreSQL недоступен")
async def broken_commit(self: PostgresIdentityUnitOfWork) -> None:
raise Unavailable("PostgreSQL недоступен")
cache = Redis.from_url(valkey["url"])
logout = "/api/v1/auth/sessions/current"
async with running_app(cache_url=valkey["url"]) as http:
alice = await register(http, "alice")
assert (await http.get("/api/v1/users/me", headers=actor(alice))).status_code == 200
with monkeypatch.context() as patch:
patch.setattr(PostgresSessionRepository, "remove", broken)
if failure == "remove":
patch.setattr(PostgresSessionRepository, "remove", broken)
else:
patch.setattr(PostgresIdentityUnitOfWork, "commit", broken_commit)
failed = await http.delete(logout, headers=actor(alice))
assert failed.status_code == 503
assert failed.json()["error"]["code"] == "unavailable"
@@ -82,8 +94,14 @@ async def test_logout_rejected_by_database_changes_nothing(
await cache.aclose()
async def test_fill_racing_with_logout_does_not_revive_token(valkey: dict[str, str]) -> None:
async with running_app(cache_url=valkey["url"]) as http:
@pytest.mark.parametrize("loss", ["none", "flushall", "evict", "replacement"])
async def test_fill_racing_with_logout_does_not_revive_token(
valkey: dict[str, str], loss: str
) -> None:
async with (
Redis.from_url(valkey["url"]) as cache,
running_app(cache_url=valkey["url"]) as http,
):
alice = await register(http, "alice")
directory = await resolve(http, SessionDirectory)
assert isinstance(directory, CachedSessionDirectory)
@@ -99,14 +117,73 @@ async def test_fill_racing_with_logout_does_not_revive_token(valkey: dict[str, s
return stale[-1]
directory._origin = SlowOrigin()
reader = asyncio.create_task(http.get("/api/v1/users/me", headers=actor(alice)))
await entered.wait()
directory._origin = origin
assert (
await http.delete("/api/v1/auth/sessions/current", headers=actor(alice))
).status_code == 204
released.set()
assert (await reader).status_code == 200
async with asyncio.TaskGroup() as group:
reader = group.create_task(http.get("/api/v1/users/me", headers=actor(alice)))
try:
await asyncio.wait_for(entered.wait(), 5)
directory._origin = origin
assert (
await http.delete("/api/v1/auth/sessions/current", headers=actor(alice))
).status_code == 204
key = key_of(token_of(alice))
assert await cache.get(f"{key}:fill") is None
if loss == "flushall":
await cache.flushall()
elif loss in {"evict", "replacement"}:
await cache.delete(key)
if loss == "replacement":
await cache.set(f"{key}:fill", "another-reader", px=1000)
finally:
released.set()
assert reader.result().status_code == 200
assert (await http.get("/api/v1/users/me", headers=actor(alice))).status_code == 401
@pytest.mark.parametrize("loss", ["flushall", "evict"])
async def test_cache_loss_before_logout_commit_cannot_refill_deleted_session(
valkey: dict[str, str], monkeypatch: pytest.MonkeyPatch, loss: str
) -> None:
revoked, release_commit, reading = asyncio.Event(), asyncio.Event(), asyncio.Event()
revoke = CachedSessionDirectory.revoke
find = PostgresSessionDirectory.find
async def paused_revoke(self: CachedSessionDirectory, session: Session) -> None:
await revoke(self, session)
revoked.set()
await release_commit.wait()
async def observed_find(
self: PostgresSessionDirectory, token_hash: bytes, now: datetime
) -> Session | None:
reading.set()
return await find(self, token_hash, now)
async with (
Redis.from_url(valkey["url"]) as cache,
running_app(cache_url=valkey["url"]) as http,
):
alice = await register(http, "alice")
assert (await http.get("/api/v1/users/me", headers=actor(alice))).status_code == 200
monkeypatch.setattr(CachedSessionDirectory, "revoke", paused_revoke)
async with asyncio.TaskGroup() as group:
logout = group.create_task(
http.delete("/api/v1/auth/sessions/current", headers=actor(alice))
)
try:
await asyncio.wait_for(revoked.wait(), 5)
if loss == "flushall":
await cache.flushall()
else:
await cache.delete(key_of(token_of(alice)))
monkeypatch.setattr(PostgresSessionDirectory, "find", observed_find)
reader = group.create_task(http.get("/api/v1/users/me", headers=actor(alice)))
await asyncio.wait_for(reading.wait(), 5)
done, _ = await asyncio.wait({reader}, timeout=0.1)
assert not done
finally:
release_commit.set()
assert logout.result().status_code == 204
assert reader.result().status_code == 401
assert (await http.get("/api/v1/users/me", headers=actor(alice))).status_code == 401
+95
View File
@@ -0,0 +1,95 @@
from uuid import uuid4
import pytest
from httpx import AsyncClient, Response
from conftest import PASSWORD, actor, basic, keyed, make_chat, new_user, register
NUL_TEXTS = ["\x00", "\x00abc", "abc\x00def", "abc\x00"]
def rejected(response: Response, status: int, code: str) -> None:
assert response.status_code == status, response.text
assert response.headers["content-type"].startswith("application/json")
assert response.headers["X-Instance-Id"]
assert response.headers["X-Request-Id"]
assert set(response.json()) == {"error"}
error = response.json()["error"]
assert set(error) == {"code", "message", "request_id"}
assert error["code"] == code
assert error["message"]
assert error["request_id"] == response.headers["X-Request-Id"]
@pytest.mark.parametrize("username", NUL_TEXTS)
async def test_nul_basic_matches_wrong_password(client: AsyncClient, username: str) -> None:
user = await register(client, "nul_login")
responses = []
for name, password in [(user["username"], "wrong-password"), (username, PASSWORD)]:
response = await client.post(
"/api/v1/auth/sessions",
headers={**basic(name, password), "X-Request-Id": "nul-login"},
)
rejected(response, 401, "unauthorized")
assert response.headers["WWW-Authenticate"] == 'Basic realm="messenger", charset="UTF-8"'
responses.append(response.json())
assert responses[0] == responses[1]
@pytest.mark.parametrize("raw", NUL_TEXTS)
async def test_nul_display_name_does_not_create_user(client: AsyncClient, raw: str) -> None:
body = {**new_user("nul_display"), "display_name": raw}
rejected(await client.post("/api/v1/users", json=body), 400, "invalid_request")
response = await client.post("/api/v1/users", json={**body, "display_name": "Алиса 👋"})
assert response.status_code == 201
assert response.json()["display_name"] == "Алиса 👋"
@pytest.mark.parametrize("raw", NUL_TEXTS)
async def test_nul_title_does_not_create_chat(client: AsyncClient, raw: str) -> None:
user = await register(client, "nul_title")
body = {"title": raw, "member_ids": [user["id"]]}
rejected(
await client.post("/api/v1/chats", json=body, headers=actor(user)), 400, "invalid_request"
)
chats = await client.get("/api/v1/chats", headers=actor(user))
assert chats.status_code == 200
assert chats.json()["items"] == []
@pytest.mark.parametrize("raw", NUL_TEXTS)
async def test_nul_message_does_not_take_key(client: AsyncClient, raw: str) -> None:
user = await register(client, "nul_message")
chat = await make_chat(client, user)
path = f"/api/v1/chats/{chat['id']}/messages"
headers = keyed(user)
rejected(await client.post(path, json={"text": raw}, headers=headers), 400, "invalid_request")
history = await client.get(path, headers=actor(user))
assert history.status_code == 200
assert history.json()["items"] == []
text = "Исправлено\tбез потерь\n👋"
first = await client.post(path, json={"text": text}, headers=headers)
again = await client.post(path, json={"text": text}, headers=headers)
assert first.status_code == again.status_code == 201
assert first.json()["text"] == text
assert first.json() == again.json()
assert (await client.get(path, headers=actor(user))).json()["items"] == [first.json()]
async def test_nul_message_does_not_disclose_chat(client: AsyncClient) -> None:
owner = await register(client, "nul_owner")
outsider = await register(client, "nul_outsider")
chat = await make_chat(client, owner)
responses = []
for chat_id in [chat["id"], str(uuid4())]:
response = await client.post(
f"/api/v1/chats/{chat_id}/messages",
json={"text": "abc\x00def"},
headers={**keyed(outsider), "X-Request-Id": "nul-access"},
)
rejected(response, 404, "not_found")
responses.append(response.json())
assert responses[0] == responses[1]
history = await client.get(f"/api/v1/chats/{chat['id']}/messages", headers=actor(owner))
assert history.status_code == 200
assert history.json()["items"] == []
+28
View File
@@ -86,6 +86,34 @@ async def test_login_without_valid_basic(client: AsyncClient, headers: dict) ->
challenged(await client.post("/api/v1/auth/sessions", headers=headers), BASIC)
@pytest.mark.parametrize(
"raw", [b"Basic \x80", b"Basic \xff", b"Basic \xc3\xa9", b"Basic YWxpY2U6c2VjcmV0\xff"]
)
async def test_non_ascii_basic_matches_wrong_password(client: AsyncClient, raw: bytes) -> None:
alice = await register(client, "non_ascii_basic")
count = (
select(func.count()).select_from(SessionRow).where(SessionRow.user_id == UUID(alice["id"]))
)
before = await scalar(count)
wrong = await client.post(
"/api/v1/auth/sessions",
headers={**basic(alice["username"], "wrong-password"), "X-Request-Id": "non-ascii-basic"},
)
invalid = await client.post(
"/api/v1/auth/sessions",
headers={b"Authorization": raw, b"X-Request-Id": b"non-ascii-basic"},
)
for response in [wrong, invalid]:
challenged(response, BASIC)
assert response.headers["X-Instance-Id"]
assert response.headers["content-type"].startswith("application/json")
assert set(response.json()) == {"error"}
assert set(response.json()["error"]) == {"code", "message", "request_id"}
assert response.json()["error"]["message"]
assert wrong.json() == invalid.json()
assert await scalar(count) == before
async def test_password_with_colon_logs_in(client: AsyncClient) -> None:
body = new_user("colon", password="пароль:с:двоеточием")
assert (await client.post("/api/v1/users", json=body)).status_code == 201
+130
View File
@@ -0,0 +1,130 @@
import base64
import http.client
import json
import os
import uuid
from urllib.parse import urlsplit
base = urlsplit(os.environ.get("BASE_URL", "http://127.0.0.1:18084"))
seen = set()
checks = []
password = "Пароль-проверки-01"
def call(method, path, body=None, headers=None, status=200):
request_id = "validation-wire"
assert base.hostname
conn = http.client.HTTPConnection(base.hostname, base.port, timeout=12)
head = {"X-Request-Id": request_id, "Content-Type": "application/json", **(headers or {})}
conn.request(method, path, None if body is None else json.dumps(body).encode(), head)
response = conn.getresponse()
data = response.read()
instance = response.getheader("X-Instance-Id")
assert response.status == status, (method, path, response.status, status)
assert instance
assert response.getheader("X-Request-Id") == request_id
seen.add(instance)
result = json.loads(data) if data else None
if status >= 400:
assert result is not None
assert result["error"]["request_id"] == request_id
if status == 401:
assert response.getheader("WWW-Authenticate") == (
'Basic realm="messenger", charset="UTF-8"'
if path == "/api/v1/auth/sessions"
else 'Bearer realm="messenger"'
)
conn.close()
return result, instance
def basic(name, secret=password):
return {"Authorization": "Basic " + base64.b64encode(f"{name}:{secret}".encode()).decode()}
def enroll():
name = "wire_" + uuid.uuid4().hex[:15]
user, _ = call(
"POST",
"/api/v1/users",
{"username": name, "password": password, "display_name": "Алиса 👋"},
status=201,
)
login, _ = call("POST", "/api/v1/auth/sessions", headers=basic(name), status=201)
return user, {"Authorization": "Bearer " + login["token"]}
user, auth = enroll()
wrong, _ = call(
"POST", "/api/v1/auth/sessions", headers=basic(user["username"], "wrong-password"), status=401
)
for raw in [b"Basic \x80", b"Basic \xff", b"Basic \xc3\xa9", b"Basic YWxpY2U6c2VjcmV0\xff"]:
result, instance = call(
"POST", "/api/v1/auth/sessions", headers={"Authorization": raw}, status=401
)
assert result == wrong
checks.append(
{"case": "non_ascii_basic", "raw_hex": raw.hex(), "status": 401, "instance": instance}
)
for text in ["\x00", "\x00abc", "abc\x00def", "abc\x00"]:
result, instance = call("POST", "/api/v1/auth/sessions", headers=basic(text), status=401)
assert result == wrong
body = {"username": "wire_" + uuid.uuid4().hex[:15], "password": password, "display_name": text}
call("POST", "/api/v1/users", body, status=400)
call("POST", "/api/v1/users", {**body, "display_name": "Алиса 👋"}, status=201)
call("POST", "/api/v1/chats", {"title": text, "member_ids": [user["id"]]}, auth, status=400)
chats, _ = call("GET", "/api/v1/chats", headers=auth)
assert not chats["items"]
checks.append(
{
"case": "nul_basic_display_title",
"position": repr(text),
"status": [401, 400, 201, 400],
"instance": instance,
}
)
chat, _ = call(
"POST", "/api/v1/chats", {"title": "Проверка 👋", "member_ids": [user["id"]]}, auth, status=201
)
path = f"/api/v1/chats/{chat['id']}/messages"
messages = []
for text in ["\x00", "\x00abc", "abc\x00def", "abc\x00"]:
headers = {**auth, "Idempotency-Key": uuid.uuid4().hex}
call("POST", path, {"text": text}, headers, status=400)
page, _ = call("GET", path, headers=auth)
assert page["items"] == messages
first, one = call("POST", path, {"text": "Исправлено\tбез потерь\n👋"}, headers, status=201)
again, two = call("POST", path, {"text": first["text"]}, headers, status=201)
assert first == again and one != two
messages.append(first)
page, _ = call("GET", path, headers=auth)
assert page["items"] == messages
checks.append(
{
"case": "nul_message_corrected_retry",
"position": repr(text),
"instances": [one, two],
"status": [400, 201, 201],
"copies": 1,
}
)
_, outsider = enroll()
for target in [chat["id"], str(uuid.uuid4())]:
call(
"POST",
f"/api/v1/chats/{target}/messages",
{"text": "abc\x00def"},
{**outsider, "Idempotency-Key": uuid.uuid4().hex},
status=404,
)
checks.append({"case": "nul_access", "status": [404, 404]})
call("DELETE", "/api/v1/auth/sessions/current", headers=auth, status=204)
for _ in range(4):
call("GET", "/api/v1/users/me", headers=auth, status=401)
checks.append({"case": "logout_across_replicas", "status": [204, 401, 401, 401, 401]})
assert len(seen) >= 2
print(
json.dumps(
{"checks": checks, "instances": sorted(seen), "pass": True}, ensure_ascii=False, indent=2
)
)
+43
View File
@@ -0,0 +1,43 @@
import http.client
import json
import sys
import time
status = int(sys.argv[1])
path = {502: "/bad", 503: "/none", 504: "/slow"}[status]
if status != 503:
for _ in range(60):
conn = http.client.HTTPConnection("lb", 8080, timeout=2)
conn.request("GET", "/health/ready")
response = conn.getresponse()
response.read()
conn.close()
if response.status == 200:
break
time.sleep(1)
else:
raise RuntimeError("Backend never became ready")
else:
time.sleep(5)
for value in ['a"b', "a\\b", "a\tb", "x" * 200]:
conn = http.client.HTTPConnection("lb", 8080, timeout=20)
start = time.monotonic()
conn.request("GET", path, headers={"X-Request-Id": value})
response = conn.getresponse()
payload = json.loads(response.read())
assert response.status == status, response.status
assert response.getheader("X-Request-Id") == value
assert payload["error"]["request_id"] == value
print(
json.dumps(
{
"status": status,
"request_id": value,
"json_valid": True,
"echo_matches": True,
"seconds": round(time.monotonic() - start, 3),
}
),
flush=True,
)
conn.close()
@@ -0,0 +1,25 @@
services:
lb:
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
volumes: [../../../infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
init: true
deploy:
resources:
limits: {cpus: "0.5", memory: 128m}
api:
image: ${API_IMAGE:?Set the image built by the lab4 stack}
entrypoint: [python, /fixture/server.py]
volumes: [./:/fixture:ro]
init: true
deploy:
resources:
limits: {cpus: "0.5", memory: 128m}
probe:
image: ${API_IMAGE:?Set the image built by the lab4 stack}
entrypoint: [python, /fixture/client.py]
volumes: [./:/fixture:ro]
profiles: [probe]
init: true
deploy:
resources:
limits: {cpus: "0.5", memory: 128m}
+20
View File
@@ -0,0 +1,20 @@
import socketserver
import time
class Handler(socketserver.StreamRequestHandler):
def handle(self) -> None:
request = self.rfile.readline(8192)
while self.rfile.readline(8192) not in {b"\r\n", b""}:
pass
path = request.split(b" ")[1]
if path == b"/bad":
self.wfile.write(b"NOT-HTTP\r\n\r\n")
elif path == b"/slow":
time.sleep(12)
else:
self.wfile.write(b"HTTP/1.1 200 OK\r\nContent-Length: 2\r\n\r\nOK")
with socketserver.ThreadingTCPServer(("0.0.0.0", 8080), Handler) as server:
server.serve_forever()
+52
View File
@@ -1,12 +1,24 @@
import json
from base64 import b64encode
from types import SimpleNamespace
from unittest.mock import AsyncMock, Mock
import pytest
from starlette.types import Scope
from messenger.identity.application.queries import VerifyCredentials
from messenger.identity.entrypoints.authentication import (
BASIC_CHALLENGE,
LOGIN_PATH,
basic_credentials,
bearer_token,
challenge_for,
guard,
)
from messenger.shared.application.ports import Logger
from messenger.shared.entrypoints.pipeline import RequestPipeline
NON_ASCII_BASIC = [b"Basic \x80", b"Basic \xff", b"Basic \xc3\xa9", b"Basic YWxpY2U6c2VjcmV0\xff"]
def encoded(raw: bytes) -> str:
@@ -43,6 +55,46 @@ def test_basic_rejects_malformed(raw: str) -> None:
assert basic_credentials(raw) is None
@pytest.mark.parametrize("raw", NON_ASCII_BASIC)
def test_basic_rejects_non_ascii(raw: bytes) -> None:
assert basic_credentials(raw.decode("latin-1")) is None
@pytest.mark.parametrize("raw", NON_ASCII_BASIC)
async def test_non_ascii_basic_returns_401_without_credential_lookup(raw: bytes) -> None:
verify = AsyncMock(return_value=None)
container = SimpleNamespace(get=AsyncMock(return_value=verify))
scope: Scope = {
"type": "http",
"method": "POST",
"path": LOGIN_PATH,
"headers": [(b"authorization", raw), (b"x-request-id", b"non-ascii-basic")],
"app": SimpleNamespace(state=SimpleNamespace(dishka_container=container)),
}
endpoint, send = AsyncMock(), AsyncMock()
pipeline = RequestPipeline(endpoint, Mock(spec=Logger), 1024, 1, guard, "test-instance")
await pipeline(scope, AsyncMock(), send)
start, body = [call.args[0] for call in send.await_args_list]
assert start["status"] == 401
headers = dict(start["headers"])
assert headers[b"www-authenticate"] == BASIC_CHALLENGE.encode()
assert headers[b"x-instance-id"] == b"test-instance"
assert headers[b"x-request-id"] == b"non-ascii-basic"
assert headers[b"content-type"] == b"application/json"
assert json.loads(body["body"]) == {
"error": {
"code": "unauthorized",
"message": "Аутентификация не предоставлена или недействительна",
"request_id": "non-ascii-basic",
}
}
container.get.assert_awaited_once_with(VerifyCredentials)
verify.assert_not_awaited()
endpoint.assert_not_awaited()
assert "user" not in scope["state"]
assert scope["state"]["actor"] is None
def test_bearer_accepts_token68() -> None:
assert bearer_token("Bearer abc-DEF_123.~+/==") == "abc-DEF_123.~+/=="
assert bearer_token("bearer token") == "token"
+26
View File
@@ -0,0 +1,26 @@
import json
import shlex
from pathlib import Path
import pytest
CONFIG = Path(__file__).resolve().parents[2] / "infra/haproxy/haproxy.cfg"
@pytest.mark.parametrize("status", [502, 503, 504])
@pytest.mark.parametrize("request_id", ['a"b', "a\\b", "a\tb", "aÿb", "x" * 200])
def test_error_templates_escape_json_without_changing_header(status: int, request_id: str) -> None:
line = next(
line.strip()
for line in CONFIG.read_text().splitlines()
if line.strip().startswith(f"http-error status {status} ")
)
tokens = shlex.split(line)
header = tokens[tokens.index("hdr") + 1 : tokens.index("lf-string")]
assert header == ["X-Request-Id", "%[var(txn.request_id)]"]
template = tokens[tokens.index("lf-string") + 1]
escaped = json.dumps(request_id, ensure_ascii=True)[1:-1]
rendered = template.replace("%[var(txn.request_id),json(ascii)]", escaped)
body = json.loads(rendered)
assert body["error"]["request_id"] == request_id
assert body["error"]["code"] == "unavailable"
+95
View File
@@ -0,0 +1,95 @@
from base64 import b64encode
from datetime import UTC, datetime, timedelta
from types import SimpleNamespace
from unittest.mock import AsyncMock, Mock
from uuid import uuid4
import pytest
from starlette.types import Scope
from messenger.identity.application.queries import VerifyCredentials
from messenger.identity.domain.errors import InvalidUserData
from messenger.identity.domain.values import DisplayName
from messenger.identity.entrypoints.authentication import (
BASIC_CHALLENGE,
LOGIN_PATH,
basic_credentials,
guard,
)
from messenger.messaging.application.commands import PostMessage
from messenger.messaging.application.handlers import PostMessageHandler
from messenger.messaging.application.ports import ChatDirectory, MessageLog, MessagingUnitOfWork
from messenger.messaging.domain.errors import ChatNotFound, InvalidChatData, InvalidMessageText
from messenger.messaging.domain.values import ChatTitle, MessageText
from messenger.shared.application.ports import Clock, IdGenerator
from messenger.shared.domain.errors import DomainError
from messenger.shared.entrypoints.pipeline import Rejection
NUL_TEXTS = ["\x00", "\x00abc", "abc\x00def", "abc\x00"]
@pytest.mark.parametrize("username", NUL_TEXTS)
def test_basic_rejects_nul_username(username: str) -> None:
raw = b64encode(f"{username}:synthetic-password".encode()).decode()
assert basic_credentials(f"Basic {raw}") is None
async def test_nul_username_is_rejected_before_credential_lookup() -> None:
verify = AsyncMock(return_value=None)
container = SimpleNamespace(get=AsyncMock(return_value=verify))
scope: Scope = {
"method": "POST",
"path": LOGIN_PATH,
"headers": [(b"authorization", b"Basic " + b64encode(b"abc\x00def:synthetic-password"))],
"app": SimpleNamespace(state=SimpleNamespace(dishka_container=container)),
}
assert await guard(scope) == Rejection(
401, "unauthorized", (("www-authenticate", BASIC_CHALLENGE),)
)
container.get.assert_awaited_once_with(VerifyCredentials)
verify.assert_not_awaited()
assert "user" not in scope["state"]
@pytest.mark.parametrize("raw", NUL_TEXTS)
@pytest.mark.parametrize(
("kind", "error"),
[
(DisplayName, InvalidUserData),
(ChatTitle, InvalidChatData),
(MessageText, InvalidMessageText),
],
)
def test_text_values_reject_nul(
kind: type[DisplayName | ChatTitle | MessageText], error: type[DomainError], raw: str
) -> None:
with pytest.raises(error):
kind(raw)
@pytest.mark.parametrize("kind", [DisplayName, ChatTitle, MessageText])
def test_text_values_preserve_unicode_and_whitespace(
kind: type[DisplayName | ChatTitle | MessageText],
) -> None:
raw = " Привет\tмир\n👋 "
assert kind(raw).value == raw
@pytest.mark.parametrize("member", [False, True])
async def test_nul_message_checks_access_without_writing(member: bool) -> None:
chats = AsyncMock(spec=ChatDirectory)
chats.chat_for_member.return_value = Mock() if member else None
log = AsyncMock(spec=MessageLog)
log.post.return_value = None
uow = Mock(spec=MessagingUnitOfWork)
clock = Mock(spec=Clock)
clock.now.return_value = datetime(2026, 1, 1, tzinfo=UTC)
handler = PostMessageHandler(
uow, log, chats, clock, Mock(spec=IdGenerator), ttl=timedelta(days=1)
)
command = PostMessage(uuid4(), uuid4(), "abc\x00def", "same-key", b"fingerprint")
with pytest.raises(InvalidMessageText if member else ChatNotFound):
await handler(command)
chats.chat_for_member.assert_awaited_once_with(command.chat_id, command.sender_id)
log.post.assert_not_awaited()
uow.record.assert_not_called()
+161
View File
@@ -0,0 +1,161 @@
import asyncio
from datetime import UTC, datetime, timedelta
from typing import cast
from unittest.mock import AsyncMock
from uuid import uuid4
import pytest
from redis.asyncio import Redis
from redis.exceptions import ConnectionError as CacheConnectionError
from fakes import NullLogger
from messenger.identity.domain.models import Session
from messenger.identity.infrastructure.valkey import (
FILL,
REVOKE,
REVOKED,
CachedSessionDirectory,
key_of,
milliseconds,
)
NOW = datetime(2030, 1, 1, tzinfo=UTC)
class CacheModel:
def __init__(self) -> None:
self.values: dict[str, str] = {}
self.expires: dict[str, int] = {}
async def get(self, key: str) -> str | None:
return self.values.get(key)
async def set(self, key: str, value: str, *, pxat: int, nx: bool = False) -> bool:
if nx and key in self.values:
return False
self.values[key], self.expires[key] = value, pxat
return True
async def delete(self, key: str) -> None:
self.values.pop(key, None)
self.expires.pop(key, None)
async def eval(self, script: str, count: int, key: str, marker: str, *args: str | int) -> bool:
assert count == 2
if script == REVOKE:
value, until = args
assert isinstance(value, str) and isinstance(until, int)
await self.set(key, value, pxat=until)
await self.delete(marker)
return True
assert script == FILL
nonce, value, until = args
assert isinstance(value, str) and isinstance(until, int)
if await self.get(marker) != nonce:
return False
await self.delete(marker)
return bool(value) and await self.set(key, value, pxat=until, nx=True)
def directory(origin: AsyncMock, cache: CacheModel, ttl: int = 300) -> CachedSessionDirectory:
return CachedSessionDirectory(
origin, cast(Redis, cache), NullLogger(), limit=timedelta(seconds=ttl), cooldown=1
)
@pytest.fixture
def session() -> Session:
return Session.issue(user_id=uuid4(), issued_at=NOW, ttl=timedelta(seconds=30))[1]
@pytest.mark.parametrize("ttl", [10, 300])
async def test_cache_hit_keeps_absolute_ttl_without_reading_origin(
session: Session, ttl: int
) -> None:
origin, cache = AsyncMock(), CacheModel()
origin.find.return_value = session
cached = directory(origin, cache, ttl)
assert await cached.find(session.token_hash, NOW) == session
assert await directory(origin, cache, ttl).find(session.token_hash, NOW) == session
origin.find.assert_awaited_once()
assert cache.expires == {
key_of(session.token_hash): milliseconds(
min(session.expires_at, NOW + timedelta(seconds=ttl))
)
}
@pytest.mark.parametrize("loss", ["none", "flushall", "evict", "replacement"])
async def test_delayed_fill_cannot_revive_logged_out_session(session: Session, loss: str) -> None:
origin, cache = AsyncMock(), CacheModel()
origin.find.return_value = session
entered, released = asyncio.Event(), asyncio.Event()
async def stale_find(token_hash: bytes, now: datetime) -> Session:
entered.set()
await released.wait()
return session
slow = AsyncMock()
slow.find.side_effect = stale_find
async with asyncio.TaskGroup() as group:
reader = group.create_task(directory(slow, cache).find(session.token_hash, NOW))
await asyncio.wait_for(entered.wait(), 1)
try:
await directory(origin, cache).revoke(session)
origin.find.return_value = None
key = key_of(session.token_hash)
if loss == "flushall":
cache.values.clear()
elif loss in {"evict", "replacement"}:
await cache.delete(key)
if loss == "replacement":
await cache.set(f"{key}:fill", uuid4().hex, pxat=milliseconds(session.expires_at))
finally:
released.set()
assert reader.result() == session
assert await directory(origin, cache).find(session.token_hash, NOW) is None
assert await cache.get(key) in {None, REVOKED}
async def test_failed_reservation_never_fills_from_stale_database_result(session: Session) -> None:
cache = CacheModel()
origin = AsyncMock()
key = key_of(session.token_hash)
await cache.set(f"{key}:fill", "another-reader", pxat=milliseconds(session.expires_at))
async def find(token_hash: bytes, now: datetime) -> Session:
cache.values.clear()
return session
origin.find.side_effect = find
assert await directory(origin, cache).find(session.token_hash, NOW) == session
assert await cache.get(key) is None
async def test_missing_session_releases_only_its_own_reservation(session: Session) -> None:
origin, cache = AsyncMock(), CacheModel()
origin.find.return_value = None
assert await directory(origin, cache).find(session.token_hash, NOW) is None
assert cache.values == {}
@pytest.mark.parametrize("failed_operation", ["get", "set"])
async def test_cache_recovery_during_database_read_does_not_allow_unreserved_fill(
session: Session, failed_operation: str
) -> None:
origin, cache = AsyncMock(), AsyncMock()
cache.get.return_value = None
getattr(cache, failed_operation).side_effect = CacheConnectionError("offline")
cached = CachedSessionDirectory(
origin, cache, NullLogger(), limit=timedelta(seconds=300), cooldown=1
)
async def find(token_hash: bytes, now: datetime) -> Session:
cached._resume_at = 0.0
return session
origin.find.side_effect = find
assert await cached.find(session.token_hash, NOW) == session
assert cache.set.await_count == (failed_operation == "set")
cache.eval.assert_not_awaited()