Propose forwarding final lab3 review fixes

This commit is contained in:
Artyom
2026-11-06 12:01:57 +03:00
parent d7478726a8
commit f0fc084fbb
10 changed files with 380 additions and 0 deletions
@@ -0,0 +1,2 @@
schema: spec-driven
created: 2026-11-06
@@ -0,0 +1,56 @@
## Context
База ЛР4 d747872, source forward f591fa6; final source ba78cf6 из immutable snapshot.
Меняются Identity, валидация Messaging и формат ошибок LB; схема/Alembic неизменны.
## Goals / Non-Goals
Перенести весь применимый диапазон с явным манифестом. Не переписывать вложения,
S3, upload deadlines, reconciler или нормативные файлы. Minor сохранять как ограничения.
## Decisions
SessionDirectory/CachedSessionDirectory остаются портом и адаптером Identity,
сборка через существующий DI. Промах резервирует случайный nonce с абсолютным TTL;
Lua заполняет кэш только при совпадении nonce. Отзыв атомарно ставит tombstone и
удаляет reservation. Потеря/вытеснение/замена reservation запрещает запоздалое заполнение.
Это даёт защиту от возврата токена ценой дополнительных команд только на cache miss.
Logout удаляет строку внутри транзакции, затем инвалидирует кэш и фиксирует COMMIT.
Чтение SessionRow по PK token_hash получает FOR KEY SHARE через SQLAlchemy
with_for_update(read=True, key_share=True), поэтому ждёт незавершённый DELETE.
Это закрывает окно flush до COMMIT ценой блокировки при одновременном logout;
statement timeout и перевод ошибки в 503 сохраняются. При rollback tombstone снимается.
PostgreSQL остаётся источником истины; Valkey можно обойти при недоступности.
NUL отклоняется value objects до записи; Basic проверяется до Base64/SQL.
MessageText сохраняет допуск пустой строки, если команда несёт attachment_ids.
HAProxy экранирует только JSON-поле, исходный X-Request-Id остаётся в заголовке.
Остальные LB timeout/retry/upload buffer настройки ЛР4 сохраняются.
## Validation and evidence reuse
Сначала собственные unit/API регрессии с реальными PG/Valkey, затем полный suite.
Свежий project hlpipe-lab4-forward-final-20261106: smoke/persistence/failover,
19 stack отказов, S3/upload сценарии, LB JSON на реальном HAProxy.
Нагрузка записи 3×8 с и контроль памяти 3 слота/10MiB/40 клиентов ×3: аутентификация
изменилась, эти точки фиксируют текущее поведение. Фон Docker/CPU записывается;
чужие стенды не останавливаются, нагрузки идут последовательно.
Повтор demo reconciler проверяет API-интеграцию. Cost 27 прогонов сохраняется:
код CLI/алгоритма/attachment SQL/S3 и измерительный драйвер не меняются, сессии и LB
в стоимости обхода не участвуют. Это прежние измерения неизменённого механизма,
не заявление, что они сняты на новом HEAD. Полная матрица памяти также остаётся
с исходным SHA; текущие контрольные точки показываются отдельно.
## Risks / Trade-offs
Изменённый cache miss может уменьшить throughput при постоянных новых токенах;
3×8 с одного чата не измеряет такой профиль. Обязательные гонки покрываются отдельно.
Одиночный Unicode surrogate остаётся известным minor источника; воспроизвести
и сохранить в findings/REPORT, не расширяя исправление.
## Migration Plan
Аддитивных миграций нет. Собрать новый образ, проверить свой стенд и остановить
его без удаления volumes. Изменения коммитить после lint; публикация вне фазы запрещена.
@@ -0,0 +1,43 @@
## Why
Финальная ЛР3 исправляет восстановление отозванной сессии после потери кэша,
невалидный JSON ошибок LB и ответы 500 на недопустимые текстовые входы.
Перенос диапазона f591fa64e525679a31c9db7f942d36c789e1a12f →
ba78cf6da439a4ec60fd59389583b38285b0b2b1 обязателен до ревью ЛР4.
Это минимум уровня 3 README и строка 3.9 REPORT; отказы уровня 4 перепроверяются.
## What Changes
- Перенести nonce заполнения кэша, атомарный отзыв и порядок блокировок PostgreSQL.
- Экранировать request_id в JSON ошибок 502/503/504 HAProxy.
- Отклонять NUL в сохраняемых строках и Basic username, non-ASCII в закодированном Basic.
- Перенести регрессии, сохранив пустой текст с attachment_ids и инфраструктуру RustFS.
- Сохранить полный манифест диапазона, исключения и новые доказательства.
## Capabilities
### New Capabilities
Нет.
### Modified Capabilities
- `lab2-session-cache`: отозванная сессия не возвращается после потери кэша.
- `lab2-auth-sessions`: malformed Basic возвращает общую ошибку 401.
- `lab1-messenger-identity`: NUL display_name отклоняется до записи.
- `lab1-messenger-chats`: NUL title отклоняется атомарно.
- `lab1-messenger-history`: NUL text не занимает Idempotency-Key.
- `lab3-load-balancing`: специальный request_id сохраняет валидность JSON ошибки.
## Non-goals
Не менять нормативные файлы, схему, SQLAlchemy/Alembic, вложения или reconciler.
Out of scope из openspec/config.yaml сохраняется. Публикация и исправления minor
без нарушения обязательного сценария не входят в фазу.
## Impact
Identity, валидация Messaging, шаблоны ошибок LB и собственные тесты.
Новых зависимостей/миграций нет. Источник только immutable snapshot ba78cf6.
API и отказы проверяются своим стендом, фон фиксируется; неизменённые измеряемые
механизмы не требуют повторения пригодных длительных серий.
@@ -0,0 +1,40 @@
## MODIFIED Requirements
### Requirement: Создание чата
Сервис SHALL принимать `POST /api/v1/chats` от аутентифицированного пользователя с телом `{"title":..., "member_ids":[...]}` и возвращать `201` с объектом `Chat`. `title` SHALL содержать от 1 до 100 code points и не состоять только из пробельных символов. `member_ids` SHALL содержать от 1 до 100 уникальных идентификаторов существующих пользователей и SHALL включать вызывающего. Чат SHALL создаваться атомарно: при любой ошибке валидации он не создаётся вовсе.
По правилам неверных полей и атомарного создания из `contracts/README.md`, `title` SHALL NOT содержать NUL.
#### Scenario: Чат создан
- **WHEN** участник отправляет `POST /api/v1/chats` с корректным `title` и списком из своего и чужого идентификаторов
- **THEN** ответ `201`, тело соответствует схеме `Chat`, `member_ids` совпадает с запрошенным составом
- **AND** `id` и `created_at` назначены сервером
#### Scenario: Вызывающий не входит в состав
- **WHEN** `member_ids` не содержит идентификатора вызывающего
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Состав содержит дубликаты
- **WHEN** `member_ids` содержит один и тот же идентификатор дважды
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Состав содержит неизвестного пользователя
- **WHEN** `member_ids` содержит идентификатор, которому не соответствует ни один пользователь
- **THEN** ответ `400` с кодом `invalid_request`
- **AND** чат не создаётся
#### Scenario: Запрос без идентификации
- **WHEN** `POST /api/v1/chats` приходит без `Authorization: Bearer` или с недействительным токеном
- **THEN** ответ `401` с кодом `unauthorized` и `WWW-Authenticate: Bearer realm="messenger"`
#### Scenario: NUL в названии чата
- **WHEN** аутентифицированный пользователь отправляет `POST /api/v1/chats` с NUL в `title` и корректными участниками
- **THEN** ответ `400` с телом `{"error":{"code":"invalid_request","message":...,"request_id":...}}`; чат не появляется в списке
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
@@ -0,0 +1,76 @@
## MODIFIED Requirements
### Requirement: Отправка сообщения
Сервис SHALL принимать `POST /api/v1/chats/{chat_id}/messages` от участника чата с телом `{"text":..., "attachment_ids":[...]}` и обязательным заголовком `Idempotency-Key` и возвращать `201` с объектом `Message`. Отправитель SHALL выводиться из предъявленной идентификации; поле `sender_id` в теле запроса SHALL NOT приниматься. `text` SHALL быть обязательным, содержать не более 4000 Unicode code points и SHALL NOT состоять только из пробельных символов; пустая строка допустима только при хотя бы одном вложении. `attachment_ids` SHALL быть необязательным списком из 0–10 уникальных UUID (по умолчанию `[]`); каждое вложение SHALL принадлежать этому чату и быть готовым, иначе ответ `404`. Порядок `attachment_ids` SHALL сохраняться, а одно вложение SHALL допускаться в нескольких сообщениях. Каждый `Message` в ответе SHALL содержать `attachment_ids`, у текстового — `[]`. `id` и `created_at` SHALL назначаться сервером. Правила ключа описаны в `lab3-idempotent-messages`.
По правилам неверных полей, доступа и идемпотентности из `contracts/README.md`, `text` SHALL NOT содержать NUL; отклонённая запись SHALL NOT занимать `Idempotency-Key`.
#### Scenario: Сообщение отправлено
- **WHEN** участник отправляет `{"text":"Привет, мир 👋"}` в свой чат с новым `Idempotency-Key`
- **THEN** ответ `201`, тело соответствует схеме `Message`, `attachment_ids` равен `[]`
- **AND** `sender_id` равен идентификатору вызывающего, `chat_id` равен чату из пути, `text` побайтово совпадает с отправленным
#### Scenario: Сообщение с вложением без текста
- **WHEN** участник отправляет `{"text":"","attachment_ids":[id]}`, где `id` — готовое вложение этого чата
- **THEN** ответ `201`, `attachment_ids` равен `[id]`
#### Scenario: Порядок вложений сохраняется
- **WHEN** участник отправляет три вложения чата в порядке `[c, a, b]`
- **THEN** ответ и история содержат `attachment_ids` в том же порядке `[c, a, b]`
#### Scenario: Вложение другого чата или неизвестное
- **WHEN** `attachment_ids` содержит вложение другого чата того же пользователя или несуществующий UUID
- **THEN** ответ `404` с кодом `not_found`, сообщение не сохраняется
#### Scenario: Слишком много, повторы или не UUID
- **WHEN** `attachment_ids` содержит 11 элементов, повторяющийся UUID или строку не в формате UUID
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Ключ не передан
- **WHEN** участник отправляет корректное тело без заголовка `Idempotency-Key`
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Отправитель не берётся из тела запроса
- **WHEN** тело запроса содержит поле `sender_id`
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Пустой или пробельный текст
- **WHEN** тело содержит `{"text":""}`, `{"text":"","attachment_ids":[]}` или `{"text":" "}` с вложениями или без
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Текст длиннее предела
- **WHEN** `text` содержит более 4000 Unicode code points
- **THEN** ответ `400` с кодом `invalid_request`
- **AND** длина считается в code points, а не в байтах UTF-8
#### Scenario: Посторонний пишет в чужой чат
- **WHEN** пользователь, не входящий в состав чата, отправляет корректное сообщение с ключом
- **THEN** ответ `404` с кодом `not_found`
- **AND** сообщение не сохраняется
#### Scenario: Доступ проверяется раньше содержимого
- **WHEN** посторонний отправляет в чужой чат с ключом тело с пустым `text` или с 11 вложениями
- **THEN** ответ `404`, а не `400`
#### Scenario: NUL в тексте сообщения
- **WHEN** участник отправляет `POST /api/v1/chats/{chat_id}/messages` с NUL в `text` и новым корректным `Idempotency-Key`
- **THEN** ответ `400` с телом `{"error":{"code":"invalid_request","message":...,"request_id":...}}`; история не меняется, исправленное сообщение с тем же ключом получает `201`, повтор возвращает тот же объект
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
#### Scenario: NUL не раскрывает чужой чат
- **WHEN** посторонний отправляет сообщение с NUL в чужой или несуществующий чат с корректным ключом
- **THEN** ответ `404 not_found` в стандартном теле ошибки с `X-Instance-Id` и `X-Request-Id`; записи нет
@@ -0,0 +1,45 @@
## MODIFIED Requirements
### Requirement: Регистрация пользователя
Сервис SHALL принимать `POST /api/v1/users` без аутентификации и возвращать `201` с объектом `User`, содержащим назначенные сервером `id` и `created_at`. Тело запроса SHALL содержать ровно поля `username`, `display_name` и `password`. `username` SHALL соответствовать `^[a-z0-9_]{3,32}$` и быть уникальным, `display_name` SHALL содержать от 1 до 100 Unicode code points и не состоять только из пробельных символов, требования к `password` задаёт `lab2-auth-sessions`. Ответ SHALL NOT содержать полей, отсутствующих в схеме `User`. Уникальность SHALL соблюдаться и при конкурентной регистрации одного `username`: успешной будет ровно одна, остальные получат `409`.
По правилам неверных полей и ошибок из `contracts/README.md`, `display_name` SHALL NOT содержать NUL.
#### Scenario: Пользователь создан
- **WHEN** приходит `POST /api/v1/users` с телом `{"username":"alice_01","display_name":"Алиса","password":"<12+ символов>"}`
- **THEN** ответ `201`, тело соответствует схеме `User`, `username` и `display_name` совпадают с запросом
- **AND** `id` — UUID, назначенный сервером, `created_at` — RFC 3339 UTC с суффиксом `Z`
#### Scenario: Username занят
- **WHEN** приходит `POST /api/v1/users` с `username`, уже принадлежащим другому пользователю
- **THEN** ответ `409` с телом ошибки и кодом `conflict`
#### Scenario: Username нарушает формат
- **WHEN** `username` содержит заглавные буквы, дефис, пробел, перевод строки или имеет длину вне 3–32 символов
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Display_name пуст или состоит из пробелов
- **WHEN** `display_name` равен `""`, `" "` или длиннее 100 code points
- **THEN** ответ `400` с кодом `invalid_request`
#### Scenario: Тело запроса нарушает схему
- **WHEN** тело содержит лишнее поле, неверный тип поля, не содержит обязательного поля (в том числе `password`) или не является корректным JSON
- **THEN** ответ `400` с кодом `invalid_request`
- **AND** сообщение ошибки не содержит stack trace и внутренних деталей реализации
#### Scenario: Регистрация не требует идентификации
- **WHEN** `POST /api/v1/users` приходит без заголовка `Authorization`
- **THEN** запрос обрабатывается на общих основаниях, ответ не равен `401`
#### Scenario: NUL в отображаемом имени
- **WHEN** `POST /api/v1/users` содержит NUL в `display_name`
- **THEN** ответ `400` с телом `{"error":{"code":"invalid_request","message":...,"request_id":...}}`; пользователь не создаётся, повтор с корректным именем и тем же username может дать `201`
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
@@ -0,0 +1,46 @@
## MODIFIED Requirements
### Requirement: Вход по Basic выдаёт сессию
Сервис SHALL принимать `POST /api/v1/auth/sessions` только с заголовком `Authorization: Basic <base64(username:password)>` и без тела. Декодирование base64 SHALL быть строгим, разделителем SHALL служить первое двоеточие, пароль SHALL декодироваться как UTF-8. При верных учётных данных ответ SHALL быть `201` с телом `{"token","token_type":"Bearer","expires_at","user"}`, где `token` — непрозрачная случайная строка не короче 32 символов с энтропией не менее 256 бит, `expires_at` — RFC 3339 UTC с `Z`, а `user` совпадает с ответом регистрации. Неверный пароль, неизвестный `username`, отсутствующий и испорченный заголовок SHALL давать одинаковый `401` с кодом `unauthorized` и заголовком `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`.
В соответствии с разделом «Идентификация и сессии» `contracts/README.md`, NUL в Basic username и не-ASCII символы в закодированной части Basic SHALL приводить к тому же `401 unauthorized`.
#### Scenario: Успешный вход
- **WHEN** зарегистрированный пользователь отправляет верные `username:password` в `Basic`
- **THEN** ответ `201`, тело соответствует схеме `Session`, `token_type` равен `Bearer`
- **AND** `user` побайтно равен телу ответа его регистрации, `expires_at` в будущем
#### Scenario: Неверный пароль и неизвестный пользователь неразличимы
- **WHEN** приходит `Basic` с неверным паролем существующего пользователя или с несуществующим `username`
- **THEN** оба ответа — `401` с кодом `unauthorized` и `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`
- **AND** тела ответов различаются только `request_id`
#### Scenario: Испорченный заголовок Basic
- **WHEN** заголовок отсутствует, содержит другую схему, невалидный base64 или строку без двоеточия
- **THEN** ответ `401` с тем же заголовком `WWW-Authenticate: Basic ...`
#### Scenario: Двоеточие в пароле
- **WHEN** пароль пользователя содержит двоеточие и он входит по `Basic`
- **THEN** ответ `201`: разделителем служит первое двоеточие
#### Scenario: Тело запроса при входе
- **WHEN** запрос с верным `Basic` содержит тело
- **THEN** ответ `400` с кодом `invalid_request`, сессия не создаётся
#### Scenario: Username с NUL
- **WHEN** в `POST /api/v1/auth/sessions` передан корректный Base64 от username с NUL и пароля
- **THEN** ответ `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`; тело `{"error":{"code":"unauthorized","message":...,"request_id":...}}` совпадает с ошибкой неверного пароля, кроме `request_id`
- **AND** ответ содержит непустые `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`
#### Scenario: Не-ASCII в закодированной части Basic
- **WHEN** `POST /api/v1/auth/sessions` получает `Authorization` с не-ASCII байтами после `Basic `, в том числе `0xff`
- **THEN** ответ `401` с `WWW-Authenticate: Basic realm="messenger", charset="UTF-8"`; тело `{"error":{"code":"unauthorized","message":...,"request_id":...}}` совпадает с ошибкой неверного пароля, кроме `request_id`
- **AND** ответ содержит непустой `X-Instance-Id` и `X-Request-Id`, совпадающий с `error.request_id`; сессия не создаётся
@@ -0,0 +1,31 @@
## MODIFIED Requirements
### Requirement: Выход инвалидирует кэш
Отзыв сессии SHALL инвалидировать кэш до фиксации удаления в PostgreSQL. Отозванный токен SHALL получать `401` и при гонке «чтение заполнило кэш после выхода», включая потерю или смену состояния кэша. Если инвалидация невозможна, выход SHALL отвечать `503` и SHALL NOT фиксировать удаление сессии. Если транзакция удаления не завершилась, выход SHALL отвечать `503` и SHALL снимать отметку отзыва: сессия остаётся действующей. Основание: `contracts/README.md`, выход и абсолютный TTL; `README.md`, уровень «3», сохранение минимума lab2.
#### Scenario: Отозванный токен не оживает из кэша
- **WHEN** токен закэширован, после чего пользователь выполняет `DELETE /api/v1/auth/sessions/current`
- **THEN** ответ `204`, а следующий запрос с этим токеном получает `401`
#### Scenario: Выход при недоступном кэше
- **WHEN** Valkey остановлен и пользователь выполняет `DELETE /api/v1/auth/sessions/current`
- **THEN** ответ `503` с кодом `unavailable`, а после запуска Valkey повторный выход отвечает `204`
#### Scenario: Выход при сбое PostgreSQL
- **WHEN** отметка отзыва записана, но транзакция удаления сессии в PostgreSQL завершилась ошибкой
- **THEN** выход отвечает `503` с кодом `unavailable`, токен по-прежнему получает `200`, отметки отзыва в кэше нет
- **AND** после возвращения PostgreSQL повторный выход отвечает `204`, а токен затем получает `401`
#### Scenario: Запоздавшее чтение после выхода и потери кэша
- **WHEN** чтение действующей сессии задержалось, другая реплика завершила logout с `204`, затем очистка или вытеснение удалили отметку отзыва и задержанное чтение продолжилось
- **THEN** новый `GET /api/v1/users/me` с тем же токеном получает `401` с `WWW-Authenticate: Bearer realm="messenger"` и телом общей ошибки, даже если другая проверка успела заново обратиться к кэшу
#### Scenario: Очистка кэша до завершения выхода
- **WHEN** кэш очищен после инвалидации, но до COMMIT удаления сессии, и параллельно начинается новая проверка токена
- **THEN** эта проверка не оставляет действующую сессию в кэше после успешного logout, следующие запросы получают `401`
@@ -0,0 +1,21 @@
## MODIFIED Requirements
### Requirement: Готовность backend и обновление адресов
Балансировщик SHALL активно проверять каждую реплику запросом `GET /health/ready` и SHALL исключать из ротации реплику, которая не отвечает `200`. Адреса реплик SHALL обновляться через DNS без перезапуска балансировщика: остановленная реплика исчезает из ротации, запущенная или пересозданная появляется сама. Ответы, сформированные самим балансировщиком (`502`, `503`, `504`), SHALL иметь тело в общем формате ошибки с `request_id`, равным заголовку `X-Request-Id`.
#### Scenario: Реплика возвращается в ротацию
- **WHEN** остановленная реплика снова запущена
- **THEN** после успешных проверок готовности балансировщик снова направляет на неё запросы без перезапуска `lb`
#### Scenario: Нет ни одной готовой реплики
- **WHEN** все реплики API остановлены
- **THEN** запрос через LB получает `503` с телом `{"error":{"code":"unavailable",...}}`
#### Scenario: Специальные символы идентификатора в ошибке LB
- **WHEN** запрос с допустимым `X-Request-Id`, содержащим кавычку, обратную косую черту или табуляцию, получает ошибку `502`, `503` или `504` от балансировщика
- **THEN** заголовок ответа сохраняет исходное значение, тело является валидным JSON, а декодированное `error.request_id` совпадает с заголовком
- **AND** сохраняется общий формат ошибки из `contracts/README.md`; требование относится к единой точке входа уровня «3» `README.md`
@@ -0,0 +1,20 @@
## 1. Перенос обязательного минимума
- [ ] 1.1 Перенести исправления Identity и их unit/API регрессии.
- [ ] 1.2 Перенести валидацию Messaging с сохранением attachment_ids; проверить пустой текст с вложением.
- [ ] 1.3 Перенести экранирование ошибок HAProxy и проверить шаблоны.
- [ ] 1.4 Составить полный манифест диапазона и причин исключения; сохранить source archives и адаптировать контекст.
- [ ] 1.5 Выполнить check/validate/lint/student-test, закоммитить код.
## 2. Реальный стенд и затронутые сценарии
- [ ] 2.1 Выполнить smoke/persistence/failover, stack faults, upload failover/S3 и сетевые регрессии.
- [ ] 2.2 Проверить JSON ошибок 502/503/504 на реальном HAProxy с особыми request_id.
- [ ] 2.3 Снять три прогона записи и три граничных замера памяти, записать фон.
- [ ] 2.4 Повторить demo reconciler; обосновать применимость сохранённой матрицы стоимости.
## 3. Завершение
- [ ] 3.1 Обновить evidence/forward-port.md и ограничения REPORT, сохранить minor без исправления.
- [ ] 3.2 Остановить свои стенды без удаления volumes, синхронизировать specs и архивировать цикл.
- [ ] 3.3 Выполнить lint перед финальным коммитом, подтвердить чистое дерево и неизменность нормативных файлов.