From d3ee257df1b45a2b13daf2d17277f0fd8a036d15 Mon Sep 17 00:00:00 2001 From: Artyom Date: Fri, 30 Oct 2026 04:47:14 +0300 Subject: [PATCH] Archive the lab 3 review gaps change The deltas are synced to openspec/specs: the order of checks on posting a message (401, then 400 for the request shape without touching the chat, then 404 for access, then 400 for the text); three detection runs with a 0.25 s measurement slack and the replica states after each stop in failover-each; the upper bound of the track 1 grid with a ceiling on the first grid point stated as a lower bound; control runs of the pool, the LB queue and the placement. Before archiving, on the running stand: make test passes, failover recovers the first write in 2.78 s with 0 failed attempts, persistence passes; make check, make lint and 243 own tests pass. All level 3 and 4 records were taken on b1c80ee, after the lab 2 carry over. Co-Authored-By: Claude Opus 5.5 (1M context) Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27 --- .../.openspec.yaml | 2 ++ .../design.md | 0 .../proposal.md | 0 .../specs/lab3-failover-operations/spec.md | 0 .../specs/lab3-idempotent-messages/spec.md | 0 .../specs/lab3-scaling-cost/spec.md | 0 .../tasks.md | 0 .../specs/lab3-failover-operations/spec.md | 7 +++---- .../specs/lab3-idempotent-messages/spec.md | 18 ++++++++++++++++++ openspec/specs/lab3-scaling-cost/spec.md | 15 ++++++++++++++- 10 files changed, 37 insertions(+), 5 deletions(-) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/.openspec.yaml (58%) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/design.md (100%) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/proposal.md (100%) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/specs/lab3-failover-operations/spec.md (100%) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/specs/lab3-idempotent-messages/spec.md (100%) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/specs/lab3-scaling-cost/spec.md (100%) rename openspec/changes/{close-lab3-review-gaps => archive/2026-10-30-close-lab3-review-gaps}/tasks.md (100%) diff --git a/openspec/changes/close-lab3-review-gaps/.openspec.yaml b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/.openspec.yaml similarity index 58% rename from openspec/changes/close-lab3-review-gaps/.openspec.yaml rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/.openspec.yaml index 5c99d6d7..025ae11e 100644 --- a/openspec/changes/close-lab3-review-gaps/.openspec.yaml +++ b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/.openspec.yaml @@ -1,2 +1,4 @@ schema: spec-driven created: 2026-10-29 +archived: 2026-10-30 +lab: 3 diff --git a/openspec/changes/close-lab3-review-gaps/design.md b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/design.md similarity index 100% rename from openspec/changes/close-lab3-review-gaps/design.md rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/design.md diff --git a/openspec/changes/close-lab3-review-gaps/proposal.md b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/proposal.md similarity index 100% rename from openspec/changes/close-lab3-review-gaps/proposal.md rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/proposal.md diff --git a/openspec/changes/close-lab3-review-gaps/specs/lab3-failover-operations/spec.md b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/specs/lab3-failover-operations/spec.md similarity index 100% rename from openspec/changes/close-lab3-review-gaps/specs/lab3-failover-operations/spec.md rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/specs/lab3-failover-operations/spec.md diff --git a/openspec/changes/close-lab3-review-gaps/specs/lab3-idempotent-messages/spec.md b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/specs/lab3-idempotent-messages/spec.md similarity index 100% rename from openspec/changes/close-lab3-review-gaps/specs/lab3-idempotent-messages/spec.md rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/specs/lab3-idempotent-messages/spec.md diff --git a/openspec/changes/close-lab3-review-gaps/specs/lab3-scaling-cost/spec.md b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/specs/lab3-scaling-cost/spec.md similarity index 100% rename from openspec/changes/close-lab3-review-gaps/specs/lab3-scaling-cost/spec.md rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/specs/lab3-scaling-cost/spec.md diff --git a/openspec/changes/close-lab3-review-gaps/tasks.md b/openspec/changes/archive/2026-10-30-close-lab3-review-gaps/tasks.md similarity index 100% rename from openspec/changes/close-lab3-review-gaps/tasks.md rename to openspec/changes/archive/2026-10-30-close-lab3-review-gaps/tasks.md diff --git a/openspec/specs/lab3-failover-operations/spec.md b/openspec/specs/lab3-failover-operations/spec.md index c1d5a4fa..d0950f06 100644 --- a/openspec/specs/lab3-failover-operations/spec.md +++ b/openspec/specs/lab3-failover-operations/spec.md @@ -15,7 +15,7 @@ #### Scenario: Обнаружение измерено по каждому виду отказа - **WHEN** выполняется `make detection` -- **THEN** для `SIGTERM` через `scripts/stop-one.sh`, `docker kill`, `docker pause` и остановки PostgreSQL в `evidence/detection/*.json` записаны время обнаружения, заявленный максимум и время возврата в ротацию, и каждое время обнаружения не больше заявленного максимума +- **THEN** три прогона подряд для `SIGTERM`, `docker kill`, `docker pause` и остановки PostgreSQL записывают в `evidence/detection/run/*.json` время обнаружения, заявленный максимум и время возврата в ротацию, и каждое время обнаружения не больше заявленного максимума плюс допуск замера 0,25 с (запуск docker CLI до сигнала и опрос статистики LB раз в 50 мс); в отчёте приводится диапазон трёх прогонов #### Scenario: Остановка по сигналу не теряет запросы @@ -34,12 +34,12 @@ ### Requirement: Поочерёдный отказ под нагрузкой -Оператор SHALL одной командой останавливать каждую реплику по очереди под открытой нагрузкой (постоянная интенсивность запросов, 80 % отправок сообщений и 20 % чтений истории) и возвращать её до остановки следующей. Для каждой реплики SHALL фиксироваться интенсивность и доля ошибок нагрузки, задержки p50/p95/p99, время обнаружения, время возврата в ротацию, ошибки и время восстановления записи зонда, повторяющего неудачную запись с тем же ключом, и счётчики повторов и перенаправлений балансировщика. +Оператор SHALL одной командой останавливать каждую реплику по очереди под открытой нагрузкой (постоянная интенсивность запросов, 80 % отправок сообщений и 20 % чтений истории) и возвращать её до остановки следующей. Для каждой реплики SHALL фиксироваться состояние реплик после остановки (`docker ps -a`), интенсивность и доля ошибок нагрузки, задержки p50/p95/p99, время обнаружения, время возврата в ротацию, ошибки и время восстановления записи зонда, повторяющего неудачную запись с тем же ключом, и счётчики повторов и перенаправлений балансировщика. #### Scenario: Каждая реплика по очереди - **WHEN** выполняется `make failover-each` -- **THEN** `evidence/failover-each/summary.json` содержит запись на каждую реплику; в каждой хук завершился кодом 0, доля ошибок нагрузки не больше 1 %, запись восстановилась не позже 10 с, пока реплика была исключена, её `X-Instance-Id` не встречался, а после возврата она снова обслуживает запросы +- **THEN** `evidence/failover-each/summary.json` содержит запись на каждую реплику; в каждой хук завершился кодом 0, доля ошибок нагрузки не больше 1 %, запись восстановилась не позже 10 с, пока реплика была исключена, её `X-Instance-Id` не встречался, а после возврата она снова обслуживает запросы; в `evidence/failover-each//action.txt` после хука записан `docker ps -a` реплик, где остановлена именно эта реплика ### Requirement: Общая идемпотентность под параллельными запросами @@ -82,4 +82,3 @@ - **WHEN** идёт поочерёдная замена - **THEN** `migrate` запускается один раз до замены первой реплики, реплики схему не меняют, а повторный запуск сообщает `up to date` - diff --git a/openspec/specs/lab3-idempotent-messages/spec.md b/openspec/specs/lab3-idempotent-messages/spec.md index d4728d35..b5a87bca 100644 --- a/openspec/specs/lab3-idempotent-messages/spec.md +++ b/openspec/specs/lab3-idempotent-messages/spec.md @@ -79,3 +79,21 @@ - **WHEN** во время `make test-failover` запрос не получил ответа и повторён с тем же ключом и текстом - **THEN** в истории нет дублей по `id` и `text`, а каждый подтверждённый ответ совпадает с записью истории байт-в-байт +### Requirement: Порядок проверок отправки сообщения + +`POST /api/v1/chats/{chat_id}/messages` SHALL проверять запрос в таком порядке: сессия (`401`), форма запроса — заголовок `Idempotency-Key`, malformed JSON, лишние поля и типы (`400 invalid_request`), доступ к чату (`404 not_found`), затем текст сообщения (`400 invalid_request`). Ответ постороннему SHALL NOT раскрывать, существует ли чат: `400` по форме запроса отдаётся без обращения к чату и одинаков для существующего и несуществующего чата, а ошибка текста постороннему SHALL быть `404`. + +#### Scenario: Посторонний без ключа + +- **WHEN** аутентифицированный посторонний отправляет в существующий чат запрос без `Idempotency-Key` +- **THEN** ответ `400` с кодом `invalid_request`, такой же, как для несуществующего чата + +#### Scenario: Посторонний с невалидным текстом + +- **WHEN** посторонний отправляет с корректным ключом текст из пробелов +- **THEN** ответ `404` с кодом `not_found`, а не `400` + +#### Scenario: Участник с невалидным текстом + +- **WHEN** участник отправляет с корректным ключом текст из пробелов +- **THEN** ответ `400` с кодом `invalid_request`, ключ не занят diff --git a/openspec/specs/lab3-scaling-cost/spec.md b/openspec/specs/lab3-scaling-cost/spec.md index 14a71ab4..e67225a1 100644 --- a/openspec/specs/lab3-scaling-cost/spec.md +++ b/openspec/specs/lab3-scaling-cost/spec.md @@ -38,7 +38,7 @@ ### Requirement: Рост ресурсов до насыщения -Серия B SHALL наращивать число реплик 1→2→4→8 с постоянными ресурсами на реплику (1 CPU, 512 MiB, 1 воркер), повышая интенсивность каждой конфигурации, пока два шага подряд не окажутся насыщенными во всех повторах. Шаг SHALL считаться насыщенным, если доля ошибок больше 1 %, сброшенных итераций больше 1 % от предложенных или p95 больше 500 мс. Интенсивность SHALL считаться насыщенной, если насыщено большинство её повторов. Потолком конфигурации по SLO SHALL считаться наибольшая ненасыщенная интенсивность, а пиком — наибольшая медиана успешных RPS по всем интенсивностям. +Серия B SHALL наращивать число реплик 1→2→4→8 с постоянными ресурсами на реплику (1 CPU, 512 MiB, 1 воркер), повышая интенсивность каждой конфигурации по геометрической сетке, пока два шага подряд не окажутся насыщенными во всех повторах или пока следующий шаг не превысит верхнюю границу сетки (9 000 rps в серии B, 8 000 rps в серии A). Шаг SHALL считаться насыщенным, если доля ошибок больше 1 %, сброшенных итераций больше 1 % от предложенных или p95 больше 500 мс. Интенсивность SHALL считаться насыщенной, если насыщено большинство её повторов. Потолком конфигурации по SLO SHALL считаться наибольшая ненасыщенная интенсивность, а пиком — наибольшая медиана успешных RPS по всем интенсивностям. Если ненасыщенной осталась только первая точка сетки, потолок по SLO SHALL указываться как нижняя граница («≥ первой точки»), а не как найденный потолок. #### Scenario: Точка насыщения обоснована метриками @@ -82,3 +82,16 @@ - **WHEN** часы реплики отстают от отметки последнего сообщения чата - **THEN** новое сообщение получает `created_at` на 1 мкс позже последнего, а история остаётся упорядоченной по `(created_at, id)` +### Requirement: Контрольные прогоны точки насыщения + +Вывод о насыщенном звене SHALL проверяться контрольными прогонами, которые меняют по одному подозреваемому ресурсу при прочих равных, не менее 3 повторов на точку с чередованием вариантов. Для конфигурации 8×1 на интенсивности за коленом SHALL сравниваться пул соединений 4, 8 и 16 на воркер и очередь LB `maxconn` 16, 32 и 64 на реплику. Эффект числа процессов SHALL отделяться от размещения на других vCPU прогоном 8×0,5 на тех же CPU, что у 4×1, против 4×1. + +#### Scenario: Влияние пула и очереди LB на пик + +- **WHEN** выполняется `make track1-control` +- **THEN** `evidence/track1/control-pool/summary.csv` содержит варианты пула и `maxconn` на одной интенсивности с ≥3 повторами, и по пересечению интервалов «минимум–максимум» успешных RPS видно, меняет ли ресурс пик + +#### Scenario: Число процессов против размещения + +- **WHEN** выполняется `make track1-control` +- **THEN** `evidence/track1/control-cpus/summary.csv` содержит 4×1 и 8×0,5 с одинаковым набором CPU в `api_cpuset` и ≥3 повторами на точку