diff --git a/AGENTS.md b/AGENTS.md index 5c15b7cb..2b5688e7 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -16,7 +16,7 @@ make student-test PYTEST_ARGS='-v -k drain' # выборка тестов с make secrets # локальные secrets/* и .env из .env.example (не коммитятся) make up # docker compose up -d --build --wait: postgres, valkey, migrate, api ×API_REPLICAS, lb -make test # публичный smoke через LB (BASE_URL, по умолчанию http://localhost:8080) +make test # публичный smoke через LB (BASE_URL по умолчанию — docker compose port lb 8080, без стенда http://localhost:8080) make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, postgres, valkey с сохранением volumes make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами make test-faults # тесты стенда лабы 2 через LB (make faults-evidence → evidence/faults.txt) @@ -26,7 +26,8 @@ make limits # уровень 4: лимиты, порты, с make detection # уровень 4: время обнаружения SIGTERM/kill/pause/PostgreSQL против заявленного максимума make failover-each # уровень 4: каждая реплика по очереди под k6 (RATE=100) → evidence/failover-each make rolling-update [FROM_REV=<коммит>] # уровень 4: замена реплик по одной под k6, migrate один раз -make track1 # трек 1: снимок хоста, серии A (1x4/2x2/4x1) и B (1x1/2x1/8x1), до/после на 8x1, графики (≈3 ч) +make track1 # трек 1: снимок хоста, серии A (1x4/2x2/4x1) и B (1x1/2x1/8x1), до/после на 8x1, контроль, графики (≈3,5 ч) +make track1-control # трек 1: пул 4/8/16 и maxconn 16/32/64 на 8x1; 8x0.5 против 4x1 на одних CPU make plots # трек 1: графики и сводка потолков из evidence/track1/*/summary.csv make down # остановка без удаления данных (с профилем bench); make reset-data — удаление volumes ``` diff --git a/REPORT.md b/REPORT.md index c2299fe0..dc7aa610 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,19 +2,20 @@ - Автор, группа: Костылев Артём, БПИ2303 - Целевая оценка: **5**; трек «5» — **трек 1 «Цена масштабирования»** -- Commit/PR: ветка `solution/bpi2303-kostylev`. Код (`src/`, `compose.yaml`, `Dockerfile`, `infra/`, хуки) - последний раз менялся в коммите `22f0e62` — улучшение трека 1 (отправка сообщения одной командой SQL); до него - `107fbbb` добавил закрепление CPU для замеров (по умолчанию выключено). Доказательства уровней «3» и «4» - (`smoke`, `stack`, `lb-check`, `hooks`, `failover-*`, `persistence`, `faults`, `detection/`, `failover-each/`, - `rolling*/`, `limits-violations`) сняты на `e00eb6c` — коде уровня «4», схема и KDF (`schema`, `migrations`, - `kdf`, `secrets`) — на `0796e29`, с тех пор миграции не менялись. На итоговом коде повторены: запуск из чистого - clone с миграциями на пустом volume, smoke, 20 гонок ключа, failover, persistence, повтор миграций, остановка и - удаление данных (`clean-clone.txt`, `e88673d`), все собственные тесты (`student-tests.txt`, `e88673d`), лимиты - и изоляция (`limits.txt`, `e88673d`) и проверки после улучшения (`track1/after-checks.txt`, `dde113b`). После - `22f0e62` менялись только обвязка замеров трека (`Makefile`, `scripts/scaling.py`, `tools/`), openspec, отчёт и - `evidence/`. Каждый файл `evidence/` несёт дату и коммит в первой строке, индекс — - `evidence/README.md`. PR «ЛР 3 — БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по - `.github/pull_request_template.md`; его ссылка появляется при публикации +- Commit/PR: ветка `solution/bpi2303-kostylev`. Код приложения (`src/`, `compose.yaml`, `Dockerfile`, `infra/`, + хуки) последний раз менялся в `a59e3a3` — перенос исправлений лабы 2 после её ревью (цикл + `2026-10-30-carry-over-lab2-review-fixes`); до него `e924281` — удалён комментарий `# type: ignore`, `22f0e62` — + улучшение трека 1 (отправка сообщения одной командой SQL) и `107fbbb` — закрепление CPU для замеров (по умолчанию + выключено). После `22f0e62` менялись также `AGENTS.md`, `student-tests/`, обвязка (`Makefile`, последний раз — + `b1c80ee`, `scripts/`, `tools/`), openspec, отчёт и `evidence/`. **Все доказательства уровней «3» и «4»** + (`checks`, `smoke`, `stack`, `environment`, `schema`, `migrations`, `kdf`, `secrets`, `lb-check`, `hooks`, + `failover-*`, `persistence`, `faults`, `limits*`, `detection/`, `failover-each/`, `rolling*/`, `student-tests`) + сняты на итоговом коде `b1c80ee`, запуск из чистого clone и контрольные прогоны трека — на `f5fea5c` (тот же код + плюс эти доказательства); после него менялись только openspec, отчёт и `evidence/`. Серии трека A и B сняты на + коде до улучшения (его они и обосновывают), сравнение до/после — на `edc091d` против `22f0e62`. Дата и коммит — + в первой строке каждого текстового файла `evidence/`, для JSON и CSV — в индексе `evidence/README.md`. PR «ЛР 3 — + БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по `.github/pull_request_template.md`; его + ссылка появляется при публикации - Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic, structlog, asyncpg, argon2-cffi, redis-py, pytest, ruff, ty (версии — `evidence/environment.txt` и `uv.lock`); HAProxy 3.2 Configuration Manual (health checks, resolvers, `retry-on`, `http-error`, `init-state`), Grafana k6 @@ -35,12 +36,14 @@ git clone && cd mtusi2026lab3 && git checkout solution/bpi2303-kostylev make secrets # secrets/*: пароли PostgreSQL и Valkey, DATABASE_URL, CACHE_URL, ключ курсора; .env из .env.example docker compose --env-file .env config --quiet make up # docker compose up -d --build --wait: postgres, valkey → migrate (миграции, один раз) → api ×2 → lb -until curl -fsS http://localhost:8080/health/ready; do sleep 1; done # готовность через LB +until curl -fsS "http://$(docker compose port lb 8080)/health/ready"; do sleep 1; done # готовность через LB scripts/lb-wait.sh 2 # обе реплики UP в статистике LB -make test # публичный smoke через балансировщик +make test # публичный smoke через балансировщик (BASE_URL — опубликованный порт lb, см. ниже) make lb-check # ≥2 X-Instance-Id на одном токене и 20 × 8 параллельных POST с одним ключом → evidence/lb-check.json make test-failover ACTION_SCRIPT=scripts/stop-one.sh make restore # вернуть остановленную реплику и дождаться её в ротации LB +curl -s -o /dev/null "http://$(docker compose port lb 8080)/health/live" # сдвиг round robin: следующий прогон остановит другую реплику +make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make restore make test-persistence ACTION_SCRIPT=scripts/restart.sh make migrate # повторный запуск миграций: «up to date», данные не меняются @@ -54,14 +57,20 @@ make reset-data # НАМЕРЕННОЕ удаление учебных да до старта реплик; реплики схему не трогают. Публикуются только порты `lb` на `127.0.0.1`: `LB_HTTP_PORT` (по умолчанию 8080) и `LB_STATS_PORT` (8404, статистика только для чтения). На машине, где выполнялась работа, параллельно работали стенды других лаб, поэтому в локальном `.env` стояли `LB_HTTP_PORT=18083`, -`LB_STATS_PORT=23083`, а проверки запускались с `BASE_URL=http://localhost:18083`. +`LB_STATS_PORT=23083`. Цели `make` берут `BASE_URL` по умолчанию из `docker compose port lb 8080`, то есть +работают и с изменённым `LB_HTTP_PORT`; без поднятого стенда — `http://localhost:8080`, явный `BASE_URL=…` +переопределяет. Цель failover-теста выбирает round robin (реплика, обслужившая первое сообщение); второй +прогон сразу после первого попадает в ту же реплику, поэтому перед ним нужен один запрос через LB (строка +`curl …/health/live` выше или `make failover-evidence SHIFT=1`). -Последний прогон из свежего clone (`evidence/clean-clone.txt`, коммит `e88673d`, каталог `mtusi2026lab3-clean` — -свой compose-проект и пустые volumes): `config` — `valid`; `make up` — 17 с, `migrate` применил `0001_init` и -`0002_idempotency_keys` и вышел с кодом 0; smoke `PASS`; 40 `GET` одним токеном — 20 + 20 на две реплики, 160 × -`201` в гонках ключа; failover — 132 записи, 0 ошибок, первая запись через 2.985 с, остановленная реплика -`Exited (0)`; persistence `PASS`; повторный `migrate` — `up to date`; после `make down` volumes остались, после -`make reset-data` их 0. +Последний прогон из свежего clone (`evidence/clean-clone.txt`, коммит `f5fea5c` — код `b1c80ee`, каталог `mtusi2026lab3-clean` — +свой compose-проект и пустые volumes, `LB_HTTP_PORT=18083`, команды дословно из блока выше, **без `BASE_URL`**): +`config` — `valid`; `make up` — 10 с, `migrate` применил `0001_init` и `0002_idempotency_keys` и вышел с кодом 0; +smoke `PASS`; 40 `GET` одним токеном — 20 + 20 на две реплики, 160 × `201` в гонках ключа; failover обеих реплик +по очереди (второй — после одного `GET` через LB) — 134 и 132 записи, 0 ошибок, первая запись через 2.934 и 2.736 с, +остановлены `api-1`, затем `api-2`, каждая `Exited (0)`; persistence `PASS`; повторный `migrate` — `up to date`; +`make storage-evidence` в клоне перечислил только volumes `mtusi2026lab3-clean_*`; после `make down` volumes +остались, после `make reset-data` их 0. Собственные проверки и тулчейн: @@ -71,11 +80,11 @@ make lint # ruff check + ruff format --check (src, student-tests, scri make student-test # собственные тесты; поднимают одноразовые PostgreSQL и Valkey того же образа в Docker PYTEST_ADDOPTS=-vv make student-test # то же с именами тестов (так снят evidence/student-tests.txt) make check # офлайн-проверка skeleton -python3 -m venv /tmp/oas && /tmp/oas/bin/pip install -r requirements-dev.txt # .venv от uv валидатора не содержит -make validate PYTHON=/tmp/oas/bin/python # полная валидация OpenAPI 3.1 и примеров -make test-faults BASE_URL=… # тесты стенда лабы 2 (Valkey, PostgreSQL, гонки) через балансировщик -make failover-evidence BASE_URL=… # docker inspect реплик до/после, make test-failover, логи остановленной, restore -make persistence-evidence BASE_URL=… # persistence-тест + StartedAt всех контейнеров до и после +make validate # полная валидация OpenAPI 3.1 и примеров (openapi-spec-validator из dev-группы .venv) +make test-faults # тесты стенда лабы 2 (Valkey, PostgreSQL, гонки) через балансировщик +make faults-evidence # то же с датой и коммитом → evidence/faults.txt (путь репозитория → ) +make failover-evidence [SHIFT=1] # docker inspect реплик до/после, make test-failover, логи остановленной, restore +make persistence-evidence # persistence-тест + StartedAt всех контейнеров до и после make stack-evidence # сервисы, порты, hostname ↔ X-Instance-Id, лимиты, сети, взгляд LB make storage-evidence # \d+ схемы, повтор миграций, префикс KDF, правила ignore ``` @@ -86,7 +95,7 @@ make storage-evidence # \d+ схемы, повтор миграций, п ```sh make limits # лимиты, порты, секреты, volumes, сети по политике → evidence/limits.txt make lb-check # 40 GET одним токеном + 20 раундов × 8 параллельных POST с одним ключом -make detection # время обнаружения: SIGTERM, kill, pause, остановка PostgreSQL → evidence/detection/ +make detection # три прогона: SIGTERM, kill, pause, остановка PostgreSQL → evidence/detection/run{1,2,3}/ make failover-each # каждая реплика: остановка, 10 с без неё, возврат — под k6 100 rps make rolling-update FROM_REV=8d28d45 # стенд на версии уровня «3», затем замена на текущую под нагрузкой make rolling-update # замена текущей сборкой (эквивалентная поочерёдная замена) @@ -99,7 +108,8 @@ make rolling-update # замена текущей сборкой (экв ожиданием тишины на VM), серия B — 34 мин, сравнение — 30 мин (по полю `started` в `summary.csv`): ```sh -make track1 # снимок хоста, серия A (1x4/2x2/4x1), серия B (1x1/2x1/8x1), до/после на 8x1, графики +make track1 # снимок хоста, серия A (1x4/2x2/4x1), серия B (1x1/2x1/8x1), до/после на 8x1, контроль, графики +make track1-control # контроль: пул и maxconn на 8x1 при 5 400 rps; 8x0.5 против 4x1 на CPU 7–10 make plots # только графики и сводка потолков из готовых evidence/track1/*/summary.csv ``` @@ -127,7 +137,12 @@ advisory lock, тесты стенда (`make test-faults`). Уже в лабе `created_at` назначается под блокировкой строки чата, а не часами процесса. **Изменено:** один контейнер с портом → сервис `api` с `deploy.replicas` за HAProxy; `X-Instance-Id`; обязательный `Idempotency-Key`; миграция `0002`; `restart.sh` перезапускает и LB; таймауты и воркеры под реплики; удалён `api-shortttl` -(публиковал порт API в обход LB, проверка истечения TTL осталась in-process тестом). +(публиковал порт API в обход LB, проверка истечения TTL осталась in-process тестом). Лаба 3 начата с коммита +`8cddb09` лабы 2, а исправления лабы 2 после её ревью (`8cddb09..102579e`) перенесены отдельным циклом +`2026-10-30-carry-over-lab2-review-fixes` (`a59e3a3`): предел тела считает фактически принятые байты +(`chunked` сверх 1 MiB → `413`), выход отзывает сессию через порт `SessionRevocations` и снимает отметку отзыва, +если PostgreSQL отверг удаление (`503` значит «сессия ещё действует»), пустой `cursor` → `400`, зоны связаны только +схемой БД, воркер сам прерывает зависший при остановке запрос (`500`) до `SIGKILL` мастера. **`X-Instance-Id`.** `PlatformSettings.instance_id` по умолчанию — `socket.gethostname()`; Docker даёт контейнеру hostname, равный короткому ID, поэтому значение одно на все воркеры реплики, стабильно на жизнь @@ -149,8 +164,12 @@ message_id, created_at)`, PK `(chat_id, user_id, key)` — область «по 5. ключ занят → вторая команда вне блокировки читает квитанцию, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же отпечаток → сохранённое сообщение (`201`, тот же `MessageOut`, `created_at` с микросекундами); другой → `409`. -Текст проверяется до записи; если он невалиден, отдельным чтением проверяется членство, чтобы посторонний -получил `404`, а не `400`. Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» +Порядок проверок отправки: сессия (`401`) → форма запроса: `Idempotency-Key`, malformed JSON, лишние поля и +типы (`400`, проверяет FastAPI до обработчика, чат не читается, поэтому ответ одинаков для существующего и +несуществующего чата) → доступ к чату (`404`) → текст (`400`). Текст проверяется до записи; если он невалиден, +отдельным чтением проверяется членство, чтобы посторонний получил `404`, а не `400` (тесты +`test_access_checked_before_body` и `test_request_shape_is_checked_before_access`, сценарии +`lab3-idempotent-messages` «Порядок проверок отправки сообщения»). Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» нет, поэтому после гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз. Одновременные повторы одного ключа всегда идут в один чат и ждут на блокировке его строки; дождавшийся получает конфликт ключа, а следующая команда в `READ COMMITTED` видит зафиксированную квитанцию. Внешний ключ @@ -178,12 +197,13 @@ SHA-256 канонического JSON распарсенной модели, `src/messenger/gunicorn_conf.py`): после сигнала он поднимает флаг, `/health/ready` отвечает `503`, `/health/live` — `200`, запросы обслуживаются как обычно, и так `DRAIN_SECONDS=2` — дольше худшего обнаружения `503` балансировщиком (1,5 с). Затем uvicorn закрывает listener и дообрабатывает принятые запросы ещё -`SHUTDOWN_TIMEOUT_SECONDS − DRAIN_SECONDS` = 3 с; весь срок — gunicorn `graceful_timeout` 5 с < `docker stop -t 6` -хука < `stop_grace_period: 8s` < 10 с. Без окна (уровень «3») gunicorn закрывал listener сразу, и запрос, уже +`SHUTDOWN_TIMEOUT_SECONDS − DRAIN_SECONDS − 1` = 3 с (не меньше таймаутов БД 1 + 2 с), а запрос, не завершённый +к этому сроку, прерывает сам с `500` и выходит с кодом 0; весь срок — ≤5 с < gunicorn `graceful_timeout` 6 с < +`docker stop -t 7` хука < `stop_grace_period: 8s` < 10 с, поэтому мастер gunicorn не доходит до `SIGKILL` воркера. Без окна (уровень «3») gunicorn закрывал listener сразу, и запрос, уже стоявший в очереди `accept`, LB видел как обрыв после отправки: для `GET` и сообщений с ключом это повтор, для `POST /users`, `/chats` и входа — `502`. Разница видна в счётчиках LB: rolling update со старой версии — -`wretr` 2, `wredis` 54, `eresp` 2, с новой — все 0 (`evidence/rolling*/result.json`). Хук `stop-one.sh` теперь идёт -2,72 с (`evidence/hooks.txt`). На реплику `cpus: 1`, `512m`, 2 воркера, пул 8: 2 × 2 × 8 = 32 соединения < +`wredis` 55 (запросы, перенаправленные на соседа), с новой — все 0 (`evidence/rolling*/result.json`). Хук +`stop-one.sh` теперь идёт 2,63 с (`evidence/hooks.txt`). На реплику `cpus: 1`, `512m`, 2 воркера, пул 8: 2 × 2 × 8 = 32 соединения < `max_connections=200`. API работает `read_only` с `tmpfs /tmp`. **Проверки, период и максимум обнаружения.** `GET /health/ready` раз в `inter 1s`; после первого провала — @@ -197,13 +217,17 @@ gunicorn — первый прогон `failover-each` показал `wredis` 1 | Отказ | Как замечает LB | Максимум обнаружения | Замер (`make detection`) | | --- | --- | --- | --- | -| `SIGTERM` (`docker stop`, `stop-one.sh`) | readiness `503` в окне вывода | `inter + (fall−1)·fastinter` = 1,5 с, и раньше закрытия порта (2 с) | 0,71 с; действие (`stop-one.sh`) завершилось через 2,49 с | -| процесс убит (`docker kill`) | отказ соединения, DNS | 1,5 с | 0,67 с | -| процесс завис (`docker pause`) | таймаут проверки | `inter + (fall−1)·fastinter + fall·timeout check` = 3,5 с | 2,76 с | -| PostgreSQL остановлен | readiness всех реплик `503` | 1,5 с до 0 `UP`; LB сам отвечает `503` | 1,23 с; `/health/live` через LB → `503 unavailable` без `X-Instance-Id` | +| `SIGTERM` (`docker stop`, `stop-one.sh`) | readiness `503` в окне вывода | `inter + (fall−1)·fastinter` = 1,5 с, и раньше закрытия порта (2 с) | 0,99–1,43 с; действие (`docker stop -t 7`) завершилось через 2,53–2,61 с | +| процесс убит (`docker kill`) | отказ соединения, DNS | 1,5 с | 0,47–0,54 с | +| процесс завис (`docker pause`) | таймаут проверки | `inter + (fall−1)·fastinter + fall·timeout check` = 3,5 с | 2,91–3,23 с | +| PostgreSQL остановлен | readiness всех реплик `503` | 1,5 с до 0 `UP`; LB сам отвечает `503` | 0,93–1,44 с; `/health/live` через LB → `503 unavailable` без `X-Instance-Id` | -Допуск замера — 0,25 с (задержка docker CLI до сигнала и опрос статистики LB раз в 50 мс); время считается -от запуска команды отказа. Возврат в ротацию после восстановления — 1,96–3,08 с. +Замер — три прогона `make detection` подряд (`evidence/detection/run{1,2,3}/`), в таблице диапазон. Время +считается от запуска команды отказа, поэтому замер включает задержку docker CLI до сигнала и период опроса +статистики LB (50 мс) и может превысить формулу на эту величину: допуск замера — 0,25 с. На итоговом коде все 12 +замеров уложились в формулу без допуска (в `faults.txt` остановка PostgreSQL — 0,93 с); раньше допуск +понадобился: на `a02d442` у PostgreSQL в двух прогонах из трёх (1,553 и 1,551 с), при ревью — у `SIGTERM` (1,609 с), +на `e00eb6c` — у `SIGTERM` в `failover-each` (1,515 с). Возврат в ротацию после восстановления — 1,96–3,63 с. **Цепочка таймаутов** (проверяется тестом `student-tests/unit/test_timeouts.py` по `compose.yaml`, `haproxy.cfg` и `scripts/stop-one.sh`, а не только таблицей): @@ -212,16 +236,17 @@ gunicorn — первый прогон `failover-each` показал `wredis` 1 | --- | --- | --- | | LB `timeout server` | 10 с | > `REQUEST_TIMEOUT_SECONDS` | | `REQUEST_TIMEOUT_SECONDS` | 8 с | > ожидание соединения + оператор БД | -| `DB_ACQUIRE_TIMEOUT_SECONDS` + `DB_COMMAND_TIMEOUT_SECONDS` (`statement_timeout` = `lock_timeout`) | 1 + 2 с | ≤ дообработки 3 с после окна | +| `DB_ACQUIRE_TIMEOUT_SECONDS` + `DB_COMMAND_TIMEOUT_SECONDS` (`statement_timeout` = `lock_timeout`) | 1 + 2 с | ≤ дообработки после окна | | LB `timeout check` | 1 с | > readiness 0,8 с | | `DRAIN_SECONDS` | 2 с | > обнаружения 1,5 с | -| `SHUTDOWN_TIMEOUT_SECONDS` (gunicorn `graceful_timeout`) | 5 с | > окна; < `STOP_TIMEOUT` хука | -| `STOP_TIMEOUT` хука `stop-one.sh` | 6 с | < `stop_grace_period` 8 с < 10 с | +| дообработка после окна (uvicorn `timeout_graceful_shutdown`) | `SHUTDOWN − DRAIN − 1` = 3 с | ≥ таймаутов БД 1 + 2 с; затем зависший запрос → `500` | +| `SHUTDOWN_TIMEOUT_SECONDS` (gunicorn `graceful_timeout`) | 6 с | > окна + дообработки; < `STOP_TIMEOUT` хука | +| `STOP_TIMEOUT` хука `stop-one.sh` | 7 с | < `stop_grace_period` 8 с < 10 с | | LB `timeout connect` / `queue` | 0,5 с / 3 с | отказ соединения повторяется на соседа сразу | | LB `hard-stop-after` | 5 с | < `stop_grace_period` LB 8 с | | клиенты: resilience / smoke / k6 | 2 / 10 / 10 с | — | -**Хуки.** `scripts/stop-one.sh` — контейнер `api` с `.Config.Hostname == TARGET_INSTANCE_ID` → `docker stop -t 6`, +**Хуки.** `scripts/stop-one.sh` — контейнер `api` с `.Config.Hostname == TARGET_INSTANCE_ID` → `docker stop -t 7`, реплика остаётся остановленной, неизвестный ID → код 3 без изменений. `scripts/restart.sh` — `stop lb api`, `restart postgres valkey`, `up -d --no-recreate --wait` (те же контейнеры, повторный `migrate`), volumes не трогаются. `scripts/restore.sh` — `up --no-deps --no-recreate --wait api`, затем `scripts/lb-wait.sh` ждёт, пока @@ -259,7 +284,7 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | — | `LB_HTTP_PORT`, `LB_STATS_PORT` | опубликованные порты LB на `127.0.0.1` | | — | `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN` | размер реплики, воркеры, пул на воркер, очередь LB на сервер | | — | `PG_MAX_CONNECTIONS`, `PG_CPUS`, `PG_MEMORY`, `LB_CPUS` | лимиты PostgreSQL и LB | -| — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 5 с (заданы в compose и образе) | +| — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 6 с (заданы в compose и образе) | | — | `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` | 1 с и 2 с: ожидание соединения из пула и `statement_timeout` = `lock_timeout` | | — | `K6_CPUS`, `K6_MEMORY` | лимиты генератора нагрузки (профиль `bench`) | | — | `API_CPUSET`, `LB_CPUSET`, `PG_CPUSET`, `VALKEY_CPUSET`, `K6_CPUSET` | закрепление за CPU для трека 1; пусто — не закреплено | @@ -267,25 +292,27 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и ## Доказательства критериев -Все проверки через LB шли с `BASE_URL=http://localhost:18083` (см. «Запуск»). Коммит каждого прогона — в первой -строке файла и в шапке отчёта. +Все проверки через LB шли на порт 18083: цели `make` берут `BASE_URL` из `docker compose port lb 8080` (см. +«Запуск»). Дата и коммит прогона — в первой строке текстового файла, для JSON и CSV — в индексе +`evidence/README.md`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | `make test BASE_URL=http://localhost:18083` | `PASS: lab3 public API scenario` (включая replay == first, `409` на другой body, `400` без ключа, `X-Instance-Id` на каждом ответе); на итоговом коде — тоже `PASS` | `evidence/smoke.txt`, `evidence/clean-clone.txt`, `evidence/track1/after-checks.txt` | -| Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, ожидание `/health/ready`, тесты, `make migrate`, `make down`, `make reset-data` | `valid`; `make up` 17 с, `migrate` применил `0001`/`0002` и `Exited (0)`; smoke, failover, persistence `PASS`; повтор миграций `up to date`; после `down` 2 volume, после `reset-data` 0 | `evidence/clean-clone.txt` | +| Публичный smoke | `make test` | `PASS: lab3 public API scenario` (включая replay == first, `409` на другой body, `400` без ключа, `X-Instance-Id` на каждом ответе); на итоговом коде — тоже `PASS` | `evidence/smoke.txt`, `evidence/clean-clone.txt`, `evidence/track1/after-checks.txt` | +| Офлайн-контракт, OpenAPI и тулчейн | `make check`; `make validate`; `make lint` | `PASS: offline skeleton structure, local refs and Python syntax`; `PASS: full OpenAPI 3.1 and JSON Schema validation`; ruff `All checks passed!`, 103 files already formatted, ty `All checks passed!` | `evidence/checks.txt` | +| Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, ожидание `/health/ready`, тесты, `make migrate`, `make down`, `make reset-data` | `valid`; `make up` 10 с, `migrate` применил `0001`/`0002` и `Exited (0)`; smoke, failover обеих реплик, persistence `PASS` без явного `BASE_URL` при `LB_HTTP_PORT=18083`; повтор миграций `up to date`; после `down` 2 volume, после `reset-data` 0 | `evidence/clean-clone.txt` | | **3.1** Весь стенд в `compose.yaml`, ≥2 API, одна точка входа, общая БД и общее хранилище сессий | `make stack-evidence` (`config --quiet`, `ps`, `docker port` реплик, `docker inspect`, статистика LB) | 2 контейнера `api` без портов (`docker port` пуст), порты только у `lb` на `127.0.0.1`; `container_name` 0; LB видит `api1 UP L7OK 200`, `api2 UP L7OK 200`; один `postgres`, один `valkey` | `evidence/stack.txt` | -| **3.2** Разные запросы одного пользователя — разные реплики без повторного входа, видно по `X-Instance-Id` | `make lb-check` (40 × `GET /users/me` одним токеном, новые соединения) + `docker inspect` | `{"27de23496b0f": 20, "a3536e394b3f": 20}` — ровно hostname двух контейнеров `api`; на итоговом коде — 20 + 20 | `evidence/lb-check.json`, `evidence/stack.txt`, `evidence/clean-clone.txt` | -| **3.3** Остановка любой одной реплики: ≤10 с, данные доступны, ошибки измерены | `make failover-evidence` → `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `docker inspect` до/после, `restore`; второй прогон после сдвига round robin | реплика `27de23496b0f`: первая запись после хука через 2.638 с от его старта, 133 записи после, 0 ошибок; реплика `a3536e394b3f`: 2.689 с, 130, 0; после теста `exited` именно target, вторая `running`; в логе остановленной — сигнал, окно вывода из ротации с readiness `503`, закрытие и выход; `PASS: failover …` | `evidence/failover-27de23496b0f.txt`, `evidence/failover-a3536e394b3f.txt` | -| **3.3** Хук останавливает только заданную реплику | `scripts/stop-one.sh` с hostname, с неизвестным ID и без него | хук 2.72 с (окно вывода 2 с + остановка), код 0, target `exited exit_code=0`, вторая `running`; неизвестный ID → код 3, всё работает; без переменной → код 1 | `evidence/hooks.txt` | +| **3.2** Разные запросы одного пользователя — разные реплики без повторного входа, видно по `X-Instance-Id` | `make lb-check` (40 × `GET /users/me` одним токеном, новые соединения) + `docker inspect` | `{"286766bf2b32": 20, "fa81adafcb69": 20}` — ровно hostname двух контейнеров `api`; из чистого clone — тоже 20 + 20 | `evidence/lb-check.json`, `evidence/stack.txt`, `evidence/clean-clone.txt` | +| **3.3** Остановка любой одной реплики: ≤10 с, данные доступны, ошибки измерены | `make failover-evidence` → `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `docker inspect` до/после, `restore`; затем `make failover-evidence SHIFT=1` — один `GET /health/live` через LB перед тестом сдвигает round robin на другую реплику | реплика `286766bf2b32`: первая запись после хука через 2.639 с от его старта, 139 записей, 0 ошибок; реплика `fa81adafcb69` (прогон с `SHIFT=1`): 2.747 с, 138, 0; после теста `exited` именно target, вторая `running`; в логе остановленной — сигнал, окно вывода из ротации с readiness `503`, закрытие и выход; `PASS: failover …` | `evidence/failover-286766bf2b32.txt`, `evidence/failover-fa81adafcb69.txt` | +| **3.3** Хук останавливает только заданную реплику | `scripts/stop-one.sh` с hostname, с неизвестным ID и без него | хук 2.63 с (окно вывода 2 с + остановка), код 0, target `exited exit_code=0`, вторая `running`; неизвестный ID → код 3, всё работает; без переменной → код 1 | `evidence/hooks.txt` | | **3.4** Повтор с тем же ключом не создаёт дубль; конкурентный повтор и смена реплики | `make lb-check` (20 раундов × 8 параллельных POST с одним ключом через LB); `PYTEST_ADDOPTS=-vv make student-test`; failover-тест (после ошибки — тот же ключ и текст) | 160 × `201` от обеих реплик (80 + 80); в каждом из 20 раундов тела равны, в истории 1 копия, другой body → `409`; `test_replay_returns_the_same_message`, `test_same_json_in_other_layout_is_a_replay`, `test_other_body_with_same_key_conflicts`, `test_concurrent_retries_through_two_replicas_store_one_message` (8 повторов через два экземпляра приложения → одна строка ключа) — `PASSED` | `evidence/lb-check.json`, `evidence/student-tests.txt`, `evidence/failover-*.txt` | | **3.4** Неподтверждённую запись можно безопасно повторить | `PYTEST_ADDOPTS=-vv make student-test`; failover-тест сверяет историю байт-в-байт | `test_rejected_attempt_does_not_take_the_key` (`4xx` не занимает ключ), `test_expired_key_starts_over`, `test_replay_checks_session_and_access_again` — `PASSED`; в истории после отказа нет дублей `id`/`text` | `evidence/student-tests.txt`, `evidence/failover-*.txt` | | **3.5** `make test`, persistence и failover проходят; ≥2 наблюдаемых реплики | `make test`, `make persistence-evidence`, `make test-failover …` | smoke `PASS`; persistence `PASS`, `StartedAt` у `lb`, обеих `api`, `postgres`, `valkey`, `migrate` после теста новее, ID контейнеров те же; failover `observed_instances_before: 2`; на итоговом коде — то же | `evidence/smoke.txt`, `evidence/persistence.txt`, `evidence/failover-*.txt`, `evidence/clean-clone.txt` | -| Перенос lab2: схема PK/FK/UNIQUE и миграции с нуля, повтор без дублей | чистый clone (`make up` на пустом volume); `make storage-evidence` | `0001_init`, `0002_idempotency_keys` применены на пустом volume; `\d+` всех таблиц; повтор `up to date`, счётчики строк до и после равны (сообщений столько же, сколько ключей: 497 и 497) | `evidence/clean-clone.txt`, `evidence/schema.txt`, `evidence/migrations.txt` | +| Перенос lab2: схема PK/FK/UNIQUE и миграции с нуля, повтор без дублей | чистый clone (`make up` на пустом volume); `make storage-evidence` | `0001_init`, `0002_idempotency_keys` применены на пустом volume; `\d+` всех таблиц; повтор `up to date`, счётчики строк до и после равны (сообщений столько же, сколько ключей: 160 и 160) | `evidence/clean-clone.txt`, `evidence/schema.txt`, `evidence/migrations.txt` | | Перенос lab2: Basic только на `/auth/sessions`, Bearer, logout, `X-User-Id` игнорируется | `make test`; `PYTEST_ADDOPTS=-vv make student-test`; `make test-faults` | smoke `PASS`; тесты `test_sessions.py`, `test_authentication.py`, `test_negative.py` — `PASSED`; logout `204` → `401` → `401` через LB | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/faults.txt` | | Перенос lab2: password KDF | `make storage-evidence` | `$argon2id$v=19$m=19456,t=2,p=1$` у всех 28 пользователей; в `sessions` только 32-байтовые SHA-256 | `evidence/kdf.txt` | | Перенос lab2: секреты и volumes вне Git | `git ls-files secrets .env`; `git check-ignore -v …`; в чистом clone `git status --ignored` | пусто; пути игнорируются; в clone `secrets/` и `.env` — `!!` (ignored) | `evidence/secrets.txt`, `evidence/clean-clone.txt` | -| Перенос lab2: отказы Valkey и PostgreSQL через LB | `make test-faults BASE_URL=http://localhost:18083` | 10 passed: гонка регистрации 201×1/409×49, чат с несуществующим участником `400`, остановка Valkey и PostgreSQL (`503` за ≤0.014 с; live внутри реплики `200`; LB исключил обе реплики ещё через 0.61 с и сам отвечает `503`; готовность через 2.1 с), рестарт API | `evidence/faults.txt` | +| Перенос lab2: отказы Valkey и PostgreSQL через LB | `make test-faults` (`BASE_URL` — порт `lb`) | 12 passed: гонка регистрации 201×1/409×49, чат с несуществующим участником `400`, остановка Valkey (выход `503`, затем `204`) и PostgreSQL (`503` за ≤0.014 с; live внутри реплики `200`; LB исключил обе реплики ещё через 0.93 с и сам отвечает `503`; готовность через 2.3 с), рестарт API (готовность 2.6 с), полный рестарт с выходом `204` → `401`, срок сессии после рестарта не продлевается | `evidence/faults.txt` | | `X-Instance-Id` на каждом ответе приложения | `PYTEST_ADDOPTS=-vv make student-test` (`test_instance.py`) | `test_every_response_names_the_replica` (`200`, `401`, `404`, скрытый `405` как `404`, `400`, `204`), `test_rejected_body_names_the_replica` (`413`), `test_unhandled_error_names_the_replica` (`500`), `test_replica_defaults_to_container_hostname` — `PASSED` | `evidence/student-tests.txt`, `student-tests/api/test_instance.py` | | Непривилегированные процессы | `make stack-evidence`; снимок окружения | api — uid 10001, lb — 99 (`haproxy`), postgres — 70, valkey — 999 | `evidence/stack.txt`, `evidence/environment.txt` | @@ -297,13 +324,13 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| **4.1** Health/readiness, таймауты и прекращение приёма при `SIGTERM` согласованы | `make student-test` (`test_timeouts.py`, `test_drain.py`, вывод `-s`) | цепочка: LB server 10 с > запрос 8 с > БД 3 с; readiness 0,8 с < check 1 с; окно 2 с > обнаружение 1,5 с; остановка 5 с < хук 6 с < `stop_grace_period` 8 с; настоящий gunicorn по `SIGTERM`: ready/live `(503, 200)` в окне, порт закрыт через 1.74 с, запрос, принятый до сигнала и дописанный после закрытия порта, получил `201`, выход через 2.11 с | `evidence/student-tests.txt`, `compose.yaml`, `infra/haproxy/haproxy.cfg`, `src/messenger/gunicorn_conf.py` | -| **4.1** LB исключает недоступный backend; период проверок и максимум обнаружения | `make detection` | период 1 с (0,5 с после провала), `fall 2`/`rise 2`; заявлено ≤1,5 с (`503`/отказ соединения) и ≤3,5 с (зависание); измерено: `SIGTERM` 0.706 с — раньше конца остановки (2.493 с), `kill` 0.665 с, `pause` 2.756 с, PostgreSQL 1.227 с до 0 `UP` и `503 unavailable` от LB; возврат 1.96–3.08 с; все `pass: true` | `evidence/detection/{sigterm,kill,pause,postgres}.json` | -| **4.2** Последовательно остановить каждую реплику (с восстановлением предыдущей); RPS, ошибки, время восстановления | `make failover-each` (на реплику: `stop-one.sh`, 10 с без неё, `restore.sh` — всё внутри окна нагрузки) | `a3536e394b3f`: 100.02 rps, 6001 запрос k6, ошибок 0, p50/p95/p99 2.4/3.41/5.1 мс, обнаружение 1.515 с, возврат в ротацию через 14.111 с от начала действия (действие 14.511 с: хук + 10 с + restore), зонд 635 записей / 0 ошибок, пока реплика исключена, её `X-Instance-Id` не встречался; `27de23496b0f`: 100.02 rps, 0 ошибок, 2.44/3.42/5.08 мс, 0.894 с, 14.392 с, 635/0; счётчики LB `wretr`/`wredis`/`econ`/`eresp`/`hrsp_5xx` — 0 | `evidence/failover-each/summary.json`, `evidence/failover-each//` | +| **4.1** Health/readiness, таймауты и прекращение приёма при `SIGTERM` согласованы | `make student-test` (`test_timeouts.py`, `test_drain.py`, вывод `-s`) | цепочка: LB server 10 с > запрос 8 с > БД 3 с; readiness 0,8 с < check 1 с; окно 2 с > обнаружение 1,5 с; дообработка 3 с ≥ БД 3 с; остановка 6 с < хук 7 с < `stop_grace_period` 8 с; настоящий gunicorn по `SIGTERM` (в тесте окно 1 с, срок 3 с): ready/live `(503, 200)` в окне, порт закрыт через 1.18 с, запрос, принятый до сигнала и дописанный после закрытия порта, получил `201`, запрос, тело которого так и не пришло, прерван с `500`, выход через 2.62 с | `evidence/student-tests.txt`, `compose.yaml`, `infra/haproxy/haproxy.cfg`, `src/messenger/gunicorn_conf.py` | +| **4.1** LB исключает недоступный backend; период проверок и максимум обнаружения | `make detection` (три прогона) | период 1 с (0,5 с после провала), `fall 2`/`rise 2`; заявлено ≤1,5 с (`503`/отказ соединения) и ≤3,5 с (зависание), допуск замера 0,25 с; измерено (min–max трёх прогонов): `SIGTERM` 1.004–1.325 с — раньше конца остановки (2.446–2.634 с), `kill` 0.218–0.757 с, `pause` 3.013–3.045 с, PostgreSQL 1.269–1.553 с до 0 `UP` и `503 unavailable` от LB; возврат 1.92–3.04 с; все 12 `pass: true` | `evidence/detection/run{1,2,3}/{sigterm,kill,pause,postgres}.json` | +| **4.2** Последовательно остановить каждую реплику (с восстановлением предыдущей); RPS, ошибки, время восстановления | `make failover-each` (на реплику: `stop-one.sh`, `docker compose ps -a` реплик, 10 с без неё, `restore.sh` — всё внутри окна нагрузки) | `286766bf2b32`: 100.0 rps, 6000 запросов k6, ошибок 0, p50/p95/p99 2.04/6.56/13.68 мс, обнаружение 0.926 с, возврат в ротацию через 14.932 с от начала действия (действие 15.23 с: хук + 10 с + restore), зонд 655 попыток / 0 ошибок, пока реплика исключена, её `X-Instance-Id` не встречался (128 ответов только от `fa81adafcb69`); `fa81adafcb69`: 100.02 rps, 6001, 0 ошибок, 2.10/6.46/14.16 мс, 1.065 с, 14.587 с, 655/0; в `action.txt` сразу после хука — `Exited (0)` у остановленной и `Up (healthy)` у второй; счётчики LB `wretr`/`wredis`/`econ`/`eresp`/`hrsp_5xx` — 0. Обнаружение ≤1,5 с без допуска (на `e00eb6c` было 1.515 с — в пределах допуска замера 0,25 с на docker CLI и опрос, см. `make detection`) | `evidence/failover-each/summary.json`, `evidence/failover-each//` | | **4.2** Общая идемпотентность — параллельными запросами с одним ключом | `make lb-check` | 20 раундов × 8: 160 × `201` от двух реплик, 20/20 раундов с одинаковыми телами, одной копией и `409` на другой body; на итоговом коде — то же | `evidence/lb-check.json`, `evidence/clean-clone.txt`, `evidence/track1/after-checks.txt` | | **4.3** CPU/RAM-лимиты, API без портов в обход LB, секреты и хранилища только где нужно, нет `container_name` | `make limits` (`docker compose --profile bench config` + `docker inspect` против политики в `scripts/limits.py`) на итоговом коде | лимиты у всех 6 сервисов (api 1/512MiB, lb 1/128MiB, postgres 2/1024MiB, valkey 0.5/128MiB, migrate 0.5/256MiB, k6 2/512MiB) и применены у запущенных; порты только у `lb` на `127.0.0.1`; секреты: api — 3, migrate — `database_url`, postgres — пароль, valkey — конфиг, lb и k6 — нет; volumes `pgdata`/`valkeydata` только у своих хранилищ; `backend` internal, k6 только в `edge`; api и lb `read_only`; `PASS`. Подмешанные нарушения (порт и лишний секрет у api, `container_name`, снятый лимит) → 5 нарушений, код 1 | `evidence/limits.txt`, `evidence/limits-violations.txt` | -| **4.4** Rolling update под нагрузкой | `make rolling-update FROM_REV=8d28d45` (стенд на образе уровня «3», затем замена на текущую версию с запасом +1) | `lb_up_min` 2 из 2, k6 100 rps, 9000 запросов, ошибок 0, зонд 897/0; после замены отвечают только новые контейнеры (`7a4c320f9b13`, `00548d9b229e` → `28af1eaa77c8`, `f3f2f7801b56`; образ `cbd83541c3e5` → `13e52dc26774`); старые реплики без окна дали `wretr` 2, `wredis` 54, `eresp` 2 — запросы, повторённые LB на соседа | `evidence/rolling-from-8d28d45/result.json`, `action.txt` | -| **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 904/0, все реплики новые (`28af1eaa77c8`, `f3f2f7801b56` → `239278da12b2`, `58b4bb97f5db`); все счётчики LB 0. Образ пересобран из той же ревизии, ID другой (`13e52dc26774` → `9d621745fe6b`): BuildKit пишет при сборке новый манифест с аттестацией (`exporting attestation manifest` в `clean-clone.txt`) — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` | +| **4.4** Rolling update под нагрузкой | `make rolling-update FROM_REV=8d28d45` (стенд на образе уровня «3» с тегом `mtusi-messenger:8d28d45`, затем замена на текущую версию с запасом +1) | `lb_up_min` 2 из 2, k6 100 rps, 8996 запросов, ошибок 0 (5 итераций k6 сброшены), зонд 934/0; после замены отвечают только новые контейнеры (`e2d392075b96`, `bc58bf60e518` → `c84bddf582a8`, `225f56282b82`; образ `84c47c47ad8a` → `cb0dac56ff0b`); старые реплики без окна дали `wredis` 55 — запросы, перенаправленные LB на соседа | `evidence/rolling-from-8d28d45/result.json`, `action.txt` | +| **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 942/0, все реплики новые (`c84bddf582a8`, `225f56282b82` → `89953d9764bd`, `1f35898d8b4e`); все счётчики LB 0. Образ пересобран из той же ревизии, ID другой (`cb0dac56ff0b` → `c23101d9a13d`): BuildKit пишет при сборке новый манифест с аттестацией (`exporting attestation manifest` в `clean-clone.txt`) — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` | | **4.4** Миграции однократно и совместимы с работающей версией | `scripts/rolling-update.sh`; `make storage-evidence` | `migrate` запускается один раз до замены первой реплики (`migration.completed up to date`), реплики схему не трогают, `migrate` под `pg_advisory_lock`; между уровнями «3» и «4» схема не менялась; `0002_idempotency_keys` только добавляет таблицу, код лабы 2 её не замечает | `evidence/rolling*/action.txt`, `evidence/migrations.txt` | **Трек 1 «Цена масштабирования».** Подробности, таблицы и выводы — в разделе трека ниже; поля CSV — @@ -314,10 +341,10 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | Гипотеза и повторяемая методика | `openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/proposal.md` (коммит `d8d551a`); `make track1` | гипотезы H1–H3 записаны в предложении до первого прогона серий; серии, сравнение и графики — одной командой; снимок хоста и версий | `evidence/track1/host.txt`, `evidence/track1/README.md` | | 1/2/4 реплики при фиксированном суммарном CPU/RAM | `make track1-a` (4 CPU / 2 GiB, воркеров = CPU, пул 32 и очередь LB 128 во всех вариантах, CPU 7–10 закреплены) | пик успешных RPS: 1×4 — 5 375, 2×2 — 4 964, 4×1 — 4 724; потолок по SLO у всех 4 560 rps, но p95 там 9 / 69 / 150 мс | `evidence/track1/series-a/summary.csv`, `plots/series-a-*.png`, `plots/capacity.md` | | Серия с ростом ресурсов | `make track1-b` (1→2→4→8 реплик по 1 CPU) | пик 1 720 → 2 936 → 4 724 → **4 260**: восемь реплик хуже четырёх; USL σ = 0,014, κ = 0,038, максимум около 5 реплик | `evidence/track1/series-b/summary.csv`, `plots/scaling.png`, `plots/capacity.md` | -| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 6,8 — `idle in transaction`, `SELECT … FOR UPDATE` чата — 14,2 мс в среднем и 98,7 % времени топ-20 операторов | `evidence/track1/series-b/summary.csv`, `series-b/base-8x1_rate5400_rep*/pg_statements.csv`, `plots/utilisation.png` | +| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 6,8 — `idle in transaction`, `SELECT … FOR UPDATE` чата — ≈14,1 мс в среднем (13,6–14,4) и 98,7 % времени топ-20 операторов | `evidence/track1/series-b/summary.csv`, `series-b/base-8x1_rate5400_rep*/pg_statements.csv`, `plots/utilisation.png` | | Графики и сырые данные | `make plots` | RPS и p95/p99 от нагрузки, CPU по компонентам, пик от CPU с USL, загрузка звеньев на пике, сводка потолков; сырьё каждого прогона — k6, `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | `evidence/track1/plots/`, `evidence/track1/<серия>/<прогон>/` | | Одно подтверждённое улучшение (до/после при тех же ресурсах) | `make track1-compare` (8×1, образ `edc091d` против текущего, чередование по повторам) | запись сообщения одной командой: при 3 600 rps p95 64,5 → 3,7 мс, CPU на запрос API −14 %, PostgreSQL −26 %; пик 4 252 → 4 894 rps (+15 %), интервалы повторов не пересекаются | `evidence/track1/compare/summary.csv`, `plots/compare-*.png` | -| Улучшение не ломает уровни «3» и «4» | `make student-test`, `make test`, 20 гонок ключа через LB, `make test-failover`, `make test-persistence` на новом образе | 240 passed; smoke `PASS`; 160 × `201`, 20/20 раундов с одной копией и `409`; failover 131 запись, 0 ошибок, 2.728 с; persistence `PASS`; повторено из чистого clone на `e88673d` | `evidence/track1/after-checks.txt`, `evidence/clean-clone.txt` | +| Улучшение не ломает уровни «3» и «4» | сразу после улучшения: `make student-test`, `make test`, 20 гонок ключа, `make test-failover`, `make test-persistence`; на итоговом коде `b1c80ee` — весь уровень «3», `make test-faults` и `make level4` под k6 | после улучшения: 240 passed, smoke `PASS`, 160 × `201`, failover 131 запись / 0 ошибок, persistence `PASS`; на итоговом коде — 243 passed, 12 тестов стенда и все строки 3.x и 4.x выше (`detection` ×3, `failover-each`, оба rolling update — 0 ошибок под 100 rps), чистый clone | `evidence/track1/after-checks.txt`, `evidence/clean-clone.txt`, файлы строк 3.x–4.x | ## Эксперименты и отказы @@ -328,20 +355,20 @@ k6 100 rps плюс зонд (см. выше). Данные синтетичес | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| stop api#1 (`stop-one.sh`, `27de23496b0f`) | запись продолжается ≤10 с, target больше не отвечает | 0 неудачных попыток, 133 записи после хука; после теста `27de23496b0f` `exited`, `a3536e394b3f` `running` (`failover-27de23496b0f.txt`) | первая запись после хука через 2.638 с от его старта (хук ≈2,7 с из-за окна вывода; запись не прерывалась); потерь и дублей нет | -| stop api#2 (после `restore`, `a3536e394b3f`) | то же для второй реплики | 0 неудачных попыток, 130 записей после хука; `a3536e394b3f` `exited` (`failover-a3536e394b3f.txt`) | 2.689 с; потерь и дублей нет | -| Полный restart (`restart.sh`: lb, api ×2, postgres, valkey) | прежний токен работает, история побайтно та же | persistence `PASS`; ID контейнеров прежние, `StartedAt` всех обновился: postgres, valkey, lb — 16:57:13, api — 16:57:19–20 при старте прогона в 16:57:10 (`persistence.txt`) | потерь нет; в чистом clone — то же (`clean-clone.txt`) | +| stop api#1 (`stop-one.sh`, `286766bf2b32`) | запись продолжается ≤10 с, target больше не отвечает | 0 неудачных попыток, 139 записей; после теста `286766bf2b32` `exited`, `fa81adafcb69` `running` (`failover-286766bf2b32.txt`) | первая запись после хука через 2.639 с от его старта (хук ≈2,6 с из-за окна вывода; запись не прерывалась); потерь и дублей нет | +| stop api#2 (после `restore` и одного запроса через LB — `SHIFT=1`, `fa81adafcb69`) | то же для второй реплики | 0 неудачных попыток, 138 записей; `fa81adafcb69` `exited` (`failover-fa81adafcb69.txt`) | 2.747 с; потерь и дублей нет | +| Полный restart (`restart.sh`: lb, api ×2, postgres, valkey) | прежний токен работает, история побайтно та же | persistence `PASS`; ID контейнеров прежние, `StartedAt` всех обновился: postgres, valkey, lb — 23:44:29, api — 23:44:30–31 при старте прогона в 23:44:25 (`persistence.txt`) | потерь нет; в чистом clone — то же (`clean-clone.txt`) | | Конкурентный одинаковый ключ (20 раундов × 8 POST через LB) | в каждом раунде одно сообщение, все ответы равны | 160 × `201`, 80 + 80 по репликам, 20/20 раундов с 1 копией, другой body → `409` (`lb-check.json`) | дублей нет | | Все реплики остановлены | LB отвечает `503` в формате контракта | `503 {"error":{"code":"unavailable",…,"request_id":"no-replica-1"}}` (`hooks.txt`) | после `make restore` — `200` | -| `docker compose stop postgres` | реплики выходят из ротации, ответы `503`, а не `500` | `503` за ≤0.014 с на ready, me, login, register; live внутри реплики `200`; LB исключил обе реплики за 0.61 с (`faults.txt`) и 1.227 с (`detection/postgres.json`) и отвечает `503` сам | после `start` готовность через 2.1–2.5 с без рестарта API | +| `docker compose stop postgres` | реплики выходят из ротации, ответы `503`, а не `500` | `503` за ≤0.014 с на ready, me, login, register; live внутри реплики `200`; LB исключил обе реплики через 0.93 с (`faults.txt`) и 0.93–1.44 с (`detection/run*/postgres.json`) и отвечает `503` сам | после `start` готовность через 2.3 с без рестарта API; в ротации через 2.48–2.65 с | | `docker compose stop valkey` | проверка сессий через PostgreSQL, без анонимного доступа | действующий токен `200`, неизвестный `401`, выход `503` (`faults.txt`) | после `start` выход `204` | | Повторный `migrate` | схема и данные не меняются | `up to date`, счётчики равны (`migrations.txt`, `clean-clone.txt`) | — | -| `SIGTERM` реплике (`docker stop -t 6`) | LB исключает её раньше, чем она закроет порт | исключена через 0.706 с, остановка завершилась через 2.493 с (`detection/sigterm.json`); код выхода 0, в логе — окно 2 с и readiness `503` (`hooks.txt`, `failover-*.txt`) | возврат после `restore` 1.959 с | -| Процесс реплики убит (`docker kill`) | исключение ≤1,5 с | 0.665 с (`detection/kill.json`) | `restore` 3.078 с | -| Процесс реплики завис (`docker pause`) | исключение ≤3,5 с по таймауту проверки | 2.756 с; через LB — `200` от соседа (`detection/pause.json`) | после `unpause` 2.383 с | -| Поочерёдная остановка каждой реплики под 100 rps | 0 ошибок, запись не прерывается, реплика возвращается | обе реплики: k6 0 ошибок из 6001, зонд 0 из 635, p99 ≈5 мс, повторов LB 0 (`failover-each/summary.json`) | обнаружение 0.894–1.515 с; снова в ротации через 14.111–14.392 с от начала действия (хук + 10 с без реплики + `restore`) | -| Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 9000, зонд 0 из 897; старые реплики без окна: `wretr` 2, `wredis` 54, `eresp` 2 | замена двух реплик за 7.695 с | -| Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 904, все счётчики LB 0 | 11.782 с | +| `SIGTERM` реплике (`docker stop -t 7`) | LB исключает её раньше, чем она закроет порт | исключена через 0.99–1.43 с, остановка завершилась через 2.53–2.61 с (`detection/run*/sigterm.json`); код выхода 0, в логе — окно 2 с и readiness `503` (`hooks.txt`, `failover-*.txt`) | возврат после `restore` 1.96–3.63 с | +| Процесс реплики убит (`docker kill`) | исключение ≤1,5 с | 0.47–0.54 с (`detection/run*/kill.json`) | `restore` 2.65–3.05 с | +| Процесс реплики завис (`docker pause`) | исключение ≤3,5 с по таймауту проверки | 2.91–3.23 с; через LB — `200` от соседа (`detection/run*/pause.json`) | после `unpause` 2.37–2.86 с | +| Поочерёдная остановка каждой реплики под 100 rps | 0 ошибок, запись не прерывается, реплика возвращается | обе реплики: k6 0 ошибок из 6000 и 6001, зонд 0 из 655 и 655, p99 13.7 и 14.2 мс, повторов LB 0 (`failover-each/summary.json`) | обнаружение 0.93–1.07 с; снова в ротации через 14.59–14.93 с от начала действия (хук + 10 с без реплики + `restore`) | +| Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 8996, зонд 0 из 934; старые реплики без окна: `wredis` 55 | замена двух реплик за 7.062 с | +| Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 942, все счётчики LB 0 | 12.010 с | ### Трек 5 — трек 1 «Цена масштабирования» @@ -367,7 +394,9 @@ H3: мера против найденного узкого места даёт профиль уровня «4»: 80 % `POST` сообщения с уникальным `Idempotency-Key`, 20 % чтения первой страницы истории, на прогон 20 новых пользователей и 10 чатов. Прогрев 10 с, замер 30 с, метрики только по окну замера. Интенсивности — геометрическая сетка ×1,5 от 150 rps на CPU (A) и 450 rps на CPU (B), пока два шага подряд не - насыщены во всех повторах. **3 повтора на точку**: в итоговых таблицах 123 прогона (63 + 42 + 18), 9,6 млн + насыщены во всех повторах или следующий шаг не превысит верхнюю границу сетки — 8 000 rps в серии A + (`--search 1.5:8000` по умолчанию) и 9 000 rps в серии B. В серии A все три конфигурации насыщены только на + 6 830 rps: следующий шаг 10 245 rps выше границы, и сетка остановилась на одном насыщенном шаге. **3 повтора на точку**: в итоговых таблицах 123 прогона (63 + 42 + 18), 9,6 млн запросов. - Набор данных: перед каждой конфигурацией `down -v`, затем база растёт от прогона к прогону; размер в каждой строке (`db_mb`, `messages` — перед прогоном): 7,7 МБ в начале конфигурации, до 1 019 МБ и 2,1 млн сообщений @@ -401,7 +430,7 @@ rps): | 1×1 | 1 520 | 1 720 (1 674–1 722) | 1,00 | 100 % | 102 / 100 | 47 | 13 | 0,2 / 3,4 / 8 | 968 | | 2×1 | 2 020 | 2 936 (2 868–2 998) | 1,71 | 85 % | 201 / 200 | 94 | 23 | 2,4 / 6,3 / 16 | 936 | | 4×1 (из A) | 4 560 | 4 724 (4 686–4 794) | 2,75 | 69 % | 381 / 400 | 164 | 40 | 15,3 / 6,8 / 32 | 872 | -| 8×1 | 3 600 | **4 260** (4 217–4 424) | 2,48 | 31 % | 473 / 800 | 178 | 40 | **47,5** / 6,8 / 64 | 744 | +| 8×1 | ≥3 600 (первая точка сетки) | **4 260** (4 217–4 424) | 2,48 | 31 % | 473 / 800 | 178 | 40 | **47,5** / 6,8 / 64 | 744 | Ошибок нет ни в одном прогоне таблиц (доля неуспешных ≤ 0,02 %): перегрузка проявляется как очередь в LB (до 1 000 одновременных сессий — предел VU k6), рост задержки и сброшенные итерации, а не как `5xx`, — таймауты @@ -417,7 +446,7 @@ PostgreSQL загружен наполовину. С четырёх реплик ниже, чем у четырёх реплик. Насыщена **критическая секция записи в чат**: в профиле 10 чатов, запись в чат сериализуется блокировкой его строки, поэтому одновременно идут не больше 10 записей, а остальные транзакции держат соединения пула и ждут (`pg_stat_activity`: 47,5 из 64 соединений в `Lock: tuple/transactionid`, пул -исчерпан — свободных 6). `SELECT … FOR UPDATE` чата длится в среднем 14,2 мс и занимает 98,7 % суммарного +исчерпан — свободных 6). `SELECT … FOR UPDATE` чата длится в среднем ≈14,1 мс (13,6 / 14,2 / 14,4 по повторам) и занимает 98,7 % суммарного времени топ-20 операторов (`pg_statements.csv` трёх повторов 8×1 при 5 400 rps), и около 7 соединений стоят `idle in transaction`: держатель блокировки ждёт, пока event loop реплики отправит следующий оператор. Каждая новая реплика добавляет пул из 8 соединений и параллельных писателей в те же 10 строк — больше ожидающих, больше пробуждений и переключений в PostgreSQL, длиннее очередь @@ -435,9 +464,9 @@ event loop у держателей, а последовательная част | Нагрузка | Вариант | Успешные RPS | p50 / p95 / p99, мс | CPU API / PostgreSQL, % | CPU на запрос API / PG, мс | Ждут блокировку / `idle in transaction` / ждут `LWLock` (WAL) | | --- | --- | ---: | ---: | ---: | ---: | ---: | -| 3 600 | до | 3 596 (3 568–3 597) | 2,4 / 64,5 (35,7–142,5) / 122 | 457 / 137 | 1,27 / 0,38 | 12,8 / 4,5 / 1,5 | +| 3 600 | до | 3 596 (3 568–3 596) | 2,4 / 64,5 (35,7–142,5) / 122 | 457 / 137 | 1,27 / 0,38 | 12,8 / 4,5 / 1,5 | | 3 600 | **после** | 3 600 (3 600–3 600) | 1,7 / **3,7** (2,8–5,4) / 12,6 | 391 / 102 | 1,09 / 0,28 | 0,15 / 0 / 1,9 | -| 5 400 | до | 4 252 (4 054–4 396) | 227 / 296 / 349 | 475 / 178 | — | 46,7 / 7,0 / 2,3 | +| 5 400 | до | 4 252 (4 054–4 396) | 227 / 296 / 349 | 475 / 178 | — | 46,6 / 7,0 / 2,3 | | 5 400 | **после** | **4 894** (4 494–5 104) | 198 / 246 / 278 | 479 / 179 | — | 46,4 / 0 / 8,5 | | 8 100 | до | 4 104 (4 001–4 448) | 236 / 311 / 364 | 475 / 178 | — | 47,1 / 7,3 / 1,9 | | 8 100 | **после** | 4 841 (4 618–5 046) | 202 / 254 / 287 | 462 / 174 | — | 46,3 / 0 / 9,2 | @@ -449,7 +478,7 @@ event loop у держателей, а последовательная част (ожидания `LWLock`, почти все — `WALWrite`, 8,5–9,2 против 1,9–2,3 «до»; `pg_activity.csv`), а CPU PostgreSQL — 89 %. Нижние значения варианта «после» за коленом (4 494 и 4 618 rps) — как раз возмущённые прогоны (см. методику): вывод они не усиливают, а ослабляют. Проверки уровней «3» и «4» на новом коде проходят -(`after-checks.txt`, `clean-clone.txt`). +(`after-checks.txt`, `clean-clone.txt`), а на итоговом коде повторён весь уровень «4» под k6 (строки 4.x). **Выводы.** @@ -458,10 +487,12 @@ event loop у держателей, а последовательная част 4×1) и памяти, и тем раньше растёт хвост (p95 при 4 560 rps — 9, 69 и 150 мс). Упор на пике — не только CPU API (95 %): у всех трёх половина соединений ждёт блокировку чата. При фиксированном бюджете выгоднее меньше реплик покрупнее, а число реплик определяется отказоустойчивостью (≥2), а не скоростью. -- H2 **подтверждена с поправкой.** Линейный рост — только до двух реплик (1,71× на 2 CPU), 4 реплики дают 2,75×, - а 8 — **меньше, чем 4** (2,48×): ретроградное масштабирование, κ > 0, максимум около 5 реплик. Насыщенное звено - — общая БД, но не её CPU (89 %) и не `max_connections` (64 из 200), а сериализованная по строке чата запись, - растянутая обращениями к приложению; LB далёк от лимита. +- H2 **опровергнута в части линейного роста и CPU БД, подтверждена в части 4→8.** Гипотеза ждала ≥3,2× на 4 + репликах и CPU PostgreSQL у лимита; измерено 2,75× (линейный рост — только до двух реплик, 1,71× на 2 CPU) и + CPU PostgreSQL 89 % (178 из 200). Рост 4→8 действительно меньше 1,5×, и даже отрицательный: 8 реплик дают + **меньше, чем 4** (2,48×) — ретроградное масштабирование, κ > 0, максимум около 5 реплик. Насыщенное звено — + общая БД, но не её CPU и не `max_connections` (64 из 200), а сериализованная по строке чата запись, + растянутая обращениями к приложению; LB далёк от лимита (см. контрольные прогоны). - H3 **подтверждена.** Укорочение критической секции до одной команды дало +15 % пика при тех же ресурсах и в 17 раз меньший p95 ниже колена. Следующий потолок — фиксация под блокировкой горячей строки (WAL) и CPU PostgreSQL: его сдвигают только больше чатов в профиле, `synchronous_commit = off` (ценой подтверждённых, но @@ -479,13 +510,16 @@ event loop у держателей, а последовательная част 1 000. Порт-форвардинг Docker Desktop в замеры не входит — k6 бьёт в `lb` изнутри сети. База растёт внутри конфигурации (до 1 ГБ в серии A), поэтому старшие интенсивности идут на большей базе, чем младшие. Сравнение до/после сделано на одной конфигурации 8×1; третий повтор «после» снят отдельным запуском после сбоя -`compose up` (`evidence/track1/README.md`). +`compose up` (`evidence/track1/README.md`). `compose up --wait` на восьми репликах при смене варианта изредка +проходит только со второй попытки (оркестратор повторяет его через 30 с): при ревью короткое сравнение 8×1 упало +один раз и прошло на повторе, причину по обрезанному stderr установить не удалось, а прогон с полным выводом сбой +не воспроизвёл. Теперь полный вывод каждой неудачной попытки пишется в `<серия>/compose-up-failed.log`. ## Ответы на вопросы защиты **Чем отказ процесса отличается от отказа узла?** Отказ процесса — это одна реплика: контейнер остановлен, убит или завис, а host, LB, PostgreSQL и соседняя реплика работают. Его ловит проверка готовности LB, и -трафик уходит на соседа: `SIGTERM` — 0,71 с, `kill` — 0,67 с, зависание (`docker pause`) — 2,76 с по таймауту +трафик уходит на соседа: `SIGTERM` — 1,0–1,4 с, `kill` — 0,5 с, зависание (`docker pause`) — 2,9–3,2 с по таймауту проверки (`evidence/detection/`), запись не прерывается (`failover-each`: 0 ошибок под 100 rps). Отказ узла забирает всё, что на нём запущено, сразу: здесь узел один, поэтому вместе с репликами пропадают LB, PostgreSQL, Valkey и volumes — отказ всего стенда, и никакая реплика его не переживёт. Кроме того, мёртвый узел не отвечает @@ -501,7 +535,7 @@ Valkey и volumes — отказ всего стенда, и никакая ре повторов отказавшего соединения на соседа, мягкого вывода из ротации и ответа `503` в формате контракта, когда готовых реплик нет. Всё это делает HAProxy: активная проверка `/health/ready` раз в 1 с с `fall 2`/`rise 2`, round robin, `retry-on conn-failure` и `redispatch`. Пример — остановка PostgreSQL: контейнеры `api` продолжают -работать, а LB исключает обе реплики за 1,23 с и сам отвечает `503 unavailable` (`detection/postgres.json`). +работать, а LB исключает обе реплики за 0,9–1,4 с и сам отвечает `503 unavailable` (`detection/run*/postgres.json`). **Какие POST можно повторять после timeout и что защищает Idempotency-Key?** Только `POST /api/v1/chats/{chat_id}/messages` с тем же `Idempotency-Key` и тем же телом. Сообщение и квитанция ключа @@ -531,8 +565,10 @@ persistence с прежним токеном падают. Sticky-сессии - Один Docker-host: потеря host, LB или PostgreSQL — отказ всего стенда. LB и БД — единственные точки отказа; их резервирование вне рамок лабы. -- Цель failover-теста выбирает round robin (кто обслужил первое сообщение); для второй реплики тест - повторяется после `make restore`, при необходимости с одним лишним запросом через LB. +- Цель failover-теста выбирает round robin (кто обслужил первое сообщение); второй прогон сразу после первого + и `make restore` попадает в ту же реплику, поэтому перед ним нужен один запрос через LB: + `make failover-evidence SHIFT=1` или `curl -s -o /dev/null "http://$(docker compose port lb 8080)/health/live"` + перед `make test-failover` (так сняты `failover-fa81adafcb69.txt` и второй failover в `clean-clone.txt`). - `X-Instance-Id` раскрывает короткий ID контейнера — допустимо до лабы 7, где появится непрозрачный alias. - Таблица ключей растёт вместе с историей (строка на сообщение); истёкшие ключи только перезаписываются при повторном использовании, фоновой очистки нет. @@ -541,11 +577,10 @@ persistence с прежним токеном падают. Sticky-сессии следующий потолок для горячих чатов (раздел трека). - Окно вывода из ротации удлиняет каждую остановку реплики на 2 с; оно рассчитано на проверки LB раз в секунду: при большем `inter` окно нужно увеличить (это ловит `test_timeouts.py`). -- Время обнаружения измерено одним прогоном на сценарий; верхняя граница — формула по параметрам проверки, а - замер её подтверждает. Время считается от запуска команды отказа, с допуском 0,25 с на docker CLI и опрос. -- Замеры уровня «4» под нагрузкой (`detection`, `failover-each`, `rolling*`) и тесты отказов `faults.txt` сняты на - `e00eb6c`, до того как трек 1 переписал отправку сообщения; на итоговом коде повторены smoke, гонки ключа, - failover, persistence, миграции с нуля, лимиты и собственные тесты, но не прогоны под k6. +- Время обнаружения измерено тремя прогонами на сценарий; верхняя граница — формула по параметрам проверки. + Замер считается от запуска команды отказа и включает задержку docker CLI и период опроса статистики LB, поэтому + может превысить формулу на эту величину; допуск замера — 0,25 с. На итоговом коде все замеры в пределах + формулы, раньше превышение в пределах допуска было у PostgreSQL (1,553 с), `SIGTERM` (1,609 и 1,515 с). - Rolling update проверен со сменой кода без смены схемы. Миграция, несовместимая с работающей версией (удаление или переименование столбца), потребовала бы двух выпусков expand/contract; в лабе таких нет. - `scripts/rolling-update.sh` и `restore.sh` используют `--no-recreate`: после замены с другим `API_IMAGE` @@ -556,6 +591,3 @@ persistence с прежним токеном падают. Sticky-сессии о троттлинге CFS как причине дорогих мелких реплик и о росте с числом чатов не проверялись. Переход отправки на одну команду убрал агрегат `Chat` из записи: правила участия и порядка теперь в SQL адаптера и держатся интеграционными тестами. -- Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в `add-lab3-scaling-cost` — - 405 слов по `wc -w` с разметкой (у `add-lab3-failover-operations` ровно 400, у - `add-lab3-load-balanced-replicas` — 368). Архив закоммичен, историю не переписываю. diff --git a/evidence/README.md b/evidence/README.md index ebf00551..981ae121 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,43 +1,46 @@ # Доказательства Обезличенные результаты прогонов лабы 3. Пользователи, чаты и тексты синтетические; паролей, токенов, `.env`, -содержимого `secrets/` и дампов здесь нет. В первой строке каждого текстового файла — дата (UTC) и коммит -прогона. Проверки через балансировщик шли с `BASE_URL=http://localhost:18083` (порт 8080 на машине был занят -стендами других лаб). Hostname реплики = `X-Instance-Id`; ID контейнеров меняются между прогонами. +содержимого `secrets/` и дампов здесь нет. В первой строке каждого текстового файла (`*.txt`) — дата (UTC) и +коммит прогона; у JSON и CSV (`lb-check.json`, `detection/`, `failover-each/`, `rolling*/`, `track1/*/summary.csv`) +даты и коммита внутри нет: коммит — в столбце «Коммит» таблиц ниже, время прогона CSV трека — в поле `started`. Проверки через балансировщик шли на порт +18083 (`LB_HTTP_PORT`; 8080 на машине был занят стендами других лаб): цели `make` берут `BASE_URL` из +`docker compose port lb 8080`. Hostname реплики = `X-Instance-Id`; ID контейнеров меняются между прогонами. ## Уровень «3» и перенос лабы 2 | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`/`0002`, готовность, smoke, ≥2 реплики и гонки ключа, failover, persistence, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | последовательность из `REPORT.md`, раздел «Запуск» | `e88673d` | -| `smoke.txt` | публичный smoke через LB | `make test BASE_URL=…` | `e00eb6c` | -| `stack.txt` | сервисы, только `lb` публикует порты, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `e00eb6c` | -| `environment.txt` | host, Docker, образы по digest, версии пакетов, uid процессов | `make stack-evidence` | `e00eb6c` | -| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по двум репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другой body | `make lb-check` | `e00eb6c` | -| `failover-27de23496b0f.txt`, `failover-a3536e394b3f.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, лог его остановки, `restore` | `make failover-evidence BASE_URL=…` | `e00eb6c` | -| `hooks.txt` | `stop-one.sh`: длительность, код, остановлен только target; неизвестный ID → 3; без переменной → 1; все реплики остановлены → `503` LB в формате контракта | команды внутри файла | `e00eb6c` | -| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence BASE_URL=…` | `e00eb6c` | -| `faults.txt` | тесты стенда лабы 2 через LB: гонка регистрации, остановка Valkey и PostgreSQL, рестарт API | `make test-faults BASE_URL=…` | `e00eb6c` | -| `student-tests.txt` | все собственные тесты по именам (идемпотентность, `X-Instance-Id`, сессии, конвейер) и вывод теста `SIGTERM`-окна и цепочки таймаутов | `PYTEST_ADDOPTS=-vv make student-test`; `pytest -s` двух файлов | `e88673d` | -| `schema.txt` | `\d+` всех таблиц и применённые миграции | `make storage-evidence` | `0796e29` | -| `migrations.txt` | повторный `migrate` → `up to date`, счётчики строк до и после равны | `make storage-evidence` | `0796e29` | -| `kdf.txt` | Argon2id у всех пользователей, в `sessions` только 32-байтовые SHA-256 | `make storage-evidence` | `0796e29` | -| `secrets.txt` | секреты, `.env`, дампы и volumes не в Git и игнорируются | `make storage-evidence` | `0796e29` | +| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`/`0002`, готовность, smoke, ≥2 реплики и гонки ключа, failover обеих реплик, persistence (всё без явного `BASE_URL` при `LB_HTTP_PORT=18083`), `storage-evidence` в клоне, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | последовательность из `REPORT.md`, раздел «Запуск» | `f5fea5c` (код `b1c80ee`) | +| `checks.txt` | реальный вывод `make check`, `make validate` (`openapi-spec-validator` из dev-группы `.venv`) и `make lint` | команды внутри файла | `b1c80ee` | +| `smoke.txt` | публичный smoke через LB | `make test` | `b1c80ee` | +| `stack.txt` | сервисы, только `lb` публикует порты, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `b1c80ee` | +| `environment.txt` | host, Docker, образы по digest, версии пакетов, uid процессов | `make stack-evidence` | `b1c80ee` | +| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по двум репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другой body | `make lb-check` | `b1c80ee` | +| `failover-286766bf2b32.txt`, `failover-fa81adafcb69.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, лог его остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `b1c80ee` | +| `hooks.txt` | `stop-one.sh`: длительность, код, остановлен только target; неизвестный ID → 3; без переменной → 1; все реплики остановлены → `503` LB в формате контракта | команды внутри файла | `b1c80ee` | +| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `b1c80ee` | +| `faults.txt` | тесты стенда лабы 2 через LB: гонка регистрации, остановка Valkey и PostgreSQL, рестарт API, полный рестарт с выходом, срок сессии после рестарта | `make faults-evidence` | `b1c80ee` | +| `student-tests.txt` | все собственные тесты по именам (идемпотентность, `X-Instance-Id`, сессии, конвейер) и вывод теста `SIGTERM`-окна и цепочки таймаутов | `PYTEST_ADDOPTS=-vv make student-test`; `pytest -s` двух файлов | `b1c80ee` | +| `schema.txt` | `\d+` всех таблиц и применённые миграции | `make storage-evidence` | `b1c80ee` | +| `migrations.txt` | повторный `migrate` → `up to date`, счётчики строк до и после равны | `make storage-evidence` | `b1c80ee` | +| `kdf.txt` | Argon2id у всех пользователей, в `sessions` только 32-байтовые SHA-256 | `make storage-evidence` | `b1c80ee` | +| `secrets.txt` | секреты, `.env`, дампы и volumes не в Git и игнорируются | `make storage-evidence` | `b1c80ee` | ## Уровень «4» | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты, volumes и сети по политике | `make limits` | `e88673d` | -| `limits-violations.txt` | та же проверка ловит подмешанные нарушения (5 штук, код 1) | `COMPOSE_FILE=compose.yaml:violations.yaml python3 scripts/limits.py` | `e00eb6c` | -| `detection/{sigterm,kill,pause,postgres}.json` | время исключения backend из ротации против заявленного максимума, ответ LB после исключения, время возврата | `make detection` | `e00eb6c` | -| `failover-each/summary.json`, `failover-each//` | поочерёдная остановка каждой реплики под k6 100 rps: RPS, ошибки, p50/p95/p99, обнаружение, возврат, зонд записи, счётчики LB; сырьё — `k6/`, `lb_up.csv`, `probe.csv`, `action.txt` | `make failover-each` | `e00eb6c` | -| `rolling-from-8d28d45/` | rolling update с образа уровня «3» на текущий под k6: ёмкость, ошибки, замена всех реплик, `migrate` один раз | `make rolling-update FROM_REV=8d28d45` | `e00eb6c` | -| `rolling/` | rolling update текущей сборкой под k6 | `make rolling-update` | `e00eb6c` | +| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты, volumes и сети по политике | `make limits` | `b1c80ee` | +| `limits-violations.txt` | та же проверка ловит подмешанные нарушения (5 штук, код 1) | `COMPOSE_FILE=compose.yaml:violations.yaml python3 scripts/limits.py` | `b1c80ee` | +| `detection/run{1,2,3}/{sigterm,kill,pause,postgres}.json` | три прогона: время исключения backend из ротации против заявленного максимума (допуск замера 0,25 с), ответ LB после исключения, время возврата | `make detection` | `b1c80ee` | +| `failover-each/summary.json`, `failover-each//` | поочерёдная остановка каждой реплики под k6 100 rps: RPS, ошибки, p50/p95/p99, обнаружение, возврат, зонд записи, счётчики LB; сырьё — `k6/`, `lb_up.csv`, `probe.csv`, `action.txt` (вывод действия: `docker compose ps -a` реплик сразу после хука, затем `restore`) | `make failover-each` | `b1c80ee` | +| `rolling-from-8d28d45/` | rolling update с образа уровня «3» на текущий под k6: ёмкость, ошибки, замена всех реплик, `migrate` один раз | `make rolling-update FROM_REV=8d28d45` | `b1c80ee` | +| `rolling/` | rolling update текущей сборкой под k6 | `make rolling-update` | `b1c80ee` | ## Трек 1 «Цена масштабирования» -`track1/` — серии A и B, сравнение до/после, графики и проверки после улучшения; состав и поля CSV — +`track1/` — серии A и B, сравнение до/после, контрольные прогоны, графики и проверки после улучшения; состав и поля CSV — `track1/README.md`. | Файл | Что доказывает | Команда | @@ -46,6 +49,7 @@ | `track1/series-a/` | 1×4, 2×2, 4×1 при 4 CPU / 2 GiB API | `make track1-a` | | `track1/series-b/` | 1×1, 2×1, 8×1 по 1 CPU (4×1 — из серии A) | `make track1-b` | | `track1/compare/` | улучшение: «до» (`edc091d`) и «после» на 8×1 | `make track1-compare` | +| `track1/control-pool/`, `track1/control-cpus/` | контроль: пул и `maxconn` на 8×1; 8×0,5 против 4×1 на одних CPU (итоговый код, `f5fea5c`) | `make track1-control` | | `track1/plots/` | графики и сводка потолков `capacity.md` | `make plots` | | `track1/after-checks.txt` | уровни «3» и «4» на коде с улучшением (`dde113b`) | команды внутри файла | | `track1/host-others.csv`, `track1/aborted/` | нагрузка соседних стендов во время замеров и прерванная первая попытка серии A | см. `track1/README.md` | diff --git a/evidence/clean-clone.txt b/evidence/clean-clone.txt index 84ab64dc..d6e697b6 100644 --- a/evidence/clean-clone.txt +++ b/evidence/clean-clone.txt @@ -1,6 +1,6 @@ -date: 2026-10-29T20:23:35Z commit: a02d442 dir: mtusi2026lab3-clean (свой compose-проект и volumes) +date: 2026-10-29T23:53:18Z commit: f5fea5c dir: mtusi2026lab3-clean (свой compose-проект и volumes) $ git clone … mtusi2026lab3-clean && cd mtusi2026lab3-clean && git checkout solution/bpi2303-kostylev -HEAD a02d442 Trim the scaling cost proposal to the word limit +HEAD f5fea5c Record levels 3 and 4 again after the lab 2 carry over $ docker volume ls -q --filter name=mtusi2026lab3-clean | wc -l | tr -d ' ' 0 exit=0 @@ -26,42 +26,42 @@ $ make up sh scripts/secrets.sh docker compose up -d --build --wait #1 [internal] load local bake definitions -#1 reading from stdin 591B done +#1 reading from stdin 606B done #1 DONE 0.0s #2 [internal] load build definition from Dockerfile #2 transferring dockerfile: 1.57kB done #2 DONE 0.0s -#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 +#3 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d #3 DONE 0.0s -#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d +#4 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 #4 DONE 0.0s #5 [internal] load .dockerignore #5 transferring context: 437B done #5 DONE 0.0s -#6 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 -#6 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 done +#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d +#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d done #6 DONE 0.0s -#7 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d -#7 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d done +#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 +#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 done #7 DONE 0.0s #8 [internal] load build context -#8 transferring context: 236.57kB 0.0s done +#8 transferring context: 281.44kB 0.0s done #8 DONE 0.0s -#9 [builder 3/7] WORKDIR /build +#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./ #9 CACHED -#10 [builder 4/7] COPY pyproject.toml uv.lock README.md ./ +#10 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv #10 CACHED -#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv +#11 [builder 3/7] WORKDIR /build #11 CACHED #12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable @@ -71,62 +71,62 @@ docker compose up -d --build --wait #13 DONE 0.0s #14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable -#14 0.141 Resolved 44 packages in 0.62ms -#14 0.143 Building mtusi-messenger @ file:///build -#14 1.992 Built mtusi-messenger @ file:///build -#14 1.995 Prepared 1 package in 1.85s -#14 1.998 Installed 1 package in 3ms -#14 2.060 Bytecode compiled 888 files in 61ms -#14 2.060 + mtusi-messenger==1.3.0 (from file:///build) -#14 DONE 2.1s +#14 0.228 Resolved 59 packages in 9ms +#14 0.241 Building mtusi-messenger @ file:///build +#14 2.148 Built mtusi-messenger @ file:///build +#14 2.152 Prepared 1 package in 1.91s +#14 2.157 Installed 1 package in 4ms +#14 2.243 Bytecode compiled 888 files in 86ms +#14 2.243 + mtusi-messenger==1.3.0 (from file:///build) +#14 DONE 2.3s #15 [runtime 2/4] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger #15 CACHED #16 [runtime 3/4] COPY --from=builder --chown=root:root /opt/venv /opt/venv -#16 DONE 0.1s +#16 DONE 0.2s #17 [runtime 4/4] WORKDIR /app #17 DONE 0.0s #18 exporting to image #18 exporting layers -#18 exporting layers 1.5s done -#18 exporting manifest sha256:c3e6090559d5482c87f329d260e08065b5f8a5d5dc65c607f89733a82ddddbcf done -#18 exporting config sha256:dd65081a5c150d5f128bd2cdeeb642852a65e7b7a4a672a2b4ef196f4e20f82f done -#18 exporting attestation manifest sha256:2cfd6ab7e9b71c465dae98c768bf8e7dd4474f3e8edeae77433641275854423e done -#18 exporting manifest list sha256:b35f152d0bde9f4bfe3672b917a873cf3f04bbf7402b5251c29c224768584579 done -#18 naming to docker.io/library/mtusi-messenger:lab3 done -#18 unpacking to docker.io/library/mtusi-messenger:lab3 -#18 unpacking to docker.io/library/mtusi-messenger:lab3 0.2s done -#18 DONE 1.7s +#18 exporting layers 1.3s done +#18 exporting manifest sha256:70f59989a44aa91279868eda8d3be8e0190c77105c73991af97ce4bacd31671f done +#18 exporting config sha256:f0e6baec9e0953031a2fcce0c3d7e51f43a86bc862d6b906ef83c07ebd24d86a done +#18 exporting attestation manifest sha256:2602ec09576cca80e4818a6e4b3de34c457dc91ad59602388f2e6af8b5565e35 done +#18 exporting manifest list sha256:a8a3477e428fb32254f1294cf857b6e428fe388f44cd3a900b410f1e2a340764 done +#18 naming to docker.io/library/mtusi-messenger:mtusi2026lab3-clean done +#18 unpacking to docker.io/library/mtusi-messenger:mtusi2026lab3-clean +#18 unpacking to docker.io/library/mtusi-messenger:mtusi2026lab3-clean 0.2s done +#18 DONE 1.6s #19 resolving provenance for metadata file #19 DONE 0.0s api Built - Network mtusi2026lab3-clean_edge Creating - Network mtusi2026lab3-clean_edge Created Network mtusi2026lab3-clean_backend Creating Network mtusi2026lab3-clean_backend Created - Volume "mtusi2026lab3-clean_pgdata" Creating - Volume "mtusi2026lab3-clean_pgdata" Created + Network mtusi2026lab3-clean_edge Creating + Network mtusi2026lab3-clean_edge Created Volume "mtusi2026lab3-clean_valkeydata" Creating Volume "mtusi2026lab3-clean_valkeydata" Created + Volume "mtusi2026lab3-clean_pgdata" Creating + Volume "mtusi2026lab3-clean_pgdata" Created Container mtusi2026lab3-clean-postgres-1 Creating - Container mtusi2026lab3-clean-lb-1 Creating Container mtusi2026lab3-clean-valkey-1 Creating - Container mtusi2026lab3-clean-valkey-1 Created + Container mtusi2026lab3-clean-lb-1 Creating Container mtusi2026lab3-clean-lb-1 Created Container mtusi2026lab3-clean-postgres-1 Created Container mtusi2026lab3-clean-migrate-1 Creating + Container mtusi2026lab3-clean-valkey-1 Created Container mtusi2026lab3-clean-migrate-1 Created Container mtusi2026lab3-clean-api-2 Creating Container mtusi2026lab3-clean-api-1 Creating Container mtusi2026lab3-clean-api-2 Created Container mtusi2026lab3-clean-api-1 Created - Container mtusi2026lab3-clean-lb-1 Starting Container mtusi2026lab3-clean-postgres-1 Starting Container mtusi2026lab3-clean-valkey-1 Starting + Container mtusi2026lab3-clean-lb-1 Starting Container mtusi2026lab3-clean-valkey-1 Started Container mtusi2026lab3-clean-postgres-1 Started Container mtusi2026lab3-clean-postgres-1 Waiting @@ -140,32 +140,32 @@ docker compose up -d --build --wait Container mtusi2026lab3-clean-api-1 Started Container mtusi2026lab3-clean-api-2 Starting Container mtusi2026lab3-clean-api-2 Started - Container mtusi2026lab3-clean-postgres-1 Waiting - Container mtusi2026lab3-clean-valkey-1 Waiting - Container mtusi2026lab3-clean-lb-1 Waiting Container mtusi2026lab3-clean-api-1 Waiting Container mtusi2026lab3-clean-api-2 Waiting Container mtusi2026lab3-clean-migrate-1 Waiting - Container mtusi2026lab3-clean-valkey-1 Healthy + Container mtusi2026lab3-clean-postgres-1 Waiting + Container mtusi2026lab3-clean-valkey-1 Waiting + Container mtusi2026lab3-clean-lb-1 Waiting Container mtusi2026lab3-clean-migrate-1 Exited Container mtusi2026lab3-clean-postgres-1 Healthy + Container mtusi2026lab3-clean-valkey-1 Healthy Container mtusi2026lab3-clean-api-1 Healthy Container mtusi2026lab3-clean-api-2 Healthy Container mtusi2026lab3-clean-lb-1 Healthy exit=0 -make up (build, migrate, wait healthy): 15 s +make up (build, migrate, wait healthy): 10 s $ docker compose logs --no-log-prefix migrate -{"version":"0001_init","event":"migration.applied","level":"info","ts":"2026-10-29T20:23:48.391612Z"} -{"version":"0002_idempotency_keys","event":"migration.applied","level":"info","ts":"2026-10-29T20:23:48.391717Z"} -{"reason":"applied","event":"migration.completed","level":"info","ts":"2026-10-29T20:23:48.391758Z"} +{"version":"0001_init","event":"migration.applied","level":"info","ts":"2026-10-29T23:53:27.339042Z"} +{"version":"0002_idempotency_keys","event":"migration.applied","level":"info","ts":"2026-10-29T23:53:27.339142Z"} +{"reason":"applied","event":"migration.completed","level":"info","ts":"2026-10-29T23:53:27.339185Z"} exit=0 $ docker compose ps -a --format '{{.Service}} {{.State}} {{.Status}} {{.Ports}}' api running Up 3 seconds (healthy) api running Up 3 seconds (healthy) -lb running Up 10 seconds (healthy) 127.0.0.1:18083->8080/tcp, 127.0.0.1:23083->8404/tcp -migrate exited Exited (0) 4 seconds ago -postgres running Up 10 seconds (healthy) -valkey running Up 10 seconds (healthy) +lb running Up 5 seconds (healthy) 127.0.0.1:18083->8080/tcp, 127.0.0.1:23083->8404/tcp +migrate exited Exited (0) 3 seconds ago +postgres running Up 5 seconds (healthy) +valkey running Up 5 seconds (healthy) exit=0 $ until curl -fsS http://$(docker compose port lb 8080)/health/ready; do sleep 1; done; scripts/lb-wait.sh 2 {"status":"ok"} @@ -177,8 +177,8 @@ exit=0 $ python3 scripts/probe.py check --rounds 20 { "instances_one_token": { - "b354701120c8": 20, - "80019af4c42f": 20 + "7bed64a93042": 20, + "7dcb3b8e69c8": 20 }, "same_key": { "rounds": 20, @@ -187,8 +187,8 @@ $ python3 scripts/probe.py check --rounds 20 "201": 160 }, "instances": { - "b354701120c8": 80, - "80019af4c42f": 80 + "7dcb3b8e69c8": 80, + "7bed64a93042": 80 }, "identical_bodies_rounds": 20, "single_copy_rounds": 20, @@ -200,11 +200,31 @@ exit=0 $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18083" Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 135, "failed_attempts": 0, "first_recovery_seconds": 2.895} +{"observed_instances_before": 2, "successful_writes": 134, "failed_attempts": 0, "first_recovery_seconds": 2.934} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. exit=0 $ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api -api mtusi2026lab3-clean-api-1 running Up 21 seconds (healthy) +api mtusi2026lab3-clean-api-1 exited Exited (0) 12 seconds ago +api mtusi2026lab3-clean-api-2 running Up 20 seconds (healthy) +exit=0 +$ make restore +scripts/restore.sh + Container mtusi2026lab3-clean-api-2 Running + Container mtusi2026lab3-clean-api-1 Starting + Container mtusi2026lab3-clean-api-1 Started + Container mtusi2026lab3-clean-api-1 Waiting + Container mtusi2026lab3-clean-api-2 Waiting + Container mtusi2026lab3-clean-api-1 Healthy + Container mtusi2026lab3-clean-api-2 Healthy +exit=0 +$ curl -s -o /dev/null http://$(docker compose port lb 8080)/health/live && make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18083" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 132, "failed_attempts": 0, "first_recovery_seconds": 2.736} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 +$ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api +api mtusi2026lab3-clean-api-1 running Up 17 seconds (healthy) api mtusi2026lab3-clean-api-2 exited Exited (0) 12 seconds ago exit=0 $ make restore @@ -217,43 +237,23 @@ scripts/restore.sh Container mtusi2026lab3-clean-api-1 Healthy Container mtusi2026lab3-clean-api-2 Healthy exit=0 -$ curl -s -o /dev/null http://$(docker compose port lb 8080)/health/live && make test-failover ACTION_SCRIPT=scripts/stop-one.sh -python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18083" -Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 135, "failed_attempts": 0, "first_recovery_seconds": 2.674} -PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. -exit=0 -$ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api -api mtusi2026lab3-clean-api-1 exited Exited (0) 12 seconds ago -api mtusi2026lab3-clean-api-2 running Up 17 seconds (healthy) -exit=0 -$ make restore -scripts/restore.sh - Container mtusi2026lab3-clean-api-2 Running - Container mtusi2026lab3-clean-api-1 Starting - Container mtusi2026lab3-clean-api-1 Started - Container mtusi2026lab3-clean-api-1 Waiting - Container mtusi2026lab3-clean-api-2 Waiting - Container mtusi2026lab3-clean-api-1 Healthy - Container mtusi2026lab3-clean-api-2 Healthy -exit=0 $ make test-persistence ACTION_SCRIPT=scripts/restart.sh python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:18083" Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. exit=0 $ docker compose ps -a --format '{{.Service}} {{.State}} {{.RunningFor}} {{.Status}}' -api running About a minute ago Up 4 seconds (healthy) -api running About a minute ago Up 4 seconds (healthy) -lb running About a minute ago Up 10 seconds (healthy) -migrate exited About a minute ago Exited (0) 4 seconds ago -postgres running About a minute ago Up 10 seconds (healthy) -valkey running About a minute ago Up 10 seconds (healthy) +api running 52 seconds ago Up 3 seconds (healthy) +api running 52 seconds ago Up 3 seconds (healthy) +lb running 52 seconds ago Up 5 seconds (healthy) +migrate exited 52 seconds ago Exited (0) 4 seconds ago +postgres running 52 seconds ago Up 5 seconds (healthy) +valkey running 52 seconds ago Up 5 seconds (healthy) exit=0 $ make migrate docker compose run --rm migrate Container mtusi2026lab3-clean-postgres-1 Running -{"reason":"up to date","event":"migration.completed","level":"info","ts":"2026-10-29T20:24:45.560465Z"} +{"reason":"up to date","event":"migration.completed","level":"info","ts":"2026-10-29T23:54:18.438982Z"} exit=0 $ make storage-evidence && tail -4 evidence/secrets.txt sh scripts/evidence-storage.sh @@ -264,9 +264,9 @@ local mtusi2026lab3-clean_pgdata local mtusi2026lab3-clean_valkeydata exit=0 $ make down -docker compose down - Container mtusi2026lab3-clean-lb-1 Stopping +docker compose --profile bench down Container mtusi2026lab3-clean-api-2 Stopping + Container mtusi2026lab3-clean-lb-1 Stopping Container mtusi2026lab3-clean-api-1 Stopping Container mtusi2026lab3-clean-lb-1 Stopped Container mtusi2026lab3-clean-lb-1 Removing @@ -277,18 +277,18 @@ docker compose down Container mtusi2026lab3-clean-api-1 Removing Container mtusi2026lab3-clean-api-2 Removed Container mtusi2026lab3-clean-api-1 Removed - Container mtusi2026lab3-clean-valkey-1 Stopping Container mtusi2026lab3-clean-migrate-1 Stopping + Container mtusi2026lab3-clean-valkey-1 Stopping Container mtusi2026lab3-clean-migrate-1 Stopped Container mtusi2026lab3-clean-migrate-1 Removing Container mtusi2026lab3-clean-migrate-1 Removed Container mtusi2026lab3-clean-postgres-1 Stopping - Container mtusi2026lab3-clean-valkey-1 Stopped - Container mtusi2026lab3-clean-valkey-1 Removing Container mtusi2026lab3-clean-postgres-1 Stopped Container mtusi2026lab3-clean-postgres-1 Removing - Container mtusi2026lab3-clean-valkey-1 Removed + Container mtusi2026lab3-clean-valkey-1 Stopped + Container mtusi2026lab3-clean-valkey-1 Removing Container mtusi2026lab3-clean-postgres-1 Removed + Container mtusi2026lab3-clean-valkey-1 Removed Network mtusi2026lab3-clean_edge Removing Network mtusi2026lab3-clean_backend Removing Network mtusi2026lab3-clean_backend Removed @@ -300,11 +300,11 @@ mtusi2026lab3-clean_valkeydata exit=0 $ make reset-data Удаляются volumes с учебными данными стенда -docker compose down -v --remove-orphans - Volume mtusi2026lab3-clean_pgdata Removing +docker compose --profile bench down -v --remove-orphans Volume mtusi2026lab3-clean_valkeydata Removing - Volume mtusi2026lab3-clean_pgdata Removed + Volume mtusi2026lab3-clean_pgdata Removing Volume mtusi2026lab3-clean_valkeydata Removed + Volume mtusi2026lab3-clean_pgdata Removed exit=0 $ docker volume ls --format '{{.Name}}' --filter name=mtusi2026lab3-clean | wc -l | tr -d ' ' 0 diff --git a/openspec/changes/close-lab3-review-gaps/tasks.md b/openspec/changes/close-lab3-review-gaps/tasks.md index c9020521..5121dd4c 100644 --- a/openspec/changes/close-lab3-review-gaps/tasks.md +++ b/openspec/changes/close-lab3-review-gaps/tasks.md @@ -21,7 +21,8 @@ - [x] 3.3 `make level4`: limits, lb-check, detection ×3, failover-each, rolling-update, rolling-update `FROM_REV=8d28d45` - [ ] 3.4 `make track1-control`: пул и `maxconn` на 8×1, 8×0,5 против 4×1 - [x] 3.5 Запуск из чистого clone с нестандартным портом без `BASE_URL` -- [ ] 3.6 Проверка группы: все файлы `evidence/` несут коммит не раньше кода +- [x] 3.6 Повтор 3.1–3.3 и 3.5 после переноса исправлений лабы 2 (`a59e3a3`): уровни «3»/«4» на `b1c80ee`, чистый clone на `f5fea5c` +- [ ] 3.7 Проверка группы: все файлы `evidence/` несут коммит не раньше кода ## 4. Отчёт