From a67bc6526a08af2e28b7e997c21e1b1db924ac8d Mon Sep 17 00:00:00 2001 From: Artyom Date: Fri, 30 Oct 2026 03:17:56 +0300 Subject: [PATCH] Report levels 3 and 4 on the code after the lab 2 carry over The report now names a59e3a3 as the last change of the application code and b1c80ee as the commit of every level 3 and 4 record, with the new replica IDs and numbers: three detection runs within the formula without the measurement slack, failover-each and both rolling updates without a failed request, 12 stack tests and 243 own tests. The shutdown section and the timeout chain follow the carried over budget: drain 2 s, then 3 s for accepted requests and a 500 for a stuck one, graceful timeout 6 s, stop hooks 7 s. make validate runs from .venv, faults evidence has its own target, AGENTS.md lists the control runs of track 1. The clean clone is taken again on f5fea5c without an explicit BASE_URL. The track 1 part keeps the review fixes of the H2 verdict, the grid bounds and the rounded numbers; the control runs follow. Co-Authored-By: Claude Opus 5.5 (1M context) Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27 --- AGENTS.md | 5 +- REPORT.md | 224 ++++++++++-------- evidence/README.md | 52 ++-- evidence/clean-clone.txt | 184 +++++++------- .../changes/close-lab3-review-gaps/tasks.md | 3 +- 5 files changed, 253 insertions(+), 215 deletions(-) diff --git a/AGENTS.md b/AGENTS.md index 5c15b7cb..2b5688e7 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -16,7 +16,7 @@ make student-test PYTEST_ARGS='-v -k drain' # выборка тестов с make secrets # локальные secrets/* и .env из .env.example (не коммитятся) make up # docker compose up -d --build --wait: postgres, valkey, migrate, api ×API_REPLICAS, lb -make test # публичный smoke через LB (BASE_URL, по умолчанию http://localhost:8080) +make test # публичный smoke через LB (BASE_URL по умолчанию — docker compose port lb 8080, без стенда http://localhost:8080) make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, postgres, valkey с сохранением volumes make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами make test-faults # тесты стенда лабы 2 через LB (make faults-evidence → evidence/faults.txt) @@ -26,7 +26,8 @@ make limits # уровень 4: лимиты, порты, с make detection # уровень 4: время обнаружения SIGTERM/kill/pause/PostgreSQL против заявленного максимума make failover-each # уровень 4: каждая реплика по очереди под k6 (RATE=100) → evidence/failover-each make rolling-update [FROM_REV=<коммит>] # уровень 4: замена реплик по одной под k6, migrate один раз -make track1 # трек 1: снимок хоста, серии A (1x4/2x2/4x1) и B (1x1/2x1/8x1), до/после на 8x1, графики (≈3 ч) +make track1 # трек 1: снимок хоста, серии A (1x4/2x2/4x1) и B (1x1/2x1/8x1), до/после на 8x1, контроль, графики (≈3,5 ч) +make track1-control # трек 1: пул 4/8/16 и maxconn 16/32/64 на 8x1; 8x0.5 против 4x1 на одних CPU make plots # трек 1: графики и сводка потолков из evidence/track1/*/summary.csv make down # остановка без удаления данных (с профилем bench); make reset-data — удаление volumes ``` diff --git a/REPORT.md b/REPORT.md index c2299fe0..dc7aa610 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,19 +2,20 @@ - Автор, группа: Костылев Артём, БПИ2303 - Целевая оценка: **5**; трек «5» — **трек 1 «Цена масштабирования»** -- Commit/PR: ветка `solution/bpi2303-kostylev`. Код (`src/`, `compose.yaml`, `Dockerfile`, `infra/`, хуки) - последний раз менялся в коммите `22f0e62` — улучшение трека 1 (отправка сообщения одной командой SQL); до него - `107fbbb` добавил закрепление CPU для замеров (по умолчанию выключено). Доказательства уровней «3» и «4» - (`smoke`, `stack`, `lb-check`, `hooks`, `failover-*`, `persistence`, `faults`, `detection/`, `failover-each/`, - `rolling*/`, `limits-violations`) сняты на `e00eb6c` — коде уровня «4», схема и KDF (`schema`, `migrations`, - `kdf`, `secrets`) — на `0796e29`, с тех пор миграции не менялись. На итоговом коде повторены: запуск из чистого - clone с миграциями на пустом volume, smoke, 20 гонок ключа, failover, persistence, повтор миграций, остановка и - удаление данных (`clean-clone.txt`, `e88673d`), все собственные тесты (`student-tests.txt`, `e88673d`), лимиты - и изоляция (`limits.txt`, `e88673d`) и проверки после улучшения (`track1/after-checks.txt`, `dde113b`). После - `22f0e62` менялись только обвязка замеров трека (`Makefile`, `scripts/scaling.py`, `tools/`), openspec, отчёт и - `evidence/`. Каждый файл `evidence/` несёт дату и коммит в первой строке, индекс — - `evidence/README.md`. PR «ЛР 3 — БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по - `.github/pull_request_template.md`; его ссылка появляется при публикации +- Commit/PR: ветка `solution/bpi2303-kostylev`. Код приложения (`src/`, `compose.yaml`, `Dockerfile`, `infra/`, + хуки) последний раз менялся в `a59e3a3` — перенос исправлений лабы 2 после её ревью (цикл + `2026-10-30-carry-over-lab2-review-fixes`); до него `e924281` — удалён комментарий `# type: ignore`, `22f0e62` — + улучшение трека 1 (отправка сообщения одной командой SQL) и `107fbbb` — закрепление CPU для замеров (по умолчанию + выключено). После `22f0e62` менялись также `AGENTS.md`, `student-tests/`, обвязка (`Makefile`, последний раз — + `b1c80ee`, `scripts/`, `tools/`), openspec, отчёт и `evidence/`. **Все доказательства уровней «3» и «4»** + (`checks`, `smoke`, `stack`, `environment`, `schema`, `migrations`, `kdf`, `secrets`, `lb-check`, `hooks`, + `failover-*`, `persistence`, `faults`, `limits*`, `detection/`, `failover-each/`, `rolling*/`, `student-tests`) + сняты на итоговом коде `b1c80ee`, запуск из чистого clone и контрольные прогоны трека — на `f5fea5c` (тот же код + плюс эти доказательства); после него менялись только openspec, отчёт и `evidence/`. Серии трека A и B сняты на + коде до улучшения (его они и обосновывают), сравнение до/после — на `edc091d` против `22f0e62`. Дата и коммит — + в первой строке каждого текстового файла `evidence/`, для JSON и CSV — в индексе `evidence/README.md`. PR «ЛР 3 — + БПИ2303 — Костылев — на 5» в репозиторий преподавателя заполняется по `.github/pull_request_template.md`; его + ссылка появляется при публикации - Использованные источники, библиотеки и помощь ИИ: FastAPI, gunicorn + uvicorn-worker, dishka, pydantic, structlog, asyncpg, argon2-cffi, redis-py, pytest, ruff, ty (версии — `evidence/environment.txt` и `uv.lock`); HAProxy 3.2 Configuration Manual (health checks, resolvers, `retry-on`, `http-error`, `init-state`), Grafana k6 @@ -35,12 +36,14 @@ git clone && cd mtusi2026lab3 && git checkout solution/bpi2303-kostylev make secrets # secrets/*: пароли PostgreSQL и Valkey, DATABASE_URL, CACHE_URL, ключ курсора; .env из .env.example docker compose --env-file .env config --quiet make up # docker compose up -d --build --wait: postgres, valkey → migrate (миграции, один раз) → api ×2 → lb -until curl -fsS http://localhost:8080/health/ready; do sleep 1; done # готовность через LB +until curl -fsS "http://$(docker compose port lb 8080)/health/ready"; do sleep 1; done # готовность через LB scripts/lb-wait.sh 2 # обе реплики UP в статистике LB -make test # публичный smoke через балансировщик +make test # публичный smoke через балансировщик (BASE_URL — опубликованный порт lb, см. ниже) make lb-check # ≥2 X-Instance-Id на одном токене и 20 × 8 параллельных POST с одним ключом → evidence/lb-check.json make test-failover ACTION_SCRIPT=scripts/stop-one.sh make restore # вернуть остановленную реплику и дождаться её в ротации LB +curl -s -o /dev/null "http://$(docker compose port lb 8080)/health/live" # сдвиг round robin: следующий прогон остановит другую реплику +make test-failover ACTION_SCRIPT=scripts/stop-one.sh && make restore make test-persistence ACTION_SCRIPT=scripts/restart.sh make migrate # повторный запуск миграций: «up to date», данные не меняются @@ -54,14 +57,20 @@ make reset-data # НАМЕРЕННОЕ удаление учебных да до старта реплик; реплики схему не трогают. Публикуются только порты `lb` на `127.0.0.1`: `LB_HTTP_PORT` (по умолчанию 8080) и `LB_STATS_PORT` (8404, статистика только для чтения). На машине, где выполнялась работа, параллельно работали стенды других лаб, поэтому в локальном `.env` стояли `LB_HTTP_PORT=18083`, -`LB_STATS_PORT=23083`, а проверки запускались с `BASE_URL=http://localhost:18083`. +`LB_STATS_PORT=23083`. Цели `make` берут `BASE_URL` по умолчанию из `docker compose port lb 8080`, то есть +работают и с изменённым `LB_HTTP_PORT`; без поднятого стенда — `http://localhost:8080`, явный `BASE_URL=…` +переопределяет. Цель failover-теста выбирает round robin (реплика, обслужившая первое сообщение); второй +прогон сразу после первого попадает в ту же реплику, поэтому перед ним нужен один запрос через LB (строка +`curl …/health/live` выше или `make failover-evidence SHIFT=1`). -Последний прогон из свежего clone (`evidence/clean-clone.txt`, коммит `e88673d`, каталог `mtusi2026lab3-clean` — -свой compose-проект и пустые volumes): `config` — `valid`; `make up` — 17 с, `migrate` применил `0001_init` и -`0002_idempotency_keys` и вышел с кодом 0; smoke `PASS`; 40 `GET` одним токеном — 20 + 20 на две реплики, 160 × -`201` в гонках ключа; failover — 132 записи, 0 ошибок, первая запись через 2.985 с, остановленная реплика -`Exited (0)`; persistence `PASS`; повторный `migrate` — `up to date`; после `make down` volumes остались, после -`make reset-data` их 0. +Последний прогон из свежего clone (`evidence/clean-clone.txt`, коммит `f5fea5c` — код `b1c80ee`, каталог `mtusi2026lab3-clean` — +свой compose-проект и пустые volumes, `LB_HTTP_PORT=18083`, команды дословно из блока выше, **без `BASE_URL`**): +`config` — `valid`; `make up` — 10 с, `migrate` применил `0001_init` и `0002_idempotency_keys` и вышел с кодом 0; +smoke `PASS`; 40 `GET` одним токеном — 20 + 20 на две реплики, 160 × `201` в гонках ключа; failover обеих реплик +по очереди (второй — после одного `GET` через LB) — 134 и 132 записи, 0 ошибок, первая запись через 2.934 и 2.736 с, +остановлены `api-1`, затем `api-2`, каждая `Exited (0)`; persistence `PASS`; повторный `migrate` — `up to date`; +`make storage-evidence` в клоне перечислил только volumes `mtusi2026lab3-clean_*`; после `make down` volumes +остались, после `make reset-data` их 0. Собственные проверки и тулчейн: @@ -71,11 +80,11 @@ make lint # ruff check + ruff format --check (src, student-tests, scri make student-test # собственные тесты; поднимают одноразовые PostgreSQL и Valkey того же образа в Docker PYTEST_ADDOPTS=-vv make student-test # то же с именами тестов (так снят evidence/student-tests.txt) make check # офлайн-проверка skeleton -python3 -m venv /tmp/oas && /tmp/oas/bin/pip install -r requirements-dev.txt # .venv от uv валидатора не содержит -make validate PYTHON=/tmp/oas/bin/python # полная валидация OpenAPI 3.1 и примеров -make test-faults BASE_URL=… # тесты стенда лабы 2 (Valkey, PostgreSQL, гонки) через балансировщик -make failover-evidence BASE_URL=… # docker inspect реплик до/после, make test-failover, логи остановленной, restore -make persistence-evidence BASE_URL=… # persistence-тест + StartedAt всех контейнеров до и после +make validate # полная валидация OpenAPI 3.1 и примеров (openapi-spec-validator из dev-группы .venv) +make test-faults # тесты стенда лабы 2 (Valkey, PostgreSQL, гонки) через балансировщик +make faults-evidence # то же с датой и коммитом → evidence/faults.txt (путь репозитория → ) +make failover-evidence [SHIFT=1] # docker inspect реплик до/после, make test-failover, логи остановленной, restore +make persistence-evidence # persistence-тест + StartedAt всех контейнеров до и после make stack-evidence # сервисы, порты, hostname ↔ X-Instance-Id, лимиты, сети, взгляд LB make storage-evidence # \d+ схемы, повтор миграций, префикс KDF, правила ignore ``` @@ -86,7 +95,7 @@ make storage-evidence # \d+ схемы, повтор миграций, п ```sh make limits # лимиты, порты, секреты, volumes, сети по политике → evidence/limits.txt make lb-check # 40 GET одним токеном + 20 раундов × 8 параллельных POST с одним ключом -make detection # время обнаружения: SIGTERM, kill, pause, остановка PostgreSQL → evidence/detection/ +make detection # три прогона: SIGTERM, kill, pause, остановка PostgreSQL → evidence/detection/run{1,2,3}/ make failover-each # каждая реплика: остановка, 10 с без неё, возврат — под k6 100 rps make rolling-update FROM_REV=8d28d45 # стенд на версии уровня «3», затем замена на текущую под нагрузкой make rolling-update # замена текущей сборкой (эквивалентная поочерёдная замена) @@ -99,7 +108,8 @@ make rolling-update # замена текущей сборкой (экв ожиданием тишины на VM), серия B — 34 мин, сравнение — 30 мин (по полю `started` в `summary.csv`): ```sh -make track1 # снимок хоста, серия A (1x4/2x2/4x1), серия B (1x1/2x1/8x1), до/после на 8x1, графики +make track1 # снимок хоста, серия A (1x4/2x2/4x1), серия B (1x1/2x1/8x1), до/после на 8x1, контроль, графики +make track1-control # контроль: пул и maxconn на 8x1 при 5 400 rps; 8x0.5 против 4x1 на CPU 7–10 make plots # только графики и сводка потолков из готовых evidence/track1/*/summary.csv ``` @@ -127,7 +137,12 @@ advisory lock, тесты стенда (`make test-faults`). Уже в лабе `created_at` назначается под блокировкой строки чата, а не часами процесса. **Изменено:** один контейнер с портом → сервис `api` с `deploy.replicas` за HAProxy; `X-Instance-Id`; обязательный `Idempotency-Key`; миграция `0002`; `restart.sh` перезапускает и LB; таймауты и воркеры под реплики; удалён `api-shortttl` -(публиковал порт API в обход LB, проверка истечения TTL осталась in-process тестом). +(публиковал порт API в обход LB, проверка истечения TTL осталась in-process тестом). Лаба 3 начата с коммита +`8cddb09` лабы 2, а исправления лабы 2 после её ревью (`8cddb09..102579e`) перенесены отдельным циклом +`2026-10-30-carry-over-lab2-review-fixes` (`a59e3a3`): предел тела считает фактически принятые байты +(`chunked` сверх 1 MiB → `413`), выход отзывает сессию через порт `SessionRevocations` и снимает отметку отзыва, +если PostgreSQL отверг удаление (`503` значит «сессия ещё действует»), пустой `cursor` → `400`, зоны связаны только +схемой БД, воркер сам прерывает зависший при остановке запрос (`500`) до `SIGKILL` мастера. **`X-Instance-Id`.** `PlatformSettings.instance_id` по умолчанию — `socket.gethostname()`; Docker даёт контейнеру hostname, равный короткому ID, поэтому значение одно на все воркеры реплики, стабильно на жизнь @@ -149,8 +164,12 @@ message_id, created_at)`, PK `(chat_id, user_id, key)` — область «по 5. ключ занят → вторая команда вне блокировки читает квитанцию, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же отпечаток → сохранённое сообщение (`201`, тот же `MessageOut`, `created_at` с микросекундами); другой → `409`. -Текст проверяется до записи; если он невалиден, отдельным чтением проверяется членство, чтобы посторонний -получил `404`, а не `400`. Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» +Порядок проверок отправки: сессия (`401`) → форма запроса: `Idempotency-Key`, malformed JSON, лишние поля и +типы (`400`, проверяет FastAPI до обработчика, чат не читается, поэтому ответ одинаков для существующего и +несуществующего чата) → доступ к чату (`404`) → текст (`400`). Текст проверяется до записи; если он невалиден, +отдельным чтением проверяется членство, чтобы посторонний получил `404`, а не `400` (тесты +`test_access_checked_before_body` и `test_request_shape_is_checked_before_access`, сценарии +`lab3-idempotent-messages` «Порядок проверок отправки сообщения»). Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» нет, поэтому после гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз. Одновременные повторы одного ключа всегда идут в один чат и ждут на блокировке его строки; дождавшийся получает конфликт ключа, а следующая команда в `READ COMMITTED` видит зафиксированную квитанцию. Внешний ключ @@ -178,12 +197,13 @@ SHA-256 канонического JSON распарсенной модели, `src/messenger/gunicorn_conf.py`): после сигнала он поднимает флаг, `/health/ready` отвечает `503`, `/health/live` — `200`, запросы обслуживаются как обычно, и так `DRAIN_SECONDS=2` — дольше худшего обнаружения `503` балансировщиком (1,5 с). Затем uvicorn закрывает listener и дообрабатывает принятые запросы ещё -`SHUTDOWN_TIMEOUT_SECONDS − DRAIN_SECONDS` = 3 с; весь срок — gunicorn `graceful_timeout` 5 с < `docker stop -t 6` -хука < `stop_grace_period: 8s` < 10 с. Без окна (уровень «3») gunicorn закрывал listener сразу, и запрос, уже +`SHUTDOWN_TIMEOUT_SECONDS − DRAIN_SECONDS − 1` = 3 с (не меньше таймаутов БД 1 + 2 с), а запрос, не завершённый +к этому сроку, прерывает сам с `500` и выходит с кодом 0; весь срок — ≤5 с < gunicorn `graceful_timeout` 6 с < +`docker stop -t 7` хука < `stop_grace_period: 8s` < 10 с, поэтому мастер gunicorn не доходит до `SIGKILL` воркера. Без окна (уровень «3») gunicorn закрывал listener сразу, и запрос, уже стоявший в очереди `accept`, LB видел как обрыв после отправки: для `GET` и сообщений с ключом это повтор, для `POST /users`, `/chats` и входа — `502`. Разница видна в счётчиках LB: rolling update со старой версии — -`wretr` 2, `wredis` 54, `eresp` 2, с новой — все 0 (`evidence/rolling*/result.json`). Хук `stop-one.sh` теперь идёт -2,72 с (`evidence/hooks.txt`). На реплику `cpus: 1`, `512m`, 2 воркера, пул 8: 2 × 2 × 8 = 32 соединения < +`wredis` 55 (запросы, перенаправленные на соседа), с новой — все 0 (`evidence/rolling*/result.json`). Хук +`stop-one.sh` теперь идёт 2,63 с (`evidence/hooks.txt`). На реплику `cpus: 1`, `512m`, 2 воркера, пул 8: 2 × 2 × 8 = 32 соединения < `max_connections=200`. API работает `read_only` с `tmpfs /tmp`. **Проверки, период и максимум обнаружения.** `GET /health/ready` раз в `inter 1s`; после первого провала — @@ -197,13 +217,17 @@ gunicorn — первый прогон `failover-each` показал `wredis` 1 | Отказ | Как замечает LB | Максимум обнаружения | Замер (`make detection`) | | --- | --- | --- | --- | -| `SIGTERM` (`docker stop`, `stop-one.sh`) | readiness `503` в окне вывода | `inter + (fall−1)·fastinter` = 1,5 с, и раньше закрытия порта (2 с) | 0,71 с; действие (`stop-one.sh`) завершилось через 2,49 с | -| процесс убит (`docker kill`) | отказ соединения, DNS | 1,5 с | 0,67 с | -| процесс завис (`docker pause`) | таймаут проверки | `inter + (fall−1)·fastinter + fall·timeout check` = 3,5 с | 2,76 с | -| PostgreSQL остановлен | readiness всех реплик `503` | 1,5 с до 0 `UP`; LB сам отвечает `503` | 1,23 с; `/health/live` через LB → `503 unavailable` без `X-Instance-Id` | +| `SIGTERM` (`docker stop`, `stop-one.sh`) | readiness `503` в окне вывода | `inter + (fall−1)·fastinter` = 1,5 с, и раньше закрытия порта (2 с) | 0,99–1,43 с; действие (`docker stop -t 7`) завершилось через 2,53–2,61 с | +| процесс убит (`docker kill`) | отказ соединения, DNS | 1,5 с | 0,47–0,54 с | +| процесс завис (`docker pause`) | таймаут проверки | `inter + (fall−1)·fastinter + fall·timeout check` = 3,5 с | 2,91–3,23 с | +| PostgreSQL остановлен | readiness всех реплик `503` | 1,5 с до 0 `UP`; LB сам отвечает `503` | 0,93–1,44 с; `/health/live` через LB → `503 unavailable` без `X-Instance-Id` | -Допуск замера — 0,25 с (задержка docker CLI до сигнала и опрос статистики LB раз в 50 мс); время считается -от запуска команды отказа. Возврат в ротацию после восстановления — 1,96–3,08 с. +Замер — три прогона `make detection` подряд (`evidence/detection/run{1,2,3}/`), в таблице диапазон. Время +считается от запуска команды отказа, поэтому замер включает задержку docker CLI до сигнала и период опроса +статистики LB (50 мс) и может превысить формулу на эту величину: допуск замера — 0,25 с. На итоговом коде все 12 +замеров уложились в формулу без допуска (в `faults.txt` остановка PostgreSQL — 0,93 с); раньше допуск +понадобился: на `a02d442` у PostgreSQL в двух прогонах из трёх (1,553 и 1,551 с), при ревью — у `SIGTERM` (1,609 с), +на `e00eb6c` — у `SIGTERM` в `failover-each` (1,515 с). Возврат в ротацию после восстановления — 1,96–3,63 с. **Цепочка таймаутов** (проверяется тестом `student-tests/unit/test_timeouts.py` по `compose.yaml`, `haproxy.cfg` и `scripts/stop-one.sh`, а не только таблицей): @@ -212,16 +236,17 @@ gunicorn — первый прогон `failover-each` показал `wredis` 1 | --- | --- | --- | | LB `timeout server` | 10 с | > `REQUEST_TIMEOUT_SECONDS` | | `REQUEST_TIMEOUT_SECONDS` | 8 с | > ожидание соединения + оператор БД | -| `DB_ACQUIRE_TIMEOUT_SECONDS` + `DB_COMMAND_TIMEOUT_SECONDS` (`statement_timeout` = `lock_timeout`) | 1 + 2 с | ≤ дообработки 3 с после окна | +| `DB_ACQUIRE_TIMEOUT_SECONDS` + `DB_COMMAND_TIMEOUT_SECONDS` (`statement_timeout` = `lock_timeout`) | 1 + 2 с | ≤ дообработки после окна | | LB `timeout check` | 1 с | > readiness 0,8 с | | `DRAIN_SECONDS` | 2 с | > обнаружения 1,5 с | -| `SHUTDOWN_TIMEOUT_SECONDS` (gunicorn `graceful_timeout`) | 5 с | > окна; < `STOP_TIMEOUT` хука | -| `STOP_TIMEOUT` хука `stop-one.sh` | 6 с | < `stop_grace_period` 8 с < 10 с | +| дообработка после окна (uvicorn `timeout_graceful_shutdown`) | `SHUTDOWN − DRAIN − 1` = 3 с | ≥ таймаутов БД 1 + 2 с; затем зависший запрос → `500` | +| `SHUTDOWN_TIMEOUT_SECONDS` (gunicorn `graceful_timeout`) | 6 с | > окна + дообработки; < `STOP_TIMEOUT` хука | +| `STOP_TIMEOUT` хука `stop-one.sh` | 7 с | < `stop_grace_period` 8 с < 10 с | | LB `timeout connect` / `queue` | 0,5 с / 3 с | отказ соединения повторяется на соседа сразу | | LB `hard-stop-after` | 5 с | < `stop_grace_period` LB 8 с | | клиенты: resilience / smoke / k6 | 2 / 10 / 10 с | — | -**Хуки.** `scripts/stop-one.sh` — контейнер `api` с `.Config.Hostname == TARGET_INSTANCE_ID` → `docker stop -t 6`, +**Хуки.** `scripts/stop-one.sh` — контейнер `api` с `.Config.Hostname == TARGET_INSTANCE_ID` → `docker stop -t 7`, реплика остаётся остановленной, неизвестный ID → код 3 без изменений. `scripts/restart.sh` — `stop lb api`, `restart postgres valkey`, `up -d --no-recreate --wait` (те же контейнеры, повторный `migrate`), volumes не трогаются. `scripts/restore.sh` — `up --no-deps --no-recreate --wait api`, затем `scripts/lb-wait.sh` ждёт, пока @@ -259,7 +284,7 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | — | `LB_HTTP_PORT`, `LB_STATS_PORT` | опубликованные порты LB на `127.0.0.1` | | — | `API_CPUS`, `API_MEMORY`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE`, `API_SERVER_MAXCONN` | размер реплики, воркеры, пул на воркер, очередь LB на сервер | | — | `PG_MAX_CONNECTIONS`, `PG_CPUS`, `PG_MEMORY`, `LB_CPUS` | лимиты PostgreSQL и LB | -| — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 5 с (заданы в compose и образе) | +| — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 6 с (заданы в compose и образе) | | — | `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` | 1 с и 2 с: ожидание соединения из пула и `statement_timeout` = `lock_timeout` | | — | `K6_CPUS`, `K6_MEMORY` | лимиты генератора нагрузки (профиль `bench`) | | — | `API_CPUSET`, `LB_CPUSET`, `PG_CPUSET`, `VALKEY_CPUSET`, `K6_CPUSET` | закрепление за CPU для трека 1; пусто — не закреплено | @@ -267,25 +292,27 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и ## Доказательства критериев -Все проверки через LB шли с `BASE_URL=http://localhost:18083` (см. «Запуск»). Коммит каждого прогона — в первой -строке файла и в шапке отчёта. +Все проверки через LB шли на порт 18083: цели `make` берут `BASE_URL` из `docker compose port lb 8080` (см. +«Запуск»). Дата и коммит прогона — в первой строке текстового файла, для JSON и CSV — в индексе +`evidence/README.md`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | `make test BASE_URL=http://localhost:18083` | `PASS: lab3 public API scenario` (включая replay == first, `409` на другой body, `400` без ключа, `X-Instance-Id` на каждом ответе); на итоговом коде — тоже `PASS` | `evidence/smoke.txt`, `evidence/clean-clone.txt`, `evidence/track1/after-checks.txt` | -| Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, ожидание `/health/ready`, тесты, `make migrate`, `make down`, `make reset-data` | `valid`; `make up` 17 с, `migrate` применил `0001`/`0002` и `Exited (0)`; smoke, failover, persistence `PASS`; повтор миграций `up to date`; после `down` 2 volume, после `reset-data` 0 | `evidence/clean-clone.txt` | +| Публичный smoke | `make test` | `PASS: lab3 public API scenario` (включая replay == first, `409` на другой body, `400` без ключа, `X-Instance-Id` на каждом ответе); на итоговом коде — тоже `PASS` | `evidence/smoke.txt`, `evidence/clean-clone.txt`, `evidence/track1/after-checks.txt` | +| Офлайн-контракт, OpenAPI и тулчейн | `make check`; `make validate`; `make lint` | `PASS: offline skeleton structure, local refs and Python syntax`; `PASS: full OpenAPI 3.1 and JSON Schema validation`; ruff `All checks passed!`, 103 files already formatted, ty `All checks passed!` | `evidence/checks.txt` | +| Запуск из чистого clone | `git clone`, `make secrets`, `config --quiet`, `make up`, ожидание `/health/ready`, тесты, `make migrate`, `make down`, `make reset-data` | `valid`; `make up` 10 с, `migrate` применил `0001`/`0002` и `Exited (0)`; smoke, failover обеих реплик, persistence `PASS` без явного `BASE_URL` при `LB_HTTP_PORT=18083`; повтор миграций `up to date`; после `down` 2 volume, после `reset-data` 0 | `evidence/clean-clone.txt` | | **3.1** Весь стенд в `compose.yaml`, ≥2 API, одна точка входа, общая БД и общее хранилище сессий | `make stack-evidence` (`config --quiet`, `ps`, `docker port` реплик, `docker inspect`, статистика LB) | 2 контейнера `api` без портов (`docker port` пуст), порты только у `lb` на `127.0.0.1`; `container_name` 0; LB видит `api1 UP L7OK 200`, `api2 UP L7OK 200`; один `postgres`, один `valkey` | `evidence/stack.txt` | -| **3.2** Разные запросы одного пользователя — разные реплики без повторного входа, видно по `X-Instance-Id` | `make lb-check` (40 × `GET /users/me` одним токеном, новые соединения) + `docker inspect` | `{"27de23496b0f": 20, "a3536e394b3f": 20}` — ровно hostname двух контейнеров `api`; на итоговом коде — 20 + 20 | `evidence/lb-check.json`, `evidence/stack.txt`, `evidence/clean-clone.txt` | -| **3.3** Остановка любой одной реплики: ≤10 с, данные доступны, ошибки измерены | `make failover-evidence` → `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `docker inspect` до/после, `restore`; второй прогон после сдвига round robin | реплика `27de23496b0f`: первая запись после хука через 2.638 с от его старта, 133 записи после, 0 ошибок; реплика `a3536e394b3f`: 2.689 с, 130, 0; после теста `exited` именно target, вторая `running`; в логе остановленной — сигнал, окно вывода из ротации с readiness `503`, закрытие и выход; `PASS: failover …` | `evidence/failover-27de23496b0f.txt`, `evidence/failover-a3536e394b3f.txt` | -| **3.3** Хук останавливает только заданную реплику | `scripts/stop-one.sh` с hostname, с неизвестным ID и без него | хук 2.72 с (окно вывода 2 с + остановка), код 0, target `exited exit_code=0`, вторая `running`; неизвестный ID → код 3, всё работает; без переменной → код 1 | `evidence/hooks.txt` | +| **3.2** Разные запросы одного пользователя — разные реплики без повторного входа, видно по `X-Instance-Id` | `make lb-check` (40 × `GET /users/me` одним токеном, новые соединения) + `docker inspect` | `{"286766bf2b32": 20, "fa81adafcb69": 20}` — ровно hostname двух контейнеров `api`; из чистого clone — тоже 20 + 20 | `evidence/lb-check.json`, `evidence/stack.txt`, `evidence/clean-clone.txt` | +| **3.3** Остановка любой одной реплики: ≤10 с, данные доступны, ошибки измерены | `make failover-evidence` → `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `docker inspect` до/после, `restore`; затем `make failover-evidence SHIFT=1` — один `GET /health/live` через LB перед тестом сдвигает round robin на другую реплику | реплика `286766bf2b32`: первая запись после хука через 2.639 с от его старта, 139 записей, 0 ошибок; реплика `fa81adafcb69` (прогон с `SHIFT=1`): 2.747 с, 138, 0; после теста `exited` именно target, вторая `running`; в логе остановленной — сигнал, окно вывода из ротации с readiness `503`, закрытие и выход; `PASS: failover …` | `evidence/failover-286766bf2b32.txt`, `evidence/failover-fa81adafcb69.txt` | +| **3.3** Хук останавливает только заданную реплику | `scripts/stop-one.sh` с hostname, с неизвестным ID и без него | хук 2.63 с (окно вывода 2 с + остановка), код 0, target `exited exit_code=0`, вторая `running`; неизвестный ID → код 3, всё работает; без переменной → код 1 | `evidence/hooks.txt` | | **3.4** Повтор с тем же ключом не создаёт дубль; конкурентный повтор и смена реплики | `make lb-check` (20 раундов × 8 параллельных POST с одним ключом через LB); `PYTEST_ADDOPTS=-vv make student-test`; failover-тест (после ошибки — тот же ключ и текст) | 160 × `201` от обеих реплик (80 + 80); в каждом из 20 раундов тела равны, в истории 1 копия, другой body → `409`; `test_replay_returns_the_same_message`, `test_same_json_in_other_layout_is_a_replay`, `test_other_body_with_same_key_conflicts`, `test_concurrent_retries_through_two_replicas_store_one_message` (8 повторов через два экземпляра приложения → одна строка ключа) — `PASSED` | `evidence/lb-check.json`, `evidence/student-tests.txt`, `evidence/failover-*.txt` | | **3.4** Неподтверждённую запись можно безопасно повторить | `PYTEST_ADDOPTS=-vv make student-test`; failover-тест сверяет историю байт-в-байт | `test_rejected_attempt_does_not_take_the_key` (`4xx` не занимает ключ), `test_expired_key_starts_over`, `test_replay_checks_session_and_access_again` — `PASSED`; в истории после отказа нет дублей `id`/`text` | `evidence/student-tests.txt`, `evidence/failover-*.txt` | | **3.5** `make test`, persistence и failover проходят; ≥2 наблюдаемых реплики | `make test`, `make persistence-evidence`, `make test-failover …` | smoke `PASS`; persistence `PASS`, `StartedAt` у `lb`, обеих `api`, `postgres`, `valkey`, `migrate` после теста новее, ID контейнеров те же; failover `observed_instances_before: 2`; на итоговом коде — то же | `evidence/smoke.txt`, `evidence/persistence.txt`, `evidence/failover-*.txt`, `evidence/clean-clone.txt` | -| Перенос lab2: схема PK/FK/UNIQUE и миграции с нуля, повтор без дублей | чистый clone (`make up` на пустом volume); `make storage-evidence` | `0001_init`, `0002_idempotency_keys` применены на пустом volume; `\d+` всех таблиц; повтор `up to date`, счётчики строк до и после равны (сообщений столько же, сколько ключей: 497 и 497) | `evidence/clean-clone.txt`, `evidence/schema.txt`, `evidence/migrations.txt` | +| Перенос lab2: схема PK/FK/UNIQUE и миграции с нуля, повтор без дублей | чистый clone (`make up` на пустом volume); `make storage-evidence` | `0001_init`, `0002_idempotency_keys` применены на пустом volume; `\d+` всех таблиц; повтор `up to date`, счётчики строк до и после равны (сообщений столько же, сколько ключей: 160 и 160) | `evidence/clean-clone.txt`, `evidence/schema.txt`, `evidence/migrations.txt` | | Перенос lab2: Basic только на `/auth/sessions`, Bearer, logout, `X-User-Id` игнорируется | `make test`; `PYTEST_ADDOPTS=-vv make student-test`; `make test-faults` | smoke `PASS`; тесты `test_sessions.py`, `test_authentication.py`, `test_negative.py` — `PASSED`; logout `204` → `401` → `401` через LB | `evidence/smoke.txt`, `evidence/student-tests.txt`, `evidence/faults.txt` | | Перенос lab2: password KDF | `make storage-evidence` | `$argon2id$v=19$m=19456,t=2,p=1$` у всех 28 пользователей; в `sessions` только 32-байтовые SHA-256 | `evidence/kdf.txt` | | Перенос lab2: секреты и volumes вне Git | `git ls-files secrets .env`; `git check-ignore -v …`; в чистом clone `git status --ignored` | пусто; пути игнорируются; в clone `secrets/` и `.env` — `!!` (ignored) | `evidence/secrets.txt`, `evidence/clean-clone.txt` | -| Перенос lab2: отказы Valkey и PostgreSQL через LB | `make test-faults BASE_URL=http://localhost:18083` | 10 passed: гонка регистрации 201×1/409×49, чат с несуществующим участником `400`, остановка Valkey и PostgreSQL (`503` за ≤0.014 с; live внутри реплики `200`; LB исключил обе реплики ещё через 0.61 с и сам отвечает `503`; готовность через 2.1 с), рестарт API | `evidence/faults.txt` | +| Перенос lab2: отказы Valkey и PostgreSQL через LB | `make test-faults` (`BASE_URL` — порт `lb`) | 12 passed: гонка регистрации 201×1/409×49, чат с несуществующим участником `400`, остановка Valkey (выход `503`, затем `204`) и PostgreSQL (`503` за ≤0.014 с; live внутри реплики `200`; LB исключил обе реплики ещё через 0.93 с и сам отвечает `503`; готовность через 2.3 с), рестарт API (готовность 2.6 с), полный рестарт с выходом `204` → `401`, срок сессии после рестарта не продлевается | `evidence/faults.txt` | | `X-Instance-Id` на каждом ответе приложения | `PYTEST_ADDOPTS=-vv make student-test` (`test_instance.py`) | `test_every_response_names_the_replica` (`200`, `401`, `404`, скрытый `405` как `404`, `400`, `204`), `test_rejected_body_names_the_replica` (`413`), `test_unhandled_error_names_the_replica` (`500`), `test_replica_defaults_to_container_hostname` — `PASSED` | `evidence/student-tests.txt`, `student-tests/api/test_instance.py` | | Непривилегированные процессы | `make stack-evidence`; снимок окружения | api — uid 10001, lb — 99 (`haproxy`), postgres — 70, valkey — 999 | `evidence/stack.txt`, `evidence/environment.txt` | @@ -297,13 +324,13 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| **4.1** Health/readiness, таймауты и прекращение приёма при `SIGTERM` согласованы | `make student-test` (`test_timeouts.py`, `test_drain.py`, вывод `-s`) | цепочка: LB server 10 с > запрос 8 с > БД 3 с; readiness 0,8 с < check 1 с; окно 2 с > обнаружение 1,5 с; остановка 5 с < хук 6 с < `stop_grace_period` 8 с; настоящий gunicorn по `SIGTERM`: ready/live `(503, 200)` в окне, порт закрыт через 1.74 с, запрос, принятый до сигнала и дописанный после закрытия порта, получил `201`, выход через 2.11 с | `evidence/student-tests.txt`, `compose.yaml`, `infra/haproxy/haproxy.cfg`, `src/messenger/gunicorn_conf.py` | -| **4.1** LB исключает недоступный backend; период проверок и максимум обнаружения | `make detection` | период 1 с (0,5 с после провала), `fall 2`/`rise 2`; заявлено ≤1,5 с (`503`/отказ соединения) и ≤3,5 с (зависание); измерено: `SIGTERM` 0.706 с — раньше конца остановки (2.493 с), `kill` 0.665 с, `pause` 2.756 с, PostgreSQL 1.227 с до 0 `UP` и `503 unavailable` от LB; возврат 1.96–3.08 с; все `pass: true` | `evidence/detection/{sigterm,kill,pause,postgres}.json` | -| **4.2** Последовательно остановить каждую реплику (с восстановлением предыдущей); RPS, ошибки, время восстановления | `make failover-each` (на реплику: `stop-one.sh`, 10 с без неё, `restore.sh` — всё внутри окна нагрузки) | `a3536e394b3f`: 100.02 rps, 6001 запрос k6, ошибок 0, p50/p95/p99 2.4/3.41/5.1 мс, обнаружение 1.515 с, возврат в ротацию через 14.111 с от начала действия (действие 14.511 с: хук + 10 с + restore), зонд 635 записей / 0 ошибок, пока реплика исключена, её `X-Instance-Id` не встречался; `27de23496b0f`: 100.02 rps, 0 ошибок, 2.44/3.42/5.08 мс, 0.894 с, 14.392 с, 635/0; счётчики LB `wretr`/`wredis`/`econ`/`eresp`/`hrsp_5xx` — 0 | `evidence/failover-each/summary.json`, `evidence/failover-each//` | +| **4.1** Health/readiness, таймауты и прекращение приёма при `SIGTERM` согласованы | `make student-test` (`test_timeouts.py`, `test_drain.py`, вывод `-s`) | цепочка: LB server 10 с > запрос 8 с > БД 3 с; readiness 0,8 с < check 1 с; окно 2 с > обнаружение 1,5 с; дообработка 3 с ≥ БД 3 с; остановка 6 с < хук 7 с < `stop_grace_period` 8 с; настоящий gunicorn по `SIGTERM` (в тесте окно 1 с, срок 3 с): ready/live `(503, 200)` в окне, порт закрыт через 1.18 с, запрос, принятый до сигнала и дописанный после закрытия порта, получил `201`, запрос, тело которого так и не пришло, прерван с `500`, выход через 2.62 с | `evidence/student-tests.txt`, `compose.yaml`, `infra/haproxy/haproxy.cfg`, `src/messenger/gunicorn_conf.py` | +| **4.1** LB исключает недоступный backend; период проверок и максимум обнаружения | `make detection` (три прогона) | период 1 с (0,5 с после провала), `fall 2`/`rise 2`; заявлено ≤1,5 с (`503`/отказ соединения) и ≤3,5 с (зависание), допуск замера 0,25 с; измерено (min–max трёх прогонов): `SIGTERM` 1.004–1.325 с — раньше конца остановки (2.446–2.634 с), `kill` 0.218–0.757 с, `pause` 3.013–3.045 с, PostgreSQL 1.269–1.553 с до 0 `UP` и `503 unavailable` от LB; возврат 1.92–3.04 с; все 12 `pass: true` | `evidence/detection/run{1,2,3}/{sigterm,kill,pause,postgres}.json` | +| **4.2** Последовательно остановить каждую реплику (с восстановлением предыдущей); RPS, ошибки, время восстановления | `make failover-each` (на реплику: `stop-one.sh`, `docker compose ps -a` реплик, 10 с без неё, `restore.sh` — всё внутри окна нагрузки) | `286766bf2b32`: 100.0 rps, 6000 запросов k6, ошибок 0, p50/p95/p99 2.04/6.56/13.68 мс, обнаружение 0.926 с, возврат в ротацию через 14.932 с от начала действия (действие 15.23 с: хук + 10 с + restore), зонд 655 попыток / 0 ошибок, пока реплика исключена, её `X-Instance-Id` не встречался (128 ответов только от `fa81adafcb69`); `fa81adafcb69`: 100.02 rps, 6001, 0 ошибок, 2.10/6.46/14.16 мс, 1.065 с, 14.587 с, 655/0; в `action.txt` сразу после хука — `Exited (0)` у остановленной и `Up (healthy)` у второй; счётчики LB `wretr`/`wredis`/`econ`/`eresp`/`hrsp_5xx` — 0. Обнаружение ≤1,5 с без допуска (на `e00eb6c` было 1.515 с — в пределах допуска замера 0,25 с на docker CLI и опрос, см. `make detection`) | `evidence/failover-each/summary.json`, `evidence/failover-each//` | | **4.2** Общая идемпотентность — параллельными запросами с одним ключом | `make lb-check` | 20 раундов × 8: 160 × `201` от двух реплик, 20/20 раундов с одинаковыми телами, одной копией и `409` на другой body; на итоговом коде — то же | `evidence/lb-check.json`, `evidence/clean-clone.txt`, `evidence/track1/after-checks.txt` | | **4.3** CPU/RAM-лимиты, API без портов в обход LB, секреты и хранилища только где нужно, нет `container_name` | `make limits` (`docker compose --profile bench config` + `docker inspect` против политики в `scripts/limits.py`) на итоговом коде | лимиты у всех 6 сервисов (api 1/512MiB, lb 1/128MiB, postgres 2/1024MiB, valkey 0.5/128MiB, migrate 0.5/256MiB, k6 2/512MiB) и применены у запущенных; порты только у `lb` на `127.0.0.1`; секреты: api — 3, migrate — `database_url`, postgres — пароль, valkey — конфиг, lb и k6 — нет; volumes `pgdata`/`valkeydata` только у своих хранилищ; `backend` internal, k6 только в `edge`; api и lb `read_only`; `PASS`. Подмешанные нарушения (порт и лишний секрет у api, `container_name`, снятый лимит) → 5 нарушений, код 1 | `evidence/limits.txt`, `evidence/limits-violations.txt` | -| **4.4** Rolling update под нагрузкой | `make rolling-update FROM_REV=8d28d45` (стенд на образе уровня «3», затем замена на текущую версию с запасом +1) | `lb_up_min` 2 из 2, k6 100 rps, 9000 запросов, ошибок 0, зонд 897/0; после замены отвечают только новые контейнеры (`7a4c320f9b13`, `00548d9b229e` → `28af1eaa77c8`, `f3f2f7801b56`; образ `cbd83541c3e5` → `13e52dc26774`); старые реплики без окна дали `wretr` 2, `wredis` 54, `eresp` 2 — запросы, повторённые LB на соседа | `evidence/rolling-from-8d28d45/result.json`, `action.txt` | -| **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 904/0, все реплики новые (`28af1eaa77c8`, `f3f2f7801b56` → `239278da12b2`, `58b4bb97f5db`); все счётчики LB 0. Образ пересобран из той же ревизии, ID другой (`13e52dc26774` → `9d621745fe6b`): BuildKit пишет при сборке новый манифест с аттестацией (`exporting attestation manifest` в `clean-clone.txt`) — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` | +| **4.4** Rolling update под нагрузкой | `make rolling-update FROM_REV=8d28d45` (стенд на образе уровня «3» с тегом `mtusi-messenger:8d28d45`, затем замена на текущую версию с запасом +1) | `lb_up_min` 2 из 2, k6 100 rps, 8996 запросов, ошибок 0 (5 итераций k6 сброшены), зонд 934/0; после замены отвечают только новые контейнеры (`e2d392075b96`, `bc58bf60e518` → `c84bddf582a8`, `225f56282b82`; образ `84c47c47ad8a` → `cb0dac56ff0b`); старые реплики без окна дали `wredis` 55 — запросы, перенаправленные LB на соседа | `evidence/rolling-from-8d28d45/result.json`, `action.txt` | +| **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 942/0, все реплики новые (`c84bddf582a8`, `225f56282b82` → `89953d9764bd`, `1f35898d8b4e`); все счётчики LB 0. Образ пересобран из той же ревизии, ID другой (`cb0dac56ff0b` → `c23101d9a13d`): BuildKit пишет при сборке новый манифест с аттестацией (`exporting attestation manifest` в `clean-clone.txt`) — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` | | **4.4** Миграции однократно и совместимы с работающей версией | `scripts/rolling-update.sh`; `make storage-evidence` | `migrate` запускается один раз до замены первой реплики (`migration.completed up to date`), реплики схему не трогают, `migrate` под `pg_advisory_lock`; между уровнями «3» и «4» схема не менялась; `0002_idempotency_keys` только добавляет таблицу, код лабы 2 её не замечает | `evidence/rolling*/action.txt`, `evidence/migrations.txt` | **Трек 1 «Цена масштабирования».** Подробности, таблицы и выводы — в разделе трека ниже; поля CSV — @@ -314,10 +341,10 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | Гипотеза и повторяемая методика | `openspec/changes/archive/2026-10-29-add-lab3-scaling-cost/proposal.md` (коммит `d8d551a`); `make track1` | гипотезы H1–H3 записаны в предложении до первого прогона серий; серии, сравнение и графики — одной командой; снимок хоста и версий | `evidence/track1/host.txt`, `evidence/track1/README.md` | | 1/2/4 реплики при фиксированном суммарном CPU/RAM | `make track1-a` (4 CPU / 2 GiB, воркеров = CPU, пул 32 и очередь LB 128 во всех вариантах, CPU 7–10 закреплены) | пик успешных RPS: 1×4 — 5 375, 2×2 — 4 964, 4×1 — 4 724; потолок по SLO у всех 4 560 rps, но p95 там 9 / 69 / 150 мс | `evidence/track1/series-a/summary.csv`, `plots/series-a-*.png`, `plots/capacity.md` | | Серия с ростом ресурсов | `make track1-b` (1→2→4→8 реплик по 1 CPU) | пик 1 720 → 2 936 → 4 724 → **4 260**: восемь реплик хуже четырёх; USL σ = 0,014, κ = 0,038, максимум около 5 реплик | `evidence/track1/series-b/summary.csv`, `plots/scaling.png`, `plots/capacity.md` | -| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 6,8 — `idle in transaction`, `SELECT … FOR UPDATE` чата — 14,2 мс в среднем и 98,7 % времени топ-20 операторов | `evidence/track1/series-b/summary.csv`, `series-b/base-8x1_rate5400_rep*/pg_statements.csv`, `plots/utilisation.png` | +| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 6,8 — `idle in transaction`, `SELECT … FOR UPDATE` чата — ≈14,1 мс в среднем (13,6–14,4) и 98,7 % времени топ-20 операторов | `evidence/track1/series-b/summary.csv`, `series-b/base-8x1_rate5400_rep*/pg_statements.csv`, `plots/utilisation.png` | | Графики и сырые данные | `make plots` | RPS и p95/p99 от нагрузки, CPU по компонентам, пик от CPU с USL, загрузка звеньев на пике, сводка потолков; сырьё каждого прогона — k6, `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | `evidence/track1/plots/`, `evidence/track1/<серия>/<прогон>/` | | Одно подтверждённое улучшение (до/после при тех же ресурсах) | `make track1-compare` (8×1, образ `edc091d` против текущего, чередование по повторам) | запись сообщения одной командой: при 3 600 rps p95 64,5 → 3,7 мс, CPU на запрос API −14 %, PostgreSQL −26 %; пик 4 252 → 4 894 rps (+15 %), интервалы повторов не пересекаются | `evidence/track1/compare/summary.csv`, `plots/compare-*.png` | -| Улучшение не ломает уровни «3» и «4» | `make student-test`, `make test`, 20 гонок ключа через LB, `make test-failover`, `make test-persistence` на новом образе | 240 passed; smoke `PASS`; 160 × `201`, 20/20 раундов с одной копией и `409`; failover 131 запись, 0 ошибок, 2.728 с; persistence `PASS`; повторено из чистого clone на `e88673d` | `evidence/track1/after-checks.txt`, `evidence/clean-clone.txt` | +| Улучшение не ломает уровни «3» и «4» | сразу после улучшения: `make student-test`, `make test`, 20 гонок ключа, `make test-failover`, `make test-persistence`; на итоговом коде `b1c80ee` — весь уровень «3», `make test-faults` и `make level4` под k6 | после улучшения: 240 passed, smoke `PASS`, 160 × `201`, failover 131 запись / 0 ошибок, persistence `PASS`; на итоговом коде — 243 passed, 12 тестов стенда и все строки 3.x и 4.x выше (`detection` ×3, `failover-each`, оба rolling update — 0 ошибок под 100 rps), чистый clone | `evidence/track1/after-checks.txt`, `evidence/clean-clone.txt`, файлы строк 3.x–4.x | ## Эксперименты и отказы @@ -328,20 +355,20 @@ k6 100 rps плюс зонд (см. выше). Данные синтетичес | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| stop api#1 (`stop-one.sh`, `27de23496b0f`) | запись продолжается ≤10 с, target больше не отвечает | 0 неудачных попыток, 133 записи после хука; после теста `27de23496b0f` `exited`, `a3536e394b3f` `running` (`failover-27de23496b0f.txt`) | первая запись после хука через 2.638 с от его старта (хук ≈2,7 с из-за окна вывода; запись не прерывалась); потерь и дублей нет | -| stop api#2 (после `restore`, `a3536e394b3f`) | то же для второй реплики | 0 неудачных попыток, 130 записей после хука; `a3536e394b3f` `exited` (`failover-a3536e394b3f.txt`) | 2.689 с; потерь и дублей нет | -| Полный restart (`restart.sh`: lb, api ×2, postgres, valkey) | прежний токен работает, история побайтно та же | persistence `PASS`; ID контейнеров прежние, `StartedAt` всех обновился: postgres, valkey, lb — 16:57:13, api — 16:57:19–20 при старте прогона в 16:57:10 (`persistence.txt`) | потерь нет; в чистом clone — то же (`clean-clone.txt`) | +| stop api#1 (`stop-one.sh`, `286766bf2b32`) | запись продолжается ≤10 с, target больше не отвечает | 0 неудачных попыток, 139 записей; после теста `286766bf2b32` `exited`, `fa81adafcb69` `running` (`failover-286766bf2b32.txt`) | первая запись после хука через 2.639 с от его старта (хук ≈2,6 с из-за окна вывода; запись не прерывалась); потерь и дублей нет | +| stop api#2 (после `restore` и одного запроса через LB — `SHIFT=1`, `fa81adafcb69`) | то же для второй реплики | 0 неудачных попыток, 138 записей; `fa81adafcb69` `exited` (`failover-fa81adafcb69.txt`) | 2.747 с; потерь и дублей нет | +| Полный restart (`restart.sh`: lb, api ×2, postgres, valkey) | прежний токен работает, история побайтно та же | persistence `PASS`; ID контейнеров прежние, `StartedAt` всех обновился: postgres, valkey, lb — 23:44:29, api — 23:44:30–31 при старте прогона в 23:44:25 (`persistence.txt`) | потерь нет; в чистом clone — то же (`clean-clone.txt`) | | Конкурентный одинаковый ключ (20 раундов × 8 POST через LB) | в каждом раунде одно сообщение, все ответы равны | 160 × `201`, 80 + 80 по репликам, 20/20 раундов с 1 копией, другой body → `409` (`lb-check.json`) | дублей нет | | Все реплики остановлены | LB отвечает `503` в формате контракта | `503 {"error":{"code":"unavailable",…,"request_id":"no-replica-1"}}` (`hooks.txt`) | после `make restore` — `200` | -| `docker compose stop postgres` | реплики выходят из ротации, ответы `503`, а не `500` | `503` за ≤0.014 с на ready, me, login, register; live внутри реплики `200`; LB исключил обе реплики за 0.61 с (`faults.txt`) и 1.227 с (`detection/postgres.json`) и отвечает `503` сам | после `start` готовность через 2.1–2.5 с без рестарта API | +| `docker compose stop postgres` | реплики выходят из ротации, ответы `503`, а не `500` | `503` за ≤0.014 с на ready, me, login, register; live внутри реплики `200`; LB исключил обе реплики через 0.93 с (`faults.txt`) и 0.93–1.44 с (`detection/run*/postgres.json`) и отвечает `503` сам | после `start` готовность через 2.3 с без рестарта API; в ротации через 2.48–2.65 с | | `docker compose stop valkey` | проверка сессий через PostgreSQL, без анонимного доступа | действующий токен `200`, неизвестный `401`, выход `503` (`faults.txt`) | после `start` выход `204` | | Повторный `migrate` | схема и данные не меняются | `up to date`, счётчики равны (`migrations.txt`, `clean-clone.txt`) | — | -| `SIGTERM` реплике (`docker stop -t 6`) | LB исключает её раньше, чем она закроет порт | исключена через 0.706 с, остановка завершилась через 2.493 с (`detection/sigterm.json`); код выхода 0, в логе — окно 2 с и readiness `503` (`hooks.txt`, `failover-*.txt`) | возврат после `restore` 1.959 с | -| Процесс реплики убит (`docker kill`) | исключение ≤1,5 с | 0.665 с (`detection/kill.json`) | `restore` 3.078 с | -| Процесс реплики завис (`docker pause`) | исключение ≤3,5 с по таймауту проверки | 2.756 с; через LB — `200` от соседа (`detection/pause.json`) | после `unpause` 2.383 с | -| Поочерёдная остановка каждой реплики под 100 rps | 0 ошибок, запись не прерывается, реплика возвращается | обе реплики: k6 0 ошибок из 6001, зонд 0 из 635, p99 ≈5 мс, повторов LB 0 (`failover-each/summary.json`) | обнаружение 0.894–1.515 с; снова в ротации через 14.111–14.392 с от начала действия (хук + 10 с без реплики + `restore`) | -| Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 9000, зонд 0 из 897; старые реплики без окна: `wretr` 2, `wredis` 54, `eresp` 2 | замена двух реплик за 7.695 с | -| Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 904, все счётчики LB 0 | 11.782 с | +| `SIGTERM` реплике (`docker stop -t 7`) | LB исключает её раньше, чем она закроет порт | исключена через 0.99–1.43 с, остановка завершилась через 2.53–2.61 с (`detection/run*/sigterm.json`); код выхода 0, в логе — окно 2 с и readiness `503` (`hooks.txt`, `failover-*.txt`) | возврат после `restore` 1.96–3.63 с | +| Процесс реплики убит (`docker kill`) | исключение ≤1,5 с | 0.47–0.54 с (`detection/run*/kill.json`) | `restore` 2.65–3.05 с | +| Процесс реплики завис (`docker pause`) | исключение ≤3,5 с по таймауту проверки | 2.91–3.23 с; через LB — `200` от соседа (`detection/run*/pause.json`) | после `unpause` 2.37–2.86 с | +| Поочерёдная остановка каждой реплики под 100 rps | 0 ошибок, запись не прерывается, реплика возвращается | обе реплики: k6 0 ошибок из 6000 и 6001, зонд 0 из 655 и 655, p99 13.7 и 14.2 мс, повторов LB 0 (`failover-each/summary.json`) | обнаружение 0.93–1.07 с; снова в ротации через 14.59–14.93 с от начала действия (хук + 10 с без реплики + `restore`) | +| Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 8996, зонд 0 из 934; старые реплики без окна: `wredis` 55 | замена двух реплик за 7.062 с | +| Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 942, все счётчики LB 0 | 12.010 с | ### Трек 5 — трек 1 «Цена масштабирования» @@ -367,7 +394,9 @@ H3: мера против найденного узкого места даёт профиль уровня «4»: 80 % `POST` сообщения с уникальным `Idempotency-Key`, 20 % чтения первой страницы истории, на прогон 20 новых пользователей и 10 чатов. Прогрев 10 с, замер 30 с, метрики только по окну замера. Интенсивности — геометрическая сетка ×1,5 от 150 rps на CPU (A) и 450 rps на CPU (B), пока два шага подряд не - насыщены во всех повторах. **3 повтора на точку**: в итоговых таблицах 123 прогона (63 + 42 + 18), 9,6 млн + насыщены во всех повторах или следующий шаг не превысит верхнюю границу сетки — 8 000 rps в серии A + (`--search 1.5:8000` по умолчанию) и 9 000 rps в серии B. В серии A все три конфигурации насыщены только на + 6 830 rps: следующий шаг 10 245 rps выше границы, и сетка остановилась на одном насыщенном шаге. **3 повтора на точку**: в итоговых таблицах 123 прогона (63 + 42 + 18), 9,6 млн запросов. - Набор данных: перед каждой конфигурацией `down -v`, затем база растёт от прогона к прогону; размер в каждой строке (`db_mb`, `messages` — перед прогоном): 7,7 МБ в начале конфигурации, до 1 019 МБ и 2,1 млн сообщений @@ -401,7 +430,7 @@ rps): | 1×1 | 1 520 | 1 720 (1 674–1 722) | 1,00 | 100 % | 102 / 100 | 47 | 13 | 0,2 / 3,4 / 8 | 968 | | 2×1 | 2 020 | 2 936 (2 868–2 998) | 1,71 | 85 % | 201 / 200 | 94 | 23 | 2,4 / 6,3 / 16 | 936 | | 4×1 (из A) | 4 560 | 4 724 (4 686–4 794) | 2,75 | 69 % | 381 / 400 | 164 | 40 | 15,3 / 6,8 / 32 | 872 | -| 8×1 | 3 600 | **4 260** (4 217–4 424) | 2,48 | 31 % | 473 / 800 | 178 | 40 | **47,5** / 6,8 / 64 | 744 | +| 8×1 | ≥3 600 (первая точка сетки) | **4 260** (4 217–4 424) | 2,48 | 31 % | 473 / 800 | 178 | 40 | **47,5** / 6,8 / 64 | 744 | Ошибок нет ни в одном прогоне таблиц (доля неуспешных ≤ 0,02 %): перегрузка проявляется как очередь в LB (до 1 000 одновременных сессий — предел VU k6), рост задержки и сброшенные итерации, а не как `5xx`, — таймауты @@ -417,7 +446,7 @@ PostgreSQL загружен наполовину. С четырёх реплик ниже, чем у четырёх реплик. Насыщена **критическая секция записи в чат**: в профиле 10 чатов, запись в чат сериализуется блокировкой его строки, поэтому одновременно идут не больше 10 записей, а остальные транзакции держат соединения пула и ждут (`pg_stat_activity`: 47,5 из 64 соединений в `Lock: tuple/transactionid`, пул -исчерпан — свободных 6). `SELECT … FOR UPDATE` чата длится в среднем 14,2 мс и занимает 98,7 % суммарного +исчерпан — свободных 6). `SELECT … FOR UPDATE` чата длится в среднем ≈14,1 мс (13,6 / 14,2 / 14,4 по повторам) и занимает 98,7 % суммарного времени топ-20 операторов (`pg_statements.csv` трёх повторов 8×1 при 5 400 rps), и около 7 соединений стоят `idle in transaction`: держатель блокировки ждёт, пока event loop реплики отправит следующий оператор. Каждая новая реплика добавляет пул из 8 соединений и параллельных писателей в те же 10 строк — больше ожидающих, больше пробуждений и переключений в PostgreSQL, длиннее очередь @@ -435,9 +464,9 @@ event loop у держателей, а последовательная част | Нагрузка | Вариант | Успешные RPS | p50 / p95 / p99, мс | CPU API / PostgreSQL, % | CPU на запрос API / PG, мс | Ждут блокировку / `idle in transaction` / ждут `LWLock` (WAL) | | --- | --- | ---: | ---: | ---: | ---: | ---: | -| 3 600 | до | 3 596 (3 568–3 597) | 2,4 / 64,5 (35,7–142,5) / 122 | 457 / 137 | 1,27 / 0,38 | 12,8 / 4,5 / 1,5 | +| 3 600 | до | 3 596 (3 568–3 596) | 2,4 / 64,5 (35,7–142,5) / 122 | 457 / 137 | 1,27 / 0,38 | 12,8 / 4,5 / 1,5 | | 3 600 | **после** | 3 600 (3 600–3 600) | 1,7 / **3,7** (2,8–5,4) / 12,6 | 391 / 102 | 1,09 / 0,28 | 0,15 / 0 / 1,9 | -| 5 400 | до | 4 252 (4 054–4 396) | 227 / 296 / 349 | 475 / 178 | — | 46,7 / 7,0 / 2,3 | +| 5 400 | до | 4 252 (4 054–4 396) | 227 / 296 / 349 | 475 / 178 | — | 46,6 / 7,0 / 2,3 | | 5 400 | **после** | **4 894** (4 494–5 104) | 198 / 246 / 278 | 479 / 179 | — | 46,4 / 0 / 8,5 | | 8 100 | до | 4 104 (4 001–4 448) | 236 / 311 / 364 | 475 / 178 | — | 47,1 / 7,3 / 1,9 | | 8 100 | **после** | 4 841 (4 618–5 046) | 202 / 254 / 287 | 462 / 174 | — | 46,3 / 0 / 9,2 | @@ -449,7 +478,7 @@ event loop у держателей, а последовательная част (ожидания `LWLock`, почти все — `WALWrite`, 8,5–9,2 против 1,9–2,3 «до»; `pg_activity.csv`), а CPU PostgreSQL — 89 %. Нижние значения варианта «после» за коленом (4 494 и 4 618 rps) — как раз возмущённые прогоны (см. методику): вывод они не усиливают, а ослабляют. Проверки уровней «3» и «4» на новом коде проходят -(`after-checks.txt`, `clean-clone.txt`). +(`after-checks.txt`, `clean-clone.txt`), а на итоговом коде повторён весь уровень «4» под k6 (строки 4.x). **Выводы.** @@ -458,10 +487,12 @@ event loop у держателей, а последовательная част 4×1) и памяти, и тем раньше растёт хвост (p95 при 4 560 rps — 9, 69 и 150 мс). Упор на пике — не только CPU API (95 %): у всех трёх половина соединений ждёт блокировку чата. При фиксированном бюджете выгоднее меньше реплик покрупнее, а число реплик определяется отказоустойчивостью (≥2), а не скоростью. -- H2 **подтверждена с поправкой.** Линейный рост — только до двух реплик (1,71× на 2 CPU), 4 реплики дают 2,75×, - а 8 — **меньше, чем 4** (2,48×): ретроградное масштабирование, κ > 0, максимум около 5 реплик. Насыщенное звено - — общая БД, но не её CPU (89 %) и не `max_connections` (64 из 200), а сериализованная по строке чата запись, - растянутая обращениями к приложению; LB далёк от лимита. +- H2 **опровергнута в части линейного роста и CPU БД, подтверждена в части 4→8.** Гипотеза ждала ≥3,2× на 4 + репликах и CPU PostgreSQL у лимита; измерено 2,75× (линейный рост — только до двух реплик, 1,71× на 2 CPU) и + CPU PostgreSQL 89 % (178 из 200). Рост 4→8 действительно меньше 1,5×, и даже отрицательный: 8 реплик дают + **меньше, чем 4** (2,48×) — ретроградное масштабирование, κ > 0, максимум около 5 реплик. Насыщенное звено — + общая БД, но не её CPU и не `max_connections` (64 из 200), а сериализованная по строке чата запись, + растянутая обращениями к приложению; LB далёк от лимита (см. контрольные прогоны). - H3 **подтверждена.** Укорочение критической секции до одной команды дало +15 % пика при тех же ресурсах и в 17 раз меньший p95 ниже колена. Следующий потолок — фиксация под блокировкой горячей строки (WAL) и CPU PostgreSQL: его сдвигают только больше чатов в профиле, `synchronous_commit = off` (ценой подтверждённых, но @@ -479,13 +510,16 @@ event loop у держателей, а последовательная част 1 000. Порт-форвардинг Docker Desktop в замеры не входит — k6 бьёт в `lb` изнутри сети. База растёт внутри конфигурации (до 1 ГБ в серии A), поэтому старшие интенсивности идут на большей базе, чем младшие. Сравнение до/после сделано на одной конфигурации 8×1; третий повтор «после» снят отдельным запуском после сбоя -`compose up` (`evidence/track1/README.md`). +`compose up` (`evidence/track1/README.md`). `compose up --wait` на восьми репликах при смене варианта изредка +проходит только со второй попытки (оркестратор повторяет его через 30 с): при ревью короткое сравнение 8×1 упало +один раз и прошло на повторе, причину по обрезанному stderr установить не удалось, а прогон с полным выводом сбой +не воспроизвёл. Теперь полный вывод каждой неудачной попытки пишется в `<серия>/compose-up-failed.log`. ## Ответы на вопросы защиты **Чем отказ процесса отличается от отказа узла?** Отказ процесса — это одна реплика: контейнер остановлен, убит или завис, а host, LB, PostgreSQL и соседняя реплика работают. Его ловит проверка готовности LB, и -трафик уходит на соседа: `SIGTERM` — 0,71 с, `kill` — 0,67 с, зависание (`docker pause`) — 2,76 с по таймауту +трафик уходит на соседа: `SIGTERM` — 1,0–1,4 с, `kill` — 0,5 с, зависание (`docker pause`) — 2,9–3,2 с по таймауту проверки (`evidence/detection/`), запись не прерывается (`failover-each`: 0 ошибок под 100 rps). Отказ узла забирает всё, что на нём запущено, сразу: здесь узел один, поэтому вместе с репликами пропадают LB, PostgreSQL, Valkey и volumes — отказ всего стенда, и никакая реплика его не переживёт. Кроме того, мёртвый узел не отвечает @@ -501,7 +535,7 @@ Valkey и volumes — отказ всего стенда, и никакая ре повторов отказавшего соединения на соседа, мягкого вывода из ротации и ответа `503` в формате контракта, когда готовых реплик нет. Всё это делает HAProxy: активная проверка `/health/ready` раз в 1 с с `fall 2`/`rise 2`, round robin, `retry-on conn-failure` и `redispatch`. Пример — остановка PostgreSQL: контейнеры `api` продолжают -работать, а LB исключает обе реплики за 1,23 с и сам отвечает `503 unavailable` (`detection/postgres.json`). +работать, а LB исключает обе реплики за 0,9–1,4 с и сам отвечает `503 unavailable` (`detection/run*/postgres.json`). **Какие POST можно повторять после timeout и что защищает Idempotency-Key?** Только `POST /api/v1/chats/{chat_id}/messages` с тем же `Idempotency-Key` и тем же телом. Сообщение и квитанция ключа @@ -531,8 +565,10 @@ persistence с прежним токеном падают. Sticky-сессии - Один Docker-host: потеря host, LB или PostgreSQL — отказ всего стенда. LB и БД — единственные точки отказа; их резервирование вне рамок лабы. -- Цель failover-теста выбирает round robin (кто обслужил первое сообщение); для второй реплики тест - повторяется после `make restore`, при необходимости с одним лишним запросом через LB. +- Цель failover-теста выбирает round robin (кто обслужил первое сообщение); второй прогон сразу после первого + и `make restore` попадает в ту же реплику, поэтому перед ним нужен один запрос через LB: + `make failover-evidence SHIFT=1` или `curl -s -o /dev/null "http://$(docker compose port lb 8080)/health/live"` + перед `make test-failover` (так сняты `failover-fa81adafcb69.txt` и второй failover в `clean-clone.txt`). - `X-Instance-Id` раскрывает короткий ID контейнера — допустимо до лабы 7, где появится непрозрачный alias. - Таблица ключей растёт вместе с историей (строка на сообщение); истёкшие ключи только перезаписываются при повторном использовании, фоновой очистки нет. @@ -541,11 +577,10 @@ persistence с прежним токеном падают. Sticky-сессии следующий потолок для горячих чатов (раздел трека). - Окно вывода из ротации удлиняет каждую остановку реплики на 2 с; оно рассчитано на проверки LB раз в секунду: при большем `inter` окно нужно увеличить (это ловит `test_timeouts.py`). -- Время обнаружения измерено одним прогоном на сценарий; верхняя граница — формула по параметрам проверки, а - замер её подтверждает. Время считается от запуска команды отказа, с допуском 0,25 с на docker CLI и опрос. -- Замеры уровня «4» под нагрузкой (`detection`, `failover-each`, `rolling*`) и тесты отказов `faults.txt` сняты на - `e00eb6c`, до того как трек 1 переписал отправку сообщения; на итоговом коде повторены smoke, гонки ключа, - failover, persistence, миграции с нуля, лимиты и собственные тесты, но не прогоны под k6. +- Время обнаружения измерено тремя прогонами на сценарий; верхняя граница — формула по параметрам проверки. + Замер считается от запуска команды отказа и включает задержку docker CLI и период опроса статистики LB, поэтому + может превысить формулу на эту величину; допуск замера — 0,25 с. На итоговом коде все замеры в пределах + формулы, раньше превышение в пределах допуска было у PostgreSQL (1,553 с), `SIGTERM` (1,609 и 1,515 с). - Rolling update проверен со сменой кода без смены схемы. Миграция, несовместимая с работающей версией (удаление или переименование столбца), потребовала бы двух выпусков expand/contract; в лабе таких нет. - `scripts/rolling-update.sh` и `restore.sh` используют `--no-recreate`: после замены с другим `API_IMAGE` @@ -556,6 +591,3 @@ persistence с прежним токеном падают. Sticky-сессии о троттлинге CFS как причине дорогих мелких реплик и о росте с числом чатов не проверялись. Переход отправки на одну команду убрал агрегат `Chat` из записи: правила участия и порядка теперь в SQL адаптера и держатся интеграционными тестами. -- Процесс openspec: правило `config.yaml` «proposal в пределах 400 слов» нарушено в `add-lab3-scaling-cost` — - 405 слов по `wc -w` с разметкой (у `add-lab3-failover-operations` ровно 400, у - `add-lab3-load-balanced-replicas` — 368). Архив закоммичен, историю не переписываю. diff --git a/evidence/README.md b/evidence/README.md index ebf00551..981ae121 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,43 +1,46 @@ # Доказательства Обезличенные результаты прогонов лабы 3. Пользователи, чаты и тексты синтетические; паролей, токенов, `.env`, -содержимого `secrets/` и дампов здесь нет. В первой строке каждого текстового файла — дата (UTC) и коммит -прогона. Проверки через балансировщик шли с `BASE_URL=http://localhost:18083` (порт 8080 на машине был занят -стендами других лаб). Hostname реплики = `X-Instance-Id`; ID контейнеров меняются между прогонами. +содержимого `secrets/` и дампов здесь нет. В первой строке каждого текстового файла (`*.txt`) — дата (UTC) и +коммит прогона; у JSON и CSV (`lb-check.json`, `detection/`, `failover-each/`, `rolling*/`, `track1/*/summary.csv`) +даты и коммита внутри нет: коммит — в столбце «Коммит» таблиц ниже, время прогона CSV трека — в поле `started`. Проверки через балансировщик шли на порт +18083 (`LB_HTTP_PORT`; 8080 на машине был занят стендами других лаб): цели `make` берут `BASE_URL` из +`docker compose port lb 8080`. Hostname реплики = `X-Instance-Id`; ID контейнеров меняются между прогонами. ## Уровень «3» и перенос лабы 2 | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`/`0002`, готовность, smoke, ≥2 реплики и гонки ключа, failover, persistence, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | последовательность из `REPORT.md`, раздел «Запуск» | `e88673d` | -| `smoke.txt` | публичный smoke через LB | `make test BASE_URL=…` | `e00eb6c` | -| `stack.txt` | сервисы, только `lb` публикует порты, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `e00eb6c` | -| `environment.txt` | host, Docker, образы по digest, версии пакетов, uid процессов | `make stack-evidence` | `e00eb6c` | -| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по двум репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другой body | `make lb-check` | `e00eb6c` | -| `failover-27de23496b0f.txt`, `failover-a3536e394b3f.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, лог его остановки, `restore` | `make failover-evidence BASE_URL=…` | `e00eb6c` | -| `hooks.txt` | `stop-one.sh`: длительность, код, остановлен только target; неизвестный ID → 3; без переменной → 1; все реплики остановлены → `503` LB в формате контракта | команды внутри файла | `e00eb6c` | -| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence BASE_URL=…` | `e00eb6c` | -| `faults.txt` | тесты стенда лабы 2 через LB: гонка регистрации, остановка Valkey и PostgreSQL, рестарт API | `make test-faults BASE_URL=…` | `e00eb6c` | -| `student-tests.txt` | все собственные тесты по именам (идемпотентность, `X-Instance-Id`, сессии, конвейер) и вывод теста `SIGTERM`-окна и цепочки таймаутов | `PYTEST_ADDOPTS=-vv make student-test`; `pytest -s` двух файлов | `e88673d` | -| `schema.txt` | `\d+` всех таблиц и применённые миграции | `make storage-evidence` | `0796e29` | -| `migrations.txt` | повторный `migrate` → `up to date`, счётчики строк до и после равны | `make storage-evidence` | `0796e29` | -| `kdf.txt` | Argon2id у всех пользователей, в `sessions` только 32-байтовые SHA-256 | `make storage-evidence` | `0796e29` | -| `secrets.txt` | секреты, `.env`, дампы и volumes не в Git и игнорируются | `make storage-evidence` | `0796e29` | +| `clean-clone.txt` | запуск из свежего clone на пустых volumes: секреты, `config`, `make up` с миграциями `0001`/`0002`, готовность, smoke, ≥2 реплики и гонки ключа, failover обеих реплик, persistence (всё без явного `BASE_URL` при `LB_HTTP_PORT=18083`), `storage-evidence` в клоне, повтор миграций, `make down` (volumes остаются), `make reset-data` (volumes удалены) | последовательность из `REPORT.md`, раздел «Запуск» | `f5fea5c` (код `b1c80ee`) | +| `checks.txt` | реальный вывод `make check`, `make validate` (`openapi-spec-validator` из dev-группы `.venv`) и `make lint` | команды внутри файла | `b1c80ee` | +| `smoke.txt` | публичный smoke через LB | `make test` | `b1c80ee` | +| `stack.txt` | сервисы, только `lb` публикует порты, `container_name` 0, `docker port` реплик пуст, hostname ↔ `X-Instance-Id`, лимиты, сети, uid, взгляд LB | `make stack-evidence` | `b1c80ee` | +| `environment.txt` | host, Docker, образы по digest, версии пакетов, uid процессов | `make stack-evidence` | `b1c80ee` | +| `lb-check.json` | 40 `GET /users/me` одним токеном — 20 + 20 по двум репликам; 20 раундов × 8 параллельных POST с одним ключом — 160 × `201`, одна копия, `409` на другой body | `make lb-check` | `b1c80ee` | +| `failover-286766bf2b32.txt`, `failover-fa81adafcb69.txt` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики: `docker inspect` до/после, остановлен именно target, лог его остановки, `restore` | `make failover-evidence`, затем `make failover-evidence SHIFT=1` | `b1c80ee` | +| `hooks.txt` | `stop-one.sh`: длительность, код, остановлен только target; неизвестный ID → 3; без переменной → 1; все реплики остановлены → `503` LB в формате контракта | команды внутри файла | `b1c80ee` | +| `persistence.txt` | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `StartedAt` всех контейнеров до и после | `make persistence-evidence` | `b1c80ee` | +| `faults.txt` | тесты стенда лабы 2 через LB: гонка регистрации, остановка Valkey и PostgreSQL, рестарт API, полный рестарт с выходом, срок сессии после рестарта | `make faults-evidence` | `b1c80ee` | +| `student-tests.txt` | все собственные тесты по именам (идемпотентность, `X-Instance-Id`, сессии, конвейер) и вывод теста `SIGTERM`-окна и цепочки таймаутов | `PYTEST_ADDOPTS=-vv make student-test`; `pytest -s` двух файлов | `b1c80ee` | +| `schema.txt` | `\d+` всех таблиц и применённые миграции | `make storage-evidence` | `b1c80ee` | +| `migrations.txt` | повторный `migrate` → `up to date`, счётчики строк до и после равны | `make storage-evidence` | `b1c80ee` | +| `kdf.txt` | Argon2id у всех пользователей, в `sessions` только 32-байтовые SHA-256 | `make storage-evidence` | `b1c80ee` | +| `secrets.txt` | секреты, `.env`, дампы и volumes не в Git и игнорируются | `make storage-evidence` | `b1c80ee` | ## Уровень «4» | Файл | Что доказывает | Команда | Коммит | | --- | --- | --- | --- | -| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты, volumes и сети по политике | `make limits` | `e88673d` | -| `limits-violations.txt` | та же проверка ловит подмешанные нарушения (5 штук, код 1) | `COMPOSE_FILE=compose.yaml:violations.yaml python3 scripts/limits.py` | `e00eb6c` | -| `detection/{sigterm,kill,pause,postgres}.json` | время исключения backend из ротации против заявленного максимума, ответ LB после исключения, время возврата | `make detection` | `e00eb6c` | -| `failover-each/summary.json`, `failover-each//` | поочерёдная остановка каждой реплики под k6 100 rps: RPS, ошибки, p50/p95/p99, обнаружение, возврат, зонд записи, счётчики LB; сырьё — `k6/`, `lb_up.csv`, `probe.csv`, `action.txt` | `make failover-each` | `e00eb6c` | -| `rolling-from-8d28d45/` | rolling update с образа уровня «3» на текущий под k6: ёмкость, ошибки, замена всех реплик, `migrate` один раз | `make rolling-update FROM_REV=8d28d45` | `e00eb6c` | -| `rolling/` | rolling update текущей сборкой под k6 | `make rolling-update` | `e00eb6c` | +| `limits.txt` | лимиты CPU/RAM всех сервисов (объявлены и применены), порты только у LB на `127.0.0.1`, секреты, volumes и сети по политике | `make limits` | `b1c80ee` | +| `limits-violations.txt` | та же проверка ловит подмешанные нарушения (5 штук, код 1) | `COMPOSE_FILE=compose.yaml:violations.yaml python3 scripts/limits.py` | `b1c80ee` | +| `detection/run{1,2,3}/{sigterm,kill,pause,postgres}.json` | три прогона: время исключения backend из ротации против заявленного максимума (допуск замера 0,25 с), ответ LB после исключения, время возврата | `make detection` | `b1c80ee` | +| `failover-each/summary.json`, `failover-each//` | поочерёдная остановка каждой реплики под k6 100 rps: RPS, ошибки, p50/p95/p99, обнаружение, возврат, зонд записи, счётчики LB; сырьё — `k6/`, `lb_up.csv`, `probe.csv`, `action.txt` (вывод действия: `docker compose ps -a` реплик сразу после хука, затем `restore`) | `make failover-each` | `b1c80ee` | +| `rolling-from-8d28d45/` | rolling update с образа уровня «3» на текущий под k6: ёмкость, ошибки, замена всех реплик, `migrate` один раз | `make rolling-update FROM_REV=8d28d45` | `b1c80ee` | +| `rolling/` | rolling update текущей сборкой под k6 | `make rolling-update` | `b1c80ee` | ## Трек 1 «Цена масштабирования» -`track1/` — серии A и B, сравнение до/после, графики и проверки после улучшения; состав и поля CSV — +`track1/` — серии A и B, сравнение до/после, контрольные прогоны, графики и проверки после улучшения; состав и поля CSV — `track1/README.md`. | Файл | Что доказывает | Команда | @@ -46,6 +49,7 @@ | `track1/series-a/` | 1×4, 2×2, 4×1 при 4 CPU / 2 GiB API | `make track1-a` | | `track1/series-b/` | 1×1, 2×1, 8×1 по 1 CPU (4×1 — из серии A) | `make track1-b` | | `track1/compare/` | улучшение: «до» (`edc091d`) и «после» на 8×1 | `make track1-compare` | +| `track1/control-pool/`, `track1/control-cpus/` | контроль: пул и `maxconn` на 8×1; 8×0,5 против 4×1 на одних CPU (итоговый код, `f5fea5c`) | `make track1-control` | | `track1/plots/` | графики и сводка потолков `capacity.md` | `make plots` | | `track1/after-checks.txt` | уровни «3» и «4» на коде с улучшением (`dde113b`) | команды внутри файла | | `track1/host-others.csv`, `track1/aborted/` | нагрузка соседних стендов во время замеров и прерванная первая попытка серии A | см. `track1/README.md` | diff --git a/evidence/clean-clone.txt b/evidence/clean-clone.txt index 84ab64dc..d6e697b6 100644 --- a/evidence/clean-clone.txt +++ b/evidence/clean-clone.txt @@ -1,6 +1,6 @@ -date: 2026-10-29T20:23:35Z commit: a02d442 dir: mtusi2026lab3-clean (свой compose-проект и volumes) +date: 2026-10-29T23:53:18Z commit: f5fea5c dir: mtusi2026lab3-clean (свой compose-проект и volumes) $ git clone … mtusi2026lab3-clean && cd mtusi2026lab3-clean && git checkout solution/bpi2303-kostylev -HEAD a02d442 Trim the scaling cost proposal to the word limit +HEAD f5fea5c Record levels 3 and 4 again after the lab 2 carry over $ docker volume ls -q --filter name=mtusi2026lab3-clean | wc -l | tr -d ' ' 0 exit=0 @@ -26,42 +26,42 @@ $ make up sh scripts/secrets.sh docker compose up -d --build --wait #1 [internal] load local bake definitions -#1 reading from stdin 591B done +#1 reading from stdin 606B done #1 DONE 0.0s #2 [internal] load build definition from Dockerfile #2 transferring dockerfile: 1.57kB done #2 DONE 0.0s -#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 +#3 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d #3 DONE 0.0s -#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d +#4 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 #4 DONE 0.0s #5 [internal] load .dockerignore #5 transferring context: 437B done #5 DONE 0.0s -#6 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 -#6 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 done +#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d +#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d done #6 DONE 0.0s -#7 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d -#7 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d done +#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 +#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 done #7 DONE 0.0s #8 [internal] load build context -#8 transferring context: 236.57kB 0.0s done +#8 transferring context: 281.44kB 0.0s done #8 DONE 0.0s -#9 [builder 3/7] WORKDIR /build +#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./ #9 CACHED -#10 [builder 4/7] COPY pyproject.toml uv.lock README.md ./ +#10 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv #10 CACHED -#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv +#11 [builder 3/7] WORKDIR /build #11 CACHED #12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable @@ -71,62 +71,62 @@ docker compose up -d --build --wait #13 DONE 0.0s #14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable -#14 0.141 Resolved 44 packages in 0.62ms -#14 0.143 Building mtusi-messenger @ file:///build -#14 1.992 Built mtusi-messenger @ file:///build -#14 1.995 Prepared 1 package in 1.85s -#14 1.998 Installed 1 package in 3ms -#14 2.060 Bytecode compiled 888 files in 61ms -#14 2.060 + mtusi-messenger==1.3.0 (from file:///build) -#14 DONE 2.1s +#14 0.228 Resolved 59 packages in 9ms +#14 0.241 Building mtusi-messenger @ file:///build +#14 2.148 Built mtusi-messenger @ file:///build +#14 2.152 Prepared 1 package in 1.91s +#14 2.157 Installed 1 package in 4ms +#14 2.243 Bytecode compiled 888 files in 86ms +#14 2.243 + mtusi-messenger==1.3.0 (from file:///build) +#14 DONE 2.3s #15 [runtime 2/4] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger #15 CACHED #16 [runtime 3/4] COPY --from=builder --chown=root:root /opt/venv /opt/venv -#16 DONE 0.1s +#16 DONE 0.2s #17 [runtime 4/4] WORKDIR /app #17 DONE 0.0s #18 exporting to image #18 exporting layers -#18 exporting layers 1.5s done -#18 exporting manifest sha256:c3e6090559d5482c87f329d260e08065b5f8a5d5dc65c607f89733a82ddddbcf done -#18 exporting config sha256:dd65081a5c150d5f128bd2cdeeb642852a65e7b7a4a672a2b4ef196f4e20f82f done -#18 exporting attestation manifest sha256:2cfd6ab7e9b71c465dae98c768bf8e7dd4474f3e8edeae77433641275854423e done -#18 exporting manifest list sha256:b35f152d0bde9f4bfe3672b917a873cf3f04bbf7402b5251c29c224768584579 done -#18 naming to docker.io/library/mtusi-messenger:lab3 done -#18 unpacking to docker.io/library/mtusi-messenger:lab3 -#18 unpacking to docker.io/library/mtusi-messenger:lab3 0.2s done -#18 DONE 1.7s +#18 exporting layers 1.3s done +#18 exporting manifest sha256:70f59989a44aa91279868eda8d3be8e0190c77105c73991af97ce4bacd31671f done +#18 exporting config sha256:f0e6baec9e0953031a2fcce0c3d7e51f43a86bc862d6b906ef83c07ebd24d86a done +#18 exporting attestation manifest sha256:2602ec09576cca80e4818a6e4b3de34c457dc91ad59602388f2e6af8b5565e35 done +#18 exporting manifest list sha256:a8a3477e428fb32254f1294cf857b6e428fe388f44cd3a900b410f1e2a340764 done +#18 naming to docker.io/library/mtusi-messenger:mtusi2026lab3-clean done +#18 unpacking to docker.io/library/mtusi-messenger:mtusi2026lab3-clean +#18 unpacking to docker.io/library/mtusi-messenger:mtusi2026lab3-clean 0.2s done +#18 DONE 1.6s #19 resolving provenance for metadata file #19 DONE 0.0s api Built - Network mtusi2026lab3-clean_edge Creating - Network mtusi2026lab3-clean_edge Created Network mtusi2026lab3-clean_backend Creating Network mtusi2026lab3-clean_backend Created - Volume "mtusi2026lab3-clean_pgdata" Creating - Volume "mtusi2026lab3-clean_pgdata" Created + Network mtusi2026lab3-clean_edge Creating + Network mtusi2026lab3-clean_edge Created Volume "mtusi2026lab3-clean_valkeydata" Creating Volume "mtusi2026lab3-clean_valkeydata" Created + Volume "mtusi2026lab3-clean_pgdata" Creating + Volume "mtusi2026lab3-clean_pgdata" Created Container mtusi2026lab3-clean-postgres-1 Creating - Container mtusi2026lab3-clean-lb-1 Creating Container mtusi2026lab3-clean-valkey-1 Creating - Container mtusi2026lab3-clean-valkey-1 Created + Container mtusi2026lab3-clean-lb-1 Creating Container mtusi2026lab3-clean-lb-1 Created Container mtusi2026lab3-clean-postgres-1 Created Container mtusi2026lab3-clean-migrate-1 Creating + Container mtusi2026lab3-clean-valkey-1 Created Container mtusi2026lab3-clean-migrate-1 Created Container mtusi2026lab3-clean-api-2 Creating Container mtusi2026lab3-clean-api-1 Creating Container mtusi2026lab3-clean-api-2 Created Container mtusi2026lab3-clean-api-1 Created - Container mtusi2026lab3-clean-lb-1 Starting Container mtusi2026lab3-clean-postgres-1 Starting Container mtusi2026lab3-clean-valkey-1 Starting + Container mtusi2026lab3-clean-lb-1 Starting Container mtusi2026lab3-clean-valkey-1 Started Container mtusi2026lab3-clean-postgres-1 Started Container mtusi2026lab3-clean-postgres-1 Waiting @@ -140,32 +140,32 @@ docker compose up -d --build --wait Container mtusi2026lab3-clean-api-1 Started Container mtusi2026lab3-clean-api-2 Starting Container mtusi2026lab3-clean-api-2 Started - Container mtusi2026lab3-clean-postgres-1 Waiting - Container mtusi2026lab3-clean-valkey-1 Waiting - Container mtusi2026lab3-clean-lb-1 Waiting Container mtusi2026lab3-clean-api-1 Waiting Container mtusi2026lab3-clean-api-2 Waiting Container mtusi2026lab3-clean-migrate-1 Waiting - Container mtusi2026lab3-clean-valkey-1 Healthy + Container mtusi2026lab3-clean-postgres-1 Waiting + Container mtusi2026lab3-clean-valkey-1 Waiting + Container mtusi2026lab3-clean-lb-1 Waiting Container mtusi2026lab3-clean-migrate-1 Exited Container mtusi2026lab3-clean-postgres-1 Healthy + Container mtusi2026lab3-clean-valkey-1 Healthy Container mtusi2026lab3-clean-api-1 Healthy Container mtusi2026lab3-clean-api-2 Healthy Container mtusi2026lab3-clean-lb-1 Healthy exit=0 -make up (build, migrate, wait healthy): 15 s +make up (build, migrate, wait healthy): 10 s $ docker compose logs --no-log-prefix migrate -{"version":"0001_init","event":"migration.applied","level":"info","ts":"2026-10-29T20:23:48.391612Z"} -{"version":"0002_idempotency_keys","event":"migration.applied","level":"info","ts":"2026-10-29T20:23:48.391717Z"} -{"reason":"applied","event":"migration.completed","level":"info","ts":"2026-10-29T20:23:48.391758Z"} +{"version":"0001_init","event":"migration.applied","level":"info","ts":"2026-10-29T23:53:27.339042Z"} +{"version":"0002_idempotency_keys","event":"migration.applied","level":"info","ts":"2026-10-29T23:53:27.339142Z"} +{"reason":"applied","event":"migration.completed","level":"info","ts":"2026-10-29T23:53:27.339185Z"} exit=0 $ docker compose ps -a --format '{{.Service}} {{.State}} {{.Status}} {{.Ports}}' api running Up 3 seconds (healthy) api running Up 3 seconds (healthy) -lb running Up 10 seconds (healthy) 127.0.0.1:18083->8080/tcp, 127.0.0.1:23083->8404/tcp -migrate exited Exited (0) 4 seconds ago -postgres running Up 10 seconds (healthy) -valkey running Up 10 seconds (healthy) +lb running Up 5 seconds (healthy) 127.0.0.1:18083->8080/tcp, 127.0.0.1:23083->8404/tcp +migrate exited Exited (0) 3 seconds ago +postgres running Up 5 seconds (healthy) +valkey running Up 5 seconds (healthy) exit=0 $ until curl -fsS http://$(docker compose port lb 8080)/health/ready; do sleep 1; done; scripts/lb-wait.sh 2 {"status":"ok"} @@ -177,8 +177,8 @@ exit=0 $ python3 scripts/probe.py check --rounds 20 { "instances_one_token": { - "b354701120c8": 20, - "80019af4c42f": 20 + "7bed64a93042": 20, + "7dcb3b8e69c8": 20 }, "same_key": { "rounds": 20, @@ -187,8 +187,8 @@ $ python3 scripts/probe.py check --rounds 20 "201": 160 }, "instances": { - "b354701120c8": 80, - "80019af4c42f": 80 + "7dcb3b8e69c8": 80, + "7bed64a93042": 80 }, "identical_bodies_rounds": 20, "single_copy_rounds": 20, @@ -200,11 +200,31 @@ exit=0 $ make test-failover ACTION_SCRIPT=scripts/stop-one.sh python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18083" Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 135, "failed_attempts": 0, "first_recovery_seconds": 2.895} +{"observed_instances_before": 2, "successful_writes": 134, "failed_attempts": 0, "first_recovery_seconds": 2.934} PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. exit=0 $ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api -api mtusi2026lab3-clean-api-1 running Up 21 seconds (healthy) +api mtusi2026lab3-clean-api-1 exited Exited (0) 12 seconds ago +api mtusi2026lab3-clean-api-2 running Up 20 seconds (healthy) +exit=0 +$ make restore +scripts/restore.sh + Container mtusi2026lab3-clean-api-2 Running + Container mtusi2026lab3-clean-api-1 Starting + Container mtusi2026lab3-clean-api-1 Started + Container mtusi2026lab3-clean-api-1 Waiting + Container mtusi2026lab3-clean-api-2 Waiting + Container mtusi2026lab3-clean-api-1 Healthy + Container mtusi2026lab3-clean-api-2 Healthy +exit=0 +$ curl -s -o /dev/null http://$(docker compose port lb 8080)/health/live && make test-failover ACTION_SCRIPT=scripts/stop-one.sh +python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18083" +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 132, "failed_attempts": 0, "first_recovery_seconds": 2.736} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +exit=0 +$ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api +api mtusi2026lab3-clean-api-1 running Up 17 seconds (healthy) api mtusi2026lab3-clean-api-2 exited Exited (0) 12 seconds ago exit=0 $ make restore @@ -217,43 +237,23 @@ scripts/restore.sh Container mtusi2026lab3-clean-api-1 Healthy Container mtusi2026lab3-clean-api-2 Healthy exit=0 -$ curl -s -o /dev/null http://$(docker compose port lb 8080)/health/live && make test-failover ACTION_SCRIPT=scripts/stop-one.sh -python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://127.0.0.1:18083" -Executing explicit failover hook; hook output suppressed to avoid leaking secrets. -{"observed_instances_before": 2, "successful_writes": 135, "failed_attempts": 0, "first_recovery_seconds": 2.674} -PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. -exit=0 -$ docker compose ps -a --format '{{.Service}} {{.Name}} {{.State}} {{.Status}}' api -api mtusi2026lab3-clean-api-1 exited Exited (0) 12 seconds ago -api mtusi2026lab3-clean-api-2 running Up 17 seconds (healthy) -exit=0 -$ make restore -scripts/restore.sh - Container mtusi2026lab3-clean-api-2 Running - Container mtusi2026lab3-clean-api-1 Starting - Container mtusi2026lab3-clean-api-1 Started - Container mtusi2026lab3-clean-api-1 Waiting - Container mtusi2026lab3-clean-api-2 Waiting - Container mtusi2026lab3-clean-api-1 Healthy - Container mtusi2026lab3-clean-api-2 Healthy -exit=0 $ make test-persistence ACTION_SCRIPT=scripts/restart.sh python3 tests/resilience.py --mode persistence --action-script "scripts/restart.sh" --base-url "http://127.0.0.1:18083" Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. exit=0 $ docker compose ps -a --format '{{.Service}} {{.State}} {{.RunningFor}} {{.Status}}' -api running About a minute ago Up 4 seconds (healthy) -api running About a minute ago Up 4 seconds (healthy) -lb running About a minute ago Up 10 seconds (healthy) -migrate exited About a minute ago Exited (0) 4 seconds ago -postgres running About a minute ago Up 10 seconds (healthy) -valkey running About a minute ago Up 10 seconds (healthy) +api running 52 seconds ago Up 3 seconds (healthy) +api running 52 seconds ago Up 3 seconds (healthy) +lb running 52 seconds ago Up 5 seconds (healthy) +migrate exited 52 seconds ago Exited (0) 4 seconds ago +postgres running 52 seconds ago Up 5 seconds (healthy) +valkey running 52 seconds ago Up 5 seconds (healthy) exit=0 $ make migrate docker compose run --rm migrate Container mtusi2026lab3-clean-postgres-1 Running -{"reason":"up to date","event":"migration.completed","level":"info","ts":"2026-10-29T20:24:45.560465Z"} +{"reason":"up to date","event":"migration.completed","level":"info","ts":"2026-10-29T23:54:18.438982Z"} exit=0 $ make storage-evidence && tail -4 evidence/secrets.txt sh scripts/evidence-storage.sh @@ -264,9 +264,9 @@ local mtusi2026lab3-clean_pgdata local mtusi2026lab3-clean_valkeydata exit=0 $ make down -docker compose down - Container mtusi2026lab3-clean-lb-1 Stopping +docker compose --profile bench down Container mtusi2026lab3-clean-api-2 Stopping + Container mtusi2026lab3-clean-lb-1 Stopping Container mtusi2026lab3-clean-api-1 Stopping Container mtusi2026lab3-clean-lb-1 Stopped Container mtusi2026lab3-clean-lb-1 Removing @@ -277,18 +277,18 @@ docker compose down Container mtusi2026lab3-clean-api-1 Removing Container mtusi2026lab3-clean-api-2 Removed Container mtusi2026lab3-clean-api-1 Removed - Container mtusi2026lab3-clean-valkey-1 Stopping Container mtusi2026lab3-clean-migrate-1 Stopping + Container mtusi2026lab3-clean-valkey-1 Stopping Container mtusi2026lab3-clean-migrate-1 Stopped Container mtusi2026lab3-clean-migrate-1 Removing Container mtusi2026lab3-clean-migrate-1 Removed Container mtusi2026lab3-clean-postgres-1 Stopping - Container mtusi2026lab3-clean-valkey-1 Stopped - Container mtusi2026lab3-clean-valkey-1 Removing Container mtusi2026lab3-clean-postgres-1 Stopped Container mtusi2026lab3-clean-postgres-1 Removing - Container mtusi2026lab3-clean-valkey-1 Removed + Container mtusi2026lab3-clean-valkey-1 Stopped + Container mtusi2026lab3-clean-valkey-1 Removing Container mtusi2026lab3-clean-postgres-1 Removed + Container mtusi2026lab3-clean-valkey-1 Removed Network mtusi2026lab3-clean_edge Removing Network mtusi2026lab3-clean_backend Removing Network mtusi2026lab3-clean_backend Removed @@ -300,11 +300,11 @@ mtusi2026lab3-clean_valkeydata exit=0 $ make reset-data Удаляются volumes с учебными данными стенда -docker compose down -v --remove-orphans - Volume mtusi2026lab3-clean_pgdata Removing +docker compose --profile bench down -v --remove-orphans Volume mtusi2026lab3-clean_valkeydata Removing - Volume mtusi2026lab3-clean_pgdata Removed + Volume mtusi2026lab3-clean_pgdata Removing Volume mtusi2026lab3-clean_valkeydata Removed + Volume mtusi2026lab3-clean_pgdata Removed exit=0 $ docker volume ls --format '{{.Name}}' --filter name=mtusi2026lab3-clean | wc -l | tr -d ' ' 0 diff --git a/openspec/changes/close-lab3-review-gaps/tasks.md b/openspec/changes/close-lab3-review-gaps/tasks.md index c9020521..5121dd4c 100644 --- a/openspec/changes/close-lab3-review-gaps/tasks.md +++ b/openspec/changes/close-lab3-review-gaps/tasks.md @@ -21,7 +21,8 @@ - [x] 3.3 `make level4`: limits, lb-check, detection ×3, failover-each, rolling-update, rolling-update `FROM_REV=8d28d45` - [ ] 3.4 `make track1-control`: пул и `maxconn` на 8×1, 8×0,5 против 4×1 - [x] 3.5 Запуск из чистого clone с нестандартным портом без `BASE_URL` -- [ ] 3.6 Проверка группы: все файлы `evidence/` несут коммит не раньше кода +- [x] 3.6 Повтор 3.1–3.3 и 3.5 после переноса исправлений лабы 2 (`a59e3a3`): уровни «3»/«4» на `b1c80ee`, чистый clone на `f5fea5c` +- [ ] 3.7 Проверка группы: все файлы `evidence/` несут коммит не раньше кода ## 4. Отчёт