diff --git a/REPORT.md b/REPORT.md index e80cfdb0..bdc4f392 100644 --- a/REPORT.md +++ b/REPORT.md @@ -8,7 +8,8 @@ HAProxy 3.2 Configuration Manual (health checks, resolvers, `retry-on`, `http-error`, `init-state`), Grafana k6 (`constant-arrival-rate`, `handleSummary`), uvicorn и gunicorn (порядок graceful shutdown), документация Docker Compose (`deploy.replicas`, `depends_on`, secrets), PostgreSQL (`SELECT … FOR UPDATE`, `INSERT … ON CONFLICT`, - уровни изоляции), IETF draft «The Idempotency-Key HTTP Header Field». Решение перенесено из моей лабы 2 и + уровни изоляции, `WITH` с изменяющими данные операторами, `pg_stat_activity` и `pg_stat_statements`), IETF draft + «The Idempotency-Key HTTP Header Field», N. Gunther — Universal Scalability Law. Решение перенесено из моей лабы 2 и выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами, перечисленными ниже. ## Запуск из чистого clone @@ -68,6 +69,14 @@ make rolling-update # замена текущей сборкой (экв Генератор нагрузки — сервис `k6` под профилем `bench` (с `make up` не стартует); `RATE` задаёт интенсивность. +Трек 1 «Цена масштабирования» — одна команда на всё и одна на графики (≈2,5 ч на тихой машине; база очищается +перед каждой конфигурацией, после серий стенд возвращается к обычной конфигурации): + +```sh +make track1 # снимок хоста, серия A (1x4/2x2/4x1), серия B (1x1/2x1/8x1), до/после на 8x1, графики +make plots # только графики и сводка потолков из готовых evidence/track1/*/summary.csv +``` + **Версии и стенд:** Python 3.14.7 в образе `python:3.14-slim-trixie@sha256:51dafde8…`, `haproxy:3.2.26-alpine@sha256:58938405…`, `postgres:17.11-alpine@sha256:266d3c25…`, `valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uv 0.9.7 по digest, Docker 28.3.2, Compose 2.38.2. Машина — @@ -103,19 +112,22 @@ advisory lock, тесты стенда (`make test-faults`). Уже в лабе **Идемпотентная отправка (зона `messaging`).** Таблица `idempotency_keys (chat_id, user_id, key, fingerprint, message_id, created_at)`, PK `(chat_id, user_id, key)` — область «пользователь + метод + путь чата + ключ» (ключ бывает только у `POST …/messages`), FK `(chat_id, user_id) → chat_members` и `message_id → messages`, -`CHECK` формата ключа и длины отпечатка. Обработчик в одной транзакции: +`CHECK` формата ключа и длины отпечатка. После трека 1 отправка — **одна команда SQL** без явной транзакции +(`PostgresMessageLog.post`, порт `MessageLog`; до трека было пять обращений, три из них под блокировкой чата): -1. `SELECT … FROM chats WHERE id = $1 FOR UPDATE` → `404`, если чата нет; -2. членство (`404`), затем текст (`400`) — в памяти; -3. квитанция по PK, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же отпечаток → сохранённое сообщение (`201`, тот же - `MessageOut`, `created_at` хранится с микросекундами); другой → `409 conflict`; -4. квитанции нет → один оператор: `INSERT messages` + `INSERT idempotency_keys … ON CONFLICT DO UPDATE` - (перезапись истёкшего ключа) + `UPDATE chats.last_message_at`; `COMMIT`. +1. CTE `chat`: строка чата `FOR UPDATE`, соединённая с членством отправителя; нет строки → `404`; +2. `created_at = GREATEST(часы реплики, last_message_at + 1 мкс)` — история чата не идёт назад; +3. `INSERT idempotency_keys … ON CONFLICT DO UPDATE … WHERE` ключ истёк — живой ключ не трогается; +4. `INSERT messages` только если ключ записан, `UPDATE chats.last_message_at`; команда фиксируется сама; +5. ключ занят → вторая команда вне блокировки читает квитанцию, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же + отпечаток → сохранённое сообщение (`201`, тот же `MessageOut`, `created_at` с микросекундами); другой → `409`. -Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» нет, поэтому после -гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз. Одновременные повторы -одного ключа всегда идут в один чат и ждут на блокировке его строки; следующий оператор в `READ COMMITTED` -видит зафиксированную квитанцию. Отпечаток — SHA-256 канонического JSON распарсенной модели, поэтому +Текст проверяется до записи; если он невалиден, отдельным чтением проверяется членство, чтобы посторонний +получил `404`, а не `400`. Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» +нет, поэтому после гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз. +Одновременные повторы одного ключа всегда идут в один чат и ждут на блокировке его строки; дождавшийся +получает конфликт ключа, а следующая команда в `READ COMMITTED` видит зафиксированную квитанцию. Внешний ключ +квитанции на сообщение проверяется в конце команды, поэтому ключ можно вставить раньше сообщения. Отпечаток — SHA-256 канонического JSON распарсенной модели, поэтому порядок полей и пробелы не важны. Ответы `4xx`/`5xx` ничего не пишут; `lock_timeout` теперь `503`, а не `500`. Отвергнуто: `SET NX` в Valkey (не атомарен с `COMMIT`), отдельный маркер «processing» (залипает после отказа). @@ -221,6 +233,7 @@ k6 2/512m (`make limits` сверяет их и изоляцию с полити | — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 5 с (заданы в compose и образе) | | — | `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` | 1 с и 2 с: ожидание соединения из пула и `statement_timeout` = `lock_timeout` | | — | `K6_CPUS`, `K6_MEMORY` | лимиты генератора нагрузки (профиль `bench`) | +| — | `API_CPUSET`, `LB_CPUSET`, `PG_CPUSET`, `VALKEY_CPUSET`, `K6_CPUSET` | закрепление за CPU для трека 1; пусто — не закреплено | | — | `CURSOR_SECRET_FILE` | общий ключ подписи курсора для всех реплик | ## Доказательства критериев @@ -261,6 +274,18 @@ k6 2/512m (`make limits` сверяет их и изоляцию с полити | **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 904/0, все реплики новые; все счётчики LB 0. Слои образа те же, ID отличается только provenance-аттестацией BuildKit — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` | | **4.4** Миграции однократно и совместимы с работающей версией | `scripts/rolling-update.sh`; `make storage-evidence` | `migrate` запускается один раз до замены первой реплики (`migration.completed up to date`), реплики схему не трогают, `migrate` под `pg_advisory_lock`; между уровнями «3» и «4» схема не менялась; `0002_idempotency_keys` только добавляет таблицу, код лабы 2 её не замечает | `evidence/rolling*/action.txt`, `evidence/migrations.txt` | +**Трек 1 «Цена масштабирования».** Подробности, таблицы и выводы — в разделе трека ниже. + +| Критерий трека | Команда/сценарий | Наблюдаемый результат | Файл доказательства | +| --- | --- | --- | --- | +| Гипотеза и повторяемая методика | `openspec/changes/archive/*-add-lab3-scaling-cost/`; `make track1` | гипотезы H1–H3 записаны до замеров (коммит предложения); серии, сравнение и графики — одной командой | `evidence/track1/host.txt`, `evidence/track1/README.md` | +| 1/2/4 реплики при фиксированном суммарном CPU/RAM | `make track1-a` (4 CPU / 2 GiB, воркеров = CPU, пул 32 и очередь LB 128 во всех вариантах, CPU закреплены) | пик успешных RPS: 1×4 — 5 375, 2×2 — 4 964, 4×1 — 4 724; потолок по SLO у всех 4 560 rps, но p95 там 9 / 69 / 150 мс | `evidence/track1/series-a/summary.csv`, `plots/series-a-*.png` | +| Серия с ростом ресурсов | `make track1-b` (1→2→4→8 реплик по 1 CPU) | пик 1 720 → 2 936 → 4 724 → **4 260**: восемь реплик хуже четырёх; USL σ = 0,014, κ = 0,038, максимум около 5 реплик | `evidence/track1/series-b/summary.csv`, `plots/scaling.png` | +| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 7 — `idle in transaction`, `SELECT … FOR UPDATE` чата — 14,2 мс и 97 % времени операторов | `evidence/track1/series-b/base-8x1_rate5400_rep*/`, `plots/utilisation.png` | +| Графики и сырые данные | `make plots` | RPS и p95/p99 от нагрузки, CPU по компонентам, пик от CPU с USL, загрузка звеньев на пике, сводка потолков | `evidence/track1/plots/` | +| Одно подтверждённое улучшение (до/после при тех же ресурсах) | `make track1-compare` (8×1, образ `edc091d` против текущего, чередование по повторам) | запись сообщения одной командой: при 3 600 rps p95 64,5 → 3,7 мс, CPU API −14 %, PostgreSQL −26 %; пик 4 252 → 4 894 rps (+15 %), интервалы повторов не пересекаются | `evidence/track1/compare/summary.csv`, `plots/compare-*.png` | +| Улучшение не ломает уровни «3» и «4» | `make student-test`, `make test`, 20 гонок ключа через LB, `make test-failover`, `make test-persistence` на новом образе | 240 passed; smoke `PASS`; 160 × `201`, 20/20 раундов с одной копией и `409`; failover 131 запись, 0 ошибок, 2,73 с; persistence `PASS` | `evidence/track1/after-checks.txt` | + ## Эксперименты и отказы Стенд: 2 реплики × (1 CPU, 512 MiB, 2 воркера), PostgreSQL 2 CPU / 1 GiB, HAProxy 1 CPU / 128 MiB, Valkey @@ -285,6 +310,136 @@ k6 100 rps плюс зонд (см. выше). | Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 9000, зонд 0 из 897; старые реплики без окна: `wredis` 54, `eresp` 2 | замена двух реплик за 7.7 с | | Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 904, все счётчики LB 0 | 11.8 с | +### Трек 5 — трек 1 «Цена масштабирования» + +**Гипотезы** (записаны в предложении до первого прогона). H1: при фиксированном бюджете API 4 CPU / 2 GiB +конфигурации 1×4, 2×2 и 4×1 дают одинаковый потолок в пределах ±15 %: упор — суммарный CPU интерпретатора, а +4×1 хуже по p99 из-за мелкой квоты CFS. H2: с 1 CPU на реплику пропускная способность растёт почти линейно до +4 реплик (≥3,2× от одной), от 4 к 8 — меньше чем в 1,5 раза, потому что насыщается общий PostgreSQL: блокировка +строки горячего чата (`SELECT … FOR UPDATE` держится три обращения к БД) и CPU у лимита; LB не узкое место. +H3: мера против найденного узкого места даёт ≥15 % потолка или вдвое меньший p95 при той же нагрузке и тех +же ресурсах. + +**Методика** (`make track1`; `scripts/scaling.py`, сэмплеры `scripts/{docker,lb,pg}-stats.sh`, графики +`tools/plot_track1.py`): + +- Стенд: Apple M4 Max, VM Docker Desktop 16 CPU / 7,65 ГиБ, Docker 28.3.2; образы — по digest (`host.txt`). + Каждый компонент закреплён за своими CPU (`cpuset`): PostgreSQL 0–1 (2 CPU, 1 GiB, `max_connections=200`), + HAProxy 2 (1 CPU, 128 MiB), Valkey 3 (0,5 CPU), k6 4–6 (3 CPU, 1 GiB), реплики API — с 7-го ровно R×C CPU. +- Конфигурация `R×C`: R реплик по C CPU, воркеров gunicorn = C, пул asyncpg 8 на воркер, `maxconn` LB 32 на + воркер. В серии A у всех вариантов одни и те же CPU 7–10, 2048/R MiB на реплику, 32 соединения с БД и 128 + одновременных запросов к API — сравниваются реплики, а не очереди. В серии B — 1 CPU, 512 MiB, 1 воркер на + реплику; точка 4×1 общая с серией A. +- Нагрузка: k6 `constant-arrival-rate` (открытая модель, без coordinated omission) из сети `edge` в `lb:8080`, + профиль уровня «4»: 80 % `POST` сообщения с уникальным `Idempotency-Key`, 20 % чтения первой страницы истории, + на прогон 20 новых пользователей и 10 чатов. Прогрев 10 с, замер 30 с, метрики только по окну замера. + Интенсивности — геометрическая сетка ×1,5 от 150 rps на CPU (A) и 450 rps на CPU (B), пока два шага подряд не + насыщены во всех повторах. **3 повтора на точку**, 123 принятых прогона, 9,6 млн запросов. +- Набор данных: перед каждой конфигурацией `down -v`, затем база растёт от прогона к прогону; размер в каждой + строке (`db_mb`, `messages`): 15 МБ в начале, до 945 МБ и 2 млн сообщений в конце серии A, 1,8 ГБ в конце + сравнения. +- Насыщение шага: ошибок > 1 %, сброшенных итераций > 1 % или p95 > 500 мс; интенсивность насыщена, если + насыщено большинство повторов. Потолок по SLO — наибольшая ненасыщенная интенсивность (грубо, шаг ×1,5), + пик — наибольшая медиана успешных RPS (в открытой модели при перегрузке это и есть пропускная способность). +- Сырьё прогона: итог k6, `docker stats` и счётчики `/proc/stat` всей VM, HAProxy CSV и `pg_stat_activity` раз в + секунду, топ `pg_stat_statements`. Соседние стенды других лаб на той же VM мешали (сборки образов, тесты с + контейнерами): прогон, где CPU VM вне контейнеров стенда больше одного ядра, сэмплы прерывались дольше 10 с или + k6 шёл на 90 с дольше нагрузки, отбраковывается в `disturbed.csv` и повторяется после 15 с тишины (серия A — + 12 отбраковок, B — 0, сравнение — 13). Первая попытка серии A прервана: сборка образа соседней лабы заморозила + Docker API на 15 мин и вдвое подняла CPU реплик на запрос (`aborted/series-a-1-summary.csv`). + +**Серия A — фиксированный бюджет 4 CPU / 2 GiB** (медиана 3 повторов, в скобках min–max; «на пике» — при 6 830 +rps): + +| Конфигурация | p95 при 3 040 / 4 560 rps, мс | Потолок по SLO, rps | Пик успешных RPS | CPU API на запрос при 3 040 rps | Память API | На пике: CPU API / PostgreSQL / LB, % ядра | На пике: ждут блокировку / `idle in transaction` из 32 | +| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | +| 1×4 | 2,9 / 9,3 | 4 560 | **5 375** (5 332–5 384) | 0,70 мс | 367 МиБ | 378 / 178 / 42 | 15,7 / 6,2 | +| 2×2 | 4,5 / 68,8 | 4 560 | 4 964 (4 894–5 104) | 0,80 мс | 2 × 214 МиБ | 379 / 173 / 41 | 16,0 / 6,9 | +| 4×1 | 35,0 / 150,3 | 4 560 | 4 724 (4 686–4 794) | 0,93 мс | 4 × 133 МиБ | 381 / 164 / 40 | 15,3 / 6,8 | + +**Серия B — рост ресурсов** (1 CPU, 512 MiB, 1 воркер на реплику): + +| Конфигурация | Потолок по SLO, rps | Пик успешных RPS | Ускорение к 1×1 | Эффективность на CPU | На пике: CPU API / лимит | CPU PostgreSQL / 200 | CPU LB | Ждут блокировку / `idle in transaction` / пул | Очередь LB | +| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | +| 1×1 | 1 520 | 1 720 (1 674–1 722) | 1,00 | 100 % | 102 / 100 | 47 | 13 | 0,2 / 3,4 / 8 | 968 | +| 2×1 | 2 020 | 2 936 (2 868–2 998) | 1,71 | 85 % | 201 / 200 | 94 | 23 | 2,4 / 6,3 / 16 | 936 | +| 4×1 (из A) | 4 560 | 4 724 (4 686–4 794) | 2,75 | 69 % | 381 / 400 | 164 | 40 | 15,3 / 6,8 / 32 | 872 | +| 8×1 | 3 600 | **4 260** (4 217–4 424) | 2,48 | 31 % | 473 / 800 | 178 | 40 | **47,5** / 6,8 / 64 | 744 | + +Ошибок нет ни в одном принятом прогоне (доля неуспешных ≤ 0,02 %): перегрузка проявляется как очередь в LB +(до 1 000 ждущих VU k6), рост задержки и сброшенные итерации, а не как `5xx`, — таймауты `lock_timeout` 2 с и +`timeout queue` 3 с не достигались. Генератор нагрузки не был узким местом: k6 ≤ 84 % из 300 %, Valkey ≤ 12 % ядра. +Память: API 116–374 МиБ на контейнер, PostgreSQL до 661 МиБ, k6 до 675 МиБ. + +USL по пикам серии B (N = 1, 2, 4, 8 CPU): σ = 0,014 (последовательная доля), κ = 0,038 (стоимость +согласования), максимум при N* = √((1−σ)/κ) ≈ 5 реплик, дальше — спад (`plots/scaling.png`). + +**Точка насыщения и почему реплики перестают помогать.** До двух реплик упор — CPU API (100 % лимита), +PostgreSQL загружен наполовину. С четырёх реплик API, PostgreSQL и блокировки упираются почти одновременно, а +на восьми ресурсы простаивают: у API свободно 40 % CPU, у LB — 60 % ядра, у PostgreSQL — 11 %, и всё же пик +ниже, чем у четырёх реплик. Насыщена **критическая секция записи в чат**: в профиле 10 чатов, запись в чат +сериализуется блокировкой его строки, поэтому одновременно идут не больше 10 записей, а остальные транзакции +держат соединения пула и ждут (`pg_stat_activity`: 47,5 из 64 соединений в `Lock: tuple/transactionid`, пул +исчерпан — свободных 6). `SELECT … FOR UPDATE` чата длится в среднем 14,2 мс, 97 % времени всех операторов +(`pg_statements.csv`), и около 7 соединений стоят `idle in transaction`: держатель блокировки ждёт, пока event +loop реплики отправит следующий оператор. Каждая новая реплика добавляет пул из 8 соединений и параллельных +писателей в те же 10 строк — больше ожидающих, больше пробуждений и переключений в PostgreSQL, длиннее очередь +event loop у держателей, а последовательная часть не уменьшается: это и есть рост κ по USL. LB (40 % ядра) +и пул (размер не ограничивает — его занимают ждущие) — следствия, а не причина. Серия A +добавляет вторую цену дробления: CPU API на запрос растёт с числом процессов-реплик (0,70 мс у 1×4, 0,93 у 4×1, +1,1–1,2 у 8×1 против 0,6–0,7 у одной), память — тоже (367 МиБ одной репликой против 532 МиБ четырьмя). + +**Улучшение: запись сообщения одной командой SQL** (выбрано по узкому месту серии B; обоснование и отвергнутые +варианты — `design.md` изменения). Блокировка строки чата, проверка участия, отметка времени, ключ и сообщение — +одна команда с неявной транзакцией, без обращений к приложению под блокировкой (раздел «Идемпотентная отправка» +выше). Сравнение — `make track1-compare`: 8×1, те же ресурсы и профиль, образ «до» из `edc091d`, варианты +чередуются по повторам, по 3 повтора: + +| Нагрузка | Вариант | Успешные RPS | p50 / p95 / p99, мс | CPU API / PostgreSQL, % | CPU на запрос API / PG, мс | Ждут блокировку / `idle in transaction` / ждут WAL | +| --- | --- | ---: | ---: | ---: | ---: | ---: | +| 3 600 | до | 3 596 (3 568–3 597) | 2,4 / 64,5 (35,7–142,5) / 122 | 457 / 137 | 1,27 / 0,38 | 12,8 / 4,5 / 1,5 | +| 3 600 | **после** | 3 600 (3 600–3 600) | 1,7 / **3,7** (2,8–5,4) / 12,6 | 391 / 102 | 1,09 / 0,28 | 0,15 / 0 / 1,9 | +| 5 400 | до | 4 252 (4 054–4 396) | 227 / 296 / 349 | 475 / 178 | — | 46,7 / 7,0 / 2,3 | +| 5 400 | **после** | **4 894** (4 494–5 104) | 198 / 246 / 278 | 479 / 179 | — | 46,4 / 0 / 8,5 | +| 8 100 | до | 4 104 (4 001–4 448) | 236 / 311 / 364 | 475 / 178 | — | 47,1 / 7,3 / 1,9 | +| 8 100 | **после** | 4 841 (4 618–5 046) | 202 / 254 / 287 | 462 / 174 | — | 46,3 / 0 / 9,2 | + +Ниже колена (3 600 rps) p95 уменьшился в 17 раз, p99 — в 10, разброс повторов исчез; CPU API на запрос −14 %, +PostgreSQL −26 % (меньше операторов и обращений). За коленом пик вырос на 15 % (при 8 100 rps — на 18 %), +интервалы повторов «до» и «после» не пересекаются. При насыщении соединений `idle in transaction` больше нет, +но пул по-прежнему занят ждущими блокировку: теперь держатель ждёт не приложение, а сброс WAL при фиксации +(`LWLock: WALWrite` 8,5–9 против 2), а CPU PostgreSQL — 89 %. Две строки «после» остались отмеченными как +возмущённые после трёх перезапусков (чужой CPU 105–136 %); это нижние значения варианта, вывод они не +усиливают. Проверки уровней «3» и «4» на новом коде проходят (`after-checks.txt`). + +**Выводы.** + +- H1 **подтверждена частично.** Потолки 1×4, 2×2 и 4×1 действительно в пределах ±15 % (4 724–5 375, −12 % у + 4×1), но различие систематическое и больше разброса: чем мельче реплики, тем дороже запрос по CPU (+33 % у + 4×1) и памяти, и тем раньше растёт хвост (p95 при 4 560 rps — 9, 69 и 150 мс). Упор на пике — не только CPU + API (95 %): у всех трёх половина соединений ждёт блокировку чата. При фиксированном бюджете выгоднее меньше + реплик покрупнее, а число реплик определяется отказоустойчивостью (≥2), а не скоростью. +- H2 **подтверждена с поправкой.** Линейный рост — только до двух реплик (1,71× на 2 CPU), 4 реплики дают 2,75×, + а 8 — **меньше, чем 4** (2,48×): ретроградное масштабирование, κ > 0, максимум около 5 реплик. Насыщенное звено + — общая БД, но не её CPU (89 %) и не `max_connections` (64 из 200), а сериализованная по строке чата запись, + растянутая обращениями к приложению; LB далёк от лимита. +- H3 **подтверждена.** Укорочение критической секции до одной команды дало +15 % пика при тех же ресурсах и в + 17 раз меньший p95 ниже колена. Следующий потолок — фиксация под блокировкой горячей строки (WAL) и CPU + PostgreSQL: его сдвигают только больше чатов в профиле, `synchronous_commit = off` (ценой подтверждённых, но + потерянных при сбое сообщений) или более быстрый диск и больше CPU для БД — новые реплики API не помогут. + +**Ограничения трека.** Один host: k6, LB, API и PostgreSQL делят VM Docker Desktop, закрепление CPU разводит +их по vCPU, но не по физическим ядрам (у M4 Max ядра двух типов), поэтому абсолютные RPS — свойство этой машины, +сравнимы только конфигурации внутри одного прогона. Соседние стенды других лаб работали всё время замеров; +отбраковка ловит нагрузку больше одного ядра, меньшая остаётся шумом (`host-others.csv`). CFS-квоты дают +троттлинг мелких реплик; гипотеза, что из-за него 4×1 дороже по CPU, не проверялась счётчиками `cpu.stat`. +`docker stats` даёт точку раз в 4–6 с, `pg_stat_activity` — раз в секунду, это выборка, а не трасса. +Профиль с 10 чатами нарочно горячий; с тысячами чатов узким местом стали бы CPU API и PostgreSQL, и кривая +серии B была бы ближе к линейной. Сетка ×1,5 делает потолок по SLO грубым, поэтому сравнение идёт по пику. +`maxVUs` k6 ограничен 1 000, поэтому при перегрузке растут сброшенные итерации, а очередь в LB упирается в +1 000. Порт-форвардинг Docker Desktop в замеры не входит — k6 бьёт в `lb` изнутри сети. Сравнение до/после +сделано на одной конфигурации 8×1; третий повтор «после» снят отдельным запуском после сбоя `compose up`. + ## Ограничения и следующие шаги - Один Docker-host: потеря host, LB или PostgreSQL — отказ всего стенда. LB и БД — единственные точки отказа; @@ -295,6 +450,8 @@ k6 100 rps плюс зонд (см. выше). - Таблица ключей растёт вместе с историей (строка на сообщение); истёкшие ключи только перезаписываются при повторном использовании, фоновой очистки нет. - Запись в один горячий чат сериализуется блокировкой строки чата; повтор с ключом берёт ту же блокировку. + После трека 1 блокировка держится одну команду SQL, но фиксация (сброс WAL) остаётся внутри неё — это + следующий потолок для горячих чатов (раздел трека). - Окно вывода из ротации удлиняет каждую остановку реплики на 2 с; оно рассчитано на проверки LB раз в секунду: при большем `inter` окно нужно увеличить (это ловит `test_timeouts.py`). - Время обнаружения измерено одним прогоном на сценарий; верхняя граница — формула по параметрам проверки, а @@ -303,4 +460,7 @@ k6 100 rps плюс зонд (см. выше). (удаление или переименование столбца), потребовала бы двух выпусков expand/contract; в лабе таких нет. - `scripts/rolling-update.sh` и `restore.sh` используют `--no-recreate`: после замены с другим `API_IMAGE` обычный `make up` пересоздаст реплики под текущий конфиг — это ожидаемо. -- Серии 1/2/4 реплик и поиск насыщения — трек «5», следующее изменение. +- Трек 1: подтверждено одно улучшение (запись одной командой, +15 % пика, p95 в 17 раз ниже колена); гипотезы + о троттлинге CFS как причине дорогих мелких реплик и о росте с числом чатов не проверялись. Переход отправки + на одну команду убрал агрегат `Chat` из записи: правила участия и порядка теперь в SQL адаптера и держатся + интеграционными тестами. diff --git a/evidence/track1/README.md b/evidence/track1/README.md index 2a11e9db..58125412 100644 --- a/evidence/track1/README.md +++ b/evidence/track1/README.md @@ -3,11 +3,11 @@ | Файл | Что внутри | Чем получен | | --- | --- | --- | | `host.txt` | `docker stats --all` всего хоста, контейнеры, версии Docker и образов перед серией A | `make track1-host` | -| `host-others.csv` | раз в 10 с весь период замеров: суммарный CPU чужих контейнеров (стенды других лаб) и самый загруженный из них | цикл `docker stats` (команда в `REPORT.md`) | +| `host-others.csv` | раз в 10 с весь период замеров: суммарный CPU чужих контейнеров (стенды других лаб) и самый загруженный из них | цикл `docker stats --no-stream` по контейнерам не из проекта `mtusi2026lab3`, запущенный рядом с сериями | | `aborted/series-a-1-summary.csv` | первая попытка серии A, прерванная из-за сборки образа соседней лабы: шаги с API 410 % при 1 350 rps и паузами Docker API по 15 мин | `make track1-a` до добавления отбраковки | | `series-a/summary.csv` | серия A: 1×4, 2×2, 4×1 при 4 CPU / 2 GiB API, строка на прогон | `make track1-a` | | `series-b/summary.csv` | серия B: 1×1, 2×1, 8×1 по 1 CPU / 512 MiB (4×1 — из серии A) | `make track1-b` | -| `compare/summary.csv` | улучшение: «до» и «после» на 8×1, чередование по повторам | `make track1-compare` | +| `compare/summary.csv` | улучшение: «до» (образ `edc091d`) и «после» на 8×1, чередование по повторам; третий повтор «после» снят отдельно после сбоя `compose up` при работе соседних тестов | `make track1-compare`, затем `python3 scripts/scaling.py --out evidence/track1/compare --configs 8x1 --api-memory 512 --rates 3600,5400,8100 --variant after --repeats 1 --first-repeat 3` | | `*/disturbed.csv` | отбракованные прогоны (чужой CPU в VM > 1 ядра, разрыв сэмплов > 10 с или k6 дольше нагрузки на 90 с); каждый повторён после 15 с тишины | `scripts/scaling.py` | | `<серия>/<вариант>-_rate_rep/` | сырьё прогона: `k6/summary.json` (итог k6 без токенов), `k6/k6.txt`, `docker_stats.csv`, `vm_stat.csv` (счётчики `/proc/stat` всей VM), `lb_stats.csv` (HAProxy CSV), `pg_activity.csv` (`pg_stat_activity` по state/wait_event), `pg_statements.csv` (топ-20 `pg_stat_statements` за прогон) | `scripts/scaling.py` | | `plots/*.png`, `plots/capacity.csv`, `plots/capacity.md` | графики и сводка потолков | `make plots` | diff --git a/evidence/track1/after-checks.txt b/evidence/track1/after-checks.txt new file mode 100644 index 00000000..e9ca3bd4 --- /dev/null +++ b/evidence/track1/after-checks.txt @@ -0,0 +1,29 @@ +date: 2026-10-28T22:38:18Z commit: dde113b image: sha256:946c868dc7f4 + +$ make test BASE_URL=http://localhost:18083 +python3 tests/smoke.py --base-url "http://localhost:18083" +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. + +$ python3 scripts/probe.py check --rounds 20 # 40 GET одним токеном + 20 раундов по 8 POST с одним ключом +{"instances_one_token": {"d078349e7c33": 20, "1de09c7a8c9d": 20}, "same_key": {"rounds": 20, "parallel": 8, "statuses": {"201": 160}, "instances": {"d078349e7c33": 80, "1de09c7a8c9d": 80}, "identical_bodies_rounds": 20, "single_copy_rounds": 20, "conflict_rounds": 20}, "pass": true} + +$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:18083 +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 131, "failed_attempts": 0, "first_recovery_seconds": 2.728} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. + +$ docker ps -a --filter label=com.docker.compose.service=api +mtusi2026lab3-api-6 Exited (0) 12 seconds ago +mtusi2026lab3-api-1 Up About a minute (healthy) + +$ make restore + Container mtusi2026lab3-api-1 Healthy +mtusi2026lab3-api-1 Up About a minute (healthy) +mtusi2026lab3-api-6 Up 2 seconds (healthy) + +$ make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:18083 +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. + +$ make student-test +240 passed, 10 deselected in 19.71s diff --git a/evidence/track1/host-others.csv b/evidence/track1/host-others.csv index 7fa40cce..45989091 100644 --- a/evidence/track1/host-others.csv +++ b/evidence/track1/host-others.csv @@ -780,3 +780,25 @@ ts,others_cpu_pct,busiest 1793227017,0.0, 1793227030,0.0, 1793227042,0.0, +1793227055,0.0, +1793227067,0.0, +1793227080,0.0, +1793227093,0.0, +1793227105,0.0, +1793227118,0.0, +1793227131,0.0, +1793227144,0.0, +1793227157,0.0, +1793227169,0.0, +1793227182,0.0, +1793227195,0.0, +1793227207,0.0, +1793227220,0.8,mtusi-lab3-test-13cde6f0 +1793227232,0.0, +1793227245,0.0, +1793227258,0.0, +1793227270,0.0, +1793227283,0.0, +1793227296,0.0, +1793227309,0.0, +1793227321,0.0, diff --git a/evidence/track1/plots/capacity.csv b/evidence/track1/plots/capacity.csv new file mode 100644 index 00000000..74fe1932 --- /dev/null +++ b/evidence/track1/plots/capacity.csv @@ -0,0 +1,9 @@ +series,variant,config,rates,capacity_rate,capacity_ok_rps,capacity_p95_ms,capacity_p99_ms,peak_rate,peak_ok_rps,peak_ok_min,peak_ok_max,peak_p95_ms,peak_failed_ratio,peak_dropped,cpu_api,cpu_api_limit,cpu_postgres,cpu_lb,cpu_k6,pg_active_avg,pg_lock_avg,pg_idle_tx_avg,pg_idle_avg,pool_total,pg_backends_max,lb_qcur_max +compare,before,8x1,3600 5400 8100,3600,3595.5,64.47,121.74,5400,4251.9,4053.57,4395.83,295.93,0.0,34444.0,474.76,800,177.86,40.67,75.16,49.96,46.65,7.04,6.73,64,64.0,744.0 +compare,after,8x1,3600 5400 8100,3600,3600.07,3.7,12.62,5400,4894.23,4494.23,5103.67,246.02,0.0,15174.0,478.56,800,178.68,45.91,75.67,57.23,46.38,0.0,6.77,64,64.0,743.0 +series-a,base,4x1,600 900 1350 2020 3040 4560 6830,4560,4525.23,150.28,195.8,6830,4723.67,4685.7,4794.17,254.94,0.0,63186.0,380.86,400,163.82,39.5,71.24,18.12,15.35,6.81,6.27,32,32.0,872.0 +series-a,base,2x2,600 900 1350 2020 3040 4560 6830,4560,4553.57,68.8,115.62,6830,4964.13,4893.8,5103.7,253.24,0.0,55978.0,378.58,400,173.09,41.25,76.1,19.27,16.0,6.93,6.38,32,32.0,872.0 +series-a,base,1x4,600 900 1350 2020 3040 4560 6830,4560,4559.87,9.32,38.81,6830,5375.13,5332.13,5383.9,225.42,0.0,43645.0,377.52,400,177.68,41.5,76.07,19.46,15.74,6.19,6.48,32,32.0,871.0 +series-b,base,1x1,450 680 1010 1520 2280 3420,1520,1516.93,93.16,128.96,3420,1719.57,1674.03,1722.2,706.11,0.0,51015.0,101.57,100,47.27,12.91,27.32,1.04,0.23,3.37,3.7,8,8.0,968.0 +series-b,base,2x1,900 1350 2020 3040 4560,2020,2019.87,46.61,83.49,4560,2935.7,2867.83,2998.07,424.71,0.0,48731.0,200.56,200,93.62,23.41,45.1,4.42,2.35,6.3,5.81,16,16.0,936.0 +series-b,base,8x1,3600 5400 8100,3600,3600.03,38.93,99.29,5400,4260.13,4216.63,4423.8,292.0,0.0,34197.0,473.48,800,177.62,39.65,71.33,51.5,47.46,6.81,6.0,64,64.0,744.0 diff --git a/evidence/track1/plots/capacity.md b/evidence/track1/plots/capacity.md new file mode 100644 index 00000000..ad10435d --- /dev/null +++ b/evidence/track1/plots/capacity.md @@ -0,0 +1,12 @@ +| серия | вариант | конфигурация | потолок по SLO, rps | p95 там, мс | пик успешных RPS [min–max] | при нагрузке | CPU API / лимит | CPU PG | CPU LB | ждут блокировку / пул | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | +| compare | before | 8x1 | 3600 | 64.47 | 4252 [4054–4396] | 5400 | 475 / 800 | 178 | 41 | 46.6 / 64 | +| compare | after | 8x1 | 3600 | 3.7 | 4894 [4494–5104] | 5400 | 479 / 800 | 179 | 46 | 46.4 / 64 | +| series-a | base | 4x1 | 4560 | 150.28 | 4724 [4686–4794] | 6830 | 381 / 400 | 164 | 40 | 15.3 / 32 | +| series-a | base | 2x2 | 4560 | 68.8 | 4964 [4894–5104] | 6830 | 379 / 400 | 173 | 41 | 16.0 / 32 | +| series-a | base | 1x4 | 4560 | 9.32 | 5375 [5332–5384] | 6830 | 378 / 400 | 178 | 42 | 15.7 / 32 | +| series-b | base | 1x1 | 1520 | 93.16 | 1720 [1674–1722] | 3420 | 102 / 100 | 47 | 13 | 0.2 / 8 | +| series-b | base | 2x1 | 2020 | 46.61 | 2936 [2868–2998] | 4560 | 201 / 200 | 94 | 23 | 2.4 / 16 | +| series-b | base | 8x1 | 3600 | 38.93 | 4260 [4217–4424] | 5400 | 473 / 800 | 178 | 40 | 47.5 / 64 | + +USL по серии B: σ = 0.0137, κ = 0.03798, пик при N* = 5.1 CPU diff --git a/evidence/track1/plots/compare-cpu.png b/evidence/track1/plots/compare-cpu.png new file mode 100644 index 00000000..e0470d69 Binary files /dev/null and b/evidence/track1/plots/compare-cpu.png differ diff --git a/evidence/track1/plots/compare-throughput.png b/evidence/track1/plots/compare-throughput.png new file mode 100644 index 00000000..3c9f367e Binary files /dev/null and b/evidence/track1/plots/compare-throughput.png differ diff --git a/evidence/track1/plots/scaling.png b/evidence/track1/plots/scaling.png new file mode 100644 index 00000000..a2df070f Binary files /dev/null and b/evidence/track1/plots/scaling.png differ diff --git a/evidence/track1/plots/series-a-cpu.png b/evidence/track1/plots/series-a-cpu.png new file mode 100644 index 00000000..afd1f9ba Binary files /dev/null and b/evidence/track1/plots/series-a-cpu.png differ diff --git a/evidence/track1/plots/series-a-throughput.png b/evidence/track1/plots/series-a-throughput.png new file mode 100644 index 00000000..705a6767 Binary files /dev/null and b/evidence/track1/plots/series-a-throughput.png differ diff --git a/evidence/track1/plots/series-b-cpu.png b/evidence/track1/plots/series-b-cpu.png new file mode 100644 index 00000000..3e590ada Binary files /dev/null and b/evidence/track1/plots/series-b-cpu.png differ diff --git a/evidence/track1/plots/series-b-throughput.png b/evidence/track1/plots/series-b-throughput.png new file mode 100644 index 00000000..68fb879a Binary files /dev/null and b/evidence/track1/plots/series-b-throughput.png differ diff --git a/evidence/track1/plots/utilisation.png b/evidence/track1/plots/utilisation.png new file mode 100644 index 00000000..9d9c0fea Binary files /dev/null and b/evidence/track1/plots/utilisation.png differ diff --git a/openspec/changes/add-lab3-scaling-cost/tasks.md b/openspec/changes/add-lab3-scaling-cost/tasks.md index a284ef59..6ad3cae8 100644 --- a/openspec/changes/add-lab3-scaling-cost/tasks.md +++ b/openspec/changes/add-lab3-scaling-cost/tasks.md @@ -22,10 +22,10 @@ - [x] 4.1 Выбор улучшения по узкому месту серии B, запись в `design.md`: запись сообщения одним оператором SQL - [x] 4.2 Реализация улучшения - [x] 4.3 `make track1-compare`: до и после на той же конфигурации и интенсивностях, ≥3 повтора -- [ ] 4.4 Проверка группы: `make lint`, `make student-test`, `make test` +- [x] 4.4 Проверка группы: `make lint`, `make student-test`, `make test` ## 5. Отчёт -- [ ] 5.1 `make plots`, `evidence/track1/README.md` с картой файлов -- [ ] 5.2 `REPORT.md`: раздел трека 1 — гипотезы, методика, таблицы серий, насыщение, улучшение, ограничения, выводы -- [ ] 5.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test` +- [x] 5.1 `make plots`, `evidence/track1/README.md` с картой файлов +- [x] 5.2 `REPORT.md`: раздел трека 1 — гипотезы, методика, таблицы серий, насыщение, улучшение, ограничения, выводы +- [x] 5.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test` diff --git a/tools/plot_track1.py b/tools/plot_track1.py index 4282719e..957245d4 100644 --- a/tools/plot_track1.py +++ b/tools/plot_track1.py @@ -44,7 +44,7 @@ plt.rcParams.update( VARIANTS = { "before": {"color": MUTED, "marker": "o"}, - "after": {"color": PALETTE[0], "marker": "s"}, + "after": {"color": PALETTE[1], "marker": "s"}, } @@ -226,6 +226,16 @@ def scaling(rows, out): if r: look = style(config) axis.plot(4, r["peak_ok_rps"], linestyle="none", label=f"серия A: {config}", **look) + after = [r for r in rows if r["variant"] == "after"] + for r in after: + width = r["cpu_api_limit"] / 100 + axis.plot( + width, + r["peak_ok_rps"], + linestyle="none", + label=f"{r['config']} после улучшения", + **VARIANTS["after"], + ) axis.set_xlabel("Суммарный CPU реплик API") axis.set_ylabel("Пик успешных RPS") axis.set_title("Пропускная способность от ресурсов API")