Report track 1 with plots and the checks after the improvement

make plots draws throughput and latency against offered load for both
series and the comparison, CPU per component, peak RPS against API
CPU with the USL fit and the improved 8x1 point, and the utilisation of
every link at each peak; capacity.md tabulates the ceilings.

after-checks.txt holds the level 3 and 4 checks on the new image:
student tests 240 passed, smoke PASS, 20 same-key races of 8 through
the balancer with 160 x 201 and one copy each, failover with 131
writes and no failure in 2.73 s, persistence PASS.

REPORT.md gains the track section: hypotheses as stated before the
runs, the method and its equal-resource rules, both series in tables,
the saturation point with database, balancer and pool figures, the
USL reading, the before and after table, conclusions per hypothesis
and the limits of a shared single host. The idempotent send section
now describes the one-statement write, the evidence table has the
track rows and the commands are in the clean clone section.

Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
This commit is contained in:
Artyom
2026-10-29 01:42:08 +03:00
co-authored by Claude Opus 5.5
parent dde113b4ed
commit 3e63b16ca6
16 changed files with 262 additions and 20 deletions
+173 -13
View File
@@ -8,7 +8,8 @@
HAProxy 3.2 Configuration Manual (health checks, resolvers, `retry-on`, `http-error`, `init-state`), Grafana k6
(`constant-arrival-rate`, `handleSummary`), uvicorn и gunicorn (порядок graceful shutdown), документация Docker
Compose (`deploy.replicas`, `depends_on`, secrets), PostgreSQL (`SELECT … FOR UPDATE`, `INSERT … ON CONFLICT`,
уровни изоляции), IETF draft «The Idempotency-Key HTTP Header Field». Решение перенесено из моей лабы 2 и
уровни изоляции, `WITH` с изменяющими данные операторами, `pg_stat_activity` и `pg_stat_statements`), IETF draft
«The Idempotency-Key HTTP Header Field», N. Gunther — Universal Scalability Law. Решение перенесено из моей лабы 2 и
выполнено с помощью Claude Code; код, стенд и отказы проверены прогонами, перечисленными ниже.
## Запуск из чистого clone
@@ -68,6 +69,14 @@ make rolling-update # замена текущей сборкой (экв
Генератор нагрузки — сервис `k6` под профилем `bench` (с `make up` не стартует); `RATE` задаёт интенсивность.
Трек 1 «Цена масштабирования» — одна команда на всё и одна на графики (≈2,5 ч на тихой машине; база очищается
перед каждой конфигурацией, после серий стенд возвращается к обычной конфигурации):
```sh
make track1 # снимок хоста, серия A (1x4/2x2/4x1), серия B (1x1/2x1/8x1), до/после на 8x1, графики
make plots # только графики и сводка потолков из готовых evidence/track1/*/summary.csv
```
**Версии и стенд:** Python 3.14.7 в образе `python:3.14-slim-trixie@sha256:51dafde8…`,
`haproxy:3.2.26-alpine@sha256:58938405…`, `postgres:17.11-alpine@sha256:266d3c25…`,
`valkey/valkey:8.1.11-alpine@sha256:2602ace2…`, uv 0.9.7 по digest, Docker 28.3.2, Compose 2.38.2. Машина —
@@ -103,19 +112,22 @@ advisory lock, тесты стенда (`make test-faults`). Уже в лабе
**Идемпотентная отправка (зона `messaging`).** Таблица `idempotency_keys (chat_id, user_id, key, fingerprint,
message_id, created_at)`, PK `(chat_id, user_id, key)` — область «пользователь + метод + путь чата + ключ»
(ключ бывает только у `POST …/messages`), FK `(chat_id, user_id) → chat_members` и `message_id → messages`,
`CHECK` формата ключа и длины отпечатка. Обработчик в одной транзакции:
`CHECK` формата ключа и длины отпечатка. После трека 1 отправка — **одна команда SQL** без явной транзакции
(`PostgresMessageLog.post`, порт `MessageLog`; до трека было пять обращений, три из них под блокировкой чата):
1. `SELECT … FROM chats WHERE id = $1 FOR UPDATE` → `404`, если чата нет;
2. членство (`404`), затем текст (`400`) — в памяти;
3. квитанция по PK, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же отпечаток → сохранённое сообщение (`201`, тот же
`MessageOut`, `created_at` хранится с микросекундами); другой → `409 conflict`;
4. квитанции нет → один оператор: `INSERT messages` + `INSERT idempotency_keys … ON CONFLICT DO UPDATE`
(перезапись истёкшего ключа) + `UPDATE chats.last_message_at`; `COMMIT`.
1. CTE `chat`: строка чата `FOR UPDATE`, соединённая с членством отправителя; нет строки → `404`;
2. `created_at = GREATEST(часы реплики, last_message_at + 1 мкс)` — история чата не идёт назад;
3. `INSERT idempotency_keys … ON CONFLICT DO UPDATE … WHERE` ключ истёк — живой ключ не трогается;
4. `INSERT messages` только если ключ записан, `UPDATE chats.last_message_at`; команда фиксируется сама;
5. ключ занят → вторая команда вне блокировки читает квитанцию, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же
отпечаток → сохранённое сообщение (`201`, тот же `MessageOut`, `created_at` с микросекундами); другой → `409`.
Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» нет, поэтому после
гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз. Одновременные повторы
одного ключа всегда идут в один чат и ждут на блокировке его строки; следующий оператор в `READ COMMITTED`
видит зафиксированную квитанцию. Отпечаток — SHA-256 канонического JSON распарсенной модели, поэтому
Текст проверяется до записи; если он невалиден, отдельным чтением проверяется членство, чтобы посторонний
получил `404`, а не `400`. Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке»
нет, поэтому после гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз.
Одновременные повторы одного ключа всегда идут в один чат и ждут на блокировке его строки; дождавшийся
получает конфликт ключа, а следующая команда в `READ COMMITTED` видит зафиксированную квитанцию. Внешний ключ
квитанции на сообщение проверяется в конце команды, поэтому ключ можно вставить раньше сообщения. Отпечаток — SHA-256 канонического JSON распарсенной модели, поэтому
порядок полей и пробелы не важны. Ответы `4xx`/`5xx` ничего не пишут; `lock_timeout` теперь `503`, а не `500`.
Отвергнуто: `SET NX` в Valkey (не атомарен с `COMMIT`), отдельный маркер «processing» (залипает после отказа).
@@ -221,6 +233,7 @@ k6 2/512m (`make limits` сверяет их и изоляцию с полити
| — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 5 с (заданы в compose и образе) |
| — | `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` | 1 с и 2 с: ожидание соединения из пула и `statement_timeout` = `lock_timeout` |
| — | `K6_CPUS`, `K6_MEMORY` | лимиты генератора нагрузки (профиль `bench`) |
| — | `API_CPUSET`, `LB_CPUSET`, `PG_CPUSET`, `VALKEY_CPUSET`, `K6_CPUSET` | закрепление за CPU для трека 1; пусто — не закреплено |
| — | `CURSOR_SECRET_FILE` | общий ключ подписи курсора для всех реплик |
## Доказательства критериев
@@ -261,6 +274,18 @@ k6 2/512m (`make limits` сверяет их и изоляцию с полити
| **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 904/0, все реплики новые; все счётчики LB 0. Слои образа те же, ID отличается только provenance-аттестацией BuildKit — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` |
| **4.4** Миграции однократно и совместимы с работающей версией | `scripts/rolling-update.sh`; `make storage-evidence` | `migrate` запускается один раз до замены первой реплики (`migration.completed up to date`), реплики схему не трогают, `migrate` под `pg_advisory_lock`; между уровнями «3» и «4» схема не менялась; `0002_idempotency_keys` только добавляет таблицу, код лабы 2 её не замечает | `evidence/rolling*/action.txt`, `evidence/migrations.txt` |
**Трек 1 «Цена масштабирования».** Подробности, таблицы и выводы — в разделе трека ниже.
| Критерий трека | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Гипотеза и повторяемая методика | `openspec/changes/archive/*-add-lab3-scaling-cost/`; `make track1` | гипотезы H1–H3 записаны до замеров (коммит предложения); серии, сравнение и графики — одной командой | `evidence/track1/host.txt`, `evidence/track1/README.md` |
| 1/2/4 реплики при фиксированном суммарном CPU/RAM | `make track1-a` (4 CPU / 2 GiB, воркеров = CPU, пул 32 и очередь LB 128 во всех вариантах, CPU закреплены) | пик успешных RPS: 1×4 — 5 375, 2×2 — 4 964, 4×1 — 4 724; потолок по SLO у всех 4 560 rps, но p95 там 9 / 69 / 150 мс | `evidence/track1/series-a/summary.csv`, `plots/series-a-*.png` |
| Серия с ростом ресурсов | `make track1-b` (1→2→4→8 реплик по 1 CPU) | пик 1 720 → 2 936 → 4 724 → **4 260**: восемь реплик хуже четырёх; USL σ = 0,014, κ = 0,038, максимум около 5 реплик | `evidence/track1/series-b/summary.csv`, `plots/scaling.png` |
| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 7 — `idle in transaction`, `SELECT … FOR UPDATE` чата — 14,2 мс и 97 % времени операторов | `evidence/track1/series-b/base-8x1_rate5400_rep*/`, `plots/utilisation.png` |
| Графики и сырые данные | `make plots` | RPS и p95/p99 от нагрузки, CPU по компонентам, пик от CPU с USL, загрузка звеньев на пике, сводка потолков | `evidence/track1/plots/` |
| Одно подтверждённое улучшение (до/после при тех же ресурсах) | `make track1-compare` (8×1, образ `edc091d` против текущего, чередование по повторам) | запись сообщения одной командой: при 3 600 rps p95 64,5 → 3,7 мс, CPU API −14 %, PostgreSQL −26 %; пик 4 252 → 4 894 rps (+15 %), интервалы повторов не пересекаются | `evidence/track1/compare/summary.csv`, `plots/compare-*.png` |
| Улучшение не ломает уровни «3» и «4» | `make student-test`, `make test`, 20 гонок ключа через LB, `make test-failover`, `make test-persistence` на новом образе | 240 passed; smoke `PASS`; 160 × `201`, 20/20 раундов с одной копией и `409`; failover 131 запись, 0 ошибок, 2,73 с; persistence `PASS` | `evidence/track1/after-checks.txt` |
## Эксперименты и отказы
Стенд: 2 реплики × (1 CPU, 512 MiB, 2 воркера), PostgreSQL 2 CPU / 1 GiB, HAProxy 1 CPU / 128 MiB, Valkey
@@ -285,6 +310,136 @@ k6 100 rps плюс зонд (см. выше).
| Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 9000, зонд 0 из 897; старые реплики без окна: `wredis` 54, `eresp` 2 | замена двух реплик за 7.7 с |
| Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 904, все счётчики LB 0 | 11.8 с |
### Трек 5 — трек 1 «Цена масштабирования»
**Гипотезы** (записаны в предложении до первого прогона). H1: при фиксированном бюджете API 4 CPU / 2 GiB
конфигурации 1×4, 2×2 и 4×1 дают одинаковый потолок в пределах ±15 %: упор — суммарный CPU интерпретатора, а
4×1 хуже по p99 из-за мелкой квоты CFS. H2: с 1 CPU на реплику пропускная способность растёт почти линейно до
4 реплик (≥3,2× от одной), от 4 к 8 — меньше чем в 1,5 раза, потому что насыщается общий PostgreSQL: блокировка
строки горячего чата (`SELECT … FOR UPDATE` держится три обращения к БД) и CPU у лимита; LB не узкое место.
H3: мера против найденного узкого места даёт ≥15 % потолка или вдвое меньший p95 при той же нагрузке и тех
же ресурсах.
**Методика** (`make track1`; `scripts/scaling.py`, сэмплеры `scripts/{docker,lb,pg}-stats.sh`, графики
`tools/plot_track1.py`):
- Стенд: Apple M4 Max, VM Docker Desktop 16 CPU / 7,65 ГиБ, Docker 28.3.2; образы — по digest (`host.txt`).
Каждый компонент закреплён за своими CPU (`cpuset`): PostgreSQL 0–1 (2 CPU, 1 GiB, `max_connections=200`),
HAProxy 2 (1 CPU, 128 MiB), Valkey 3 (0,5 CPU), k6 4–6 (3 CPU, 1 GiB), реплики API — с 7-го ровно R×C CPU.
- Конфигурация `R×C`: R реплик по C CPU, воркеров gunicorn = C, пул asyncpg 8 на воркер, `maxconn` LB 32 на
воркер. В серии A у всех вариантов одни и те же CPU 7–10, 2048/R MiB на реплику, 32 соединения с БД и 128
одновременных запросов к API — сравниваются реплики, а не очереди. В серии B — 1 CPU, 512 MiB, 1 воркер на
реплику; точка 4×1 общая с серией A.
- Нагрузка: k6 `constant-arrival-rate` (открытая модель, без coordinated omission) из сети `edge` в `lb:8080`,
профиль уровня «4»: 80 % `POST` сообщения с уникальным `Idempotency-Key`, 20 % чтения первой страницы истории,
на прогон 20 новых пользователей и 10 чатов. Прогрев 10 с, замер 30 с, метрики только по окну замера.
Интенсивности — геометрическая сетка ×1,5 от 150 rps на CPU (A) и 450 rps на CPU (B), пока два шага подряд не
насыщены во всех повторах. **3 повтора на точку**, 123 принятых прогона, 9,6 млн запросов.
- Набор данных: перед каждой конфигурацией `down -v`, затем база растёт от прогона к прогону; размер в каждой
строке (`db_mb`, `messages`): 15 МБ в начале, до 945 МБ и 2 млн сообщений в конце серии A, 1,8 ГБ в конце
сравнения.
- Насыщение шага: ошибок > 1 %, сброшенных итераций > 1 % или p95 > 500 мс; интенсивность насыщена, если
насыщено большинство повторов. Потолок по SLO — наибольшая ненасыщенная интенсивность (грубо, шаг ×1,5),
пик — наибольшая медиана успешных RPS (в открытой модели при перегрузке это и есть пропускная способность).
- Сырьё прогона: итог k6, `docker stats` и счётчики `/proc/stat` всей VM, HAProxy CSV и `pg_stat_activity` раз в
секунду, топ `pg_stat_statements`. Соседние стенды других лаб на той же VM мешали (сборки образов, тесты с
контейнерами): прогон, где CPU VM вне контейнеров стенда больше одного ядра, сэмплы прерывались дольше 10 с или
k6 шёл на 90 с дольше нагрузки, отбраковывается в `disturbed.csv` и повторяется после 15 с тишины (серия A —
12 отбраковок, B — 0, сравнение — 13). Первая попытка серии A прервана: сборка образа соседней лабы заморозила
Docker API на 15 мин и вдвое подняла CPU реплик на запрос (`aborted/series-a-1-summary.csv`).
**Серия A — фиксированный бюджет 4 CPU / 2 GiB** (медиана 3 повторов, в скобках min–max; «на пике» — при 6 830
rps):
| Конфигурация | p95 при 3 040 / 4 560 rps, мс | Потолок по SLO, rps | Пик успешных RPS | CPU API на запрос при 3 040 rps | Память API | На пике: CPU API / PostgreSQL / LB, % ядра | На пике: ждут блокировку / `idle in transaction` из 32 |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| 1×4 | 2,9 / 9,3 | 4 560 | **5 375** (5 332–5 384) | 0,70 мс | 367 МиБ | 378 / 178 / 42 | 15,7 / 6,2 |
| 2×2 | 4,5 / 68,8 | 4 560 | 4 964 (4 894–5 104) | 0,80 мс | 2 × 214 МиБ | 379 / 173 / 41 | 16,0 / 6,9 |
| 4×1 | 35,0 / 150,3 | 4 560 | 4 724 (4 686–4 794) | 0,93 мс | 4 × 133 МиБ | 381 / 164 / 40 | 15,3 / 6,8 |
**Серия B — рост ресурсов** (1 CPU, 512 MiB, 1 воркер на реплику):
| Конфигурация | Потолок по SLO, rps | Пик успешных RPS | Ускорение к 1×1 | Эффективность на CPU | На пике: CPU API / лимит | CPU PostgreSQL / 200 | CPU LB | Ждут блокировку / `idle in transaction` / пул | Очередь LB |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| 1×1 | 1 520 | 1 720 (1 674–1 722) | 1,00 | 100 % | 102 / 100 | 47 | 13 | 0,2 / 3,4 / 8 | 968 |
| 2×1 | 2 020 | 2 936 (2 868–2 998) | 1,71 | 85 % | 201 / 200 | 94 | 23 | 2,4 / 6,3 / 16 | 936 |
| 4×1 (из A) | 4 560 | 4 724 (4 686–4 794) | 2,75 | 69 % | 381 / 400 | 164 | 40 | 15,3 / 6,8 / 32 | 872 |
| 8×1 | 3 600 | **4 260** (4 217–4 424) | 2,48 | 31 % | 473 / 800 | 178 | 40 | **47,5** / 6,8 / 64 | 744 |
Ошибок нет ни в одном принятом прогоне (доля неуспешных ≤ 0,02 %): перегрузка проявляется как очередь в LB
(до 1 000 ждущих VU k6), рост задержки и сброшенные итерации, а не как `5xx`, — таймауты `lock_timeout` 2 с и
`timeout queue` 3 с не достигались. Генератор нагрузки не был узким местом: k6 ≤ 84 % из 300 %, Valkey ≤ 12 % ядра.
Память: API 116–374 МиБ на контейнер, PostgreSQL до 661 МиБ, k6 до 675 МиБ.
USL по пикам серии B (N = 1, 2, 4, 8 CPU): σ = 0,014 (последовательная доля), κ = 0,038 (стоимость
согласования), максимум при N* = √((1−σ)/κ) ≈ 5 реплик, дальше — спад (`plots/scaling.png`).
**Точка насыщения и почему реплики перестают помогать.** До двух реплик упор — CPU API (100 % лимита),
PostgreSQL загружен наполовину. С четырёх реплик API, PostgreSQL и блокировки упираются почти одновременно, а
на восьми ресурсы простаивают: у API свободно 40 % CPU, у LB — 60 % ядра, у PostgreSQL — 11 %, и всё же пик
ниже, чем у четырёх реплик. Насыщена **критическая секция записи в чат**: в профиле 10 чатов, запись в чат
сериализуется блокировкой его строки, поэтому одновременно идут не больше 10 записей, а остальные транзакции
держат соединения пула и ждут (`pg_stat_activity`: 47,5 из 64 соединений в `Lock: tuple/transactionid`, пул
исчерпан — свободных 6). `SELECT … FOR UPDATE` чата длится в среднем 14,2 мс, 97 % времени всех операторов
(`pg_statements.csv`), и около 7 соединений стоят `idle in transaction`: держатель блокировки ждёт, пока event
loop реплики отправит следующий оператор. Каждая новая реплика добавляет пул из 8 соединений и параллельных
писателей в те же 10 строк — больше ожидающих, больше пробуждений и переключений в PostgreSQL, длиннее очередь
event loop у держателей, а последовательная часть не уменьшается: это и есть рост κ по USL. LB (40 % ядра)
и пул (размер не ограничивает — его занимают ждущие) — следствия, а не причина. Серия A
добавляет вторую цену дробления: CPU API на запрос растёт с числом процессов-реплик (0,70 мс у 1×4, 0,93 у 4×1,
1,1–1,2 у 8×1 против 0,6–0,7 у одной), память — тоже (367 МиБ одной репликой против 532 МиБ четырьмя).
**Улучшение: запись сообщения одной командой SQL** (выбрано по узкому месту серии B; обоснование и отвергнутые
варианты — `design.md` изменения). Блокировка строки чата, проверка участия, отметка времени, ключ и сообщение —
одна команда с неявной транзакцией, без обращений к приложению под блокировкой (раздел «Идемпотентная отправка»
выше). Сравнение — `make track1-compare`: 8×1, те же ресурсы и профиль, образ «до» из `edc091d`, варианты
чередуются по повторам, по 3 повтора:
| Нагрузка | Вариант | Успешные RPS | p50 / p95 / p99, мс | CPU API / PostgreSQL, % | CPU на запрос API / PG, мс | Ждут блокировку / `idle in transaction` / ждут WAL |
| --- | --- | ---: | ---: | ---: | ---: | ---: |
| 3 600 | до | 3 596 (3 568–3 597) | 2,4 / 64,5 (35,7–142,5) / 122 | 457 / 137 | 1,27 / 0,38 | 12,8 / 4,5 / 1,5 |
| 3 600 | **после** | 3 600 (3 600–3 600) | 1,7 / **3,7** (2,8–5,4) / 12,6 | 391 / 102 | 1,09 / 0,28 | 0,15 / 0 / 1,9 |
| 5 400 | до | 4 252 (4 054–4 396) | 227 / 296 / 349 | 475 / 178 | — | 46,7 / 7,0 / 2,3 |
| 5 400 | **после** | **4 894** (4 494–5 104) | 198 / 246 / 278 | 479 / 179 | — | 46,4 / 0 / 8,5 |
| 8 100 | до | 4 104 (4 001–4 448) | 236 / 311 / 364 | 475 / 178 | — | 47,1 / 7,3 / 1,9 |
| 8 100 | **после** | 4 841 (4 618–5 046) | 202 / 254 / 287 | 462 / 174 | — | 46,3 / 0 / 9,2 |
Ниже колена (3 600 rps) p95 уменьшился в 17 раз, p99 — в 10, разброс повторов исчез; CPU API на запрос −14 %,
PostgreSQL −26 % (меньше операторов и обращений). За коленом пик вырос на 15 % (при 8 100 rps — на 18 %),
интервалы повторов «до» и «после» не пересекаются. При насыщении соединений `idle in transaction` больше нет,
но пул по-прежнему занят ждущими блокировку: теперь держатель ждёт не приложение, а сброс WAL при фиксации
(`LWLock: WALWrite` 8,5–9 против 2), а CPU PostgreSQL — 89 %. Две строки «после» остались отмеченными как
возмущённые после трёх перезапусков (чужой CPU 105–136 %); это нижние значения варианта, вывод они не
усиливают. Проверки уровней «3» и «4» на новом коде проходят (`after-checks.txt`).
**Выводы.**
- H1 **подтверждена частично.** Потолки 1×4, 2×2 и 4×1 действительно в пределах ±15 % (4 724–5 375, −12 % у
4×1), но различие систематическое и больше разброса: чем мельче реплики, тем дороже запрос по CPU (+33 % у
4×1) и памяти, и тем раньше растёт хвост (p95 при 4 560 rps — 9, 69 и 150 мс). Упор на пике — не только CPU
API (95 %): у всех трёх половина соединений ждёт блокировку чата. При фиксированном бюджете выгоднее меньше
реплик покрупнее, а число реплик определяется отказоустойчивостью (≥2), а не скоростью.
- H2 **подтверждена с поправкой.** Линейный рост — только до двух реплик (1,71× на 2 CPU), 4 реплики дают 2,75×,
а 8 — **меньше, чем 4** (2,48×): ретроградное масштабирование, κ > 0, максимум около 5 реплик. Насыщенное звено
— общая БД, но не её CPU (89 %) и не `max_connections` (64 из 200), а сериализованная по строке чата запись,
растянутая обращениями к приложению; LB далёк от лимита.
- H3 **подтверждена.** Укорочение критической секции до одной команды дало +15 % пика при тех же ресурсах и в
17 раз меньший p95 ниже колена. Следующий потолок — фиксация под блокировкой горячей строки (WAL) и CPU
PostgreSQL: его сдвигают только больше чатов в профиле, `synchronous_commit = off` (ценой подтверждённых, но
потерянных при сбое сообщений) или более быстрый диск и больше CPU для БД — новые реплики API не помогут.
**Ограничения трека.** Один host: k6, LB, API и PostgreSQL делят VM Docker Desktop, закрепление CPU разводит
их по vCPU, но не по физическим ядрам (у M4 Max ядра двух типов), поэтому абсолютные RPS — свойство этой машины,
сравнимы только конфигурации внутри одного прогона. Соседние стенды других лаб работали всё время замеров;
отбраковка ловит нагрузку больше одного ядра, меньшая остаётся шумом (`host-others.csv`). CFS-квоты дают
троттлинг мелких реплик; гипотеза, что из-за него 4×1 дороже по CPU, не проверялась счётчиками `cpu.stat`.
`docker stats` даёт точку раз в 4–6 с, `pg_stat_activity` — раз в секунду, это выборка, а не трасса.
Профиль с 10 чатами нарочно горячий; с тысячами чатов узким местом стали бы CPU API и PostgreSQL, и кривая
серии B была бы ближе к линейной. Сетка ×1,5 делает потолок по SLO грубым, поэтому сравнение идёт по пику.
`maxVUs` k6 ограничен 1 000, поэтому при перегрузке растут сброшенные итерации, а очередь в LB упирается в
1 000. Порт-форвардинг Docker Desktop в замеры не входит — k6 бьёт в `lb` изнутри сети. Сравнение до/после
сделано на одной конфигурации 8×1; третий повтор «после» снят отдельным запуском после сбоя `compose up`.
## Ограничения и следующие шаги
- Один Docker-host: потеря host, LB или PostgreSQL — отказ всего стенда. LB и БД — единственные точки отказа;
@@ -295,6 +450,8 @@ k6 100 rps плюс зонд (см. выше).
- Таблица ключей растёт вместе с историей (строка на сообщение); истёкшие ключи только перезаписываются при
повторном использовании, фоновой очистки нет.
- Запись в один горячий чат сериализуется блокировкой строки чата; повтор с ключом берёт ту же блокировку.
После трека 1 блокировка держится одну команду SQL, но фиксация (сброс WAL) остаётся внутри неё — это
следующий потолок для горячих чатов (раздел трека).
- Окно вывода из ротации удлиняет каждую остановку реплики на 2 с; оно рассчитано на проверки LB раз в
секунду: при большем `inter` окно нужно увеличить (это ловит `test_timeouts.py`).
- Время обнаружения измерено одним прогоном на сценарий; верхняя граница — формула по параметрам проверки, а
@@ -303,4 +460,7 @@ k6 100 rps плюс зонд (см. выше).
(удаление или переименование столбца), потребовала бы двух выпусков expand/contract; в лабе таких нет.
- `scripts/rolling-update.sh` и `restore.sh` используют `--no-recreate`: после замены с другим `API_IMAGE`
обычный `make up` пересоздаст реплики под текущий конфиг — это ожидаемо.
- Серии 1/2/4 реплик и поиск насыщения — трек «5», следующее изменение.
- Трек 1: подтверждено одно улучшение (запись одной командой, +15 % пика, p95 в 17 раз ниже колена); гипотезы
о троттлинге CFS как причине дорогих мелких реплик и о росте с числом чатов не проверялись. Переход отправки
на одну команду убрал агрегат `Chat` из записи: правила участия и порядка теперь в SQL адаптера и держатся
интеграционными тестами.
+2 -2
View File
@@ -3,11 +3,11 @@
| Файл | Что внутри | Чем получен |
| --- | --- | --- |
| `host.txt` | `docker stats --all` всего хоста, контейнеры, версии Docker и образов перед серией A | `make track1-host` |
| `host-others.csv` | раз в 10 с весь период замеров: суммарный CPU чужих контейнеров (стенды других лаб) и самый загруженный из них | цикл `docker stats` (команда в `REPORT.md`) |
| `host-others.csv` | раз в 10 с весь период замеров: суммарный CPU чужих контейнеров (стенды других лаб) и самый загруженный из них | цикл `docker stats --no-stream` по контейнерам не из проекта `mtusi2026lab3`, запущенный рядом с сериями |
| `aborted/series-a-1-summary.csv` | первая попытка серии A, прерванная из-за сборки образа соседней лабы: шаги с API 410 % при 1 350 rps и паузами Docker API по 15 мин | `make track1-a` до добавления отбраковки |
| `series-a/summary.csv` | серия A: 1×4, 2×2, 4×1 при 4 CPU / 2 GiB API, строка на прогон | `make track1-a` |
| `series-b/summary.csv` | серия B: 1×1, 2×1, 8×1 по 1 CPU / 512 MiB (4×1 — из серии A) | `make track1-b` |
| `compare/summary.csv` | улучшение: «до» и «после» на 8×1, чередование по повторам | `make track1-compare` |
| `compare/summary.csv` | улучшение: «до» (образ `edc091d`) и «после» на 8×1, чередование по повторам; третий повтор «после» снят отдельно после сбоя `compose up` при работе соседних тестов | `make track1-compare`, затем `python3 scripts/scaling.py --out evidence/track1/compare --configs 8x1 --api-memory 512 --rates 3600,5400,8100 --variant after --repeats 1 --first-repeat 3` |
| `*/disturbed.csv` | отбракованные прогоны (чужой CPU в VM > 1 ядра, разрыв сэмплов > 10 с или k6 дольше нагрузки на 90 с); каждый повторён после 15 с тишины | `scripts/scaling.py` |
| `<серия>/<вариант>-<RxC>_rate<N>_rep<K>/` | сырьё прогона: `k6/summary.json` (итог k6 без токенов), `k6/k6.txt`, `docker_stats.csv`, `vm_stat.csv` (счётчики `/proc/stat` всей VM), `lb_stats.csv` (HAProxy CSV), `pg_activity.csv` (`pg_stat_activity` по state/wait_event), `pg_statements.csv` (топ-20 `pg_stat_statements` за прогон) | `scripts/scaling.py` |
| `plots/*.png`, `plots/capacity.csv`, `plots/capacity.md` | графики и сводка потолков | `make plots` |
+29
View File
@@ -0,0 +1,29 @@
date: 2026-10-28T22:38:18Z commit: dde113b image: sha256:946c868dc7f4
$ make test BASE_URL=http://localhost:18083
python3 tests/smoke.py --base-url "http://localhost:18083"
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
$ python3 scripts/probe.py check --rounds 20 # 40 GET одним токеном + 20 раундов по 8 POST с одним ключом
{"instances_one_token": {"d078349e7c33": 20, "1de09c7a8c9d": 20}, "same_key": {"rounds": 20, "parallel": 8, "statuses": {"201": 160}, "instances": {"d078349e7c33": 80, "1de09c7a8c9d": 80}, "identical_bodies_rounds": 20, "single_copy_rounds": 20, "conflict_rounds": 20}, "pass": true}
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh BASE_URL=http://localhost:18083
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
{"observed_instances_before": 2, "successful_writes": 131, "failed_attempts": 0, "first_recovery_seconds": 2.728}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
$ docker ps -a --filter label=com.docker.compose.service=api
mtusi2026lab3-api-6 Exited (0) 12 seconds ago
mtusi2026lab3-api-1 Up About a minute (healthy)
$ make restore
Container mtusi2026lab3-api-1 Healthy
mtusi2026lab3-api-1 Up About a minute (healthy)
mtusi2026lab3-api-6 Up 2 seconds (healthy)
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh BASE_URL=http://localhost:18083
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
$ make student-test
240 passed, 10 deselected in 19.71s
+22
View File
@@ -780,3 +780,25 @@ ts,others_cpu_pct,busiest
1793227017,0.0,
1793227030,0.0,
1793227042,0.0,
1793227055,0.0,
1793227067,0.0,
1793227080,0.0,
1793227093,0.0,
1793227105,0.0,
1793227118,0.0,
1793227131,0.0,
1793227144,0.0,
1793227157,0.0,
1793227169,0.0,
1793227182,0.0,
1793227195,0.0,
1793227207,0.0,
1793227220,0.8,mtusi-lab3-test-13cde6f0
1793227232,0.0,
1793227245,0.0,
1793227258,0.0,
1793227270,0.0,
1793227283,0.0,
1793227296,0.0,
1793227309,0.0,
1793227321,0.0,
1 ts others_cpu_pct busiest
780 1793227017 0.0
781 1793227030 0.0
782 1793227042 0.0
783 1793227055 0.0
784 1793227067 0.0
785 1793227080 0.0
786 1793227093 0.0
787 1793227105 0.0
788 1793227118 0.0
789 1793227131 0.0
790 1793227144 0.0
791 1793227157 0.0
792 1793227169 0.0
793 1793227182 0.0
794 1793227195 0.0
795 1793227207 0.0
796 1793227220 0.8 mtusi-lab3-test-13cde6f0
797 1793227232 0.0
798 1793227245 0.0
799 1793227258 0.0
800 1793227270 0.0
801 1793227283 0.0
802 1793227296 0.0
803 1793227309 0.0
804 1793227321 0.0
+9
View File
@@ -0,0 +1,9 @@
series,variant,config,rates,capacity_rate,capacity_ok_rps,capacity_p95_ms,capacity_p99_ms,peak_rate,peak_ok_rps,peak_ok_min,peak_ok_max,peak_p95_ms,peak_failed_ratio,peak_dropped,cpu_api,cpu_api_limit,cpu_postgres,cpu_lb,cpu_k6,pg_active_avg,pg_lock_avg,pg_idle_tx_avg,pg_idle_avg,pool_total,pg_backends_max,lb_qcur_max
compare,before,8x1,3600 5400 8100,3600,3595.5,64.47,121.74,5400,4251.9,4053.57,4395.83,295.93,0.0,34444.0,474.76,800,177.86,40.67,75.16,49.96,46.65,7.04,6.73,64,64.0,744.0
compare,after,8x1,3600 5400 8100,3600,3600.07,3.7,12.62,5400,4894.23,4494.23,5103.67,246.02,0.0,15174.0,478.56,800,178.68,45.91,75.67,57.23,46.38,0.0,6.77,64,64.0,743.0
series-a,base,4x1,600 900 1350 2020 3040 4560 6830,4560,4525.23,150.28,195.8,6830,4723.67,4685.7,4794.17,254.94,0.0,63186.0,380.86,400,163.82,39.5,71.24,18.12,15.35,6.81,6.27,32,32.0,872.0
series-a,base,2x2,600 900 1350 2020 3040 4560 6830,4560,4553.57,68.8,115.62,6830,4964.13,4893.8,5103.7,253.24,0.0,55978.0,378.58,400,173.09,41.25,76.1,19.27,16.0,6.93,6.38,32,32.0,872.0
series-a,base,1x4,600 900 1350 2020 3040 4560 6830,4560,4559.87,9.32,38.81,6830,5375.13,5332.13,5383.9,225.42,0.0,43645.0,377.52,400,177.68,41.5,76.07,19.46,15.74,6.19,6.48,32,32.0,871.0
series-b,base,1x1,450 680 1010 1520 2280 3420,1520,1516.93,93.16,128.96,3420,1719.57,1674.03,1722.2,706.11,0.0,51015.0,101.57,100,47.27,12.91,27.32,1.04,0.23,3.37,3.7,8,8.0,968.0
series-b,base,2x1,900 1350 2020 3040 4560,2020,2019.87,46.61,83.49,4560,2935.7,2867.83,2998.07,424.71,0.0,48731.0,200.56,200,93.62,23.41,45.1,4.42,2.35,6.3,5.81,16,16.0,936.0
series-b,base,8x1,3600 5400 8100,3600,3600.03,38.93,99.29,5400,4260.13,4216.63,4423.8,292.0,0.0,34197.0,473.48,800,177.62,39.65,71.33,51.5,47.46,6.81,6.0,64,64.0,744.0
1 series variant config rates capacity_rate capacity_ok_rps capacity_p95_ms capacity_p99_ms peak_rate peak_ok_rps peak_ok_min peak_ok_max peak_p95_ms peak_failed_ratio peak_dropped cpu_api cpu_api_limit cpu_postgres cpu_lb cpu_k6 pg_active_avg pg_lock_avg pg_idle_tx_avg pg_idle_avg pool_total pg_backends_max lb_qcur_max
2 compare before 8x1 3600 5400 8100 3600 3595.5 64.47 121.74 5400 4251.9 4053.57 4395.83 295.93 0.0 34444.0 474.76 800 177.86 40.67 75.16 49.96 46.65 7.04 6.73 64 64.0 744.0
3 compare after 8x1 3600 5400 8100 3600 3600.07 3.7 12.62 5400 4894.23 4494.23 5103.67 246.02 0.0 15174.0 478.56 800 178.68 45.91 75.67 57.23 46.38 0.0 6.77 64 64.0 743.0
4 series-a base 4x1 600 900 1350 2020 3040 4560 6830 4560 4525.23 150.28 195.8 6830 4723.67 4685.7 4794.17 254.94 0.0 63186.0 380.86 400 163.82 39.5 71.24 18.12 15.35 6.81 6.27 32 32.0 872.0
5 series-a base 2x2 600 900 1350 2020 3040 4560 6830 4560 4553.57 68.8 115.62 6830 4964.13 4893.8 5103.7 253.24 0.0 55978.0 378.58 400 173.09 41.25 76.1 19.27 16.0 6.93 6.38 32 32.0 872.0
6 series-a base 1x4 600 900 1350 2020 3040 4560 6830 4560 4559.87 9.32 38.81 6830 5375.13 5332.13 5383.9 225.42 0.0 43645.0 377.52 400 177.68 41.5 76.07 19.46 15.74 6.19 6.48 32 32.0 871.0
7 series-b base 1x1 450 680 1010 1520 2280 3420 1520 1516.93 93.16 128.96 3420 1719.57 1674.03 1722.2 706.11 0.0 51015.0 101.57 100 47.27 12.91 27.32 1.04 0.23 3.37 3.7 8 8.0 968.0
8 series-b base 2x1 900 1350 2020 3040 4560 2020 2019.87 46.61 83.49 4560 2935.7 2867.83 2998.07 424.71 0.0 48731.0 200.56 200 93.62 23.41 45.1 4.42 2.35 6.3 5.81 16 16.0 936.0
9 series-b base 8x1 3600 5400 8100 3600 3600.03 38.93 99.29 5400 4260.13 4216.63 4423.8 292.0 0.0 34197.0 473.48 800 177.62 39.65 71.33 51.5 47.46 6.81 6.0 64 64.0 744.0
+12
View File
@@ -0,0 +1,12 @@
| серия | вариант | конфигурация | потолок по SLO, rps | p95 там, мс | пик успешных RPS [min–max] | при нагрузке | CPU API / лимит | CPU PG | CPU LB | ждут блокировку / пул |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| compare | before | 8x1 | 3600 | 64.47 | 4252 [4054–4396] | 5400 | 475 / 800 | 178 | 41 | 46.6 / 64 |
| compare | after | 8x1 | 3600 | 3.7 | 4894 [4494–5104] | 5400 | 479 / 800 | 179 | 46 | 46.4 / 64 |
| series-a | base | 4x1 | 4560 | 150.28 | 4724 [4686–4794] | 6830 | 381 / 400 | 164 | 40 | 15.3 / 32 |
| series-a | base | 2x2 | 4560 | 68.8 | 4964 [4894–5104] | 6830 | 379 / 400 | 173 | 41 | 16.0 / 32 |
| series-a | base | 1x4 | 4560 | 9.32 | 5375 [5332–5384] | 6830 | 378 / 400 | 178 | 42 | 15.7 / 32 |
| series-b | base | 1x1 | 1520 | 93.16 | 1720 [1674–1722] | 3420 | 102 / 100 | 47 | 13 | 0.2 / 8 |
| series-b | base | 2x1 | 2020 | 46.61 | 2936 [2868–2998] | 4560 | 201 / 200 | 94 | 23 | 2.4 / 16 |
| series-b | base | 8x1 | 3600 | 38.93 | 4260 [4217–4424] | 5400 | 473 / 800 | 178 | 40 | 47.5 / 64 |
USL по серии B: σ = 0.0137, κ = 0.03798, пик при N* = 5.1 CPU
Binary file not shown.

After

Width:  |  Height:  |  Size: 79 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 120 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 69 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 144 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 158 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 140 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 123 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 38 KiB

@@ -22,10 +22,10 @@
- [x] 4.1 Выбор улучшения по узкому месту серии B, запись в `design.md`: запись сообщения одним оператором SQL
- [x] 4.2 Реализация улучшения
- [x] 4.3 `make track1-compare`: до и после на той же конфигурации и интенсивностях, ≥3 повтора
- [ ] 4.4 Проверка группы: `make lint`, `make student-test`, `make test`
- [x] 4.4 Проверка группы: `make lint`, `make student-test`, `make test`
## 5. Отчёт
- [ ] 5.1 `make plots`, `evidence/track1/README.md` с картой файлов
- [ ] 5.2 `REPORT.md`: раздел трека 1 — гипотезы, методика, таблицы серий, насыщение, улучшение, ограничения, выводы
- [ ] 5.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`
- [x] 5.1 `make plots`, `evidence/track1/README.md` с картой файлов
- [x] 5.2 `REPORT.md`: раздел трека 1 — гипотезы, методика, таблицы серий, насыщение, улучшение, ограничения, выводы
- [x] 5.3 Проверка группы: `make check`, `make lint`, `make student-test`, `make test`
+11 -1
View File
@@ -44,7 +44,7 @@ plt.rcParams.update(
VARIANTS = {
"before": {"color": MUTED, "marker": "o"},
"after": {"color": PALETTE[0], "marker": "s"},
"after": {"color": PALETTE[1], "marker": "s"},
}
@@ -226,6 +226,16 @@ def scaling(rows, out):
if r:
look = style(config)
axis.plot(4, r["peak_ok_rps"], linestyle="none", label=f"серия A: {config}", **look)
after = [r for r in rows if r["variant"] == "after"]
for r in after:
width = r["cpu_api_limit"] / 100
axis.plot(
width,
r["peak_ok_rps"],
linestyle="none",
label=f"{r['config']} после улучшения",
**VARIANTS["after"],
)
axis.set_xlabel("Суммарный CPU реплик API")
axis.set_ylabel("Пик успешных RPS")
axis.set_title("Пропускная способность от ресурсов API")