make plots draws throughput and latency against offered load for both
series and the comparison, CPU per component, peak RPS against API
CPU with the USL fit and the improved 8x1 point, and the utilisation of
every link at each peak; capacity.md tabulates the ceilings.
after-checks.txt holds the level 3 and 4 checks on the new image:
student tests 240 passed, smoke PASS, 20 same-key races of 8 through
the balancer with 160 x 201 and one copy each, failover with 131
writes and no failure in 2.73 s, persistence PASS.
REPORT.md gains the track section: hypotheses as stated before the
runs, the method and its equal-resource rules, both series in tables,
the saturation point with database, balancer and pool figures, the
USL reading, the before and after table, conclusions per hypothesis
and the limits of a shared single host. The idempotent send section
now describes the one-statement write, the evidence table has the
track rows and the commands are in the clean clone section.
Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
1.CTE `chat`: строка чата `FOR UPDATE`, соединённая с членством отправителя; нет строки → `404`;
2.`created_at = GREATEST(часы реплики, last_message_at + 1 мкс)` — история чата не идёт назад;
3.`INSERT idempotency_keys … ON CONFLICT DO UPDATE … WHERE` ключ истёк — живой ключ не трогается;
4.`INSERT messages` только если ключ записан, `UPDATE chats.last_message_at`; команда фиксируется сама;
5. ключ занят → вторая команда вне блокировки читает квитанцию, моложе `IDEMPOTENCY_TTL_SECONDS`: тот же
отпечаток → сохранённое сообщение (`201`, тот же `MessageOut`, `created_at` с микросекундами); другой → `409`.
Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке» нет, поэтому после
гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз. Одновременные повторы
одного ключа всегда идут в один чат и ждут на блокировке его строки; следующий оператор в `READ COMMITTED`
видит зафиксированную квитанцию. Отпечаток — SHA-256 канонического JSON распарсенной модели, поэтому
Текст проверяется до записи; если он невалиден, отдельным чтением проверяется членство, чтобы посторонний
получил `404`, а не `400`. Сообщение и ключ фиксируются вместе или не фиксируются вовсе; маркера «в обработке»
нет, поэтому после гибели реплики посреди запроса повтор с тем же ключом создаёт сообщение один раз.
Одновременные повторы одного ключа всегда идут в один чат и ждут на блокировке его строки; дождавшийся
получает конфликт ключа, а следующая команда в `READ COMMITTED` видит зафиксированную квитанцию. Внешний ключ
квитанции на сообщение проверяется в конце команды, поэтому ключ можно вставить раньше сообщения. Отпечаток — SHA-256 канонического JSON распарсенной модели, поэтому
порядок полей и пробелы не важны. Ответы `4xx`/`5xx` ничего не пишут; `lock_timeout` теперь `503`, а не `500`.
Отвергнуто: `SET NX` в Valkey (не атомарен с `COMMIT`), отдельный маркер «processing» (залипает после отказа).
@@ -221,6 +233,7 @@ k6 2/512m (`make limits` сверяет их и изоляцию с полити
| — | `REQUEST_TIMEOUT_SECONDS`, `DRAIN_SECONDS`, `SHUTDOWN_TIMEOUT_SECONDS` | 8 с, 2 с и 5 с (заданы в compose и образе) |
| — | `DB_ACQUIRE_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS` | 1 с и 2 с: ожидание соединения из пула и `statement_timeout` = `lock_timeout` |
| — | `API_CPUSET`, `LB_CPUSET`, `PG_CPUSET`, `VALKEY_CPUSET`, `K6_CPUSET` | закрепление за CPU для трека 1; пусто — не закреплено |
| — | `CURSOR_SECRET_FILE` | общий ключ подписи курсора для всех реплик |
## Доказательства критериев
@@ -261,6 +274,18 @@ k6 2/512m (`make limits` сверяет их и изоляцию с полити
| **4.4** То же на текущей версии | `make rolling-update` | `lb_up_min` 2, 9001 запрос, ошибок 0, зонд 904/0, все реплики новые; все счётчики LB 0. Слои образа те же, ID отличается только provenance-аттестацией BuildKit — это эквивалентная поочерёдная замена | `evidence/rolling/result.json`, `action.txt` |
| **4.4** Миграции однократно и совместимы с работающей версией | `scripts/rolling-update.sh`; `make storage-evidence` | `migrate` запускается один раз до замены первой реплики (`migration.completed up to date`), реплики схему не трогают, `migrate` под `pg_advisory_lock`; между уровнями «3» и «4» схема не менялась; `0002_idempotency_keys` только добавляет таблицу, код лабы 2 её не замечает | `evidence/rolling*/action.txt`, `evidence/migrations.txt` |
**Трек 1 «Цена масштабирования».** Подробности, таблицы и выводы — в разделе трека ниже.
| Гипотеза и повторяемая методика | `openspec/changes/archive/*-add-lab3-scaling-cost/`; `make track1` | гипотезы H1–H3 записаны до замеров (коммит предложения); серии, сравнение и графики — одной командой | `evidence/track1/host.txt`, `evidence/track1/README.md` |
| 1/2/4 реплики при фиксированном суммарном CPU/RAM | `make track1-a` (4 CPU / 2 GiB, воркеров = CPU, пул 32 и очередь LB 128 во всех вариантах, CPU закреплены) | пик успешных RPS: 1×4 — 5 375, 2×2 — 4 964, 4×1 — 4 724; потолок по SLO у всех 4 560 rps, но p95 там 9 / 69 / 150 мс | `evidence/track1/series-a/summary.csv`, `plots/series-a-*.png` |
| Серия с ростом ресурсов | `make track1-b` (1→2→4→8 реплик по 1 CPU) | пик 1 720 → 2 936 → 4 724 → **4 260**: восемь реплик хуже четырёх; USL σ = 0,014, κ = 0,038, максимум около 5 реплик | `evidence/track1/series-b/summary.csv`, `plots/scaling.png` |
| Saturation point БД/LB/пула и почему реплики перестают помогать | метрики каждого прогона: `docker stats`, HAProxy CSV, `pg_stat_activity`, `pg_stat_statements` | на 8×1: API 473 из 800 %, LB 40 % ядра, PostgreSQL 178 из 200 %, **47,5 из 64 соединений ждут блокировку строки чата**, 7 — `idle in transaction`, `SELECT … FOR UPDATE` чата — 14,2 мс и 97 % времени операторов | `evidence/track1/series-b/base-8x1_rate5400_rep*/`, `plots/utilisation.png` |
| Графики и сырые данные | `make plots` | RPS и p95/p99 от нагрузки, CPU по компонентам, пик от CPU с USL, загрузка звеньев на пике, сводка потолков | `evidence/track1/plots/` |
| Одно подтверждённое улучшение (до/после при тех же ресурсах) | `make track1-compare` (8×1, образ `edc091d` против текущего, чередование по повторам) | запись сообщения одной командой: при 3 600 rps p95 64,5 → 3,7 мс, CPU API −14 %, PostgreSQL −26 %; пик 4 252 → 4 894 rps (+15 %), интервалы повторов не пересекаются | `evidence/track1/compare/summary.csv`, `plots/compare-*.png` |
| Улучшение не ломает уровни «3» и «4» | `make student-test`, `make test`, 20 гонок ключа через LB, `make test-failover`, `make test-persistence` на новом образе | 240 passed; smoke `PASS`; 160 ×`201`, 20/20 раундов с одной копией и `409`; failover 131 запись, 0 ошибок, 2,73 с; persistence `PASS` | `evidence/track1/after-checks.txt` |
| Rolling update с уровня «3» под 100 rps | ёмкость не ниже 2, 0 ошибок, после — только новые реплики | `lb_up_min` 2, 0 ошибок из 9000, зонд 0 из 897; старые реплики без окна: `wredis` 54, `eresp` 2 | замена двух реплик за 7.7 с |
| Rolling update текущей версии под 100 rps | то же, и без повторов LB | `lb_up_min` 2, 0 ошибок из 9001, зонд 0 из 904, все счётчики LB 0 | 11.8 с |
### Трек 5 — трек 1 «Цена масштабирования»
**Гипотезы** (записаны в предложении до первого прогона). H1: при фиксированном бюджете API 4 CPU / 2 GiB
конфигурации 1×4, 2×2 и 4×1 дают одинаковый потолок в пределах ±15 %: упор — суммарный CPU интерпретатора, а
4×1 хуже по p99 из-за мелкой квоты CFS. H2: с 1 CPU на реплику пропускная способность растёт почти линейно до
4 реплик (≥3,2× от одной), от 4 к 8 — меньше чем в 1,5 раза, потому что насыщается общий PostgreSQL: блокировка
строки горячего чата (`SELECT … FOR UPDATE` держится три обращения к БД) и CPU у лимита; LB не узкое место.
H3: мера против найденного узкого места даёт ≥15 % потолка или вдвое меньший p95 при той же нагрузке и тех
- Конфигурация `R×C`: R реплик по C CPU, воркеров gunicorn = C, пул asyncpg 8 на воркер, `maxconn` LB 32 на
воркер. В серии A у всех вариантов одни и те же CPU 7–10, 2048/R MiB на реплику, 32 соединения с БД и 128
одновременных запросов к API — сравниваются реплики, а не очереди. В серии B — 1 CPU, 512 MiB, 1 воркер на
реплику; точка 4×1 общая с серией A.
- Нагрузка: k6 `constant-arrival-rate` (открытая модель, без coordinated omission) из сети `edge` в `lb:8080`,
профиль уровня «4»: 80 % `POST` сообщения с уникальным `Idempotency-Key`, 20 % чтения первой страницы истории,
на прогон 20 новых пользователей и 10 чатов. Прогрев 10 с, замер 30 с, метрики только по окну замера.
Интенсивности — геометрическая сетка ×1,5 от 150 rps на CPU (A) и 450 rps на CPU (B), пока два шага подряд не
насыщены во всех повторах. **3 повтора на точку**, 123 принятых прогона, 9,6 млн запросов.
- Набор данных: перед каждой конфигурацией `down -v`, затем база растёт от прогона к прогону; размер в каждой
строке (`db_mb`, `messages`): 15 МБ в начале, до 945 МБ и 2 млн сообщений в конце серии A, 1,8 ГБ в конце
сравнения.
- Насыщение шага: ошибок > 1 %, сброшенных итераций > 1 % или p95 > 500 мс; интенсивность насыщена, если
насыщено большинство повторов. Потолок по SLO — наибольшая ненасыщенная интенсивность (грубо, шаг ×1,5),
пик — наибольшая медиана успешных RPS (в открытой модели при перегрузке это и есть пропускная способность).
- Сырьё прогона: итог k6, `docker stats` и счётчики `/proc/stat` всей VM, HAProxy CSV и `pg_stat_activity` раз в
секунду, топ `pg_stat_statements`. Соседние стенды других лаб на той же VM мешали (сборки образов, тесты с
контейнерами): прогон, где CPU VM вне контейнеров стенда больше одного ядра, сэмплы прерывались дольше 10 с или
k6 шёл на 90 с дольше нагрузки, отбраковывается в `disturbed.csv` и повторяется после 15 с тишины (серия A —
12 отбраковок, B — 0, сравнение — 13). Первая попытка серии A прервана: сборка образа соседней лабы заморозила
Docker API на 15 мин и вдвое подняла CPU реплик на запрос (`aborted/series-a-1-summary.csv`).
**Серия A — фиксированный бюджет 4 CPU / 2 GiB** (медиана 3 повторов, в скобках min–max; «на пике» — при 6 830
rps):
| Конфигурация | p95 при 3 040 / 4 560 rps, мс | Потолок по SLO, rps | Пик успешных RPS | CPU API на запрос при 3 040 rps | Память API | На пике: CPU API / PostgreSQL / LB, % ядра | На пике: ждут блокировку / `idle in transaction` из 32 |
**Серия B — рост ресурсов** (1 CPU, 512 MiB, 1 воркер на реплику):
| Конфигурация | Потолок по SLO, rps | Пик успешных RPS | Ускорение к 1×1 | Эффективность на CPU | На пике: CPU API / лимит | CPU PostgreSQL / 200 | CPU LB | Ждут блокировку / `idle in transaction` / пул | Очередь LB |
| `host.txt` | `docker stats --all` всего хоста, контейнеры, версии Docker и образов перед серией A | `make track1-host` |
| `host-others.csv` | раз в 10 с весь период замеров: суммарный CPU чужих контейнеров (стенды других лаб) и самый загруженный из них | цикл `docker stats` (команда в `REPORT.md`) |
| `host-others.csv` | раз в 10 с весь период замеров: суммарный CPU чужих контейнеров (стенды других лаб) и самый загруженный из них | цикл `docker stats --no-stream` по контейнерам не из проекта `mtusi2026lab3`, запущенный рядом с сериями |
| `aborted/series-a-1-summary.csv` | первая попытка серии A, прерванная из-за сборки образа соседней лабы: шаги с API 410 % при 1 350 rps и паузами Docker API по 15 мин | `make track1-a` до добавления отбраковки |
| `series-a/summary.csv` | серия A: 1×4, 2×2, 4×1 при 4 CPU / 2 GiB API, строка на прогон | `make track1-a` |
| `series-b/summary.csv` | серия B: 1×1, 2×1, 8×1 по 1 CPU / 512 MiB (4×1 — из серии A) | `make track1-b` |
| `compare/summary.csv` | улучшение: «до» и «после» на 8×1, чередование по повторам | `make track1-compare` |
| `compare/summary.csv` | улучшение: «до» (образ `edc091d`) и «после» на 8×1, чередование по повторам; третий повтор «после» снят отдельно после сбоя `compose up` при работе соседних тестов | `make track1-compare`, затем `python3 scripts/scaling.py --out evidence/track1/compare --configs 8x1 --api-memory 512 --rates 3600,5400,8100 --variant after --repeats 1 --first-repeat 3` |
| `*/disturbed.csv` | отбракованные прогоны (чужой CPU в VM > 1 ядра, разрыв сэмплов > 10 с или k6 дольше нагрузки на 90 с); каждый повторён после 15 с тишины | `scripts/scaling.py` |
| `<серия>/<вариант>-<RxC>_rate<N>_rep<K>/` | сырьё прогона: `k6/summary.json` (итог k6 без токенов), `k6/k6.txt`, `docker_stats.csv`, `vm_stat.csv` (счётчики `/proc/stat` всей VM), `lb_stats.csv` (HAProxy CSV), `pg_activity.csv` (`pg_stat_activity` по state/wait_event), `pg_statements.csv` (топ-20 `pg_stat_statements` за прогон) | `scripts/scaling.py` |
| серия | вариант | конфигурация | потолок по SLO, rps | p95 там, мс | пик успешных RPS [min–max] | при нагрузке | CPU API / лимит | CPU PG | CPU LB | ждут блокировку / пул |
axis.set_title("Пропускная способность от ресурсов API")
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.