docs: add scaling-improvement comparisons, connection cost and checks

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 15:46:13 +03:00
co-authored by Claude Opus 5.5
parent cd88b48b41
commit 1694b1d0ae
6 changed files with 606 additions and 14 deletions
@@ -0,0 +1,42 @@
# Сравнение серий: `scaling-db-aa` → `scaling-db-before`
- Команда: `make bench_compare BEFORE=scaling-db-aa AFTER=scaling-db-before CHANGE=scaling-improvement`
- Спек: `load-benchmark` (сравнение меток), change `scaling-improvement`; даты, commit и хост — таблица «Метки»
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов.
## Метки
| | `scaling-db-aa` | `scaling-db-before` |
|---|---|---|
| Commit | `62fa575` | `3df111c` |
| Начало прогона | 2026-10-11T11:10:56+00:00 | 2026-10-11T11:37:41+00:00 |
| Статус | complete | complete |
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 |
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
## Замечания
Нет.
## R* по общим конфигурациям
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|---|---|---|---|---|---|---|---|---|
| 4x1-pg0.5 | 931 (833–931) | 745 (745–931) | -20.0% | разбросы пересекаются | 3.5 → 4.0 / 4.5 → 5.6 | 3.3 → 3.6 / 4.8 → 4.9 | 2042 → 2178 | 0.27 → 0.22 |
| 4x1-pg2 | 1539 (1455–1627) | 1455 (1301–1627) | -5.5% | разбросы пересекаются | 3.5 → 3.6 / 4.5 → 4.6 | 3.3 → 3.4 / 5.1 → 5.3 | 2042 → 2062 | 0.64 → 0.56 |
Δ R* по конфигурациям: от -20.0% до -5.5%.
## PostgreSQL на R* и первой нарушившей ступени
Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана R*; первая нарушившая — ближайшая ступень выше R* ячейки, нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии — прирост `pg_stat_database.sessions` за окно; соединения — наибольшее число соединений с PostgreSQL в окне. Нет значения — «—».
| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |
|---|---|---|---|---|---|
| 4x1-pg0.5 | R* | 931 → 745 | 293 → 293 | 31 → 7 | 60 → 40 |
| 4x1-pg0.5 | первая нарушившая | 984 → 788 | 451 → 646 | 119 → 102 | 60 → 60 |
| 4x1-pg2 | R* | 1539 → 1455 | 416 → 388 | 213 → 190 | 55 → 45 |
| 4x1-pg2 | первая нарушившая | 1627 → 1539 | 507 → 491 | 103 → 118 | 60 → 60 |
@@ -0,0 +1,43 @@
# Сравнение серий: `scaling-db-before` → `scaling-db-nooverflow`
- Команда: `make bench_compare BEFORE=scaling-db-before AFTER=scaling-db-nooverflow AA=scaling-db-aa CHANGE=scaling-improvement`
- Спек: `load-benchmark` (сравнение меток), change `scaling-improvement`; даты, commit и хост — таблица «Метки»
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
- Уровень шума — наибольшее по общим конфигурациям изменение медианы R* между `scaling-db-aa` и `scaling-db-before`: 20.0% (4x1-pg0.5). Он имеет смысл, только если код приложения в этих метках одинаков; это проверяется по git.
- «Эффект» — разбросы повторов не пересекаются и изменение медианы больше уровня шума; иначе «в пределах шума».
## Метки
| | `scaling-db-before` | `scaling-db-nooverflow` | `scaling-db-aa` |
|---|---|---|---|
| Commit | `3df111c` | `53eb38e` | `62fa575` |
| Начало прогона | 2026-10-11T11:37:41+00:00 | 2026-10-11T12:04:47+00:00 | 2026-10-11T11:10:56+00:00 |
| Статус | complete | complete | complete |
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 |
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
## Замечания
Нет.
## R* по общим конфигурациям
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|---|---|---|---|---|---|---|---|---|
| 4x1-pg0.5 | 745 (745–931) | 984 (881–1041) | +32.1% | в пределах шума | 4.0 → 3.5 / 5.6 → 4.2 | 3.6 → 3.3 / 4.9 → 4.7 | 2178 → 2096 | 0.22 → 0.28 |
| 4x1-pg2 | 1455 (1301–1627) | 1376 (1231–1720) | -5.4% | в пределах шума | 3.6 → 3.5 / 4.6 → 4.3 | 3.4 → 3.3 / 5.3 → 4.9 | 2062 → 2104 | 0.56 → 0.43 |
Δ R* по конфигурациям: от -5.4% до +32.1%.
## PostgreSQL на R* и первой нарушившей ступени
Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана R*; первая нарушившая — ближайшая ступень выше R* ячейки, нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии — прирост `pg_stat_database.sessions` за окно; соединения — наибольшее число соединений с PostgreSQL в окне. Нет значения — «—».
| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |
|---|---|---|---|---|---|
| 4x1-pg0.5 | R* | 745 → 984 | 293 → 289 | 7 → 4 | 40 → 40 |
| 4x1-pg0.5 | первая нарушившая | 788 → 1041 | 646 → 420 | 102 → 4 | 60 → 40 |
| 4x1-pg2 | R* | 1455 → 1376 | 388 → 322 | 190 → 4 | 45 → 40 |
| 4x1-pg2 | первая нарушившая | 1539 → 1455 | 491 → 531 | 118 → 4 | 60 → 40 |
@@ -0,0 +1,43 @@
# Сравнение серий: `scaling-db` → `scaling-db-before`
- Команда: `make bench_compare BEFORE=scaling-db AFTER=scaling-db-before CHANGE=scaling-improvement`
- Спек: `load-benchmark` (сравнение меток), change `scaling-improvement`; даты, commit и хост — таблица «Метки»
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов.
## Метки
| | `scaling-db` | `scaling-db-before` |
|---|---|---|
| Commit | `46e8f75` | `3df111c` |
| Начало прогона | 2026-10-11T08:31:46+00:00 | 2026-10-11T11:37:41+00:00 |
| Статус | complete | complete |
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 |
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
## Замечания
- конфигурация 1x1-pg0.5 есть только в `scaling-db`: не сравнивается
- конфигурация 2x1-pg0.5 есть только в `scaling-db`: не сравнивается
## R* по общим конфигурациям
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|---|---|---|---|---|---|---|---|---|
| 4x1-pg0.5 | 931 (931–931) | 745 (745–931) | -20.0% | разбросы пересекаются | 3.5 → 4.0 / 4.2 → 5.6 | 3.3 → 3.6 / 4.8 → 4.9 | 2020 → 2178 | 0.26 → 0.22 |
| 4x1-pg2 | 1627 (1627–1627) | 1455 (1301–1627) | -10.6% | разбросы пересекаются | 3.3 → 3.6 / 4.2 → 4.6 | 3.2 → 3.4 / 4.7 → 5.3 | 2012 → 2062 | 0.76 → 0.56 |
Δ R* по конфигурациям: от -20.0% до -10.6%.
## PostgreSQL на R* и первой нарушившей ступени
Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана R*; первая нарушившая — ближайшая ступень выше R* ячейки, нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии — прирост `pg_stat_database.sessions` за окно; соединения — наибольшее число соединений с PostgreSQL в окне. Нет значения — «—».
| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |
|---|---|---|---|---|---|
| 4x1-pg0.5 | R* | 931 → 745 | 279 → 293 | 14 → 7 | 41 → 40 |
| 4x1-pg0.5 | первая нарушившая | 984 → 788 | 441 → 646 | 95 → 102 | 60 → 60 |
| 4x1-pg2 | R* | 1627 → 1455 | 468 → 388 | 222 → 190 | 60 → 45 |
| 4x1-pg2 | первая нарушившая | 1720 → 1539 | 492 → 491 | 118 → 118 | 60 → 60 |
+173
View File
@@ -0,0 +1,173 @@
# Цена соединения PostgreSQL и пинга при выдаче (change `scaling-improvement`)
| | |
|---|---|
| Спеки | `data-storage`: «Ограниченный пул соединений и таймауты» (сценарий «Соединения пула не переоткрываются»); `service-configuration`: «Подключение к PostgreSQL» |
| Change | `scaling-improvement`, задача 8.2 (design, Context, п. 3) |
| Дата | 2026-10-11, 12:32 UTC |
| Commit | `cd88b48` — итоговый код: пул 10 + 0 (код приложения тот же, что у `9c3959d`), `dirty: false` |
| Стенд | рабочий стенд `mtusi-lab3` (`make run_docker`): две реплики API по 1 CPU / 512 МБ за HAProxy, PostgreSQL 2 CPU / 1 ГБ; проба — в одной реплике, без нагрузки через LB |
| Хост | Apple M3 Pro (6 + 6 ядер), 18 ГиБ, macOS 26.6.2; Docker Desktop 29.8.2, ВМ 12 CPU / 7,75 GiB; питание от сети |
Это микропроба механизма, а не замер серии: числа объясняют, почему
переоткрытие соединений переполнения дорого. Тот же скрипт дал близкие
числа при выборе кандидата на `bbd6f65` (design, Context, п. 3).
## Что меряется
Итерация — то, что запрос чтения истории делает с БД: выдача соединения
из движка, проверка сессии по хэшу токена (`session_repo.get_current_session`),
страница истории (`message_repo.get_chat_messages_page`), закрытие сессии
(откат). Хэш токена и чат случайные: строк нет, запросы и планы те же.
Итерации идут последовательно, одна за другой.
Режимы:
- `ping` — пул 1 + 0, `pool_pre_ping=True`, как у приложения;
- `noping` — пул 1 + 0, `pool_pre_ping=False`;
- `fresh` — новое соединение на итерацию (`NullPool`): так ведёт себя
соединение переполнения пула, которое закрывается при возврате.
CPU реплики — `time.process_time()` процесса пробы внутри контейнера
реплики. CPU PostgreSQL — `usage_usec` из `cpu.stat` cgroup контейнера
PostgreSQL до и после режима, за вычетом фона (простой стенда 10 с
перед пробой), на итерацию с прогревом (N + 50).
## Команда
```sh
API=$(docker compose ps -q api | head -1)
PG=$(docker compose ps -q postgres)
python3 -I <scratchpad>/scaling-improvement/probe_conn_run.py "$API" "$PG"
```
`probe_conn_run.py` (хост) для каждого режима запускает
`docker exec -i "$API" python - <режим> <N> < probe_conn.py` и читает
`cpu.stat` PostgreSQL до и после. План: `ping` 3 000, `noping` 3 000,
`fresh` 600, затем то же ещё раз.
Скрипт в реплике (`probe_conn.py`, без изменений с пробы propose):
```python
import asyncio, os, sys, time, uuid
from sqlalchemy.ext.asyncio import async_sessionmaker, create_async_engine
from sqlalchemy.pool import NullPool
from src.config import settings
from src.core.repos import message as message_repo
from src.core.repos import session as session_repo
from src.infra.db.engine import BoundedCloseConnection
from src.utils.utc import utcnow
MODE = sys.argv[1]
N = int(sys.argv[2])
WARMUP = 50
def make_engine():
db = settings.database
kwargs = {
"pool_pre_ping": MODE != "noping",
"hide_parameters": True,
"connect_args": {
"timeout": db.connect_timeout_seconds,
"connection_class": BoundedCloseConnection,
"server_settings": {
"application_name": "probe",
"statement_timeout": str(db.statement_timeout_ms),
"idle_in_transaction_session_timeout": str(
db.idle_in_transaction_timeout_ms,
),
},
},
}
if MODE == "fresh":
kwargs["poolclass"] = NullPool
else:
kwargs["pool_size"] = 1
kwargs["max_overflow"] = 0
return create_async_engine(db.url, **kwargs)
async def one(factory) -> None:
async with factory() as db_session:
await session_repo.get_current_session(
db_session=db_session,
token_hash=os.urandom(32),
now=utcnow(),
)
await message_repo.get_chat_messages_page(
db_session=db_session,
chat_id=uuid.uuid4(),
after=None,
limit=50,
)
async def main() -> None:
engine = make_engine()
factory = async_sessionmaker(engine, expire_on_commit=False)
for _ in range(WARMUP):
await one(factory)
cpu = time.process_time()
wall = time.perf_counter()
for _ in range(N):
await one(factory)
cpu = time.process_time() - cpu
wall = time.perf_counter() - wall
print(f"mode={MODE} n={N} app_cpu_us={cpu / N * 1e6:.1f} "
f"wall_us={wall / N * 1e6:.1f}", flush=True)
await engine.dispose()
asyncio.run(main())
```
`token_hash` — имя параметра repo, значение — случайные байты, а не
токен. Скрипт не печатает настроек и паролей.
## Вывод
```text
idle PostgreSQL CPU: 11.14 ms/s
mode=ping n=3000 app_cpu_us=593.1 wall_us=843.9 pg_cpu_us=140.3 elapsed_s=3.1
mode=noping n=3000 app_cpu_us=468.2 wall_us=609.8 pg_cpu_us=96.5 elapsed_s=2.4
mode=fresh n=600 app_cpu_us=11711.7 wall_us=14702.6 pg_cpu_us=2654.2 elapsed_s=10.1
mode=ping n=3000 app_cpu_us=609.2 wall_us=837.9 pg_cpu_us=152.9 elapsed_s=3.1
mode=noping n=3000 app_cpu_us=476.7 wall_us=621.3 pg_cpu_us=92.6 elapsed_s=2.4
mode=fresh n=600 app_cpu_us=11799.2 wall_us=14695.4 pg_cpu_us=2683.4 elapsed_s=10.1
```
| Итерация | CPU реплики, мкс | CPU PostgreSQL, мкс | Время, мкс |
|---|---|---|---|
| из пула, пинг при выдаче (как в приложении) | 593–609 | 140–153 | 838–844 |
| из пула, без пинга | 468–477 | 93–97 | 610–621 |
| новое соединение на итерацию | 11 712–11 799 | 2 654–2 683 | 14 695–14 703 |
Проба propose на `bbd6f65` (design, Context, п. 3): 552–590 / 130–138,
442–454 / 90–94, 11 225–11 318 / 2 378–2 386 мкс. Порядок величин тот
же, расхождение — в пределах 10 %.
## Как читать
- **Новое соединение дороже запроса из пула в ~20 раз** и для реплики
(11,7 мс против 0,6 мс), и для PostgreSQL (2,7 мс против 0,15 мс).
Соединение переполнения пула 10 + 5 закрывается при возврате и под
нагрузкой открывается заново (`QueuePool._do_return_conn`), то есть
платит эту цену на каждый переход через 10 одновременных запросов.
- **Реплика.** Почти вся цена — SCRAM-SHA-256: asyncpg
(`protocol/scram.pyx`) считает PBKDF2 на 4 096 итераций циклом
`hmac.new()` в потоке event loop. Event loop стоит ~10 мс, и все
запросы реплики в полёте ждут. `pg_hba` образа PostgreSQL для сети
compose — `host all all all scram-sha-256`.
- **PostgreSQL.** Новый процесс backend, аутентификация, холодный кэш
каталога; подготовленные выражения asyncpg кэширует на соединение и
готовит заново.
- **Пинг при выдаче** (`pool_pre_ping=True`) — 3 обмена с сервером
(`BEGIN`, `;`, `ROLLBACK`, диалект asyncpg `_async_ping`) и лишняя
транзакция на каждую выдачу: +125–133 мкс CPU реплики и +44–60 мкс
CPU PostgreSQL на запрос. Это найденный, но не применённый кандидат:
без пинга первый запрос после рестарта PostgreSQL получил бы ошибку на
мёртвом соединении, а спек `data-storage` («БД вернулась») и тест
`test_connection_limit_reached` держатся на пинге (design, решение 6).
@@ -0,0 +1,286 @@
# Проверки change `scaling-improvement`: пул без переполнения
| | |
|---|---|
| Спеки | `data-storage`: «Ограниченный пул соединений и таймауты» (сценарии «Соединения исчерпаны», «Соединения пула не переоткрываются»); `service-configuration`: «Подключение к PostgreSQL» (сценарий «Пул по умолчанию»); `load-benchmark`: «Сравнение двух меток» (сценарий «PostgreSQL в сравнении серий», «Метка сама с собой», «Разная методика»), «Сравнение „до/после“ в отчёте» (сценарии «Одно изменение», «Улучшение на серии трека 1», «Предсказание не подтвердилось») |
| Change | `scaling-improvement`, задачи 1.5, 3.1, 3.6, 3.7, 5–8 |
| Дата | 2026-10-11, 10:00–12:50 UTC |
| Commit | инструменты сравнения `1e50a4a`; H4 `0b0421a`; изменение X `9c3959d` (`perf: keep a fixed PostgreSQL pool without overflow connections`); исправления теста X2 `623a973`, X3 `80e64cd`; профиль `db4` и сокращение набора ячеек `1bb8ea6`; откат R `62fa575`; метка A/A — коммит `3df111c` (снята на `62fa575`); метка «до» — коммит `dfd9ecc` (снята на `3df111c`); возврат изменения `53eb38e`; метка «после» — коммит `cd88b48` (снята на `53eb38e`) |
| Стенд | тесты — рабочий стенд `mtusi-lab3` (две реплики за HAProxy), стенд отказов `mtusi-lab3-failures`, `make test_isolated`; замеры — проект `mtusi-bench` (HAProxy, 4 реплики по 1 CPU / 512 МиБ, PostgreSQL 0,5 или 2 CPU), рабочий стенд на время замеров остановлен |
| Хост | Apple M3 Pro (6 + 6 ядер), 18 ГиБ, macOS 26.6.2; Docker Desktop 29.8.2 (`docker version`), ВМ — 12 CPU, 7,75 GiB (`docker info`: `12 8319238144`); питание от сети; выгрузок в swap за каждый замер — 0 |
## Пробы propose (до change, в git не идут)
Проба основной ячейки 4 × 1 при PostgreSQL 0,5 CPU на `bbd6f65`, один
повтор, пул задан окружением; метки
`evidence/bench/quick-probe-*-20261011T094150Z` в `.gitignore`
(design, Context, п. 5). Число — CPU PostgreSQL на успешный запрос, мкс;
✓ / ✗ — ступень прошла или нарушила SLO.
| Вариант | 931 | 1 041 | 1 164 подъёмом от 1 041 | 1 164 с нуля | 1 455 | R* | Новых сессий за окно |
|---|---|---|---|---|---|---|---|
| 10 + 5 (было) | ✓ 282 | ✗ 482 | ✗ 435 | ✗ 458 | ✗ 465 | 931 | 9–52 |
| 10 + 0 | ✓ 275 | ✓ 299 | ✗ 454 | ✓ 297 | ✗ 456 | 1 164 | 3–4 |
| 15 + 0 | ✓ 281 | ✓ 287 | ✗ 473 | ✗ 422 | ✗ 464 | 1 041 | 4 |
| 10 + 5 без пинга | ✓ 231 | ✓ 442 | ✓ 430 | — | ✗ 384 | 1 164 | 9–264 |
## 1.5. Самопроверка `compare.py`
```text
$ make lint → All checks passed!
$ uv run python bench/scaling.py --selftest → selftest ok
$ make -n bench_compare BEFORE=a AFTER=b CHANGE=x
uv run python bench/compare.py --before "a" --after "b" --aa "" --change "x"
$ make -n bench_compare BEFORE=a AFTER=b
uv run python bench/compare.py --before "a" --after "b" --aa ""
$ make bench_compare BEFORE=scaling-db AFTER=scaling-db CHANGE=scaling-improvement → код 0
```
Шапка: «change `scaling-improvement`»; Δ R* +0.0 % у всех четырёх
конфигураций; второй раздел (файл удалён, он не отслеживается):
| Конфигурация | Ступень | Уровень | CPU PostgreSQL на запрос, мкс | Новых сессий | Соединений |
|---|---|---|---|---|---|
| 1x1-pg0.5 | R* | 630 → 630 | 298 → 298 | 95 → 95 | 15 → 15 |
| 2x1-pg0.5 | R* | 1101 → 1101 | 348 → 348 | 129 → 129 | 30 → 30 |
| 4x1-pg0.5 | R* | 931 → 931 | 279 → 279 | 14 → 14 | 41 → 41 |
| 4x1-pg0.5 | первая нарушившая | 984 → 984 | 441 → 441 | 95 → 95 | 60 → 60 |
| 4x1-pg2 | R* | 1627 → 1627 | 468 → 468 | 222 → 222 | 60 → 60 |
```text
$ make bench_compare BEFORE=quick-probe-pool-10-5-20261011T094150Z AFTER=quick-probe-pool-10-5-20261011T094150Z CHANGE=scaling-improvement
→ код 0; файл evidence/compare/quick-probe-…md — в .gitignore (evidence/compare/*quick-*)
$ make bench_compare BEFORE=quick-probe-pool-10-5-20261011T094150Z AFTER=quick-probe-pool-10-0-20261011T094150Z
compare failed: labels … were measured with different methodology:
stand.app_env.DATABASE__MAX_OVERFLOW: quick-probe-pool-10-5-… = '5', quick-probe-pool-10-0-… = '0'
→ compare.py код 1 (make — 2), таблица не создана
```
Последнее подтверждает решение 2: пул для «до/после» меняется дефолтом
в коде, а не окружением стенда.
## 3.1. «Пул по умолчанию»
```text
$ uv run python -c "from src.config.settings import Database; d = Database(); print(d.pool_size, d.max_overflow)"
10 0
$ uv run python -c "from src.config import settings; print(settings.database.max_overflow)" (рабочий config.toml после правки)
0
$ docker compose --env-file .env config --quiet → код 0
$ docker exec <реплика рабочего стенда> python -c "from src.config import settings; print(settings.database.pool_size, settings.database.max_overflow)" (cd88b48)
10 0
```
Рабочий `config.toml` (не в git) задавал `max_overflow = 5` явно; ключ
исправлен на `0` через Edit, стенд пересоздан (`make down`, `make
run_docker`).
## 3.6. Тест свойства: красный на 10 + 5, зелёный на 10 + 0
`student-tests/test_failures.py::test_pool_keeps_connections` (маркер
`fault`, сценарий «Соединения пула не переоткрываются»): обычный API
стенда отказов (пул из смонтированного рабочего `config.toml`), пачки по
48 потоков (свой клиент keep-alive у каждого, 1 запрос до барьера и 4
после), прогрев 2 пачки и пауза 11 с, калибровка `s2 − s1 == 1`, затем
3 пачки (720 запросов) и `s3 − s2 − 1 == 0`.
Итоговый код теста — `80e64cd`:
```text
config.toml max_overflow = 5:
$ make failure_checks FAULT_ARGS='-k pool_keeps_connections'
E AssertionError: PostgreSQL accepted 19 new sessions during 720 requests
====================== 1 failed, 147 deselected in 14.13s ======================
$ make failure_checks
E AssertionError: PostgreSQL accepted 18 new sessions during 720 requests
=========== 1 failed, 16 passed, 131 deselected in 60.29s (0:01:00) ============
config.toml max_overflow = 0:
$ make failure_checks FAULT_ARGS='-k pool_keeps_connections'
====================== 1 passed, 147 deselected in 13.61s ======================
$ make failure_checks (три прогона подряд и ещё один на закоммиченном 80e64cd)
================ 17 passed, 131 deselected in 60.07s (0:01:00) =================
================ 17 passed, 131 deselected in 60.34s (0:01:00) =================
===================== 17 passed, 131 deselected in 59.21s ======================
================ 17 passed, 131 deselected in 60.81s (0:01:00) =================
```
17 проверок отказов — на одну больше, чем в
`evidence/tests/scaling-bench-checks.md` (16).
**Разбор шума теста** (design, «Найдено в apply», п. 1). Первая версия
(`9c3959d`) была красной на 10 + 5 (21 сессия) и зелёной отдельно, но в
полном наборе на 10 + 0 падала с «1 new sessions» или «stand is noisy:
2». Журнал PostgreSQL стенда отказов с `log_connections` показал:
- healthcheck `pg_isready -h 127.0.0.1` раз в 5 с — полноценная сессия в
базе приложения (`pg_hba` образа пускает `127.0.0.1` по `trust`):
`connection authorized: user=messenger database=messenger
application_name=pg_isready`. Исправлено в `failures.compose.yml`:
healthcheck стенда отказов проверяет базу `postgres` (после правки —
`database=postgres application_name=pg_isready`);
- сессия `psql` hook учитывает себя в `sessions` гонкой (сброс статистики
без ожидания блокировки) — `db-sessions` сначала вызывает
`pg_stat_force_next_flush()`;
- соединения прогрева сбрасывают статистику с задержкой — пауза 11 с
(`PGSTAT_IDLE_INTERVAL` 10 с).
Порог теста не менялся: в окне по-прежнему 0 новых сессий. Попутно
найдено: `fill-connections` роняет PostgreSQL стенда отказов в crash
recovery (`untracked child process … exited with exit code 2`, «all
server processes terminated; reinitializing») — `KNOWN_ISSUES.md`.
## 3.7. Регрессия на коде X (`80e64cd`, рабочий стенд пересоздан)
```text
$ make down && make run_docker && make lb_stats
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
$ make test
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
$ make student_test
coverage: 137 scenarios in 11 specs, 125 tested (18 by make failure_checks), 12 excluded
===================== 131 passed, 17 deselected in 20.34s ======================
$ make instances
63b8a6542503: 6
46b41b17200e: 6
instances: 2
$ printf "SELECT count(*) FROM pg_stat_activity WHERE application_name = 'mtusi-messenger';\n" | docker compose exec -T postgres sh -c 'psql …'
17 (≤ 2 × 10)
$ make test_isolated
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
================ 127 passed, 4 skipped, 17 deselected in 53.63s ================
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_ONE_LOG=…
{"observed_instances_before": 2, "successful_writes": 118, "failed_attempts": 0, "first_recovery_seconds": 0.98}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
$ make replicas; один запрос через LB (X-Instance-Id: 46b41b17200e); make test-failover …
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 0.961}
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
$ make replicas
STOP_ONE_LOG:
2026-10-11T10:53:40Z TARGET_INSTANCE_ID=63b8a6542503 container=63b8a654…28dd mode=stop
2026-10-11T11:04:09Z TARGET_INSTANCE_ID=46b41b17200e container=46b41b17…edb5 mode=stop
$ make bench_scaling_quick (1bb8ea6, код X)
complete: 2/2 runs, results in evidence/bench/quick-scaling-20261011T110702Z
```
## 4.1. Откат R и проверки по git
```text
$ git revert --no-commit 80e64cd 623a973 9c3959d && git commit … → 62fa575
$ git diff --stat 9c3959d^ 62fa575 -- src Dockerfile pyproject.toml uv.lock .dockerignore .python-version
(пусто — код «до»)
$ git diff --stat 62fa575 3df111c -- src Dockerfile pyproject.toml uv.lock
(пусто — код A/A = код R)
meta.git.commit: scaling-db-aa = 62fa575, scaling-db-before = 3df111c (коммит метки A/A), scaling-db-nooverflow = 53eb38e; dirty: false у всех трёх
$ git diff --stat 3df111c 53eb38e -- src Dockerfile pyproject.toml uv.lock
src/config/settings.py | 6 +++++-
1 file changed, 5 insertions(+), 1 deletion(-)
```
Между «до» и «после» код приложения отличается одним файлом — дефолтом
`max_overflow`.
## 5–6. Хост и прогоны
| Момент | Время, UTC | Питание | Свободно памяти | `Swapouts` | Посторонних контейнеров |
|---|---|---|---|---|---|
| перед A/A (`make stop`) | 11:10:56 | AC Power | 47 % | 6 697 411 | 0 |
| после A/A | 11:37:25 | — | — | 6 697 411 | — |
| перед `make bench_ab` | 11:37:35 | AC Power | 52 % | 6 697 411 | 0 |
| после `make bench_ab` | 12:30:40 | — | — | 6 697 411 | — |
`docker info`: 12 CPU, 8 319 238 144 байт, Docker 29.8.2. В паспортах
трёх меток `host_state.swapouts_delta` 0, `slept_seconds` 0,
`host_warnings` пуст; 6 ячеек, все `complete`, брака генератора нет.
| Метка | Команда | Прогон, UTC | Код |
|---|---|---|---|
| `scaling-db-aa` | `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa` | 11:10:56–11:37:05 | `62fa575` (R, 10 + 5) |
| `scaling-db-before` | `make bench_ab BEFORE=scaling-db-before AFTER=scaling-db-nooverflow REAPPLY=62fa575 SERIES=db4`, шаг 1 | 11:37:41–12:04:46 | `3df111c` (10 + 5) |
| `scaling-db-nooverflow` | то же, шаг 5 (`bench_ab done in 53 min`) | 12:04:47–12:30:28 | `53eb38e` (10 + 0) |
R* по ячейкам (порядок плана — чередование основной и контрольной):
| Метка | 4x1-pg0.5 r1 / r2 / r3 | 4x1-pg2 r1 / r2 / r3 |
|---|---|---|
| `scaling-db-aa` | 833 / 931 / 931 | 1 627 / 1 455 / 1 539 |
| `scaling-db-before` | 931 / 745 / 745 | 1 455 / 1 627 / 1 301 |
| `scaling-db-nooverflow` | 1 041 / 984 / 881 | 1 376 / 1 231 / 1 720 |
CPU реплик на запрос, мкс, на 250 / 500 запросов/с по ячейкам (детектор
дрейфа):
| Метка | 4x1-pg0.5 r1 / r2 / r3 | 4x1-pg2 r1 / r2 / r3 |
|---|---|---|
| `scaling-db-aa` | 2 111/2 042, 2 343/2 054, 2 127/2 036 | 2 195/2 210, 2 143/2 042, 2 127/2 020 |
| `scaling-db-before` | 2 119/2 012, **2 344/2 178**, **2 355/2 232** | 2 124/2 018, 2 143/2 062, **2 648/2 819** |
| `scaling-db-nooverflow` | 2 187/2 096, 2 103/2 459, 2 192/2 086 | 2 143/2 112, 2 164/2 092, 2 167/2 104 |
В метке «до» три ячейки из шести (r2 и r3 основной, r3 контроля)
шли на заметно более медленном хосте: CPU на запрос на тех же 250 и
500/с выше на 8–40 %, ещё до насыщения базы. Именно у них R* 745 и
1 301.
## 7. Сравнения и критерий
```text
$ make bench_compare BEFORE=scaling-db-before AFTER=scaling-db-nooverflow AA=scaling-db-aa CHANGE=scaling-improvement
$ make bench_compare BEFORE=scaling-db-aa AFTER=scaling-db-before CHANGE=scaling-improvement
$ make bench_compare BEFORE=scaling-db AFTER=scaling-db-before CHANGE=scaling-improvement
→ код 0, файлы evidence/compare/scaling-db-before__scaling-db-nooverflow.md,
scaling-db-aa__scaling-db-before.md, scaling-db__scaling-db-before.md
```
Критерий H4 (design, решение 5; записан до замеров, `0b0421a` и
`1bb8ea6`), только числа из таблиц команд:
| Пункт | Условие | Факт | Итог |
|---|---|---|---|
| 1 | `4x1-pg0.5` — «эффект» и медиана после / до ≥ 1,118 | 745 (745–931) → 984 (881–1 041), +32,1 %, вывод «в пределах шума»: разбросы пересекаются (931 > 881), шум A/A 20,0 % | **не выполнен** |
| 2 | «после» новых сессий ≤ 10 на R* и первой нарушившей; соединений на R* ≤ 40; «до» на первой нарушившей ≥ 40 | после: 4 и 4, соединений 40; до: 102 | выполнен |
| 3 | CPU реплик на запрос на 500/с ±5 % у `4x1-pg0.5` и `4x1-pg2`; шум A/A меньше двух ступеней | 2 178 → 2 096 (−3,8 %), 2 062 → 2 104 (+2,0 %); шум A/A 20,0 % (931 → 745 у `4x1-pg0.5`) | **не выполнен** (шум) |
Контроль `4x1-pg2`: 1 455 (1 301–1 627) → 1 376 (1 231–1 720), −5,4 %,
«в пределах шума» — меньше двух ступеней, хуже не стал. Шум между
сессиями (тот же код, `scaling-db` → `scaling-db-before`): −20,0 % и
−10,6 %.
**Итог: по заранее записанному критерию H4 не подтверждена.** Медиана
R* основной ячейки выросла на 32 % (≈ 5 ступеней), механизм виден
целиком (переоткрытие пропало: 102 → 4 новых сессий на первой
нарушившей, у контроля на R* 190 → 4; соединений 60 → 40), но шум A/A
в той же сессии — 20 %: разбросы пересекаются, и пункт 3 о дрейфе не
выполнен. По design (решение 5) это дрейф сессии хоста: не
засчитывается ничего; переснимать ли — решает основная сессия. X
остаётся: ни одна конфигурация не стала хуже на две ступени.
## 8. Итоговый код
```text
$ make run_docker && make lb_stats (cd88b48)
api-1 172.30.0.5:8080 UP L7OK
api-2 172.30.0.4:8080 UP L7OK
$ make test
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
```
Цена соединения и пинга на итоговом коде —
`evidence/storage/connection-cost.md`.
Регрессия стенда `bench/` на итоговом коде (`cd88b48`), одной цепочкой,
самопроверки без проверки хоста (рабочий стенд работал рядом):
```text
$ make bench_quick && make bench_restore_quick && make bench_failover_quick && make bench_rollout_quick && make bench_scaling_quick
complete: 18/18 runs, results in evidence/bench/quick-20261011T123216Z
complete: 0/0 runs, results in evidence/bench/quick-restore-20261011T123545Z
complete: 4/4 runs, results in evidence/failover/quick-failover-20261011T123750Z
complete: 1/1 runs, results in evidence/rollout/quick-rollout-20261011T123951Z
complete: 2/2 runs, results in evidence/bench/quick-scaling-20261011T124122Z
CHAIN EXIT 0
```
Метки `quick-*` — в `.gitignore`.
+19 -14
View File
@@ -244,7 +244,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 4. Откат R
- [ ] 4.1 `git revert --no-commit <X> [<X2>]`, затем `git commit -m
- [x] 4.1 `git revert --no-commit <X> [<X2>]`, затем `git commit -m
"revert: measure scaling-improvement baseline without the pool change"
-m "This reverts commit <X>." -m "Co-Authored-By: Claude Opus 5.5
<noreply@anthropic.com>"`. Проверка:
@@ -258,9 +258,9 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 5. A/A на коде «до»
- [ ] 5.1 Проверка хоста (шапка задач). `vm_stat | grep Swapouts` —
- [x] 5.1 Проверка хоста (шапка задач). `vm_stat | grep Swapouts` —
«до».
- [ ] 5.2 `nohup make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa
- [x] 5.2 `nohup make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa
> <scratchpad>/scaling-improvement/aa.log 2>&1 &`, около 25 мин
(`db4` — только `4x1-pg0.5` и `4x1-pg2`, решение пользователя
сократить замеры; design, решение 3, «Изменено в apply»; профиль
@@ -274,7 +274,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
Прервалась — разбор причины, затем `make bench_scaling SERIES=db4
SCALING_LABEL=scaling-db-aa RESUME=1`.
- [ ] 5.3 Коммит только метки: `git add evidence/bench/scaling-db-aa`,
- [x] 5.3 Коммит только метки: `git add evidence/bench/scaling-db-aa`,
`docs: add scaling db A/A label for scaling-improvement`. Проверка:
- `git status --porcelain` пуст;
- `git diff --stat <R> HEAD -- src Dockerfile pyproject.toml uv.lock`
@@ -282,7 +282,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 6. «До» и «после»: `make bench_ab`
- [ ] 6.1 Проверка хоста (шапка задач), `Swapouts` «до». Затем:
- [x] 6.1 Проверка хоста (шапка задач), `Swapouts` «до». Затем:
- `uv run python bench/ab.py --before scaling-db-before --after
scaling-db-nooverflow --reapply <R> --series db4 --dry-run` печатает
5 шагов: серия, `git add`, `git commit`, `git revert`, серия;
@@ -295,7 +295,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
"[b]ench/ab.py" >/dev/null`. Проверка: в журнале
`bench_ab done`; в `git log` — коммит `docs: add scaling-db-before
bench evidence` и коммит `Revert "revert: …"`.
- [ ] 6.2 `Swapouts` «после». Коммит метки «после»: `git add
- [x] 6.2 `Swapouts` «после». Коммит метки «после»: `git add
evidence/bench/scaling-db-nooverflow`, `docs: add scaling-db-nooverflow
label`. Проверка:
- обе метки `complete`, `dirty: false`, `host_warnings` пуст, 6
@@ -310,7 +310,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 7. Сравнения и критерий
- [ ] 7.1 Три сравнения, все с `CHANGE=scaling-improvement`:
- [x] 7.1 Три сравнения, все с `CHANGE=scaling-improvement`:
- `make bench_compare BEFORE=scaling-db-before
AFTER=scaling-db-nooverflow AA=scaling-db-aa` — «до/после» с шумом;
- `make bench_compare BEFORE=scaling-db-aa AFTER=scaling-db-before` —
@@ -321,8 +321,13 @@ Monitor, не дольше 30 мин на вызов, по истечении
Проверка: три файла в `evidence/compare/`, в шапке —
`scaling-improvement`; у «до/после» — уровень шума, вывод по каждой
конфигурации и раздел PostgreSQL.
- [ ] 7.2 Критерий «подтверждено» по решению 5, только числами из
таблиц 7.1:
- [x] 7.2 Критерий «подтверждено» по решению 5, только числами из
таблиц 7.1. **Итог (2026-10-11): не подтверждено** — пункт 1 не
выполнен (`4x1-pg0.5` 745 → 984, +32,1 %, «в пределах шума»: разбросы
пересекаются), пункт 2 выполнен (сессии 102 → 4, соединений 40),
пункт 3 не выполнен (шум A/A 20,0 % — дрейф хоста в метке «до»). X
остаётся (контроль −5,4 %), вопрос основной сессии — повтор замера или
запасной кандидат (`evidence/tests/scaling-improvement-checks.md`):
1. `4x1-pg0.5` — «эффект» и медиана после / до ≥ 1,118;
2. механизм: «после» новых сессий ≤ 10 на R* и первой нарушившей,
соединений на R* ≤ 40; «до» на первой нарушившей — ≥ 40 сессий;
@@ -344,9 +349,9 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 8. Регрессия на итоговом коде и цена соединения
- [ ] 8.1 Рабочий стенд на итоговом коде: `make run_docker`, `make
- [x] 8.1 Рабочий стенд на итоговом коде: `make run_docker`, `make
lb_stats` — обе реплики `UP`, `make test` — `PASS`.
- [ ] 8.2 Цена соединения и пинга на итоговом коде. Скрипты пробы
- [x] 8.2 Цена соединения и пинга на итоговом коде. Скрипты пробы
propose: `<scratchpad>/scaling-improvement/probe_conn.py` (в
реплике: режимы `ping`, `noping`, `fresh`) и `probe_conn_run.py`
(хост: CPU cgroup PostgreSQL до и после режима, вычет фона). Нет их —
@@ -358,7 +363,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
Проверка: порядок величин как в design — новое соединение ≈ 11 мс
CPU реплики и ≈ 2,4 мс PostgreSQL, пинг ≈ 110–140 и 40–45 мкс на
выдачу. Разошлось больше чем вдвое — разобраться до 9.1.
- [ ] 8.3 Регрессия стенда `bench/` на итоговом коде, фоном одной
- [x] 8.3 Регрессия стенда `bench/` на итоговом коде, фоном одной
цепочкой: `make bench_quick && make bench_restore_quick && make
bench_failover_quick && make bench_rollout_quick && make
bench_scaling_quick`. Проверка: все с кодом 0, метки `quick-*` — в
@@ -367,7 +372,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
## 9. Evidence
- [ ] 9.1 `evidence/storage/connection-cost.md`:
- [x] 9.1 `evidence/storage/connection-cost.md`:
- шапка: спек `data-storage`, change, дата, commit, стенд, хост;
- команда, текст `probe_conn.py` и процедура хоста;
- вывод 8.2 и как его читать: новое соединение против запроса из
@@ -391,7 +396,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
evidence/storage/connection-cost.md
evidence/tests/scaling-improvement-checks.md` ничего не находит.
`token_hash` в тексте скрипта пробы — имя параметра, не секрет.
- [ ] 9.2 Коммит evidence: `docs: add scaling-improvement comparisons,
- [x] 9.2 Коммит evidence: `docs: add scaling-improvement comparisons,
connection cost and checks` (файлы 7.1 и 9.1). Проверка: дерево
чистое.