docs: add scaling-improvement comparisons, connection cost and checks
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,42 @@
|
||||
# Сравнение серий: `scaling-db-aa` → `scaling-db-before`
|
||||
|
||||
- Команда: `make bench_compare BEFORE=scaling-db-aa AFTER=scaling-db-before CHANGE=scaling-improvement`
|
||||
- Спек: `load-benchmark` (сравнение меток), change `scaling-improvement`; даты, commit и хост — таблица «Метки»
|
||||
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
|
||||
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
|
||||
- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов.
|
||||
|
||||
## Метки
|
||||
|
||||
| | `scaling-db-aa` | `scaling-db-before` |
|
||||
|---|---|---|
|
||||
| Commit | `62fa575` | `3df111c` |
|
||||
| Начало прогона | 2026-10-11T11:10:56+00:00 | 2026-10-11T11:37:41+00:00 |
|
||||
| Статус | complete | complete |
|
||||
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
|
||||
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 |
|
||||
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
|
||||
|
||||
## Замечания
|
||||
|
||||
Нет.
|
||||
|
||||
## R* по общим конфигурациям
|
||||
|
||||
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 4x1-pg0.5 | 931 (833–931) | 745 (745–931) | -20.0% | разбросы пересекаются | 3.5 → 4.0 / 4.5 → 5.6 | 3.3 → 3.6 / 4.8 → 4.9 | 2042 → 2178 | 0.27 → 0.22 |
|
||||
| 4x1-pg2 | 1539 (1455–1627) | 1455 (1301–1627) | -5.5% | разбросы пересекаются | 3.5 → 3.6 / 4.5 → 4.6 | 3.3 → 3.4 / 5.1 → 5.3 | 2042 → 2062 | 0.64 → 0.56 |
|
||||
|
||||
Δ R* по конфигурациям: от -20.0% до -5.5%.
|
||||
|
||||
## PostgreSQL на R* и первой нарушившей ступени
|
||||
|
||||
Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана R*; первая нарушившая — ближайшая ступень выше R* ячейки, нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии — прирост `pg_stat_database.sessions` за окно; соединения — наибольшее число соединений с PostgreSQL в окне. Нет значения — «—».
|
||||
|
||||
| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |
|
||||
|---|---|---|---|---|---|
|
||||
| 4x1-pg0.5 | R* | 931 → 745 | 293 → 293 | 31 → 7 | 60 → 40 |
|
||||
| 4x1-pg0.5 | первая нарушившая | 984 → 788 | 451 → 646 | 119 → 102 | 60 → 60 |
|
||||
| 4x1-pg2 | R* | 1539 → 1455 | 416 → 388 | 213 → 190 | 55 → 45 |
|
||||
| 4x1-pg2 | первая нарушившая | 1627 → 1539 | 507 → 491 | 103 → 118 | 60 → 60 |
|
||||
@@ -0,0 +1,43 @@
|
||||
# Сравнение серий: `scaling-db-before` → `scaling-db-nooverflow`
|
||||
|
||||
- Команда: `make bench_compare BEFORE=scaling-db-before AFTER=scaling-db-nooverflow AA=scaling-db-aa CHANGE=scaling-improvement`
|
||||
- Спек: `load-benchmark` (сравнение меток), change `scaling-improvement`; даты, commit и хост — таблица «Метки»
|
||||
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
|
||||
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
|
||||
- Уровень шума — наибольшее по общим конфигурациям изменение медианы R* между `scaling-db-aa` и `scaling-db-before`: 20.0% (4x1-pg0.5). Он имеет смысл, только если код приложения в этих метках одинаков; это проверяется по git.
|
||||
- «Эффект» — разбросы повторов не пересекаются и изменение медианы больше уровня шума; иначе «в пределах шума».
|
||||
|
||||
## Метки
|
||||
|
||||
| | `scaling-db-before` | `scaling-db-nooverflow` | `scaling-db-aa` |
|
||||
|---|---|---|---|
|
||||
| Commit | `3df111c` | `53eb38e` | `62fa575` |
|
||||
| Начало прогона | 2026-10-11T11:37:41+00:00 | 2026-10-11T12:04:47+00:00 | 2026-10-11T11:10:56+00:00 |
|
||||
| Статус | complete | complete | complete |
|
||||
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
|
||||
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 |
|
||||
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
|
||||
|
||||
## Замечания
|
||||
|
||||
Нет.
|
||||
|
||||
## R* по общим конфигурациям
|
||||
|
||||
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 4x1-pg0.5 | 745 (745–931) | 984 (881–1041) | +32.1% | в пределах шума | 4.0 → 3.5 / 5.6 → 4.2 | 3.6 → 3.3 / 4.9 → 4.7 | 2178 → 2096 | 0.22 → 0.28 |
|
||||
| 4x1-pg2 | 1455 (1301–1627) | 1376 (1231–1720) | -5.4% | в пределах шума | 3.6 → 3.5 / 4.6 → 4.3 | 3.4 → 3.3 / 5.3 → 4.9 | 2062 → 2104 | 0.56 → 0.43 |
|
||||
|
||||
Δ R* по конфигурациям: от -5.4% до +32.1%.
|
||||
|
||||
## PostgreSQL на R* и первой нарушившей ступени
|
||||
|
||||
Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана R*; первая нарушившая — ближайшая ступень выше R* ячейки, нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии — прирост `pg_stat_database.sessions` за окно; соединения — наибольшее число соединений с PostgreSQL в окне. Нет значения — «—».
|
||||
|
||||
| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |
|
||||
|---|---|---|---|---|---|
|
||||
| 4x1-pg0.5 | R* | 745 → 984 | 293 → 289 | 7 → 4 | 40 → 40 |
|
||||
| 4x1-pg0.5 | первая нарушившая | 788 → 1041 | 646 → 420 | 102 → 4 | 60 → 40 |
|
||||
| 4x1-pg2 | R* | 1455 → 1376 | 388 → 322 | 190 → 4 | 45 → 40 |
|
||||
| 4x1-pg2 | первая нарушившая | 1539 → 1455 | 491 → 531 | 118 → 4 | 60 → 40 |
|
||||
@@ -0,0 +1,43 @@
|
||||
# Сравнение серий: `scaling-db` → `scaling-db-before`
|
||||
|
||||
- Команда: `make bench_compare BEFORE=scaling-db AFTER=scaling-db-before CHANGE=scaling-improvement`
|
||||
- Спек: `load-benchmark` (сравнение меток), change `scaling-improvement`; даты, commit и хост — таблица «Метки»
|
||||
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
|
||||
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
|
||||
- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов.
|
||||
|
||||
## Метки
|
||||
|
||||
| | `scaling-db` | `scaling-db-before` |
|
||||
|---|---|---|
|
||||
| Commit | `46e8f75` | `3df111c` |
|
||||
| Начало прогона | 2026-10-11T08:31:46+00:00 | 2026-10-11T11:37:41+00:00 |
|
||||
| Статус | complete | complete |
|
||||
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
|
||||
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.8.2 |
|
||||
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
|
||||
|
||||
## Замечания
|
||||
|
||||
- конфигурация 1x1-pg0.5 есть только в `scaling-db`: не сравнивается
|
||||
- конфигурация 2x1-pg0.5 есть только в `scaling-db`: не сравнивается
|
||||
|
||||
## R* по общим конфигурациям
|
||||
|
||||
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|
||||
|---|---|---|---|---|---|---|---|---|
|
||||
| 4x1-pg0.5 | 931 (931–931) | 745 (745–931) | -20.0% | разбросы пересекаются | 3.5 → 4.0 / 4.2 → 5.6 | 3.3 → 3.6 / 4.8 → 4.9 | 2020 → 2178 | 0.26 → 0.22 |
|
||||
| 4x1-pg2 | 1627 (1627–1627) | 1455 (1301–1627) | -10.6% | разбросы пересекаются | 3.3 → 3.6 / 4.2 → 4.6 | 3.2 → 3.4 / 4.7 → 5.3 | 2012 → 2062 | 0.76 → 0.56 |
|
||||
|
||||
Δ R* по конфигурациям: от -20.0% до -10.6%.
|
||||
|
||||
## PostgreSQL на R* и первой нарушившей ступени
|
||||
|
||||
Медианы по завершённым ячейкам, «до → после». Уровень R* — медиана R*; первая нарушившая — ближайшая ступень выше R* ячейки, нарушившая SLO. CPU PostgreSQL — на успешный запрос; новые сессии — прирост `pg_stat_database.sessions` за окно; соединения — наибольшее число соединений с PostgreSQL в окне. Нет значения — «—».
|
||||
|
||||
| Конфигурация | Ступень | Уровень, запросов/с | CPU PostgreSQL на запрос, мкс | Новых сессий за окно | Соединений PostgreSQL |
|
||||
|---|---|---|---|---|---|
|
||||
| 4x1-pg0.5 | R* | 931 → 745 | 279 → 293 | 14 → 7 | 41 → 40 |
|
||||
| 4x1-pg0.5 | первая нарушившая | 984 → 788 | 441 → 646 | 95 → 102 | 60 → 60 |
|
||||
| 4x1-pg2 | R* | 1627 → 1455 | 468 → 388 | 222 → 190 | 60 → 45 |
|
||||
| 4x1-pg2 | первая нарушившая | 1720 → 1539 | 492 → 491 | 118 → 118 | 60 → 60 |
|
||||
@@ -0,0 +1,173 @@
|
||||
# Цена соединения PostgreSQL и пинга при выдаче (change `scaling-improvement`)
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `data-storage`: «Ограниченный пул соединений и таймауты» (сценарий «Соединения пула не переоткрываются»); `service-configuration`: «Подключение к PostgreSQL» |
|
||||
| Change | `scaling-improvement`, задача 8.2 (design, Context, п. 3) |
|
||||
| Дата | 2026-10-11, 12:32 UTC |
|
||||
| Commit | `cd88b48` — итоговый код: пул 10 + 0 (код приложения тот же, что у `9c3959d`), `dirty: false` |
|
||||
| Стенд | рабочий стенд `mtusi-lab3` (`make run_docker`): две реплики API по 1 CPU / 512 МБ за HAProxy, PostgreSQL 2 CPU / 1 ГБ; проба — в одной реплике, без нагрузки через LB |
|
||||
| Хост | Apple M3 Pro (6 + 6 ядер), 18 ГиБ, macOS 26.6.2; Docker Desktop 29.8.2, ВМ 12 CPU / 7,75 GiB; питание от сети |
|
||||
|
||||
Это микропроба механизма, а не замер серии: числа объясняют, почему
|
||||
переоткрытие соединений переполнения дорого. Тот же скрипт дал близкие
|
||||
числа при выборе кандидата на `bbd6f65` (design, Context, п. 3).
|
||||
|
||||
## Что меряется
|
||||
|
||||
Итерация — то, что запрос чтения истории делает с БД: выдача соединения
|
||||
из движка, проверка сессии по хэшу токена (`session_repo.get_current_session`),
|
||||
страница истории (`message_repo.get_chat_messages_page`), закрытие сессии
|
||||
(откат). Хэш токена и чат случайные: строк нет, запросы и планы те же.
|
||||
Итерации идут последовательно, одна за другой.
|
||||
|
||||
Режимы:
|
||||
|
||||
- `ping` — пул 1 + 0, `pool_pre_ping=True`, как у приложения;
|
||||
- `noping` — пул 1 + 0, `pool_pre_ping=False`;
|
||||
- `fresh` — новое соединение на итерацию (`NullPool`): так ведёт себя
|
||||
соединение переполнения пула, которое закрывается при возврате.
|
||||
|
||||
CPU реплики — `time.process_time()` процесса пробы внутри контейнера
|
||||
реплики. CPU PostgreSQL — `usage_usec` из `cpu.stat` cgroup контейнера
|
||||
PostgreSQL до и после режима, за вычетом фона (простой стенда 10 с
|
||||
перед пробой), на итерацию с прогревом (N + 50).
|
||||
|
||||
## Команда
|
||||
|
||||
```sh
|
||||
API=$(docker compose ps -q api | head -1)
|
||||
PG=$(docker compose ps -q postgres)
|
||||
python3 -I <scratchpad>/scaling-improvement/probe_conn_run.py "$API" "$PG"
|
||||
```
|
||||
|
||||
`probe_conn_run.py` (хост) для каждого режима запускает
|
||||
`docker exec -i "$API" python - <режим> <N> < probe_conn.py` и читает
|
||||
`cpu.stat` PostgreSQL до и после. План: `ping` 3 000, `noping` 3 000,
|
||||
`fresh` 600, затем то же ещё раз.
|
||||
|
||||
Скрипт в реплике (`probe_conn.py`, без изменений с пробы propose):
|
||||
|
||||
```python
|
||||
import asyncio, os, sys, time, uuid
|
||||
|
||||
from sqlalchemy.ext.asyncio import async_sessionmaker, create_async_engine
|
||||
from sqlalchemy.pool import NullPool
|
||||
|
||||
from src.config import settings
|
||||
from src.core.repos import message as message_repo
|
||||
from src.core.repos import session as session_repo
|
||||
from src.infra.db.engine import BoundedCloseConnection
|
||||
from src.utils.utc import utcnow
|
||||
|
||||
MODE = sys.argv[1]
|
||||
N = int(sys.argv[2])
|
||||
WARMUP = 50
|
||||
|
||||
|
||||
def make_engine():
|
||||
db = settings.database
|
||||
kwargs = {
|
||||
"pool_pre_ping": MODE != "noping",
|
||||
"hide_parameters": True,
|
||||
"connect_args": {
|
||||
"timeout": db.connect_timeout_seconds,
|
||||
"connection_class": BoundedCloseConnection,
|
||||
"server_settings": {
|
||||
"application_name": "probe",
|
||||
"statement_timeout": str(db.statement_timeout_ms),
|
||||
"idle_in_transaction_session_timeout": str(
|
||||
db.idle_in_transaction_timeout_ms,
|
||||
),
|
||||
},
|
||||
},
|
||||
}
|
||||
if MODE == "fresh":
|
||||
kwargs["poolclass"] = NullPool
|
||||
else:
|
||||
kwargs["pool_size"] = 1
|
||||
kwargs["max_overflow"] = 0
|
||||
return create_async_engine(db.url, **kwargs)
|
||||
|
||||
|
||||
async def one(factory) -> None:
|
||||
async with factory() as db_session:
|
||||
await session_repo.get_current_session(
|
||||
db_session=db_session,
|
||||
token_hash=os.urandom(32),
|
||||
now=utcnow(),
|
||||
)
|
||||
await message_repo.get_chat_messages_page(
|
||||
db_session=db_session,
|
||||
chat_id=uuid.uuid4(),
|
||||
after=None,
|
||||
limit=50,
|
||||
)
|
||||
|
||||
|
||||
async def main() -> None:
|
||||
engine = make_engine()
|
||||
factory = async_sessionmaker(engine, expire_on_commit=False)
|
||||
for _ in range(WARMUP):
|
||||
await one(factory)
|
||||
cpu = time.process_time()
|
||||
wall = time.perf_counter()
|
||||
for _ in range(N):
|
||||
await one(factory)
|
||||
cpu = time.process_time() - cpu
|
||||
wall = time.perf_counter() - wall
|
||||
print(f"mode={MODE} n={N} app_cpu_us={cpu / N * 1e6:.1f} "
|
||||
f"wall_us={wall / N * 1e6:.1f}", flush=True)
|
||||
await engine.dispose()
|
||||
|
||||
|
||||
asyncio.run(main())
|
||||
```
|
||||
|
||||
`token_hash` — имя параметра repo, значение — случайные байты, а не
|
||||
токен. Скрипт не печатает настроек и паролей.
|
||||
|
||||
## Вывод
|
||||
|
||||
```text
|
||||
idle PostgreSQL CPU: 11.14 ms/s
|
||||
mode=ping n=3000 app_cpu_us=593.1 wall_us=843.9 pg_cpu_us=140.3 elapsed_s=3.1
|
||||
mode=noping n=3000 app_cpu_us=468.2 wall_us=609.8 pg_cpu_us=96.5 elapsed_s=2.4
|
||||
mode=fresh n=600 app_cpu_us=11711.7 wall_us=14702.6 pg_cpu_us=2654.2 elapsed_s=10.1
|
||||
mode=ping n=3000 app_cpu_us=609.2 wall_us=837.9 pg_cpu_us=152.9 elapsed_s=3.1
|
||||
mode=noping n=3000 app_cpu_us=476.7 wall_us=621.3 pg_cpu_us=92.6 elapsed_s=2.4
|
||||
mode=fresh n=600 app_cpu_us=11799.2 wall_us=14695.4 pg_cpu_us=2683.4 elapsed_s=10.1
|
||||
```
|
||||
|
||||
| Итерация | CPU реплики, мкс | CPU PostgreSQL, мкс | Время, мкс |
|
||||
|---|---|---|---|
|
||||
| из пула, пинг при выдаче (как в приложении) | 593–609 | 140–153 | 838–844 |
|
||||
| из пула, без пинга | 468–477 | 93–97 | 610–621 |
|
||||
| новое соединение на итерацию | 11 712–11 799 | 2 654–2 683 | 14 695–14 703 |
|
||||
|
||||
Проба propose на `bbd6f65` (design, Context, п. 3): 552–590 / 130–138,
|
||||
442–454 / 90–94, 11 225–11 318 / 2 378–2 386 мкс. Порядок величин тот
|
||||
же, расхождение — в пределах 10 %.
|
||||
|
||||
## Как читать
|
||||
|
||||
- **Новое соединение дороже запроса из пула в ~20 раз** и для реплики
|
||||
(11,7 мс против 0,6 мс), и для PostgreSQL (2,7 мс против 0,15 мс).
|
||||
Соединение переполнения пула 10 + 5 закрывается при возврате и под
|
||||
нагрузкой открывается заново (`QueuePool._do_return_conn`), то есть
|
||||
платит эту цену на каждый переход через 10 одновременных запросов.
|
||||
- **Реплика.** Почти вся цена — SCRAM-SHA-256: asyncpg
|
||||
(`protocol/scram.pyx`) считает PBKDF2 на 4 096 итераций циклом
|
||||
`hmac.new()` в потоке event loop. Event loop стоит ~10 мс, и все
|
||||
запросы реплики в полёте ждут. `pg_hba` образа PostgreSQL для сети
|
||||
compose — `host all all all scram-sha-256`.
|
||||
- **PostgreSQL.** Новый процесс backend, аутентификация, холодный кэш
|
||||
каталога; подготовленные выражения asyncpg кэширует на соединение и
|
||||
готовит заново.
|
||||
- **Пинг при выдаче** (`pool_pre_ping=True`) — 3 обмена с сервером
|
||||
(`BEGIN`, `;`, `ROLLBACK`, диалект asyncpg `_async_ping`) и лишняя
|
||||
транзакция на каждую выдачу: +125–133 мкс CPU реплики и +44–60 мкс
|
||||
CPU PostgreSQL на запрос. Это найденный, но не применённый кандидат:
|
||||
без пинга первый запрос после рестарта PostgreSQL получил бы ошибку на
|
||||
мёртвом соединении, а спек `data-storage` («БД вернулась») и тест
|
||||
`test_connection_limit_reached` держатся на пинге (design, решение 6).
|
||||
@@ -0,0 +1,286 @@
|
||||
# Проверки change `scaling-improvement`: пул без переполнения
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| Спеки | `data-storage`: «Ограниченный пул соединений и таймауты» (сценарии «Соединения исчерпаны», «Соединения пула не переоткрываются»); `service-configuration`: «Подключение к PostgreSQL» (сценарий «Пул по умолчанию»); `load-benchmark`: «Сравнение двух меток» (сценарий «PostgreSQL в сравнении серий», «Метка сама с собой», «Разная методика»), «Сравнение „до/после“ в отчёте» (сценарии «Одно изменение», «Улучшение на серии трека 1», «Предсказание не подтвердилось») |
|
||||
| Change | `scaling-improvement`, задачи 1.5, 3.1, 3.6, 3.7, 5–8 |
|
||||
| Дата | 2026-10-11, 10:00–12:50 UTC |
|
||||
| Commit | инструменты сравнения `1e50a4a`; H4 `0b0421a`; изменение X `9c3959d` (`perf: keep a fixed PostgreSQL pool without overflow connections`); исправления теста X2 `623a973`, X3 `80e64cd`; профиль `db4` и сокращение набора ячеек `1bb8ea6`; откат R `62fa575`; метка A/A — коммит `3df111c` (снята на `62fa575`); метка «до» — коммит `dfd9ecc` (снята на `3df111c`); возврат изменения `53eb38e`; метка «после» — коммит `cd88b48` (снята на `53eb38e`) |
|
||||
| Стенд | тесты — рабочий стенд `mtusi-lab3` (две реплики за HAProxy), стенд отказов `mtusi-lab3-failures`, `make test_isolated`; замеры — проект `mtusi-bench` (HAProxy, 4 реплики по 1 CPU / 512 МиБ, PostgreSQL 0,5 или 2 CPU), рабочий стенд на время замеров остановлен |
|
||||
| Хост | Apple M3 Pro (6 + 6 ядер), 18 ГиБ, macOS 26.6.2; Docker Desktop 29.8.2 (`docker version`), ВМ — 12 CPU, 7,75 GiB (`docker info`: `12 8319238144`); питание от сети; выгрузок в swap за каждый замер — 0 |
|
||||
|
||||
## Пробы propose (до change, в git не идут)
|
||||
|
||||
Проба основной ячейки 4 × 1 при PostgreSQL 0,5 CPU на `bbd6f65`, один
|
||||
повтор, пул задан окружением; метки
|
||||
`evidence/bench/quick-probe-*-20261011T094150Z` в `.gitignore`
|
||||
(design, Context, п. 5). Число — CPU PostgreSQL на успешный запрос, мкс;
|
||||
✓ / ✗ — ступень прошла или нарушила SLO.
|
||||
|
||||
| Вариант | 931 | 1 041 | 1 164 подъёмом от 1 041 | 1 164 с нуля | 1 455 | R* | Новых сессий за окно |
|
||||
|---|---|---|---|---|---|---|---|
|
||||
| 10 + 5 (было) | ✓ 282 | ✗ 482 | ✗ 435 | ✗ 458 | ✗ 465 | 931 | 9–52 |
|
||||
| 10 + 0 | ✓ 275 | ✓ 299 | ✗ 454 | ✓ 297 | ✗ 456 | 1 164 | 3–4 |
|
||||
| 15 + 0 | ✓ 281 | ✓ 287 | ✗ 473 | ✗ 422 | ✗ 464 | 1 041 | 4 |
|
||||
| 10 + 5 без пинга | ✓ 231 | ✓ 442 | ✓ 430 | — | ✗ 384 | 1 164 | 9–264 |
|
||||
|
||||
## 1.5. Самопроверка `compare.py`
|
||||
|
||||
```text
|
||||
$ make lint → All checks passed!
|
||||
$ uv run python bench/scaling.py --selftest → selftest ok
|
||||
$ make -n bench_compare BEFORE=a AFTER=b CHANGE=x
|
||||
uv run python bench/compare.py --before "a" --after "b" --aa "" --change "x"
|
||||
$ make -n bench_compare BEFORE=a AFTER=b
|
||||
uv run python bench/compare.py --before "a" --after "b" --aa ""
|
||||
$ make bench_compare BEFORE=scaling-db AFTER=scaling-db CHANGE=scaling-improvement → код 0
|
||||
```
|
||||
|
||||
Шапка: «change `scaling-improvement`»; Δ R* +0.0 % у всех четырёх
|
||||
конфигураций; второй раздел (файл удалён, он не отслеживается):
|
||||
|
||||
| Конфигурация | Ступень | Уровень | CPU PostgreSQL на запрос, мкс | Новых сессий | Соединений |
|
||||
|---|---|---|---|---|---|
|
||||
| 1x1-pg0.5 | R* | 630 → 630 | 298 → 298 | 95 → 95 | 15 → 15 |
|
||||
| 2x1-pg0.5 | R* | 1101 → 1101 | 348 → 348 | 129 → 129 | 30 → 30 |
|
||||
| 4x1-pg0.5 | R* | 931 → 931 | 279 → 279 | 14 → 14 | 41 → 41 |
|
||||
| 4x1-pg0.5 | первая нарушившая | 984 → 984 | 441 → 441 | 95 → 95 | 60 → 60 |
|
||||
| 4x1-pg2 | R* | 1627 → 1627 | 468 → 468 | 222 → 222 | 60 → 60 |
|
||||
|
||||
```text
|
||||
$ make bench_compare BEFORE=quick-probe-pool-10-5-20261011T094150Z AFTER=quick-probe-pool-10-5-20261011T094150Z CHANGE=scaling-improvement
|
||||
→ код 0; файл evidence/compare/quick-probe-…md — в .gitignore (evidence/compare/*quick-*)
|
||||
$ make bench_compare BEFORE=quick-probe-pool-10-5-20261011T094150Z AFTER=quick-probe-pool-10-0-20261011T094150Z
|
||||
compare failed: labels … were measured with different methodology:
|
||||
stand.app_env.DATABASE__MAX_OVERFLOW: quick-probe-pool-10-5-… = '5', quick-probe-pool-10-0-… = '0'
|
||||
→ compare.py код 1 (make — 2), таблица не создана
|
||||
```
|
||||
|
||||
Последнее подтверждает решение 2: пул для «до/после» меняется дефолтом
|
||||
в коде, а не окружением стенда.
|
||||
|
||||
## 3.1. «Пул по умолчанию»
|
||||
|
||||
```text
|
||||
$ uv run python -c "from src.config.settings import Database; d = Database(); print(d.pool_size, d.max_overflow)"
|
||||
10 0
|
||||
$ uv run python -c "from src.config import settings; print(settings.database.max_overflow)" (рабочий config.toml после правки)
|
||||
0
|
||||
$ docker compose --env-file .env config --quiet → код 0
|
||||
$ docker exec <реплика рабочего стенда> python -c "from src.config import settings; print(settings.database.pool_size, settings.database.max_overflow)" (cd88b48)
|
||||
10 0
|
||||
```
|
||||
|
||||
Рабочий `config.toml` (не в git) задавал `max_overflow = 5` явно; ключ
|
||||
исправлен на `0` через Edit, стенд пересоздан (`make down`, `make
|
||||
run_docker`).
|
||||
|
||||
## 3.6. Тест свойства: красный на 10 + 5, зелёный на 10 + 0
|
||||
|
||||
`student-tests/test_failures.py::test_pool_keeps_connections` (маркер
|
||||
`fault`, сценарий «Соединения пула не переоткрываются»): обычный API
|
||||
стенда отказов (пул из смонтированного рабочего `config.toml`), пачки по
|
||||
48 потоков (свой клиент keep-alive у каждого, 1 запрос до барьера и 4
|
||||
после), прогрев 2 пачки и пауза 11 с, калибровка `s2 − s1 == 1`, затем
|
||||
3 пачки (720 запросов) и `s3 − s2 − 1 == 0`.
|
||||
|
||||
Итоговый код теста — `80e64cd`:
|
||||
|
||||
```text
|
||||
config.toml max_overflow = 5:
|
||||
$ make failure_checks FAULT_ARGS='-k pool_keeps_connections'
|
||||
E AssertionError: PostgreSQL accepted 19 new sessions during 720 requests
|
||||
====================== 1 failed, 147 deselected in 14.13s ======================
|
||||
$ make failure_checks
|
||||
E AssertionError: PostgreSQL accepted 18 new sessions during 720 requests
|
||||
=========== 1 failed, 16 passed, 131 deselected in 60.29s (0:01:00) ============
|
||||
|
||||
config.toml max_overflow = 0:
|
||||
$ make failure_checks FAULT_ARGS='-k pool_keeps_connections'
|
||||
====================== 1 passed, 147 deselected in 13.61s ======================
|
||||
$ make failure_checks (три прогона подряд и ещё один на закоммиченном 80e64cd)
|
||||
================ 17 passed, 131 deselected in 60.07s (0:01:00) =================
|
||||
================ 17 passed, 131 deselected in 60.34s (0:01:00) =================
|
||||
===================== 17 passed, 131 deselected in 59.21s ======================
|
||||
================ 17 passed, 131 deselected in 60.81s (0:01:00) =================
|
||||
```
|
||||
|
||||
17 проверок отказов — на одну больше, чем в
|
||||
`evidence/tests/scaling-bench-checks.md` (16).
|
||||
|
||||
**Разбор шума теста** (design, «Найдено в apply», п. 1). Первая версия
|
||||
(`9c3959d`) была красной на 10 + 5 (21 сессия) и зелёной отдельно, но в
|
||||
полном наборе на 10 + 0 падала с «1 new sessions» или «stand is noisy:
|
||||
2». Журнал PostgreSQL стенда отказов с `log_connections` показал:
|
||||
|
||||
- healthcheck `pg_isready -h 127.0.0.1` раз в 5 с — полноценная сессия в
|
||||
базе приложения (`pg_hba` образа пускает `127.0.0.1` по `trust`):
|
||||
`connection authorized: user=messenger database=messenger
|
||||
application_name=pg_isready`. Исправлено в `failures.compose.yml`:
|
||||
healthcheck стенда отказов проверяет базу `postgres` (после правки —
|
||||
`database=postgres application_name=pg_isready`);
|
||||
- сессия `psql` hook учитывает себя в `sessions` гонкой (сброс статистики
|
||||
без ожидания блокировки) — `db-sessions` сначала вызывает
|
||||
`pg_stat_force_next_flush()`;
|
||||
- соединения прогрева сбрасывают статистику с задержкой — пауза 11 с
|
||||
(`PGSTAT_IDLE_INTERVAL` 10 с).
|
||||
|
||||
Порог теста не менялся: в окне по-прежнему 0 новых сессий. Попутно
|
||||
найдено: `fill-connections` роняет PostgreSQL стенда отказов в crash
|
||||
recovery (`untracked child process … exited with exit code 2`, «all
|
||||
server processes terminated; reinitializing») — `KNOWN_ISSUES.md`.
|
||||
|
||||
## 3.7. Регрессия на коде X (`80e64cd`, рабочий стенд пересоздан)
|
||||
|
||||
```text
|
||||
$ make down && make run_docker && make lb_stats
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
$ make test
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
$ make student_test
|
||||
coverage: 137 scenarios in 11 specs, 125 tested (18 by make failure_checks), 12 excluded
|
||||
===================== 131 passed, 17 deselected in 20.34s ======================
|
||||
$ make instances
|
||||
63b8a6542503: 6
|
||||
46b41b17200e: 6
|
||||
instances: 2
|
||||
$ printf "SELECT count(*) FROM pg_stat_activity WHERE application_name = 'mtusi-messenger';\n" | docker compose exec -T postgres sh -c 'psql …'
|
||||
17 (≤ 2 × 10)
|
||||
$ make test_isolated
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
================ 127 passed, 4 skipped, 17 deselected in 53.63s ================
|
||||
$ make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh STOP_ONE_LOG=…
|
||||
{"observed_instances_before": 2, "successful_writes": 118, "failed_attempts": 0, "first_recovery_seconds": 0.98}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
$ make replicas; один запрос через LB (X-Instance-Id: 46b41b17200e); make test-failover …
|
||||
{"observed_instances_before": 2, "successful_writes": 122, "failed_attempts": 0, "first_recovery_seconds": 0.961}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
$ make replicas
|
||||
STOP_ONE_LOG:
|
||||
2026-10-11T10:53:40Z TARGET_INSTANCE_ID=63b8a6542503 container=63b8a654…28dd mode=stop
|
||||
2026-10-11T11:04:09Z TARGET_INSTANCE_ID=46b41b17200e container=46b41b17…edb5 mode=stop
|
||||
$ make bench_scaling_quick (1bb8ea6, код X)
|
||||
complete: 2/2 runs, results in evidence/bench/quick-scaling-20261011T110702Z
|
||||
```
|
||||
|
||||
## 4.1. Откат R и проверки по git
|
||||
|
||||
```text
|
||||
$ git revert --no-commit 80e64cd 623a973 9c3959d && git commit … → 62fa575
|
||||
$ git diff --stat 9c3959d^ 62fa575 -- src Dockerfile pyproject.toml uv.lock .dockerignore .python-version
|
||||
(пусто — код «до»)
|
||||
$ git diff --stat 62fa575 3df111c -- src Dockerfile pyproject.toml uv.lock
|
||||
(пусто — код A/A = код R)
|
||||
meta.git.commit: scaling-db-aa = 62fa575, scaling-db-before = 3df111c (коммит метки A/A), scaling-db-nooverflow = 53eb38e; dirty: false у всех трёх
|
||||
$ git diff --stat 3df111c 53eb38e -- src Dockerfile pyproject.toml uv.lock
|
||||
src/config/settings.py | 6 +++++-
|
||||
1 file changed, 5 insertions(+), 1 deletion(-)
|
||||
```
|
||||
|
||||
Между «до» и «после» код приложения отличается одним файлом — дефолтом
|
||||
`max_overflow`.
|
||||
|
||||
## 5–6. Хост и прогоны
|
||||
|
||||
| Момент | Время, UTC | Питание | Свободно памяти | `Swapouts` | Посторонних контейнеров |
|
||||
|---|---|---|---|---|---|
|
||||
| перед A/A (`make stop`) | 11:10:56 | AC Power | 47 % | 6 697 411 | 0 |
|
||||
| после A/A | 11:37:25 | — | — | 6 697 411 | — |
|
||||
| перед `make bench_ab` | 11:37:35 | AC Power | 52 % | 6 697 411 | 0 |
|
||||
| после `make bench_ab` | 12:30:40 | — | — | 6 697 411 | — |
|
||||
|
||||
`docker info`: 12 CPU, 8 319 238 144 байт, Docker 29.8.2. В паспортах
|
||||
трёх меток `host_state.swapouts_delta` 0, `slept_seconds` 0,
|
||||
`host_warnings` пуст; 6 ячеек, все `complete`, брака генератора нет.
|
||||
|
||||
| Метка | Команда | Прогон, UTC | Код |
|
||||
|---|---|---|---|
|
||||
| `scaling-db-aa` | `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa` | 11:10:56–11:37:05 | `62fa575` (R, 10 + 5) |
|
||||
| `scaling-db-before` | `make bench_ab BEFORE=scaling-db-before AFTER=scaling-db-nooverflow REAPPLY=62fa575 SERIES=db4`, шаг 1 | 11:37:41–12:04:46 | `3df111c` (10 + 5) |
|
||||
| `scaling-db-nooverflow` | то же, шаг 5 (`bench_ab done in 53 min`) | 12:04:47–12:30:28 | `53eb38e` (10 + 0) |
|
||||
|
||||
R* по ячейкам (порядок плана — чередование основной и контрольной):
|
||||
|
||||
| Метка | 4x1-pg0.5 r1 / r2 / r3 | 4x1-pg2 r1 / r2 / r3 |
|
||||
|---|---|---|
|
||||
| `scaling-db-aa` | 833 / 931 / 931 | 1 627 / 1 455 / 1 539 |
|
||||
| `scaling-db-before` | 931 / 745 / 745 | 1 455 / 1 627 / 1 301 |
|
||||
| `scaling-db-nooverflow` | 1 041 / 984 / 881 | 1 376 / 1 231 / 1 720 |
|
||||
|
||||
CPU реплик на запрос, мкс, на 250 / 500 запросов/с по ячейкам (детектор
|
||||
дрейфа):
|
||||
|
||||
| Метка | 4x1-pg0.5 r1 / r2 / r3 | 4x1-pg2 r1 / r2 / r3 |
|
||||
|---|---|---|
|
||||
| `scaling-db-aa` | 2 111/2 042, 2 343/2 054, 2 127/2 036 | 2 195/2 210, 2 143/2 042, 2 127/2 020 |
|
||||
| `scaling-db-before` | 2 119/2 012, **2 344/2 178**, **2 355/2 232** | 2 124/2 018, 2 143/2 062, **2 648/2 819** |
|
||||
| `scaling-db-nooverflow` | 2 187/2 096, 2 103/2 459, 2 192/2 086 | 2 143/2 112, 2 164/2 092, 2 167/2 104 |
|
||||
|
||||
В метке «до» три ячейки из шести (r2 и r3 основной, r3 контроля)
|
||||
шли на заметно более медленном хосте: CPU на запрос на тех же 250 и
|
||||
500/с выше на 8–40 %, ещё до насыщения базы. Именно у них R* 745 и
|
||||
1 301.
|
||||
|
||||
## 7. Сравнения и критерий
|
||||
|
||||
```text
|
||||
$ make bench_compare BEFORE=scaling-db-before AFTER=scaling-db-nooverflow AA=scaling-db-aa CHANGE=scaling-improvement
|
||||
$ make bench_compare BEFORE=scaling-db-aa AFTER=scaling-db-before CHANGE=scaling-improvement
|
||||
$ make bench_compare BEFORE=scaling-db AFTER=scaling-db-before CHANGE=scaling-improvement
|
||||
→ код 0, файлы evidence/compare/scaling-db-before__scaling-db-nooverflow.md,
|
||||
scaling-db-aa__scaling-db-before.md, scaling-db__scaling-db-before.md
|
||||
```
|
||||
|
||||
Критерий H4 (design, решение 5; записан до замеров, `0b0421a` и
|
||||
`1bb8ea6`), только числа из таблиц команд:
|
||||
|
||||
| Пункт | Условие | Факт | Итог |
|
||||
|---|---|---|---|
|
||||
| 1 | `4x1-pg0.5` — «эффект» и медиана после / до ≥ 1,118 | 745 (745–931) → 984 (881–1 041), +32,1 %, вывод «в пределах шума»: разбросы пересекаются (931 > 881), шум A/A 20,0 % | **не выполнен** |
|
||||
| 2 | «после» новых сессий ≤ 10 на R* и первой нарушившей; соединений на R* ≤ 40; «до» на первой нарушившей ≥ 40 | после: 4 и 4, соединений 40; до: 102 | выполнен |
|
||||
| 3 | CPU реплик на запрос на 500/с ±5 % у `4x1-pg0.5` и `4x1-pg2`; шум A/A меньше двух ступеней | 2 178 → 2 096 (−3,8 %), 2 062 → 2 104 (+2,0 %); шум A/A 20,0 % (931 → 745 у `4x1-pg0.5`) | **не выполнен** (шум) |
|
||||
|
||||
Контроль `4x1-pg2`: 1 455 (1 301–1 627) → 1 376 (1 231–1 720), −5,4 %,
|
||||
«в пределах шума» — меньше двух ступеней, хуже не стал. Шум между
|
||||
сессиями (тот же код, `scaling-db` → `scaling-db-before`): −20,0 % и
|
||||
−10,6 %.
|
||||
|
||||
**Итог: по заранее записанному критерию H4 не подтверждена.** Медиана
|
||||
R* основной ячейки выросла на 32 % (≈ 5 ступеней), механизм виден
|
||||
целиком (переоткрытие пропало: 102 → 4 новых сессий на первой
|
||||
нарушившей, у контроля на R* 190 → 4; соединений 60 → 40), но шум A/A
|
||||
в той же сессии — 20 %: разбросы пересекаются, и пункт 3 о дрейфе не
|
||||
выполнен. По design (решение 5) это дрейф сессии хоста: не
|
||||
засчитывается ничего; переснимать ли — решает основная сессия. X
|
||||
остаётся: ни одна конфигурация не стала хуже на две ступени.
|
||||
|
||||
## 8. Итоговый код
|
||||
|
||||
```text
|
||||
$ make run_docker && make lb_stats (cd88b48)
|
||||
api-1 172.30.0.5:8080 UP L7OK
|
||||
api-2 172.30.0.4:8080 UP L7OK
|
||||
$ make test
|
||||
PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
|
||||
```
|
||||
|
||||
Цена соединения и пинга на итоговом коде —
|
||||
`evidence/storage/connection-cost.md`.
|
||||
|
||||
Регрессия стенда `bench/` на итоговом коде (`cd88b48`), одной цепочкой,
|
||||
самопроверки без проверки хоста (рабочий стенд работал рядом):
|
||||
|
||||
```text
|
||||
$ make bench_quick && make bench_restore_quick && make bench_failover_quick && make bench_rollout_quick && make bench_scaling_quick
|
||||
complete: 18/18 runs, results in evidence/bench/quick-20261011T123216Z
|
||||
complete: 0/0 runs, results in evidence/bench/quick-restore-20261011T123545Z
|
||||
complete: 4/4 runs, results in evidence/failover/quick-failover-20261011T123750Z
|
||||
complete: 1/1 runs, results in evidence/rollout/quick-rollout-20261011T123951Z
|
||||
complete: 2/2 runs, results in evidence/bench/quick-scaling-20261011T124122Z
|
||||
CHAIN EXIT 0
|
||||
```
|
||||
|
||||
Метки `quick-*` — в `.gitignore`.
|
||||
@@ -244,7 +244,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 4. Откат R
|
||||
|
||||
- [ ] 4.1 `git revert --no-commit <X> [<X2>]`, затем `git commit -m
|
||||
- [x] 4.1 `git revert --no-commit <X> [<X2>]`, затем `git commit -m
|
||||
"revert: measure scaling-improvement baseline without the pool change"
|
||||
-m "This reverts commit <X>." -m "Co-Authored-By: Claude Opus 5.5
|
||||
<noreply@anthropic.com>"`. Проверка:
|
||||
@@ -258,9 +258,9 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 5. A/A на коде «до»
|
||||
|
||||
- [ ] 5.1 Проверка хоста (шапка задач). `vm_stat | grep Swapouts` —
|
||||
- [x] 5.1 Проверка хоста (шапка задач). `vm_stat | grep Swapouts` —
|
||||
«до».
|
||||
- [ ] 5.2 `nohup make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa
|
||||
- [x] 5.2 `nohup make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa
|
||||
> <scratchpad>/scaling-improvement/aa.log 2>&1 &`, около 25 мин
|
||||
(`db4` — только `4x1-pg0.5` и `4x1-pg2`, решение пользователя
|
||||
сократить замеры; design, решение 3, «Изменено в apply»; профиль
|
||||
@@ -274,7 +274,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
Прервалась — разбор причины, затем `make bench_scaling SERIES=db4
|
||||
SCALING_LABEL=scaling-db-aa RESUME=1`.
|
||||
- [ ] 5.3 Коммит только метки: `git add evidence/bench/scaling-db-aa`,
|
||||
- [x] 5.3 Коммит только метки: `git add evidence/bench/scaling-db-aa`,
|
||||
`docs: add scaling db A/A label for scaling-improvement`. Проверка:
|
||||
- `git status --porcelain` пуст;
|
||||
- `git diff --stat <R> HEAD -- src Dockerfile pyproject.toml uv.lock`
|
||||
@@ -282,7 +282,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 6. «До» и «после»: `make bench_ab`
|
||||
|
||||
- [ ] 6.1 Проверка хоста (шапка задач), `Swapouts` «до». Затем:
|
||||
- [x] 6.1 Проверка хоста (шапка задач), `Swapouts` «до». Затем:
|
||||
- `uv run python bench/ab.py --before scaling-db-before --after
|
||||
scaling-db-nooverflow --reapply <R> --series db4 --dry-run` печатает
|
||||
5 шагов: серия, `git add`, `git commit`, `git revert`, серия;
|
||||
@@ -295,7 +295,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
"[b]ench/ab.py" >/dev/null`. Проверка: в журнале
|
||||
`bench_ab done`; в `git log` — коммит `docs: add scaling-db-before
|
||||
bench evidence` и коммит `Revert "revert: …"`.
|
||||
- [ ] 6.2 `Swapouts` «после». Коммит метки «после»: `git add
|
||||
- [x] 6.2 `Swapouts` «после». Коммит метки «после»: `git add
|
||||
evidence/bench/scaling-db-nooverflow`, `docs: add scaling-db-nooverflow
|
||||
label`. Проверка:
|
||||
- обе метки `complete`, `dirty: false`, `host_warnings` пуст, 6
|
||||
@@ -310,7 +310,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 7. Сравнения и критерий
|
||||
|
||||
- [ ] 7.1 Три сравнения, все с `CHANGE=scaling-improvement`:
|
||||
- [x] 7.1 Три сравнения, все с `CHANGE=scaling-improvement`:
|
||||
- `make bench_compare BEFORE=scaling-db-before
|
||||
AFTER=scaling-db-nooverflow AA=scaling-db-aa` — «до/после» с шумом;
|
||||
- `make bench_compare BEFORE=scaling-db-aa AFTER=scaling-db-before` —
|
||||
@@ -321,8 +321,13 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
Проверка: три файла в `evidence/compare/`, в шапке —
|
||||
`scaling-improvement`; у «до/после» — уровень шума, вывод по каждой
|
||||
конфигурации и раздел PostgreSQL.
|
||||
- [ ] 7.2 Критерий «подтверждено» по решению 5, только числами из
|
||||
таблиц 7.1:
|
||||
- [x] 7.2 Критерий «подтверждено» по решению 5, только числами из
|
||||
таблиц 7.1. **Итог (2026-10-11): не подтверждено** — пункт 1 не
|
||||
выполнен (`4x1-pg0.5` 745 → 984, +32,1 %, «в пределах шума»: разбросы
|
||||
пересекаются), пункт 2 выполнен (сессии 102 → 4, соединений 40),
|
||||
пункт 3 не выполнен (шум A/A 20,0 % — дрейф хоста в метке «до»). X
|
||||
остаётся (контроль −5,4 %), вопрос основной сессии — повтор замера или
|
||||
запасной кандидат (`evidence/tests/scaling-improvement-checks.md`):
|
||||
1. `4x1-pg0.5` — «эффект» и медиана после / до ≥ 1,118;
|
||||
2. механизм: «после» новых сессий ≤ 10 на R* и первой нарушившей,
|
||||
соединений на R* ≤ 40; «до» на первой нарушившей — ≥ 40 сессий;
|
||||
@@ -344,9 +349,9 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 8. Регрессия на итоговом коде и цена соединения
|
||||
|
||||
- [ ] 8.1 Рабочий стенд на итоговом коде: `make run_docker`, `make
|
||||
- [x] 8.1 Рабочий стенд на итоговом коде: `make run_docker`, `make
|
||||
lb_stats` — обе реплики `UP`, `make test` — `PASS`.
|
||||
- [ ] 8.2 Цена соединения и пинга на итоговом коде. Скрипты пробы
|
||||
- [x] 8.2 Цена соединения и пинга на итоговом коде. Скрипты пробы
|
||||
propose: `<scratchpad>/scaling-improvement/probe_conn.py` (в
|
||||
реплике: режимы `ping`, `noping`, `fresh`) и `probe_conn_run.py`
|
||||
(хост: CPU cgroup PostgreSQL до и после режима, вычет фона). Нет их —
|
||||
@@ -358,7 +363,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
Проверка: порядок величин как в design — новое соединение ≈ 11 мс
|
||||
CPU реплики и ≈ 2,4 мс PostgreSQL, пинг ≈ 110–140 и 40–45 мкс на
|
||||
выдачу. Разошлось больше чем вдвое — разобраться до 9.1.
|
||||
- [ ] 8.3 Регрессия стенда `bench/` на итоговом коде, фоном одной
|
||||
- [x] 8.3 Регрессия стенда `bench/` на итоговом коде, фоном одной
|
||||
цепочкой: `make bench_quick && make bench_restore_quick && make
|
||||
bench_failover_quick && make bench_rollout_quick && make
|
||||
bench_scaling_quick`. Проверка: все с кодом 0, метки `quick-*` — в
|
||||
@@ -367,7 +372,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
|
||||
## 9. Evidence
|
||||
|
||||
- [ ] 9.1 `evidence/storage/connection-cost.md`:
|
||||
- [x] 9.1 `evidence/storage/connection-cost.md`:
|
||||
- шапка: спек `data-storage`, change, дата, commit, стенд, хост;
|
||||
- команда, текст `probe_conn.py` и процедура хоста;
|
||||
- вывод 8.2 и как его читать: новое соединение против запроса из
|
||||
@@ -391,7 +396,7 @@ Monitor, не дольше 30 мин на вызов, по истечении
|
||||
evidence/storage/connection-cost.md
|
||||
evidence/tests/scaling-improvement-checks.md` ничего не находит.
|
||||
`token_hash` в тексте скрипта пробы — имя параметра, не секрет.
|
||||
- [ ] 9.2 Коммит evidence: `docs: add scaling-improvement comparisons,
|
||||
- [x] 9.2 Коммит evidence: `docs: add scaling-improvement comparisons,
|
||||
connection cost and checks` (файлы 7.1 и 9.1). Проверка: дерево
|
||||
чистое.
|
||||
|
||||
|
||||
Reference in New Issue
Block a user