docs: record scaling limits and verified history optimization

This commit is contained in:
2026-11-15 19:45:13 +03:00
parent cabd0cacb3
commit ac5c30c214
19 changed files with 120203 additions and 3 deletions
+30 -2
View File
@@ -94,9 +94,19 @@ HAProxy 3.2.1 закреплён digest, использует Docker DNS 127.0.0
| 4: остановить каждую API с RPS/errors/recovery | собственные15-секундные серии | `evidence/cluster-first.json` |
| 4: квоты, закрытые API ports, нет container_name | compose и inspect обеих API | тот же файл |
| 4: последовательная замена под нагрузкой, миграции отдельно | surge одна готовая API, SIGTERM старой;002 expand | тот же файл, `migrations/002_idempotency.sql` |
| 5: fixed/growing1/2/4, saturation, улучшение | изолированная матрица | результат добавляется после выполнения |
| 5: fixed/growing1/2/4, saturation, улучшение | изолированная матрица и отдельный before/after | `evidence/scaling-first/`; `evidence/acl-comparison-first/` |
Матрица масштабирования и чистый clone ещё выполняются. Для уровня5 предусмотрены фиксированная суммарная квота API1CPU/1024MiB и серия с ростом ресурсов0.5CPU/256MiB на реплику; 1/2/4 процесса, C1/8/32, два повтора,2с прогрева и6с измерения. Смешанный closed-loop профиль:80% чтений истории limit20 и20% отправок с уникальными ключами. Перед каждой ячейкой в отдельном исследовательском проекте очищается только его новая БД и создаётся100 сообщений. Отдельно сравнивается пул1/10 при N2/C32 в трёх чередующихся повторах. Пока измерений нет, выигрыш не заявляется.
Основная матрица завершена:42/42 прогона,40825 успешных HTTP,0 ошибок. Исходные данные и график: [scaling-first](evidence/scaling-first/analysis.md), [CSV](evidence/scaling-first/summary.csv), [PNG](evidence/scaling-first/scaling.png). Эти измерения относятся к исходному runtime `df4eee9`, source harness `fa3a69d`; последующее улучшение пути чтения измеряется отдельно.
При C8 фиксированный1CPU:1/2/4 API дали205.2/185.1/155.2RPS; при растущем CPU:110.4/185.3/257.9RPS. При C32 fixed1/2/4 p95 вырос425.05/462.64/883.62ms, RPS снизился177.9/162.1/128.5. Счётчики cgroup показывают частые throttled periods: например, fixedN2C32/r2 —45/68 и64/68 периодов у разных API. Само увеличение concurrency выше8 на этом профиле уже не повышает HTTP throughput. Последовательный C1 почти не выигрывает от числа процессов, поскольку клиент не создаёт параллельной работы.
Дополнительная настройка пула: при N2/C32 пул1 дал медиану200.4RPS, пул10 —175.8RPS (три чередующихся повтора). Маленький пул снизил конкуренцию внутри ограниченного CPU-процесса, но отдельный повтор1 оказался хуже10; это локальный результат с заметным разбросом, основание для проверки настройки под свою нагрузку. Стандартный пул10 сохранён, универсальная рекомендация уменьшать его не делается.
В улучшенном runtime повторный SELECTget_chat в service.history заменён передачей уже авторизованного immutableChat из HTTP-слоя с повторной локальной проверкой actor∈members. Членство в обязательном API неизменяемо; ACL по-прежнему выполняется до parsing limit/cursor, это проверяет отдельный негативный HTTP-тест. Транзакции отправки и дедупликация не менялись. Сравнение до/после выполнено отдельно: [12 прогонов](evidence/acl-comparison-first/analysis.md), [raw/CSV](evidence/acl-comparison-first/summary.csv), [график](evidence/acl-comparison-first/comparison.png). Четыре API по1CPU/384MiB, pool10, C16,2с прогрева/12с измерения, три чередующихся повтора на каждую версию и PG quota. Before образ revision `df4eee9`, after `cabd0ca`.
При PostgreSQL1CPU медиана RPS **211.3→247.4 (+17.1%)**, p95 **220.94→200.82ms**; RPS улучшился в каждой из трёх пар. При PG0.1CPU:29.4→32.8RPS, p951290.65→1298.07ms; здесь выигрыш по медиане мал и один after хуже before, улучшение latency не подтверждено. PG расходует квоту в97.2–100% CPU-периодов при0.1CPU против0–6.2% при1CPU. Это контролируемый пример насыщения общей БД: четыре API не заменяют ресурс PostgreSQL. Всего18849 успешных HTTP,0 ошибок. Один из повторов заметно отличается: короткие окна не дают уверенной оценки дальних хвостов.
Таким образом, выбранный трек завершён с фиксированными и растущими ресурсами, контролем общей БД и подтверждённым улучшением SQL-пути при стандартном PG1CPU. Последующая правка src/api.py меняет только форматирование этой же операции. Итоговый код дополнительно проверяется из чистого clone. Для уровня5 предусмотрены фиксированная суммарная квота API1CPU/1024MiB и серия с ростом ресурсов0.5CPU/256MiB на реплику; 1/2/4 процесса, C1/8/32, два повтора,2с прогрева и6с измерения. Смешанный closed-loop профиль:80% чтений истории limit20 и20% отправок с уникальными ключами. Перед каждой ячейкой в отдельном исследовательском проекте очищается только его новая БД и создаётся100 сообщений. Отдельно сравнивается пул1/10 при N2/C32 в трёх чередующихся повторах. Исходные короткие окна, два повтора основной серии и три настройки пула не позволяют оценить стабильность production-tail; необработанные данные сохранены.
## Вопросы защиты
@@ -115,3 +125,21 @@ HAProxy 3.2.1 закреплён digest, использует Docker DNS 127.0.0
Источники: [HAProxy3.2 configuration](https://docs.haproxy.org/3.2/configuration.html), [PG18 explicit locks](https://www.postgresql.org/docs/18/explicit-locking.html), [Compose services](https://docs.docker.com/reference/compose-file/services/). Библиотеки перечислены в `pyproject.toml`, точные версии — `uv.lock`. Помощь ИИ использована при разборе требований, подготовке реализации и проверок; результаты подтверждаются сохранёнными запусками.
Собственный `.github/workflows/application.yml` описывает сборку и интеграцию на runner с Docker; наличие файла не означает, что удалённый runner запущен или CI прошёл.
История сортируется по серверному `(created_at,id)`. На одном host процессы используют общие системные часы; при их скачке назад либо при скосу времени на разных узлах новые записи могут оказаться до уже выданного cursor. Snapshot между HTTP-страницами не обещается.
Повтор исследования (отдельные временные проекты, основной стенд предварительно остановить):
```sh
make image
make research RESEARCH_OUTPUT=evidence/scaling-new
uv run --locked python -m research.analyze evidence/scaling-new
# Для сравнения нужны собственные образы двух зафиксированных версий:
uv run --locked python -m research.compare --before IMAGE_BEFORE --after IMAGE_AFTER --output evidence/comparison-new
uv run --locked python -m research.analyze_compare evidence/comparison-new
# Полная проверка отдельного clone с новыми credentials/volumes:
uv run --locked python scripts/verify_clean.py --output evidence/clean-clone-new.json
```
Исследования автоматически удаляют только volumes своих уникальных временных проектов; основной messenger не очищается. CPU/RAM собираются по docker stats в измерительном окне, cgroup cpu.stat подтверждает throttling. memory.peak — lifetime peak контейнера, его нельзя объявлять пиком одного измерительного окна. Модель closed-loop, генератор на том же Mac/Docker VM, фоновые задачи host не изолированы, snapshots страниц не фиксированы. Hardware: Apple M1/8 CPU/8GiB host, Docker VM8CPU/6209978368bytes. Точные версии и hardware сохранены в run.json.
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
File diff suppressed because it is too large Load Diff
+23
View File
@@ -0,0 +1,23 @@
# Насыщение PostgreSQL и устранение повторного ACL-запроса
80% GET limit20;20% POST; C16; 100 seed; warmup2s/measure12s; four API each1CPU/384MiB; PostgreSQL 0.1 vs 1CPU
Медианы трёх чередующихся повторов.
| PG CPU | Версия | RPS | p95 ms | Ошибки |
|---|---|---:|---:|---:|
| 0.1 | before | 29.4 | 1290.65 | 0 |
| 0.1 | after | 32.8 | 1298.07 | 0 |
| 1.0 | before | 211.3 | 220.94 | 0 |
| 1.0 | after | 247.4 | 200.82 | 0 |
Before revision: `df4eee9a55f0cd9476744ea4c75cba1c1b3a4a98`.
After revision: `cabd0cacb3d58e018e115ca0d629d6becf0179bb`.
При PG1CPU выигрыш RPS наблюдается во всех трёх парах; при PG0.1CPU один after хуже before. Короткие окна и большой разброс не задают production SLA.
Всего успешных HTTP: 18849; ошибок: 0.
Доли CPU-периодов PG с throttling (по каждому прогону):
- PG0.1CPU: [1.0, 1.0, 0.981, 1.0, 1.0, 0.972]
- PG1.0CPU: [0.062, 0.016, 0.008, 0.055, 0.0, 0.008]
Binary file not shown.

After

Width:  |  Height:  |  Size: 42 KiB

+31
View File
@@ -0,0 +1,31 @@
{
"date": "2026-11-15T16:34:47.189897+00:00",
"complete": true,
"profile": "80% GET limit20;20% POST; C16; 100 seed; warmup2s/measure12s; four API each1CPU/384MiB; PostgreSQL 0.1 vs 1CPU",
"images": {
"before": {
"image": "mtusi-messenger:lab3-baseline",
"digest": "sha256:52486f90ff283acbf4cc26a763e8ad33a84cf9b6e2f5cff7542e406cef3b7b40",
"revision": "df4eee9a55f0cd9476744ea4c75cba1c1b3a4a98"
},
"after": {
"image": "mtusi-messenger:lab3-optimized",
"digest": "sha256:3e0dae28e3322bd42f4381e2bc439f171348e755249b17f7bc4d123b6c140209",
"revision": "cabd0cacb3d58e018e115ca0d629d6becf0179bb"
}
},
"cells": [
"01-before-pg0.1-r1.json",
"02-after-pg0.1-r1.json",
"03-before-pg1.0-r1.json",
"04-after-pg1.0-r1.json",
"05-after-pg0.1-r2.json",
"06-before-pg0.1-r2.json",
"07-after-pg1.0-r2.json",
"08-before-pg1.0-r2.json",
"09-before-pg0.1-r3.json",
"10-after-pg0.1-r3.json",
"11-before-pg1.0-r3.json",
"12-after-pg1.0-r3.json"
]
}
+13
View File
@@ -0,0 +1,13 @@
version,pg_cpu_limit,repeat,successful_rps,errors,p50_ms,p95_ms,p99_ms
before,0.1,1,21.316091462624293,0,591.172,2092.441,3016.385
after,0.1,1,32.82279718409536,0,390.596,1298.065,1793.751
before,1.0,1,149.6992402960217,0,55.172,355.143,647.555
after,1.0,1,247.44248843044662,0,36.672,200.816,315.847
after,0.1,2,57.746143786015686,0,197.4,816.803,1291.057
before,0.1,2,29.352502633001926,0,489.503,1290.654,1979.792
after,1.0,2,240.92116586235193,0,36.694,201.685,366.092
before,1.0,2,211.34858169102048,0,41.28,220.936,441.311
before,0.1,3,32.46450561340184,0,396.505,1201.577,1600.971
after,0.1,3,28.37186406851818,0,409.049,1405.366,1789.497
before,1.0,3,240.42921118588941,0,35.779,213.804,365.71
after,1.0,3,256.6444044962857,0,34.582,192.979,310.591
1 version pg_cpu_limit repeat successful_rps errors p50_ms p95_ms p99_ms
2 before 0.1 1 21.316091462624293 0 591.172 2092.441 3016.385
3 after 0.1 1 32.82279718409536 0 390.596 1298.065 1793.751
4 before 1.0 1 149.6992402960217 0 55.172 355.143 647.555
5 after 1.0 1 247.44248843044662 0 36.672 200.816 315.847
6 after 0.1 2 57.746143786015686 0 197.4 816.803 1291.057
7 before 0.1 2 29.352502633001926 0 489.503 1290.654 1979.792
8 after 1.0 2 240.92116586235193 0 36.694 201.685 366.092
9 before 1.0 2 211.34858169102048 0 41.28 220.936 441.311
10 before 0.1 3 32.46450561340184 0 396.505 1201.577 1600.971
11 after 0.1 3 28.37186406851818 0 409.049 1405.366 1789.497
12 before 1.0 3 240.42921118588941 0 35.779 213.804 365.71
13 after 1.0 3 256.6444044962857 0 34.582 192.979 310.591
+103
View File
@@ -0,0 +1,103 @@
import argparse
import csv
import json
import statistics
from pathlib import Path
import matplotlib
matplotlib.use("Agg")
import matplotlib.pyplot as plt # noqa: E402
def main():
parser = argparse.ArgumentParser()
parser.add_argument("directory")
directory = Path(parser.parse_args().directory)
meta = json.loads((directory / "run.json").read_text())
assert meta["complete"]
rows = [
json.loads((directory / name).read_text()) for name in meta["cells"]
]
keys = [
"version",
"pg_cpu_limit",
"repeat",
"successful_rps",
"errors",
"p50_ms",
"p95_ms",
"p99_ms",
]
with (directory / "summary.csv").open("w", newline="") as stream:
writer = csv.DictWriter(stream, fieldnames=keys)
writer.writeheader()
writer.writerows({k: r[k] for k in keys} for r in rows)
lines = [
"# Насыщение PostgreSQL и устранение повторного ACL-запроса",
"",
meta["profile"],
"",
"Медианы трёх чередующихся повторов.",
"",
"| PG CPU | Версия | RPS | p95 ms | Ошибки |",
"|---|---|---:|---:|---:|",
]
fig, axes = plt.subplots(1, 2, figsize=(9, 4), constrained_layout=True)
for ax, cpu in zip(axes, [0.1, 1.0], strict=True):
values = []
for version in ["before", "after"]:
group = [
r
for r in rows
if r["version"] == version and r["pg_cpu_limit"] == cpu
]
median = statistics.median(r["successful_rps"] for r in group)
values.append(median)
lines.append(
f"| {cpu} | {version} | {median:.1f} | {statistics.median(r['p95_ms'] for r in group):.2f} | {sum(r['errors'] for r in group)} |"
)
ax.bar(["before", "after"], values, color=["#d48748", "#3c88b5"])
ax.set(
title=f"PostgreSQL {cpu} CPU", ylabel="Successful HTTP requests/s"
)
ax.grid(axis="y", alpha=0.2)
fig.savefig(directory / "comparison.png", dpi=160)
plt.close(fig)
lines += [
"",
"Before revision: `" + meta["images"]["before"]["revision"] + "`.",
"After revision: `" + meta["images"]["after"]["revision"] + "`.",
"",
"При PG1CPU выигрыш RPS наблюдается во всех трёх парах; при PG0.1CPU один after хуже before. Короткие окна и большой разброс не задают production SLA.",
"",
f"Всего успешных HTTP: {sum(r['success'] for r in rows)}; ошибок: {sum(r['errors'] for r in rows)}.",
"",
"Доли CPU-периодов PG с throttling (по каждому прогону):",
]
for cpu in [0.1, 1.0]:
ratios = []
for r in rows:
if r["pg_cpu_limit"] != cpu:
continue
def parse(text):
return {
s.split()[0]: int(s.split()[1]) for s in text.splitlines()
}
before, after = parse(r["pg_cpu_before"]), parse(r["pg_cpu_after"])
periods = after["nr_periods"] - before["nr_periods"]
ratios.append(
round(
(after["nr_throttled"] - before["nr_throttled"])
/ max(1, periods),
3,
)
)
lines.append(f"- PG{cpu}CPU: {ratios}")
(directory / "analysis.md").write_text("\n".join(lines) + "\n")
if __name__ == "__main__":
main()
+3 -1
View File
@@ -268,7 +268,9 @@ async def send(request: Request, chat_id: str):
async def history(request: Request, chat_id: str):
user = await actor(request)
cid = parse_uuid(chat_id)
chat = await run_io(service(request).get_chat, actor_id=user.id, chat_id=cid)
chat = await run_io(
service(request).get_chat, actor_id=user.id, chat_id=cid
)
limit, cursor = pagination(request)
return response(
await run_io(