From ca8223dba95c0a8ee85dd1f8fab084525cfab7e8 Mon Sep 17 00:00:00 2001 From: anastasia Date: Fri, 16 Oct 2026 01:11:42 +0300 Subject: [PATCH] perf: bound database concurrency for preregistered H6 trial --- AGENTS.md | 12 ++++---- REPORT.md | 12 ++++++-- compose.yaml | 4 +-- evidence/tests/h6-candidate.txt | 50 +++++++++++++++++++++++++++++++++ infra/AGENTS.md | 4 +-- src/AGENTS.md | 2 +- src/config.py | 7 +++-- 7 files changed, 75 insertions(+), 16 deletions(-) create mode 100644 evidence/tests/h6-candidate.txt diff --git a/AGENTS.md b/AGENTS.md index 2d477016..23acabed 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -15,8 +15,11 @@ API за HAProxy, PostgreSQL — источник истины (данные, с `scaling-db`, `scaling-ab-before`, `scaling-ab-aa`, `scaling-ab-after`. **H4 опровергнута:** R* основного случая 788 → 788/с; сравнение и графики в `evidence/compare/` и `evidence/plots/scaling-ab/`. Переполнение пула -возвращено с 0 на 5. Для оценки «5» ещё нужно подтверждённое улучшение, -затем финальные проверки и чистая копия по `bench/RUNBOOK.md`. +возвращено с 0 на 5. Контроли H5 сняты; шум 24.9 % превысил её допуск. +До измерения кандидата записан строгий план H6: пул 2 + 0, +рост медианы ≥ 50 % и все повторы выше обоих контролей. Кандидат H6 +применён, далее проверки и `scaling-h6-after`. Для «5» ещё нужно +подтверждённое улучшение и финальная проверка чистой копии. Гипотезы трека 1 записаны в `REPORT.md` до замеров. Указание пользователя от 15 октября 2026: выполнять замеры и при @@ -62,9 +65,8 @@ Codex сам загружает `AGENTS.md` от корня репозитори проверка — `codex execpolicy check --pretty --rules .codex/rules/messenger.rules -- <команда>`. Правила дублируют раздел 2, но не заменяют его; -- **навыки** `.agents/skills/*/SKILL.md`: `lab3-bench` — замеры по - `bench/RUNBOOK.md`, `messenger-stand` — работа со стендом. Codex - выбирает их по описанию или по `$имя`. +- **навыки проекта**: `.agents/skills/` и `.codex/skills/` отсутствуют + при проверке 16 октября. Методика читается прямо из `bench/RUNBOOK.md`. Конфликт: более глубокий файл уточняет корневой, но не отменяет раздел 2. Прямая просьба пользователя в чате важнее этих файлов, кроме diff --git a/REPORT.md b/REPORT.md index 62513c49..0dc7763b 100644 --- a/REPORT.md +++ b/REPORT.md @@ -155,9 +155,11 @@ Compose + HAProxy — один `make up` и один хост. | valkey | 0,5 | 128 МиБ | `127.0.0.1:VALKEY_HOST_PORT` (для `make run`) | свой | | migrate | 0,5 | 256 МиБ | нет | пароль PostgreSQL | -Соединения PostgreSQL: 2 × (пул 10 + переполнение 5) + migrate = 31 ≤ -`max_connections` 100; при замене на пике три реплики — 46. Кандидат H4 -без переполнения возвращён к исходной настройке после отсутствия эффекта. +Кандидат H6: пул 2 без переполнения. Соединения PostgreSQL: +2 × 2 + migrate = 5 ≤ `max_connections` 100; при замене на пике три +реплики — 7. В исходных сериях пул 10 + 5 давал 31 и 46 соответственно. +Кандидат H4 с пулом 10 + 0 возвращён после отсутствия эффекта; +теперь отдельно проверяется пул 2 + 0. Реплики, `migrate` и LB: read-only файловая система, `cap_drop: ALL`, `no-new-privileges`. Проверено: [стенд и лимиты](evidence/replicas/stand.txt). @@ -573,6 +575,10 @@ R*(2 × 1) ≈ 830/с; на первой нарушившей ступени — ожидание и возможные 503; механизм конкуренции ещё не доказан. - Итог: кандидат ещё не измерен. +Проверки кандидата H6 до замера: [84 теста приложения и 15 отказов](evidence/tests/h6-candidate.txt), +smoke, failover и persistence — успешны. Хеш приложения +`43893cc08aa40b09`; профиль, зависимости и таймауты не менялись. + **Результаты исходных серий (Apple M4):** по три повтора каждой конфигурации. Полная [сводка и точка насыщения](evidence/plots/scaling/summary.md); исходные ступени, ресурсы и паспорта — в каталогах diff --git a/compose.yaml b/compose.yaml index 4ba5658e..726956e7 100644 --- a/compose.yaml +++ b/compose.yaml @@ -65,8 +65,8 @@ services: resources: limits: # соединения: API_REPLICAS × (DB_POOL_SIZE + DB_POOL_OVERFLOW) + - # migrate ≤ max_connections (100): 2 × 15 + 1 = 31, при - # поочерёдной замене 3 × 15 + 1 = 46 (REPORT.md, «Лимиты и пулы») + # migrate ≤ max_connections (100): 2 × 2 + 1 = 5, при + # поочерёдной замене 3 × 2 + 1 = 7 (REPORT.md, «Лимиты и пулы») cpus: "2.0" memory: 1G diff --git a/evidence/tests/h6-candidate.txt b/evidence/tests/h6-candidate.txt new file mode 100644 index 00000000..b710a6cc --- /dev/null +++ b/evidence/tests/h6-candidate.txt @@ -0,0 +1,50 @@ +# Что доказывает: кандидат H6 с пулом 2 + 0 проходит проверки до замера. +# Дата UTC: 2026-10-15 (16 октября по Europe/Moscow). +# Окружение: Apple M4, macOS 26.6.2; Docker 28.0.4, +# Compose 2.34.0-desktop.1; pytest на Python 3.13.7. +# Код: src_sha256 43893cc08aa40b09dd86ac7ff69f3420179180c04ad375a3130966917c18c6c7. +# Git: правки кандидата поверх 08e345f, до локального коммита кандидата. +# Стенды: отдельные isolated (LB, две реплики) и failures; штатная уборка. +# Вывод сокращён (...); полные журналы текущего запуска: +# /tmp/lab3-h6-isolated.log, /tmp/lab3-h6-failure.log. + +$ make fmt +uv run ruff format . +97 files left unchanged +uv run ruff check --fix . +All checks passed! + +$ make lint +uv run ruff format --check . +97 files already formatted +uv run ruff check . +All checks passed! + +$ make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. + +$ make requirements-check +uv export --frozen --no-dev --no-emit-project --no-header --format requirements.txt | diff -u requirements.txt - && echo "requirements.txt matches uv.lock" +requirements.txt matches uv.lock + +$ make test-isolated +python3 student-tests/stand.py isolated +... +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. +... +====================== 84 passed, 15 deselected in 10.89s ====================== +... +{"observed_instances_before": 2, "successful_writes": 116, "failed_attempts": 0, "first_recovery_seconds": 1.493} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +... +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +[isolated] cleanup +[isolated] results: {'test': 0, 'student-test': 0, 'test-failover': 0, 'test-persistence': 0} + +$ make failure-checks +python3 student-tests/stand.py failures +... +====================== 15 passed, 84 deselected in 42.40s ====================== +[failures] cleanup +[failures] results: {'fault': 0} diff --git a/infra/AGENTS.md b/infra/AGENTS.md index 779979a0..6dc26b6c 100644 --- a/infra/AGENTS.md +++ b/infra/AGENTS.md @@ -66,8 +66,8 @@ skeleton, не менять. Требования рубрики (`README.md`) 1 / 256 МиБ, migrate 0,5 / 256 МиБ. Override стендов (`bench/`) задаёт лимиты в той же форме: `cpus`/`mem_limit` рядом compose не принимает. - Соединения PostgreSQL: `API_REPLICAS × (DB_POOL_SIZE + DB_POOL_OVERFLOW) - + migrate ≤ max_connections` (100): 2 × 15 + 1 = 31, на пике замены - 3 × 15 + 1 = 46. Больше реплик или больше пул — пересчитать. + + migrate ≤ max_connections` (100): 2 × 2 + 1 = 5, на пике замены + 3 × 2 + 1 = 7. Больше реплик или больше пул — пересчитать. - Ужесточение (`x-hardened`) у `api`, `migrate`, `haproxy`: `read_only`, `cap_drop: ALL`, `no-new-privileges`; у `api` ещё `tmpfs: /tmp`. `stop_grace_period: 10s` у `api` (uvicorn завершается за diff --git a/src/AGENTS.md b/src/AGENTS.md index cae09cca..eef15779 100644 --- a/src/AGENTS.md +++ b/src/AGENTS.md @@ -150,7 +150,7 @@ storage/ (Storage Protocol → CachedStorage → PostgresStorage) | `IDEMPOTENCY_TTL_SECONDS` | `86400` | сколько повтор с тем же `Idempotency-Key` отдаёт прежний результат (контракт: ≥ 24 ч); в тесте срока — 2 | | `KDF_CONCURRENCY` | `4` | одновременных хэшей Argon2id (64 MiB на каждый) | | `DB_HOST` / `DB_PORT` / `DB_NAME` / `DB_USER` / `DB_PASSWORD` | `127.0.0.1` / `5432` / `messenger` / `messenger` / пусто | подключение к PostgreSQL | -| `DB_POOL_SIZE` / `DB_POOL_OVERFLOW` / `DB_POOL_TIMEOUT` | `10` / `5` / `5` с | пул на процесс и ожидание соединения | +| `DB_POOL_SIZE` / `DB_POOL_OVERFLOW` / `DB_POOL_TIMEOUT` | `2` / `0` / `5` с | ограниченный пул на процесс без переполнения и ожидание соединения | | `DB_CONNECT_TIMEOUT` / `DB_STATEMENT_TIMEOUT_MS` / `DB_OPERATION_TIMEOUT` | `3` с / `5000` / `6` с | подключение, серверный срок запроса, срок операции хранилища целиком | | `CACHE_HOST` / `CACHE_PORT` / `CACHE_PASSWORD` | `127.0.0.1` / `6379` / пусто | подключение к Valkey | | `CACHE_TIMEOUT` / `CACHE_RETRY_AFTER` / `CACHE_CHAT_TTL` / `CACHE_MAX_CONNECTIONS` | `0.2` с / `5` с / `3600` с / `10` | срок команды, окно пропуска после отказа, срок карточки, пул | diff --git a/src/config.py b/src/config.py index d73bc232..d6bc5117 100644 --- a/src/config.py +++ b/src/config.py @@ -105,9 +105,10 @@ class Database: name: str = "messenger" user: str = "messenger" password: str = field(default="", repr=False) - # соединений в пуле и сверх него: пул считается на один процесс - pool_size: int = 10 - pool_overflow: int = 5 + # ограничиваем конкурентную работу с БД; избыток запросов ждёт пул + # лимит считается на один процесс, переполнение отключено + pool_size: int = 2 + pool_overflow: int = 0 # секунды ожидания свободного соединения пула pool_timeout: float = 5.0 # секунды на установку соединения