diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index e0367e06..a914e2d7 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -133,8 +133,11 @@ paths: текстом — уже после вставки ключа идемпотентности) и `clear-fail-*`, `count-chats`, `fill-connections <секунд>` (все слоты `max_connections` заняты сессиями `psql`, соединения API по TCP - оборваны — пул получает «too many clients», 53300) и - `clear-connections`. Hook работает только с проектом из + оборваны — пул получает «too many clients», 53300), + `clear-connections` и `db-sessions` (счётчик + `pg_stat_database.sessions`: сколько сессий PostgreSQL приняла, с + сессией самого вызова; тест «Соединения пула не переоткрываются»). + Hook работает только с проектом из `FAULT_PROJECT` и отказывается работать с проектом рабочего стенда. - Тест `fault`, который останавливает или замораживает хранилище, diff --git a/config_example.toml b/config_example.toml index 4d7cc117..37ff94d7 100644 --- a/config_example.toml +++ b/config_example.toml @@ -23,7 +23,8 @@ keep_alive_seconds = 60 # Адрес, порт, пользователь, пароль и имя базы приходят из .env (мосты к # POSTGRES_*) и из environment compose; здесь их не указывать. pool_size = 10 -max_overflow = 5 +# 0 — без переполнения: соединения сверх pool_size переоткрывались бы +max_overflow = 0 # секунды ожидания свободного соединения пула pool_timeout_seconds = 5 # секунды на установку соединения diff --git a/docker-compose.yml b/docker-compose.yml index 62965e89..239608a7 100644 --- a/docker-compose.yml +++ b/docker-compose.yml @@ -67,8 +67,9 @@ services: deploy: resources: limits: - # соединения реплик: API_REPLICAS × (pool_size + max_overflow) - # + migrate ≤ max_connections (100), расчёт — REPORT.md + # соединения реплик: API_REPLICAS × pool_size (переполнения нет, + # max_overflow 0) + migrate ≤ max_connections (100): 2 × 10 + 1, + # при поочерёдной замене 3 × 10 + 1; расчёт — REPORT.md cpus: "2.0" memory: 1G diff --git a/openspec/specs/data-storage/spec.md b/openspec/specs/data-storage/spec.md index b8e319e4..d7d1d05f 100644 --- a/openspec/specs/data-storage/spec.md +++ b/openspec/specs/data-storage/spec.md @@ -121,8 +121,25 @@ MUST NOT фиксироваться. Когда PostgreSQL снова досту иметь таймауты из настроек. Истёкший таймаут SHALL давать 503 `unavailable`. +Пул SHALL держать постоянный набор соединений. Соединение, возвращённое +в пул после запроса, SHALL оставаться открытым и обслуживать следующие +запросы. При настройках по умолчанию соединений сверх размера пула +сервис MUST NOT открывать. Запрос, которому не хватило свободного +соединения, SHALL ждать его в очереди пула не дольше таймаута ожидания, +а не открывать новое соединение с PostgreSQL. Новое соединение сервис +открывает, только пока пул не набрал своего размера, и взамен +соединения, закрытого после обрыва или отказа. + #### Scenario: Соединения исчерпаны - **WHEN** все соединения пула заняты дольше таймаута ожидания - **THEN** новый запрос получает 503 `unavailable` не позже этого таймаута, а не ждёт бесконечно + +#### Scenario: Соединения пула не переоткрываются + +- **WHEN** пул прогрет, и сервису раз за разом приходят пачки + одновременных запросов, которых больше, чем соединений в пуле +- **THEN** все запросы пачек обслуживаются успешно +- **AND** PostgreSQL за время пачек не принимает от сервиса ни одного + нового соединения diff --git a/src/config/settings.py b/src/config/settings.py index 5899b896..3b2087e9 100644 --- a/src/config/settings.py +++ b/src/config/settings.py @@ -85,7 +85,11 @@ class Database(BaseModel): name: str = "messenger" pool_size: int = Field(default=10, ge=1) - max_overflow: int = Field(default=5, ge=0) + # соединений сверх pool_size; по умолчанию 0. Соединение переполнения + # пул закрывает при возврате, и под нагрузкой оно открывается заново: + # процесс PostgreSQL и SCRAM ~11 мс CPU реплики в event loop на каждое + # (design change scaling-improvement) + max_overflow: int = Field(default=0, ge=0) # секунды ожидания свободного соединения пула pool_timeout_seconds: float = Field(default=5, gt=0) # секунды на установку соединения diff --git a/student-tests/failures.compose.yml b/student-tests/failures.compose.yml index 0b66a3d4..11c2675f 100644 --- a/student-tests/failures.compose.yml +++ b/student-tests/failures.compose.yml @@ -6,9 +6,17 @@ # запускаются: контейнеры API создаёт оркестратор (docker compose run # -p 127.0.0.1:...), у реплик api своих портов нет. Порт LB сброшен, чтобы # случайный up не занял APP_OUT_PORT рабочего стенда. +# +# Healthcheck PostgreSQL проверяет служебную базу postgres, а не базу +# приложения: с 127.0.0.1 образ пускает без пароля (trust), и каждая +# проверка — сессия в pg_stat_database базы. Иначе раз в 5 с она попадала +# бы в счётчик теста «Соединения пула не переоткрываются» (действие hook +# db-sessions). services: postgres: ports: !reset [] + healthcheck: + test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d postgres"] valkey: ports: !reset [] haproxy: diff --git a/student-tests/fault_hook.py b/student-tests/fault_hook.py index d3e72f4d..ef7114e2 100755 --- a/student-tests/fault_hook.py +++ b/student-tests/fault_hook.py @@ -25,6 +25,9 @@ соединения API: их пулы переподключаются и получают «too many clients» (53300) clear-connections освободить слоты и дождаться подключения + db-sessions pg_stat_database.sessions базы стенда: + сколько сессий PostgreSQL приняла за всё + время (учитывает и сессию самого вызова) Пароли не печатает: valkey-cli берёт пароль из VALKEYCLI_AUTH контейнера, psql работает от POSTGRES_USER контейнера. Только stdlib. @@ -96,6 +99,15 @@ DROP TRIGGER IF EXISTS fault_fail_messages ON messages; DROP FUNCTION IF EXISTS fault_fail_messages(); """ COUNT_CHATS_SQL = "SELECT count(*) FROM chats WHERE title = :'title';\n" +# Сессия psql учитывает себя в sessions, только когда сбросит свои +# счётчики: обычно на первом простое до запроса, но без ожидания +# блокировки, и при занятой — позже. Принудительный сброс в отдельной +# транзакции делает это детерминированным: значение всегда включает +# сессию самого вызова +DB_SESSIONS_SQL = """\ +SELECT pg_stat_force_next_flush(); +SELECT sessions FROM pg_stat_database WHERE datname = current_database(); +""" # Заполнение слотов: отвязанный sh в контейнере Postgres. Сначала столько # попыток, сколько слотов, затем новая попытка раз в 0,05 с до конца @@ -387,6 +399,8 @@ def run(project: str, action: str, args: list[str]) -> str: return fill_connections(project, args[0]) if action == "clear-connections" and not args: return clear_connections(project) + if action == "db-sessions" and not args: + return psql(project, DB_SESSIONS_SQL) raise HookError(f"unknown action or arguments: {action} {args}") diff --git a/student-tests/test_failures.py b/student-tests/test_failures.py index 0876a58f..ddebb5c6 100644 --- a/student-tests/test_failures.py +++ b/student-tests/test_failures.py @@ -243,6 +243,90 @@ def test_connection_limit_reached(tight_api: Api, stand: Stand) -> None: assert_ok(tight_api.request("GET", ME, actor=fresh), 200, "User") +# пачка одновременных запросов больше пула обычного API (10) +BURST_THREADS = 48 +BURST_AFTER_BARRIER = 4 +# PGSTAT_IDLE_INTERVAL PostgreSQL (10 с) и запас +STATS_FLUSH_S = 11 + + +def burst(api: Api, actor: Actor) -> None: + """Пачка: у каждого потока свой клиент (keep-alive), один запрос до + барьера и BURST_AFTER_BARRIER после — около BURST_THREADS + одновременно. Все ответы — 200.""" + barrier = threading.Barrier(BURST_THREADS) + clients = [ + Api(str(api.client.base_url), timeout=15) for _ in range(BURST_THREADS) + ] + responses: list[httpx.Response] = [] + errors: list[BaseException] = [] + lock = threading.Lock() + + def worker(client: Api) -> None: + try: + got = [client.request("GET", ME, actor=actor)] + barrier.wait() + got += [ + client.request("GET", ME, actor=actor) + for _ in range(BURST_AFTER_BARRIER) + ] + except BaseException as e: # noqa: BLE001 — поднимется в тесте + barrier.abort() + with lock: + errors.append(e) + return + with lock: + responses.extend(got) + + threads = [ + threading.Thread(target=worker, args=(client,)) for client in clients + ] + for thread in threads: + thread.start() + for thread in threads: + thread.join() + for client in clients: + client.close() + assert not errors, f"burst failed: {errors[0]!r}" + assert len(responses) == BURST_THREADS * (1 + BURST_AFTER_BARRIER) + for resp in responses: + assert_ok(resp, 200, "User") + + +@pytest.mark.spec("data-storage", "Соединения пула не переоткрываются") +def test_pool_keeps_connections( + api: Api, + tight_api: Api, + stand: Stand, +) -> None: + actor = api.register() + # соединение «тесного» API могли оборвать прежние тесты + # (fill-connections): его переподключение не должно попасть в окно + tight = tight_api.register() + assert_ok(tight_api.request("GET", ME, actor=tight), 200, "User") + # прогрев: пул обычного API набирает свой размер + for _ in range(2): + burst(api, actor) + # новый backend учитывает себя в sessions не сразу: его счётчики уходят + # в общую статистику без ожидания блокировки и при занятой блокировке + # откладываются. Простаивающий backend сбрасывает их принудительно по + # таймеру PGSTAT_IDLE_INTERVAL (10 с): без паузы соединения прогрева + # попадали в окно по одному + time.sleep(STATS_FLUSH_S) + # калибровка: второй вызов видит сессию первого вызова hook, и только её + s1 = int(stand("db-sessions")) + s2 = int(stand("db-sessions")) + assert s2 - s1 == 1, f"stand is noisy: {s2 - s1} sessions between calls" + for _ in range(3): + burst(api, actor) + s3 = int(stand("db-sessions")) + opened = s3 - s2 - 1 + assert opened == 0, ( + f"PostgreSQL accepted {opened} new sessions during " + f"{3 * BURST_THREADS * (1 + BURST_AFTER_BARRIER)} requests" + ) + + # --------------------------------------------------------------------------- # Readiness # ---------------------------------------------------------------------------