perf: keep a fixed PostgreSQL pool without overflow connections

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 13:25:26 +03:00
co-authored by Claude Opus 5.5
parent 0b0421ad2f
commit 9c3959d768
7 changed files with 117 additions and 6 deletions
+5 -2
View File
@@ -133,8 +133,11 @@ paths:
текстом — уже после вставки ключа идемпотентности) и
`clear-fail-*`, `count-chats`, `fill-connections <секунд>` (все слоты
`max_connections` заняты сессиями `psql`, соединения API по TCP
оборваны — пул получает «too many clients», 53300) и
`clear-connections`. Hook работает только с проектом из
оборваны — пул получает «too many clients», 53300),
`clear-connections` и `db-sessions` (счётчик
`pg_stat_database.sessions`: сколько сессий PostgreSQL приняла, с
сессией самого вызова; тест «Соединения пула не переоткрываются»).
Hook работает только с проектом из
`FAULT_PROJECT` и
отказывается работать с проектом рабочего стенда.
- Тест `fault`, который останавливает или замораживает хранилище,
+2 -1
View File
@@ -23,7 +23,8 @@ keep_alive_seconds = 60
# Адрес, порт, пользователь, пароль и имя базы приходят из .env (мосты к
# POSTGRES_*) и из environment compose; здесь их не указывать.
pool_size = 10
max_overflow = 5
# 0 — без переполнения: соединения сверх pool_size переоткрывались бы
max_overflow = 0
# секунды ожидания свободного соединения пула
pool_timeout_seconds = 5
# секунды на установку соединения
+3 -2
View File
@@ -67,8 +67,9 @@ services:
deploy:
resources:
limits:
# соединения реплик: API_REPLICAS × (pool_size + max_overflow)
# + migrate ≤ max_connections (100), расчёт — REPORT.md
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
# max_overflow 0) + migrate ≤ max_connections (100): 2 × 10 + 1,
# при поочерёдной замене 3 × 10 + 1; расчёт — REPORT.md
cpus: "2.0"
memory: 1G
+17
View File
@@ -121,8 +121,25 @@ MUST NOT фиксироваться. Когда PostgreSQL снова досту
иметь таймауты из настроек. Истёкший таймаут SHALL давать 503
`unavailable`.
Пул SHALL держать постоянный набор соединений. Соединение, возвращённое
в пул после запроса, SHALL оставаться открытым и обслуживать следующие
запросы. При настройках по умолчанию соединений сверх размера пула
сервис MUST NOT открывать. Запрос, которому не хватило свободного
соединения, SHALL ждать его в очереди пула не дольше таймаута ожидания,
а не открывать новое соединение с PostgreSQL. Новое соединение сервис
открывает, только пока пул не набрал своего размера, и взамен
соединения, закрытого после обрыва или отказа.
#### Scenario: Соединения исчерпаны
- **WHEN** все соединения пула заняты дольше таймаута ожидания
- **THEN** новый запрос получает 503 `unavailable` не позже этого
таймаута, а не ждёт бесконечно
#### Scenario: Соединения пула не переоткрываются
- **WHEN** пул прогрет, и сервису раз за разом приходят пачки
одновременных запросов, которых больше, чем соединений в пуле
- **THEN** все запросы пачек обслуживаются успешно
- **AND** PostgreSQL за время пачек не принимает от сервиса ни одного
нового соединения
+5 -1
View File
@@ -85,7 +85,11 @@ class Database(BaseModel):
name: str = "messenger"
pool_size: int = Field(default=10, ge=1)
max_overflow: int = Field(default=5, ge=0)
# соединений сверх pool_size; по умолчанию 0. Соединение переполнения
# пул закрывает при возврате, и под нагрузкой оно открывается заново:
# процесс PostgreSQL и SCRAM ~11 мс CPU реплики в event loop на каждое
# (design change scaling-improvement)
max_overflow: int = Field(default=0, ge=0)
# секунды ожидания свободного соединения пула
pool_timeout_seconds: float = Field(default=5, gt=0)
# секунды на установку соединения
+9
View File
@@ -25,6 +25,9 @@
соединения API: их пулы переподключаются
и получают «too many clients» (53300)
clear-connections освободить слоты и дождаться подключения
db-sessions pg_stat_database.sessions базы стенда:
сколько сессий PostgreSQL приняла за всё
время (учитывает и сессию самого вызова)
Пароли не печатает: valkey-cli берёт пароль из VALKEYCLI_AUTH
контейнера, psql работает от POSTGRES_USER контейнера. Только stdlib.
@@ -96,6 +99,10 @@ DROP TRIGGER IF EXISTS fault_fail_messages ON messages;
DROP FUNCTION IF EXISTS fault_fail_messages();
"""
COUNT_CHATS_SQL = "SELECT count(*) FROM chats WHERE title = :'title';\n"
DB_SESSIONS_SQL = (
"SELECT sessions FROM pg_stat_database "
"WHERE datname = current_database();\n"
)
# Заполнение слотов: отвязанный sh в контейнере Postgres. Сначала столько
# попыток, сколько слотов, затем новая попытка раз в 0,05 с до конца
@@ -387,6 +394,8 @@ def run(project: str, action: str, args: list[str]) -> str:
return fill_connections(project, args[0])
if action == "clear-connections" and not args:
return clear_connections(project)
if action == "db-sessions" and not args:
return psql(project, DB_SESSIONS_SQL)
raise HookError(f"unknown action or arguments: {action} {args}")
+76
View File
@@ -243,6 +243,82 @@ def test_connection_limit_reached(tight_api: Api, stand: Stand) -> None:
assert_ok(tight_api.request("GET", ME, actor=fresh), 200, "User")
# пачка одновременных запросов больше пула обычного API (10)
BURST_THREADS = 48
BURST_AFTER_BARRIER = 4
def burst(api: Api, actor: Actor) -> None:
"""Пачка: у каждого потока свой клиент (keep-alive), один запрос до
барьера и BURST_AFTER_BARRIER после — около BURST_THREADS
одновременно. Все ответы — 200."""
barrier = threading.Barrier(BURST_THREADS)
clients = [
Api(str(api.client.base_url), timeout=15) for _ in range(BURST_THREADS)
]
responses: list[httpx.Response] = []
errors: list[BaseException] = []
lock = threading.Lock()
def worker(client: Api) -> None:
try:
got = [client.request("GET", ME, actor=actor)]
barrier.wait()
got += [
client.request("GET", ME, actor=actor)
for _ in range(BURST_AFTER_BARRIER)
]
except BaseException as e: # noqa: BLE001 — поднимется в тесте
barrier.abort()
with lock:
errors.append(e)
return
with lock:
responses.extend(got)
threads = [
threading.Thread(target=worker, args=(client,)) for client in clients
]
for thread in threads:
thread.start()
for thread in threads:
thread.join()
for client in clients:
client.close()
assert not errors, f"burst failed: {errors[0]!r}"
assert len(responses) == BURST_THREADS * (1 + BURST_AFTER_BARRIER)
for resp in responses:
assert_ok(resp, 200, "User")
@pytest.mark.spec("data-storage", "Соединения пула не переоткрываются")
def test_pool_keeps_connections(
api: Api,
tight_api: Api,
stand: Stand,
) -> None:
actor = api.register()
# соединение «тесного» API могли оборвать прежние тесты
# (fill-connections): его переподключение не должно попасть в окно
tight = tight_api.register()
assert_ok(tight_api.request("GET", ME, actor=tight), 200, "User")
# прогрев: пул обычного API набирает свой размер
for _ in range(2):
burst(api, actor)
# калибровка: второй вызов видит сессию первого вызова hook, и только её
s1 = int(stand("db-sessions"))
s2 = int(stand("db-sessions"))
assert s2 - s1 == 1, f"stand is noisy: {s2 - s1} sessions between calls"
for _ in range(3):
burst(api, actor)
s3 = int(stand("db-sessions"))
opened = s3 - s2 - 1
assert opened == 0, (
f"PostgreSQL accepted {opened} new sessions during "
f"{3 * BURST_THREADS * (1 + BURST_AFTER_BARRIER)} requests"
)
# ---------------------------------------------------------------------------
# Readiness
# ---------------------------------------------------------------------------