Revert "revert: measure scaling-improvement baseline without the pool change"
This reverts commit 62fa57535e.
This commit is contained in:
@@ -133,8 +133,11 @@ paths:
|
|||||||
текстом — уже после вставки ключа идемпотентности) и
|
текстом — уже после вставки ключа идемпотентности) и
|
||||||
`clear-fail-*`, `count-chats`, `fill-connections <секунд>` (все слоты
|
`clear-fail-*`, `count-chats`, `fill-connections <секунд>` (все слоты
|
||||||
`max_connections` заняты сессиями `psql`, соединения API по TCP
|
`max_connections` заняты сессиями `psql`, соединения API по TCP
|
||||||
оборваны — пул получает «too many clients», 53300) и
|
оборваны — пул получает «too many clients», 53300),
|
||||||
`clear-connections`. Hook работает только с проектом из
|
`clear-connections` и `db-sessions` (счётчик
|
||||||
|
`pg_stat_database.sessions`: сколько сессий PostgreSQL приняла, с
|
||||||
|
сессией самого вызова; тест «Соединения пула не переоткрываются»).
|
||||||
|
Hook работает только с проектом из
|
||||||
`FAULT_PROJECT` и
|
`FAULT_PROJECT` и
|
||||||
отказывается работать с проектом рабочего стенда.
|
отказывается работать с проектом рабочего стенда.
|
||||||
- Тест `fault`, который останавливает или замораживает хранилище,
|
- Тест `fault`, который останавливает или замораживает хранилище,
|
||||||
|
|||||||
+2
-1
@@ -23,7 +23,8 @@ keep_alive_seconds = 60
|
|||||||
# Адрес, порт, пользователь, пароль и имя базы приходят из .env (мосты к
|
# Адрес, порт, пользователь, пароль и имя базы приходят из .env (мосты к
|
||||||
# POSTGRES_*) и из environment compose; здесь их не указывать.
|
# POSTGRES_*) и из environment compose; здесь их не указывать.
|
||||||
pool_size = 10
|
pool_size = 10
|
||||||
max_overflow = 5
|
# 0 — без переполнения: соединения сверх pool_size переоткрывались бы
|
||||||
|
max_overflow = 0
|
||||||
# секунды ожидания свободного соединения пула
|
# секунды ожидания свободного соединения пула
|
||||||
pool_timeout_seconds = 5
|
pool_timeout_seconds = 5
|
||||||
# секунды на установку соединения
|
# секунды на установку соединения
|
||||||
|
|||||||
+3
-2
@@ -67,8 +67,9 @@ services:
|
|||||||
deploy:
|
deploy:
|
||||||
resources:
|
resources:
|
||||||
limits:
|
limits:
|
||||||
# соединения реплик: API_REPLICAS × (pool_size + max_overflow)
|
# соединения реплик: API_REPLICAS × pool_size (переполнения нет,
|
||||||
# + migrate ≤ max_connections (100), расчёт — REPORT.md
|
# max_overflow 0) + migrate ≤ max_connections (100): 2 × 10 + 1,
|
||||||
|
# при поочерёдной замене 3 × 10 + 1; расчёт — REPORT.md
|
||||||
cpus: "2.0"
|
cpus: "2.0"
|
||||||
memory: 1G
|
memory: 1G
|
||||||
|
|
||||||
|
|||||||
@@ -121,8 +121,25 @@ MUST NOT фиксироваться. Когда PostgreSQL снова досту
|
|||||||
иметь таймауты из настроек. Истёкший таймаут SHALL давать 503
|
иметь таймауты из настроек. Истёкший таймаут SHALL давать 503
|
||||||
`unavailable`.
|
`unavailable`.
|
||||||
|
|
||||||
|
Пул SHALL держать постоянный набор соединений. Соединение, возвращённое
|
||||||
|
в пул после запроса, SHALL оставаться открытым и обслуживать следующие
|
||||||
|
запросы. При настройках по умолчанию соединений сверх размера пула
|
||||||
|
сервис MUST NOT открывать. Запрос, которому не хватило свободного
|
||||||
|
соединения, SHALL ждать его в очереди пула не дольше таймаута ожидания,
|
||||||
|
а не открывать новое соединение с PostgreSQL. Новое соединение сервис
|
||||||
|
открывает, только пока пул не набрал своего размера, и взамен
|
||||||
|
соединения, закрытого после обрыва или отказа.
|
||||||
|
|
||||||
#### Scenario: Соединения исчерпаны
|
#### Scenario: Соединения исчерпаны
|
||||||
|
|
||||||
- **WHEN** все соединения пула заняты дольше таймаута ожидания
|
- **WHEN** все соединения пула заняты дольше таймаута ожидания
|
||||||
- **THEN** новый запрос получает 503 `unavailable` не позже этого
|
- **THEN** новый запрос получает 503 `unavailable` не позже этого
|
||||||
таймаута, а не ждёт бесконечно
|
таймаута, а не ждёт бесконечно
|
||||||
|
|
||||||
|
#### Scenario: Соединения пула не переоткрываются
|
||||||
|
|
||||||
|
- **WHEN** пул прогрет, и сервису раз за разом приходят пачки
|
||||||
|
одновременных запросов, которых больше, чем соединений в пуле
|
||||||
|
- **THEN** все запросы пачек обслуживаются успешно
|
||||||
|
- **AND** PostgreSQL за время пачек не принимает от сервиса ни одного
|
||||||
|
нового соединения
|
||||||
|
|||||||
@@ -85,7 +85,11 @@ class Database(BaseModel):
|
|||||||
name: str = "messenger"
|
name: str = "messenger"
|
||||||
|
|
||||||
pool_size: int = Field(default=10, ge=1)
|
pool_size: int = Field(default=10, ge=1)
|
||||||
max_overflow: int = Field(default=5, ge=0)
|
# соединений сверх pool_size; по умолчанию 0. Соединение переполнения
|
||||||
|
# пул закрывает при возврате, и под нагрузкой оно открывается заново:
|
||||||
|
# процесс PostgreSQL и SCRAM ~11 мс CPU реплики в event loop на каждое
|
||||||
|
# (design change scaling-improvement)
|
||||||
|
max_overflow: int = Field(default=0, ge=0)
|
||||||
# секунды ожидания свободного соединения пула
|
# секунды ожидания свободного соединения пула
|
||||||
pool_timeout_seconds: float = Field(default=5, gt=0)
|
pool_timeout_seconds: float = Field(default=5, gt=0)
|
||||||
# секунды на установку соединения
|
# секунды на установку соединения
|
||||||
|
|||||||
@@ -6,9 +6,17 @@
|
|||||||
# запускаются: контейнеры API создаёт оркестратор (docker compose run
|
# запускаются: контейнеры API создаёт оркестратор (docker compose run
|
||||||
# -p 127.0.0.1:...), у реплик api своих портов нет. Порт LB сброшен, чтобы
|
# -p 127.0.0.1:...), у реплик api своих портов нет. Порт LB сброшен, чтобы
|
||||||
# случайный up не занял APP_OUT_PORT рабочего стенда.
|
# случайный up не занял APP_OUT_PORT рабочего стенда.
|
||||||
|
#
|
||||||
|
# Healthcheck PostgreSQL проверяет служебную базу postgres, а не базу
|
||||||
|
# приложения: с 127.0.0.1 образ пускает без пароля (trust), и каждая
|
||||||
|
# проверка — сессия в pg_stat_database базы. Иначе раз в 5 с она попадала
|
||||||
|
# бы в счётчик теста «Соединения пула не переоткрываются» (действие hook
|
||||||
|
# db-sessions).
|
||||||
services:
|
services:
|
||||||
postgres:
|
postgres:
|
||||||
ports: !reset []
|
ports: !reset []
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD-SHELL", "pg_isready -h 127.0.0.1 -U \"$$POSTGRES_USER\" -d postgres"]
|
||||||
valkey:
|
valkey:
|
||||||
ports: !reset []
|
ports: !reset []
|
||||||
haproxy:
|
haproxy:
|
||||||
|
|||||||
@@ -25,6 +25,9 @@
|
|||||||
соединения API: их пулы переподключаются
|
соединения API: их пулы переподключаются
|
||||||
и получают «too many clients» (53300)
|
и получают «too many clients» (53300)
|
||||||
clear-connections освободить слоты и дождаться подключения
|
clear-connections освободить слоты и дождаться подключения
|
||||||
|
db-sessions pg_stat_database.sessions базы стенда:
|
||||||
|
сколько сессий PostgreSQL приняла за всё
|
||||||
|
время (учитывает и сессию самого вызова)
|
||||||
|
|
||||||
Пароли не печатает: valkey-cli берёт пароль из VALKEYCLI_AUTH
|
Пароли не печатает: valkey-cli берёт пароль из VALKEYCLI_AUTH
|
||||||
контейнера, psql работает от POSTGRES_USER контейнера. Только stdlib.
|
контейнера, psql работает от POSTGRES_USER контейнера. Только stdlib.
|
||||||
@@ -96,6 +99,15 @@ DROP TRIGGER IF EXISTS fault_fail_messages ON messages;
|
|||||||
DROP FUNCTION IF EXISTS fault_fail_messages();
|
DROP FUNCTION IF EXISTS fault_fail_messages();
|
||||||
"""
|
"""
|
||||||
COUNT_CHATS_SQL = "SELECT count(*) FROM chats WHERE title = :'title';\n"
|
COUNT_CHATS_SQL = "SELECT count(*) FROM chats WHERE title = :'title';\n"
|
||||||
|
# Сессия psql учитывает себя в sessions, только когда сбросит свои
|
||||||
|
# счётчики: обычно на первом простое до запроса, но без ожидания
|
||||||
|
# блокировки, и при занятой — позже. Принудительный сброс в отдельной
|
||||||
|
# транзакции делает это детерминированным: значение всегда включает
|
||||||
|
# сессию самого вызова
|
||||||
|
DB_SESSIONS_SQL = """\
|
||||||
|
SELECT pg_stat_force_next_flush();
|
||||||
|
SELECT sessions FROM pg_stat_database WHERE datname = current_database();
|
||||||
|
"""
|
||||||
|
|
||||||
# Заполнение слотов: отвязанный sh в контейнере Postgres. Сначала столько
|
# Заполнение слотов: отвязанный sh в контейнере Postgres. Сначала столько
|
||||||
# попыток, сколько слотов, затем новая попытка раз в 0,05 с до конца
|
# попыток, сколько слотов, затем новая попытка раз в 0,05 с до конца
|
||||||
@@ -387,6 +399,8 @@ def run(project: str, action: str, args: list[str]) -> str:
|
|||||||
return fill_connections(project, args[0])
|
return fill_connections(project, args[0])
|
||||||
if action == "clear-connections" and not args:
|
if action == "clear-connections" and not args:
|
||||||
return clear_connections(project)
|
return clear_connections(project)
|
||||||
|
if action == "db-sessions" and not args:
|
||||||
|
return psql(project, DB_SESSIONS_SQL)
|
||||||
raise HookError(f"unknown action or arguments: {action} {args}")
|
raise HookError(f"unknown action or arguments: {action} {args}")
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -243,6 +243,90 @@ def test_connection_limit_reached(tight_api: Api, stand: Stand) -> None:
|
|||||||
assert_ok(tight_api.request("GET", ME, actor=fresh), 200, "User")
|
assert_ok(tight_api.request("GET", ME, actor=fresh), 200, "User")
|
||||||
|
|
||||||
|
|
||||||
|
# пачка одновременных запросов больше пула обычного API (10)
|
||||||
|
BURST_THREADS = 48
|
||||||
|
BURST_AFTER_BARRIER = 4
|
||||||
|
# PGSTAT_IDLE_INTERVAL PostgreSQL (10 с) и запас
|
||||||
|
STATS_FLUSH_S = 11
|
||||||
|
|
||||||
|
|
||||||
|
def burst(api: Api, actor: Actor) -> None:
|
||||||
|
"""Пачка: у каждого потока свой клиент (keep-alive), один запрос до
|
||||||
|
барьера и BURST_AFTER_BARRIER после — около BURST_THREADS
|
||||||
|
одновременно. Все ответы — 200."""
|
||||||
|
barrier = threading.Barrier(BURST_THREADS)
|
||||||
|
clients = [
|
||||||
|
Api(str(api.client.base_url), timeout=15) for _ in range(BURST_THREADS)
|
||||||
|
]
|
||||||
|
responses: list[httpx.Response] = []
|
||||||
|
errors: list[BaseException] = []
|
||||||
|
lock = threading.Lock()
|
||||||
|
|
||||||
|
def worker(client: Api) -> None:
|
||||||
|
try:
|
||||||
|
got = [client.request("GET", ME, actor=actor)]
|
||||||
|
barrier.wait()
|
||||||
|
got += [
|
||||||
|
client.request("GET", ME, actor=actor)
|
||||||
|
for _ in range(BURST_AFTER_BARRIER)
|
||||||
|
]
|
||||||
|
except BaseException as e: # noqa: BLE001 — поднимется в тесте
|
||||||
|
barrier.abort()
|
||||||
|
with lock:
|
||||||
|
errors.append(e)
|
||||||
|
return
|
||||||
|
with lock:
|
||||||
|
responses.extend(got)
|
||||||
|
|
||||||
|
threads = [
|
||||||
|
threading.Thread(target=worker, args=(client,)) for client in clients
|
||||||
|
]
|
||||||
|
for thread in threads:
|
||||||
|
thread.start()
|
||||||
|
for thread in threads:
|
||||||
|
thread.join()
|
||||||
|
for client in clients:
|
||||||
|
client.close()
|
||||||
|
assert not errors, f"burst failed: {errors[0]!r}"
|
||||||
|
assert len(responses) == BURST_THREADS * (1 + BURST_AFTER_BARRIER)
|
||||||
|
for resp in responses:
|
||||||
|
assert_ok(resp, 200, "User")
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.spec("data-storage", "Соединения пула не переоткрываются")
|
||||||
|
def test_pool_keeps_connections(
|
||||||
|
api: Api,
|
||||||
|
tight_api: Api,
|
||||||
|
stand: Stand,
|
||||||
|
) -> None:
|
||||||
|
actor = api.register()
|
||||||
|
# соединение «тесного» API могли оборвать прежние тесты
|
||||||
|
# (fill-connections): его переподключение не должно попасть в окно
|
||||||
|
tight = tight_api.register()
|
||||||
|
assert_ok(tight_api.request("GET", ME, actor=tight), 200, "User")
|
||||||
|
# прогрев: пул обычного API набирает свой размер
|
||||||
|
for _ in range(2):
|
||||||
|
burst(api, actor)
|
||||||
|
# новый backend учитывает себя в sessions не сразу: его счётчики уходят
|
||||||
|
# в общую статистику без ожидания блокировки и при занятой блокировке
|
||||||
|
# откладываются. Простаивающий backend сбрасывает их принудительно по
|
||||||
|
# таймеру PGSTAT_IDLE_INTERVAL (10 с): без паузы соединения прогрева
|
||||||
|
# попадали в окно по одному
|
||||||
|
time.sleep(STATS_FLUSH_S)
|
||||||
|
# калибровка: второй вызов видит сессию первого вызова hook, и только её
|
||||||
|
s1 = int(stand("db-sessions"))
|
||||||
|
s2 = int(stand("db-sessions"))
|
||||||
|
assert s2 - s1 == 1, f"stand is noisy: {s2 - s1} sessions between calls"
|
||||||
|
for _ in range(3):
|
||||||
|
burst(api, actor)
|
||||||
|
s3 = int(stand("db-sessions"))
|
||||||
|
opened = s3 - s2 - 1
|
||||||
|
assert opened == 0, (
|
||||||
|
f"PostgreSQL accepted {opened} new sessions during "
|
||||||
|
f"{3 * BURST_THREADS * (1 + BURST_AFTER_BARRIER)} requests"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
# ---------------------------------------------------------------------------
|
# ---------------------------------------------------------------------------
|
||||||
# Readiness
|
# Readiness
|
||||||
# ---------------------------------------------------------------------------
|
# ---------------------------------------------------------------------------
|
||||||
|
|||||||
Reference in New Issue
Block a user