fix: address unit-of-work verify findings
Abort the transport when a bounded close ends, so a frozen server leaves no sessions over the pool once the ping has no transaction. Under the shared request deadline a block sets no timer of its own, so a single cancel closes the connection and the log has one record. Add a test that concurrent worker deliveries get separate units of work, and state the cost of the pattern against both baselines in the report. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -60,7 +60,10 @@ paths:
|
|||||||
`invalidate()`, `warning` «Database is unavailable» (модуль `database`) и
|
`invalidate()`, `warning` «Database is unavailable» (модуль `database`) и
|
||||||
`ServiceUnavailable`; отмена задачи тоже сбрасывает соединение (`close()`
|
`ServiceUnavailable`; отмена задачи тоже сбрасывает соединение (`close()`
|
||||||
послал бы ROLLBACK); и `deadline_scope(*, timeout_seconds)` — общий срок JSON-запроса
|
послал бы ROLLBACK); и `deadline_scope(*, timeout_seconds)` — общий срок JSON-запроса
|
||||||
без сессии (`api-layer.md`). `uow.py` — `SqlAlchemyUnitOfWork(session_factory,
|
без сессии (`api-layer.md`). Внутри общего срока таймер блока не взводится
|
||||||
|
(`_deadline_task`, только в той же задаче): оба истекали бы почти разом, и вторая
|
||||||
|
отмена прерывала бы закрытие соединения в пуле. Срок отката на JSON-ручке — общий
|
||||||
|
срок, вне их — срок блока. `uow.py` — `SqlAlchemyUnitOfWork(session_factory,
|
||||||
*, timeout_seconds)` поверх `session_scope`, repo создаются на блок, соединение
|
*, timeout_seconds)` поверх `session_scope`, repo создаются на блок, соединение
|
||||||
выдаётся лениво. Импортируют `uow.py` только точки входа процессов;
|
выдаётся лениво. Импортируют `uow.py` только точки входа процессов;
|
||||||
`db/__init__.py` не импортирует ни его, ни `scope.py` (логгер не настраивается
|
`db/__init__.py` не импортирует ни его, ни `scope.py` (логгер не настраивается
|
||||||
@@ -151,7 +154,11 @@ paths:
|
|||||||
запрос через новое соединение и ждёт сервер без срока, и замёрзший
|
запрос через новое соединение и ждёт сервер без срока, и замёрзший
|
||||||
Postgres держит запрос до разморозки. Срок блока ставит
|
Postgres держит запрос до разморозки. Срок блока ставит
|
||||||
`asyncio.timeout` в `session_scope`, а мягкое закрытие соединения
|
`asyncio.timeout` в `session_scope`, а мягкое закрытие соединения
|
||||||
ограничивает `BoundedCloseConnection` (`connection_class` asyncpg).
|
ограничивает `BoundedCloseConnection` (`connection_class` asyncpg). Он же обрывает
|
||||||
|
транспорт после закрытия: `abort()` asyncpg на прерванном `close()` выходит сразу и
|
||||||
|
сокет не трогает, а сессия без транзакции (проверка `;`) жила бы сверх пула без
|
||||||
|
срока. Опирается на внутренний `_transport`, смену ловит
|
||||||
|
`test_no_sessions_over_pool_after_freeze`.
|
||||||
- Engine — с `hide_parameters=True`. `str()` у `DBAPIError` включает
|
- Engine — с `hide_parameters=True`. `str()` у `DBAPIError` включает
|
||||||
`[SQL: ...]` и `[parameters: ...]`, и эта строка уходит в журнал: в
|
`[SQL: ...]` и `[parameters: ...]`, и эта строка уходит в журнал: в
|
||||||
`warning` из `session_scope` и в traceback ошибки 500. Без флага там
|
`warning` из `session_scope` и в traceback ошибки 500. Без флага там
|
||||||
|
|||||||
@@ -75,7 +75,7 @@ paths:
|
|||||||
вставленного сообщения: внешний ключ на `messages` отложен до
|
вставленного сообщения: внешний ключ на `messages` отложен до
|
||||||
commit. Так повтор не пишет и не откатывает сообщение (design
|
commit. Так повтор не пишет и не откатывает сообщение (design
|
||||||
change `instance-id-idempotency`, решение 2);
|
change `instance-id-idempotency`, решение 2);
|
||||||
- захват — `idempotency_repo.claim_key` по `(user_id, chat_id, key)`
|
- захват — `self.uow.idempotency.claim_key` по `(user_id, chat_id, key)`
|
||||||
с порогом `expired_before = now - [idempotency] ttl_seconds`
|
с порогом `expired_before = now - [idempotency] ttl_seconds`
|
||||||
(часы приложения, как у сессий). Захватили (новый или просроченный
|
(часы приложения, как у сессий). Захватили (новый или просроченный
|
||||||
ключ) — вставка сообщения и один `commit()`. Не захватили — ключ
|
ключ) — вставка сообщения и один `commit()`. Не захватили — ключ
|
||||||
|
|||||||
@@ -451,7 +451,7 @@ EOF
|
|||||||
```
|
```
|
||||||
|
|
||||||
`ChatService` и `MessageService` создаются с кэшем вторым параметром:
|
`ChatService` и `MessageService` создаются с кэшем вторым параметром:
|
||||||
`ChatService(db_session=db_session, cache=cache)`, где `cache` — из
|
`ChatService(uow=uow, cache=cache)`, где `cache` — из
|
||||||
`src.infra.cache.instance` (`await cache.aclose()` в конце, нужен
|
`src.infra.cache.instance` (`await cache.aclose()` в конце, нужен
|
||||||
`make start_cache`). Все методы keyword-only, commit делает сам сервис. Ошибки — доменные
|
`make start_cache`). Все методы keyword-only, commit делает сам сервис. Ошибки — доменные
|
||||||
исключения из `src.core.exceptions` (базовый `DomainError`), не
|
исключения из `src.core.exceptions` (базовый `DomainError`), не
|
||||||
|
|||||||
@@ -563,7 +563,7 @@ src/
|
|||||||
upload_slots.py # UploadSlots (asyncio.Semaphore по порядку прихода, счётчик ожидающих, срок ожидания; slot() — UploadsBusy или ожидание в мс, место в finally) и глобал upload_slots из [uploads]; импортирует только dependencies.py
|
upload_slots.py # UploadSlots (asyncio.Semaphore по порядку прихода, счётчик ожидающих, срок ожидания; slot() — UploadsBusy или ожидание в мс, место в finally) и глобал upload_slots из [uploads]; импортирует только dependencies.py
|
||||||
db/engine.py # фабрики engine и сессий, BoundedCloseConnection, ping; _ping_once — проверка соединения при выдаче одним обменом
|
db/engine.py # фабрики engine и сессий, BoundedCloseConnection, ping; _ping_once — проверка соединения при выдаче одним обменом
|
||||||
db/session.py # глобалы engine и session_factory процесса API
|
db/session.py # глобалы engine и session_factory процесса API
|
||||||
db/scope.py # session_scope(factory, timeout_seconds): сессия на блок, срок вместе с откатом, отмена и отказ БД → invalidate, warning, ServiceUnavailable; deadline_scope — общий срок JSON-запроса без сессии
|
db/scope.py # session_scope(factory, timeout_seconds): сессия на блок, срок вместе с откатом, отмена и отказ БД → invalidate, warning, ServiceUnavailable; deadline_scope — общий срок JSON-запроса без сессии, внутри него таймер блока той же задачи не взводится
|
||||||
db/uow.py # SqlAlchemyUnitOfWork(factory, timeout_seconds) поверх session_scope, repo на блок; импортируют только точки входа
|
db/uow.py # SqlAlchemyUnitOfWork(factory, timeout_seconds) поверх session_scope, repo на блок; импортируют только точки входа
|
||||||
db/errors.py # is_db_unavailable: какие ошибки драйвера — 503
|
db/errors.py # is_db_unavailable: какие ошибки драйвера — 503
|
||||||
db/models/ # модели SQLAlchemy (Base с created_at и to_dict); idempotency.py — ключи, FK на сообщение отложен до commit; attachment.py — Attachment (частичный индекс pending по (created_at, id), lost_at — пометка потерянного оригинала) и MessageAttachment (порядок position, FK без каскада)
|
db/models/ # модели SQLAlchemy (Base с created_at и to_dict); idempotency.py — ключи, FK на сообщение отложен до commit; attachment.py — Attachment (частичный индекс pending по (created_at, id), lost_at — пометка потерянного оригинала) и MessageAttachment (порядок position, FK без каскада)
|
||||||
@@ -603,7 +603,7 @@ service-tests/ # быстрые тесты сервисов (вн
|
|||||||
builders.py # DTO для тестов: явное время, PASSWORD_HASH по виду CHECK
|
builders.py # DTO для тестов: явное время, PASSWORD_HASH по виду CHECK
|
||||||
repo_contract.py # один набор условий repo: на фейке и на настоящем SQL
|
repo_contract.py # один набор условий repo: на фейке и на настоящем SQL
|
||||||
fakes/ # FakeDatabase (таблицы, снимок, events, held, fail_on), FakeUnitOfWork на базовом классе порта, фейки девяти repo, FakeCache, FakeObjectStorage, FakeJobPublisher, FakeImageRenderer
|
fakes/ # FakeDatabase (таблицы, снимок, events, held, fail_on), FakeUnitOfWork на базовом классе порта, фейки девяти repo, FakeCache, FakeObjectStorage, FakeJobPublisher, FakeImageRenderer
|
||||||
unit/ # make service_test: test_unit_of_work, test_architecture, test_repo_contract, test_<service> на каждый сервис; conftest подставляет поля settings
|
unit/ # make service_test: test_unit_of_work, test_architecture, test_repo_contract, test_<service> на каждый сервис, test_worker_deliveries (одновременные доставки); conftest подставляет поля settings
|
||||||
db/ # make service_test_db: conftest (временная база, TcpProxy, «тесный» API окружением до импорта src), test_uow, test_repo_contract_sql, test_request_flow
|
db/ # make service_test_db: conftest (временная база, TcpProxy, «тесный» API окружением до импорта src), test_uow, test_repo_contract_sql, test_request_flow
|
||||||
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling / bench_uploads (с S3)
|
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling / bench_uploads (с S3)
|
||||||
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json; профиль uploads (S3 и bootstrap на стенде, на прогон — новый volume S3 и реплика с окружением варианта через .work/variant.compose.yml, образ «до» — тег bench-from, сэмплер peak), в паспорте всех профилей stand.api_tcp_rmem и docker.kernel; профиль reconcile (S3 с портом метрик через .work/s3-metrics.compose.yml, наполнение \copy и загрузчиком, разовые проходы mtusi-bench-reconcile-<n> с лимитом CPU варианта, «до» — .work/cleaner-before.compose.yml, метрики шлюза и pg_stat_database до и после, блок H4 с k6 background.js, отказ по пределу S4)
|
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json; профиль uploads (S3 и bootstrap на стенде, на прогон — новый volume S3 и реплика с окружением варианта через .work/variant.compose.yml, образ «до» — тег bench-from, сэмплер peak), в паспорте всех профилей stand.api_tcp_rmem и docker.kernel; профиль reconcile (S3 с портом метрик через .work/s3-metrics.compose.yml, наполнение \copy и загрузчиком, разовые проходы mtusi-bench-reconcile-<n> с лимитом CPU варианта, «до» — .work/cleaner-before.compose.yml, метрики шлюза и pg_stat_database до и после, блок H4 с k6 background.js, отказ по пределу S4)
|
||||||
@@ -659,7 +659,7 @@ evidence/plots/scaling-db/ # make bench_plots по серии db: R* по ли
|
|||||||
evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update
|
evidence/uploads/ # change upload-memory: <метка>/ — make bench_uploads (meta.json, runs.csv, summary.md, raw/), lb-timeouts.md — driver.py lb-upload-timeouts, rollout-upload.md — медленная загрузка во время make rolling_update
|
||||||
evidence/bench/unit-of-work-*/ # change unit-of-work, профиль quick с именной меткой (идёт в git): before и aa на b2fb88f, after на 6ba74b1
|
evidence/bench/unit-of-work-*/ # change unit-of-work, профиль quick с именной меткой (идёт в git): before и aa на b2fb88f, after на 6ba74b1
|
||||||
evidence/rollout/unit-of-work*/ # change unit-of-work: unit-of-work (замена с Profile.rollout_from), unit-of-work-previous (--from b2fb88f: CPU на запрос старых и новых реплик)
|
evidence/rollout/unit-of-work*/ # change unit-of-work: unit-of-work (замена с Profile.rollout_from), unit-of-work-previous (--from b2fb88f: CPU на запрос старых и новых реплик)
|
||||||
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md; unit-of-work-before__unit-of-work-after.md — цена шага
|
evidence/compare/ # таблицы make bench_compare: <до>__<после>.md; unit-of-work-before__unit-of-work-after.md и unit-of-work-aa__unit-of-work-after.md — цена шага от двух меток одного кода
|
||||||
.github/workflows/application.yml # свой CI job (CONTRIBUTING.md, «CI»; contracts.yml — skeleton): checkout commit прогона (адрес Gitea литералом: github.server_url — внутренний http://gitea:3000, из job не резолвится; по той же причине contracts.yml на этом раннере падает на actions/checkout), сборка и стенд под проектом mtusi-lab5-safronov-ci-<run_id>, job подключается к сети стенда, готовность — обе реплики через LB, make check / test, аноним в S3 — 403, make validate, make student_test, test-persistence, test-failover stop и kill, уборка при любом исходе; без s3_check, test_isolated и failure_checks (порты хоста). Раннер Gitea (act_runner) запускает job в контейнере на том же Docker, что стенд
|
.github/workflows/application.yml # свой CI job (CONTRIBUTING.md, «CI»; contracts.yml — skeleton): checkout commit прогона (адрес Gitea литералом: github.server_url — внутренний http://gitea:3000, из job не резолвится; по той же причине contracts.yml на этом раннере падает на actions/checkout), сборка и стенд под проектом mtusi-lab5-safronov-ci-<run_id>, job подключается к сети стенда, готовность — обе реплики через LB, make check / test, аноним в S3 — 403, make validate, make student_test, test-persistence, test-failover stop и kill, уборка при любом исходе; без s3_check, test_isolated и failure_checks (порты хоста). Раннер Gitea (act_runner) запускает job в контейнере на том же Docker, что стенд
|
||||||
.github/ci/compose.yml # override стенда в CI: конфиги — configs из переменных окружения вместо bind mount (файлов job нет на хосте раннера), без портов на хосте, образ API с тегом прогона
|
.github/ci/compose.yml # override стенда в CI: конфиги — configs из переменных окружения вместо bind mount (файлов job нет на хосте раннера), без портов на хосте, образ API с тегом прогона
|
||||||
.github/ci/stand-env.sh # «.» в шагах job: содержимое конфигов в CI_* для configs (с переводом строки в конце: без него HAProxy конфиг не принимает), wait_replicas — /health/ready 200 от API_REPLICAS разных реплик через LB за 60 с
|
.github/ci/stand-env.sh # «.» в шагах job: содержимое конфигов в CI_* для configs (с переводом строки в конце: без него HAProxy конфиг не принимает), wait_replicas — /health/ready 200 от API_REPLICAS разных реплик через LB за 60 с
|
||||||
|
|||||||
+2
-1
@@ -206,6 +206,7 @@
|
|||||||
|
|
||||||
- **Решения apply** (`design.md`, «Уточнения apply»): `commit` и `rollback` единицы работы — в базовом классе, реальные шаги `_commit` и `_rollback`, иначе правила блока дублировались бы в фейке; `rollback()` заканчивает блок, как и `commit()`; временная база — хуки pytest, а не фикстура, чтобы удаляться и при прерывании; замороженный прокси размораживается сторожем через 8 с, чтобы регрессия падала, а не висела.
|
- **Решения apply** (`design.md`, «Уточнения apply»): `commit` и `rollback` единицы работы — в базовом классе, реальные шаги `_commit` и `_rollback`, иначе правила блока дублировались бы в фейке; `rollback()` заканчивает блок, как и `commit()`; временная база — хуки pytest, а не фикстура, чтобы удаляться и при прерывании; замороженный прокси размораживается сторожем через 8 с, чтобы регрессия падала, а не висела.
|
||||||
- **`driver.py reconcile-cycle` на наполненном стенде даёт один ложный FAIL** («exit code after X and Y are removed»): на 11 тыс. объектов проход идёт ~5,8 с, и проба F (grace 30 с) стареет раньше проверки. От кода не зависит, записано в `KNOWN_ISSUES.md`, не чинилось: вне изменения.
|
- **`driver.py reconcile-cycle` на наполненном стенде даёт один ложный FAIL** («exit code after X and Y are removed»): на 11 тыс. объектов проход идёт ~5,8 с, и проба F (grace 30 с) стареет раньше проверки. От кода не зависит, записано в `KNOWN_ISSUES.md`, не чинилось: вне изменения.
|
||||||
|
- **Правки verify** (`design.md`, уточнения 17–20). `BoundedCloseConnection` обрывает транспорт сам: дешёвая проверка (решение 7) превращала старую утечку сокета после заморозки в сессии PostgreSQL сверх пула без срока, откатывать её не понадобилось. При общем сроке таймера блока нет (`ContextVar` с задачей, `asyncio.timeout(None)`): иначе вторая отмена прерывала закрытие соединения. Заметное следствие: 503 при заморозке теперь приходит за `T` + закрытие, 4 с при сроке 2 с (при 6 с — 8 с < `timeout server` 10 с), а не за `T`. `service_factory` worker вынесен из `run()`, чтобы тест ловил регрессию в самой сборке.
|
||||||
|
|
||||||
### Вопросы
|
### Вопросы
|
||||||
|
|
||||||
@@ -213,4 +214,4 @@
|
|||||||
|
|
||||||
### Для пользователя
|
### Для пользователя
|
||||||
|
|
||||||
Основная сессия приняла расхождения с первоначальной постановкой, потому что сама её сформулировала, а решения пользователя они не меняют: общий срок JSON-запроса (решение 6) и дешёвую проверку соединения при выдаче (решение 7). Условие для второго: `make service_test_db` проверяет обрыв соединения с подменённой проверкой, чтобы смена внутренних имён SQLAlchemy падала тестом. Цена паттерна на этом стенде, по пробе: потолок реплики на истории и отправке ниже на 1–22 % (шум до 10 %), число соединений то же. Замер на коммите — группа 13 и `REPORT.md`.
|
Основная сессия приняла расхождения с первоначальной постановкой, потому что сама её сформулировала, а решения пользователя они не меняют: общий срок JSON-запроса (решение 6) и дешёвую проверку соединения при выдаче (решение 7). Условие для второго: `make service_test_db` проверяет обрыв соединения с подменённой проверкой, чтобы смена внутренних имён SQLAlchemy падала тестом. Цена паттерна на этом стенде, замер на коммите (`evidence/compare/unit-of-work-aa__unit-of-work-after.md` и `unit-of-work-before__unit-of-work-after.md`): потолок реплики на истории и отправке ниже, медианы −14,1 и −12,6 % от метки того же кода, снятой прямо перед «после» (ниже 18 ячеек из 18), −6,6 и −4,3 % от снятой позже (16 из 18). Один повтор на ячейку, две метки одного кода расходятся до 14–17 %: знак устойчив, точной величины нет. За оценку design (−1…−22 %) цена по ближней метке не вышла, число соединений то же. Рост CPU при 200/с (API +10,8 %) того же порядка, что расхождение двух прогонов одного кода (9,2 %). Вывод — `REPORT.md`.
|
||||||
|
|||||||
@@ -93,7 +93,7 @@ make replay → relay replay: реестр failed и возврат работы
|
|||||||
- `prefetch` отдельно от `concurrency`; очистка staging уборщиком, класс сверки `orphan_staging`;
|
- `prefetch` отдельно от `concurrency`; очистка staging уборщиком, класс сверки `orphan_staging`;
|
||||||
- схема только расширена: ревизии `c7e2f1a04b56` и `d3f9a6b2c1e7`.
|
- схема только расширена: ревизии `c7e2f1a04b56` и `d3f9a6b2c1e7`.
|
||||||
|
|
||||||
**Единица работы** (design change `unit-of-work`, Cosmic Python, главы 2 и 6). Сервисы всех процессов зависят только от абстракций `src/core/ports/`: `AbstractUnitOfWork` и абстрактных repo; реализации на SQLAlchemy выбирают точки входа (`src/api/dependencies.py`, `src/worker/main.py`, `src/relay/main.py`, `src/cleaner/main.py`). Граница транзакции одна и видна в сервисе: `async with self.uow:` — один блок, одна транзакция; явный `await self.uow.commit()`, выход без него — откат. Вложенный блок и repo вне блока или после фиксации — ошибка, в том числе на фейке. Доменной модели, агрегатов и message bus нет: логика и так в сервисах, а границы транзакций заданы контрактом. Кэш Valkey и S3 в единицу работы не входят: фиксация и откат на них не действуют. Соединение занято на шаг: JSON-ручка получает его на вход и на операцию отдельно, а на хэш пароля, между шагами и на передачу ответа оно в пуле. `[database] request_timeout_seconds` — срок блока вместе с откатом при выходе; на JSON-ручках та же настройка ещё и общий срок запроса (`request_deadline`), иначе два шага дали бы до 12 с при `timeout server` 10 с, а очередь хэшей шла бы без срока. Поведение API, контракт, схема и настройки те же.
|
**Единица работы** (design change `unit-of-work`, Cosmic Python, главы 2 и 6). С PostgreSQL сервисы всех процессов работают только через абстракции `src/core/ports/`: `AbstractUnitOfWork` и абстрактные repo; реализации на SQLAlchemy выбирают точки входа (`src/api/dependencies.py`, `src/worker/main.py`, `src/relay/main.py`, `src/cleaner/main.py`). Остальные зависимости конкретные и названы: `Cache`, `ObjectStorage`, `JobPublisher`, `ImageRenderer` сервис импортирует как типы и получает конструктором (сигнатуры фейков сверяет тест, `design.md`, решение 8), а `src.infra.password` и логгер вызывает прямо из модуля (уточнение 20). Граница транзакции одна и видна в сервисе: `async with self.uow:` — один блок, одна транзакция; явный `await self.uow.commit()`, выход без него — откат. Вложенный блок и repo вне блока или после фиксации — ошибка, в том числе на фейке. Доменной модели, агрегатов и message bus нет: логика и так в сервисах, а границы транзакций заданы контрактом. Кэш Valkey и S3 в единицу работы не входят: фиксация и откат на них не действуют. Соединение занято на шаг: JSON-ручка получает его на вход и на операцию отдельно, а на хэш пароля, между шагами и на передачу ответа оно в пуле. `[database] request_timeout_seconds` — срок блока вместе с откатом при выходе; на JSON-ручках та же настройка ещё и общий срок запроса (`request_deadline`), иначе два шага дали бы до 12 с при `timeout server` 10 с, а очередь хэшей шла бы без срока. Поведение API, контракт, схема и настройки те же.
|
||||||
|
|
||||||
Схема слоёв и поток отправки сообщения (каждая связь сверена с импортами и вызовами кода; поиском по связям помогал граф кода `graphify`, он только подсказка: схема написана руками):
|
Схема слоёв и поток отправки сообщения (каждая связь сверена с импортами и вызовами кода; поиском по связям помогал граф кода `graphify`, он только подсказка: схема написана руками):
|
||||||
|
|
||||||
@@ -116,6 +116,7 @@ flowchart TD
|
|||||||
scope["src/infra/db/scope.py: session_scope, deadline_scope"]
|
scope["src/infra/db/scope.py: session_scope, deadline_scope"]
|
||||||
sqlrepos["src/core/repos/*: SqlAlchemy*Repository"]
|
sqlrepos["src/core/repos/*: SqlAlchemy*Repository"]
|
||||||
clients["src/infra: Cache, ObjectStorage, JobPublisher, ImageRenderer"]
|
clients["src/infra: Cache, ObjectStorage, JobPublisher, ImageRenderer"]
|
||||||
|
password["src/infra/password.py"]
|
||||||
end
|
end
|
||||||
pg[("PostgreSQL")]
|
pg[("PostgreSQL")]
|
||||||
routers --> deps
|
routers --> deps
|
||||||
@@ -126,6 +127,8 @@ flowchart TD
|
|||||||
deps --> scope
|
deps --> scope
|
||||||
services --> ports
|
services --> ports
|
||||||
services --> clientrepos
|
services --> clientrepos
|
||||||
|
services -- "тип клиента, вызовы издателя и процесса обработки" --> clients
|
||||||
|
services -- "хэш пароля" --> password
|
||||||
clientrepos --> clients
|
clientrepos --> clients
|
||||||
uow -. реализует .-> ports
|
uow -. реализует .-> ports
|
||||||
sqlrepos -. реализует .-> ports
|
sqlrepos -. реализует .-> ports
|
||||||
@@ -169,14 +172,26 @@ sequenceDiagram
|
|||||||
| `GET …/messages` | 7 | 12 | 8 |
|
| `GET …/messages` | 7 | 12 | 8 |
|
||||||
| `POST …/messages` | 8 | 13 | 9 |
|
| `POST …/messages` | 8 | 13 | 9 |
|
||||||
|
|
||||||
Потолок и CPU реплики до и после, закрытая модель, 1 реплика 1 CPU, один повтор на ячейку: `caffeinate -isu uv run python bench/run.py --profile quick --label unit-of-work-before` и `unit-of-work-aa` на `b2fb88f` (`src` как на `9efab79`, временный `git worktree`), `--label unit-of-work-after` на `6ba74b1`; `make bench_compare BEFORE=unit-of-work-before AFTER=unit-of-work-after AA=unit-of-work-aa`. Метки — `evidence/bench/unit-of-work-*/`, сравнение — `evidence/compare/unit-of-work-before__unit-of-work-after.md`. У всех трёх `git.dirty` false, `host_warnings` пусты, `swapouts_delta` 0; посторонние контейнеры на хосте — `domains-api-1`, `domains-bot-1`, `domains-postgres-1` (названы в паспортах). Первая съёмка `unit-of-work-before` дала предупреждение о выгрузке 27708 страниц в swap и переснята (`bench.md`): порядок меток — aa, after, rollout, затем before, в той же сессии хоста; отброшенная метка в git не идёт.
|
Потолок и CPU реплики до и после, закрытая модель, 1 реплика 1 CPU, один повтор на ячейку: `caffeinate -isu uv run python bench/run.py --profile quick --label unit-of-work-before` и `unit-of-work-aa` на `b2fb88f` (`src` как на `9efab79`, временный `git worktree`), `--label unit-of-work-after` на `6ba74b1`; `make bench_compare BEFORE=unit-of-work-before AFTER=unit-of-work-after AA=unit-of-work-aa` и `make bench_compare BEFORE=unit-of-work-aa AFTER=unit-of-work-after AA=unit-of-work-before`. Метки — `evidence/bench/unit-of-work-*/`, сравнения — `evidence/compare/unit-of-work-before__unit-of-work-after.md` и `evidence/compare/unit-of-work-aa__unit-of-work-after.md`. Метки сняты до правок verify (`BoundedCloseConnection`, таймер блока при общем сроке): на пути без отказа те правки убирают один таймер блока и не добавляют обменов; метки не переснимались. У всех трёх `git.dirty` false, `host_warnings` пусты, `swapouts_delta` 0; посторонние контейнеры на хосте — `domains-api-1`, `domains-bot-1`, `domains-postgres-1` (названы в паспортах). Первая съёмка `unit-of-work-before` дала предупреждение о выгрузке 27708 страниц в swap и переснята (`bench.md`): порядок меток — aa, after, rollout, затем before, в той же сессии хоста; отброшенная метка в git не идёт.
|
||||||
|
|
||||||
| Сценарий | Шум A/A, наибольшее Δ RPS | Δ RPS по 9 ячейкам: медиана (мин…макс) | Вывод `bench_compare` | p50 при 1 клиенте, мс |
|
Порядок съёмки: `aa` 20:19, `after` 20:23, затем rollout, `before` 20:32 UTC. Код `aa` и `before` один, поэтому обе метки — «до», и каждая служит уровнем шума для другой (`bench_compare` считает шум от своего «до»: одна пара меток даёт 14,8 и 17,4 %, 34,8 и 53,4 %).
|
||||||
|---|---|---|---|---|
|
|
||||||
| история | 14,8 % (5k × 1) | −6,6 % (−18,8…−3,2) | эффект — 1k × 1 (−16,2 %) и 1k × 16 (−18,8 %), остальные в пределах шума | 1,86 → 2,22; 1,95 → 2,16; 1,85 → 2,22 |
|
|
||||||
| отправка | 34,8 % (5k × 16) | −4,3 % (−23,5…+37,5) | в пределах шума, кроме 5k × 16: +37,5 % — выброс ячейки «до» (383 RPS) | 2,05 → 2,40; 2,07 → 2,33; 1,89 → 2,41 |
|
|
||||||
|
|
||||||
CPU реплики на запрос, мкс, история: 1646 → 1811, 1520 → 1606, 1434 → 1767 (1k × 1, 4, 16); отправка: 1860 → 2009, 1618 → 1682, 1687 → 1954. Остальные ячейки и p95 — там же в `evidence/compare/`. По сравнению с оценкой `design.md` (потолок −1…−22 %, p50 при 150/с +0,2…0,5 мс): медианы и почти все ячейки внутри, вне её одна ячейка отправки, 10k × 1, −23,5 % при шуме 34,8 %; p50 здесь при 1 клиенте закрытой модели, а не при 150/с, прирост +0,21…+0,52 мс. Шум меток большой (один повтор на ячейку), поэтому точное число — порядок, а не доказанная величина.
|
| Сценарий | «До» | Шум A/A, наибольшее Δ RPS | Δ RPS по 9 ячейкам: медиана (мин…макс) | Ячеек ниже «до» | Вывод `bench_compare` | p50 при 1 клиенте, мс (1k, 5k, 10k) |
|
||||||
|
|---|---|---|---|---|---|---|
|
||||||
|
| история | `aa`, сразу перед `after` | 17,4 % (5k × 1) | −14,1 % (−21,1…−6,3) | 9 из 9 | эффект — 1k × 1 (−21,1 %) и 5k × 1 (−17,5 %), остальные в пределах шума | 1,78 → 2,22; 1,79 → 2,16; 1,83 → 2,22 |
|
||||||
|
| история | `before`, после rollout | 14,8 % (5k × 1) | −6,6 % (−18,8…−3,2) | 9 из 9 | эффект — 1k × 1 (−16,2 %) и 1k × 16 (−18,8 %), остальные в пределах шума | 1,86 → 2,22; 1,95 → 2,16; 1,85 → 2,22 |
|
||||||
|
| отправка | `aa`, сразу перед `after` | 53,4 % (5k × 16) | −12,6 % (−18,7…−2,1) | 9 из 9 | всё в пределах шума | 2,01 → 2,40; 2,06 → 2,33; 2,06 → 2,41 |
|
||||||
|
| отправка | `before`, после rollout | 34,8 % (5k × 16) | −4,3 % (−23,5…+37,5) | 7 из 9 | в пределах шума, кроме 5k × 16: +37,5 % — выброс ячейки «до» | 2,05 → 2,40; 2,07 → 2,33; 1,89 → 2,41 |
|
||||||
|
|
||||||
|
Шум отправки задан одним выбросом: 5k × 16 в `before` — 383 RPS при 588 в `aa`. Без этой ячейки наибольшее расхождение A/A — 14,2 % (10k × 1, 433 и 495 RPS; считано не командой, а по `evidence/bench/unit-of-work-{aa,before}/runs.csv`), и −23,5 % той же ячейки от `before` выходит за него; от `aa` она даёт −12,6 %.
|
||||||
|
|
||||||
|
CPU реплики на запрос от `aa`: выше в 18 ячейках из 18, история +116…+266 мкс, отправка +26…+332 мкс. От `before`: выше в 15 из 18, исключения — 5k × 1 истории (−99), 5k × 1 и 5k × 16 отправки (−3 и −681, та же ячейка-выброс). p95 и все ячейки — в `evidence/compare/`.
|
||||||
|
|
||||||
|
**Что показывают данные.** Соединение на шаг снижает потолок реплики на этой закрытой модели: от метки того же кода, снятой прямо перед `after`, ниже все 18 ячеек, медианы −14,1 % на истории и −12,6 % на отправке, и в тех же 18 ячейках выше CPU реплики на запрос. От метки, снятой позже, медианы −6,6 и −4,3 %, ниже 16 ячеек из 18.
|
||||||
|
|
||||||
|
**Чего данные не показывают.** Точной величины: на ячейку один повтор, две метки одного кода расходятся до 14–17 % даже без выброса, а по правилу `bench_compare` эффектом названы только 2 ячейки истории из 9 в каждом сравнении. Ячейки одной метки сняты подряд и независимыми не считаются: 18 из 18 говорит об устойчивости знака, а не о размере. `before` ниже `aa` в 13 ячейках из 18 при том же коде; если хост за эти 13 минут замедлялся, ближнее сравнение цену завышает, а дальнее занижает, и данные этого не различают. Поэтому цена — снижение потолка примерно от 4–7 до 13–14 % по медианам, а не одно число.
|
||||||
|
|
||||||
|
**С оценкой `design.md`** (потолок −1…−22 %, p50 при 150/с +0,2…0,5 мс) цена не расходится: от `aa` все 18 ячеек внутри (−2,1…−21,1 %), от `before` вне её три ячейки: +0,4 %, +37,5 % и −23,5 %. p50 здесь при 1 клиенте закрытой модели, а не при 150/с, прирост +0,21…+0,52 мс.
|
||||||
|
|
||||||
CPU на успешный запрос при постоянных 200 запросах в секунду (100 записей, 100 чтений; две реплики разных версий в одном прогоне): `bench/run.py --profile rollout --from b2fb88f --label unit-of-work-previous` на `6ba74b1`, `evidence/rollout/unit-of-work-previous/summary.md`, `git.dirty` false, `host_warnings` пусты:
|
CPU на успешный запрос при постоянных 200 запросах в секунду (100 записей, 100 чтений; две реплики разных версий в одном прогоне): `bench/run.py --profile rollout --from b2fb88f --label unit-of-work-previous` на `6ba74b1`, `evidence/rollout/unit-of-work-previous/summary.md`, `git.dirty` false, `host_warnings` пусты:
|
||||||
|
|
||||||
@@ -185,6 +200,8 @@ CPU на успешный запрос при постоянных 200 запр
|
|||||||
| API всего | 3066 | 3398 |
|
| API всего | 3066 | 3398 |
|
||||||
| PostgreSQL | 478 | 560 |
|
| PostgreSQL | 478 | 560 |
|
||||||
|
|
||||||
|
Уровень шума — два прогона замены на один и тот же новый код: `evidence/rollout/unit-of-work/summary.md` даёт после замены API 3113 мкс и PostgreSQL 524 мкс, этот прогон — 3398 и 560. Расхождение одного кода (отношение чисел двух `summary.md`, считано вручную): API 285 мкс, 9,2 %; PostgreSQL 36 мкс, 6,9 %. Рост в прогоне выше: API на 332 мкс, 10,8 %, — того же порядка, поэтому отличить его от шума нельзя; PostgreSQL на 82 мкс, 17,2 %, — вдвое больше расхождения, но пара прогонов одна, и этого мало для вывода. Значения «до» двух прогонов для шума не годятся: там разный прежний код.
|
||||||
|
|
||||||
Замена с `b2fb88f` на `6ba74b1`: 10,2 с, ошибок 0 / 0 / 0, 12001 сообщение = 12001 ключ. Удержание соединения на запрос по пробе `design.md` (Context) ниже на 20–36 %; на commit отдельно не измерялось.
|
Замена с `b2fb88f` на `6ba74b1`: 10,2 с, ошибок 0 / 0 / 0, 12001 сообщение = 12001 ключ. Удержание соединения на запрос по пробе `design.md` (Context) ниже на 20–36 %; на commit отдельно не измерялось.
|
||||||
|
|
||||||
**Транзакционные границы.** Ключ эффекта — первичный ключ `attachment_variants (attachment_id, pipeline_version, variant)`, логическая работа — `UNIQUE (attachment_id, pipeline_version)` в `attachment_jobs`. Вызовов S3 и брокера внутри блоков единицы работы нет, кроме двух осознанных исключений с коротким сроком: публикация relay (2 с < срока блока 6 с < простоя транзакции 10 с: блокировка строки и есть признак «публикует другой relay») и DELETE уборщика под блокировкой строки. Намеренные особенности перенесены без изменения порядка: уборка зависшей загрузки — два блока (пометка, затем объект и строка), вход закрывает блок чтения до KDF, занятый ключ идемпотентности снимает блокировку фиксацией до ответа, а компенсация загрузки различает сбой выражения и сбой на самой фиксации флагом перед явным `commit()`: автокоммит при выходе этого бы не дал (`design.md`, решение 10).
|
**Транзакционные границы.** Ключ эффекта — первичный ключ `attachment_variants (attachment_id, pipeline_version, variant)`, логическая работа — `UNIQUE (attachment_id, pipeline_version)` в `attachment_jobs`. Вызовов S3 и брокера внутри блоков единицы работы нет, кроме двух осознанных исключений с коротким сроком: публикация relay (2 с < срока блока 6 с < простоя транзакции 10 с: блокировка строки и есть признак «публикует другой relay») и DELETE уборщика под блокировкой строки. Намеренные особенности перенесены без изменения порядка: уборка зависшей загрузки — два блока (пометка, затем объект и строка), вход закрывает блок чтения до KDF, занятый ключ идемпотентности снимает блокировку фиксацией до ответа, а компенсация загрузки различает сбой выражения и сбой на самой фиксации флагом перед явным `commit()`: автокоммит при выходе этого бы не дал (`design.md`, решение 10).
|
||||||
@@ -502,7 +519,7 @@ H1 (пик ограничен местами) и H4 (нет 503 по сроку
|
|||||||
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
|
- **Прерванное остановкой задание.** Задание, прерванное `docker stop` дольше `graceful_shutdown_seconds` (8 с), считается начатой попыткой и продолжается по аренде: release на пути отмены ненадёжен. Замер на двух дорогих JPEG: 8,15 с, при замороженных PostgreSQL и брокере 9,18 с (`evidence/worker/process.md`). Худший случай остановки 8 + 0,5 + 0,5 + 0,5 = 9,5 с < 10 с.
|
||||||
- **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
|
- **Искажения данных скана JPEG.** Структурная проверка и libjpeg байт внутри данных скана ошибкой не считают: такое вложение становится `ready`, а варианты будут с мусором. Проверка не декодирует пиксели при приёме намеренно.
|
||||||
- **Цена соединения на шаг.** Двухшаговая JSON-ручка выдаёт соединение дважды: под перегрузкой запрос встаёт в очередь пула дважды, запас на ожидание у него около половины общего срока. Отказ БД при откате успешного чтения — 503, окно в один обмен: откат теперь до ответа. Отмена задачи сбрасывает соединение вместо возврата в пул (design change `unit-of-work`, Risks).
|
- **Цена соединения на шаг.** Двухшаговая JSON-ручка выдаёт соединение дважды: под перегрузкой запрос встаёт в очередь пула дважды, запас на ожидание у него около половины общего срока. Отказ БД при откате успешного чтения — 503, окно в один обмен: откат теперь до ответа. Отмена задачи сбрасывает соединение вместо возврата в пул (design change `unit-of-work`, Risks).
|
||||||
- **Подмена `do_ping`.** Дешёвая проверка соединения опирается на внутренние имена адаптера asyncpg в SQLAlchemy: закреплён `<2.2`, смену ловят тесты `test_ping_*` в `make service_test_db`.
|
- **Подмена `do_ping`.** Дешёвая проверка соединения опирается на внутренние имена адаптера asyncpg в SQLAlchemy: закреплён `<2.2`, смену ловят тесты `test_ping_*` в `make service_test_db`. Прерванная проверка не оставляет сессий сверх пула только потому, что `BoundedCloseConnection` сам обрывает внутренний `_transport` asyncpg (`design.md`, уточнение 17): смену имени ловит `test_no_sessions_over_pool_after_freeze`.
|
||||||
- **Фейки не проверяют блокировки.** Быстрый тест зелёный при сломанном `SKIP LOCKED`: блокировки и конкуренцию доказывает только `make failure_checks` (таблица решения 11 design).
|
- **Фейки не проверяют блокировки.** Быстрый тест зелёный при сломанном `SKIP LOCKED`: блокировки и конкуренцию доказывает только `make failure_checks` (таблица решения 11 design).
|
||||||
- **Метаданные и скачивание вложения без общего срока.** Вход и блок — до 12 с при `timeout server` 10 с: клиент получит 504 от LB вместо 503. Дефект прежний, запись — `KNOWN_ISSUES.md`.
|
- **Метаданные и скачивание вложения без общего срока.** Вход и блок — до 12 с при `timeout server` 10 с: клиент получит 504 от LB вместо 503. Дефект прежний, запись — `KNOWN_ISSUES.md`.
|
||||||
- **Цепочка LB.** Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела `проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с`, с DELETE компенсации `+ 5 ≈ 26 с` < `timeout server` 30 с. Наибольшая длительность живой загрузки `U = 17 + 30 + 26 ≈ 73 с` < дренаж замены 90 с: до тела `2 × request_timeout_seconds + wait_timeout_seconds` = 17 с; тело — `[uploads] body_timeout_seconds` 30 с.
|
- **Цепочка LB.** Брокера в пути нет, поэтому самым долгим снова стал путь компенсации: после тела `проверка ~4 + tx1 6 + PUT 5 + tx2 6 ≈ 21 с`, с DELETE компенсации `+ 5 ≈ 26 с` < `timeout server` 30 с. Наибольшая длительность живой загрузки `U = 17 + 30 + 26 ≈ 73 с` < дренаж замены 90 с: до тела `2 × request_timeout_seconds + wait_timeout_seconds` = 17 с; тело — `[uploads] body_timeout_seconds` 30 с.
|
||||||
|
|||||||
@@ -0,0 +1,71 @@
|
|||||||
|
# Сравнение меток: `unit-of-work-aa` → `unit-of-work-after`
|
||||||
|
|
||||||
|
- Команда: `make bench_compare BEFORE=unit-of-work-aa AFTER=unit-of-work-after AA=unit-of-work-before`
|
||||||
|
- «До» и «после» — медиана повторов ячейки, в скобках min–max. Δ RPS — отношение медиан минус единица.
|
||||||
|
- CPU на запрос — `app_cpu_cores / rps`, медиана по повторам; задержки — медианы по повторам, «до → после».
|
||||||
|
- Уровень шума — наибольшее по ячейкам сценария изменение медианы RPS между `unit-of-work-before` и `unit-of-work-aa`. Он имеет смысл, только если код приложения в этих метках одинаков; это проверяется по git, команда этого не видит.
|
||||||
|
- «Эффект» — разбросы повторов не пересекаются и изменение медианы больше уровня шума сценария; иначе «в пределах шума».
|
||||||
|
|
||||||
|
## Метки
|
||||||
|
|
||||||
|
| | `unit-of-work-aa` | `unit-of-work-after` | `unit-of-work-before` |
|
||||||
|
|---|---|---|---|
|
||||||
|
| Commit | `b2fb88f` | `6ba74b1` | `b2fb88f` |
|
||||||
|
| Начало прогона | 2026-10-31T20:19:23+00:00 | 2026-10-31T20:23:07+00:00 | 2026-10-31T20:32:16+00:00 |
|
||||||
|
| Статус | complete | complete | complete |
|
||||||
|
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
|
||||||
|
| Машина | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.9.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.9.2 | Apple M3 Pro (6 P + 6 E), ВМ 12 vCPU / 7.7 GiB, Docker 29.9.2 |
|
||||||
|
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
|
||||||
|
|
||||||
|
## Замечания
|
||||||
|
|
||||||
|
- `unit-of-work-aa`: посторонние контейнеры: domains-api-1, domains-bot-1, domains-postgres-1
|
||||||
|
- `unit-of-work-after`: посторонние контейнеры: domains-api-1, domains-bot-1, domains-postgres-1
|
||||||
|
- `unit-of-work-before`: посторонние контейнеры: domains-api-1, domains-bot-1, domains-postgres-1
|
||||||
|
|
||||||
|
## Уровень шума
|
||||||
|
|
||||||
|
| Сценарий | Наибольшее изменение RPS, `unit-of-work-before` → `unit-of-work-aa` | Ячейка |
|
||||||
|
|---|---|---|
|
||||||
|
| read | 17.4% | 5k × 1 |
|
||||||
|
| write | 53.4% | 5k × 16 |
|
||||||
|
|
||||||
|
## Сценарий `read`
|
||||||
|
|
||||||
|
| Размер | Клиенты | RPS до | RPS после | Δ RPS | Вывод | CPU на запрос, мкс | Δ CPU, мкс | p50, мс | p95, мс | p99, мс |
|
||||||
|
|---|---|---|---|---|---|---|---|---|---|---|
|
||||||
|
| 1k | 1 | 529 (529–529) | 417 (417–417) | -21.1% | эффект | 1545 → 1811 | +266 | 1.78 → 2.22 | 2.16 → 2.92 | 2.55 → 3.76 |
|
||||||
|
| 1k | 4 | 704 (704–704) | 618 (618–618) | -12.2% | в пределах шума | 1428 → 1606 | +179 | 5.33 → 6.08 | 6.67 → 7.63 | 8.57 → 10.92 |
|
||||||
|
| 1k | 16 | 662 (662–662) | 568 (568–568) | -14.2% | в пределах шума | 1517 → 1767 | +249 | 22.05 → 26.01 | 43.02 → 56.30 | 63.12 → 66.86 |
|
||||||
|
| 5k | 1 | 523 (523–523) | 431 (431–431) | -17.5% | эффект | 1567 → 1751 | +184 | 1.79 → 2.16 | 2.24 → 2.79 | 2.74 → 3.46 |
|
||||||
|
| 5k | 4 | 711 (711–711) | 615 (615–615) | -13.5% | в пределах шума | 1412 → 1613 | +201 | 5.32 → 5.97 | 6.48 → 7.60 | 8.05 → 13.78 |
|
||||||
|
| 5k | 16 | 603 (603–603) | 565 (565–565) | -6.3% | в пределах шума | 1659 → 1775 | +116 | 23.04 → 25.44 | 54.77 → 56.14 | 88.00 → 67.89 |
|
||||||
|
| 10k | 1 | 490 (490–490) | 417 (417–417) | -14.9% | в пределах шума | 1674 → 1805 | +131 | 1.83 → 2.22 | 2.57 → 2.96 | 3.48 → 4.16 |
|
||||||
|
| 10k | 4 | 694 (694–694) | 596 (596–596) | -14.1% | в пределах шума | 1446 → 1667 | +221 | 5.34 → 6.01 | 7.04 → 8.84 | 9.82 → 16.64 |
|
||||||
|
| 10k | 16 | 646 (646–646) | 566 (566–566) | -12.4% | в пределах шума | 1555 → 1771 | +216 | 21.96 → 26.08 | 46.24 → 54.08 | 71.63 → 63.84 |
|
||||||
|
|
||||||
|
Δ RPS по ячейкам: от -21.1% до -6.3%, медиана -14.1%.
|
||||||
|
|
||||||
|
## Сценарий `write`
|
||||||
|
|
||||||
|
| Размер | Клиенты | RPS до | RPS после | Δ RPS | Вывод | CPU на запрос, мкс | Δ CPU, мкс | p50, мс | p95, мс | p99, мс |
|
||||||
|
|---|---|---|---|---|---|---|---|---|---|---|
|
||||||
|
| 1k | 1 | 462 (462–462) | 376 (376–376) | -18.7% | в пределах шума | 1677 → 2009 | +332 | 2.01 → 2.40 | 2.70 → 3.63 | 3.51 → 5.18 |
|
||||||
|
| 1k | 4 | 598 (598–598) | 585 (585–585) | -2.1% | в пределах шума | 1656 → 1682 | +26 | 5.93 → 6.51 | 9.04 → 7.79 | 20.01 → 10.01 |
|
||||||
|
| 1k | 16 | 610 (610–610) | 518 (518–518) | -15.0% | в пределах шума | 1654 → 1954 | +300 | 24.93 → 28.68 | 40.01 → 42.58 | 69.13 → 77.10 |
|
||||||
|
| 5k | 1 | 430 (430–430) | 400 (400–400) | -6.9% | в пределах шума | 1781 → 1892 | +111 | 2.06 → 2.33 | 3.27 → 3.11 | 4.83 → 4.17 |
|
||||||
|
| 5k | 4 | 669 (669–669) | 566 (566–566) | -15.4% | в пределах шума | 1492 → 1735 | +243 | 5.80 → 6.54 | 6.97 → 9.23 | 8.44 → 13.66 |
|
||||||
|
| 5k | 16 | 588 (588–588) | 527 (527–527) | -10.4% | в пределах шума | 1713 → 1922 | +209 | 25.58 → 27.81 | 40.35 → 44.96 | 73.69 → 74.63 |
|
||||||
|
| 10k | 1 | 433 (433–433) | 378 (378–378) | -12.6% | в пределах шума | 1764 → 1977 | +213 | 2.06 → 2.41 | 3.15 → 3.45 | 5.44 → 4.91 |
|
||||||
|
| 10k | 4 | 617 (617–617) | 546 (546–546) | -11.6% | в пределах шума | 1613 → 1837 | +224 | 5.94 → 6.72 | 8.14 → 9.69 | 11.29 → 12.87 |
|
||||||
|
| 10k | 16 | 609 (609–609) | 515 (515–515) | -15.5% | в пределах шума | 1655 → 1962 | +307 | 25.02 → 29.18 | 37.35 → 44.99 | 68.04 → 66.27 |
|
||||||
|
|
||||||
|
Δ RPS по ячейкам: от -18.7% до -2.1%, медиана -12.6%.
|
||||||
|
|
||||||
|
## Память
|
||||||
|
|
||||||
|
| Размер | Байт RSS на сообщение до | после | RSS после наполнения до, МиБ | после | Байт в БД на сообщение до | после |
|
||||||
|
|---|---|---|---|---|---|---|
|
||||||
|
| 1k | 928 | 1430 | 125.0 | 127.6 | 331 | 330 |
|
||||||
|
| 5k | 511 | 758 | 125.2 | 127.6 | 322 | 321 |
|
||||||
|
| 10k | 317 | 478 | 125.1 | 127.6 | 328 | 328 |
|
||||||
@@ -261,7 +261,7 @@ v1_router.include_router(message_router, dependencies=json_deadline)
|
|||||||
v1_router.include_router(attachment_router) # у вложений срок на шаг
|
v1_router.include_router(attachment_router) # у вложений срок на шаг
|
||||||
```
|
```
|
||||||
|
|
||||||
`request_deadline` — зависимость с `yield` вокруг `deadline_scope` (`src/infra/db/scope.py`): `asyncio.timeout`, `TimeoutError` → та же запись «Database is unavailable» и `ServiceUnavailable`. Это нынешний `get_db_session` без сессии: та же форма, тот же момент начала, то же закрытие после ответа. Новый JSON-роутер получает срок одной строкой. Внутренний срок блока на этих ручках не срабатывает первым: блок начат позже. Срок истекает отменой задачи, поэтому и нужна ветка `CancelledError` решения 4.
|
`request_deadline` — зависимость с `yield` вокруг `deadline_scope` (`src/infra/db/scope.py`): `asyncio.timeout`, `TimeoutError` → та же запись «Database is unavailable» и `ServiceUnavailable`. Это нынешний `get_db_session` без сессии: та же форма, тот же момент начала, то же закрытие после ответа. Новый JSON-роутер получает срок одной строкой. Таймера блока на этих ручках нет (уточнение 18): блок начат позже и первым не сработал бы, а вторая отмена прервала бы закрытие соединения. Срок истекает отменой задачи, поэтому и нужна ветка `CancelledError` решения 4.
|
||||||
|
|
||||||
Это расхождение с буквальным текстом постановки, оно названо в отчёте стадии и в `QUESTIONS.md`: убрать общий срок — одна строка на роутер, но тогда придётся менять цепочку LB и спек `load-balancing`.
|
Это расхождение с буквальным текстом постановки, оно названо в отчёте стадии и в `QUESTIONS.md`: убрать общий срок — одна строка на роутер, но тогда придётся менять цепочку LB и спек `load-balancing`.
|
||||||
|
|
||||||
@@ -428,6 +428,10 @@ Repo-функции вызываются из многих сервисов (`at
|
|||||||
14. **Сторож заморозки в `TcpProxy.freeze`:** разморозка через 8 с. Без него регрессия «откат вне срока» вешала тест навсегда, а не роняла его (первый красный прогон задачи 11.7 завис): теперь тест доходит до проверки и падает.
|
14. **Сторож заморозки в `TcpProxy.freeze`:** разморозка через 8 с. Без него регрессия «откат вне срока» вешала тест навсегда, а не роняла его (первый красный прогон задачи 11.7 завис): теперь тест доходит до проверки и падает.
|
||||||
15. **`test_architecture`: унаследованный абстрактный метод — не реализация.** Первый прогон регрессии «метод порта без фейка» остался зелёным: `getmembers` находил абстрактный метод у подкласса. Это был дефект самой проверки, исправлен, регрессия повторена.
|
15. **`test_architecture`: унаследованный абстрактный метод — не реализация.** Первый прогон регрессии «метод порта без фейка» остался зелёным: `getmembers` находил абстрактный метод у подкласса. Это был дефект самой проверки, исправлен, регрессия повторена.
|
||||||
16. **Комментарии «причину записал» в сервисах называют единицу работы, а не `session_scope`:** проверка задачи 9.2 ищет имя по всему `src`.
|
16. **Комментарии «причину записал» в сервисах называют единицу работы, а не `session_scope`:** проверка задачи 9.2 ищет имя по всему `src`.
|
||||||
|
17. **Замечание verify C1: `BoundedCloseConnection` обрывает транспорт сам.** Прерванная проверка: SQLAlchemy закрывает соединение, `protocol.close()` ставит `closing` и ждёт отмену запроса; `wait_for` его отменяет, `Connection._abort()` зовёт `protocol.abort()`, а тот выходит сразу по `closing` (`asyncpg/protocol/protocol.pyx`). Сокет оставался открытым до конца процесса. Раньше сессию снимал сервер: проверка диалекта начиналась с `BEGIN`, срабатывал `idle_in_transaction_session_timeout`; у `;` транзакции нет, поэтому решение 7 превратило утечку сокета в сессии сверх пула без срока (6 заморозок при пуле 4: 24 `idle`). Решение 7 не откатывается, чинится корень: при штатном закрытии `protocol.close` обрывает транспорт сам, поэтому второй `abort` ничего не меняет (`test_soft_close_is_graceful`: Terminate дошёл, в журнале PostgreSQL нет `unexpected EOF`). `terminate()` не менялся: при `shield` в SQLAlchemy внутреннее закрытие дорабатывает и обрывает транспорт. **Почему `test_ping_*` этого не видели:** они проверяют обрыв (`drop`: транспорт уже закрыт), один обмен и живое соединение, но не заморозку на проверке; тесты заморозки застают открытую транзакцию, где сессию снимает сервер, смотрят сроки и пул процесса, а `pg_stat_activity` не смотрит никто, и прокси при выходе обрывает всё сам.
|
||||||
|
18. **Замечание verify W1: при общем сроке таймер блока не взводится.** Общий срок начат раньше на длительность блока входа, поэтому оба истекали почти разом: срок запроса отменял задачу, пул закрывал соединение в `_checkin_failed`, таймер блока прерывал это закрытие второй отменой (`Exception terminating connection`, запись пула возвращал сборщик мусора). `_deadline_task` (`ContextVar`) ставит `deadline_scope`, `session_scope` берёт `asyncio.timeout(None)`, только если значение — текущая задача: копию контекста получает и дочерняя задача, а отмена общего срока до неё не доходит (`test_child_task_under_deadline_keeps_block_timer`). Ветка `CancelledError` и срок отката те же, срок ответа — `T` + закрытие ≤ 8 с < `timeout server` 10 с. Прежде отказ при заморозке приходил за `T` (закрытие прерывалось), теперь за `T` + закрытие: 4,01 с при `T` = 2 с, как в таблице проб «Заморозка до запроса». Отвергнуто: срок блока чуть больше общего (тот же второй таймер с настройкой-зазором); срок в экземпляре единицы работы (решение 6).
|
||||||
|
19. **Замечание verify W2: `service_factory` в `src/worker/main.py` — функция модуля, а не замыкание в `run()`.** Иначе тест `_handle` со своей фабрикой не поймал бы регрессию «один сервис на все доставки» в самой сборке. Тест подменяет `SqlAlchemyUnitOfWork` модуля фейком, который уступает цикл внутри блока: фейковые repo не уступают, и без этого блоки двух задач не пересекались бы. Импорт `src.worker.main` соединений не открывает.
|
||||||
|
20. **Замечание verify S2: сервисы зависят не только от абстракций.** К конкретным `Cache`, `ObjectStorage`, `JobPublisher`, `ImageRenderer` (решение 8) добавляется `src.infra.password`: `UserService` вызывает `hash_password`, `SessionService` — `verify_password` прямо из модуля, конструктором не передаются. Порта нет: чистая функция с лимитом потоков, внешнего состояния нет, замена в тесте — `monkeypatch`. Цель «только от абстракций» относится к PostgreSQL.
|
||||||
|
|
||||||
### Регрессии задачи 11.7
|
### Регрессии задачи 11.7
|
||||||
|
|
||||||
@@ -448,3 +452,6 @@ Repo-функции вызываются из многих сервисов (`at
|
|||||||
| `put` worker внутри блока | `service_test` | `test_attachment_processing.py::test_put_is_not_inside_a_block`, `test_ready_and_variants_one_block`, `test_success_commits_ready_with_variants` |
|
| `put` worker внутри блока | `service_test` | `test_attachment_processing.py::test_put_is_not_inside_a_block`, `test_ready_and_variants_one_block`, `test_success_commits_ready_with_variants` |
|
||||||
| `_connection` адаптера переименован в `_ping_once` | `service_test_db` | `test_ping_detects_dropped_connection_through_proxy`, `test_ping_is_one_exchange` |
|
| `_connection` адаптера переименован в `_ping_once` | `service_test_db` | `test_ping_detects_dropped_connection_through_proxy`, `test_ping_is_one_exchange` |
|
||||||
| `_handle_exception` адаптера переименован в `_ping_once` | `service_test_db` | `test_ping_detects_dropped_connection_through_proxy` |
|
| `_handle_exception` адаптера переименован в `_ping_once` | `service_test_db` | `test_ping_detects_dropped_connection_through_proxy` |
|
||||||
|
| C1: без обрыва транспорта в `BoundedCloseConnection` | `service_test_db` | `test_uow.py::test_no_sessions_over_pool_after_freeze`: `2 > 0` в первом раунде |
|
||||||
|
| W1: таймер блока и при общем сроке | `service_test_db` | `test_request_flow.py::test_deadline_in_second_block_single_record`: запись пула `Exception terminating connection` |
|
||||||
|
| W2: один сервис на все доставки в `service_factory` | `service_test` | `test_worker_deliveries.py::test_concurrent_deliveries_have_own_unit_of_work`: `[['ack'], ['requeue']]` |
|
||||||
|
|||||||
@@ -102,6 +102,11 @@
|
|||||||
- **WHEN** карточка чата есть в кэше, и участник читает чат
|
- **WHEN** карточка чата есть в кэше, и участник читает чат
|
||||||
- **THEN** соединение для этого блока не выдаётся
|
- **THEN** соединение для этого блока не выдаётся
|
||||||
|
|
||||||
|
#### Scenario: После заморозки PostgreSQL сессий сверх пула нет
|
||||||
|
|
||||||
|
- **WHEN** пул прогрет, PostgreSQL заморожен на проверке соединения при выдаче, блоки получили отказ по сроку, и сервер разморожен, несколько раз подряд
|
||||||
|
- **THEN** сброшенные соединения закрыты сразу, а не в конце процесса, и после каждой разморозки сессий процесса в PostgreSQL не больше размера пула
|
||||||
|
|
||||||
### Requirement: Срок блока и отказ PostgreSQL
|
### Requirement: Срок блока и отказ PostgreSQL
|
||||||
|
|
||||||
Блок, включая откат при выходе, SHALL укладываться в `[database] request_timeout_seconds`. Если PostgreSQL недоступен или не ответил
|
Блок, включая откат при выходе, SHALL укладываться в `[database] request_timeout_seconds`. Если PostgreSQL недоступен или не ответил
|
||||||
@@ -136,7 +141,13 @@
|
|||||||
Запросы ручек пользователей, сессий, чатов и сообщений SHALL целиком укладываться в `[database] request_timeout_seconds`: все их блоки и
|
Запросы ручек пользователей, сессий, чатов и сообщений SHALL целиком укладываться в `[database] request_timeout_seconds`: все их блоки и
|
||||||
очередь вычисления хэша пароля вместе. Срок истёк — ответ 503 `unavailable` и та же запись «Database is unavailable». Так ответ реплики
|
очередь вычисления хэша пароля вместе. Срок истёк — ответ 503 `unavailable` и та же запись «Database is unavailable». Так ответ реплики
|
||||||
приходит раньше `timeout server` балансировщика (10 с), как и до разделения запроса на шаги. Ручки вложений общего срока MUST NOT иметь:
|
приходит раньше `timeout server` балансировщика (10 с), как и до разделения запроса на шаги. Ручки вложений общего срока MUST NOT иметь:
|
||||||
передача тела и потока дольше срока одного блока, у них срок на шаг (`load-balancing`, «Загрузки через балансировщик»).
|
передача тела и потока дольше срока одного блока, у них срок на шаг (`load-balancing`, «Загрузки через балансировщик»). Внутри общего срока истекает он один:
|
||||||
|
второй отмены, которая прервала бы закрытие соединения, MUST NOT быть.
|
||||||
|
|
||||||
|
#### Scenario: Срок запроса истёк во втором блоке: одна запись, без ERROR пула
|
||||||
|
|
||||||
|
- **WHEN** PostgreSQL заморожен между блоком входа и блоком операции, и общий срок истекает
|
||||||
|
- **THEN** клиент получает 503 `unavailable` не позже общего срока и срока закрытия соединения, в журнале одна запись «Database is unavailable», записей об ошибке пула нет, занятых соединений нет
|
||||||
|
|
||||||
#### Scenario: Два медленных шага
|
#### Scenario: Два медленных шага
|
||||||
|
|
||||||
|
|||||||
@@ -207,3 +207,29 @@
|
|||||||
- [x] 13.7 `REPORT.md`: таблица решения 7 и цена шага из меток 13.1 и 13.6 (сценарий «Цена в отчёте»), строки доказательств уровня 4 с новым commit, `bench/`-числа переносить из `summary.md` и `evidence/compare/`, а не считать вручную; новые файлы и метки `evidence/` — на карте `AGENTS.md`. Основная сессия коммитит evidence и отчёт.
|
- [x] 13.7 `REPORT.md`: таблица решения 7 и цена шага из меток 13.1 и 13.6 (сценарий «Цена в отчёте»), строки доказательств уровня 4 с новым commit, `bench/`-числа переносить из `summary.md` и `evidence/compare/`, а не считать вручную; новые файлы и метки `evidence/` — на карте `AGENTS.md`. Основная сессия коммитит evidence и отчёт.
|
||||||
|
|
||||||
Проверка: каждое число отчёта есть в названном файле; `openspec validate unit-of-work --strict`.
|
Проверка: каждое число отчёта есть в названном файле; `openspec validate unit-of-work --strict`.
|
||||||
|
|
||||||
|
## 14. Замечания проверки
|
||||||
|
|
||||||
|
Находки `/opsx:verify` на `6ba74b1` и `952c163`. Задачи 14.1–14.6 — код, тесты и документы на рабочем дереве; 14.7 — снятие на коммите, её закрывает основная сессия.
|
||||||
|
|
||||||
|
- [x] 14.1 C1: `BoundedCloseConnection` обрывает транспорт после прерванного мягкого закрытия, иначе сессия PostgreSQL живёт сверх пула без срока (`src/infra/db/engine.py`). Сценарий спека «После заморозки PostgreSQL сессий сверх пула нет», тест в `service-tests/db/test_uow.py` через `TcpProxy` и `pg_stat_activity`, докстринг и `infra.md`, design («Уточнения»): почему `test_ping_*` этого не видели.
|
||||||
|
|
||||||
|
Проверка: тест красный без правки; мягкое закрытие без отказа закрывает сессию штатно; `double_cancel.py`; заморозка PostgreSQL рабочего стенда, сессии до и после.
|
||||||
|
- [x] 14.2 W1: при общем сроке истекает один таймер: сценарий спека «Срок запроса истёк во втором блоке: одна запись, без ERROR пула», тест, красный без правки. Вне JSON-роутеров срок блока прежний.
|
||||||
|
|
||||||
|
Проверка: `double_cancel.py 2 6 1 second-block`; `test_two_slow_steps_fit_single_deadline`, `test_hash_queue_gets_deadline` зелёные; цепочка LB `probe_freeze.py`: ≤ 8 с, 504 нет.
|
||||||
|
- [x] 14.3 W2: быстрый тест сценария «Одновременные доставки»: две одновременные `_handle` на фейках, у каждой своя единица работы, обе ACK.
|
||||||
|
|
||||||
|
Проверка: красный при регрессии «один сервис на все доставки» (Edit, прогон, откат); `make service_test` с портами 1.
|
||||||
|
- [x] 14.4 W3: вывод о цене в `REPORT.md` и `QUESTIONS.md` по `make bench_compare BEFORE=unit-of-work-aa AFTER=unit-of-work-after AA=unit-of-work-before`: знак по всем ячейкам, выброс и порядок меток, шум CPU из двух rollout, сравнение с оценкой design.
|
||||||
|
|
||||||
|
Проверка: каждое число есть в названном файле, посчитанное помимо команды подписано.
|
||||||
|
- [x] 14.5 S1: устаревшие имена в `SKILL.md` и `service-layer.md`.
|
||||||
|
|
||||||
|
Проверка: `grep` старых имён пуст.
|
||||||
|
- [x] 14.6 S2: `REPORT.md`: от чего зависят сервисы, стрелки схемы к издателю и процессу обработки; `src.infra.password` — в design.
|
||||||
|
|
||||||
|
Проверка: стрелки сверены с импортами.
|
||||||
|
- [ ] 14.7 Evidence на коммите правок: `service-tests`, `test-isolated`, `student-test-lb`, `failure-checks`, запись заморозки и `double_cancel.py` (основная сессия, отдельным сообщением).
|
||||||
|
|
||||||
|
Проверка: шапка с commit, `git.dirty` false.
|
||||||
|
|||||||
@@ -59,13 +59,34 @@ from sqlalchemy.ext.asyncio import ( # noqa: E402
|
|||||||
)
|
)
|
||||||
|
|
||||||
from src.config import settings # noqa: E402
|
from src.config import settings # noqa: E402
|
||||||
from src.infra.db import create_engine, create_session_factory # noqa: E402
|
from src.infra.db import ( # noqa: E402
|
||||||
|
create_engine,
|
||||||
|
create_session_factory,
|
||||||
|
scope,
|
||||||
|
)
|
||||||
from src.infra.db.models.base import Base # noqa: E402
|
from src.infra.db.models.base import Base # noqa: E402
|
||||||
from src.infra.db.uow import SqlAlchemyUnitOfWork # noqa: E402
|
from src.infra.db.uow import SqlAlchemyUnitOfWork # noqa: E402
|
||||||
|
|
||||||
_created = False
|
_created = False
|
||||||
|
|
||||||
|
|
||||||
|
class DatabaseWarnings:
|
||||||
|
"""Записи логгера `database`: сколько раз назван отказ."""
|
||||||
|
|
||||||
|
def __init__(self) -> None:
|
||||||
|
self.events: list[str] = []
|
||||||
|
|
||||||
|
def warning(self, event_name: str, **_: object) -> None:
|
||||||
|
self.events.append(event_name)
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.fixture
|
||||||
|
def warnings(monkeypatch: pytest.MonkeyPatch) -> DatabaseWarnings:
|
||||||
|
recorder = DatabaseWarnings()
|
||||||
|
monkeypatch.setattr(scope, "logger", recorder)
|
||||||
|
return recorder
|
||||||
|
|
||||||
|
|
||||||
async def _admin_connection(database: str = "postgres") -> asyncpg.Connection:
|
async def _admin_connection(database: str = "postgres") -> asyncpg.Connection:
|
||||||
source = settings.database
|
source = settings.database
|
||||||
return await asyncpg.connect(
|
return await asyncpg.connect(
|
||||||
|
|||||||
@@ -3,6 +3,7 @@ JSON-запроса (спек `unit-of-work`). S3 и кэш — фейки: ра
|
|||||||
PostgreSQL как сервера, не затрагивается."""
|
PostgreSQL как сервера, не затрагивается."""
|
||||||
|
|
||||||
import asyncio
|
import asyncio
|
||||||
|
import logging
|
||||||
import time
|
import time
|
||||||
from collections.abc import AsyncIterator
|
from collections.abc import AsyncIterator
|
||||||
from pathlib import Path
|
from pathlib import Path
|
||||||
@@ -13,10 +14,17 @@ import pytest
|
|||||||
from sqlalchemy import event
|
from sqlalchemy import event
|
||||||
|
|
||||||
from builders import attachment_dto
|
from builders import attachment_dto
|
||||||
from conftest import BLOCK_SECONDS, admin, truncate_all
|
from conftest import (
|
||||||
|
BLOCK_SECONDS,
|
||||||
|
DatabaseWarnings,
|
||||||
|
TcpProxy,
|
||||||
|
admin,
|
||||||
|
truncate_all,
|
||||||
|
)
|
||||||
from fakes import FakeCache, FakeDatabase, FakeObjectStorage
|
from fakes import FakeCache, FakeDatabase, FakeObjectStorage
|
||||||
from src.api import dependencies
|
from src.api import dependencies
|
||||||
from src.core.repos import chat_cache
|
from src.core.repos import chat_cache
|
||||||
|
from src.core.services import ChatService
|
||||||
from src.core.services import session as session_module
|
from src.core.services import session as session_module
|
||||||
from src.infra.db import create_engine, create_session_factory
|
from src.infra.db import create_engine, create_session_factory
|
||||||
from src.infra.db.session import engine, session_factory
|
from src.infra.db.session import engine, session_factory
|
||||||
@@ -24,6 +32,7 @@ from src.infra.db.uow import SqlAlchemyUnitOfWork
|
|||||||
from src.main import app
|
from src.main import app
|
||||||
from src.schemas.dataclasses import ChatFullDTO
|
from src.schemas.dataclasses import ChatFullDTO
|
||||||
from src.schemas.enums import AttachmentStatus
|
from src.schemas.enums import AttachmentStatus
|
||||||
|
from src.utils.constants import DB_CLOSE_TIMEOUT_SECONDS
|
||||||
from src.utils.utc import utcnow
|
from src.utils.utc import utcnow
|
||||||
|
|
||||||
pytestmark = pytest.mark.anyio
|
pytestmark = pytest.mark.anyio
|
||||||
@@ -268,6 +277,65 @@ async def test_hash_queue_gets_deadline(client: httpx.AsyncClient) -> None:
|
|||||||
assert max(elapsed for _, elapsed in results) < BLOCK_SECONDS + MARGIN
|
assert max(elapsed for _, elapsed in results) < BLOCK_SECONDS + MARGIN
|
||||||
|
|
||||||
|
|
||||||
|
class _PoolRecords(logging.Handler):
|
||||||
|
"""Записи пула: только текст, `exc_info` с кадрами не хранится."""
|
||||||
|
|
||||||
|
def __init__(self) -> None:
|
||||||
|
super().__init__(level=logging.WARNING)
|
||||||
|
self.messages: list[str] = []
|
||||||
|
|
||||||
|
def emit(self, record: logging.LogRecord) -> None:
|
||||||
|
self.messages.append(record.getMessage())
|
||||||
|
|
||||||
|
|
||||||
|
async def test_deadline_in_second_block_single_record(
|
||||||
|
client: httpx.AsyncClient,
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
proxy_target: tuple[str, int],
|
||||||
|
warnings: DatabaseWarnings,
|
||||||
|
) -> None:
|
||||||
|
"""Сценарий «Срок запроса истёк во втором блоке: одна запись, без ERROR
|
||||||
|
пула»: заморозка между входом и операцией, зазор сроков — настоящая
|
||||||
|
длительность блока входа."""
|
||||||
|
headers, _ = await _register_login(client)
|
||||||
|
records = _PoolRecords()
|
||||||
|
pool_logger = logging.getLogger("sqlalchemy.pool")
|
||||||
|
pool_logger.addHandler(records)
|
||||||
|
async with TcpProxy(*proxy_target) as proxy:
|
||||||
|
proxied = create_engine(
|
||||||
|
dependencies.settings.database.model_copy(
|
||||||
|
update={"host": "127.0.0.1", "port": proxy.port},
|
||||||
|
),
|
||||||
|
)
|
||||||
|
monkeypatch.setattr(
|
||||||
|
dependencies,
|
||||||
|
"session_factory",
|
||||||
|
create_session_factory(proxied),
|
||||||
|
)
|
||||||
|
real_list = ChatService.list_user_chats
|
||||||
|
|
||||||
|
async def frozen_list(self, **kwargs):
|
||||||
|
proxy.freeze()
|
||||||
|
return await real_list(self, **kwargs)
|
||||||
|
|
||||||
|
monkeypatch.setattr(ChatService, "list_user_chats", frozen_list)
|
||||||
|
try:
|
||||||
|
started = time.monotonic()
|
||||||
|
response = await client.get("/chats", headers=headers)
|
||||||
|
elapsed = time.monotonic() - started
|
||||||
|
checked_out = proxied.pool.checkedout()
|
||||||
|
finally:
|
||||||
|
pool_logger.removeHandler(records)
|
||||||
|
proxy.thaw()
|
||||||
|
await proxied.dispose()
|
||||||
|
assert response.status_code == 503
|
||||||
|
assert response.json()["error"]["code"] == "unavailable"
|
||||||
|
assert elapsed < BLOCK_SECONDS + DB_CLOSE_TIMEOUT_SECONDS + MARGIN
|
||||||
|
assert warnings.events == ["Database is unavailable"]
|
||||||
|
assert records.messages == []
|
||||||
|
assert checked_out == 0
|
||||||
|
|
||||||
|
|
||||||
async def test_upload_longer_than_block(
|
async def test_upload_longer_than_block(
|
||||||
client: httpx.AsyncClient,
|
client: httpx.AsyncClient,
|
||||||
fake_clients,
|
fake_clients,
|
||||||
|
|||||||
+124
-21
@@ -10,6 +10,7 @@ from sqlalchemy import event, exc, text
|
|||||||
|
|
||||||
from builders import NOW, PASSWORD_HASH, attachment_dto, user_dto
|
from builders import NOW, PASSWORD_HASH, attachment_dto, user_dto
|
||||||
from conftest import (
|
from conftest import (
|
||||||
|
DatabaseWarnings,
|
||||||
TcpProxy,
|
TcpProxy,
|
||||||
admin,
|
admin,
|
||||||
make_engine,
|
make_engine,
|
||||||
@@ -23,28 +24,16 @@ from src.infra.db import scope
|
|||||||
from src.infra.db.engine import _ping_once
|
from src.infra.db.engine import _ping_once
|
||||||
from src.infra.db.uow import SqlAlchemyUnitOfWork
|
from src.infra.db.uow import SqlAlchemyUnitOfWork
|
||||||
from src.schemas.enums import AttachmentStatus
|
from src.schemas.enums import AttachmentStatus
|
||||||
from src.utils.constants import DB_CLOSE_TIMEOUT_SECONDS
|
from src.utils.constants import (
|
||||||
|
DB_APPLICATION_NAME,
|
||||||
|
DB_CLOSE_TIMEOUT_SECONDS,
|
||||||
|
)
|
||||||
|
|
||||||
pytestmark = pytest.mark.anyio
|
pytestmark = pytest.mark.anyio
|
||||||
|
|
||||||
SECONDS_MARGIN = 0.7
|
SECONDS_MARGIN = 0.7
|
||||||
|
# сервер замечает закрытый сокет не сразу
|
||||||
|
SESSIONS_SETTLE_SECONDS = 3.0
|
||||||
class _Warnings:
|
|
||||||
"""Записи логгера `database`: сколько раз назван отказ."""
|
|
||||||
|
|
||||||
def __init__(self) -> None:
|
|
||||||
self.events: list[str] = []
|
|
||||||
|
|
||||||
def warning(self, event_name: str, **_: object) -> None:
|
|
||||||
self.events.append(event_name)
|
|
||||||
|
|
||||||
|
|
||||||
@pytest.fixture
|
|
||||||
def warnings(monkeypatch: pytest.MonkeyPatch) -> _Warnings:
|
|
||||||
recorder = _Warnings()
|
|
||||||
monkeypatch.setattr(scope, "logger", recorder)
|
|
||||||
return recorder
|
|
||||||
|
|
||||||
|
|
||||||
@pytest.fixture
|
@pytest.fixture
|
||||||
@@ -157,7 +146,7 @@ async def test_commit_returns_connection_after_exit(uow, engine) -> None:
|
|||||||
|
|
||||||
async def test_statement_longer_than_block(
|
async def test_statement_longer_than_block(
|
||||||
engine,
|
engine,
|
||||||
warnings: _Warnings,
|
warnings: DatabaseWarnings,
|
||||||
) -> None:
|
) -> None:
|
||||||
"""Сценарий «Запрос дольше срока»."""
|
"""Сценарий «Запрос дольше срока»."""
|
||||||
uow = make_uow(make_factory(engine), timeout_seconds=0.3)
|
uow = make_uow(make_factory(engine), timeout_seconds=0.3)
|
||||||
@@ -177,7 +166,10 @@ async def test_statement_longer_than_block(
|
|||||||
assert await _pid(uow) != first_pid
|
assert await _pid(uow) != first_pid
|
||||||
|
|
||||||
|
|
||||||
async def test_frozen_on_rollback(proxy_target, warnings: _Warnings) -> None:
|
async def test_frozen_on_rollback(
|
||||||
|
proxy_target,
|
||||||
|
warnings: DatabaseWarnings,
|
||||||
|
) -> None:
|
||||||
"""Сценарий «PostgreSQL заморожен при откате»."""
|
"""Сценарий «PostgreSQL заморожен при откате»."""
|
||||||
async with TcpProxy(*proxy_target) as proxy:
|
async with TcpProxy(*proxy_target) as proxy:
|
||||||
engine = make_engine(host="127.0.0.1", port=proxy.port, pool_size=1)
|
engine = make_engine(host="127.0.0.1", port=proxy.port, pool_size=1)
|
||||||
@@ -247,7 +239,118 @@ async def test_cancel_with_open_transaction(proxy_target) -> None:
|
|||||||
await engine.dispose()
|
await engine.dispose()
|
||||||
|
|
||||||
|
|
||||||
async def test_constraint_violation(uow, engine, warnings: _Warnings) -> None:
|
async def test_child_task_under_deadline_keeps_block_timer(engine) -> None:
|
||||||
|
"""Общий срок снимает таймер только у своей задачи: дочернюю его отмена не
|
||||||
|
достанет, а копия контекста у неё та же."""
|
||||||
|
uow = make_uow(make_factory(engine), timeout_seconds=0.3)
|
||||||
|
|
||||||
|
async def slow_block() -> None:
|
||||||
|
async with uow:
|
||||||
|
await uow._current_session().execute(text("SELECT pg_sleep(4)"))
|
||||||
|
|
||||||
|
started = time.monotonic()
|
||||||
|
async with scope.deadline_scope(timeout_seconds=30):
|
||||||
|
with pytest.raises(exceptions.ServiceUnavailable):
|
||||||
|
await asyncio.create_task(slow_block())
|
||||||
|
assert time.monotonic() - started < 0.3 + DB_CLOSE_TIMEOUT_SECONDS
|
||||||
|
|
||||||
|
|
||||||
|
async def _app_sessions(connection) -> int:
|
||||||
|
"""Сессии приложения во временной базе; соединение теста — без его имени."""
|
||||||
|
return await connection.fetchval(
|
||||||
|
"SELECT count(*) FROM pg_stat_activity "
|
||||||
|
"WHERE datname = current_database() AND application_name = $1",
|
||||||
|
DB_APPLICATION_NAME,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def _settled_sessions(connection, *, limit: int) -> int:
|
||||||
|
"""Сессии, когда их стало не больше `limit` или вышел срок ожидания."""
|
||||||
|
deadline = time.monotonic() + SESSIONS_SETTLE_SECONDS
|
||||||
|
while True:
|
||||||
|
sessions = await _app_sessions(connection)
|
||||||
|
if sessions <= limit or time.monotonic() > deadline:
|
||||||
|
return sessions
|
||||||
|
await asyncio.sleep(0.1)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_no_sessions_over_pool_after_freeze(proxy_target) -> None:
|
||||||
|
"""Сценарий «После заморозки PostgreSQL сессий сверх пула нет»: заморозка на
|
||||||
|
проверке соединения при выдаче (транзакции нет, и срок простоя транзакции
|
||||||
|
сессию не снимет), три раза подряд."""
|
||||||
|
pool_size = 2
|
||||||
|
connection = await admin()
|
||||||
|
try:
|
||||||
|
baseline = await _app_sessions(connection)
|
||||||
|
async with TcpProxy(*proxy_target) as proxy:
|
||||||
|
engine = make_engine(
|
||||||
|
host="127.0.0.1",
|
||||||
|
port=proxy.port,
|
||||||
|
pool_size=pool_size,
|
||||||
|
)
|
||||||
|
factory = make_factory(engine)
|
||||||
|
|
||||||
|
async def step() -> None:
|
||||||
|
uow = make_uow(factory, timeout_seconds=0.3)
|
||||||
|
async with uow:
|
||||||
|
await uow._current_session().execute(
|
||||||
|
text("SELECT pg_sleep(0.05)"),
|
||||||
|
)
|
||||||
|
|
||||||
|
for _ in range(3):
|
||||||
|
# прогрев: открыты все соединения пула, запросы идут вместе
|
||||||
|
await asyncio.gather(*(step() for _ in range(pool_size)))
|
||||||
|
proxy.freeze()
|
||||||
|
results = await asyncio.gather(
|
||||||
|
*(step() for _ in range(pool_size)),
|
||||||
|
return_exceptions=True,
|
||||||
|
)
|
||||||
|
assert all(
|
||||||
|
isinstance(result, exceptions.ServiceUnavailable)
|
||||||
|
for result in results
|
||||||
|
), results
|
||||||
|
proxy.thaw()
|
||||||
|
# соединения этой пачки сброшены, в пуле их нет
|
||||||
|
assert engine.pool.checkedout() == 0
|
||||||
|
sessions = await _settled_sessions(connection, limit=baseline)
|
||||||
|
assert sessions <= baseline, f"{sessions} > {baseline}"
|
||||||
|
# пул рабочий: новые соединения вместо сброшенных
|
||||||
|
await step()
|
||||||
|
await engine.dispose()
|
||||||
|
finally:
|
||||||
|
await connection.close()
|
||||||
|
|
||||||
|
|
||||||
|
async def test_soft_close_is_graceful(proxy_target) -> None:
|
||||||
|
"""Мягкое закрытие без отказа: сервер получил Terminate и закрыл сессию сам,
|
||||||
|
обрыв транспорта после него ничего не меняет."""
|
||||||
|
connection = await admin()
|
||||||
|
try:
|
||||||
|
baseline = await _app_sessions(connection)
|
||||||
|
async with TcpProxy(*proxy_target) as proxy:
|
||||||
|
engine = make_engine(
|
||||||
|
host="127.0.0.1",
|
||||||
|
port=proxy.port,
|
||||||
|
pool_size=1,
|
||||||
|
)
|
||||||
|
async with engine.connect():
|
||||||
|
pass
|
||||||
|
assert await _app_sessions(connection) == baseline + 1
|
||||||
|
before = proxy.client_writes
|
||||||
|
await engine.dispose()
|
||||||
|
sessions = await _settled_sessions(connection, limit=baseline)
|
||||||
|
assert sessions == baseline
|
||||||
|
# единственная порция клиента после проверки — Terminate
|
||||||
|
assert proxy.client_writes == before + 1
|
||||||
|
finally:
|
||||||
|
await connection.close()
|
||||||
|
|
||||||
|
|
||||||
|
async def test_constraint_violation(
|
||||||
|
uow,
|
||||||
|
engine,
|
||||||
|
warnings: DatabaseWarnings,
|
||||||
|
) -> None:
|
||||||
"""Сценарий «Нарушение ограничения»."""
|
"""Сценарий «Нарушение ограничения»."""
|
||||||
async with uow:
|
async with uow:
|
||||||
first_pid = await _pid(uow)
|
first_pid = await _pid(uow)
|
||||||
|
|||||||
@@ -0,0 +1,146 @@
|
|||||||
|
"""Сценарий «Одновременные доставки»: сервис и единица работы на доставку.
|
||||||
|
|
||||||
|
Импорт `src.worker.main` не открывает соединений: клиентов создаёт `run()`, а
|
||||||
|
здесь только `service_factory` и `_handle` на фейках. Единица работы подменена
|
||||||
|
фейком там, где точка входа выбирает реализацию.
|
||||||
|
"""
|
||||||
|
|
||||||
|
import asyncio
|
||||||
|
from dataclasses import dataclass, field
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
|
||||||
|
from builders import attachment_dto, chat_dto, job_dto, user_dto
|
||||||
|
from fakes import (
|
||||||
|
FakeDatabase,
|
||||||
|
FakeImageRenderer,
|
||||||
|
FakeObjectStorage,
|
||||||
|
FakeUnitOfWork,
|
||||||
|
)
|
||||||
|
from src.core.ports.uow import Repositories
|
||||||
|
from src.schemas import dataclasses
|
||||||
|
from src.schemas.enums import AttachmentStatus, AttachmentVariantName
|
||||||
|
from src.schemas.jobs import build_job_body
|
||||||
|
from src.utils.utc import utcnow
|
||||||
|
from src.worker import main as worker_main
|
||||||
|
|
||||||
|
pytestmark = pytest.mark.anyio
|
||||||
|
|
||||||
|
SOURCE = b"source-bytes"
|
||||||
|
|
||||||
|
|
||||||
|
class _YieldingUnitOfWork(FakeUnitOfWork):
|
||||||
|
"""Уступает цикл внутри блока, как настоящая единица работы на обмене с
|
||||||
|
PostgreSQL: вторая задача на том же экземпляре попадает в открытый блок."""
|
||||||
|
|
||||||
|
async def _open(self) -> Repositories:
|
||||||
|
repositories = await super()._open()
|
||||||
|
await asyncio.sleep(0)
|
||||||
|
return repositories
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass
|
||||||
|
class _Delivery:
|
||||||
|
"""Сообщение брокера: итог — какой метод подтверждения вызван."""
|
||||||
|
|
||||||
|
body: bytes
|
||||||
|
redelivered: bool = False
|
||||||
|
settled: list[str] = field(default_factory=list)
|
||||||
|
|
||||||
|
async def ack(self) -> None:
|
||||||
|
self.settled.append("ack")
|
||||||
|
|
||||||
|
async def drop(self) -> None:
|
||||||
|
self.settled.append("drop")
|
||||||
|
|
||||||
|
async def requeue(self) -> None:
|
||||||
|
self.settled.append("requeue")
|
||||||
|
|
||||||
|
|
||||||
|
def _rendered() -> dataclasses.RenderedVariantsDTO:
|
||||||
|
return dataclasses.RenderedVariantsDTO(
|
||||||
|
variants=tuple(
|
||||||
|
dataclasses.RenderedVariantDTO(
|
||||||
|
name=name,
|
||||||
|
content_type="image/jpeg",
|
||||||
|
width=10,
|
||||||
|
height=10,
|
||||||
|
data=name.value.encode(),
|
||||||
|
)
|
||||||
|
for name in AttachmentVariantName
|
||||||
|
),
|
||||||
|
peak_kib=100,
|
||||||
|
memory_limit_applied=True,
|
||||||
|
render_ms=5,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def _queued_job(
|
||||||
|
database: FakeDatabase,
|
||||||
|
storage: FakeObjectStorage,
|
||||||
|
) -> dataclasses.AttachmentJobDTO:
|
||||||
|
owner = user_dto()
|
||||||
|
chat = chat_dto(member_ids=(owner.id,))
|
||||||
|
now = utcnow()
|
||||||
|
row = attachment_dto(
|
||||||
|
chat_id=chat.id,
|
||||||
|
owner_id=owner.id,
|
||||||
|
status=AttachmentStatus.QUEUED,
|
||||||
|
created_at=now,
|
||||||
|
data=SOURCE,
|
||||||
|
)
|
||||||
|
job = job_dto(attachment_id=row.id, created_at=now)
|
||||||
|
uow = FakeUnitOfWork(database)
|
||||||
|
async with uow:
|
||||||
|
await uow.attachments.insert_attachment(attachment=row)
|
||||||
|
await uow.jobs.insert_job(job=job)
|
||||||
|
await uow.commit()
|
||||||
|
storage.seed(row.staging_key, SOURCE)
|
||||||
|
return job
|
||||||
|
|
||||||
|
|
||||||
|
async def test_concurrent_deliveries_have_own_unit_of_work(
|
||||||
|
database: FakeDatabase,
|
||||||
|
storage: FakeObjectStorage,
|
||||||
|
monkeypatch: pytest.MonkeyPatch,
|
||||||
|
) -> None:
|
||||||
|
created: list[FakeUnitOfWork] = []
|
||||||
|
|
||||||
|
def make_uow(
|
||||||
|
_factory: object,
|
||||||
|
*,
|
||||||
|
timeout_seconds: float,
|
||||||
|
) -> FakeUnitOfWork:
|
||||||
|
created.append(_YieldingUnitOfWork(database))
|
||||||
|
return created[-1]
|
||||||
|
|
||||||
|
monkeypatch.setattr(worker_main, "SqlAlchemyUnitOfWork", make_uow)
|
||||||
|
stop = asyncio.Event()
|
||||||
|
make_service = worker_main.service_factory(
|
||||||
|
object(),
|
||||||
|
storage=storage,
|
||||||
|
renderer=FakeImageRenderer(database, _rendered()),
|
||||||
|
stop=stop,
|
||||||
|
)
|
||||||
|
jobs = [await _queued_job(database, storage) for _ in range(2)]
|
||||||
|
database.events.clear()
|
||||||
|
deliveries = [
|
||||||
|
_Delivery(body=build_job_body(job, attempt=job.attempt + 1))
|
||||||
|
for job in jobs
|
||||||
|
]
|
||||||
|
slots = asyncio.Semaphore(2)
|
||||||
|
|
||||||
|
await asyncio.gather(
|
||||||
|
*(
|
||||||
|
worker_main._handle(make_service, delivery, slots, stop)
|
||||||
|
for delivery in deliveries
|
||||||
|
),
|
||||||
|
)
|
||||||
|
|
||||||
|
assert [delivery.settled for delivery in deliveries] == [["ack"], ["ack"]]
|
||||||
|
assert len(created) == 2
|
||||||
|
# вторая доставка вошла в свой блок, пока открыт блок первой
|
||||||
|
assert database.events[:2] == ["enter", "enter"]
|
||||||
|
for job in jobs:
|
||||||
|
attachment = database.attachments[job.attachment_id]
|
||||||
|
assert attachment.status == AttachmentStatus.READY
|
||||||
+13
-3
@@ -28,13 +28,23 @@ class BoundedCloseConnection(asyncpg.Connection):
|
|||||||
соединение для CancelRequest и в `close()` ждёт его без срока.
|
соединение для CancelRequest и в `close()` ждёт его без срока.
|
||||||
SQLAlchemy при отмене задачи закрывает соединение мягко, поэтому
|
SQLAlchemy при отмене задачи закрывает соединение мягко, поэтому
|
||||||
замёрзший Postgres держал бы запрос до разморозки. Здесь всё
|
замёрзший Postgres держал бы запрос до разморозки. Здесь всё
|
||||||
закрытие ограничено: по истечении asyncpg обрывает соединение, а
|
закрытие ограничено, а транспорт обрывается в `finally`: прерванный
|
||||||
SQLAlchemy переходит к принудительному закрытию.
|
`close()` asyncpg уже пометил протокол закрывающимся, и его `abort()`
|
||||||
|
выходит сразу, не трогая сокет. Без этого сокет открыт до конца процесса,
|
||||||
|
и после разморозки сессия PostgreSQL живёт сверх пула, а срок простоя
|
||||||
|
транзакции её не снимет, если транзакции нет (проверка `_ping_once`).
|
||||||
|
После штатного закрытия обрыв ничего не делает: Terminate отправлен, и
|
||||||
|
транспорт asyncpg уже закрыл сам. `_transport` — внутреннее имя asyncpg,
|
||||||
|
его смену ловит `test_no_sessions_over_pool_after_freeze`.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
async def close(self, *, timeout: float | None = None) -> None:
|
async def close(self, *, timeout: float | None = None) -> None:
|
||||||
limit = timeout or DB_CLOSE_TIMEOUT_SECONDS
|
limit = timeout or DB_CLOSE_TIMEOUT_SECONDS
|
||||||
await asyncio.wait_for(super().close(timeout=timeout), limit)
|
transport = self._transport
|
||||||
|
try:
|
||||||
|
await asyncio.wait_for(super().close(timeout=timeout), limit)
|
||||||
|
finally:
|
||||||
|
transport.abort()
|
||||||
|
|
||||||
|
|
||||||
def _ping_once(dbapi_connection: Any) -> bool:
|
def _ping_once(dbapi_connection: Any) -> bool:
|
||||||
|
|||||||
+23
-1
@@ -9,6 +9,7 @@ JSON-запроса (design change `unit-of-work`, решения 4 и 6).
|
|||||||
import asyncio
|
import asyncio
|
||||||
from collections.abc import AsyncIterator
|
from collections.abc import AsyncIterator
|
||||||
from contextlib import asynccontextmanager
|
from contextlib import asynccontextmanager
|
||||||
|
from contextvars import ContextVar
|
||||||
|
|
||||||
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
|
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
|
||||||
|
|
||||||
@@ -18,6 +19,13 @@ from src.infra.logger import AbstractLogger, get_logger
|
|||||||
|
|
||||||
logger: AbstractLogger = get_logger().bind(module="database")
|
logger: AbstractLogger = get_logger().bind(module="database")
|
||||||
|
|
||||||
|
# задача, у которой идёт общий срок. Задача, а не флаг: дочерняя задача получает
|
||||||
|
# копию контекста, но отмена общего срока до неё не доходит, и её блоку нужен свой
|
||||||
|
_deadline_task: ContextVar[asyncio.Task[object] | None] = ContextVar(
|
||||||
|
"deadline_task",
|
||||||
|
default=None,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
@asynccontextmanager
|
@asynccontextmanager
|
||||||
async def session_scope(
|
async def session_scope(
|
||||||
@@ -36,10 +44,20 @@ async def session_scope(
|
|||||||
на зависшем сервере повис бы. По той же причине отмена задачи (остановка
|
на зависшем сервере повис бы. По той же причине отмена задачи (остановка
|
||||||
процесса, общий срок запроса) сбрасывает соединение: `close()` сессии послал
|
процесса, общий срок запроса) сбрасывает соединение: `close()` сессии послал
|
||||||
бы ROLLBACK.
|
бы ROLLBACK.
|
||||||
|
|
||||||
|
Внутри `deadline_scope` своего таймера нет: общий срок той же настройкой начат
|
||||||
|
раньше и истекает первым. Таймер блока сработал бы через доли секунды, вторая
|
||||||
|
отмена прервала бы закрытие соединения в пуле: ERROR в журнале, а запись пула
|
||||||
|
вернул бы только сборщик мусора (change `unit-of-work`, уточнение 18).
|
||||||
"""
|
"""
|
||||||
|
limit = (
|
||||||
|
None
|
||||||
|
if _deadline_task.get() is asyncio.current_task()
|
||||||
|
else timeout_seconds
|
||||||
|
)
|
||||||
async with session_factory() as db_session:
|
async with session_factory() as db_session:
|
||||||
try:
|
try:
|
||||||
async with asyncio.timeout(timeout_seconds):
|
async with asyncio.timeout(limit):
|
||||||
try:
|
try:
|
||||||
yield db_session
|
yield db_session
|
||||||
except Exception as e:
|
except Exception as e:
|
||||||
@@ -65,13 +83,17 @@ async def deadline_scope(*, timeout_seconds: float) -> AsyncIterator[None]:
|
|||||||
|
|
||||||
Истечение отменяет задачу: открытый блок сбрасывает своё соединение
|
Истечение отменяет задачу: открытый блок сбрасывает своё соединение
|
||||||
(`session_scope`), а здесь — та же запись и тот же отказ, что у срока блока.
|
(`session_scope`), а здесь — та же запись и тот же отказ, что у срока блока.
|
||||||
|
Срок вызывающий задаёт не меньше срока блока: блоки своего таймера не взводят.
|
||||||
"""
|
"""
|
||||||
|
token = _deadline_task.set(asyncio.current_task())
|
||||||
try:
|
try:
|
||||||
async with asyncio.timeout(timeout_seconds):
|
async with asyncio.timeout(timeout_seconds):
|
||||||
yield
|
yield
|
||||||
except TimeoutError as e:
|
except TimeoutError as e:
|
||||||
_log_unavailable(e)
|
_log_unavailable(e)
|
||||||
raise ServiceUnavailable from e
|
raise ServiceUnavailable from e
|
||||||
|
finally:
|
||||||
|
_deadline_task.reset(token)
|
||||||
|
|
||||||
|
|
||||||
def _log_unavailable(error: Exception) -> None:
|
def _log_unavailable(error: Exception) -> None:
|
||||||
|
|||||||
+33
-15
@@ -28,6 +28,8 @@ import signal
|
|||||||
from collections.abc import Callable
|
from collections.abc import Callable
|
||||||
from contextlib import suppress
|
from contextlib import suppress
|
||||||
|
|
||||||
|
from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker
|
||||||
|
|
||||||
from src.config import settings
|
from src.config import settings
|
||||||
from src.core.services.attachment_processing import (
|
from src.core.services.attachment_processing import (
|
||||||
AttachmentProcessingService,
|
AttachmentProcessingService,
|
||||||
@@ -38,7 +40,7 @@ from src.infra.db import create_engine, create_session_factory
|
|||||||
from src.infra.db.uow import SqlAlchemyUnitOfWork
|
from src.infra.db.uow import SqlAlchemyUnitOfWork
|
||||||
from src.infra.logger import AbstractLogger, get_logger
|
from src.infra.logger import AbstractLogger, get_logger
|
||||||
from src.infra.render import ImageRenderer
|
from src.infra.render import ImageRenderer
|
||||||
from src.infra.s3 import create_object_storage
|
from src.infra.s3 import ObjectStorage, create_object_storage
|
||||||
from src.schemas.enums import JobOutcome
|
from src.schemas.enums import JobOutcome
|
||||||
|
|
||||||
logger: AbstractLogger = get_logger().bind(module="worker")
|
logger: AbstractLogger = get_logger().bind(module="worker")
|
||||||
@@ -53,6 +55,30 @@ def main() -> int:
|
|||||||
return asyncio.run(run())
|
return asyncio.run(run())
|
||||||
|
|
||||||
|
|
||||||
|
def service_factory(
|
||||||
|
session_factory: async_sessionmaker[AsyncSession],
|
||||||
|
*,
|
||||||
|
storage: ObjectStorage,
|
||||||
|
renderer: ImageRenderer,
|
||||||
|
stop: asyncio.Event,
|
||||||
|
) -> Callable[[], AttachmentProcessingService]:
|
||||||
|
"""Единица работы держит открытую сессию, а доставки идут одновременно:
|
||||||
|
сервис на доставку (design change `unit-of-work`, решение 3)."""
|
||||||
|
|
||||||
|
def make_service() -> AttachmentProcessingService:
|
||||||
|
return AttachmentProcessingService(
|
||||||
|
uow=SqlAlchemyUnitOfWork(
|
||||||
|
session_factory,
|
||||||
|
timeout_seconds=settings.database.request_timeout_seconds,
|
||||||
|
),
|
||||||
|
storage=storage,
|
||||||
|
renderer=renderer,
|
||||||
|
stop=stop,
|
||||||
|
)
|
||||||
|
|
||||||
|
return make_service
|
||||||
|
|
||||||
|
|
||||||
async def run() -> int:
|
async def run() -> int:
|
||||||
stop = asyncio.Event()
|
stop = asyncio.Event()
|
||||||
loop = asyncio.get_running_loop()
|
loop = asyncio.get_running_loop()
|
||||||
@@ -67,20 +93,12 @@ async def run() -> int:
|
|||||||
session_factory = create_session_factory(engine)
|
session_factory = create_session_factory(engine)
|
||||||
storage = create_object_storage(settings.s3, namespace=namespace)
|
storage = create_object_storage(settings.s3, namespace=namespace)
|
||||||
|
|
||||||
renderer = ImageRenderer(worker)
|
make_service = service_factory(
|
||||||
|
session_factory,
|
||||||
def make_service() -> AttachmentProcessingService:
|
storage=storage,
|
||||||
# единица работы держит открытую сессию, а доставки идут одновременно:
|
renderer=ImageRenderer(worker),
|
||||||
# сервис на доставку (design change unit-of-work, решение 3)
|
stop=stop,
|
||||||
return AttachmentProcessingService(
|
)
|
||||||
uow=SqlAlchemyUnitOfWork(
|
|
||||||
session_factory,
|
|
||||||
timeout_seconds=settings.database.request_timeout_seconds,
|
|
||||||
),
|
|
||||||
storage=storage,
|
|
||||||
renderer=renderer,
|
|
||||||
stop=stop,
|
|
||||||
)
|
|
||||||
|
|
||||||
try:
|
try:
|
||||||
if not (
|
if not (
|
||||||
|
|||||||
Reference in New Issue
Block a user