forked from mtusi2026/mtusi2026lab3
Choose a one-statement message write as the track 1 improvement
Series B located the bottleneck. At eight replicas the API has 40 % of its CPU spare and the balancer 60 % of a core, yet three quarters of the pool connections wait for a chat row lock: the locking SELECT of the chat averages 14.2 ms and the lock holders sit idle in transaction while the replica's event loop gets round to the next statement. The critical section, three round trips long, is what more replicas lengthen. The design now records the choice: one CTE that locks the chat with the membership check, stamps the message no earlier than the last one, claims the idempotency key and inserts the message, committed by the statement itself, so the lock never waits for the application. A taken key is read back by a second statement outside the lock. The price is that the chat aggregate no longer guards posting; the rules move into the adapter's SQL and are held by integration tests. The rejected alternatives and the before/after plan are listed, and the spec gains the observable requirement of a short critical section. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
3bdc8fad23
commit
edc091dbc4
@@ -36,7 +36,19 @@ CPU PostgreSQL против `PG_CPUS × 100 %`; в `pg_stat_activity` — акт
|
||||
|
||||
### Улучшение выбирается после серии B
|
||||
|
||||
Кандидаты из proposal, каждый привязан к узкому месту: блокировка строки чата → меньше обращений к БД под блокировкой; пул → размер пула; очередь в API → `maxconn`; CPU API на установку соединений → keep-alive LB→API; соединения PostgreSQL → PgBouncer. Выбор и его обоснование дописываются сюда отдельным коммитом до реализации.
|
||||
Кандидаты из proposal, каждый привязан к узкому месту: блокировка строки чата → меньше обращений к БД под блокировкой; пул → размер пула; очередь в API → `maxconn`; CPU API на установку соединений → keep-alive LB→API; соединения PostgreSQL → PgBouncer.
|
||||
|
||||
### Выбрано: запись сообщения одним оператором SQL
|
||||
|
||||
Что показала серия B на 8×1 (пик 4 260 rps, ниже, чем у 4×1): API занят на 473 из 800 %, LB — на 40 % ядра, PostgreSQL — на 178 из 200 %, а 47,5 из 64 соединений пула ждут блокировку строки чата (`wait_event_type = Lock`). `SELECT … FOR UPDATE` чата в среднем длится 14,2 мс и занимает 97 % времени всех операторов; ещё около 7 соединений `idle in transaction` — держатели блокировок ждут приложение. Отправка сообщения — `BEGIN`, блокировка, поиск ключа, CTE вставки, `COMMIT` и сброс соединения пулом: под блокировкой три обращения к БД, и каждое удлиняется очередью event loop реплики. Чатов в профиле 10, поэтому одновременно пишут не больше 10 транзакций, а остальные держат соединения пула и ждут. Узкое место — критическая секция, а не CPU, пул или LB.
|
||||
|
||||
Решение: `PostgresMessageLog.post` выполняет одну команду без явной транзакции. CTE берёт строку чата `FOR UPDATE` вместе с проверкой участия, вычисляет `created_at = GREATEST(часы реплики, last_message_at + 1 мкс)`, вставляет ключ `ON CONFLICT … DO UPDATE … WHERE` ключ истёк, вставляет сообщение только если ключ вставлен и обновляет `last_message_at`. Неявная транзакция фиксируется концом команды, блокировка держится только внутри PostgreSQL. Если ключ занят (повтор или конкурентный дубль, дождавшийся первой транзакции), вторая команда вне блокировки читает сохранённый результат: снимок новой команды уже видит зафиксированный ключ. Внешний ключ `idempotency_keys → messages` проверяется в конце команды, поэтому порядок вставок внутри CTE допустим. Порт `MessageLog` в слое приложения, адаптер — в инфраструктуре зоны `messaging`.
|
||||
|
||||
Что получаем: блокировка строки чата держится время выполнения одной команды и фиксации, без обращений к приложению; на отправку два обращения к БД вместо шести (команда и сброс соединения). Чего стоит: инвариант «история не идёт назад» и проверка участия переезжают из агрегата `Chat` в SQL адаптера, агрегат больше не участвует в отправке; событие `message.posted` строит `Message.posted()`. Правила закрывают интеграционные тесты на настоящем PostgreSQL: отстающие часы реплики, 10 × 10 параллельных отправок в один чат, гонка одного ключа через два экземпляра, истёкший ключ, посторонний и пустой текст (`404` раньше `400`: при невалидном тексте участие проверяется отдельным чтением).
|
||||
|
||||
Отвергнуто: соединить блокировку с поиском ключа (минус одно обращение из трёх под блокировкой, агрегат остаётся, эффект примерно на треть); больший пул или `max_connections` — больше ждущих той же блокировки; `maxconn` на реплику — переносит очередь из пула в LB, но не укорачивает секцию; keep-alive LB→API — экономит CPU API, которого и так 40 % в запасе; PgBouncer — не уменьшает число обращений под блокировкой; `synchronous_commit = off` — меняет гарантию сохранности подтверждённых сообщений.
|
||||
|
||||
Проверка до и после: `make track1-compare` на 8×1 при 3 600, 5 400 и 8 100 rps, образ «до» собирается из `BEFORE_REV`, варианты чередуются по повторам.
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
|
||||
@@ -68,3 +68,18 @@
|
||||
|
||||
- **WHEN** после внедрения улучшения выполняются `make test`, `make student-test` и `make lint`
|
||||
- **THEN** все проходят
|
||||
|
||||
### Requirement: Короткая критическая секция отправки сообщения
|
||||
|
||||
Отправка сообщения SHALL держать блокировку строки чата только на время одной команды PostgreSQL: проверка участия, отметка времени не раньше последнего сообщения чата, запись ключа идемпотентности и сообщения SHALL выполняться одной атомарной командой без обращений к приложению между ними. Наблюдаемое поведение API (коды, тела, идемпотентность, порядок истории) SHALL NOT меняться.
|
||||
|
||||
#### Scenario: Под нагрузкой транзакции не ждут приложение
|
||||
|
||||
- **WHEN** выполняется `make track1-compare` на 8×1 при насыщающей интенсивности
|
||||
- **THEN** у варианта «после» в `pg_stat_activity` среднее число соединений `idle in transaction` близко к нулю, ожиданий блокировки меньше, чем «до», а пик успешных RPS выше, чем «до», с непересекающимися интервалами повторов
|
||||
|
||||
#### Scenario: Отстающие часы реплики не ломают порядок
|
||||
|
||||
- **WHEN** часы реплики отстают от отметки последнего сообщения чата
|
||||
- **THEN** новое сообщение получает `created_at` на 1 мкс позже последнего, а история остаётся упорядоченной по `(created_at, id)`
|
||||
|
||||
|
||||
@@ -19,7 +19,7 @@
|
||||
|
||||
## 4. Улучшение
|
||||
|
||||
- [ ] 4.1 Выбор улучшения по узкому месту серии B, запись в `design.md`
|
||||
- [x] 4.1 Выбор улучшения по узкому месту серии B, запись в `design.md`: запись сообщения одним оператором SQL
|
||||
- [ ] 4.2 Реализация улучшения
|
||||
- [ ] 4.3 `make track1-compare`: до и после на той же конфигурации и интенсивностях, ≥3 повтора
|
||||
- [ ] 4.4 Проверка группы: `make lint`, `make student-test`, `make test`
|
||||
|
||||
Reference in New Issue
Block a user