fix: cap the LB client receive buffer so stalled upload bodies stay small

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-22 02:03:20 +03:00
co-authored by Claude Opus 5.5
parent 511e28590b
commit 97a4be4951
5 changed files with 112 additions and 14 deletions
+14 -4
View File
@@ -98,10 +98,20 @@ paths:
- `tune.sndbuf.server 262144` в `global` (change `upload-memory`,
решение 6): буфер отправки LB к реплике фиксирован, тело загрузки,
которое реплика не читает (ожидание места, отказ до тела), не копится
в памяти LB целиком — пик LB 51 MiB вместо 109 при 40 загрузках по
10 MiB. Буфер приёма от клиента не ограничен (клиентам с большим RTT
нужен большой); `maxconn` на слот не ставится — менял бы поведение
всех путей лабы 3.
в памяти LB целиком. Рядом — `tune.rcvbuf.client 131072` (apply,
design «Уточнения apply», п. 11): буфер приёма от клиента фиксирован,
иначе ядро растит его до `tcp_rmem` ВМ (32 MiB), и тело, которое LB не
может отдать реплике, копится там — до 9 MiB на сокет клиента, `sock`
LB до 112 MiB при 40 загрузках по 10 MiB. С ним `make
bench_uploads_quick` («с лимитом», 10 MiB): пик LB 35,6 / 41,4 /
57,3 MiB при C = 1 / 10 / 40 — 0,56 MiB на клиента (было ~2,6 в
метке, отброшенной до правки), очередь приёма сокета клиента ≤
0,24 MiB; скорость одного клиента прежняя (11,25 загрузки/с, p50
84 мс). Окно 128 KiB даёт ~20 Мбит/с при RTT 50 мс: 10 MiB — за ~4 с
при сроке тела 30 с; клиенту с RTT больше ~370 мс 30 с на 10 MiB не
хватит — ограничение в `REPORT.md`. Буфер приёма LB от реплики
(ответы, скачивание) не меняется. `maxconn` на слот не ставится —
менял бы поведение всех путей лабы 3.
- Статистика — страница `/stats` и `/stats;csv` (`stats show-legends`:
адрес слота) во `frontend monitor` на `:8404`, там же `monitor-uri
/lb/ready` (503, если готовых реплик нет). Только внутри сети
+3 -3
View File
@@ -27,7 +27,7 @@ src.cleaner`, grace 900 с, свой пользователь S3 «чтение
`upload-memory` (`openspec/changes/upload-memory/`): места загрузки на
процесс API (`[uploads]`: 4 места, очередь 16, ожидание 5 с, затем 429
`rate_limited` с `Retry-After`), срок тела 30 с (400), одна копия тела
при PUT, буферы сокетов реплики 512 KiB и LB 256 KiB, `timeout server`
при PUT, буферы сокетов реплики 512 KiB и LB 256 / 128 KiB, `timeout server`
LB пути загрузки 30 с, дренаж замены 90 с, профиль `uploads` стенда
`bench/`. План работ, решения и
трек «5» — `PLAN.md`. Из лабы 2: PostgreSQL
@@ -155,7 +155,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
`BytesIO` без второй копии (`service-layer.md`). Ожидание, тело и
проверка — до строки `pending`: граница B уборщика прежняя (17 с).
Буфер приёма сокетов `api` — 512 KiB (`sysctls`), буфер отправки LB к
реплике — 256 KiB; `timeout server` пути загрузки 30 с, остальных — 10
реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB; `timeout server` пути загрузки 30 с, остальных — 10
с; `ROLLOUT_DRAIN_TIMEOUT` 90 с (`balancer.md`, `docker.md`).
- `.env`, `config.toml`, секреты, токены и реальные данные не попадают ни
в git, ни в образ. В `evidence/` и `REPORT.md` — только обезличенные
@@ -458,7 +458,7 @@ migrations/, alembic.ini # ревизии alembic, async env.py; приме
infra/ # конфигурации сервисов стенда; README.md — skeleton
valkey/valkey.conf # лимит памяти и LRU, persistence выключен
s3/bootstrap.sh # bootstrap S3 (сервис s3-bootstrap, network_mode: service:s3): apply — bucket, анонимный доступ none, политики api-objects и cleaner-objects, пользователи api и cleaner с ключами из .env, проверки приватности обоих ключей; check (и строки ключа уборщика) и cleanup — для make s3_check; секреты — stdin weed shell и файл curl на tmpfs
haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене)
haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB и tune.rcvbuf.client 128 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене)
scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам
scripts/stop-one.sh # failover hook для make test-failover: TARGET_INSTANCE_ID → реплика api этого проекта, STOP_MODE stop или kill, STOP_ONE_LOG
scripts/rolling-update.sh # make rolling_update: предусловия (в том числе слоты LB без ручного состояния), сборка (или COMMIT через git archive), миграции один раз в контейнере сервиса migrate, по одной: новая UP в LB → старая drain (до 90 с: дольше загрузки) → maint → stop (код выхода в строке) → rm → слот ready; trap при сбое и Ctrl+C; тот же скрипт — профиль rollout стенда bench/
+8 -3
View File
@@ -19,10 +19,15 @@ global
stats socket ipv4@127.0.0.1:9999 level admin
# буфер отправки к реплике фиксирован (256 KiB): тело загрузки, которое
# реплика не читает (ожидание места, отказ до тела), не копится в
# памяти LB целиком — 51 MiB вместо 109 при 40 загрузках по 10 MiB.
# Буфер приёма от клиента не ограничен: клиентам с большим RTT нужен
# большой (design change upload-memory, решение 6)
# памяти LB целиком (design change upload-memory, решение 6)
tune.sndbuf.server 262144
# буфер приёма от клиента тоже фиксирован (128 KiB, в ядре — до
# 256 KiB на сокет): без него ядро растило его до tcp_rmem ВМ (32 MiB),
# и тело, которое LB не может отдать реплике, копилось там — до 9 MiB
# на сокет клиента, sock LB до 112 MiB при 40 загрузках по 10 MiB.
# Окно 128 KiB даёт ~20 Мбит/с при RTT 50 мс: 10 MiB — за ~4 с, срок
# тела 30 с (design change upload-memory, «Уточнения apply», п. 11)
tune.rcvbuf.client 131072
# DNS Docker: имя сервиса api отвечает адресами всех работающих реплик.
# Пропавший адрес уходит из слота, новый появляется за 1–2 с без
+30
View File
@@ -775,3 +775,33 @@ git до sync дельт (`student-tests.md`).
контейнер сэмплера (образ PostgreSQL) удалялся без `-v` и оставлял
анонимный volume `/var/lib/postgresql` на каждый запуск; теперь
`stop_sampler` и `Stand.stop()` удаляют его с `-v`.
11. **Буфер приёма LB от клиента — `tune.rcvbuf.client 131072`**
(уточняет решение 6; решение основной сессии после метки `baseline`,
отброшенной из-за `host_warnings` и `dirty`). В той метке пик LB «с
лимитом» на 10 MiB — 38,8 / 83,5 / 107,3 / 139,9 MiB при C = 1 / 10 /
20 / 40 (~2,6 MiB на клиента), `sock` LB до 112 MiB: сценарий
`load-balancing` «Буферы соединений ограничены» не выполнялся.
Причина — буфер приёма от клиента, который решение 6 оставило без
ограничения: проба `/proc/net/tcp` контейнера LB во время
`bench_uploads_quick` показала у сокетов клиентов очередь приёма до
9 MiB на сокет и 39 MiB суммарно при C = 40, у сокетов к реплике — до
~8 MiB (`tune.sndbuf.server`). В пробе design клиент httpx слал
медленнее k6, и рост автонастройки окна был меньше.
| `tune.rcvbuf.client` | пик LB C = 1 / 10 / 40, MiB | рост на клиента | очередь клиента, max | C = 1: загрузок/с, p50 |
|---|---|---|---|---|
| нет (как было) | 52,5 / 79,1 / 100,9 | 1,24 MiB | 9,0 MiB | 11,4, 82 мс |
| 262144 | 33,8 / 38,3 / 67,7 | 0,87 MiB | 0,48 MiB | 11,05, 85 мс |
| 131072 | 35,6 / 41,4 / 57,3 | 0,56 MiB | 0,24 MiB | 11,25, 84 мс |
Выбрано 128 KiB — запас до 1 MiB на клиента при 256 KiB тонкий (одна
проба, `uploads_quick`). Скорость одного клиента в сети Docker
прежняя. Цена — окно TCP клиента: ~20 Мбит/с при RTT 50 мс (10 MiB за
~4 с при сроке тела 30 с); клиенту с RTT больше ~370 мс 10 MiB в 30 с
не уложить — ограничение в `REPORT.md`. Альтернатива — `sysctls`
`net.ipv4.tcp_rmem` у `haproxy` (автонастройка до 512 KiB) —
отвергнута: задела бы и буфер приёма LB от реплики (ответы,
скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что
`tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере
без правки compose. Спек от правки не меняется: сценарий требует ≤ 1
MiB на клиента, и теперь он выполняется.
+57 -4
View File
@@ -381,7 +381,7 @@
## 10. Прогоны и evidence
- [ ] 10.1 Commit кода (основная сессия, после подтверждения). Затем на
- [x] 10.1 Commit кода (основная сессия, после подтверждения). Затем на
рабочем стенде `make rolling_update` и `docker compose up -d
--force-recreate haproxy` (design, Migration Plan). Проверка:
- `make test`;
@@ -391,13 +391,33 @@
- `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для обеих
реплик;
- `make s3_check`.
- [ ] 10.2 Гипотезы H1–H4 (design, решение 10) — в `REPORT.md`, раздел
Прогон 2026-10-21 на `6cab9d3`:
- `make rolling_update` — код 0 за 13 с, миграции no-op; дренаж старых
0 и 1 с, `stop` 1 и 0 с с кодом 0; новые `ab84c041e373` и
`37223e9a9593` (5.3);
- LB — `docker compose up -d --force-recreate --no-deps haproxy`
(`--no-deps`, чтобы не тронуть реплики), `healthy`; в конфигурации
контейнера есть все три новые строки (5.2);
- `/proc/sys/net/ipv4/tcp_rmem` обеих реплик — `4096 131072 524288`
(5.1);
- `make instances` — 6 + 6 по двум репликам; `make test` — PASS;
- `make student_test` через LB — 197 passed, 1 failed — ожидаемо
`test_exclusion_evidence_exists` (6.2), тесты реплик выполнены;
- `make test-persistence` — PASS;
- `make test-failover` — PASS для `ab84c041e373` (120 записей, 0
отказов, восстановление 1,35 с) и, после `make replicas` и сдвига
очереди, для `37223e9a9593` (120, 0, 1,20 с); `make replicas` после
каждого;
- `make s3_check` — PASS, 68 проверок.
- [x] 10.2 Гипотезы H1–H4 (design, решение 10) — в `REPORT.md`, раздел
загрузок, отдельным commit до первого прогона метки (`bench.md`,
`COURSE.md`). Проверка: в `git log` commit гипотез раньше метки.
Текст гипотез и методики — в `REPORT.md`, «Одновременные загрузки:
гипотезы (change `upload-memory`)» (apply, 2026-10-21); commit —
основная сессия, задача не закрыта до него.
гипотезы (change `upload-memory`)» (apply, 2026-10-21). Commit гипотез
— `511e285`, после commit кода `6cab9d3` и до первого прогона метки
`baseline`.
- [ ] 10.3 `make bench_uploads` после проверки хоста (`bench.md`,
«Результаты»; рабочий стенд — `make stop`), затем commit метки.
Проверка:
@@ -407,6 +427,39 @@
Расхождение с гипотезой — не повод править гипотезу: вывод в
`REPORT.md`.
**Первый прогон отброшен** (решение основной сессии), каталог метки
перенесён в scratchpad (`uploads-baseline-discarded/`), в git не
попадает. Прогон 2026-10-21 (`make bench_uploads`, метка `baseline`,
~46 мин): код 0, 72/72, хост до — питание от сети, свободно 46 %,
рабочий стенд остановлен. Причины отказа от метки:
- `host_warnings`: «host swapped out 337056 pages during the run»
(свободно в конце 32 %, swap +1,36 ГиБ); пометка `host_swap` — у 7
прогонов (два из них и так `oom`), около 175 тыс. страниц — между
прогонами (смена S3 и реплики);
- `git.dirty: true`: во время замера в дереве была только правка этого
файла (отметки 10.1–10.2), код и стенд — `511e285`.
Проверки задачи: ячейки «с лимитом» — без `oom` и 5xx; «до» и «без
лимита» на 40 × 10 MiB — `oom` 3/3 (и «до» на 20 × 10 MiB — 3/3).
Гипотезы по сводке: H1, H2, H4 — да; H3 — нет (1 MiB, C = 40: 89 % при
пороге 90 %). Сценарий `load-balancing` «Буферы соединений ограничены»
метка не подтверждает: пик LB при 10 MiB «с лимитом» — 38,8 / 83,5 /
107,3 / 139,9 MiB при C = 1 / 10 / 20 / 40 (~2,6 MiB на клиента),
`sock` LB до 112 MiB.
Что взято из отброшенной метки — только рост LB ~2,6 MiB на клиента:
он стал причиной правки LB `tune.rcvbuf.client 131072` (design,
«Уточнения apply», п. 11; проба `bench_uploads_quick` — пик LB «с
лимитом» 35,6 / 41,4 / 57,3 MiB при C = 1 / 10 / 40, 0,56 MiB на
клиента; скорость одного клиента прежняя). Остальные числа в отчёт не
идут: метка снимается заново на чистом дереве после commit правки.
Проверки правки на рабочем стенде (LB пересоздан на порту 8090: 8080
хоста занят контейнером другого проекта): `make test` — PASS; `make
student_test` через LB — 197 passed, 1 failed (ожидаемо
`test_exclusion_evidence_exists`); `driver.py lb-upload-timeouts` —
код 0; `make test-failover` для `ab84c041e373` — PASS (120 записей,
0 отказов, 1,22 с).
- [ ] 10.4 `driver.py lb-upload-timeouts` →
`evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по
одной на реплику) во время `make rolling_update` →