diff --git a/.claude/rules/balancer.md b/.claude/rules/balancer.md index 5c80187c..56a84d83 100644 --- a/.claude/rules/balancer.md +++ b/.claude/rules/balancer.md @@ -98,10 +98,20 @@ paths: - `tune.sndbuf.server 262144` в `global` (change `upload-memory`, решение 6): буфер отправки LB к реплике фиксирован, тело загрузки, которое реплика не читает (ожидание места, отказ до тела), не копится - в памяти LB целиком — пик LB 51 MiB вместо 109 при 40 загрузках по - 10 MiB. Буфер приёма от клиента не ограничен (клиентам с большим RTT - нужен большой); `maxconn` на слот не ставится — менял бы поведение - всех путей лабы 3. + в памяти LB целиком. Рядом — `tune.rcvbuf.client 131072` (apply, + design «Уточнения apply», п. 11): буфер приёма от клиента фиксирован, + иначе ядро растит его до `tcp_rmem` ВМ (32 MiB), и тело, которое LB не + может отдать реплике, копится там — до 9 MiB на сокет клиента, `sock` + LB до 112 MiB при 40 загрузках по 10 MiB. С ним `make + bench_uploads_quick` («с лимитом», 10 MiB): пик LB 35,6 / 41,4 / + 57,3 MiB при C = 1 / 10 / 40 — 0,56 MiB на клиента (было ~2,6 в + метке, отброшенной до правки), очередь приёма сокета клиента ≤ + 0,24 MiB; скорость одного клиента прежняя (11,25 загрузки/с, p50 + 84 мс). Окно 128 KiB даёт ~20 Мбит/с при RTT 50 мс: 10 MiB — за ~4 с + при сроке тела 30 с; клиенту с RTT больше ~370 мс 30 с на 10 MiB не + хватит — ограничение в `REPORT.md`. Буфер приёма LB от реплики + (ответы, скачивание) не меняется. `maxconn` на слот не ставится — + менял бы поведение всех путей лабы 3. - Статистика — страница `/stats` и `/stats;csv` (`stats show-legends`: адрес слота) во `frontend monitor` на `:8404`, там же `monitor-uri /lb/ready` (503, если готовых реплик нет). Только внутри сети diff --git a/AGENTS.md b/AGENTS.md index 66b1c38f..036c8780 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -27,7 +27,7 @@ src.cleaner`, grace 900 с, свой пользователь S3 «чтение `upload-memory` (`openspec/changes/upload-memory/`): места загрузки на процесс API (`[uploads]`: 4 места, очередь 16, ожидание 5 с, затем 429 `rate_limited` с `Retry-After`), срок тела 30 с (400), одна копия тела -при PUT, буферы сокетов реплики 512 KiB и LB 256 KiB, `timeout server` +при PUT, буферы сокетов реплики 512 KiB и LB 256 / 128 KiB, `timeout server` LB пути загрузки 30 с, дренаж замены 90 с, профиль `uploads` стенда `bench/`. План работ, решения и трек «5» — `PLAN.md`. Из лабы 2: PostgreSQL @@ -155,7 +155,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore `BytesIO` без второй копии (`service-layer.md`). Ожидание, тело и проверка — до строки `pending`: граница B уборщика прежняя (17 с). Буфер приёма сокетов `api` — 512 KiB (`sysctls`), буфер отправки LB к - реплике — 256 KiB; `timeout server` пути загрузки 30 с, остальных — 10 + реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB; `timeout server` пути загрузки 30 с, остальных — 10 с; `ROLLOUT_DRAIN_TIMEOUT` 90 с (`balancer.md`, `docker.md`). - `.env`, `config.toml`, секреты, токены и реальные данные не попадают ни в git, ни в образ. В `evidence/` и `REPORT.md` — только обезличенные @@ -458,7 +458,7 @@ migrations/, alembic.ini # ревизии alembic, async env.py; приме infra/ # конфигурации сервисов стенда; README.md — skeleton valkey/valkey.conf # лимит памяти и LRU, persistence выключен s3/bootstrap.sh # bootstrap S3 (сервис s3-bootstrap, network_mode: service:s3): apply — bucket, анонимный доступ none, политики api-objects и cleaner-objects, пользователи api и cleaner с ключами из .env, проверки приватности обоих ключей; check (и строки ключа уборщика) и cleanup — для make s3_check; секреты — stdin weed shell и файл curl на tmpfs - haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене) + haproxy/haproxy.cfg # LB рабочего стенда и bench/: реплики через DNS Docker (8 слотов), проверки /health/ready (inter, fastinter, формулы обнаружения), цепочка таймаутов, http-reuse never (простаивающее соединение закрывает LB), повтор только на conn-failure, ответы LB в формате контракта (400, 502, 503, 504), timeout server 30 с пути загрузки (set-timeout, остальные 10 с), tune.sndbuf.server 256 KiB и tune.rcvbuf.client 128 KiB, мониторинг :8404, runtime API на 127.0.0.1:9999 внутри контейнера (drain / maint / ready при замене) scripts/restart.sh # restart hook для make test-persistence, по restart.example.sh: LB, все реплики api, postgres, valkey, s3 (~25 с); start api повторяет migrate и s3-bootstrap (no-op); уборщика не трогает — рестарт хранилищ он переживает сам scripts/stop-one.sh # failover hook для make test-failover: TARGET_INSTANCE_ID → реплика api этого проекта, STOP_MODE stop или kill, STOP_ONE_LOG scripts/rolling-update.sh # make rolling_update: предусловия (в том числе слоты LB без ручного состояния), сборка (или COMMIT через git archive), миграции один раз в контейнере сервиса migrate, по одной: новая UP в LB → старая drain (до 90 с: дольше загрузки) → maint → stop (код выхода в строке) → rm → слот ready; trap при сбое и Ctrl+C; тот же скрипт — профиль rollout стенда bench/ diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg index 0b96300c..d6c5168b 100644 --- a/infra/haproxy/haproxy.cfg +++ b/infra/haproxy/haproxy.cfg @@ -19,10 +19,15 @@ global stats socket ipv4@127.0.0.1:9999 level admin # буфер отправки к реплике фиксирован (256 KiB): тело загрузки, которое # реплика не читает (ожидание места, отказ до тела), не копится в - # памяти LB целиком — 51 MiB вместо 109 при 40 загрузках по 10 MiB. - # Буфер приёма от клиента не ограничен: клиентам с большим RTT нужен - # большой (design change upload-memory, решение 6) + # памяти LB целиком (design change upload-memory, решение 6) tune.sndbuf.server 262144 + # буфер приёма от клиента тоже фиксирован (128 KiB, в ядре — до + # 256 KiB на сокет): без него ядро растило его до tcp_rmem ВМ (32 MiB), + # и тело, которое LB не может отдать реплике, копилось там — до 9 MiB + # на сокет клиента, sock LB до 112 MiB при 40 загрузках по 10 MiB. + # Окно 128 KiB даёт ~20 Мбит/с при RTT 50 мс: 10 MiB — за ~4 с, срок + # тела 30 с (design change upload-memory, «Уточнения apply», п. 11) + tune.rcvbuf.client 131072 # DNS Docker: имя сервиса api отвечает адресами всех работающих реплик. # Пропавший адрес уходит из слота, новый появляется за 1–2 с без diff --git a/openspec/changes/upload-memory/design.md b/openspec/changes/upload-memory/design.md index 2977d7da..d5fbba1a 100644 --- a/openspec/changes/upload-memory/design.md +++ b/openspec/changes/upload-memory/design.md @@ -775,3 +775,33 @@ git до sync дельт (`student-tests.md`). контейнер сэмплера (образ PostgreSQL) удалялся без `-v` и оставлял анонимный volume `/var/lib/postgresql` на каждый запуск; теперь `stop_sampler` и `Stand.stop()` удаляют его с `-v`. +11. **Буфер приёма LB от клиента — `tune.rcvbuf.client 131072`** + (уточняет решение 6; решение основной сессии после метки `baseline`, + отброшенной из-за `host_warnings` и `dirty`). В той метке пик LB «с + лимитом» на 10 MiB — 38,8 / 83,5 / 107,3 / 139,9 MiB при C = 1 / 10 / + 20 / 40 (~2,6 MiB на клиента), `sock` LB до 112 MiB: сценарий + `load-balancing` «Буферы соединений ограничены» не выполнялся. + Причина — буфер приёма от клиента, который решение 6 оставило без + ограничения: проба `/proc/net/tcp` контейнера LB во время + `bench_uploads_quick` показала у сокетов клиентов очередь приёма до + 9 MiB на сокет и 39 MiB суммарно при C = 40, у сокетов к реплике — до + ~8 MiB (`tune.sndbuf.server`). В пробе design клиент httpx слал + медленнее k6, и рост автонастройки окна был меньше. + + | `tune.rcvbuf.client` | пик LB C = 1 / 10 / 40, MiB | рост на клиента | очередь клиента, max | C = 1: загрузок/с, p50 | + |---|---|---|---|---| + | нет (как было) | 52,5 / 79,1 / 100,9 | 1,24 MiB | 9,0 MiB | 11,4, 82 мс | + | 262144 | 33,8 / 38,3 / 67,7 | 0,87 MiB | 0,48 MiB | 11,05, 85 мс | + | 131072 | 35,6 / 41,4 / 57,3 | 0,56 MiB | 0,24 MiB | 11,25, 84 мс | + + Выбрано 128 KiB — запас до 1 MiB на клиента при 256 KiB тонкий (одна + проба, `uploads_quick`). Скорость одного клиента в сети Docker + прежняя. Цена — окно TCP клиента: ~20 Мбит/с при RTT 50 мс (10 MiB за + ~4 с при сроке тела 30 с); клиенту с RTT больше ~370 мс 10 MiB в 30 с + не уложить — ограничение в `REPORT.md`. Альтернатива — `sysctls` + `net.ipv4.tcp_rmem` у `haproxy` (автонастройка до 512 KiB) — + отвергнута: задела бы и буфер приёма LB от реплики (ответы, + скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что + `tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере + без правки compose. Спек от правки не меняется: сценарий требует ≤ 1 + MiB на клиента, и теперь он выполняется. diff --git a/openspec/changes/upload-memory/tasks.md b/openspec/changes/upload-memory/tasks.md index 142671d9..3df138fe 100644 --- a/openspec/changes/upload-memory/tasks.md +++ b/openspec/changes/upload-memory/tasks.md @@ -381,7 +381,7 @@ ## 10. Прогоны и evidence -- [ ] 10.1 Commit кода (основная сессия, после подтверждения). Затем на +- [x] 10.1 Commit кода (основная сессия, после подтверждения). Затем на рабочем стенде `make rolling_update` и `docker compose up -d --force-recreate haproxy` (design, Migration Plan). Проверка: - `make test`; @@ -391,13 +391,33 @@ - `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для обеих реплик; - `make s3_check`. -- [ ] 10.2 Гипотезы H1–H4 (design, решение 10) — в `REPORT.md`, раздел + + Прогон 2026-10-21 на `6cab9d3`: + - `make rolling_update` — код 0 за 13 с, миграции no-op; дренаж старых + 0 и 1 с, `stop` 1 и 0 с с кодом 0; новые `ab84c041e373` и + `37223e9a9593` (5.3); + - LB — `docker compose up -d --force-recreate --no-deps haproxy` + (`--no-deps`, чтобы не тронуть реплики), `healthy`; в конфигурации + контейнера есть все три новые строки (5.2); + - `/proc/sys/net/ipv4/tcp_rmem` обеих реплик — `4096 131072 524288` + (5.1); + - `make instances` — 6 + 6 по двум репликам; `make test` — PASS; + - `make student_test` через LB — 197 passed, 1 failed — ожидаемо + `test_exclusion_evidence_exists` (6.2), тесты реплик выполнены; + - `make test-persistence` — PASS; + - `make test-failover` — PASS для `ab84c041e373` (120 записей, 0 + отказов, восстановление 1,35 с) и, после `make replicas` и сдвига + очереди, для `37223e9a9593` (120, 0, 1,20 с); `make replicas` после + каждого; + - `make s3_check` — PASS, 68 проверок. +- [x] 10.2 Гипотезы H1–H4 (design, решение 10) — в `REPORT.md`, раздел загрузок, отдельным commit до первого прогона метки (`bench.md`, `COURSE.md`). Проверка: в `git log` commit гипотез раньше метки. Текст гипотез и методики — в `REPORT.md`, «Одновременные загрузки: - гипотезы (change `upload-memory`)» (apply, 2026-10-21); commit — - основная сессия, задача не закрыта до него. + гипотезы (change `upload-memory`)» (apply, 2026-10-21). Commit гипотез + — `511e285`, после commit кода `6cab9d3` и до первого прогона метки + `baseline`. - [ ] 10.3 `make bench_uploads` после проверки хоста (`bench.md`, «Результаты»; рабочий стенд — `make stop`), затем commit метки. Проверка: @@ -407,6 +427,39 @@ Расхождение с гипотезой — не повод править гипотезу: вывод в `REPORT.md`. + + **Первый прогон отброшен** (решение основной сессии), каталог метки + перенесён в scratchpad (`uploads-baseline-discarded/`), в git не + попадает. Прогон 2026-10-21 (`make bench_uploads`, метка `baseline`, + ~46 мин): код 0, 72/72, хост до — питание от сети, свободно 46 %, + рабочий стенд остановлен. Причины отказа от метки: + - `host_warnings`: «host swapped out 337056 pages during the run» + (свободно в конце 32 %, swap +1,36 ГиБ); пометка `host_swap` — у 7 + прогонов (два из них и так `oom`), около 175 тыс. страниц — между + прогонами (смена S3 и реплики); + - `git.dirty: true`: во время замера в дереве была только правка этого + файла (отметки 10.1–10.2), код и стенд — `511e285`. + + Проверки задачи: ячейки «с лимитом» — без `oom` и 5xx; «до» и «без + лимита» на 40 × 10 MiB — `oom` 3/3 (и «до» на 20 × 10 MiB — 3/3). + Гипотезы по сводке: H1, H2, H4 — да; H3 — нет (1 MiB, C = 40: 89 % при + пороге 90 %). Сценарий `load-balancing` «Буферы соединений ограничены» + метка не подтверждает: пик LB при 10 MiB «с лимитом» — 38,8 / 83,5 / + 107,3 / 139,9 MiB при C = 1 / 10 / 20 / 40 (~2,6 MiB на клиента), + `sock` LB до 112 MiB. + + Что взято из отброшенной метки — только рост LB ~2,6 MiB на клиента: + он стал причиной правки LB `tune.rcvbuf.client 131072` (design, + «Уточнения apply», п. 11; проба `bench_uploads_quick` — пик LB «с + лимитом» 35,6 / 41,4 / 57,3 MiB при C = 1 / 10 / 40, 0,56 MiB на + клиента; скорость одного клиента прежняя). Остальные числа в отчёт не + идут: метка снимается заново на чистом дереве после commit правки. + Проверки правки на рабочем стенде (LB пересоздан на порту 8090: 8080 + хоста занят контейнером другого проекта): `make test` — PASS; `make + student_test` через LB — 197 passed, 1 failed (ожидаемо + `test_exclusion_evidence_exists`); `driver.py lb-upload-timeouts` — + код 0; `make test-failover` для `ab84c041e373` — PASS (120 записей, + 0 отказов, 1,22 с). - [ ] 10.4 `driver.py lb-upload-timeouts` → `evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по одной на реплику) во время `make rolling_update` →