diff --git a/.claude/rules/bench.md b/.claude/rules/bench.md index a1044d75..ff4268e7 100644 --- a/.claude/rules/bench.md +++ b/.claude/rules/bench.md @@ -363,7 +363,11 @@ docker — `bench/uploads.py` (`--selftest`). окна, пик старта, наибольшие `anon` и `sock`, `oom_kill`, код выхода и `OOMKilled`, ответы по кодам, загрузок 201/с, p50/p95/p99, пики S3 и LB, пометки), `summary.md` (медиана и min–max по ячейкам, сценарии - спеков, H1–H4 с итогом), `raw/<прогон>-k6.json`, `raw/<прогон>-peak.log`. + спеков — с ростом на клиента и итогом «Буферы соединений ограничены» + по сумме роста LB и `sock` реплики от C = 1 до 40, H1–H4 с итогом + только по ячейкам гипотез; у метки `baseline` этих строк ещё нет — + design, «Уточнения apply», пп. 12–13), `raw/<прогон>-k6.json`, + `raw/<прогон>-peak.log`. `quick-uploads-*` — в `.gitignore`. - **Время:** полный профиль — 72 прогона, ~50 мин; `uploads_quick` — «без лимита» и «с лимитом», 10 MiB, C ∈ {1, 10, 40}, один повтор, diff --git a/.claude/rules/settings.md b/.claude/rules/settings.md index 46129797..42fa9a51 100644 --- a/.claude/rules/settings.md +++ b/.claude/rules/settings.md @@ -180,7 +180,7 @@ make env_setup»). Значение уже существующей переме `max_waiting` (int, `ge=0`, 16; 0 — без очереди, сразу 429), `wait_timeout_seconds` (float, `gt=0`, 5), `body_timeout_seconds` (float, `gt=0`, 30). Значения — в `config.toml`, разовая подмена — -`UPLOADS__*` (стенд отказов — 1 / 1 / 1 / 2 у третьего API, профиль +`UPLOADS__*` (стенд отказов — 1 / 1 / 1 / 3 у третьего API, профиль `uploads` — 1000 / 0 у варианта «без лимита»). Настройки, а не константы: у установок разный лимит памяти. Неверное значение — ошибка проверки настроек с именем поля, сервис не стартует. «Started @@ -192,7 +192,14 @@ API» называет все четыре. - `wait_timeout_seconds` 5 — молчание реплики до тела `2 × [database] request_timeout_seconds + wait_timeout_seconds` = 17 с меньше `timeout server` LB пути загрузки (30 с, `balancer.md`); при смене любого из - них пересчитать цепочку; + них пересчитать цепочку. **Проверки соотношения при старте нет** (в + отличие от grace уборщика): `timeout server` живёт в `haproxy.cfg`, и + процесс API его не знает. Поэтому `wait_timeout_seconds` больше `30 − + 2 × request_timeout_seconds` = 18 с сервис примет молча, а ожидающая + загрузка получит 504 от LB вместо 429 реплики (design change + `upload-memory`, «Уточнения apply», п. 14). То же для молчания после + тела (≈ 26 с): бо́льшие `request_timeout_seconds` и `[s3] + timeout_seconds` выводят его за 30 с так же молча; - `body_timeout_seconds` 30 — один срок на всё тело с момента, как загрузка заняла место (не срок простоя: клиент по байту раз в 29 с держал бы место вечно). Наибольшая длительность загрузки 17 + 30 + 26 diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index 69e3c242..c0ff75ea 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -180,12 +180,14 @@ paths: требует `Retry-After` — положительное целое; - третий API стенда отказов — «узкий по загрузкам» (`<проект>-api-uploads`, `UPLOADS_ENV` в `run_failures.py`: 1 место, - 1 в очереди, ожидание 1 с, срок тела 2 с), тестам — + 1 в очереди, ожидание 1 с, срок тела 3 с), тестам — `FAULT_UPLOADS_BASE_URL` (фикстура `uploads_api`, срок клиента 30 с) и `FAULT_UPLOADS_ENV`; тесты сверяют, что стенд запущен с этим окружением (`assert_uploads_stand`). Место держит загрузка A (`held_slot`): генератор тела отдаёт половину и ждёт - `threading.Event`; A отпускается до истечения её срока тела (2 с); + `threading.Event`; A отпускается до истечения её срока тела (3 с: + в `test_upload_slots_busy` A держит место ~1,3–1,5 с, при 2 с запас + был ~0,5 с — verify, S5); - тесты (`fault`): `test_upload_slots_busy` (B ждёт, C сразу 429 < 0,5 с, B — 429 не раньше 1 с, `Retry-After` ≥ 1; из трёх загрузок новая строка и объект — только у A), `test_rejections_before_queue` (при @@ -280,7 +282,7 @@ paths: идемпотентности 2 с, пул 1, короткие таймауты) и с change `upload-memory` «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`, `UPLOADS_ENV` → `FAULT_UPLOADS_ENV`: 1 место, 1 в очереди, ожидание - 1 с, срок тела 2 с); без любого из трёх адресов `pytest -m fault` + 1 с, срок тела 3 с); без любого из трёх адресов `pytest -m fault` останавливается до первого теста; при падении печатаются журналы всех трёх; - уборщик (с лабы 4): после bootstrap — `up -d --no-deps cleaner` с diff --git a/AGENTS.md b/AGENTS.md index 036c8780..fc3db632 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -41,8 +41,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи — трек 2 лабы 2 (план запроса и восстановление), профили `failover` и `rollout`, серии трека 1 лабы 3 (`scaling-bench`, `scaling-improvement`, `profile-resources`). Changes лаб 2 и 3 и `s3-storage`, `attachments`, -`upload-consistency` лабы 4 — в `openspec/changes/archive/`, активных -нет, спеки синхронизированы (новые capability: с `s3-storage` — +`upload-consistency` лабы 4 — в `openspec/changes/archive/`; активен +один `upload-memory` (до archive), спеки синхронизированы, в том числе с +его дельтами (новые capability: с `s3-storage` — `object-storage`, с `attachments` — `attachments`, с `upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её diff --git a/PLAN.md b/PLAN.md index 6e6b6e35..91974741 100644 --- a/PLAN.md +++ b/PLAN.md @@ -1056,6 +1056,27 @@ apply»; вопрос 1 открыт — сделано 429, как по умо повторов, искажено только время (9,95 загрузки/с против ~11,0, p95 2 815 мс против ~2 050); медиана ячейки и выводы H1–H4 от него не зависят. Предупреждение названо в `REPORT.md`. +21. **Правки по verify (2026-10-22, tasks, группа 11; design, «Уточнения + apply», пп. 12–16).** Метка `baseline` не переснимается; числа, + которых нет в её сводке, `REPORT.md` даёт формулой из её ячеек. + - Разбор сводки: H1 считает 429, OOM и 5xx только по ячейкам + гипотезы (10 MiB, C = 10, 20, 40: у `baseline` 429 — 1 351, а не + 2 731 обоих тел) и печатает рост сверх C = 10 на клиента; + «Буферы соединений ограничены» — своя строка с вердиктом по сумме + роста LB и `sock` реплики от C = 1 до 40 (у `baseline` 0,56 + 0,39 = + 0,95 MiB при пороге 1). + - Спеки: в требовании срока пути загрузки — буфер приёма LB от + клиента 128 KiB; «Лимит размера до чтения тела» — одна копия тела и + блоки чтения, рост пика ≤ 1,5 тела (как в сценарии). + - Проверки соотношения `wait_timeout_seconds` и `timeout server` LB + при старте нет: LB-значение API не знает; соотношение — в + `settings.md` и `config_example.toml`. + - Срок тела «узкого» API стенда отказов — 3 с вместо 2 с: запас + держателя места в `test_upload_slots_busy` был ~0,5 с. Evidence + `failure-checks.md` — переснять после commit. + - `REPORT.md`: таблица 1 MiB, числа и commit строк тестов + (`ce1ae2c`), ограничение «оборванный клиент в очереди держит место + очереди до срока ожидания». #### Вопросы diff --git a/REPORT.md b/REPORT.md index 011dca7b..df215fa2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -461,8 +461,9 @@ LB — `tune.sndbuf.server 262144` (буфер отправки к реплик `tune.rcvbuf.client 131072` (буфер приёма от клиента). Второй добавлен после первой метки профиля: в ней пик LB рос на ~2,6 MiB на клиента, очередь приёма сокета клиента — до 9 MiB (`97a4be4`; design, «Уточнения -apply», п. 11). С ним — 0,56 MiB на клиента, скорость одного клиента -прежняя. +apply», п. 11). С ним в метке `baseline` пик LB «с лимитом» 10 MiB растёт +на (52,3 − 30,5) / 39 = 0,56 MiB на клиента от 1 до 40 клиентов (ячейки +`summary.md`), скорость одного клиента прежняя. **Цепочка таймаутов пути загрузки** (решение 7): @@ -607,7 +608,13 @@ failure_checks` (`evidence/tests/student-test-lb.md`, `evidence/attachments/cleaner-process.md`; `make test`, `make student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и `driver.py upload-consistency` на этом коде — PASS, их файлы остались с -`87c48b9` и `5b42bd2`: правка их шагов не меняет. +`87c48b9` и `5b42bd2`: правка их шагов не меняет. Строки памяти и сроков +загрузки (change `upload-memory`) — с `ce1ae2c` (код `97a4be4`): метка +`evidence/uploads/baseline/`, `evidence/uploads/lb-timeouts.md` и +`rollout-upload.md`; с того же commit переснято `make failure_checks` +(37 / 37), `make test_isolated` и `make student_test` через LB +(`evidence/tests/`), поэтому строки тестов рубрики и отказов S3 в таблице +называют `ce1ae2c`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -618,8 +625,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и | «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` | | «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` | | «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` | -| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | -| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`5889ca2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | +| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | +| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`ce1ae2c`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | | «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | | «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` | | «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | @@ -641,8 +648,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и | «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` | | Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` | | «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` | -| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | -| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше 2 с — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | +| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с в прогоне `ce1ae2c`; с правки по verify — 3 с, запас держателя места) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | +| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше срока тела стенда (2 с в прогоне `ce1ae2c`) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | | «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | | «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` | | «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` | @@ -756,21 +763,42 @@ change `upload-memory` (Context, «Пробы»), а не из метки. Ра | с лимитом | 20 | 177,3 | 0/3 | 269 | 0 | 0 | 10,90 | 2 059 | 42,9 | | с лимитом | 40 | 181,3 | 0/3 | 269 | 452 | 0 | 11,00 | 2 092 | 52,3 | -Тело ~1 MiB, загрузок/с при 10 / 20 / 40 клиентах: «без лимита» 128,30 / -131,75 / 131,95, «с лимитом» 124,00 / 118,75 / 119,60; пик «с лимитом» — -119,7 / 127,0 / 132,2 MiB. Память до окна во всех ячейках — ~105 MiB, -пик старта реплики (фиктивный хэш пароля, разогрев) — ~152,6 MiB и в пик -окна не входит. +Те же медианы, тело ~1 MiB (OOM нет ни в одной ячейке, 5xx — 0): + +| Вариант | C | Пик, MiB | OOM | 201 | 429 | 5xx | Загрузок/с | p95, мс | Пик LB, MiB | +| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- | +| до | 1 | 110,0 | 0/3 | 1 445 | 0 | 0 | 62,85 | 17 | 30,8 | +| до | 10 | 136,8 | 0/3 | 2 976 | 0 | 0 | 129,85 | 108 | 34,4 | +| до | 20 | 153,0 | 0/3 | 2 950 | 0 | 0 | 127,85 | 196 | 37,6 | +| до | 40 | 199,2 | 0/3 | 3 043 | 0 | 0 | 132,15 | 365 | 52,8 | +| без лимита | 1 | 109,0 | 0/3 | 1 477 | 0 | 0 | 64,05 | 17 | 30,8 | +| без лимита | 10 | 127,1 | 0/3 | 2 946 | 0 | 0 | 128,30 | 107 | 34,8 | +| без лимита | 20 | 138,0 | 0/3 | 3 026 | 0 | 0 | 131,75 | 203 | 37,4 | +| без лимита | 40 | 163,2 | 0/3 | 3 045 | 0 | 0 | 131,95 | 367 | 52,7 | +| с лимитом | 1 | 109,0 | 0/3 | 1 480 | 0 | 0 | 64,20 | 17 | 30,5 | +| с лимитом | 10 | 119,7 | 0/3 | 2 822 | 0 | 0 | 124,00 | 106 | 34,6 | +| с лимитом | 20 | 127,0 | 0/3 | 2 728 | 0 | 0 | 118,75 | 211 | 38,3 | +| с лимитом | 40 | 132,2 | 0/3 | 2 751 | 460 | 0 | 119,60 | 210 | 52,5 | + +Память до окна во всех ячейках — ~105 MiB, пик старта реплики (фиктивный +хэш пароля, разогрев) — ~152,6 MiB и в пик окна не входит. Выводы (строки «Гипотезы» и «Сценарии спеков» `summary.md`): - **H1 — подтверждена.** «С лимитом» пик 169,5 / 177,3 / 181,3 MiB при 10 - / 20 / 40 клиентах — меньше половины лимита (256 MiB); сверх C = 10 — - 0,39 MiB на клиента (порог 1); OOM 0, 5xx 0, лишние загрузки — 429 (2 - 731 за ячейки 10 MiB). Сценарий `attachments` «Память не растёт с - числом загрузок» выполнен; `load-balancing` «Буферы соединений - ограничены» — пик LB 30,5 → 52,3 MiB от 1 до 40 клиентов (0,56 MiB на - клиента), буферы сокетов реплики ≤ 19,6 MiB. + / 20 / 40 клиентах — меньше половины лимита (256 MiB); рост сверх C = 10 + на клиента — (177,3 − 169,5) / 10 = 0,78 MiB при C = 20 и (181,3 − + 169,5) / 30 = 0,39 MiB при C = 40 (порог 1); OOM 0, 5xx 0, лишние + загрузки — 429 (1 351 за ячейки 10 MiB, строка «Сценарии спеков»). + Строка H1 сводки метки считает 429 по обоим телам и C = 1 (2 731): так + разбор сводки работал до правки по verify, новые метки считают только + ячейки гипотезы. Сценарий `attachments` «Память не растёт с числом + загрузок» выполнен. `load-balancing` «Буферы соединений ограничены» + (C = 1 → 40, ячейки «с лимитом» 10 MiB) — пик LB (52,3 − 30,5) / 39 = + 0,56 MiB на клиента, `sock` реплики (19,4 − 4,1) / 39 = 0,39 MiB, в + сумме 0,95 MiB при пороге 1 MiB, OOM 0: выполнен. Вердикта по нему в + сводке метки нет — его строку разбор пишет с правки по verify, числа + выше — из ячеек той же сводки. - **H2 — подтверждена.** «Без лимита»: 1,20 тела на клиента при C = 10 и 1,13 при C = 20 (чуть ниже ожидаемых 1,2–1,3), при 40 × 10 MiB — OOM 3/3. «До»: 2,17 тела на клиента при C = 10 — вторая копия тела при PUT, @@ -898,6 +926,12 @@ S3 (change `s3-storage`): другой места есть; LB 429 не повторяет. Сглаживают очередь (16) и `Retry-After: 1` — повтор клиента уходит на следующую реплику (round-robin). Общей очереди на стенд нет. +- **Оборванный клиент в очереди держит её место до срока ожидания** + (5 с): обрыв соединения API замечает, только когда начинает читать + тело, то есть получив место. Пока такая загрузка ждёт, новая может + получить 429 при полной очереди; затем она берёт место, сразу + заканчивается `interrupted` и отпускает его (проба verify). Места + загрузки она не держит дольше обычной. - **429 или 503 — вопрос преподавателю открыт** (`PLAN.md`, «Вопросы», п. 1). Ответ «503» поменяет строку таблицы ошибок, сценарии спеков и ожидания тестов, но не подход. diff --git a/bench/uploads.py b/bench/uploads.py index 5647d2ec..b2f7c3d6 100644 --- a/bench/uploads.py +++ b/bench/uploads.py @@ -461,6 +461,25 @@ def per_client_bodies(row: dict[str, Any]) -> float | None: return (peak - before) * MIB / body / clients +def growth_per_client( + base: float | None, + value: float | None, + clients: int, +) -> float | None: + """Рост медианы ячейки над базовой ячейкой на клиента, MiB.""" + if base is None or value is None or clients <= 0: + return None + return (value - base) / clients + + +def cell_median( + grouped: dict[tuple[str, str, int], list[dict[str, Any]]], + key: tuple[str, str, int], + column: str, +) -> float | None: + return median(num(r.get(column)) for r in grouped.get(key, [])) + + def hypotheses( rows: list[dict[str, Any]], *, @@ -480,19 +499,20 @@ def hypotheses( out = [] # H1: с лимитом пик ≤ половины лимита, рост сверх C=10 ≤ 1 MiB на - # клиента, OOM и 5xx нет, лишние — 429 - limited = [r for r in rows if r["variant"] == "limited"] + # клиента, OOM и 5xx нет, лишние — 429. Всё — по ячейкам тела big и + # C = 10, 20, 40, как в тексте гипотезы (метка baseline считала OOM, + # 5xx и 429 по всем размерам и C = 1) levels = [c for c in (10, 20, 40) if group("limited", big, c)] if levels: + limited = [r for c in levels for r in group("limited", big, c)] peaks = {c: peak("limited", c) for c in levels} base = peaks.get(10) - growth_ok = all( - base is not None - and peaks[c] is not None - and peaks[c] - base <= (c - 10) + growth = { + c: growth_per_client(base, peaks[c], c - 10) for c in levels if c > 10 - ) + } + growth_ok = all(v is not None and v <= 1 for v in growth.values()) half_ok = all( v is not None and v <= memory_limit_mib / 2 for v in peaks.values() ) @@ -508,8 +528,13 @@ def hypotheses( "и 5xx нет, лишние — 429", "numbers": "пик, MiB: " + ", ".join(f"C={c} {fmt(peaks[c])}" for c in levels) - + f" (половина лимита {memory_limit_mib / 2:g}); OOM " - f"{oom}, 5xx {fives}, 429 {busy}", + + f" (половина лимита {memory_limit_mib / 2:g}); сверх " + "C=10, MiB на клиента: " + + ( + ", ".join(f"C={c} {fmt(v, 2)}" for c, v in growth.items()) + or "—" + ) + + f"; OOM {oom}, 5xx {fives}, 429 {busy}", "result": "да" if verdict else "нет", }, ) @@ -749,16 +774,34 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]: lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)] if any(lim): flat = [r for items in lim for r in items] + base = cell_median(grouped, ("limited", big, 10), "peak_mib") + over = [ + f"C={c} " + + fmt( + growth_per_client( + base, + cell_median(grouped, ("limited", big, c), "peak_mib"), + c - 10, + ), + 2, + ) + for c, items in zip((20, 40), lim[1:], strict=True) + if items + ] lines.append( - "- `attachments`, «Память не растёт с числом загрузок» и " - "`load-balancing`, «Буферы соединений ограничены» («с лимитом», " - f"{big}): пик реплики " + "- `attachments`, «Память не растёт с числом загрузок» («с " + f"лимитом», {big}): пик реплики " + ", ".join( f"C={c} {fmt(median(num(r['peak_mib']) for r in items))}" for c, items in zip((10, 20, 40), lim, strict=True) if items ) - + " MiB, sock " + + ( + " MiB (сверх C=10, MiB на клиента: " + ", ".join(over) + ")" + if over + else " MiB" + ) + + ", sock " + ", ".join( f"C={c} {fmt(median(num(r['sock_max_mib']) for r in items))}" for c, items in zip((10, 20, 40), lim, strict=True) @@ -774,10 +817,52 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]: f"{sum(errors_5xx(r) for r in flat)}, 429 " f"{sum(int(num(r.get('s429')) or 0) for r in flat)}.", ) + lines.append(buffers_line(grouped, big)) lines.append("") return lines +def buffers_line( + grouped: dict[tuple[str, str, int], list[dict[str, Any]]], + big: str, +) -> str: + """`load-balancing`, «Буферы соединений ограничены»: рост медианы пика + LB и наибольшего `sock` реплики «с лимитом» от C = 1 до C = 40 на + клиента; выполнен, если их сумма ≤ 1 MiB и при C = 40 нет OOM. + Сумма — строже прочтения «каждый ≤ 1 MiB» (design, «Уточнения apply», + п. 13).""" + one, top = ("limited", big, 1), ("limited", big, 40) + name = ( + "- `load-balancing`, «Буферы соединений ограничены» («с лимитом», " + f"{big}, C = 1 → 40): " + ) + if not grouped.get(one) or not grouped.get(top): + return name + "нет данных (нужны ячейки C = 1 и C = 40)." + parts, total = [], 0.0 + for column, label in ( + ("lb_peak_mib", "пик LB"), + ("sock_max_mib", "sock"), + ): + a = cell_median(grouped, one, column) + b = cell_median(grouped, top, column) + slope = growth_per_client(a, b, 39) + if slope is None: + return name + f"нет данных ({label})." + total += slope + parts.append( + f"{label} ({fmt(b)} − {fmt(a)}) / 39 = {fmt(slope, 2)} MiB на " + "клиента", + ) + ooms = sum(is_oom(r) for r in grouped[top]) + verdict = "да" if total <= 1 and not ooms else "нет" + return ( + name + + "; ".join(parts) + + f"; сумма {fmt(total, 2)} (порог 1 MiB на клиента), OOM при " + f"C = 40 {ooms}/{len(grouped[top])}; выполнен — {verdict}." + ) + + # --------------------------------------------------------------- selftest @@ -912,19 +997,24 @@ def selftest() -> int: return {**base, **extra} rows = [ + synth("limited", 1, 120, s429=7, lb_peak_mib=30, sock_max_mib=4), synth("limited", 10, 170), synth("limited", 20, 178, s429=5), synth("limited", 40, 180, s429=60), + # другое тело: в H1 не входит ни 429, ни OOM + synth("limited", 40, 140, size="1MiB", s429=1000, flags="oom"), synth("unlimited", 10, 230), synth("unlimited", 20, 350), synth("unlimited", 40, 512, flags="oom"), synth("before", 10, 316), synth("before", 20, 512, flags="oom"), ] - result = { - h["id"]: h["result"] - for h in hypotheses(rows, memory_limit_mib=512, big="10MiB") - } + checked = hypotheses(rows, memory_limit_mib=512, big="10MiB") + result = {h["id"]: h["result"] for h in checked} + h1 = checked[0]["numbers"] + expect("H1 429 of big body, C >= 10", "429 65" in h1, True) + expect("H1 OOM of big body", "OOM 0," in h1, True) + expect("H1 growth", "C=20 0.80, C=40 0.33" in h1, True) expect("H1", result["H1"], "да") expect("H2", result["H2"], "да") expect("H3", result["H3"], "да") @@ -960,6 +1050,31 @@ def selftest() -> int: text = render_summary(meta, rows) expect("summary has H1", "| H1 |" in text, True) expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True) + expect( + "replica growth over C=10", + "(сверх C=10, MiB на клиента: C=20 0.80, C=40 0.33)" in text, + True, + ) + expect( + "buffers verdict", + "пик LB (50.0 − 30.0) / 39 = 0.51 MiB на клиента; sock (5.0 − 4.0) " + "/ 39 = 0.03 MiB на клиента; сумма 0.54" + in text + and "выполнен — да." in text, + True, + ) + wide = rows + [synth("limited", 40, 181, lb_peak_mib=100)] + expect( + "buffers over the bound", + "выполнен — нет." in render_summary(meta, wide), + True, + ) + expect( + "buffers without C=1", + "нет данных (нужны ячейки C = 1 и C = 40)" + in "\n".join(scenario_lines(rows[1:], "10MiB")), + True, + ) if failures: print("selftest failed:\n " + "\n ".join(failures), flush=True) return 1 diff --git a/config_example.toml b/config_example.toml index b71ea902..421e63ba 100644 --- a/config_example.toml +++ b/config_example.toml @@ -88,7 +88,8 @@ max_concurrent = 4 max_waiting = 16 # секунды ожидания места, затем 429 rate_limited с Retry-After; вход, # членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути -# загрузки (30 с) +# загрузки (30 с). Проверки при старте нет: больше 18 с — 504 от LB +# вместо 429 wait_timeout_seconds = 5 # секунды на всё тело с момента, как загрузка заняла место; иначе 400 body_timeout_seconds = 30 diff --git a/openspec/changes/upload-memory/design.md b/openspec/changes/upload-memory/design.md index d5fbba1a..fa1d1f54 100644 --- a/openspec/changes/upload-memory/design.md +++ b/openspec/changes/upload-memory/design.md @@ -560,7 +560,8 @@ B = 17) и проверка уборщика. Удаление объекта у `make failure_checks` — третий API стенда отказов `<проект>-api-uploads` (`run_failures.py`, `UPLOADS_ENV`): `UPLOADS__MAX_CONCURRENT=1`, `UPLOADS__MAX_WAITING=1`, -`UPLOADS__WAIT_TIMEOUT_SECONDS=1`, `UPLOADS__BODY_TIMEOUT_SECONDS=2`. +`UPLOADS__WAIT_TIMEOUT_SECONDS=1`, `UPLOADS__BODY_TIMEOUT_SECONDS=3` +(было 2 — «Уточнения apply», п. 15). Тесты получают `FAULT_UPLOADS_BASE_URL` и `FAULT_UPLOADS_ENV`. Место держит загрузка A: тело — генератор, который отдаёт половину и ждёт `threading.Event` теста. Пока она идёт, тест выполняет нужный запрос, @@ -804,4 +805,53 @@ git до sync дельт (`student-tests.md`). скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что `tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере без правки compose. Спек от правки не меняется: сценарий требует ≤ 1 - MiB на клиента, и теперь он выполняется. + MiB на клиента, и теперь он выполняется. По verify (S1) требование + срока пути загрузки называет и этот буфер (128 KiB), сценарий тот же. + +Правки по `/opsx:verify` (2026-10-22, задачи группы 11; пользователь +недоступен, решения — по спекам и design). Метка `baseline` не +переснимается: правки разбора действуют на будущие метки, числа +`baseline` в `REPORT.md` — формулой из ячеек её `summary.md`. + +12. **H1 — по ячейкам гипотезы** (W1). `hypotheses()` считала OOM, 5xx + и 429 «с лимитом» по обоим телам и C = 1, хотя H1 — про 10 MiB и C = + 10, 20, 40: в `baseline` строка H1 — «429 2731», а у ячеек 10 MiB + 429 — 1 351 (строка «Сценарии спеков»). Теперь все три счётчика — по + тем же ячейкам, что и пик; строка H1 ещё печатает рост сверх C = 10 на + клиента по уровням (W2). Вердикт `baseline` не меняется: у 1 MiB нет + ни OOM, ни 5xx. +13. **«Буферы соединений ограничены» — своей строкой сводки** (W2): + рост медианы пика LB и наибольшего `sock` реплики «с лимитом» от C = + 1 до C = 40, делённый на 39, их сумма и итог «выполнен — да / нет». + Сценарий говорит «пик памяти LB и буферов сокетов реплики растёт не + больше чем на 1 MiB на клиента»; порог проверяется на сумме — это + строже прочтения «каждый не больше 1 MiB» и выполняется при обоих. В + `baseline` — 0,56 + 0,39 = 0,95 MiB. Нет ячейки C = 1 или C = 40 — + «нет данных». +14. **Соотношение `wait_timeout_seconds` и `timeout server` LB — без + проверки при старте** (S3). У уборщика проверка есть, потому что + grace и граница B — его собственные настройки. `timeout server` пути + загрузки (30 с) живёт в `haproxy.cfg`, процесс API его не знает: + проверка дублировала бы константу LB в коде и молчала бы при правке + `haproxy.cfg`, а при запуске в консоли без LB мешала бы зря. + Соотношение (`2 × request_timeout_seconds + wait_timeout_seconds` < + 30 с, то есть ожидание ≤ 18 с при сроке шага БД 6 с) и последствие + (504 от LB вместо 429) — в `settings.md` и `config_example.toml`. +15. **Срок тела «узкого» API стенда отказов — 3 с, а не 2 с** (S5). В + `test_upload_slots_busy` держатель места A занимает его, затем + пауза 0,2 с, B встаёт в очередь, ещё 0,2 с, C получает 429, B — 429 + через 1 с ожидания; A отпускается после этого, примерно через 1,3–1,5 + с от начала своего тела, и дошлёт вторую половину. При сроке 2 с запас + — ~0,5 с, а медленный шаг входа или членства B на занятом хосте + сдвигает отпускание A на то же время. 3 с дают ~1,5 с запаса. + `test_slow_body` и `test_slot_released_after_failures` берут срок из + `FAULT_UPLOADS_ENV`: тело частями за срок + 1 с — 400, за половину + срока — 201; набор дольше на ~2 с. Evidence `failure-checks.md` снят + на 2 с (`ce1ae2c`) и переснимается после commit правки. +16. **`attachments`, «Лимит размера до чтения тела»** (S4): вместо «не + больше лимита и одного блока чтения тела» — «одна копия тела и блоки + чтения — тела от клиента и клиента S3», с ростом пика реплики не + больше 1,5 тела на загрузку, как в сценарии «Одна копия тела при + записи в S3». Прежний текст не выполнялся буквально: замер — 1,19–1,20 + тела, сверх одной копии — блоки чтения aiohttp и botocore и + накладные расходы аллокатора. diff --git a/openspec/changes/upload-memory/specs/attachments/spec.md b/openspec/changes/upload-memory/specs/attachments/spec.md index 26a4e22a..ce9aaf7f 100644 --- a/openspec/changes/upload-memory/specs/attachments/spec.md +++ b/openspec/changes/upload-memory/specs/attachments/spec.md @@ -9,9 +9,11 @@ SHALL отдаваться без чтения тела. Без `Content-Length` частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL отдаваться, как только прочитано больше лимита, остаток тела MUST NOT читаться. На одну загрузку процесс API MUST NOT держать в памяти больше -лимита и одного блока чтения тела. Это касается всех шагов загрузки, в -том числе записи объекта в S3: для отправки тело MUST NOT копироваться -целиком. +одной копии тела (не больше лимита) и блоков чтения — тела от клиента и +клиента S3. Это касается всех шагов загрузки, в том числе записи +объекта в S3: для отправки тело MUST NOT копироваться целиком. С +накладными расходами процесса рост пика памяти реплики — не больше 1,5 +размера тела на загрузку (сценарий «Одна копия тела при записи в S3»). #### Scenario: Граница размера diff --git a/openspec/changes/upload-memory/specs/load-balancing/spec.md b/openspec/changes/upload-memory/specs/load-balancing/spec.md index 15cd080d..cdd81f8a 100644 --- a/openspec/changes/upload-memory/specs/load-balancing/spec.md +++ b/openspec/changes/upload-memory/specs/load-balancing/spec.md @@ -95,7 +95,8 @@ SHALL быть доступно только изнутри контейнера Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер -отправки LB к реплике — 256 KiB. Так ожидающие и отклонённые загрузки не +отправки LB к реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB. +Так ожидающие и отклонённые загрузки не переносят тела целиком ни в память реплики, ни в память LB. #### Scenario: Долгая обработка загрузки diff --git a/openspec/changes/upload-memory/tasks.md b/openspec/changes/upload-memory/tasks.md index c3599afe..adcdad2d 100644 --- a/openspec/changes/upload-memory/tasks.md +++ b/openspec/changes/upload-memory/tasks.md @@ -471,13 +471,17 @@ - «с лимитом» — ни `oom`, ни 5xx; «до» и «без лимита» на 40 × 10 MiB — `oom` 3/3, «до» на 20 × 10 MiB — 3/3; - H1 — да (пик 169,5 / 177,3 / 181,3 MiB при C = 10 / 20 / 40, сверх - C = 10 — 0,39 MiB на клиента, 429 — 2 731); H2 — да («без лимита» 1,20 + C = 10 — 0,78 MiB на клиента при C = 20 и 0,39 при C = 40, 429 — + 1 351 за ячейки 10 MiB; строка H1 сводки считает оба тела — 2 731, + правка разбора — 11.1); H2 — да («без лимита» 1,20 тела на клиента при C = 10, 1,13 при C = 20, OOM 3/3 при 40; «до» 2,17 при C = 10, OOM 3/3 при 20); H3 — да (122 % / 121 % на 10 MiB, 97 / 90 / 91 % на 1 MiB); H4 — да (503 — 0 в 63 прогонах без OOM); - «Буферы соединений ограничены»: пик LB «с лимитом» 10 MiB — 30,5 / - 36,1 / 42,9 / 52,3 MiB при C = 1 / 10 / 20 / 40, 0,56 MiB на клиента; - `sock` LB до 26,7 MiB. + 36,1 / 42,9 / 52,3 MiB при C = 1 / 10 / 20 / 40, (52,3 − 30,5) / 39 = + 0,56 MiB на клиента, `sock` реплики (19,4 − 4,1) / 39 = 0,39 MiB + (числа ячеек; вердикта в сводке метки нет — 11.2); `sock` LB до + 26,7 MiB. - [x] 10.4 `driver.py lb-upload-timeouts` → `evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по одной на реплику) во время `make rolling_update` → @@ -529,3 +533,82 @@ сроки загрузки». Вопрос 1 ответа не получил — в «Согласования» не внесён, назван в ограничениях. Числа сверены с `summary.md` метки, все ссылки `evidence/…` из `REPORT.md` существуют. + +## 11. Замечания проверки + +Находки `/opsx:verify` (2026-10-22, CRITICAL нет). Метка +`evidence/uploads/baseline/` не переснимается и не меняется: правки +сводки действуют на будущие метки, а числа baseline в `REPORT.md` +считаются формулой из ячеек её `summary.md`. + +- [x] 11.1 W1 — 429 в H1. `bench/uploads.py`, `hypotheses()`: H1 + считает OOM, 5xx и 429 только по ячейкам «с лимитом» тела `big` и C ∈ + {10, 20, 40}, а не по всем размерам и C = 1; случай в `--selftest` + (ячейки 1 MiB и C = 1 с 429 и OOM в H1 не входят). `REPORT.md` и 10.3: + «429 — 1 351 за ячейки 10 MiB» (`summary.md`, «Сценарии спеков») и + фраза, что строка H1 сводки метки `baseline` считает оба тела (2 731). + Проверка: `uv run python bench/uploads.py --selftest`. + + `--selftest` — ok (новые случаи: ячейки 1 MiB с 429 и OOM и C = 1 с + 429 в H1 не входят, «429 65»). Разбор `runs.csv` метки `baseline` новым + кодом в scratchpad (файлы метки не тронуты): H1 — «429 1351», «да». + Design, «Уточнения apply», п. 12. +- [x] 11.2 W2 — рост на клиента в сводке. `scenario_lines()` и + `hypotheses()`: рост пика реплики сверх C = 10 на клиента по уровням + (H1) и сценарий «Буферы соединений ограничены» — рост пика LB и `sock` + реплики от C = 1 до C = 40 на клиента, их сумма и итог. `REPORT.md`: + 0,39 и 0,56 MiB — формулой из ячеек сводки, с C = 20 (0,78). Проверка: + `--selftest`. + + Новая строка сводки на данных `baseline`: «пик LB (52.3 − 30.5) / 39 = + 0.56; sock (19.4 − 4.1) / 39 = 0.39; сумма 0.95 (порог 1) … выполнен — + да»; рост сверх C = 10 — 0,78 / 0,39. Порог — на сумме (design, + «Уточнения apply», п. 13). +- [x] 11.3 W3 — таблица доказательств. `REPORT.md`: строки «4» тестов + рубрики и отказов S3 — числа и commit прогона `ce1ae2c` (198 passed, + 193 + 5, сверка 227 / 210 / 45 / 17; 37 / 37), абзац перед таблицей — + фраза про evidence `upload-memory` с `ce1ae2c`. Проверка: числа + совпадают с `evidence/tests/*.md`. +- [x] 11.4 W4 — таблица результатов. `REPORT.md`: строки тела 1 MiB из + `summary.md` метки (варианты, OOM, ответы по кодам, p95, C = 1). + Проверка: числа совпадают со сводкой. +- [x] 11.5 S1 — `load-balancing`, требование срока пути загрузки: + «буфер приёма LB от клиента — 128 KiB» (дельта и основной спек). + Проверка: `openspec validate upload-memory --strict`, `--specs`. +- [x] 11.6 S2 — `REPORT.md`, «Ограничения»: оборванный клиент в очереди + держит её место до срока ожидания (5 с). +- [x] 11.7 S3 — соотношение `wait_timeout_seconds` и `timeout server` + LB без проверки при старте: `settings.md` и `config_example.toml` + (почему проверки нет — design, «Уточнения apply»). + + Проверку при старте не делал (design, п. 14): `timeout server` — в + `haproxy.cfg`, процесс API его не знает. +- [x] 11.8 S4 — `attachments`, «Лимит размера до чтения тела»: + «одно тело и блоки чтения клиента S3» вместо «лимита и одного блока + чтения», согласовано со сценарием «Одна копия тела при записи в S3» + (1,5 тела); дельта и основной спек. +- [x] 11.9 S5 — запас `test_upload_slots_busy`: срок тела «узкого» API + стенда отказов 3 с вместо 2 с (`run_failures.py`, `test_failures.py`, + правила, design, `REPORT.md`); `test_slow_body` и + `test_slot_released_after_failures` берут срок из окружения. + Проверка: `make failure_checks` на дереве (не evidence). + + Запас (design, п. 15): A держит место ~1,3–1,5 с от начала тела, при + сроке 2 с запас ~0,5 с, при 3 с — ~1,5 с. `make failure_checks` на + дереве (2026-10-22): 37 passed за 246,7 с, журнал PostgreSQL — crash + markers 0, стенд убран, список volumes прежний (155, тот же хэш). + `evidence/tests/failure-checks.md` снят на 2 с (`ce1ae2c`) — переснять + после commit; `REPORT.md` до пересъёмки называет 2 с прогона + `ce1ae2c` и 3 с с правки. +- [x] 11.10 S6 — AGENTS.md: change `upload-memory` активен до archive + (вводный абзац и строка «активных нет»). +- [x] 11.11 `make lint`, `make check`, `make validate + PYTHON=.venv/bin/python`, `openspec validate upload-memory --strict` и + `--specs`, `--selftest`. + + Все — код 0: `openspec validate upload-memory --strict` — valid, + `--specs` — 24 passed; блоки «Лимит размера до чтения тела» и + «Загрузки через балансировщик» дельты и основных спеков совпали + построчно. `make student_test BASE_URL=http://localhost:8090` (не + evidence) — 198 passed, 37 deselected: сверка покрытия после правки + спеков зелёная. diff --git a/openspec/specs/attachments/spec.md b/openspec/specs/attachments/spec.md index da935e69..3d93f13a 100644 --- a/openspec/specs/attachments/spec.md +++ b/openspec/specs/attachments/spec.md @@ -63,9 +63,11 @@ SHALL отдаваться без чтения тела. Без `Content-Length` частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL отдаваться, как только прочитано больше лимита, остаток тела MUST NOT читаться. На одну загрузку процесс API MUST NOT держать в памяти больше -лимита и одного блока чтения тела. Это касается всех шагов загрузки, в -том числе записи объекта в S3: для отправки тело MUST NOT копироваться -целиком. +одной копии тела (не больше лимита) и блоков чтения — тела от клиента и +клиента S3. Это касается всех шагов загрузки, в том числе записи +объекта в S3: для отправки тело MUST NOT копироваться целиком. С +накладными расходами процесса рост пика памяти реплики — не больше 1,5 +размера тела на загрузку (сценарий «Одна копия тела при записи в S3»). #### Scenario: Граница размера diff --git a/openspec/specs/load-balancing/spec.md b/openspec/specs/load-balancing/spec.md index 0bf6357c..14814dba 100644 --- a/openspec/specs/load-balancing/spec.md +++ b/openspec/specs/load-balancing/spec.md @@ -502,7 +502,8 @@ SHALL быть без состояния, выставленного вручн Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер -отправки LB к реплике — 256 KiB. Так ожидающие и отклонённые загрузки не +отправки LB к реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB. +Так ожидающие и отклонённые загрузки не переносят тела целиком ни в память реплики, ни в память LB. #### Scenario: Долгая обработка загрузки diff --git a/student-tests/conftest.py b/student-tests/conftest.py index 11001c2b..c8b0b00f 100644 --- a/student-tests/conftest.py +++ b/student-tests/conftest.py @@ -177,7 +177,7 @@ def tight_api() -> Iterator[Api]: @pytest.fixture(scope="session") def uploads_api() -> Iterator[Api]: """API стенда отказов с одним местом загрузки, одной загрузкой в - очереди, ожиданием места 1 с и сроком тела 2 с (`FAULT_UPLOADS_ENV`).""" + очереди, ожиданием места 1 с и сроком тела 3 с (`FAULT_UPLOADS_ENV`).""" with Api( FAULT_UPLOADS_BASE_URL, timeout=UPLOADS_CLIENT_TIMEOUT_S, diff --git a/student-tests/run_failures.py b/student-tests/run_failures.py index 5111e9b8..ed3de557 100644 --- a/student-tests/run_failures.py +++ b/student-tests/run_failures.py @@ -11,7 +11,7 @@ S3 со своими volumes, порты хранилищ не публикую `MAX_IMAGE_PIXELS=1` в окружении — лимиты вложений от них не зависят), «тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного соединения) и «узкий по загрузкам» (одно место загрузки, одна в - очереди, ожидание места 1 с, срок тела 2 с; change `upload-memory`); + очереди, ожидание места 1 с, срок тела 3 с; change `upload-memory`); - прогоняет тесты с маркером `fault` (`pytest -m fault`), передав им hook `student-tests/fault_hook.py`; при падении печатает журналы API и уборщика; @@ -79,13 +79,15 @@ LIMITS_ENV = { } # «узкий по загрузкам» API (change upload-memory, design, решение 11): одно # место загрузки, одна загрузка в очереди, ожидание места 1 с, срок тела -# 2 с. Те же пары тест получает в `FAULT_UPLOADS_ENV` и сверяет, что стенд -# запущен с ними +# 3 с: держатель места в test_upload_slots_busy отпускается через ~1,3–1,5 с +# после того, как занял место (ожидавшая получает 429 через 1 с), и срок +# тела должен оставить запас (с 2 с он был ~0,5 с; verify, S5). Те же пары +# тест получает в `FAULT_UPLOADS_ENV` и сверяет, что стенд запущен с ними UPLOADS_ENV = { "UPLOADS__MAX_CONCURRENT": "1", "UPLOADS__MAX_WAITING": "1", "UPLOADS__WAIT_TIMEOUT_SECONDS": "1", - "UPLOADS__BODY_TIMEOUT_SECONDS": "2", + "UPLOADS__BODY_TIMEOUT_SECONDS": "3", } diff --git a/student-tests/test_failures.py b/student-tests/test_failures.py index 943c793e..cf8baffa 100644 --- a/student-tests/test_failures.py +++ b/student-tests/test_failures.py @@ -6,7 +6,7 @@ Valkey и S3, уборщик незавершённых загрузок (grace (`BASE_URL`, с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении), «тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного соединения) и «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`: одно место -загрузки, одна в очереди, ожидание 1 с, срок тела 2 с — change +загрузки, одна в очереди, ожидание 1 с, срок тела 3 с — change `upload-memory`). На хранилища и API тесты действуют только через фикстуру `stand` (hook `student-tests/fault_hook.py`) и всегда возвращают их в рабочее состояние. Решение 4 design change `failure-checks`, решение 10 @@ -1151,10 +1151,10 @@ EXPECTED_UPLOADS_ENV = { "UPLOADS__MAX_CONCURRENT": "1", "UPLOADS__MAX_WAITING": "1", "UPLOADS__WAIT_TIMEOUT_SECONDS": "1", - "UPLOADS__BODY_TIMEOUT_SECONDS": "2", + "UPLOADS__BODY_TIMEOUT_SECONDS": "3", } WAIT_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__WAIT_TIMEOUT_SECONDS", "1")) -BODY_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__BODY_TIMEOUT_SECONDS", "2")) +BODY_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__BODY_TIMEOUT_SECONDS", "3")) # отказ без ожидания места: вход, членство и ответ IMMEDIATE_S = 0.5 # пауза, за которую запрос в соседнем потоке доходит до места или очереди