fix: address upload-memory verify findings

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-22 16:11:03 +03:00
co-authored by Claude Opus 5.5
parent 79cc06b1e0
commit 9d2ee30cd2
17 changed files with 391 additions and 65 deletions
+5 -1
View File
@@ -363,7 +363,11 @@ docker — `bench/uploads.py` (`--selftest`).
окна, пик старта, наибольшие `anon` и `sock`, `oom_kill`, код выхода и окна, пик старта, наибольшие `anon` и `sock`, `oom_kill`, код выхода и
`OOMKilled`, ответы по кодам, загрузок 201/с, p50/p95/p99, пики S3 и `OOMKilled`, ответы по кодам, загрузок 201/с, p50/p95/p99, пики S3 и
LB, пометки), `summary.md` (медиана и min–max по ячейкам, сценарии LB, пометки), `summary.md` (медиана и min–max по ячейкам, сценарии
спеков, H1–H4 с итогом), `raw/<прогон>-k6.json`, `raw/<прогон>-peak.log`. спеков — с ростом на клиента и итогом «Буферы соединений ограничены»
по сумме роста LB и `sock` реплики от C = 1 до 40, H1–H4 с итогом
только по ячейкам гипотез; у метки `baseline` этих строк ещё нет —
design, «Уточнения apply», пп. 12–13), `raw/<прогон>-k6.json`,
`raw/<прогон>-peak.log`.
`quick-uploads-*` — в `.gitignore`. `quick-uploads-*` — в `.gitignore`.
- **Время:** полный профиль — 72 прогона, ~50 мин; `uploads_quick` — - **Время:** полный профиль — 72 прогона, ~50 мин; `uploads_quick` —
«без лимита» и «с лимитом», 10 MiB, C ∈ {1, 10, 40}, один повтор, «без лимита» и «с лимитом», 10 MiB, C ∈ {1, 10, 40}, один повтор,
+9 -2
View File
@@ -180,7 +180,7 @@ make env_setup»). Значение уже существующей переме
`max_waiting` (int, `ge=0`, 16; 0 — без очереди, сразу 429), `max_waiting` (int, `ge=0`, 16; 0 — без очереди, сразу 429),
`wait_timeout_seconds` (float, `gt=0`, 5), `body_timeout_seconds` `wait_timeout_seconds` (float, `gt=0`, 5), `body_timeout_seconds`
(float, `gt=0`, 30). Значения — в `config.toml`, разовая подмена — (float, `gt=0`, 30). Значения — в `config.toml`, разовая подмена —
`UPLOADS__*` (стенд отказов — 1 / 1 / 1 / 2 у третьего API, профиль `UPLOADS__*` (стенд отказов — 1 / 1 / 1 / 3 у третьего API, профиль
`uploads` — 1000 / 0 у варианта «без лимита»). Настройки, а не `uploads` — 1000 / 0 у варианта «без лимита»). Настройки, а не
константы: у установок разный лимит памяти. Неверное значение — константы: у установок разный лимит памяти. Неверное значение —
ошибка проверки настроек с именем поля, сервис не стартует. «Started ошибка проверки настроек с именем поля, сервис не стартует. «Started
@@ -192,7 +192,14 @@ API» называет все четыре.
- `wait_timeout_seconds` 5 — молчание реплики до тела `2 × [database] - `wait_timeout_seconds` 5 — молчание реплики до тела `2 × [database]
request_timeout_seconds + wait_timeout_seconds` = 17 с меньше `timeout request_timeout_seconds + wait_timeout_seconds` = 17 с меньше `timeout
server` LB пути загрузки (30 с, `balancer.md`); при смене любого из server` LB пути загрузки (30 с, `balancer.md`); при смене любого из
них пересчитать цепочку; них пересчитать цепочку. **Проверки соотношения при старте нет** (в
отличие от grace уборщика): `timeout server` живёт в `haproxy.cfg`, и
процесс API его не знает. Поэтому `wait_timeout_seconds` больше `30 −
2 × request_timeout_seconds` = 18 с сервис примет молча, а ожидающая
загрузка получит 504 от LB вместо 429 реплики (design change
`upload-memory`, «Уточнения apply», п. 14). То же для молчания после
тела (≈ 26 с): бо́льшие `request_timeout_seconds` и `[s3]
timeout_seconds` выводят его за 30 с так же молча;
- `body_timeout_seconds` 30 — один срок на всё тело с момента, как - `body_timeout_seconds` 30 — один срок на всё тело с момента, как
загрузка заняла место (не срок простоя: клиент по байту раз в 29 с загрузка заняла место (не срок простоя: клиент по байту раз в 29 с
держал бы место вечно). Наибольшая длительность загрузки 17 + 30 + 26 держал бы место вечно). Наибольшая длительность загрузки 17 + 30 + 26
+5 -3
View File
@@ -180,12 +180,14 @@ paths:
требует `Retry-After` — положительное целое; требует `Retry-After` — положительное целое;
- третий API стенда отказов — «узкий по загрузкам» - третий API стенда отказов — «узкий по загрузкам»
(`<проект>-api-uploads`, `UPLOADS_ENV` в `run_failures.py`: 1 место, (`<проект>-api-uploads`, `UPLOADS_ENV` в `run_failures.py`: 1 место,
1 в очереди, ожидание 1 с, срок тела 2 с), тестам — 1 в очереди, ожидание 1 с, срок тела 3 с), тестам —
`FAULT_UPLOADS_BASE_URL` (фикстура `uploads_api`, срок клиента 30 с) `FAULT_UPLOADS_BASE_URL` (фикстура `uploads_api`, срок клиента 30 с)
и `FAULT_UPLOADS_ENV`; тесты сверяют, что стенд запущен с этим и `FAULT_UPLOADS_ENV`; тесты сверяют, что стенд запущен с этим
окружением (`assert_uploads_stand`). Место держит загрузка A окружением (`assert_uploads_stand`). Место держит загрузка A
(`held_slot`): генератор тела отдаёт половину и ждёт (`held_slot`): генератор тела отдаёт половину и ждёт
`threading.Event`; A отпускается до истечения её срока тела (2 с); `threading.Event`; A отпускается до истечения её срока тела (3 с:
в `test_upload_slots_busy` A держит место ~1,3–1,5 с, при 2 с запас
был ~0,5 с — verify, S5);
- тесты (`fault`): `test_upload_slots_busy` (B ждёт, C сразу 429 < 0,5 - тесты (`fault`): `test_upload_slots_busy` (B ждёт, C сразу 429 < 0,5
с, B — 429 не раньше 1 с, `Retry-After` ≥ 1; из трёх загрузок новая с, B — 429 не раньше 1 с, `Retry-After` ≥ 1; из трёх загрузок новая
строка и объект — только у A), `test_rejections_before_queue` (при строка и объект — только у A), `test_rejections_before_queue` (при
@@ -280,7 +282,7 @@ paths:
идемпотентности 2 с, пул 1, короткие таймауты) и с change идемпотентности 2 с, пул 1, короткие таймауты) и с change
`upload-memory` «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`, `upload-memory` «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`,
`UPLOADS_ENV` → `FAULT_UPLOADS_ENV`: 1 место, 1 в очереди, ожидание `UPLOADS_ENV` → `FAULT_UPLOADS_ENV`: 1 место, 1 в очереди, ожидание
1 с, срок тела 2 с); без любого из трёх адресов `pytest -m fault` 1 с, срок тела 3 с); без любого из трёх адресов `pytest -m fault`
останавливается до первого теста; при падении печатаются журналы останавливается до первого теста; при падении печатаются журналы
всех трёх; всех трёх;
- уборщик (с лабы 4): после bootstrap — `up -d --no-deps cleaner` с - уборщик (с лабы 4): после bootstrap — `up -d --no-deps cleaner` с
+3 -2
View File
@@ -41,8 +41,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи
— трек 2 лабы 2 (план запроса и восстановление), профили `failover` и — трек 2 лабы 2 (план запроса и восстановление), профили `failover` и
`rollout`, серии трека 1 лабы 3 (`scaling-bench`, `scaling-improvement`, `rollout`, серии трека 1 лабы 3 (`scaling-bench`, `scaling-improvement`,
`profile-resources`). Changes лаб 2 и 3 и `s3-storage`, `attachments`, `profile-resources`). Changes лаб 2 и 3 и `s3-storage`, `attachments`,
`upload-consistency` лабы 4 — в `openspec/changes/archive/`, активных `upload-consistency` лабы 4 — в `openspec/changes/archive/`; активен
нет, спеки синхронизированы (новые capability: с `s3-storage` — один `upload-memory` (до archive), спеки синхронизированы, в том числе с
его дельтами (новые capability: с `s3-storage` —
`object-storage`, с `attachments` — `attachments`, с `object-storage`, с `attachments` — `attachments`, с
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления `upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления
bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
+21
View File
@@ -1056,6 +1056,27 @@ apply»; вопрос 1 открыт — сделано 429, как по умо
повторов, искажено только время (9,95 загрузки/с против ~11,0, p95 повторов, искажено только время (9,95 загрузки/с против ~11,0, p95
2 815 мс против ~2 050); медиана ячейки и выводы H1–H4 от него не 2 815 мс против ~2 050); медиана ячейки и выводы H1–H4 от него не
зависят. Предупреждение названо в `REPORT.md`. зависят. Предупреждение названо в `REPORT.md`.
21. **Правки по verify (2026-10-22, tasks, группа 11; design, «Уточнения
apply», пп. 12–16).** Метка `baseline` не переснимается; числа,
которых нет в её сводке, `REPORT.md` даёт формулой из её ячеек.
- Разбор сводки: H1 считает 429, OOM и 5xx только по ячейкам
гипотезы (10 MiB, C = 10, 20, 40: у `baseline` 429 — 1 351, а не
2 731 обоих тел) и печатает рост сверх C = 10 на клиента;
«Буферы соединений ограничены» — своя строка с вердиктом по сумме
роста LB и `sock` реплики от C = 1 до 40 (у `baseline` 0,56 + 0,39 =
0,95 MiB при пороге 1).
- Спеки: в требовании срока пути загрузки — буфер приёма LB от
клиента 128 KiB; «Лимит размера до чтения тела» — одна копия тела и
блоки чтения, рост пика ≤ 1,5 тела (как в сценарии).
- Проверки соотношения `wait_timeout_seconds` и `timeout server` LB
при старте нет: LB-значение API не знает; соотношение — в
`settings.md` и `config_example.toml`.
- Срок тела «узкого» API стенда отказов — 3 с вместо 2 с: запас
держателя места в `test_upload_slots_busy` был ~0,5 с. Evidence
`failure-checks.md` — переснять после commit.
- `REPORT.md`: таблица 1 MiB, числа и commit строк тестов
(`ce1ae2c`), ограничение «оборванный клиент в очереди держит место
очереди до срока ожидания».
#### Вопросы #### Вопросы
+52 -18
View File
@@ -461,8 +461,9 @@ LB — `tune.sndbuf.server 262144` (буфер отправки к реплик
`tune.rcvbuf.client 131072` (буфер приёма от клиента). Второй добавлен `tune.rcvbuf.client 131072` (буфер приёма от клиента). Второй добавлен
после первой метки профиля: в ней пик LB рос на ~2,6 MiB на клиента, после первой метки профиля: в ней пик LB рос на ~2,6 MiB на клиента,
очередь приёма сокета клиента — до 9 MiB (`97a4be4`; design, «Уточнения очередь приёма сокета клиента — до 9 MiB (`97a4be4`; design, «Уточнения
apply», п. 11). С ним — 0,56 MiB на клиента, скорость одного клиента apply», п. 11). С ним в метке `baseline` пик LB «с лимитом» 10 MiB растёт
прежняя. на (52,3 − 30,5) / 39 = 0,56 MiB на клиента от 1 до 40 клиентов (ячейки
`summary.md`), скорость одного клиента прежняя.
**Цепочка таймаутов пути загрузки** (решение 7): **Цепочка таймаутов пути загрузки** (решение 7):
@@ -607,7 +608,13 @@ failure_checks` (`evidence/tests/student-test-lb.md`,
`evidence/attachments/cleaner-process.md`; `make test`, `make `evidence/attachments/cleaner-process.md`; `make test`, `make
student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
`driver.py upload-consistency` на этом коде — PASS, их файлы остались с `driver.py upload-consistency` на этом коде — PASS, их файлы остались с
`87c48b9` и `5b42bd2`: правка их шагов не меняет. `87c48b9` и `5b42bd2`: правка их шагов не меняет. Строки памяти и сроков
загрузки (change `upload-memory`) — с `ce1ae2c` (код `97a4be4`): метка
`evidence/uploads/baseline/`, `evidence/uploads/lb-timeouts.md` и
`rollout-upload.md`; с того же commit переснято `make failure_checks`
(37 / 37), `make test_isolated` и `make student_test` через LB
(`evidence/tests/`), поэтому строки тестов рубрики и отказов S3 в таблице
называют `ce1ae2c`.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- | | --- | --- | --- | --- |
@@ -618,8 +625,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` | | «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` | | «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` | | «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | | «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`5889ca2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | | «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`ce1ae2c`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | | «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` | | «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | | «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
@@ -641,8 +648,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` | | «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` | | Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` | | «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | | «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с в прогоне `ce1ae2c`; с правки по verify — 3 с, запас держателя места) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше 2 с — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | | «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше срока тела стенда (2 с в прогоне `ce1ae2c`) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | | «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` | | «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` | | «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
@@ -756,21 +763,42 @@ change `upload-memory` (Context, «Пробы»), а не из метки. Ра
| с лимитом | 20 | 177,3 | 0/3 | 269 | 0 | 0 | 10,90 | 2 059 | 42,9 | | с лимитом | 20 | 177,3 | 0/3 | 269 | 0 | 0 | 10,90 | 2 059 | 42,9 |
| с лимитом | 40 | 181,3 | 0/3 | 269 | 452 | 0 | 11,00 | 2 092 | 52,3 | | с лимитом | 40 | 181,3 | 0/3 | 269 | 452 | 0 | 11,00 | 2 092 | 52,3 |
Тело ~1 MiB, загрузок/с при 10 / 20 / 40 клиентах: «без лимита» 128,30 / Те же медианы, тело ~1 MiB (OOM нет ни в одной ячейке, 5xx — 0):
131,75 / 131,95, «с лимитом» 124,00 / 118,75 / 119,60; пик «с лимитом» —
119,7 / 127,0 / 132,2 MiB. Память до окна во всех ячейках — ~105 MiB, | Вариант | C | Пик, MiB | OOM | 201 | 429 | 5xx | Загрузок/с | p95, мс | Пик LB, MiB |
пик старта реплики (фиктивный хэш пароля, разогрев) — ~152,6 MiB и в пик | --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
окна не входит. | до | 1 | 110,0 | 0/3 | 1 445 | 0 | 0 | 62,85 | 17 | 30,8 |
| до | 10 | 136,8 | 0/3 | 2 976 | 0 | 0 | 129,85 | 108 | 34,4 |
| до | 20 | 153,0 | 0/3 | 2 950 | 0 | 0 | 127,85 | 196 | 37,6 |
| до | 40 | 199,2 | 0/3 | 3 043 | 0 | 0 | 132,15 | 365 | 52,8 |
| без лимита | 1 | 109,0 | 0/3 | 1 477 | 0 | 0 | 64,05 | 17 | 30,8 |
| без лимита | 10 | 127,1 | 0/3 | 2 946 | 0 | 0 | 128,30 | 107 | 34,8 |
| без лимита | 20 | 138,0 | 0/3 | 3 026 | 0 | 0 | 131,75 | 203 | 37,4 |
| без лимита | 40 | 163,2 | 0/3 | 3 045 | 0 | 0 | 131,95 | 367 | 52,7 |
| с лимитом | 1 | 109,0 | 0/3 | 1 480 | 0 | 0 | 64,20 | 17 | 30,5 |
| с лимитом | 10 | 119,7 | 0/3 | 2 822 | 0 | 0 | 124,00 | 106 | 34,6 |
| с лимитом | 20 | 127,0 | 0/3 | 2 728 | 0 | 0 | 118,75 | 211 | 38,3 |
| с лимитом | 40 | 132,2 | 0/3 | 2 751 | 460 | 0 | 119,60 | 210 | 52,5 |
Память до окна во всех ячейках — ~105 MiB, пик старта реплики (фиктивный
хэш пароля, разогрев) — ~152,6 MiB и в пик окна не входит.
Выводы (строки «Гипотезы» и «Сценарии спеков» `summary.md`): Выводы (строки «Гипотезы» и «Сценарии спеков» `summary.md`):
- **H1 — подтверждена.** «С лимитом» пик 169,5 / 177,3 / 181,3 MiB при 10 - **H1 — подтверждена.** «С лимитом» пик 169,5 / 177,3 / 181,3 MiB при 10
/ 20 / 40 клиентах — меньше половины лимита (256 MiB); сверх C = 10 — / 20 / 40 клиентах — меньше половины лимита (256 MiB); рост сверх C = 10
0,39 MiB на клиента (порог 1); OOM 0, 5xx 0, лишние загрузки — 429 (2 на клиента — (177,3 − 169,5) / 10 = 0,78 MiB при C = 20 и (181,3 −
731 за ячейки 10 MiB). Сценарий `attachments` «Память не растёт с 169,5) / 30 = 0,39 MiB при C = 40 (порог 1); OOM 0, 5xx 0, лишние
числом загрузок» выполнен; `load-balancing` «Буферы соединений загрузки — 429 (1 351 за ячейки 10 MiB, строка «Сценарии спеков»).
ограничены» — пик LB 30,5 → 52,3 MiB от 1 до 40 клиентов (0,56 MiB на Строка H1 сводки метки считает 429 по обоим телам и C = 1 (2 731): так
клиента), буферы сокетов реплики ≤ 19,6 MiB. разбор сводки работал до правки по verify, новые метки считают только
ячейки гипотезы. Сценарий `attachments` «Память не растёт с числом
загрузок» выполнен. `load-balancing` «Буферы соединений ограничены»
(C = 1 → 40, ячейки «с лимитом» 10 MiB) — пик LB (52,3 − 30,5) / 39 =
0,56 MiB на клиента, `sock` реплики (19,4 − 4,1) / 39 = 0,39 MiB, в
сумме 0,95 MiB при пороге 1 MiB, OOM 0: выполнен. Вердикта по нему в
сводке метки нет — его строку разбор пишет с правки по verify, числа
выше — из ячеек той же сводки.
- **H2 — подтверждена.** «Без лимита»: 1,20 тела на клиента при C = 10 и - **H2 — подтверждена.** «Без лимита»: 1,20 тела на клиента при C = 10 и
1,13 при C = 20 (чуть ниже ожидаемых 1,2–1,3), при 40 × 10 MiB — OOM 1,13 при C = 20 (чуть ниже ожидаемых 1,2–1,3), при 40 × 10 MiB — OOM
3/3. «До»: 2,17 тела на клиента при C = 10 — вторая копия тела при PUT, 3/3. «До»: 2,17 тела на клиента при C = 10 — вторая копия тела при PUT,
@@ -898,6 +926,12 @@ S3 (change `s3-storage`):
другой места есть; LB 429 не повторяет. Сглаживают очередь (16) и другой места есть; LB 429 не повторяет. Сглаживают очередь (16) и
`Retry-After: 1` — повтор клиента уходит на следующую реплику `Retry-After: 1` — повтор клиента уходит на следующую реплику
(round-robin). Общей очереди на стенд нет. (round-robin). Общей очереди на стенд нет.
- **Оборванный клиент в очереди держит её место до срока ожидания**
(5 с): обрыв соединения API замечает, только когда начинает читать
тело, то есть получив место. Пока такая загрузка ждёт, новая может
получить 429 при полной очереди; затем она берёт место, сразу
заканчивается `interrupted` и отпускает его (проба verify). Места
загрузки она не держит дольше обычной.
- **429 или 503 — вопрос преподавателю открыт** (`PLAN.md`, «Вопросы», - **429 или 503 — вопрос преподавателю открыт** (`PLAN.md`, «Вопросы»,
п. 1). Ответ «503» поменяет строку таблицы ошибок, сценарии спеков и п. 1). Ответ «503» поменяет строку таблицы ошибок, сценарии спеков и
ожидания тестов, но не подход. ожидания тестов, но не подход.
+132 -17
View File
@@ -461,6 +461,25 @@ def per_client_bodies(row: dict[str, Any]) -> float | None:
return (peak - before) * MIB / body / clients return (peak - before) * MIB / body / clients
def growth_per_client(
base: float | None,
value: float | None,
clients: int,
) -> float | None:
"""Рост медианы ячейки над базовой ячейкой на клиента, MiB."""
if base is None or value is None or clients <= 0:
return None
return (value - base) / clients
def cell_median(
grouped: dict[tuple[str, str, int], list[dict[str, Any]]],
key: tuple[str, str, int],
column: str,
) -> float | None:
return median(num(r.get(column)) for r in grouped.get(key, []))
def hypotheses( def hypotheses(
rows: list[dict[str, Any]], rows: list[dict[str, Any]],
*, *,
@@ -480,19 +499,20 @@ def hypotheses(
out = [] out = []
# H1: с лимитом пик ≤ половины лимита, рост сверх C=10 ≤ 1 MiB на # H1: с лимитом пик ≤ половины лимита, рост сверх C=10 ≤ 1 MiB на
# клиента, OOM и 5xx нет, лишние — 429 # клиента, OOM и 5xx нет, лишние — 429. Всё — по ячейкам тела big и
limited = [r for r in rows if r["variant"] == "limited"] # C = 10, 20, 40, как в тексте гипотезы (метка baseline считала OOM,
# 5xx и 429 по всем размерам и C = 1)
levels = [c for c in (10, 20, 40) if group("limited", big, c)] levels = [c for c in (10, 20, 40) if group("limited", big, c)]
if levels: if levels:
limited = [r for c in levels for r in group("limited", big, c)]
peaks = {c: peak("limited", c) for c in levels} peaks = {c: peak("limited", c) for c in levels}
base = peaks.get(10) base = peaks.get(10)
growth_ok = all( growth = {
base is not None c: growth_per_client(base, peaks[c], c - 10)
and peaks[c] is not None
and peaks[c] - base <= (c - 10)
for c in levels for c in levels
if c > 10 if c > 10
) }
growth_ok = all(v is not None and v <= 1 for v in growth.values())
half_ok = all( half_ok = all(
v is not None and v <= memory_limit_mib / 2 for v in peaks.values() v is not None and v <= memory_limit_mib / 2 for v in peaks.values()
) )
@@ -508,8 +528,13 @@ def hypotheses(
"и 5xx нет, лишние — 429", "и 5xx нет, лишние — 429",
"numbers": "пик, MiB: " "numbers": "пик, MiB: "
+ ", ".join(f"C={c} {fmt(peaks[c])}" for c in levels) + ", ".join(f"C={c} {fmt(peaks[c])}" for c in levels)
+ f" (половина лимита {memory_limit_mib / 2:g}); OOM " + f" (половина лимита {memory_limit_mib / 2:g}); сверх "
f"{oom}, 5xx {fives}, 429 {busy}", "C=10, MiB на клиента: "
+ (
", ".join(f"C={c} {fmt(v, 2)}" for c, v in growth.items())
or "—"
)
+ f"; OOM {oom}, 5xx {fives}, 429 {busy}",
"result": "да" if verdict else "нет", "result": "да" if verdict else "нет",
}, },
) )
@@ -749,16 +774,34 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]:
lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)] lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)]
if any(lim): if any(lim):
flat = [r for items in lim for r in items] flat = [r for items in lim for r in items]
base = cell_median(grouped, ("limited", big, 10), "peak_mib")
over = [
f"C={c} "
+ fmt(
growth_per_client(
base,
cell_median(grouped, ("limited", big, c), "peak_mib"),
c - 10,
),
2,
)
for c, items in zip((20, 40), lim[1:], strict=True)
if items
]
lines.append( lines.append(
"- `attachments`, «Память не растёт с числом загрузок» и " "- `attachments`, «Память не растёт с числом загрузок» («с "
"`load-balancing`, «Буферы соединений ограничены» («с лимитом», " f"лимитом», {big}): пик реплики "
f"{big}): пик реплики "
+ ", ".join( + ", ".join(
f"C={c} {fmt(median(num(r['peak_mib']) for r in items))}" f"C={c} {fmt(median(num(r['peak_mib']) for r in items))}"
for c, items in zip((10, 20, 40), lim, strict=True) for c, items in zip((10, 20, 40), lim, strict=True)
if items if items
) )
+ " MiB, sock " + (
" MiB (сверх C=10, MiB на клиента: " + ", ".join(over) + ")"
if over
else " MiB"
)
+ ", sock "
+ ", ".join( + ", ".join(
f"C={c} {fmt(median(num(r['sock_max_mib']) for r in items))}" f"C={c} {fmt(median(num(r['sock_max_mib']) for r in items))}"
for c, items in zip((10, 20, 40), lim, strict=True) for c, items in zip((10, 20, 40), lim, strict=True)
@@ -774,10 +817,52 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]:
f"{sum(errors_5xx(r) for r in flat)}, 429 " f"{sum(errors_5xx(r) for r in flat)}, 429 "
f"{sum(int(num(r.get('s429')) or 0) for r in flat)}.", f"{sum(int(num(r.get('s429')) or 0) for r in flat)}.",
) )
lines.append(buffers_line(grouped, big))
lines.append("") lines.append("")
return lines return lines
def buffers_line(
grouped: dict[tuple[str, str, int], list[dict[str, Any]]],
big: str,
) -> str:
"""`load-balancing`, «Буферы соединений ограничены»: рост медианы пика
LB и наибольшего `sock` реплики «с лимитом» от C = 1 до C = 40 на
клиента; выполнен, если их сумма ≤ 1 MiB и при C = 40 нет OOM.
Сумма — строже прочтения «каждый ≤ 1 MiB» (design, «Уточнения apply»,
п. 13)."""
one, top = ("limited", big, 1), ("limited", big, 40)
name = (
"- `load-balancing`, «Буферы соединений ограничены» («с лимитом», "
f"{big}, C = 1 → 40): "
)
if not grouped.get(one) or not grouped.get(top):
return name + "нет данных (нужны ячейки C = 1 и C = 40)."
parts, total = [], 0.0
for column, label in (
("lb_peak_mib", "пик LB"),
("sock_max_mib", "sock"),
):
a = cell_median(grouped, one, column)
b = cell_median(grouped, top, column)
slope = growth_per_client(a, b, 39)
if slope is None:
return name + f"нет данных ({label})."
total += slope
parts.append(
f"{label} ({fmt(b)} − {fmt(a)}) / 39 = {fmt(slope, 2)} MiB на "
"клиента",
)
ooms = sum(is_oom(r) for r in grouped[top])
verdict = "да" if total <= 1 and not ooms else "нет"
return (
name
+ "; ".join(parts)
+ f"; сумма {fmt(total, 2)} (порог 1 MiB на клиента), OOM при "
f"C = 40 {ooms}/{len(grouped[top])}; выполнен — {verdict}."
)
# --------------------------------------------------------------- selftest # --------------------------------------------------------------- selftest
@@ -912,19 +997,24 @@ def selftest() -> int:
return {**base, **extra} return {**base, **extra}
rows = [ rows = [
synth("limited", 1, 120, s429=7, lb_peak_mib=30, sock_max_mib=4),
synth("limited", 10, 170), synth("limited", 10, 170),
synth("limited", 20, 178, s429=5), synth("limited", 20, 178, s429=5),
synth("limited", 40, 180, s429=60), synth("limited", 40, 180, s429=60),
# другое тело: в H1 не входит ни 429, ни OOM
synth("limited", 40, 140, size="1MiB", s429=1000, flags="oom"),
synth("unlimited", 10, 230), synth("unlimited", 10, 230),
synth("unlimited", 20, 350), synth("unlimited", 20, 350),
synth("unlimited", 40, 512, flags="oom"), synth("unlimited", 40, 512, flags="oom"),
synth("before", 10, 316), synth("before", 10, 316),
synth("before", 20, 512, flags="oom"), synth("before", 20, 512, flags="oom"),
] ]
result = { checked = hypotheses(rows, memory_limit_mib=512, big="10MiB")
h["id"]: h["result"] result = {h["id"]: h["result"] for h in checked}
for h in hypotheses(rows, memory_limit_mib=512, big="10MiB") h1 = checked[0]["numbers"]
} expect("H1 429 of big body, C >= 10", "429 65" in h1, True)
expect("H1 OOM of big body", "OOM 0," in h1, True)
expect("H1 growth", "C=20 0.80, C=40 0.33" in h1, True)
expect("H1", result["H1"], "да") expect("H1", result["H1"], "да")
expect("H2", result["H2"], "да") expect("H2", result["H2"], "да")
expect("H3", result["H3"], "да") expect("H3", result["H3"], "да")
@@ -960,6 +1050,31 @@ def selftest() -> int:
text = render_summary(meta, rows) text = render_summary(meta, rows)
expect("summary has H1", "| H1 |" in text, True) expect("summary has H1", "| H1 |" in text, True)
expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True) expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True)
expect(
"replica growth over C=10",
"(сверх C=10, MiB на клиента: C=20 0.80, C=40 0.33)" in text,
True,
)
expect(
"buffers verdict",
"пик LB (50.0 − 30.0) / 39 = 0.51 MiB на клиента; sock (5.0 − 4.0) "
"/ 39 = 0.03 MiB на клиента; сумма 0.54"
in text
and "выполнен — да." in text,
True,
)
wide = rows + [synth("limited", 40, 181, lb_peak_mib=100)]
expect(
"buffers over the bound",
"выполнен — нет." in render_summary(meta, wide),
True,
)
expect(
"buffers without C=1",
"нет данных (нужны ячейки C = 1 и C = 40)"
in "\n".join(scenario_lines(rows[1:], "10MiB")),
True,
)
if failures: if failures:
print("selftest failed:\n " + "\n ".join(failures), flush=True) print("selftest failed:\n " + "\n ".join(failures), flush=True)
return 1 return 1
+2 -1
View File
@@ -88,7 +88,8 @@ max_concurrent = 4
max_waiting = 16 max_waiting = 16
# секунды ожидания места, затем 429 rate_limited с Retry-After; вход, # секунды ожидания места, затем 429 rate_limited с Retry-After; вход,
# членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути # членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути
# загрузки (30 с) # загрузки (30 с). Проверки при старте нет: больше 18 с — 504 от LB
# вместо 429
wait_timeout_seconds = 5 wait_timeout_seconds = 5
# секунды на всё тело с момента, как загрузка заняла место; иначе 400 # секунды на всё тело с момента, как загрузка заняла место; иначе 400
body_timeout_seconds = 30 body_timeout_seconds = 30
+52 -2
View File
@@ -560,7 +560,8 @@ B = 17) и проверка уборщика. Удаление объекта у
`make failure_checks` — третий API стенда отказов `make failure_checks` — третий API стенда отказов
`<проект>-api-uploads` (`run_failures.py`, `UPLOADS_ENV`): `<проект>-api-uploads` (`run_failures.py`, `UPLOADS_ENV`):
`UPLOADS__MAX_CONCURRENT=1`, `UPLOADS__MAX_WAITING=1`, `UPLOADS__MAX_CONCURRENT=1`, `UPLOADS__MAX_WAITING=1`,
`UPLOADS__WAIT_TIMEOUT_SECONDS=1`, `UPLOADS__BODY_TIMEOUT_SECONDS=2`. `UPLOADS__WAIT_TIMEOUT_SECONDS=1`, `UPLOADS__BODY_TIMEOUT_SECONDS=3`
(было 2 — «Уточнения apply», п. 15).
Тесты получают `FAULT_UPLOADS_BASE_URL` и `FAULT_UPLOADS_ENV`. Место Тесты получают `FAULT_UPLOADS_BASE_URL` и `FAULT_UPLOADS_ENV`. Место
держит загрузка A: тело — генератор, который отдаёт половину и ждёт держит загрузка A: тело — генератор, который отдаёт половину и ждёт
`threading.Event` теста. Пока она идёт, тест выполняет нужный запрос, `threading.Event` теста. Пока она идёт, тест выполняет нужный запрос,
@@ -804,4 +805,53 @@ git до sync дельт (`student-tests.md`).
скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что
`tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере `tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере
без правки compose. Спек от правки не меняется: сценарий требует ≤ 1 без правки compose. Спек от правки не меняется: сценарий требует ≤ 1
MiB на клиента, и теперь он выполняется. MiB на клиента, и теперь он выполняется. По verify (S1) требование
срока пути загрузки называет и этот буфер (128 KiB), сценарий тот же.
Правки по `/opsx:verify` (2026-10-22, задачи группы 11; пользователь
недоступен, решения — по спекам и design). Метка `baseline` не
переснимается: правки разбора действуют на будущие метки, числа
`baseline` в `REPORT.md` — формулой из ячеек её `summary.md`.
12. **H1 — по ячейкам гипотезы** (W1). `hypotheses()` считала OOM, 5xx
и 429 «с лимитом» по обоим телам и C = 1, хотя H1 — про 10 MiB и C =
10, 20, 40: в `baseline` строка H1 — «429 2731», а у ячеек 10 MiB
429 — 1 351 (строка «Сценарии спеков»). Теперь все три счётчика — по
тем же ячейкам, что и пик; строка H1 ещё печатает рост сверх C = 10 на
клиента по уровням (W2). Вердикт `baseline` не меняется: у 1 MiB нет
ни OOM, ни 5xx.
13. **«Буферы соединений ограничены» — своей строкой сводки** (W2):
рост медианы пика LB и наибольшего `sock` реплики «с лимитом» от C =
1 до C = 40, делённый на 39, их сумма и итог «выполнен — да / нет».
Сценарий говорит «пик памяти LB и буферов сокетов реплики растёт не
больше чем на 1 MiB на клиента»; порог проверяется на сумме — это
строже прочтения «каждый не больше 1 MiB» и выполняется при обоих. В
`baseline` — 0,56 + 0,39 = 0,95 MiB. Нет ячейки C = 1 или C = 40 —
«нет данных».
14. **Соотношение `wait_timeout_seconds` и `timeout server` LB — без
проверки при старте** (S3). У уборщика проверка есть, потому что
grace и граница B — его собственные настройки. `timeout server` пути
загрузки (30 с) живёт в `haproxy.cfg`, процесс API его не знает:
проверка дублировала бы константу LB в коде и молчала бы при правке
`haproxy.cfg`, а при запуске в консоли без LB мешала бы зря.
Соотношение (`2 × request_timeout_seconds + wait_timeout_seconds` <
30 с, то есть ожидание ≤ 18 с при сроке шага БД 6 с) и последствие
(504 от LB вместо 429) — в `settings.md` и `config_example.toml`.
15. **Срок тела «узкого» API стенда отказов — 3 с, а не 2 с** (S5). В
`test_upload_slots_busy` держатель места A занимает его, затем
пауза 0,2 с, B встаёт в очередь, ещё 0,2 с, C получает 429, B — 429
через 1 с ожидания; A отпускается после этого, примерно через 1,3–1,5
с от начала своего тела, и дошлёт вторую половину. При сроке 2 с запас
— ~0,5 с, а медленный шаг входа или членства B на занятом хосте
сдвигает отпускание A на то же время. 3 с дают ~1,5 с запаса.
`test_slow_body` и `test_slot_released_after_failures` берут срок из
`FAULT_UPLOADS_ENV`: тело частями за срок + 1 с — 400, за половину
срока — 201; набор дольше на ~2 с. Evidence `failure-checks.md` снят
на 2 с (`ce1ae2c`) и переснимается после commit правки.
16. **`attachments`, «Лимит размера до чтения тела»** (S4): вместо «не
больше лимита и одного блока чтения тела» — «одна копия тела и блоки
чтения — тела от клиента и клиента S3», с ростом пика реплики не
больше 1,5 тела на загрузку, как в сценарии «Одна копия тела при
записи в S3». Прежний текст не выполнялся буквально: замер — 1,19–1,20
тела, сверх одной копии — блоки чтения aiohttp и botocore и
накладные расходы аллокатора.
@@ -9,9 +9,11 @@ SHALL отдаваться без чтения тела. Без `Content-Length`
частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL
отдаваться, как только прочитано больше лимита, остаток тела MUST NOT отдаваться, как только прочитано больше лимита, остаток тела MUST NOT
читаться. На одну загрузку процесс API MUST NOT держать в памяти больше читаться. На одну загрузку процесс API MUST NOT держать в памяти больше
лимита и одного блока чтения тела. Это касается всех шагов загрузки, в одной копии тела (не больше лимита) и блоков чтения — тела от клиента и
том числе записи объекта в S3: для отправки тело MUST NOT копироваться клиента S3. Это касается всех шагов загрузки, в том числе записи
целиком. объекта в S3: для отправки тело MUST NOT копироваться целиком. С
накладными расходами процесса рост пика памяти реплики — не больше 1,5
размера тела на загрузку (сценарий «Одна копия тела при записи в S3»).
#### Scenario: Граница размера #### Scenario: Граница размера
@@ -95,7 +95,8 @@ SHALL быть доступно только изнутри контейнера
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер
отправки LB к реплике — 256 KiB. Так ожидающие и отклонённые загрузки не отправки LB к реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB.
Так ожидающие и отклонённые загрузки не
переносят тела целиком ни в память реплики, ни в память LB. переносят тела целиком ни в память реплики, ни в память LB.
#### Scenario: Долгая обработка загрузки #### Scenario: Долгая обработка загрузки
+86 -3
View File
@@ -471,13 +471,17 @@
- «с лимитом» — ни `oom`, ни 5xx; «до» и «без лимита» на 40 × 10 MiB — - «с лимитом» — ни `oom`, ни 5xx; «до» и «без лимита» на 40 × 10 MiB —
`oom` 3/3, «до» на 20 × 10 MiB — 3/3; `oom` 3/3, «до» на 20 × 10 MiB — 3/3;
- H1 — да (пик 169,5 / 177,3 / 181,3 MiB при C = 10 / 20 / 40, сверх - H1 — да (пик 169,5 / 177,3 / 181,3 MiB при C = 10 / 20 / 40, сверх
C = 10 — 0,39 MiB на клиента, 429 — 2 731); H2 — да («без лимита» 1,20 C = 10 — 0,78 MiB на клиента при C = 20 и 0,39 при C = 40, 429 —
1 351 за ячейки 10 MiB; строка H1 сводки считает оба тела — 2 731,
правка разбора — 11.1); H2 — да («без лимита» 1,20
тела на клиента при C = 10, 1,13 при C = 20, OOM 3/3 при 40; «до» 2,17 тела на клиента при C = 10, 1,13 при C = 20, OOM 3/3 при 40; «до» 2,17
при C = 10, OOM 3/3 при 20); H3 — да (122 % / 121 % на 10 MiB, 97 / 90 при C = 10, OOM 3/3 при 20); H3 — да (122 % / 121 % на 10 MiB, 97 / 90
/ 91 % на 1 MiB); H4 — да (503 — 0 в 63 прогонах без OOM); / 91 % на 1 MiB); H4 — да (503 — 0 в 63 прогонах без OOM);
- «Буферы соединений ограничены»: пик LB «с лимитом» 10 MiB — 30,5 / - «Буферы соединений ограничены»: пик LB «с лимитом» 10 MiB — 30,5 /
36,1 / 42,9 / 52,3 MiB при C = 1 / 10 / 20 / 40, 0,56 MiB на клиента; 36,1 / 42,9 / 52,3 MiB при C = 1 / 10 / 20 / 40, (52,3 − 30,5) / 39 =
`sock` LB до 26,7 MiB. 0,56 MiB на клиента, `sock` реплики (19,4 − 4,1) / 39 = 0,39 MiB
(числа ячеек; вердикта в сводке метки нет — 11.2); `sock` LB до
26,7 MiB.
- [x] 10.4 `driver.py lb-upload-timeouts` → - [x] 10.4 `driver.py lb-upload-timeouts` →
`evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по `evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по
одной на реплику) во время `make rolling_update` → одной на реплику) во время `make rolling_update` →
@@ -529,3 +533,82 @@
сроки загрузки». Вопрос 1 ответа не получил — в «Согласования» не сроки загрузки». Вопрос 1 ответа не получил — в «Согласования» не
внесён, назван в ограничениях. Числа сверены с `summary.md` метки, внесён, назван в ограничениях. Числа сверены с `summary.md` метки,
все ссылки `evidence/…` из `REPORT.md` существуют. все ссылки `evidence/…` из `REPORT.md` существуют.
## 11. Замечания проверки
Находки `/opsx:verify` (2026-10-22, CRITICAL нет). Метка
`evidence/uploads/baseline/` не переснимается и не меняется: правки
сводки действуют на будущие метки, а числа baseline в `REPORT.md`
считаются формулой из ячеек её `summary.md`.
- [x] 11.1 W1 — 429 в H1. `bench/uploads.py`, `hypotheses()`: H1
считает OOM, 5xx и 429 только по ячейкам «с лимитом» тела `big` и C ∈
{10, 20, 40}, а не по всем размерам и C = 1; случай в `--selftest`
(ячейки 1 MiB и C = 1 с 429 и OOM в H1 не входят). `REPORT.md` и 10.3:
«429 — 1 351 за ячейки 10 MiB» (`summary.md`, «Сценарии спеков») и
фраза, что строка H1 сводки метки `baseline` считает оба тела (2 731).
Проверка: `uv run python bench/uploads.py --selftest`.
`--selftest` — ok (новые случаи: ячейки 1 MiB с 429 и OOM и C = 1 с
429 в H1 не входят, «429 65»). Разбор `runs.csv` метки `baseline` новым
кодом в scratchpad (файлы метки не тронуты): H1 — «429 1351», «да».
Design, «Уточнения apply», п. 12.
- [x] 11.2 W2 — рост на клиента в сводке. `scenario_lines()` и
`hypotheses()`: рост пика реплики сверх C = 10 на клиента по уровням
(H1) и сценарий «Буферы соединений ограничены» — рост пика LB и `sock`
реплики от C = 1 до C = 40 на клиента, их сумма и итог. `REPORT.md`:
0,39 и 0,56 MiB — формулой из ячеек сводки, с C = 20 (0,78). Проверка:
`--selftest`.
Новая строка сводки на данных `baseline`: «пик LB (52.3 − 30.5) / 39 =
0.56; sock (19.4 − 4.1) / 39 = 0.39; сумма 0.95 (порог 1) … выполнен —
да»; рост сверх C = 10 — 0,78 / 0,39. Порог — на сумме (design,
«Уточнения apply», п. 13).
- [x] 11.3 W3 — таблица доказательств. `REPORT.md`: строки «4» тестов
рубрики и отказов S3 — числа и commit прогона `ce1ae2c` (198 passed,
193 + 5, сверка 227 / 210 / 45 / 17; 37 / 37), абзац перед таблицей —
фраза про evidence `upload-memory` с `ce1ae2c`. Проверка: числа
совпадают с `evidence/tests/*.md`.
- [x] 11.4 W4 — таблица результатов. `REPORT.md`: строки тела 1 MiB из
`summary.md` метки (варианты, OOM, ответы по кодам, p95, C = 1).
Проверка: числа совпадают со сводкой.
- [x] 11.5 S1 — `load-balancing`, требование срока пути загрузки:
«буфер приёма LB от клиента — 128 KiB» (дельта и основной спек).
Проверка: `openspec validate upload-memory --strict`, `--specs`.
- [x] 11.6 S2 — `REPORT.md`, «Ограничения»: оборванный клиент в очереди
держит её место до срока ожидания (5 с).
- [x] 11.7 S3 — соотношение `wait_timeout_seconds` и `timeout server`
LB без проверки при старте: `settings.md` и `config_example.toml`
(почему проверки нет — design, «Уточнения apply»).
Проверку при старте не делал (design, п. 14): `timeout server` — в
`haproxy.cfg`, процесс API его не знает.
- [x] 11.8 S4 — `attachments`, «Лимит размера до чтения тела»:
«одно тело и блоки чтения клиента S3» вместо «лимита и одного блока
чтения», согласовано со сценарием «Одна копия тела при записи в S3»
(1,5 тела); дельта и основной спек.
- [x] 11.9 S5 — запас `test_upload_slots_busy`: срок тела «узкого» API
стенда отказов 3 с вместо 2 с (`run_failures.py`, `test_failures.py`,
правила, design, `REPORT.md`); `test_slow_body` и
`test_slot_released_after_failures` берут срок из окружения.
Проверка: `make failure_checks` на дереве (не evidence).
Запас (design, п. 15): A держит место ~1,3–1,5 с от начала тела, при
сроке 2 с запас ~0,5 с, при 3 с — ~1,5 с. `make failure_checks` на
дереве (2026-10-22): 37 passed за 246,7 с, журнал PostgreSQL — crash
markers 0, стенд убран, список volumes прежний (155, тот же хэш).
`evidence/tests/failure-checks.md` снят на 2 с (`ce1ae2c`) — переснять
после commit; `REPORT.md` до пересъёмки называет 2 с прогона
`ce1ae2c` и 3 с с правки.
- [x] 11.10 S6 — AGENTS.md: change `upload-memory` активен до archive
(вводный абзац и строка «активных нет»).
- [x] 11.11 `make lint`, `make check`, `make validate
PYTHON=.venv/bin/python`, `openspec validate upload-memory --strict` и
`--specs`, `--selftest`.
Все — код 0: `openspec validate upload-memory --strict` — valid,
`--specs` — 24 passed; блоки «Лимит размера до чтения тела» и
«Загрузки через балансировщик» дельты и основных спеков совпали
построчно. `make student_test BASE_URL=http://localhost:8090` (не
evidence) — 198 passed, 37 deselected: сверка покрытия после правки
спеков зелёная.
+5 -3
View File
@@ -63,9 +63,11 @@ SHALL отдаваться без чтения тела. Без `Content-Length`
частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL
отдаваться, как только прочитано больше лимита, остаток тела MUST NOT отдаваться, как только прочитано больше лимита, остаток тела MUST NOT
читаться. На одну загрузку процесс API MUST NOT держать в памяти больше читаться. На одну загрузку процесс API MUST NOT держать в памяти больше
лимита и одного блока чтения тела. Это касается всех шагов загрузки, в одной копии тела (не больше лимита) и блоков чтения — тела от клиента и
том числе записи объекта в S3: для отправки тело MUST NOT копироваться клиента S3. Это касается всех шагов загрузки, в том числе записи
целиком. объекта в S3: для отправки тело MUST NOT копироваться целиком. С
накладными расходами процесса рост пика памяти реплики — не больше 1,5
размера тела на загрузку (сценарий «Одна копия тела при записи в S3»).
#### Scenario: Граница размера #### Scenario: Граница размера
+2 -1
View File
@@ -502,7 +502,8 @@ SHALL быть без состояния, выставленного вручн
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер
отправки LB к реплике — 256 KiB. Так ожидающие и отклонённые загрузки не отправки LB к реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB.
Так ожидающие и отклонённые загрузки не
переносят тела целиком ни в память реплики, ни в память LB. переносят тела целиком ни в память реплики, ни в память LB.
#### Scenario: Долгая обработка загрузки #### Scenario: Долгая обработка загрузки
+1 -1
View File
@@ -177,7 +177,7 @@ def tight_api() -> Iterator[Api]:
@pytest.fixture(scope="session") @pytest.fixture(scope="session")
def uploads_api() -> Iterator[Api]: def uploads_api() -> Iterator[Api]:
"""API стенда отказов с одним местом загрузки, одной загрузкой в """API стенда отказов с одним местом загрузки, одной загрузкой в
очереди, ожиданием места 1 с и сроком тела 2 с (`FAULT_UPLOADS_ENV`).""" очереди, ожиданием места 1 с и сроком тела 3 с (`FAULT_UPLOADS_ENV`)."""
with Api( with Api(
FAULT_UPLOADS_BASE_URL, FAULT_UPLOADS_BASE_URL,
timeout=UPLOADS_CLIENT_TIMEOUT_S, timeout=UPLOADS_CLIENT_TIMEOUT_S,
+6 -4
View File
@@ -11,7 +11,7 @@ S3 со своими volumes, порты хранилищ не публикую
`MAX_IMAGE_PIXELS=1` в окружении — лимиты вложений от них не зависят), `MAX_IMAGE_PIXELS=1` в окружении — лимиты вложений от них не зависят),
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного «тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
соединения) и «узкий по загрузкам» (одно место загрузки, одна в соединения) и «узкий по загрузкам» (одно место загрузки, одна в
очереди, ожидание места 1 с, срок тела 2 с; change `upload-memory`); очереди, ожидание места 1 с, срок тела 3 с; change `upload-memory`);
- прогоняет тесты с маркером `fault` (`pytest -m fault`), передав им hook - прогоняет тесты с маркером `fault` (`pytest -m fault`), передав им hook
`student-tests/fault_hook.py`; при падении печатает журналы API и `student-tests/fault_hook.py`; при падении печатает журналы API и
уборщика; уборщика;
@@ -79,13 +79,15 @@ LIMITS_ENV = {
} }
# «узкий по загрузкам» API (change upload-memory, design, решение 11): одно # «узкий по загрузкам» API (change upload-memory, design, решение 11): одно
# место загрузки, одна загрузка в очереди, ожидание места 1 с, срок тела # место загрузки, одна загрузка в очереди, ожидание места 1 с, срок тела
# 2 с. Те же пары тест получает в `FAULT_UPLOADS_ENV` и сверяет, что стенд # 3 с: держатель места в test_upload_slots_busy отпускается через ~1,3–1,5 с
# запущен с ними # после того, как занял место (ожидавшая получает 429 через 1 с), и срок
# тела должен оставить запас (с 2 с он был ~0,5 с; verify, S5). Те же пары
# тест получает в `FAULT_UPLOADS_ENV` и сверяет, что стенд запущен с ними
UPLOADS_ENV = { UPLOADS_ENV = {
"UPLOADS__MAX_CONCURRENT": "1", "UPLOADS__MAX_CONCURRENT": "1",
"UPLOADS__MAX_WAITING": "1", "UPLOADS__MAX_WAITING": "1",
"UPLOADS__WAIT_TIMEOUT_SECONDS": "1", "UPLOADS__WAIT_TIMEOUT_SECONDS": "1",
"UPLOADS__BODY_TIMEOUT_SECONDS": "2", "UPLOADS__BODY_TIMEOUT_SECONDS": "3",
} }
+3 -3
View File
@@ -6,7 +6,7 @@ Valkey и S3, уборщик незавершённых загрузок (grace
(`BASE_URL`, с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении), (`BASE_URL`, с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении),
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного «тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
соединения) и «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`: одно место соединения) и «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`: одно место
загрузки, одна в очереди, ожидание 1 с, срок тела 2 с — change загрузки, одна в очереди, ожидание 1 с, срок тела 3 с — change
`upload-memory`). На хранилища и API тесты действуют только через фикстуру `upload-memory`). На хранилища и API тесты действуют только через фикстуру
`stand` (hook `student-tests/fault_hook.py`) и всегда возвращают их в `stand` (hook `student-tests/fault_hook.py`) и всегда возвращают их в
рабочее состояние. Решение 4 design change `failure-checks`, решение 10 рабочее состояние. Решение 4 design change `failure-checks`, решение 10
@@ -1151,10 +1151,10 @@ EXPECTED_UPLOADS_ENV = {
"UPLOADS__MAX_CONCURRENT": "1", "UPLOADS__MAX_CONCURRENT": "1",
"UPLOADS__MAX_WAITING": "1", "UPLOADS__MAX_WAITING": "1",
"UPLOADS__WAIT_TIMEOUT_SECONDS": "1", "UPLOADS__WAIT_TIMEOUT_SECONDS": "1",
"UPLOADS__BODY_TIMEOUT_SECONDS": "2", "UPLOADS__BODY_TIMEOUT_SECONDS": "3",
} }
WAIT_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__WAIT_TIMEOUT_SECONDS", "1")) WAIT_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__WAIT_TIMEOUT_SECONDS", "1"))
BODY_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__BODY_TIMEOUT_SECONDS", "2")) BODY_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__BODY_TIMEOUT_SECONDS", "3"))
# отказ без ожидания места: вход, членство и ответ # отказ без ожидания места: вход, членство и ответ
IMMEDIATE_S = 0.5 IMMEDIATE_S = 0.5
# пауза, за которую запрос в соседнем потоке доходит до места или очереди # пауза, за которую запрос в соседнем потоке доходит до места или очереди