fix: address upload-memory verify findings
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -363,7 +363,11 @@ docker — `bench/uploads.py` (`--selftest`).
|
|||||||
окна, пик старта, наибольшие `anon` и `sock`, `oom_kill`, код выхода и
|
окна, пик старта, наибольшие `anon` и `sock`, `oom_kill`, код выхода и
|
||||||
`OOMKilled`, ответы по кодам, загрузок 201/с, p50/p95/p99, пики S3 и
|
`OOMKilled`, ответы по кодам, загрузок 201/с, p50/p95/p99, пики S3 и
|
||||||
LB, пометки), `summary.md` (медиана и min–max по ячейкам, сценарии
|
LB, пометки), `summary.md` (медиана и min–max по ячейкам, сценарии
|
||||||
спеков, H1–H4 с итогом), `raw/<прогон>-k6.json`, `raw/<прогон>-peak.log`.
|
спеков — с ростом на клиента и итогом «Буферы соединений ограничены»
|
||||||
|
по сумме роста LB и `sock` реплики от C = 1 до 40, H1–H4 с итогом
|
||||||
|
только по ячейкам гипотез; у метки `baseline` этих строк ещё нет —
|
||||||
|
design, «Уточнения apply», пп. 12–13), `raw/<прогон>-k6.json`,
|
||||||
|
`raw/<прогон>-peak.log`.
|
||||||
`quick-uploads-*` — в `.gitignore`.
|
`quick-uploads-*` — в `.gitignore`.
|
||||||
- **Время:** полный профиль — 72 прогона, ~50 мин; `uploads_quick` —
|
- **Время:** полный профиль — 72 прогона, ~50 мин; `uploads_quick` —
|
||||||
«без лимита» и «с лимитом», 10 MiB, C ∈ {1, 10, 40}, один повтор,
|
«без лимита» и «с лимитом», 10 MiB, C ∈ {1, 10, 40}, один повтор,
|
||||||
|
|||||||
@@ -180,7 +180,7 @@ make env_setup»). Значение уже существующей переме
|
|||||||
`max_waiting` (int, `ge=0`, 16; 0 — без очереди, сразу 429),
|
`max_waiting` (int, `ge=0`, 16; 0 — без очереди, сразу 429),
|
||||||
`wait_timeout_seconds` (float, `gt=0`, 5), `body_timeout_seconds`
|
`wait_timeout_seconds` (float, `gt=0`, 5), `body_timeout_seconds`
|
||||||
(float, `gt=0`, 30). Значения — в `config.toml`, разовая подмена —
|
(float, `gt=0`, 30). Значения — в `config.toml`, разовая подмена —
|
||||||
`UPLOADS__*` (стенд отказов — 1 / 1 / 1 / 2 у третьего API, профиль
|
`UPLOADS__*` (стенд отказов — 1 / 1 / 1 / 3 у третьего API, профиль
|
||||||
`uploads` — 1000 / 0 у варианта «без лимита»). Настройки, а не
|
`uploads` — 1000 / 0 у варианта «без лимита»). Настройки, а не
|
||||||
константы: у установок разный лимит памяти. Неверное значение —
|
константы: у установок разный лимит памяти. Неверное значение —
|
||||||
ошибка проверки настроек с именем поля, сервис не стартует. «Started
|
ошибка проверки настроек с именем поля, сервис не стартует. «Started
|
||||||
@@ -192,7 +192,14 @@ API» называет все четыре.
|
|||||||
- `wait_timeout_seconds` 5 — молчание реплики до тела `2 × [database]
|
- `wait_timeout_seconds` 5 — молчание реплики до тела `2 × [database]
|
||||||
request_timeout_seconds + wait_timeout_seconds` = 17 с меньше `timeout
|
request_timeout_seconds + wait_timeout_seconds` = 17 с меньше `timeout
|
||||||
server` LB пути загрузки (30 с, `balancer.md`); при смене любого из
|
server` LB пути загрузки (30 с, `balancer.md`); при смене любого из
|
||||||
них пересчитать цепочку;
|
них пересчитать цепочку. **Проверки соотношения при старте нет** (в
|
||||||
|
отличие от grace уборщика): `timeout server` живёт в `haproxy.cfg`, и
|
||||||
|
процесс API его не знает. Поэтому `wait_timeout_seconds` больше `30 −
|
||||||
|
2 × request_timeout_seconds` = 18 с сервис примет молча, а ожидающая
|
||||||
|
загрузка получит 504 от LB вместо 429 реплики (design change
|
||||||
|
`upload-memory`, «Уточнения apply», п. 14). То же для молчания после
|
||||||
|
тела (≈ 26 с): бо́льшие `request_timeout_seconds` и `[s3]
|
||||||
|
timeout_seconds` выводят его за 30 с так же молча;
|
||||||
- `body_timeout_seconds` 30 — один срок на всё тело с момента, как
|
- `body_timeout_seconds` 30 — один срок на всё тело с момента, как
|
||||||
загрузка заняла место (не срок простоя: клиент по байту раз в 29 с
|
загрузка заняла место (не срок простоя: клиент по байту раз в 29 с
|
||||||
держал бы место вечно). Наибольшая длительность загрузки 17 + 30 + 26
|
держал бы место вечно). Наибольшая длительность загрузки 17 + 30 + 26
|
||||||
|
|||||||
@@ -180,12 +180,14 @@ paths:
|
|||||||
требует `Retry-After` — положительное целое;
|
требует `Retry-After` — положительное целое;
|
||||||
- третий API стенда отказов — «узкий по загрузкам»
|
- третий API стенда отказов — «узкий по загрузкам»
|
||||||
(`<проект>-api-uploads`, `UPLOADS_ENV` в `run_failures.py`: 1 место,
|
(`<проект>-api-uploads`, `UPLOADS_ENV` в `run_failures.py`: 1 место,
|
||||||
1 в очереди, ожидание 1 с, срок тела 2 с), тестам —
|
1 в очереди, ожидание 1 с, срок тела 3 с), тестам —
|
||||||
`FAULT_UPLOADS_BASE_URL` (фикстура `uploads_api`, срок клиента 30 с)
|
`FAULT_UPLOADS_BASE_URL` (фикстура `uploads_api`, срок клиента 30 с)
|
||||||
и `FAULT_UPLOADS_ENV`; тесты сверяют, что стенд запущен с этим
|
и `FAULT_UPLOADS_ENV`; тесты сверяют, что стенд запущен с этим
|
||||||
окружением (`assert_uploads_stand`). Место держит загрузка A
|
окружением (`assert_uploads_stand`). Место держит загрузка A
|
||||||
(`held_slot`): генератор тела отдаёт половину и ждёт
|
(`held_slot`): генератор тела отдаёт половину и ждёт
|
||||||
`threading.Event`; A отпускается до истечения её срока тела (2 с);
|
`threading.Event`; A отпускается до истечения её срока тела (3 с:
|
||||||
|
в `test_upload_slots_busy` A держит место ~1,3–1,5 с, при 2 с запас
|
||||||
|
был ~0,5 с — verify, S5);
|
||||||
- тесты (`fault`): `test_upload_slots_busy` (B ждёт, C сразу 429 < 0,5
|
- тесты (`fault`): `test_upload_slots_busy` (B ждёт, C сразу 429 < 0,5
|
||||||
с, B — 429 не раньше 1 с, `Retry-After` ≥ 1; из трёх загрузок новая
|
с, B — 429 не раньше 1 с, `Retry-After` ≥ 1; из трёх загрузок новая
|
||||||
строка и объект — только у A), `test_rejections_before_queue` (при
|
строка и объект — только у A), `test_rejections_before_queue` (при
|
||||||
@@ -280,7 +282,7 @@ paths:
|
|||||||
идемпотентности 2 с, пул 1, короткие таймауты) и с change
|
идемпотентности 2 с, пул 1, короткие таймауты) и с change
|
||||||
`upload-memory` «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`,
|
`upload-memory` «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`,
|
||||||
`UPLOADS_ENV` → `FAULT_UPLOADS_ENV`: 1 место, 1 в очереди, ожидание
|
`UPLOADS_ENV` → `FAULT_UPLOADS_ENV`: 1 место, 1 в очереди, ожидание
|
||||||
1 с, срок тела 2 с); без любого из трёх адресов `pytest -m fault`
|
1 с, срок тела 3 с); без любого из трёх адресов `pytest -m fault`
|
||||||
останавливается до первого теста; при падении печатаются журналы
|
останавливается до первого теста; при падении печатаются журналы
|
||||||
всех трёх;
|
всех трёх;
|
||||||
- уборщик (с лабы 4): после bootstrap — `up -d --no-deps cleaner` с
|
- уборщик (с лабы 4): после bootstrap — `up -d --no-deps cleaner` с
|
||||||
|
|||||||
@@ -41,8 +41,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи
|
|||||||
— трек 2 лабы 2 (план запроса и восстановление), профили `failover` и
|
— трек 2 лабы 2 (план запроса и восстановление), профили `failover` и
|
||||||
`rollout`, серии трека 1 лабы 3 (`scaling-bench`, `scaling-improvement`,
|
`rollout`, серии трека 1 лабы 3 (`scaling-bench`, `scaling-improvement`,
|
||||||
`profile-resources`). Changes лаб 2 и 3 и `s3-storage`, `attachments`,
|
`profile-resources`). Changes лаб 2 и 3 и `s3-storage`, `attachments`,
|
||||||
`upload-consistency` лабы 4 — в `openspec/changes/archive/`, активных
|
`upload-consistency` лабы 4 — в `openspec/changes/archive/`; активен
|
||||||
нет, спеки синхронизированы (новые capability: с `s3-storage` —
|
один `upload-memory` (до archive), спеки синхронизированы, в том числе с
|
||||||
|
его дельтами (новые capability: с `s3-storage` —
|
||||||
`object-storage`, с `attachments` — `attachments`, с
|
`object-storage`, с `attachments` — `attachments`, с
|
||||||
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления
|
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления
|
||||||
bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
|
bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
|
||||||
|
|||||||
@@ -1056,6 +1056,27 @@ apply»; вопрос 1 открыт — сделано 429, как по умо
|
|||||||
повторов, искажено только время (9,95 загрузки/с против ~11,0, p95
|
повторов, искажено только время (9,95 загрузки/с против ~11,0, p95
|
||||||
2 815 мс против ~2 050); медиана ячейки и выводы H1–H4 от него не
|
2 815 мс против ~2 050); медиана ячейки и выводы H1–H4 от него не
|
||||||
зависят. Предупреждение названо в `REPORT.md`.
|
зависят. Предупреждение названо в `REPORT.md`.
|
||||||
|
21. **Правки по verify (2026-10-22, tasks, группа 11; design, «Уточнения
|
||||||
|
apply», пп. 12–16).** Метка `baseline` не переснимается; числа,
|
||||||
|
которых нет в её сводке, `REPORT.md` даёт формулой из её ячеек.
|
||||||
|
- Разбор сводки: H1 считает 429, OOM и 5xx только по ячейкам
|
||||||
|
гипотезы (10 MiB, C = 10, 20, 40: у `baseline` 429 — 1 351, а не
|
||||||
|
2 731 обоих тел) и печатает рост сверх C = 10 на клиента;
|
||||||
|
«Буферы соединений ограничены» — своя строка с вердиктом по сумме
|
||||||
|
роста LB и `sock` реплики от C = 1 до 40 (у `baseline` 0,56 + 0,39 =
|
||||||
|
0,95 MiB при пороге 1).
|
||||||
|
- Спеки: в требовании срока пути загрузки — буфер приёма LB от
|
||||||
|
клиента 128 KiB; «Лимит размера до чтения тела» — одна копия тела и
|
||||||
|
блоки чтения, рост пика ≤ 1,5 тела (как в сценарии).
|
||||||
|
- Проверки соотношения `wait_timeout_seconds` и `timeout server` LB
|
||||||
|
при старте нет: LB-значение API не знает; соотношение — в
|
||||||
|
`settings.md` и `config_example.toml`.
|
||||||
|
- Срок тела «узкого» API стенда отказов — 3 с вместо 2 с: запас
|
||||||
|
держателя места в `test_upload_slots_busy` был ~0,5 с. Evidence
|
||||||
|
`failure-checks.md` — переснять после commit.
|
||||||
|
- `REPORT.md`: таблица 1 MiB, числа и commit строк тестов
|
||||||
|
(`ce1ae2c`), ограничение «оборванный клиент в очереди держит место
|
||||||
|
очереди до срока ожидания».
|
||||||
|
|
||||||
#### Вопросы
|
#### Вопросы
|
||||||
|
|
||||||
|
|||||||
@@ -461,8 +461,9 @@ LB — `tune.sndbuf.server 262144` (буфер отправки к реплик
|
|||||||
`tune.rcvbuf.client 131072` (буфер приёма от клиента). Второй добавлен
|
`tune.rcvbuf.client 131072` (буфер приёма от клиента). Второй добавлен
|
||||||
после первой метки профиля: в ней пик LB рос на ~2,6 MiB на клиента,
|
после первой метки профиля: в ней пик LB рос на ~2,6 MiB на клиента,
|
||||||
очередь приёма сокета клиента — до 9 MiB (`97a4be4`; design, «Уточнения
|
очередь приёма сокета клиента — до 9 MiB (`97a4be4`; design, «Уточнения
|
||||||
apply», п. 11). С ним — 0,56 MiB на клиента, скорость одного клиента
|
apply», п. 11). С ним в метке `baseline` пик LB «с лимитом» 10 MiB растёт
|
||||||
прежняя.
|
на (52,3 − 30,5) / 39 = 0,56 MiB на клиента от 1 до 40 клиентов (ячейки
|
||||||
|
`summary.md`), скорость одного клиента прежняя.
|
||||||
|
|
||||||
**Цепочка таймаутов пути загрузки** (решение 7):
|
**Цепочка таймаутов пути загрузки** (решение 7):
|
||||||
|
|
||||||
@@ -607,7 +608,13 @@ failure_checks` (`evidence/tests/student-test-lb.md`,
|
|||||||
`evidence/attachments/cleaner-process.md`; `make test`, `make
|
`evidence/attachments/cleaner-process.md`; `make test`, `make
|
||||||
student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||||
`driver.py upload-consistency` на этом коде — PASS, их файлы остались с
|
`driver.py upload-consistency` на этом коде — PASS, их файлы остались с
|
||||||
`87c48b9` и `5b42bd2`: правка их шагов не меняет.
|
`87c48b9` и `5b42bd2`: правка их шагов не меняет. Строки памяти и сроков
|
||||||
|
загрузки (change `upload-memory`) — с `ce1ae2c` (код `97a4be4`): метка
|
||||||
|
`evidence/uploads/baseline/`, `evidence/uploads/lb-timeouts.md` и
|
||||||
|
`rollout-upload.md`; с того же commit переснято `make failure_checks`
|
||||||
|
(37 / 37), `make test_isolated` и `make student_test` через LB
|
||||||
|
(`evidence/tests/`), поэтому строки тестов рубрики и отказов S3 в таблице
|
||||||
|
называют `ce1ae2c`.
|
||||||
|
|
||||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||||
| --- | --- | --- | --- |
|
| --- | --- | --- | --- |
|
||||||
@@ -618,8 +625,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
|||||||
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
|
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
|
||||||
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
|
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
|
||||||
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
|
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
|
||||||
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 197 passed через LB, 192 passed + 5 пропусков тестов реплик в одном процессе (оба — `87c48b9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 215 сценариев 13 спеков, 200 тестами (36 — проверками отказов), 15 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 32 / 32, код 0 (`5889ca2`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`ce1ae2c`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||||
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
|
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
|
||||||
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
|
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
|
||||||
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
|
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
|
||||||
@@ -641,8 +648,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
|||||||
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
|
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
|
||||||
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
|
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
|
||||||
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
|
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
|
||||||
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
|
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с в прогоне `ce1ae2c`; с правки по verify — 3 с, запас держателя места) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
|
||||||
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше 2 с — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
|
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше срока тела стенда (2 с в прогоне `ce1ae2c`) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
|
||||||
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||||
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
|
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
|
||||||
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
|
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
|
||||||
@@ -756,21 +763,42 @@ change `upload-memory` (Context, «Пробы»), а не из метки. Ра
|
|||||||
| с лимитом | 20 | 177,3 | 0/3 | 269 | 0 | 0 | 10,90 | 2 059 | 42,9 |
|
| с лимитом | 20 | 177,3 | 0/3 | 269 | 0 | 0 | 10,90 | 2 059 | 42,9 |
|
||||||
| с лимитом | 40 | 181,3 | 0/3 | 269 | 452 | 0 | 11,00 | 2 092 | 52,3 |
|
| с лимитом | 40 | 181,3 | 0/3 | 269 | 452 | 0 | 11,00 | 2 092 | 52,3 |
|
||||||
|
|
||||||
Тело ~1 MiB, загрузок/с при 10 / 20 / 40 клиентах: «без лимита» 128,30 /
|
Те же медианы, тело ~1 MiB (OOM нет ни в одной ячейке, 5xx — 0):
|
||||||
131,75 / 131,95, «с лимитом» 124,00 / 118,75 / 119,60; пик «с лимитом» —
|
|
||||||
119,7 / 127,0 / 132,2 MiB. Память до окна во всех ячейках — ~105 MiB,
|
| Вариант | C | Пик, MiB | OOM | 201 | 429 | 5xx | Загрузок/с | p95, мс | Пик LB, MiB |
|
||||||
пик старта реплики (фиктивный хэш пароля, разогрев) — ~152,6 MiB и в пик
|
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
|
||||||
окна не входит.
|
| до | 1 | 110,0 | 0/3 | 1 445 | 0 | 0 | 62,85 | 17 | 30,8 |
|
||||||
|
| до | 10 | 136,8 | 0/3 | 2 976 | 0 | 0 | 129,85 | 108 | 34,4 |
|
||||||
|
| до | 20 | 153,0 | 0/3 | 2 950 | 0 | 0 | 127,85 | 196 | 37,6 |
|
||||||
|
| до | 40 | 199,2 | 0/3 | 3 043 | 0 | 0 | 132,15 | 365 | 52,8 |
|
||||||
|
| без лимита | 1 | 109,0 | 0/3 | 1 477 | 0 | 0 | 64,05 | 17 | 30,8 |
|
||||||
|
| без лимита | 10 | 127,1 | 0/3 | 2 946 | 0 | 0 | 128,30 | 107 | 34,8 |
|
||||||
|
| без лимита | 20 | 138,0 | 0/3 | 3 026 | 0 | 0 | 131,75 | 203 | 37,4 |
|
||||||
|
| без лимита | 40 | 163,2 | 0/3 | 3 045 | 0 | 0 | 131,95 | 367 | 52,7 |
|
||||||
|
| с лимитом | 1 | 109,0 | 0/3 | 1 480 | 0 | 0 | 64,20 | 17 | 30,5 |
|
||||||
|
| с лимитом | 10 | 119,7 | 0/3 | 2 822 | 0 | 0 | 124,00 | 106 | 34,6 |
|
||||||
|
| с лимитом | 20 | 127,0 | 0/3 | 2 728 | 0 | 0 | 118,75 | 211 | 38,3 |
|
||||||
|
| с лимитом | 40 | 132,2 | 0/3 | 2 751 | 460 | 0 | 119,60 | 210 | 52,5 |
|
||||||
|
|
||||||
|
Память до окна во всех ячейках — ~105 MiB, пик старта реплики (фиктивный
|
||||||
|
хэш пароля, разогрев) — ~152,6 MiB и в пик окна не входит.
|
||||||
|
|
||||||
Выводы (строки «Гипотезы» и «Сценарии спеков» `summary.md`):
|
Выводы (строки «Гипотезы» и «Сценарии спеков» `summary.md`):
|
||||||
|
|
||||||
- **H1 — подтверждена.** «С лимитом» пик 169,5 / 177,3 / 181,3 MiB при 10
|
- **H1 — подтверждена.** «С лимитом» пик 169,5 / 177,3 / 181,3 MiB при 10
|
||||||
/ 20 / 40 клиентах — меньше половины лимита (256 MiB); сверх C = 10 —
|
/ 20 / 40 клиентах — меньше половины лимита (256 MiB); рост сверх C = 10
|
||||||
0,39 MiB на клиента (порог 1); OOM 0, 5xx 0, лишние загрузки — 429 (2
|
на клиента — (177,3 − 169,5) / 10 = 0,78 MiB при C = 20 и (181,3 −
|
||||||
731 за ячейки 10 MiB). Сценарий `attachments` «Память не растёт с
|
169,5) / 30 = 0,39 MiB при C = 40 (порог 1); OOM 0, 5xx 0, лишние
|
||||||
числом загрузок» выполнен; `load-balancing` «Буферы соединений
|
загрузки — 429 (1 351 за ячейки 10 MiB, строка «Сценарии спеков»).
|
||||||
ограничены» — пик LB 30,5 → 52,3 MiB от 1 до 40 клиентов (0,56 MiB на
|
Строка H1 сводки метки считает 429 по обоим телам и C = 1 (2 731): так
|
||||||
клиента), буферы сокетов реплики ≤ 19,6 MiB.
|
разбор сводки работал до правки по verify, новые метки считают только
|
||||||
|
ячейки гипотезы. Сценарий `attachments` «Память не растёт с числом
|
||||||
|
загрузок» выполнен. `load-balancing` «Буферы соединений ограничены»
|
||||||
|
(C = 1 → 40, ячейки «с лимитом» 10 MiB) — пик LB (52,3 − 30,5) / 39 =
|
||||||
|
0,56 MiB на клиента, `sock` реплики (19,4 − 4,1) / 39 = 0,39 MiB, в
|
||||||
|
сумме 0,95 MiB при пороге 1 MiB, OOM 0: выполнен. Вердикта по нему в
|
||||||
|
сводке метки нет — его строку разбор пишет с правки по verify, числа
|
||||||
|
выше — из ячеек той же сводки.
|
||||||
- **H2 — подтверждена.** «Без лимита»: 1,20 тела на клиента при C = 10 и
|
- **H2 — подтверждена.** «Без лимита»: 1,20 тела на клиента при C = 10 и
|
||||||
1,13 при C = 20 (чуть ниже ожидаемых 1,2–1,3), при 40 × 10 MiB — OOM
|
1,13 при C = 20 (чуть ниже ожидаемых 1,2–1,3), при 40 × 10 MiB — OOM
|
||||||
3/3. «До»: 2,17 тела на клиента при C = 10 — вторая копия тела при PUT,
|
3/3. «До»: 2,17 тела на клиента при C = 10 — вторая копия тела при PUT,
|
||||||
@@ -898,6 +926,12 @@ S3 (change `s3-storage`):
|
|||||||
другой места есть; LB 429 не повторяет. Сглаживают очередь (16) и
|
другой места есть; LB 429 не повторяет. Сглаживают очередь (16) и
|
||||||
`Retry-After: 1` — повтор клиента уходит на следующую реплику
|
`Retry-After: 1` — повтор клиента уходит на следующую реплику
|
||||||
(round-robin). Общей очереди на стенд нет.
|
(round-robin). Общей очереди на стенд нет.
|
||||||
|
- **Оборванный клиент в очереди держит её место до срока ожидания**
|
||||||
|
(5 с): обрыв соединения API замечает, только когда начинает читать
|
||||||
|
тело, то есть получив место. Пока такая загрузка ждёт, новая может
|
||||||
|
получить 429 при полной очереди; затем она берёт место, сразу
|
||||||
|
заканчивается `interrupted` и отпускает его (проба verify). Места
|
||||||
|
загрузки она не держит дольше обычной.
|
||||||
- **429 или 503 — вопрос преподавателю открыт** (`PLAN.md`, «Вопросы»,
|
- **429 или 503 — вопрос преподавателю открыт** (`PLAN.md`, «Вопросы»,
|
||||||
п. 1). Ответ «503» поменяет строку таблицы ошибок, сценарии спеков и
|
п. 1). Ответ «503» поменяет строку таблицы ошибок, сценарии спеков и
|
||||||
ожидания тестов, но не подход.
|
ожидания тестов, но не подход.
|
||||||
|
|||||||
+132
-17
@@ -461,6 +461,25 @@ def per_client_bodies(row: dict[str, Any]) -> float | None:
|
|||||||
return (peak - before) * MIB / body / clients
|
return (peak - before) * MIB / body / clients
|
||||||
|
|
||||||
|
|
||||||
|
def growth_per_client(
|
||||||
|
base: float | None,
|
||||||
|
value: float | None,
|
||||||
|
clients: int,
|
||||||
|
) -> float | None:
|
||||||
|
"""Рост медианы ячейки над базовой ячейкой на клиента, MiB."""
|
||||||
|
if base is None or value is None or clients <= 0:
|
||||||
|
return None
|
||||||
|
return (value - base) / clients
|
||||||
|
|
||||||
|
|
||||||
|
def cell_median(
|
||||||
|
grouped: dict[tuple[str, str, int], list[dict[str, Any]]],
|
||||||
|
key: tuple[str, str, int],
|
||||||
|
column: str,
|
||||||
|
) -> float | None:
|
||||||
|
return median(num(r.get(column)) for r in grouped.get(key, []))
|
||||||
|
|
||||||
|
|
||||||
def hypotheses(
|
def hypotheses(
|
||||||
rows: list[dict[str, Any]],
|
rows: list[dict[str, Any]],
|
||||||
*,
|
*,
|
||||||
@@ -480,19 +499,20 @@ def hypotheses(
|
|||||||
|
|
||||||
out = []
|
out = []
|
||||||
# H1: с лимитом пик ≤ половины лимита, рост сверх C=10 ≤ 1 MiB на
|
# H1: с лимитом пик ≤ половины лимита, рост сверх C=10 ≤ 1 MiB на
|
||||||
# клиента, OOM и 5xx нет, лишние — 429
|
# клиента, OOM и 5xx нет, лишние — 429. Всё — по ячейкам тела big и
|
||||||
limited = [r for r in rows if r["variant"] == "limited"]
|
# C = 10, 20, 40, как в тексте гипотезы (метка baseline считала OOM,
|
||||||
|
# 5xx и 429 по всем размерам и C = 1)
|
||||||
levels = [c for c in (10, 20, 40) if group("limited", big, c)]
|
levels = [c for c in (10, 20, 40) if group("limited", big, c)]
|
||||||
if levels:
|
if levels:
|
||||||
|
limited = [r for c in levels for r in group("limited", big, c)]
|
||||||
peaks = {c: peak("limited", c) for c in levels}
|
peaks = {c: peak("limited", c) for c in levels}
|
||||||
base = peaks.get(10)
|
base = peaks.get(10)
|
||||||
growth_ok = all(
|
growth = {
|
||||||
base is not None
|
c: growth_per_client(base, peaks[c], c - 10)
|
||||||
and peaks[c] is not None
|
|
||||||
and peaks[c] - base <= (c - 10)
|
|
||||||
for c in levels
|
for c in levels
|
||||||
if c > 10
|
if c > 10
|
||||||
)
|
}
|
||||||
|
growth_ok = all(v is not None and v <= 1 for v in growth.values())
|
||||||
half_ok = all(
|
half_ok = all(
|
||||||
v is not None and v <= memory_limit_mib / 2 for v in peaks.values()
|
v is not None and v <= memory_limit_mib / 2 for v in peaks.values()
|
||||||
)
|
)
|
||||||
@@ -508,8 +528,13 @@ def hypotheses(
|
|||||||
"и 5xx нет, лишние — 429",
|
"и 5xx нет, лишние — 429",
|
||||||
"numbers": "пик, MiB: "
|
"numbers": "пик, MiB: "
|
||||||
+ ", ".join(f"C={c} {fmt(peaks[c])}" for c in levels)
|
+ ", ".join(f"C={c} {fmt(peaks[c])}" for c in levels)
|
||||||
+ f" (половина лимита {memory_limit_mib / 2:g}); OOM "
|
+ f" (половина лимита {memory_limit_mib / 2:g}); сверх "
|
||||||
f"{oom}, 5xx {fives}, 429 {busy}",
|
"C=10, MiB на клиента: "
|
||||||
|
+ (
|
||||||
|
", ".join(f"C={c} {fmt(v, 2)}" for c, v in growth.items())
|
||||||
|
or "—"
|
||||||
|
)
|
||||||
|
+ f"; OOM {oom}, 5xx {fives}, 429 {busy}",
|
||||||
"result": "да" if verdict else "нет",
|
"result": "да" if verdict else "нет",
|
||||||
},
|
},
|
||||||
)
|
)
|
||||||
@@ -749,16 +774,34 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]:
|
|||||||
lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)]
|
lim = [grouped.get(("limited", big, c), []) for c in (10, 20, 40)]
|
||||||
if any(lim):
|
if any(lim):
|
||||||
flat = [r for items in lim for r in items]
|
flat = [r for items in lim for r in items]
|
||||||
|
base = cell_median(grouped, ("limited", big, 10), "peak_mib")
|
||||||
|
over = [
|
||||||
|
f"C={c} "
|
||||||
|
+ fmt(
|
||||||
|
growth_per_client(
|
||||||
|
base,
|
||||||
|
cell_median(grouped, ("limited", big, c), "peak_mib"),
|
||||||
|
c - 10,
|
||||||
|
),
|
||||||
|
2,
|
||||||
|
)
|
||||||
|
for c, items in zip((20, 40), lim[1:], strict=True)
|
||||||
|
if items
|
||||||
|
]
|
||||||
lines.append(
|
lines.append(
|
||||||
"- `attachments`, «Память не растёт с числом загрузок» и "
|
"- `attachments`, «Память не растёт с числом загрузок» («с "
|
||||||
"`load-balancing`, «Буферы соединений ограничены» («с лимитом», "
|
f"лимитом», {big}): пик реплики "
|
||||||
f"{big}): пик реплики "
|
|
||||||
+ ", ".join(
|
+ ", ".join(
|
||||||
f"C={c} {fmt(median(num(r['peak_mib']) for r in items))}"
|
f"C={c} {fmt(median(num(r['peak_mib']) for r in items))}"
|
||||||
for c, items in zip((10, 20, 40), lim, strict=True)
|
for c, items in zip((10, 20, 40), lim, strict=True)
|
||||||
if items
|
if items
|
||||||
)
|
)
|
||||||
+ " MiB, sock "
|
+ (
|
||||||
|
" MiB (сверх C=10, MiB на клиента: " + ", ".join(over) + ")"
|
||||||
|
if over
|
||||||
|
else " MiB"
|
||||||
|
)
|
||||||
|
+ ", sock "
|
||||||
+ ", ".join(
|
+ ", ".join(
|
||||||
f"C={c} {fmt(median(num(r['sock_max_mib']) for r in items))}"
|
f"C={c} {fmt(median(num(r['sock_max_mib']) for r in items))}"
|
||||||
for c, items in zip((10, 20, 40), lim, strict=True)
|
for c, items in zip((10, 20, 40), lim, strict=True)
|
||||||
@@ -774,10 +817,52 @@ def scenario_lines(rows: list[dict[str, Any]], big: str) -> list[str]:
|
|||||||
f"{sum(errors_5xx(r) for r in flat)}, 429 "
|
f"{sum(errors_5xx(r) for r in flat)}, 429 "
|
||||||
f"{sum(int(num(r.get('s429')) or 0) for r in flat)}.",
|
f"{sum(int(num(r.get('s429')) or 0) for r in flat)}.",
|
||||||
)
|
)
|
||||||
|
lines.append(buffers_line(grouped, big))
|
||||||
lines.append("")
|
lines.append("")
|
||||||
return lines
|
return lines
|
||||||
|
|
||||||
|
|
||||||
|
def buffers_line(
|
||||||
|
grouped: dict[tuple[str, str, int], list[dict[str, Any]]],
|
||||||
|
big: str,
|
||||||
|
) -> str:
|
||||||
|
"""`load-balancing`, «Буферы соединений ограничены»: рост медианы пика
|
||||||
|
LB и наибольшего `sock` реплики «с лимитом» от C = 1 до C = 40 на
|
||||||
|
клиента; выполнен, если их сумма ≤ 1 MiB и при C = 40 нет OOM.
|
||||||
|
Сумма — строже прочтения «каждый ≤ 1 MiB» (design, «Уточнения apply»,
|
||||||
|
п. 13)."""
|
||||||
|
one, top = ("limited", big, 1), ("limited", big, 40)
|
||||||
|
name = (
|
||||||
|
"- `load-balancing`, «Буферы соединений ограничены» («с лимитом», "
|
||||||
|
f"{big}, C = 1 → 40): "
|
||||||
|
)
|
||||||
|
if not grouped.get(one) or not grouped.get(top):
|
||||||
|
return name + "нет данных (нужны ячейки C = 1 и C = 40)."
|
||||||
|
parts, total = [], 0.0
|
||||||
|
for column, label in (
|
||||||
|
("lb_peak_mib", "пик LB"),
|
||||||
|
("sock_max_mib", "sock"),
|
||||||
|
):
|
||||||
|
a = cell_median(grouped, one, column)
|
||||||
|
b = cell_median(grouped, top, column)
|
||||||
|
slope = growth_per_client(a, b, 39)
|
||||||
|
if slope is None:
|
||||||
|
return name + f"нет данных ({label})."
|
||||||
|
total += slope
|
||||||
|
parts.append(
|
||||||
|
f"{label} ({fmt(b)} − {fmt(a)}) / 39 = {fmt(slope, 2)} MiB на "
|
||||||
|
"клиента",
|
||||||
|
)
|
||||||
|
ooms = sum(is_oom(r) for r in grouped[top])
|
||||||
|
verdict = "да" if total <= 1 and not ooms else "нет"
|
||||||
|
return (
|
||||||
|
name
|
||||||
|
+ "; ".join(parts)
|
||||||
|
+ f"; сумма {fmt(total, 2)} (порог 1 MiB на клиента), OOM при "
|
||||||
|
f"C = 40 {ooms}/{len(grouped[top])}; выполнен — {verdict}."
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
# --------------------------------------------------------------- selftest
|
# --------------------------------------------------------------- selftest
|
||||||
|
|
||||||
|
|
||||||
@@ -912,19 +997,24 @@ def selftest() -> int:
|
|||||||
return {**base, **extra}
|
return {**base, **extra}
|
||||||
|
|
||||||
rows = [
|
rows = [
|
||||||
|
synth("limited", 1, 120, s429=7, lb_peak_mib=30, sock_max_mib=4),
|
||||||
synth("limited", 10, 170),
|
synth("limited", 10, 170),
|
||||||
synth("limited", 20, 178, s429=5),
|
synth("limited", 20, 178, s429=5),
|
||||||
synth("limited", 40, 180, s429=60),
|
synth("limited", 40, 180, s429=60),
|
||||||
|
# другое тело: в H1 не входит ни 429, ни OOM
|
||||||
|
synth("limited", 40, 140, size="1MiB", s429=1000, flags="oom"),
|
||||||
synth("unlimited", 10, 230),
|
synth("unlimited", 10, 230),
|
||||||
synth("unlimited", 20, 350),
|
synth("unlimited", 20, 350),
|
||||||
synth("unlimited", 40, 512, flags="oom"),
|
synth("unlimited", 40, 512, flags="oom"),
|
||||||
synth("before", 10, 316),
|
synth("before", 10, 316),
|
||||||
synth("before", 20, 512, flags="oom"),
|
synth("before", 20, 512, flags="oom"),
|
||||||
]
|
]
|
||||||
result = {
|
checked = hypotheses(rows, memory_limit_mib=512, big="10MiB")
|
||||||
h["id"]: h["result"]
|
result = {h["id"]: h["result"] for h in checked}
|
||||||
for h in hypotheses(rows, memory_limit_mib=512, big="10MiB")
|
h1 = checked[0]["numbers"]
|
||||||
}
|
expect("H1 429 of big body, C >= 10", "429 65" in h1, True)
|
||||||
|
expect("H1 OOM of big body", "OOM 0," in h1, True)
|
||||||
|
expect("H1 growth", "C=20 0.80, C=40 0.33" in h1, True)
|
||||||
expect("H1", result["H1"], "да")
|
expect("H1", result["H1"], "да")
|
||||||
expect("H2", result["H2"], "да")
|
expect("H2", result["H2"], "да")
|
||||||
expect("H3", result["H3"], "да")
|
expect("H3", result["H3"], "да")
|
||||||
@@ -960,6 +1050,31 @@ def selftest() -> int:
|
|||||||
text = render_summary(meta, rows)
|
text = render_summary(meta, rows)
|
||||||
expect("summary has H1", "| H1 |" in text, True)
|
expect("summary has H1", "| H1 |" in text, True)
|
||||||
expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True)
|
expect("summary has cells", "| с лимитом | 10MiB | 40 |" in text, True)
|
||||||
|
expect(
|
||||||
|
"replica growth over C=10",
|
||||||
|
"(сверх C=10, MiB на клиента: C=20 0.80, C=40 0.33)" in text,
|
||||||
|
True,
|
||||||
|
)
|
||||||
|
expect(
|
||||||
|
"buffers verdict",
|
||||||
|
"пик LB (50.0 − 30.0) / 39 = 0.51 MiB на клиента; sock (5.0 − 4.0) "
|
||||||
|
"/ 39 = 0.03 MiB на клиента; сумма 0.54"
|
||||||
|
in text
|
||||||
|
and "выполнен — да." in text,
|
||||||
|
True,
|
||||||
|
)
|
||||||
|
wide = rows + [synth("limited", 40, 181, lb_peak_mib=100)]
|
||||||
|
expect(
|
||||||
|
"buffers over the bound",
|
||||||
|
"выполнен — нет." in render_summary(meta, wide),
|
||||||
|
True,
|
||||||
|
)
|
||||||
|
expect(
|
||||||
|
"buffers without C=1",
|
||||||
|
"нет данных (нужны ячейки C = 1 и C = 40)"
|
||||||
|
in "\n".join(scenario_lines(rows[1:], "10MiB")),
|
||||||
|
True,
|
||||||
|
)
|
||||||
if failures:
|
if failures:
|
||||||
print("selftest failed:\n " + "\n ".join(failures), flush=True)
|
print("selftest failed:\n " + "\n ".join(failures), flush=True)
|
||||||
return 1
|
return 1
|
||||||
|
|||||||
+2
-1
@@ -88,7 +88,8 @@ max_concurrent = 4
|
|||||||
max_waiting = 16
|
max_waiting = 16
|
||||||
# секунды ожидания места, затем 429 rate_limited с Retry-After; вход,
|
# секунды ожидания места, затем 429 rate_limited с Retry-After; вход,
|
||||||
# членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути
|
# членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути
|
||||||
# загрузки (30 с)
|
# загрузки (30 с). Проверки при старте нет: больше 18 с — 504 от LB
|
||||||
|
# вместо 429
|
||||||
wait_timeout_seconds = 5
|
wait_timeout_seconds = 5
|
||||||
# секунды на всё тело с момента, как загрузка заняла место; иначе 400
|
# секунды на всё тело с момента, как загрузка заняла место; иначе 400
|
||||||
body_timeout_seconds = 30
|
body_timeout_seconds = 30
|
||||||
|
|||||||
@@ -560,7 +560,8 @@ B = 17) и проверка уборщика. Удаление объекта у
|
|||||||
`make failure_checks` — третий API стенда отказов
|
`make failure_checks` — третий API стенда отказов
|
||||||
`<проект>-api-uploads` (`run_failures.py`, `UPLOADS_ENV`):
|
`<проект>-api-uploads` (`run_failures.py`, `UPLOADS_ENV`):
|
||||||
`UPLOADS__MAX_CONCURRENT=1`, `UPLOADS__MAX_WAITING=1`,
|
`UPLOADS__MAX_CONCURRENT=1`, `UPLOADS__MAX_WAITING=1`,
|
||||||
`UPLOADS__WAIT_TIMEOUT_SECONDS=1`, `UPLOADS__BODY_TIMEOUT_SECONDS=2`.
|
`UPLOADS__WAIT_TIMEOUT_SECONDS=1`, `UPLOADS__BODY_TIMEOUT_SECONDS=3`
|
||||||
|
(было 2 — «Уточнения apply», п. 15).
|
||||||
Тесты получают `FAULT_UPLOADS_BASE_URL` и `FAULT_UPLOADS_ENV`. Место
|
Тесты получают `FAULT_UPLOADS_BASE_URL` и `FAULT_UPLOADS_ENV`. Место
|
||||||
держит загрузка A: тело — генератор, который отдаёт половину и ждёт
|
держит загрузка A: тело — генератор, который отдаёт половину и ждёт
|
||||||
`threading.Event` теста. Пока она идёт, тест выполняет нужный запрос,
|
`threading.Event` теста. Пока она идёт, тест выполняет нужный запрос,
|
||||||
@@ -804,4 +805,53 @@ git до sync дельт (`student-tests.md`).
|
|||||||
скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что
|
скачивание), а `tune.rcvbuf.client` живёт в том же `haproxy.cfg`, что
|
||||||
`tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере
|
`tune.sndbuf.server`, и действует на стенде `bench/` и в драйвере
|
||||||
без правки compose. Спек от правки не меняется: сценарий требует ≤ 1
|
без правки compose. Спек от правки не меняется: сценарий требует ≤ 1
|
||||||
MiB на клиента, и теперь он выполняется.
|
MiB на клиента, и теперь он выполняется. По verify (S1) требование
|
||||||
|
срока пути загрузки называет и этот буфер (128 KiB), сценарий тот же.
|
||||||
|
|
||||||
|
Правки по `/opsx:verify` (2026-10-22, задачи группы 11; пользователь
|
||||||
|
недоступен, решения — по спекам и design). Метка `baseline` не
|
||||||
|
переснимается: правки разбора действуют на будущие метки, числа
|
||||||
|
`baseline` в `REPORT.md` — формулой из ячеек её `summary.md`.
|
||||||
|
|
||||||
|
12. **H1 — по ячейкам гипотезы** (W1). `hypotheses()` считала OOM, 5xx
|
||||||
|
и 429 «с лимитом» по обоим телам и C = 1, хотя H1 — про 10 MiB и C =
|
||||||
|
10, 20, 40: в `baseline` строка H1 — «429 2731», а у ячеек 10 MiB
|
||||||
|
429 — 1 351 (строка «Сценарии спеков»). Теперь все три счётчика — по
|
||||||
|
тем же ячейкам, что и пик; строка H1 ещё печатает рост сверх C = 10 на
|
||||||
|
клиента по уровням (W2). Вердикт `baseline` не меняется: у 1 MiB нет
|
||||||
|
ни OOM, ни 5xx.
|
||||||
|
13. **«Буферы соединений ограничены» — своей строкой сводки** (W2):
|
||||||
|
рост медианы пика LB и наибольшего `sock` реплики «с лимитом» от C =
|
||||||
|
1 до C = 40, делённый на 39, их сумма и итог «выполнен — да / нет».
|
||||||
|
Сценарий говорит «пик памяти LB и буферов сокетов реплики растёт не
|
||||||
|
больше чем на 1 MiB на клиента»; порог проверяется на сумме — это
|
||||||
|
строже прочтения «каждый не больше 1 MiB» и выполняется при обоих. В
|
||||||
|
`baseline` — 0,56 + 0,39 = 0,95 MiB. Нет ячейки C = 1 или C = 40 —
|
||||||
|
«нет данных».
|
||||||
|
14. **Соотношение `wait_timeout_seconds` и `timeout server` LB — без
|
||||||
|
проверки при старте** (S3). У уборщика проверка есть, потому что
|
||||||
|
grace и граница B — его собственные настройки. `timeout server` пути
|
||||||
|
загрузки (30 с) живёт в `haproxy.cfg`, процесс API его не знает:
|
||||||
|
проверка дублировала бы константу LB в коде и молчала бы при правке
|
||||||
|
`haproxy.cfg`, а при запуске в консоли без LB мешала бы зря.
|
||||||
|
Соотношение (`2 × request_timeout_seconds + wait_timeout_seconds` <
|
||||||
|
30 с, то есть ожидание ≤ 18 с при сроке шага БД 6 с) и последствие
|
||||||
|
(504 от LB вместо 429) — в `settings.md` и `config_example.toml`.
|
||||||
|
15. **Срок тела «узкого» API стенда отказов — 3 с, а не 2 с** (S5). В
|
||||||
|
`test_upload_slots_busy` держатель места A занимает его, затем
|
||||||
|
пауза 0,2 с, B встаёт в очередь, ещё 0,2 с, C получает 429, B — 429
|
||||||
|
через 1 с ожидания; A отпускается после этого, примерно через 1,3–1,5
|
||||||
|
с от начала своего тела, и дошлёт вторую половину. При сроке 2 с запас
|
||||||
|
— ~0,5 с, а медленный шаг входа или членства B на занятом хосте
|
||||||
|
сдвигает отпускание A на то же время. 3 с дают ~1,5 с запаса.
|
||||||
|
`test_slow_body` и `test_slot_released_after_failures` берут срок из
|
||||||
|
`FAULT_UPLOADS_ENV`: тело частями за срок + 1 с — 400, за половину
|
||||||
|
срока — 201; набор дольше на ~2 с. Evidence `failure-checks.md` снят
|
||||||
|
на 2 с (`ce1ae2c`) и переснимается после commit правки.
|
||||||
|
16. **`attachments`, «Лимит размера до чтения тела»** (S4): вместо «не
|
||||||
|
больше лимита и одного блока чтения тела» — «одна копия тела и блоки
|
||||||
|
чтения — тела от клиента и клиента S3», с ростом пика реплики не
|
||||||
|
больше 1,5 тела на загрузку, как в сценарии «Одна копия тела при
|
||||||
|
записи в S3». Прежний текст не выполнялся буквально: замер — 1,19–1,20
|
||||||
|
тела, сверх одной копии — блоки чтения aiohttp и botocore и
|
||||||
|
накладные расходы аллокатора.
|
||||||
|
|||||||
@@ -9,9 +9,11 @@ SHALL отдаваться без чтения тела. Без `Content-Length`
|
|||||||
частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL
|
частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL
|
||||||
отдаваться, как только прочитано больше лимита, остаток тела MUST NOT
|
отдаваться, как только прочитано больше лимита, остаток тела MUST NOT
|
||||||
читаться. На одну загрузку процесс API MUST NOT держать в памяти больше
|
читаться. На одну загрузку процесс API MUST NOT держать в памяти больше
|
||||||
лимита и одного блока чтения тела. Это касается всех шагов загрузки, в
|
одной копии тела (не больше лимита) и блоков чтения — тела от клиента и
|
||||||
том числе записи объекта в S3: для отправки тело MUST NOT копироваться
|
клиента S3. Это касается всех шагов загрузки, в том числе записи
|
||||||
целиком.
|
объекта в S3: для отправки тело MUST NOT копироваться целиком. С
|
||||||
|
накладными расходами процесса рост пика памяти реплики — не больше 1,5
|
||||||
|
размера тела на загрузку (сценарий «Одна копия тела при записи в S3»).
|
||||||
|
|
||||||
#### Scenario: Граница размера
|
#### Scenario: Граница размера
|
||||||
|
|
||||||
|
|||||||
@@ -95,7 +95,8 @@ SHALL быть доступно только изнутри контейнера
|
|||||||
|
|
||||||
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
|
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
|
||||||
объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер
|
объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер
|
||||||
отправки LB к реплике — 256 KiB. Так ожидающие и отклонённые загрузки не
|
отправки LB к реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB.
|
||||||
|
Так ожидающие и отклонённые загрузки не
|
||||||
переносят тела целиком ни в память реплики, ни в память LB.
|
переносят тела целиком ни в память реплики, ни в память LB.
|
||||||
|
|
||||||
#### Scenario: Долгая обработка загрузки
|
#### Scenario: Долгая обработка загрузки
|
||||||
|
|||||||
@@ -471,13 +471,17 @@
|
|||||||
- «с лимитом» — ни `oom`, ни 5xx; «до» и «без лимита» на 40 × 10 MiB —
|
- «с лимитом» — ни `oom`, ни 5xx; «до» и «без лимита» на 40 × 10 MiB —
|
||||||
`oom` 3/3, «до» на 20 × 10 MiB — 3/3;
|
`oom` 3/3, «до» на 20 × 10 MiB — 3/3;
|
||||||
- H1 — да (пик 169,5 / 177,3 / 181,3 MiB при C = 10 / 20 / 40, сверх
|
- H1 — да (пик 169,5 / 177,3 / 181,3 MiB при C = 10 / 20 / 40, сверх
|
||||||
C = 10 — 0,39 MiB на клиента, 429 — 2 731); H2 — да («без лимита» 1,20
|
C = 10 — 0,78 MiB на клиента при C = 20 и 0,39 при C = 40, 429 —
|
||||||
|
1 351 за ячейки 10 MiB; строка H1 сводки считает оба тела — 2 731,
|
||||||
|
правка разбора — 11.1); H2 — да («без лимита» 1,20
|
||||||
тела на клиента при C = 10, 1,13 при C = 20, OOM 3/3 при 40; «до» 2,17
|
тела на клиента при C = 10, 1,13 при C = 20, OOM 3/3 при 40; «до» 2,17
|
||||||
при C = 10, OOM 3/3 при 20); H3 — да (122 % / 121 % на 10 MiB, 97 / 90
|
при C = 10, OOM 3/3 при 20); H3 — да (122 % / 121 % на 10 MiB, 97 / 90
|
||||||
/ 91 % на 1 MiB); H4 — да (503 — 0 в 63 прогонах без OOM);
|
/ 91 % на 1 MiB); H4 — да (503 — 0 в 63 прогонах без OOM);
|
||||||
- «Буферы соединений ограничены»: пик LB «с лимитом» 10 MiB — 30,5 /
|
- «Буферы соединений ограничены»: пик LB «с лимитом» 10 MiB — 30,5 /
|
||||||
36,1 / 42,9 / 52,3 MiB при C = 1 / 10 / 20 / 40, 0,56 MiB на клиента;
|
36,1 / 42,9 / 52,3 MiB при C = 1 / 10 / 20 / 40, (52,3 − 30,5) / 39 =
|
||||||
`sock` LB до 26,7 MiB.
|
0,56 MiB на клиента, `sock` реплики (19,4 − 4,1) / 39 = 0,39 MiB
|
||||||
|
(числа ячеек; вердикта в сводке метки нет — 11.2); `sock` LB до
|
||||||
|
26,7 MiB.
|
||||||
- [x] 10.4 `driver.py lb-upload-timeouts` →
|
- [x] 10.4 `driver.py lb-upload-timeouts` →
|
||||||
`evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по
|
`evidence/uploads/lb-timeouts.md`. Две медленные загрузки (~20 с, по
|
||||||
одной на реплику) во время `make rolling_update` →
|
одной на реплику) во время `make rolling_update` →
|
||||||
@@ -529,3 +533,82 @@
|
|||||||
сроки загрузки». Вопрос 1 ответа не получил — в «Согласования» не
|
сроки загрузки». Вопрос 1 ответа не получил — в «Согласования» не
|
||||||
внесён, назван в ограничениях. Числа сверены с `summary.md` метки,
|
внесён, назван в ограничениях. Числа сверены с `summary.md` метки,
|
||||||
все ссылки `evidence/…` из `REPORT.md` существуют.
|
все ссылки `evidence/…` из `REPORT.md` существуют.
|
||||||
|
|
||||||
|
## 11. Замечания проверки
|
||||||
|
|
||||||
|
Находки `/opsx:verify` (2026-10-22, CRITICAL нет). Метка
|
||||||
|
`evidence/uploads/baseline/` не переснимается и не меняется: правки
|
||||||
|
сводки действуют на будущие метки, а числа baseline в `REPORT.md`
|
||||||
|
считаются формулой из ячеек её `summary.md`.
|
||||||
|
|
||||||
|
- [x] 11.1 W1 — 429 в H1. `bench/uploads.py`, `hypotheses()`: H1
|
||||||
|
считает OOM, 5xx и 429 только по ячейкам «с лимитом» тела `big` и C ∈
|
||||||
|
{10, 20, 40}, а не по всем размерам и C = 1; случай в `--selftest`
|
||||||
|
(ячейки 1 MiB и C = 1 с 429 и OOM в H1 не входят). `REPORT.md` и 10.3:
|
||||||
|
«429 — 1 351 за ячейки 10 MiB» (`summary.md`, «Сценарии спеков») и
|
||||||
|
фраза, что строка H1 сводки метки `baseline` считает оба тела (2 731).
|
||||||
|
Проверка: `uv run python bench/uploads.py --selftest`.
|
||||||
|
|
||||||
|
`--selftest` — ok (новые случаи: ячейки 1 MiB с 429 и OOM и C = 1 с
|
||||||
|
429 в H1 не входят, «429 65»). Разбор `runs.csv` метки `baseline` новым
|
||||||
|
кодом в scratchpad (файлы метки не тронуты): H1 — «429 1351», «да».
|
||||||
|
Design, «Уточнения apply», п. 12.
|
||||||
|
- [x] 11.2 W2 — рост на клиента в сводке. `scenario_lines()` и
|
||||||
|
`hypotheses()`: рост пика реплики сверх C = 10 на клиента по уровням
|
||||||
|
(H1) и сценарий «Буферы соединений ограничены» — рост пика LB и `sock`
|
||||||
|
реплики от C = 1 до C = 40 на клиента, их сумма и итог. `REPORT.md`:
|
||||||
|
0,39 и 0,56 MiB — формулой из ячеек сводки, с C = 20 (0,78). Проверка:
|
||||||
|
`--selftest`.
|
||||||
|
|
||||||
|
Новая строка сводки на данных `baseline`: «пик LB (52.3 − 30.5) / 39 =
|
||||||
|
0.56; sock (19.4 − 4.1) / 39 = 0.39; сумма 0.95 (порог 1) … выполнен —
|
||||||
|
да»; рост сверх C = 10 — 0,78 / 0,39. Порог — на сумме (design,
|
||||||
|
«Уточнения apply», п. 13).
|
||||||
|
- [x] 11.3 W3 — таблица доказательств. `REPORT.md`: строки «4» тестов
|
||||||
|
рубрики и отказов S3 — числа и commit прогона `ce1ae2c` (198 passed,
|
||||||
|
193 + 5, сверка 227 / 210 / 45 / 17; 37 / 37), абзац перед таблицей —
|
||||||
|
фраза про evidence `upload-memory` с `ce1ae2c`. Проверка: числа
|
||||||
|
совпадают с `evidence/tests/*.md`.
|
||||||
|
- [x] 11.4 W4 — таблица результатов. `REPORT.md`: строки тела 1 MiB из
|
||||||
|
`summary.md` метки (варианты, OOM, ответы по кодам, p95, C = 1).
|
||||||
|
Проверка: числа совпадают со сводкой.
|
||||||
|
- [x] 11.5 S1 — `load-balancing`, требование срока пути загрузки:
|
||||||
|
«буфер приёма LB от клиента — 128 KiB» (дельта и основной спек).
|
||||||
|
Проверка: `openspec validate upload-memory --strict`, `--specs`.
|
||||||
|
- [x] 11.6 S2 — `REPORT.md`, «Ограничения»: оборванный клиент в очереди
|
||||||
|
держит её место до срока ожидания (5 с).
|
||||||
|
- [x] 11.7 S3 — соотношение `wait_timeout_seconds` и `timeout server`
|
||||||
|
LB без проверки при старте: `settings.md` и `config_example.toml`
|
||||||
|
(почему проверки нет — design, «Уточнения apply»).
|
||||||
|
|
||||||
|
Проверку при старте не делал (design, п. 14): `timeout server` — в
|
||||||
|
`haproxy.cfg`, процесс API его не знает.
|
||||||
|
- [x] 11.8 S4 — `attachments`, «Лимит размера до чтения тела»:
|
||||||
|
«одно тело и блоки чтения клиента S3» вместо «лимита и одного блока
|
||||||
|
чтения», согласовано со сценарием «Одна копия тела при записи в S3»
|
||||||
|
(1,5 тела); дельта и основной спек.
|
||||||
|
- [x] 11.9 S5 — запас `test_upload_slots_busy`: срок тела «узкого» API
|
||||||
|
стенда отказов 3 с вместо 2 с (`run_failures.py`, `test_failures.py`,
|
||||||
|
правила, design, `REPORT.md`); `test_slow_body` и
|
||||||
|
`test_slot_released_after_failures` берут срок из окружения.
|
||||||
|
Проверка: `make failure_checks` на дереве (не evidence).
|
||||||
|
|
||||||
|
Запас (design, п. 15): A держит место ~1,3–1,5 с от начала тела, при
|
||||||
|
сроке 2 с запас ~0,5 с, при 3 с — ~1,5 с. `make failure_checks` на
|
||||||
|
дереве (2026-10-22): 37 passed за 246,7 с, журнал PostgreSQL — crash
|
||||||
|
markers 0, стенд убран, список volumes прежний (155, тот же хэш).
|
||||||
|
`evidence/tests/failure-checks.md` снят на 2 с (`ce1ae2c`) — переснять
|
||||||
|
после commit; `REPORT.md` до пересъёмки называет 2 с прогона
|
||||||
|
`ce1ae2c` и 3 с с правки.
|
||||||
|
- [x] 11.10 S6 — AGENTS.md: change `upload-memory` активен до archive
|
||||||
|
(вводный абзац и строка «активных нет»).
|
||||||
|
- [x] 11.11 `make lint`, `make check`, `make validate
|
||||||
|
PYTHON=.venv/bin/python`, `openspec validate upload-memory --strict` и
|
||||||
|
`--specs`, `--selftest`.
|
||||||
|
|
||||||
|
Все — код 0: `openspec validate upload-memory --strict` — valid,
|
||||||
|
`--specs` — 24 passed; блоки «Лимит размера до чтения тела» и
|
||||||
|
«Загрузки через балансировщик» дельты и основных спеков совпали
|
||||||
|
построчно. `make student_test BASE_URL=http://localhost:8090` (не
|
||||||
|
evidence) — 198 passed, 37 deselected: сверка покрытия после правки
|
||||||
|
спеков зелёная.
|
||||||
|
|||||||
@@ -63,9 +63,11 @@ SHALL отдаваться без чтения тела. Без `Content-Length`
|
|||||||
частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL
|
частями) тело SHALL читаться потоком со счётчиком. Ответ 413 SHALL
|
||||||
отдаваться, как только прочитано больше лимита, остаток тела MUST NOT
|
отдаваться, как только прочитано больше лимита, остаток тела MUST NOT
|
||||||
читаться. На одну загрузку процесс API MUST NOT держать в памяти больше
|
читаться. На одну загрузку процесс API MUST NOT держать в памяти больше
|
||||||
лимита и одного блока чтения тела. Это касается всех шагов загрузки, в
|
одной копии тела (не больше лимита) и блоков чтения — тела от клиента и
|
||||||
том числе записи объекта в S3: для отправки тело MUST NOT копироваться
|
клиента S3. Это касается всех шагов загрузки, в том числе записи
|
||||||
целиком.
|
объекта в S3: для отправки тело MUST NOT копироваться целиком. С
|
||||||
|
накладными расходами процесса рост пика памяти реплики — не больше 1,5
|
||||||
|
размера тела на загрузку (сценарий «Одна копия тела при записи в S3»).
|
||||||
|
|
||||||
#### Scenario: Граница размера
|
#### Scenario: Граница размера
|
||||||
|
|
||||||
|
|||||||
@@ -502,7 +502,8 @@ SHALL быть без состояния, выставленного вручн
|
|||||||
|
|
||||||
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
|
Соединение с недочитанным телом SHALL держать в буферах ядра ограниченный
|
||||||
объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер
|
объём: буфер приёма сокетов реплики API — не больше 512 KiB, буфер
|
||||||
отправки LB к реплике — 256 KiB. Так ожидающие и отклонённые загрузки не
|
отправки LB к реплике — 256 KiB, буфер приёма LB от клиента — 128 KiB.
|
||||||
|
Так ожидающие и отклонённые загрузки не
|
||||||
переносят тела целиком ни в память реплики, ни в память LB.
|
переносят тела целиком ни в память реплики, ни в память LB.
|
||||||
|
|
||||||
#### Scenario: Долгая обработка загрузки
|
#### Scenario: Долгая обработка загрузки
|
||||||
|
|||||||
@@ -177,7 +177,7 @@ def tight_api() -> Iterator[Api]:
|
|||||||
@pytest.fixture(scope="session")
|
@pytest.fixture(scope="session")
|
||||||
def uploads_api() -> Iterator[Api]:
|
def uploads_api() -> Iterator[Api]:
|
||||||
"""API стенда отказов с одним местом загрузки, одной загрузкой в
|
"""API стенда отказов с одним местом загрузки, одной загрузкой в
|
||||||
очереди, ожиданием места 1 с и сроком тела 2 с (`FAULT_UPLOADS_ENV`)."""
|
очереди, ожиданием места 1 с и сроком тела 3 с (`FAULT_UPLOADS_ENV`)."""
|
||||||
with Api(
|
with Api(
|
||||||
FAULT_UPLOADS_BASE_URL,
|
FAULT_UPLOADS_BASE_URL,
|
||||||
timeout=UPLOADS_CLIENT_TIMEOUT_S,
|
timeout=UPLOADS_CLIENT_TIMEOUT_S,
|
||||||
|
|||||||
@@ -11,7 +11,7 @@ S3 со своими volumes, порты хранилищ не публикую
|
|||||||
`MAX_IMAGE_PIXELS=1` в окружении — лимиты вложений от них не зависят),
|
`MAX_IMAGE_PIXELS=1` в окружении — лимиты вложений от них не зависят),
|
||||||
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
|
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
|
||||||
соединения) и «узкий по загрузкам» (одно место загрузки, одна в
|
соединения) и «узкий по загрузкам» (одно место загрузки, одна в
|
||||||
очереди, ожидание места 1 с, срок тела 2 с; change `upload-memory`);
|
очереди, ожидание места 1 с, срок тела 3 с; change `upload-memory`);
|
||||||
- прогоняет тесты с маркером `fault` (`pytest -m fault`), передав им hook
|
- прогоняет тесты с маркером `fault` (`pytest -m fault`), передав им hook
|
||||||
`student-tests/fault_hook.py`; при падении печатает журналы API и
|
`student-tests/fault_hook.py`; при падении печатает журналы API и
|
||||||
уборщика;
|
уборщика;
|
||||||
@@ -79,13 +79,15 @@ LIMITS_ENV = {
|
|||||||
}
|
}
|
||||||
# «узкий по загрузкам» API (change upload-memory, design, решение 11): одно
|
# «узкий по загрузкам» API (change upload-memory, design, решение 11): одно
|
||||||
# место загрузки, одна загрузка в очереди, ожидание места 1 с, срок тела
|
# место загрузки, одна загрузка в очереди, ожидание места 1 с, срок тела
|
||||||
# 2 с. Те же пары тест получает в `FAULT_UPLOADS_ENV` и сверяет, что стенд
|
# 3 с: держатель места в test_upload_slots_busy отпускается через ~1,3–1,5 с
|
||||||
# запущен с ними
|
# после того, как занял место (ожидавшая получает 429 через 1 с), и срок
|
||||||
|
# тела должен оставить запас (с 2 с он был ~0,5 с; verify, S5). Те же пары
|
||||||
|
# тест получает в `FAULT_UPLOADS_ENV` и сверяет, что стенд запущен с ними
|
||||||
UPLOADS_ENV = {
|
UPLOADS_ENV = {
|
||||||
"UPLOADS__MAX_CONCURRENT": "1",
|
"UPLOADS__MAX_CONCURRENT": "1",
|
||||||
"UPLOADS__MAX_WAITING": "1",
|
"UPLOADS__MAX_WAITING": "1",
|
||||||
"UPLOADS__WAIT_TIMEOUT_SECONDS": "1",
|
"UPLOADS__WAIT_TIMEOUT_SECONDS": "1",
|
||||||
"UPLOADS__BODY_TIMEOUT_SECONDS": "2",
|
"UPLOADS__BODY_TIMEOUT_SECONDS": "3",
|
||||||
}
|
}
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -6,7 +6,7 @@ Valkey и S3, уборщик незавершённых загрузок (grace
|
|||||||
(`BASE_URL`, с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении),
|
(`BASE_URL`, с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении),
|
||||||
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
|
«тесный» (сроки сессии и ключа идемпотентности 2 с, пул из одного
|
||||||
соединения) и «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`: одно место
|
соединения) и «узкий по загрузкам» (`FAULT_UPLOADS_BASE_URL`: одно место
|
||||||
загрузки, одна в очереди, ожидание 1 с, срок тела 2 с — change
|
загрузки, одна в очереди, ожидание 1 с, срок тела 3 с — change
|
||||||
`upload-memory`). На хранилища и API тесты действуют только через фикстуру
|
`upload-memory`). На хранилища и API тесты действуют только через фикстуру
|
||||||
`stand` (hook `student-tests/fault_hook.py`) и всегда возвращают их в
|
`stand` (hook `student-tests/fault_hook.py`) и всегда возвращают их в
|
||||||
рабочее состояние. Решение 4 design change `failure-checks`, решение 10
|
рабочее состояние. Решение 4 design change `failure-checks`, решение 10
|
||||||
@@ -1151,10 +1151,10 @@ EXPECTED_UPLOADS_ENV = {
|
|||||||
"UPLOADS__MAX_CONCURRENT": "1",
|
"UPLOADS__MAX_CONCURRENT": "1",
|
||||||
"UPLOADS__MAX_WAITING": "1",
|
"UPLOADS__MAX_WAITING": "1",
|
||||||
"UPLOADS__WAIT_TIMEOUT_SECONDS": "1",
|
"UPLOADS__WAIT_TIMEOUT_SECONDS": "1",
|
||||||
"UPLOADS__BODY_TIMEOUT_SECONDS": "2",
|
"UPLOADS__BODY_TIMEOUT_SECONDS": "3",
|
||||||
}
|
}
|
||||||
WAIT_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__WAIT_TIMEOUT_SECONDS", "1"))
|
WAIT_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__WAIT_TIMEOUT_SECONDS", "1"))
|
||||||
BODY_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__BODY_TIMEOUT_SECONDS", "2"))
|
BODY_TIMEOUT_S = float(UPLOADS_ENV.get("UPLOADS__BODY_TIMEOUT_SECONDS", "3"))
|
||||||
# отказ без ожидания места: вход, членство и ответ
|
# отказ без ожидания места: вход, членство и ответ
|
||||||
IMMEDIATE_S = 0.5
|
IMMEDIATE_S = 0.5
|
||||||
# пауза, за которую запрос в соседнем потоке доходит до места или очереди
|
# пауза, за которую запрос в соседнем потоке доходит до места или очереди
|
||||||
|
|||||||
Reference in New Issue
Block a user