From 569a16492a50d5cb20208bfbf91c5c23a40eb0a2 Mon Sep 17 00:00:00 2001 From: roman Date: Thu, 22 Oct 2026 16:17:53 +0300 Subject: [PATCH] docs: re-capture upload-memory failure checks on 9d2ee30 Co-Authored-By: Claude Opus 5.5 --- REPORT.md | 17 ++++++----- evidence/tests/failure-checks.md | 48 ++++++++++++++++++-------------- 2 files changed, 37 insertions(+), 28 deletions(-) diff --git a/REPORT.md b/REPORT.md index df215fa2..0c4b3ea7 100644 --- a/REPORT.md +++ b/REPORT.md @@ -611,10 +611,13 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и `87c48b9` и `5b42bd2`: правка их шагов не меняет. Строки памяти и сроков загрузки (change `upload-memory`) — с `ce1ae2c` (код `97a4be4`): метка `evidence/uploads/baseline/`, `evidence/uploads/lb-timeouts.md` и -`rollout-upload.md`; с того же commit переснято `make failure_checks` -(37 / 37), `make test_isolated` и `make student_test` через LB -(`evidence/tests/`), поэтому строки тестов рубрики и отказов S3 в таблице -называют `ce1ae2c`. +`rollout-upload.md`; с того же commit переснято `make test_isolated` и +`make student_test` через LB (`evidence/tests/`), поэтому строка тестов +рубрики называет `ce1ae2c`. После правок по verify (`9d2ee30`: срок тела +«узкого» API стенда отказов 3 с вместо 2 с, код приложения прежний) +переснято `make failure_checks` (37 / 37, +`evidence/tests/failure-checks.md`) — строки отказов S3, мест загрузки и +срока тела называют `9d2ee30`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -626,7 +629,7 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и | «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` | | «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` | | «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | -| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`ce1ae2c`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | +| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`9d2ee30`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | | «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | | «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` | | «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | @@ -648,8 +651,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и | «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` | | Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` | | «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` | -| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с в прогоне `ce1ae2c`; с правки по verify — 3 с, запас держателя места) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | -| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше срока тела стенда (2 с в прогоне `ce1ae2c`) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | +| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `9d2ee30`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | +| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `9d2ee30`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | | «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | | «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` | | «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` | diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index c690b7cc..47acdca2 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,11 +1,11 @@ # `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3 и местами загрузки -- Дата: 2026-10-22, 12:25:26–12:30:08 UTC. -- Commit: `ce1ae2c` (код — `97a4be4`, change `upload-memory`: места - загрузки процесса, срок тела, одна копия тела при PUT, буферы LB). В - рабочем дереве — только незакоммиченные документы (`evidence/`, - `tasks.md`, `PLAN.md`), `src/` и `student-tests/` совпадают с commit; - образ собран из дерева. +- Дата: 2026-10-22, 13:11:36–13:16:29 UTC. +- Commit: `9d2ee30` (правки по verify change `upload-memory`: срок тела + «узкого» API 3 с вместо 2 с — запас держателя места в + `test_upload_slots_busy`; код приложения `src/` — прежний, `97a4be4`: + места загрузки процесса, срок тела, одна копия тела при PUT, буферы + LB). Рабочее дерево чистое, образ собран из него. - Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с @@ -13,14 +13,15 @@ обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении, «тесный» (сроки сессии и ключа 2 с, пул 1) и с change `upload-memory` «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, ожидание - 1 с, срок тела 2 с). Рабочий стенд `mtusi-lab4` в это время запущен на - том же коде (`make rolling_update` в 12:24, LB — на `127.0.0.1:8090`: - 8080 хоста занят контейнером другого проекта). Docker Desktop 29.9.1, - Apple M3 Pro. + 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время запущен на + том же коде приложения (`make rolling_update` в 12:24, LB — на + `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта). + Docker Desktop 29.9.1, Apple M3 Pro. - Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с; - `87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с. Сейчас — - 37 из 37 за 255 с: пять новых тестов мест загрузки и срока тела (раздел - «Места загрузки и срок тела» ниже). + `87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с; + `ce1ae2c` — 37 из 37 за 255 с при сроке тела «узкого» API 2 с (пять + новых тестов мест загрузки и срока тела). Сейчас — 37 из 37 за 263 с + при сроке тела 3 с (раздел «Места загрузки и срок тела» ниже). ## Итог: код 0, 37 из 37 @@ -38,7 +39,7 @@ python3 student-tests/run_failures.py [failure_checks] s3 bootstrap [failure_checks] start cleaner: grace 20 s, interval 1 s [failure_checks] start api containers -[failure_checks] ready: api=http://127.0.0.1:65321 tight=http://127.0.0.1:65326 uploads=http://127.0.0.1:65330 +[failure_checks] ready: api=http://127.0.0.1:52585 tight=http://127.0.0.1:52599 uploads=http://127.0.0.1:52607 [failure_checks] pytest -m fault platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- … collecting ... collected 235 items / 198 deselected / 37 selected @@ -80,14 +81,14 @@ student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 94%] student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 97%] student-tests/test_failures.py::test_slow_body PASSED [100%] -================ 37 passed, 198 deselected in 255.11s (0:04:15) ================ -[failure_checks] postgres log: 447 lines, crash markers 0; "too many clients" 36, "administrator command" 144 +================ 37 passed, 198 deselected in 262.87s (0:04:22) ================ +[failure_checks] postgres log: 444 lines, crash markers 0; "too many clients" 32, "administrator command" 142 [failure_checks] cleanup [failure_checks] results: {'fault': 0, 'postgres': 0} exit=0 ``` -Вся команда — ~4 мин 40 с (12:25:26–12:30:08). «too many clients» и +Вся команда — ~4 мин 55 с (13:11:36–13:16:29). «too many clients» и «administrator command» — следы проверок «Предел соединений PostgreSQL исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков аварийного перезапуска нет. @@ -108,14 +109,18 @@ left: containers 0, volumes 0 - Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — реплики после `make rolling_update` в 12:24:16 и 12:24:34; прогон — с - 12:25:26): рабочий стенд не тронут. + 13:11:36): рабочий стенд не тронут. Список docker volumes до и после + прогона один и тот же (155 имён, совпал хэш списка). - У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes. ## Места загрузки и срок тела (change `upload-memory`) «Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела -2 с; тесты сверяют это окружение (`FAULT_UPLOADS_ENV`). Место держит -загрузка A, тело которой стоит на `threading.Event` теста. +3 с; тесты сверяют это окружение (`FAULT_UPLOADS_ENV`). Место держит +загрузка A, тело которой стоит на `threading.Event` теста. Срок тела +поднят с 2 до 3 с по verify (design change `upload-memory`, «Уточнения +apply», п. 15): A отпускается через ~1,3–1,5 с после того, как заняла +место, и при 2 с запас был ~0,5 с. - «Все места заняты», «Очередь ожидания полна», `api-conventions` «Лимит одновременных загрузок» (`test_upload_slots_busy`): A держит место, B @@ -134,7 +139,8 @@ left: containers 0, volumes 0 по счётчику, 415 по содержимому, 400 по сроку тела, обрыва тела и 503 при остановленном S3 следующая загрузка — 201 быстрее срока ожидания. - «Медленный клиент», «Медленная передача в срок» (`test_slow_body`): - тело частями дольше 2 с — 400 «Upload body was not received in time», + тело частями за 4 с (дольше срока 3 с) — 400 «Upload body was not + received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256. ## Что проверяют проверки вложений и уборщика