docs: re-capture upload-memory failure checks on 9d2ee30
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -611,10 +611,13 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||
`87c48b9` и `5b42bd2`: правка их шагов не меняет. Строки памяти и сроков
|
||||
загрузки (change `upload-memory`) — с `ce1ae2c` (код `97a4be4`): метка
|
||||
`evidence/uploads/baseline/`, `evidence/uploads/lb-timeouts.md` и
|
||||
`rollout-upload.md`; с того же commit переснято `make failure_checks`
|
||||
(37 / 37), `make test_isolated` и `make student_test` через LB
|
||||
(`evidence/tests/`), поэтому строки тестов рубрики и отказов S3 в таблице
|
||||
называют `ce1ae2c`.
|
||||
`rollout-upload.md`; с того же commit переснято `make test_isolated` и
|
||||
`make student_test` через LB (`evidence/tests/`), поэтому строка тестов
|
||||
рубрики называет `ce1ae2c`. После правок по verify (`9d2ee30`: срок тела
|
||||
«узкого» API стенда отказов 3 с вместо 2 с, код приложения прежний)
|
||||
переснято `make failure_checks` (37 / 37,
|
||||
`evidence/tests/failure-checks.md`) — строки отказов S3, мест загрузки и
|
||||
срока тела называют `9d2ee30`.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
@@ -626,7 +629,7 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
|
||||
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
|
||||
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`ce1ae2c`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`9d2ee30`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
|
||||
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
|
||||
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
|
||||
@@ -648,8 +651,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
|
||||
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
|
||||
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
|
||||
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 2 с в прогоне `ce1ae2c`; с правки по verify — 3 с, запас держателя места) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
|
||||
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | тело частями дольше срока тела стенда (2 с в прогоне `ce1ae2c`) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
|
||||
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `9d2ee30`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
|
||||
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `9d2ee30`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
|
||||
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
|
||||
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
|
||||
|
||||
@@ -1,11 +1,11 @@
|
||||
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3 и местами загрузки
|
||||
|
||||
- Дата: 2026-10-22, 12:25:26–12:30:08 UTC.
|
||||
- Commit: `ce1ae2c` (код — `97a4be4`, change `upload-memory`: места
|
||||
загрузки процесса, срок тела, одна копия тела при PUT, буферы LB). В
|
||||
рабочем дереве — только незакоммиченные документы (`evidence/`,
|
||||
`tasks.md`, `PLAN.md`), `src/` и `student-tests/` совпадают с commit;
|
||||
образ собран из дерева.
|
||||
- Дата: 2026-10-22, 13:11:36–13:16:29 UTC.
|
||||
- Commit: `9d2ee30` (правки по verify change `upload-memory`: срок тела
|
||||
«узкого» API 3 с вместо 2 с — запас держателя места в
|
||||
`test_upload_slots_busy`; код приложения `src/` — прежний, `97a4be4`:
|
||||
места загрузки процесса, срок тела, одна копия тела при PUT, буферы
|
||||
LB). Рабочее дерево чистое, образ собран из него.
|
||||
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
|
||||
и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не
|
||||
публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с
|
||||
@@ -13,14 +13,15 @@
|
||||
обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении,
|
||||
«тесный» (сроки сессии и ключа 2 с, пул 1) и с change `upload-memory`
|
||||
«узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, ожидание
|
||||
1 с, срок тела 2 с). Рабочий стенд `mtusi-lab4` в это время запущен на
|
||||
том же коде (`make rolling_update` в 12:24, LB — на `127.0.0.1:8090`:
|
||||
8080 хоста занят контейнером другого проекта). Docker Desktop 29.9.1,
|
||||
Apple M3 Pro.
|
||||
1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время запущен на
|
||||
том же коде приложения (`make rolling_update` в 12:24, LB — на
|
||||
`127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта).
|
||||
Docker Desktop 29.9.1, Apple M3 Pro.
|
||||
- Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с;
|
||||
`87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с. Сейчас —
|
||||
37 из 37 за 255 с: пять новых тестов мест загрузки и срока тела (раздел
|
||||
«Места загрузки и срок тела» ниже).
|
||||
`87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с;
|
||||
`ce1ae2c` — 37 из 37 за 255 с при сроке тела «узкого» API 2 с (пять
|
||||
новых тестов мест загрузки и срока тела). Сейчас — 37 из 37 за 263 с
|
||||
при сроке тела 3 с (раздел «Места загрузки и срок тела» ниже).
|
||||
|
||||
## Итог: код 0, 37 из 37
|
||||
|
||||
@@ -38,7 +39,7 @@ python3 student-tests/run_failures.py
|
||||
[failure_checks] s3 bootstrap
|
||||
[failure_checks] start cleaner: grace 20 s, interval 1 s
|
||||
[failure_checks] start api containers
|
||||
[failure_checks] ready: api=http://127.0.0.1:65321 tight=http://127.0.0.1:65326 uploads=http://127.0.0.1:65330
|
||||
[failure_checks] ready: api=http://127.0.0.1:52585 tight=http://127.0.0.1:52599 uploads=http://127.0.0.1:52607
|
||||
[failure_checks] pytest -m fault
|
||||
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
|
||||
collecting ... collected 235 items / 198 deselected / 37 selected
|
||||
@@ -80,14 +81,14 @@ student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 94%]
|
||||
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 97%]
|
||||
student-tests/test_failures.py::test_slow_body PASSED [100%]
|
||||
|
||||
================ 37 passed, 198 deselected in 255.11s (0:04:15) ================
|
||||
[failure_checks] postgres log: 447 lines, crash markers 0; "too many clients" 36, "administrator command" 144
|
||||
================ 37 passed, 198 deselected in 262.87s (0:04:22) ================
|
||||
[failure_checks] postgres log: 444 lines, crash markers 0; "too many clients" 32, "administrator command" 142
|
||||
[failure_checks] cleanup
|
||||
[failure_checks] results: {'fault': 0, 'postgres': 0}
|
||||
exit=0
|
||||
```
|
||||
|
||||
Вся команда — ~4 мин 40 с (12:25:26–12:30:08). «too many clients» и
|
||||
Вся команда — ~4 мин 55 с (13:11:36–13:16:29). «too many clients» и
|
||||
«administrator command» — следы проверок «Предел соединений PostgreSQL
|
||||
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
|
||||
аварийного перезапуска нет.
|
||||
@@ -108,14 +109,18 @@ left: containers 0, volumes 0
|
||||
|
||||
- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние —
|
||||
реплики после `make rolling_update` в 12:24:16 и 12:24:34; прогон — с
|
||||
12:25:26): рабочий стенд не тронут.
|
||||
13:11:36): рабочий стенд не тронут. Список docker volumes до и после
|
||||
прогона один и тот же (155 имён, совпал хэш списка).
|
||||
- У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes.
|
||||
|
||||
## Места загрузки и срок тела (change `upload-memory`)
|
||||
|
||||
«Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела
|
||||
2 с; тесты сверяют это окружение (`FAULT_UPLOADS_ENV`). Место держит
|
||||
загрузка A, тело которой стоит на `threading.Event` теста.
|
||||
3 с; тесты сверяют это окружение (`FAULT_UPLOADS_ENV`). Место держит
|
||||
загрузка A, тело которой стоит на `threading.Event` теста. Срок тела
|
||||
поднят с 2 до 3 с по verify (design change `upload-memory`, «Уточнения
|
||||
apply», п. 15): A отпускается через ~1,3–1,5 с после того, как заняла
|
||||
место, и при 2 с запас был ~0,5 с.
|
||||
|
||||
- «Все места заняты», «Очередь ожидания полна», `api-conventions` «Лимит
|
||||
одновременных загрузок» (`test_upload_slots_busy`): A держит место, B
|
||||
@@ -134,7 +139,8 @@ left: containers 0, volumes 0
|
||||
по счётчику, 415 по содержимому, 400 по сроку тела, обрыва тела и 503
|
||||
при остановленном S3 следующая загрузка — 201 быстрее срока ожидания.
|
||||
- «Медленный клиент», «Медленная передача в срок» (`test_slow_body`):
|
||||
тело частями дольше 2 с — 400 «Upload body was not received in time»,
|
||||
тело частями за 4 с (дольше срока 3 с) — 400 «Upload body was not
|
||||
received in time»,
|
||||
ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256.
|
||||
|
||||
## Что проверяют проверки вложений и уборщика
|
||||
|
||||
Reference in New Issue
Block a user