- evidence: consistency (driver upload-consistency), cleaner process, cleaner S3 key, pending index plan on the working database - re-run failure_checks (29/29), student_test via LB and test_isolated with the cleaner and storage-consistency coverage - REPORT: database and S3 consistency, compensation table, grace period rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows, limitations; PLAN stage 3 and AGENTS evidence map Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
13 KiB
make failure_checks: проверки отказов с уборщиком и согласованностью БД и S3
- Дата: 2026-10-21, 03:20:17–03:23:44 UTC.
- Commit:
5b42bd2(changeupload-consistency: компенсация в загрузке, уборщик, hook и тесты отказов); незакоммичены только файлыevidence/этого change. - Стенд отказов: проект
mtusi-lab4-failures— свои PostgreSQL, Valkey и S3 (с bootstrap, пользователиapiиcleaner), порты хранилищ не публикуются; уборщикcleanerс grace 20 с и интервалом 1 с (failures.compose.yml,restart: "no"); два API на127.0.0.1: обычный — сMAX_UPLOAD_BYTES=1иMAX_IMAGE_PIXELS=1в окружении, и «тесный» (сроки сессии и ключа 2 с, пул 1). Рабочий стендmtusi-lab4в это время запущен. Docker Desktop 29.9.1, Apple M3 Pro. - Прежний снимок этого файла (commit
e1f8531, changeattachments) — 24 из 24 за 94 с; сейчас 29 из 29 за 190 с: пять новых тестов и три изменённых (design changeupload-consistency, решение 10).
Итог: код 0, 29 из 29
Вывод сборки образа (BuildKit), строки Container … compose и записи
alembic о прежних пяти ревизиях опущены;
строки platform и rootdir pytest с путём к рабочему каталогу
заменены на ….
$ make failure_checks
python3 student-tests/run_failures.py
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] build image
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "7dc2d0220d90", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T03:20:24.135091Z"}
[failure_checks] s3 bootstrap
s3-bootstrap-1 | s3-bootstrap: bucket messenger created
s3-bootstrap-1 | s3-bootstrap: user api created
s3-bootstrap-1 | s3-bootstrap: user cleaner created
s3-bootstrap-1 | s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied)
s3-bootstrap-1 exited with code 0
[failure_checks] start cleaner: grace 20 s, interval 1 s
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:65050 tight=http://127.0.0.1:65068
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 226 items / 197 deselected / 29 selected
student-tests/test_failures.py::test_expired_token PASSED [ 3%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 6%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 10%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 13%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 17%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 20%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 24%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 27%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 31%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 34%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 37%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 41%]
student-tests/test_failures.py::test_flush_cache PASSED [ 44%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 48%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 51%]
student-tests/test_failures.py::test_valkey_back PASSED [ 55%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 58%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 62%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 65%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 68%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 72%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 75%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 79%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 82%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 86%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 89%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 96%]
student-tests/test_failures.py::test_object_storage_paused PASSED [100%]
================ 29 passed, 197 deselected in 190.40s (0:03:10) ================
[failure_checks] postgres log: 418 lines, crash markers 0; "too many clients" 31, "administrator command" 138
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0
Уборка и рабочий стенд
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после — одинаково
/mtusi-lab4-api-7 2026-10-21T03:02:55.127674845Z
/mtusi-lab4-api-8 2026-10-21T03:03:45.600925174Z
/mtusi-lab4-cleaner-1 2026-10-21T03:14:42.071533631Z
/mtusi-lab4-haproxy-1 2026-10-21T03:02:55.18557422Z
/mtusi-lab4-postgres-1 2026-10-21T03:02:33.641433585Z
/mtusi-lab4-s3-1 2026-10-21T03:02:48.641611592Z
/mtusi-lab4-valkey-1 2026-10-21T03:02:33.670361668Z
left: containers 0, volumes 0
StartedAtвсех контейнеровmtusi-lab4, в том числе его уборщика, до и после совпали (diffпуст): рабочий стенд не тронут.- У проекта
mtusi-lab4-failuresне осталось ни контейнеров, ни volumes.
Что проверяют проверки вложений и уборщика
Строки и объекты тесты сравнивают множествами id от hook
(attachment-ids — psql, object-ids — файлы original под
/buckets/<bucket>/<база>/attachments по weed shell fs.tree), а не
счётчиками: уборщик стенда убирает строки прежних тестов параллельно, а
пустой каталог <id>/ после DELETE SeaweedFS держит ещё ~2 мин. Объекты
без строки — object-ids − attachment-ids. G = 20 с, I = 1 с, запас
поверх G + I — 5 с.
- «Запись в S3 не удалась», «Незавершённая загрузка не видна»
(
test_upload_with_object_storage_stopped): S3 остановлен → загрузка 503 быстрее срока вызова S3; ровно одна новая строка, онаpendingи совпадает сlast-pending, готовые — те же; по еёidметаданные, байты и сообщение со ссылкой — 404 с тем жеmessage, что у случайногоid; текстовое сообщение — 201; послеstartта же загрузка — 201. - «Отклонённая загрузка ничего не оставляет»: 404 постороннему, 413 по
Content-Length, 413 частями, 413 по пикселям, 415 по типу и 415 по целостности — ни новых строк, ни новых объектов (перед этим одна настоящая загрузка: еёidесть в обоих списках). - «Сбой записи метаданных» (
test_metadata_insert_failure): триггер роняет вставку строки этогоfilenameс SQLSTATE 08006 → 503; ни строки, ни объекта. - «Обрыв передачи тела» (
test_interrupted_body): тело-итератор бросает исключение после 1 MiB → у клиента ошибка; ни строки, ни объекта; следующая загрузка того же участника — 201. - «Фиксация ready не удалась», «Свежая загрузка не тронута», «Зависшая
загрузка убрана» (
test_ready_failure_compensated): триггер роняет перевод вready→ 503, строкаpendingосталась, объекта уже нет (компенсация до ответа), по API не видна; на G/2 строка ещё на месте (уборщик сделал ~10 проходов); не позже G + I + 5 с нет ни строки, ни объекта, объектов без строки нет. - «Объект без фиксации убран» (
test_killed_between_put_and_ready): триггер задерживает перевод вreadyна 4 с → в это окно есть строкаpendingи объект →kill-api(docker kill обычного API) → 201 до клиента не дошёл, строка и объект на месте →start-api→ после grace ни строки, ни объекта, объектов без строки нет; загрузка — 201. - «S3 недоступен во время уборки», «БД недоступна во время уборки»,
«Готовые вложения не тронуты» (
test_cleaner_survives_outages): готовое вложение R; S3 остановлен → загрузка 503 (строка X); PostgreSQL остановлен на 3 с и запущен; к G + 3I при остановленном S3 X ещёpending(проходы прерываются); S3 запущен → X убрана не позже I + 5 с, объектов без строки нет; R — метаданные 200ready, байты с тем же SHA-256. Уборщик всё это время работал без перезапуска (restart: "no": упавший процесс не убрал бы X). - «S3 завис» и «Зависшая загрузка убрана» (
test_object_storage_paused):docker pauseS3 → загрузка и скачивание — 503 не позже 5 с + 0,6 с; послеunpauseскачивание — те же байты; строка загрузки во время заморозки убрана после grace, объект после разморозки не дописался. - «S3 остановлен» и «Окружение не меняет лимит» — как в прежнем снимке:
скачивание 503, метаданные и история без S3 — 200;
sample.pngприMAX_UPLOAD_BYTES=1в окружении — 201.
Красный прогон до кода (apply, 2026-10-21)
Новые тесты и hook против прежней ветки mark_ready без компенсации
(временная правка AttachmentService.upload, возвращена) и без уборщика
(docker compose -p mtusi-lab4-failures stop cleaner сразу после
старта), FAULT_ARGS='-k "object_storage or cleaner or interrupted or metadata or killed or ready_failure or rejected"': 4 failed, 7 passed.
student-tests/test_failures.py::test_ready_failure_compensated FAILED
student-tests/test_failures.py::test_killed_between_put_and_ready FAILED
student-tests/test_failures.py::test_cleaner_survives_outages FAILED
student-tests/test_failures.py::test_object_storage_paused FAILED
E AssertionError: assert '4fc5db0e-…' not in {'3ec2dd25-…', '4fc5db0e-…', …} # объект остался после 503
E AssertionError: attachment 76904e3d-… is not cleaned 26.6s after upload: row pending, object True
E AssertionError: pending 9a93edaf-… is still there 6.5s after S3 came back
E AssertionError: attachment 359413af-… is not cleaned 26.4s after upload: row pending, object False
=========== 4 failed, 7 passed, 215 deselected in 127.26s (0:02:07) ============
«Сбой записи метаданных», «Обрыв передачи тела» и «Незавершённая загрузка не видна» прежний код уже выполнял — эти тесты закрепляют поведение.