Files
mtusi2026lab4/evidence/tests/failure-checks.md
T
ricoromaandClaude Opus 5.5 f2dc0b368a docs: add upload-consistency evidence and report
- evidence: consistency (driver upload-consistency), cleaner process,
  cleaner S3 key, pending index plan on the working database
- re-run failure_checks (29/29), student_test via LB and test_isolated
  with the cleaner and storage-consistency coverage
- REPORT: database and S3 consistency, compensation table, grace period
  rationale, "PUT succeeded, COMMIT did not" answer, level 4 rows,
  limitations; PLAN stage 3 and AGENTS evidence map

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-21 06:32:48 +03:00

13 KiB
Raw Blame History

make failure_checks: проверки отказов с уборщиком и согласованностью БД и S3

  • Дата: 2026-10-21, 03:20:17–03:23:44 UTC.
  • Commit: 5b42bd2 (change upload-consistency: компенсация в загрузке, уборщик, hook и тесты отказов); незакоммичены только файлы evidence/ этого change.
  • Стенд отказов: проект mtusi-lab4-failures — свои PostgreSQL, Valkey и S3 (с bootstrap, пользователи api и cleaner), порты хранилищ не публикуются; уборщик cleaner с grace 20 с и интервалом 1 с (failures.compose.yml, restart: "no"); два API на 127.0.0.1: обычный — с MAX_UPLOAD_BYTES=1 и MAX_IMAGE_PIXELS=1 в окружении, и «тесный» (сроки сессии и ключа 2 с, пул 1). Рабочий стенд mtusi-lab4 в это время запущен. Docker Desktop 29.9.1, Apple M3 Pro.
  • Прежний снимок этого файла (commit e1f8531, change attachments) — 24 из 24 за 94 с; сейчас 29 из 29 за 190 с: пять новых тестов и три изменённых (design change upload-consistency, решение 10).

Итог: код 0, 29 из 29

Вывод сборки образа (BuildKit), строки Container … compose и записи alembic о прежних пяти ревизиях опущены; строки platform и rootdir pytest с путём к рабочему каталогу заменены на ….

$ make failure_checks
python3 student-tests/run_failures.py
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] build image
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
{"event": "Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index", "instance_id": "7dc2d0220d90", "level": "info", "logger": "alembic.runtime.migration", "timestamp": "2026-10-21T03:20:24.135091Z"}
[failure_checks] s3 bootstrap
s3-bootstrap-1  | s3-bootstrap: bucket messenger created
s3-bootstrap-1  | s3-bootstrap: user api created
s3-bootstrap-1  | s3-bootstrap: user cleaner created
s3-bootstrap-1  | s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied)
s3-bootstrap-1 exited with code 0
[failure_checks] start cleaner: grace 20 s, interval 1 s
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:65050 tight=http://127.0.0.1:65068
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 226 items / 197 deselected / 29 selected

student-tests/test_failures.py::test_expired_token PASSED                [  3%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED  [  6%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 10%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 13%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED    [ 17%]
student-tests/test_failures.py::test_pool_exhausted PASSED               [ 20%]
student-tests/test_failures.py::test_connection_limit_reached PASSED     [ 24%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED       [ 27%]
student-tests/test_failures.py::test_readiness_without_database PASSED   [ 31%]
student-tests/test_failures.py::test_readiness_without_cache PASSED      [ 34%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 37%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 41%]
student-tests/test_failures.py::test_flush_cache PASSED                  [ 44%]
student-tests/test_failures.py::test_valkey_stopped PASSED               [ 48%]
student-tests/test_failures.py::test_valkey_paused PASSED                [ 51%]
student-tests/test_failures.py::test_valkey_back PASSED                  [ 55%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 58%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 62%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED           [ 65%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 68%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 72%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED      [ 75%]
student-tests/test_failures.py::test_interrupted_body PASSED             [ 79%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED    [ 82%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 86%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED     [ 89%]
student-tests/test_failures.py::test_object_storage_stopped PASSED       [ 93%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 96%]
student-tests/test_failures.py::test_object_storage_paused PASSED        [100%]

================ 29 passed, 197 deselected in 190.40s (0:03:10) ================
[failure_checks] postgres log: 418 lines, crash markers 0; "too many clients" 31, "administrator command" 138
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0

Уборка и рабочий стенд

$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q)   # до и после — одинаково
/mtusi-lab4-api-7 2026-10-21T03:02:55.127674845Z
/mtusi-lab4-api-8 2026-10-21T03:03:45.600925174Z
/mtusi-lab4-cleaner-1 2026-10-21T03:14:42.071533631Z
/mtusi-lab4-haproxy-1 2026-10-21T03:02:55.18557422Z
/mtusi-lab4-postgres-1 2026-10-21T03:02:33.641433585Z
/mtusi-lab4-s3-1 2026-10-21T03:02:48.641611592Z
/mtusi-lab4-valkey-1 2026-10-21T03:02:33.670361668Z
left: containers 0, volumes 0
  • StartedAt всех контейнеров mtusi-lab4, в том числе его уборщика, до и после совпали (diff пуст): рабочий стенд не тронут.
  • У проекта mtusi-lab4-failures не осталось ни контейнеров, ни volumes.

Что проверяют проверки вложений и уборщика

Строки и объекты тесты сравнивают множествами id от hook (attachment-ids — psql, object-ids — файлы original под /buckets/<bucket>/<база>/attachments по weed shell fs.tree), а не счётчиками: уборщик стенда убирает строки прежних тестов параллельно, а пустой каталог <id>/ после DELETE SeaweedFS держит ещё ~2 мин. Объекты без строки — object-ids − attachment-ids. G = 20 с, I = 1 с, запас поверх G + I — 5 с.

  • «Запись в S3 не удалась», «Незавершённая загрузка не видна» (test_upload_with_object_storage_stopped): S3 остановлен → загрузка 503 быстрее срока вызова S3; ровно одна новая строка, она pending и совпадает с last-pending, готовые — те же; по её id метаданные, байты и сообщение со ссылкой — 404 с тем же message, что у случайного id; текстовое сообщение — 201; после start та же загрузка — 201.
  • «Отклонённая загрузка ничего не оставляет»: 404 постороннему, 413 по Content-Length, 413 частями, 413 по пикселям, 415 по типу и 415 по целостности — ни новых строк, ни новых объектов (перед этим одна настоящая загрузка: её id есть в обоих списках).
  • «Сбой записи метаданных» (test_metadata_insert_failure): триггер роняет вставку строки этого filename с SQLSTATE 08006 → 503; ни строки, ни объекта.
  • «Обрыв передачи тела» (test_interrupted_body): тело-итератор бросает исключение после 1 MiB → у клиента ошибка; ни строки, ни объекта; следующая загрузка того же участника — 201.
  • «Фиксация ready не удалась», «Свежая загрузка не тронута», «Зависшая загрузка убрана» (test_ready_failure_compensated): триггер роняет перевод в ready → 503, строка pending осталась, объекта уже нет (компенсация до ответа), по API не видна; на G/2 строка ещё на месте (уборщик сделал ~10 проходов); не позже G + I + 5 с нет ни строки, ни объекта, объектов без строки нет.
  • «Объект без фиксации убран» (test_killed_between_put_and_ready): триггер задерживает перевод в ready на 4 с → в это окно есть строка pending и объект → kill-api (docker kill обычного API) → 201 до клиента не дошёл, строка и объект на месте → start-api → после grace ни строки, ни объекта, объектов без строки нет; загрузка — 201.
  • «S3 недоступен во время уборки», «БД недоступна во время уборки», «Готовые вложения не тронуты» (test_cleaner_survives_outages): готовое вложение R; S3 остановлен → загрузка 503 (строка X); PostgreSQL остановлен на 3 с и запущен; к G + 3I при остановленном S3 X ещё pending (проходы прерываются); S3 запущен → X убрана не позже I + 5 с, объектов без строки нет; R — метаданные 200 ready, байты с тем же SHA-256. Уборщик всё это время работал без перезапуска (restart: "no": упавший процесс не убрал бы X).
  • «S3 завис» и «Зависшая загрузка убрана» (test_object_storage_paused): docker pause S3 → загрузка и скачивание — 503 не позже 5 с + 0,6 с; после unpause скачивание — те же байты; строка загрузки во время заморозки убрана после grace, объект после разморозки не дописался.
  • «S3 остановлен» и «Окружение не меняет лимит» — как в прежнем снимке: скачивание 503, метаданные и история без S3 — 200; sample.png при MAX_UPLOAD_BYTES=1 в окружении — 201.

Красный прогон до кода (apply, 2026-10-21)

Новые тесты и hook против прежней ветки mark_ready без компенсации (временная правка AttachmentService.upload, возвращена) и без уборщика (docker compose -p mtusi-lab4-failures stop cleaner сразу после старта), FAULT_ARGS='-k "object_storage or cleaner or interrupted or metadata or killed or ready_failure or rejected"': 4 failed, 7 passed.

student-tests/test_failures.py::test_ready_failure_compensated FAILED
student-tests/test_failures.py::test_killed_between_put_and_ready FAILED
student-tests/test_failures.py::test_cleaner_survives_outages FAILED
student-tests/test_failures.py::test_object_storage_paused FAILED
E       AssertionError: assert '4fc5db0e-…' not in {'3ec2dd25-…', '4fc5db0e-…', …}   # объект остался после 503
E               AssertionError: attachment 76904e3d-… is not cleaned 26.6s after upload: row pending, object True
E           AssertionError: pending 9a93edaf-… is still there 6.5s after S3 came back
E               AssertionError: attachment 359413af-… is not cleaned 26.4s after upload: row pending, object False
=========== 4 failed, 7 passed, 215 deselected in 127.26s (0:02:07) ============

«Сбой записи метаданных», «Обрыв передачи тела» и «Незавершённая загрузка не видна» прежний код уже выполнял — эти тесты закрепляют поведение.