41 KiB
make failure_checks: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой
- Дата: 2026-10-22, 18:04:24–18:13:30 UTC.
- Commit:
84f8c35(правки по verify changetrack2-reconciler: строка с ключом вне префикса вложений — чужой объект, сигнал перед каждым вызовом хранилища, hookset-key, три новые проверки отказов поверх восьми проверок сверкиc1648d9). Рабочее дерево —84f8c35(вне commit — только файлыevidence/), образ собран из него. - Стенд отказов: проект
mtusi-lab4-failures— свои PostgreSQL, Valkey и S3 (с bootstrap, пользователиapiиcleaner, у уборщика список только с префиксомmessenger/attachments/), порты хранилищ не публикуются; уборщикcleanerс grace 20 с, интервалом 1 с и без плановой сверки (RECONCILER__INTERVAL_SECONDS: "0",failures.compose.yml,restart: "no") — сверку запускают тесты через hook; три API на127.0.0.1: обычный — сMAX_UPLOAD_BYTES=1иMAX_IMAGE_PIXELS=1в окружении, «тесный» (сроки сессии и ключа 2 с, пул 1) и «узкий по загрузкам» (UPLOADS_ENV: 1 место, 1 в очереди, ожидание 1 с, срок тела 3 с). Рабочий стендmtusi-lab4в это время запущен на образеc1648d9(порядок обновления change в 16:32–16:34;84f8c35меняет только процесс уборщика, стенд отказов собирает его сам; LB — на127.0.0.1:8090: 8080 хоста занят контейнером другого проекта). Docker Desktop 29.9.1, Apple M3 Pro. - Прежние снимки этого файла: commit
5b42bd2— 29 из 29 за 190 с;87c48b9— 32 из 32 за 224 с;5889ca2— 32 из 32 за 228 с;ce1ae2c— 37 из 37 за 255 с;9d2ee30— 37 из 37 за 263 с;c1648d9— 45 из 45 за 462 с (+8 проверок сверки: ожидания grace стенда, 20 с, для объектов без строки и ~35 с нагрузки). Сейчас — 48 из 48 за 524 с: +3 проверки по замечаниям verify (раздел «Сверка bucket и БД», последние три пункта), одной из них — ожидание grace.
Итог: код 0, 48 из 48
Вывод сборки образа (BuildKit), строки Container … compose, записи
alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к
рабочему каталогу в строках platform и rootdir pytest заменён на ….
$ make failure_checks
python3 student-tests/run_failures.py
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] build image
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
[failure_checks] s3 bootstrap
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:54563 tight=http://127.0.0.1:54569 uploads=http://127.0.0.1:54573
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 246 items / 198 deselected / 48 selected
student-tests/test_failures.py::test_expired_token PASSED [ 2%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 4%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 6%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 8%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 10%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 12%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 14%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 16%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 18%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 20%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 22%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 25%]
student-tests/test_failures.py::test_flush_cache PASSED [ 27%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 29%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 31%]
student-tests/test_failures.py::test_valkey_back PASSED [ 33%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 35%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 37%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 39%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 41%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 43%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 45%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 47%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 50%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 52%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 54%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 56%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 58%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 60%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 62%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 64%]
student-tests/test_failures.py::test_object_storage_paused PASSED [ 66%]
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 68%]
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 70%]
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 72%]
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 75%]
student-tests/test_failures.py::test_slow_body PASSED [ 77%]
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 79%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 81%]
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 83%]
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 85%]
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 87%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 89%]
student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 91%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%]
student-tests/test_failures.py::test_reconcile_under_load PASSED [ 97%]
student-tests/test_failures.py::test_scheduled_reconcile PASSED [100%]
================ 48 passed, 198 deselected in 523.74s (0:08:43) ================
[failure_checks] postgres log: 458 lines, crash markers 0; "too many clients" 31, "administrator command" 143
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0
Вся команда — 9 мин 06 с (18:04:24–18:13:30). «too many clients» и
«administrator command» — следы проверок «Предел соединений PostgreSQL
исчерпан» (fill-connections) и остановок PostgreSQL, признаков
аварийного перезапуска нет.
Уборка и рабочий стенд
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после прогона — одинаково
/mtusi-lab4-api-21 2026-10-22T16:38:07.188747593Z
/mtusi-lab4-api-22 2026-10-22T16:37:49.487956001Z
/mtusi-lab4-cleaner-1 2026-10-22T16:42:59.905412465Z
/mtusi-lab4-haproxy-1 2026-10-22T16:37:23.189875503Z
/mtusi-lab4-postgres-1 2026-10-22T16:36:57.034778213Z
/mtusi-lab4-s3-1 2026-10-22T16:37:12.007644429Z
/mtusi-lab4-valkey-1 2026-10-22T16:36:57.056768422Z
$ docker ps -aq --filter label=com.docker.compose.project=mtusi-lab4-failures | wc -l
0
$ docker volume ls -q | wc -l
155
- Все контейнеры
mtusi-lab4стартовали раньше прогона (последние — послеmake test-persistence,make test-failoverи остановки уборщика дляevidence/reconcile/service.mdв 16:36–16:43; прогон — с 18:04:24), и время старта после прогона то же: рабочий стенд не тронут. Список docker volumes до и после прогона один и тот же (155 имён). - У проекта
mtusi-lab4-failuresне осталось ни контейнеров, ни volumes.
Сверка bucket и БД (change track2-reconciler)
Hook вносит расхождения с обеих сторон (put-object — процесс в
контейнере обычного API его ключами, delete-object — weed shell fs.rm,
delete-row, set-size, age-row — psql) и запускает разовую сверку
(reconcile dry-run|apply [предел] — одноразовый контейнер уборщика
стенда, записи журнала и код выхода). Записи фильтруются по своим id и
ключам, код выхода сверяется с записями того же прохода. Объекты
состарить нельзя (LastModified ставит S3) — тесты с объектом без строки
ждут G + 1 = 21 с; строки состаривает age-row.
- «Расхождения с обеих сторон найдены», «Исправление расхождений»,
«Повторная сверка»,
attachments«Потерянный оригинал» (test_reconcile_finds_and_fixes; уборщик стенда остановлен на время теста): A в сообщении без объекта, B без строки, C с другим размером, O мимо API, P — обрыв COMMIT (строкаpendingи объект); dry-run — у каждого свой класс (missing_object,orphan_object×2,size_mismatch,stale_pending), возраст ≥ G, код 3, строки, объекты и пометки не изменились, байты A — 500;--apply— O и объект B удалены, у P ни строки, ни объекта, A и C помечены, байты A — 404, метаданные A равны ответу загрузки; повтор — своих записей нет, код соответствует записям. - «Свежие не тронуты», «Используемое вложение не удаляется», «Чужой
объект не удаляется» (
…_keeps_fresh_used_and_unknown): у вложения в сообщении объект удалён — помечено, метаданные 200, история отдаёт егоid, ни однаreadyстрока не пропала; свежие объект без строки и вложение без объекта — не тронуты,fresh_objectsиfresh_rows≥ 1; ключ…/attachments/x-<uuid>— «unknown_object», код 3, следующий проход снова его видит. - «Оригинал вернулся» (
…_restored_original): помечено → те же байты под ключом →--apply—restored_object/cleared_lost, байты 200 с тем же SHA-256, следующий dry-run — ни одной записи о нём. - «Предел изменений» (
…_change_limit): три потери при пределе 2 — код 3,error«Reconcile changes exceed limit» сchanges≥ 3 иmax_changes2, итогwarningсrefused: true, ни одной пометки; с пределом 100 — помечены все три. - «S3 недоступен во время сверки» (
…_object_storage_stopped): S3 остановлен — код 1,interrupted_by: object_storage, ни одного «Fixed»; после возврата — помечено. - «Прерванная сверка доводится повтором» (
…_interrupted_by_database): триггер роняет пометку одного вложения (08006) — код 1,interrupted_by: database; после снятия — помечены оба, dry-run их не находит. - «Сверка под нагрузкой» (
…_under_load): два объекта без строки и две потери; 4 потока ~35 с загружают PNG ~100 KiB из шума и отправляют сообщения, поток сверки —--applyраз в 3 с: внесённое исправлено, каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё вложение, новые пометки — только внесённые, ни один проход не прерван. - «Плановая сверка без команды» (
test_scheduled_reconcile): отдельный уборщик<проект>-cleaner-scheduledсRECONCILER__INTERVAL_SECONDS=1на 6 с — в журнале «Finished reconcile pass» сapply: true, потеря помечена без разового прохода.
По замечаниям verify (hook set-key меняет только object_key строки):
- «Объект, на который ссылается строка, не удаляется»
(
…_keeps_referenced_objects): у X ключ…/attachments/x-other-<uuid>без объекта, Y ссылается на<Z>/original(строки Z нет, объект есть), после G + 1 dry-run и--apply—<X>/original,<Y>/originalи<Z>/original—unknown_objectи на месте, код 3; X помечено (missing_objectпо своему ключу), Y — нет; вfinallyключи возвращены, объект Z удалён hook. - «Предел не останавливает уборку зависших» (
…_limit_keeps_cleanup): уборщик стенда стоит, обрыв COMMIT даёт зависшую P (age-row), три потери при пределе 2 — код 3,errorо пределе,refused: true, ни одной пометки, а P убрана (removed_pending, ни строки, ни объекта); затем с пределом 100 помечены все три. - «Ключ вне префикса вложений не трогается»
(
…_foreign_key_untouched): готовой строке и зависшей загрузкеset-keyставит<база>/elsewhere/<id>; dry-run и--apply— обеunknown_object, код 3, ни одной записи «Fixed»: строкиreadyиpendingна месте, готовая не помечена, их объекты под префиксом вложений целы.
Места загрузки и срок тела (change upload-memory)
«Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела
3 с; тесты сверяют это окружение (FAULT_UPLOADS_ENV). Место держит
загрузка A, тело которой стоит на threading.Event теста. Срок тела
поднят с 2 до 3 с по verify (design change upload-memory, «Уточнения
apply», п. 15): A отпускается через ~1,3–1,5 с после того, как заняла
место, и при 2 с запас был ~0,5 с.
- «Все места заняты», «Очередь ожидания полна»,
api-conventions«Лимит одновременных загрузок» (test_upload_slots_busy): A держит место, B ждёт, C получает 429rate_limitedбыстрее 0,5 с, B — 429 не раньше 1 с; у обоихRetry-After— положительное целое ≥ 1, формат ошибки иX-Instance-Id; A после отпускания — 201; новые строка и объект — только у A. - «Отказ раньше очереди» (
test_rejections_before_queue): при полной очереди посторонний — 404, 30 MiB сContent-Length31 457 280 — 413,Content-Type: text/plain— 415, каждый быстрее срока ожидания и раньше 429 ожидавшей B. - «Ожидание места» и
storage-consistency«Ожидание места не входит в возраст загрузки» (test_upload_waits_for_slot): B ждёт и получает 201,B.created_atпозжеA.updated_at, обе скачиваются побайтно. - «Место освобождается» (
test_slot_released_after_failures): после 413 по счётчику, 415 по содержимому, 400 по сроку тела, обрыва тела и 503 при остановленном S3 следующая загрузка — 201 быстрее срока ожидания. - «Медленный клиент», «Медленная передача в срок» (
test_slow_body): тело частями за 4 с (дольше срока 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256.
Что проверяют проверки вложений и уборщика
Строки и объекты тесты сравнивают множествами id от hook
(attachment-ids — psql, object-ids — файлы original под
/buckets/<bucket>/<база>/attachments по weed shell fs.tree), а не
счётчиками: уборщик стенда убирает строки прежних тестов параллельно, а
пустой каталог <id>/ после DELETE SeaweedFS держит ещё ~2 мин. Объекты
без строки — object-ids − attachment-ids. G = 20 с, I = 1 с, запас
поверх G + I — 5 с.
- «Запись в S3 не удалась», «Незавершённая загрузка не видна»
(
test_upload_with_object_storage_stopped): S3 остановлен → загрузка 503 быстрее срока вызова S3; ровно одна новая строка, онаpendingи совпадает сlast-pending, готовые — те же; по еёidметаданные, байты и сообщение со ссылкой — 404 с тем жеmessage, что у случайногоid; текстовое сообщение — 201; послеstartта же загрузка — 201. - «Отклонённая загрузка ничего не оставляет»: 404 постороннему, 413 по
Content-Length, 413 частями, 413 по пикселям, 415 по типу и 415 по целостности — ни новых строк, ни новых объектов (перед этим одна настоящая загрузка: еёidесть в обоих списках). - «Сбой записи метаданных» (
test_metadata_insert_failure): триггер роняет вставку строки этогоfilenameс SQLSTATE 08006 → 503; ни строки, ни объекта. - «Обрыв передачи тела» (
test_interrupted_body): тело-итератор бросает исключение после 1 MiB → у клиента ошибка; ни строки, ни объекта; следующая загрузка того же участника — 201. - «Фиксация ready не удалась», «Свежая загрузка не тронута», «Зависшая
загрузка убрана» (
test_ready_failure_compensated): триггер роняет перевод вready→ 503, строкаpendingосталась, объекта уже нет (компенсация до ответа), по API не видна; на G/2 строка ещё на месте (уборщик сделал ~10 проходов); не позже G + I + 5 с нет ни строки, ни объекта, объектов без строки нет. - «Объект без фиксации убран» (
test_killed_between_put_and_ready): триггер задерживает перевод вreadyна 4 с → в это окно есть строкаpendingи объект →kill-api(docker kill обычного API) → 201 до клиента не дошёл, строка и объект на месте →start-api→ после grace ни строки, ни объекта, объектов без строки нет; загрузка — 201. - «Исход фиксации неизвестен» (
test_ready_commit_outcome_unknown, verify W2): отложенный триггер ограничения роняет COMMIT перевода вready(08006) → 503, строкаpending, по API не видна, объект на месте сразу после ответа (исход для API неизвестен, компенсации нет); не позже G + I + 5 с ни строки, ни объекта, объектов без строки нет. - «Загрузка дольше grace» (
test_upload_outlives_grace, verify W3): строка вставлена на час старше (created_atиupdated_atвместе), перевод вreadyждёт в триггере уровня оператораBEFORE UPDATE OF status, пока уборщик стенда не уберёт строку → 503, а не 201 и не 500; ни строки, ни объекта, объектов без строки нет. - «Сбой уборки после удаления объекта»
(
test_cleaner_failure_after_object_delete, verify W1): то же, но удаление строки падает с 08006 уже после удаления объекта — в той же транзакции уборки (второй шаг), то есть её откат после удачного DELETE в S3 → 503, а не 201; строкаpending(помечена первым шагом), по API не видна, вложенийreadyбез объекта нет; после снятия триггера следующий проход убирает строку, объектов без строки нет. - «S3 недоступен во время уборки», «БД недоступна во время уборки»,
«Готовые вложения не тронуты» (
test_cleaner_survives_outages): готовое вложение R; S3 остановлен → загрузка 503 (строка X); PostgreSQL остановлен на 3 с и запущен; к G + 3I при остановленном S3 X ещёpending(проходы прерываются); S3 запущен → X убрана не позже I + 5 с, объектов без строки нет; R — метаданные 200ready, байты с тем же SHA-256. Уборщик всё это время работал без перезапуска (restart: "no": упавший процесс не убрал бы X). - «S3 завис» и «Зависшая загрузка убрана» (
test_object_storage_paused):docker pauseS3 → загрузка и скачивание — 503 не позже 5 с + 0,6 с; послеunpauseскачивание — те же байты; строка загрузки во время заморозки убрана после grace, объект после разморозки не дописался. - «S3 остановлен» и «Окружение не меняет лимит» — как в прежнем снимке:
скачивание 503, метаданные и история без S3 — 200;
sample.pngприMAX_UPLOAD_BYTES=1в окружении — 201.
Красный прогон до кода (apply, 2026-10-21)
Новые тесты и hook против прежней ветки mark_ready без компенсации
(временная правка AttachmentService.upload, возвращена) и без уборщика
(docker compose -p mtusi-lab4-failures stop cleaner сразу после
старта), FAULT_ARGS='-k "object_storage or cleaner or interrupted or metadata or killed or ready_failure or rejected"': 4 failed, 7 passed.
student-tests/test_failures.py::test_ready_failure_compensated FAILED
student-tests/test_failures.py::test_killed_between_put_and_ready FAILED
student-tests/test_failures.py::test_cleaner_survives_outages FAILED
student-tests/test_failures.py::test_object_storage_paused FAILED
E AssertionError: assert '4fc5db0e-…' not in {'3ec2dd25-…', '4fc5db0e-…', …} # объект остался после 503
E AssertionError: attachment 76904e3d-… is not cleaned 26.6s after upload: row pending, object True
E AssertionError: pending 9a93edaf-… is still there 6.5s after S3 came back
E AssertionError: attachment 359413af-… is not cleaned 26.4s after upload: row pending, object False
=========== 4 failed, 7 passed, 215 deselected in 127.26s (0:02:07) ============
«Сбой записи метаданных», «Обрыв передачи тела» и «Незавершённая загрузка не видна» прежний код уже выполнял — эти тесты закрепляют поведение.
Красные прогоны тестов по замечаниям verify (2026-10-21)
Новые тесты и режимы hook против кода f2dc0b3 (рабочее дерево до
правки уборщика; make failure_checks FAULT_ARGS='-k "commit_outcome or outlives or failure_after_object"'):
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 33%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 66%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete FAILED [100%]
E AssertionError: POST /api/v1/chats/0ba258db-…/attachments: expected 503; got 201 {"id":"2dd20f36-…", …}
================= 1 failed, 2 passed, 226 deselected in 31.21s =================
- W1 на прежнем коде — 201 за 4,6 с: уборщик удалил объект, его
транзакция откатилась на DELETE строки, и ждавший
mark_readyперевёл строку вreadyбез объекта. Тест после этого не менялся (правка5889ca2меняет только порядок шагов уборщика), поэтому этот красный прогон в силе и для текущего кода. - W2 и W3 на прежнем коде зелёные: эти ветки были верны, тесты их
закрепляют. Краснеют на временных регрессиях (правки возвращены,
git diff src/core/services/attachment.pyпуст): «компенсация на любой сбой» и возвратRuntimeErrorвместо 503 (FAULT_ARGS='-k "commit_outcome or outlives"'):
student-tests/test_failures.py::test_ready_commit_outcome_unknown FAILED [ 50%]
student-tests/test_failures.py::test_upload_outlives_grace FAILED [100%]
E AssertionError: assert '2b1ccadf-…' in set() # объект удалён после неизвестного COMMIT
E AssertionError: POST /api/v1/chats/e6a74a0b-…/attachments: expected 503; got 500 {"error":{"code":"internal_error","message":"Internal server error","request_id":"…"}}
====================== 2 failed, 227 deselected in 3.49s =======================
Красный прогон до кода upload-memory (apply, 2026-10-21)
Новые тесты мест загрузки и срока тела (tasks change upload-memory,
1.2–1.4) и третий API стенда отказов (UPLOADS_ENV) против кода
f894040 (HEAD fc1524d, в src/ правок ещё нет): make failure_checks FAULT_ARGS='-k "slot or queue or slow_body"'. Прежний API
секцию [uploads] не знает и окружение UPLOADS__* игнорирует:
5 failed.
[failure_checks] ready: api=http://127.0.0.1:50458 tight=http://127.0.0.1:50462 uploads=http://127.0.0.1:50467
collecting ... collected 235 items / 230 deselected / 5 selected
student-tests/test_failures.py::test_upload_slots_busy FAILED [ 20%]
student-tests/test_failures.py::test_rejections_before_queue FAILED [ 40%]
student-tests/test_failures.py::test_upload_waits_for_slot FAILED [ 60%]
student-tests/test_failures.py::test_slot_released_after_failures FAILED [ 80%]
student-tests/test_failures.py::test_slow_body FAILED [100%]
E AssertionError: POST /api/v1/chats/c6d00a36-…/attachments: expected 429; got 201 {"id":"9f6d3dcd-…", …}
E AssertionError: POST /api/v1/chats/f25be5c6-…/attachments: expected 429; got 201 {"id":"0d558e8b-…", …}
E assert '2026-10-21T20:29:49.137493Z' > '2026-10-21T20:29:49.331772Z'
E AssertionError: POST /api/v1/chats/b9f1daa1-…/attachments: expected 400; got 201 {"id":"24f4bc9f-…", …}
E AssertionError: POST /api/v1/chats/acec553a-…/attachments: expected 400; got 201 {"id":"820f7582-…", …}
====================== 5 failed, 230 deselected in 12.08s ======================
[failure_checks] postgres log: 56 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
Причины — дефект прежнего кода, а не тестов и не стенда (мест и срока тела у него нет):
test_upload_slots_busy— загрузка при занятом месте и полной очереди принята (201), а не 429;test_rejections_before_queue— ожидавшая в очереди загрузка B принята сразу (201): «очередь полна», условие сценария, на прежнем коде недостижимо. Тест проверяет его до ранних отказов (404, 413, 415), иначе быстрые отказы ничего бы не доказывали;test_upload_waits_for_slot— B не ждала места: еёcreated_atраньшеupdated_atзагрузки, которая держала место;test_slot_released_after_failures— 413 по счётчику и 415 по содержимому с последующей загрузкой прошли, а тело дольше срока (шаг 3) принято (201): срока тела нет;test_slow_body— тело дольше срока принято (201), а не 400.
Tasks (1.5) ждали зелёными test_slot_released_after_failures и
test_rejections_before_queue. Первый включает шаг «400 по сроку тела»
(design, решение 11), которого прежний код не выполняет; второй проверяет
полную очередь (ответ 429 ожидавшей) — design change upload-memory,
«Уточнения apply», п. 2.
Красный прогон до кода track2-reconciler (apply, 2026-10-22)
Окончательные тесты, hook, run_failures.py и failures.compose.yml
change против кода приложения c13df14 (последний commit до кода change;
код тот же, что 5f4b9ff): git archive c13df14 во временный каталог,
поверх — student-tests/ рабочего дерева apply, python3 student-tests/run_failures.py -k reconcile из него (16:07–16:09 UTC).
Рабочий стенд не трогался.
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied)
student-tests/test_failures.py::test_reconcile_finds_and_fixes FAILED [ 12%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown FAILED [ 25%]
student-tests/test_failures.py::test_reconcile_restored_original FAILED [ 37%]
student-tests/test_failures.py::test_reconcile_change_limit FAILED [ 50%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped FAILED [ 62%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database FAILED [ 75%]
student-tests/test_failures.py::test_reconcile_under_load FAILED [ 87%]
student-tests/test_failures.py::test_scheduled_reconcile FAILED [100%]
E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist
E AssertionError: assert {} == {'messenger/attachments/x-…': 'unknown_object'}
E AssertionError: assert {} == {'1c6bae15-…': 'missing_object'}
E assert 2 == 3 # Reconcile(records=[], exit_code=2)
E assert 2 == 1 # Reconcile(records=[], exit_code=2)
E AssertionError: fault hook fail-attachments mark fault-….png: … ERROR: column "lost_at" of relation "attachments" does not exist
E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist
E AssertionError: {"event": "Started cleaner", …} {"event": "Stopped cleaner", …} # assert passes — итога сверки нет
================= 8 failed, 235 deselected in 95.20s (0:01:35) =================
[failure_checks] postgres log: 67 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
Причины — отсутствие нового поведения в прежнем коде, а не тестов и не стенда:
| Тест | Падение | Причина |
|---|---|---|
test_reconcile_finds_and_fixes |
lost-ids: нет колонки lost_at |
миграции change нет |
test_reconcile_keeps_fresh_used_and_unknown |
ни одной записи «Found» | команды reconcile нет: argparse, код 2 |
test_reconcile_restored_original |
ни одной записи «Fixed» | то же |
test_reconcile_change_limit |
код 2 вместо 3 | то же |
test_reconcile_object_storage_stopped |
код 2 вместо 1 | то же |
test_reconcile_interrupted_by_database |
триггер BEFORE UPDATE OF lost_at не создать |
колонки нет |
test_reconcile_under_load |
lost-ids: нет колонки |
то же |
test_scheduled_reconcile |
в журнале уборщика только «Started» и «Stopped cleaner» | плановой сверки нет |
Первый красный прогон того же кода (с тестами до правок apply — design
change track2-reconciler, «Уточнения apply», пп. 15 и 17) тоже дал 8
failed за 99,5 с; его вывод сохранился не полностью, поэтому снят этот.
На новом коде первые два прогона -k reconcile падали на дефектах
самих тестов и hook (start cleaner через compose start требовал
контейнер migrate; сравнение метаданных строк, которые изменил сам
hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45.
Красные прогоны тестов по замечаниям verify track2-reconciler (2026-10-22)
Три новые проверки (tasks, группа 13) — с тестами и hook 84f8c35, в
двух временных каталогах из git archive (рабочее дерево не менялось).
Рабочий стенд не трогался; после прогонов образ mtusi-messenger:lab4
пересобран из 84f8c35 (docker compose build api, контейнеры стенда не
пересоздавались), каталоги удалены.
13.2, W2 — код приложения a6071da (до правок; git archive a6071da,
поверх — student-tests/ из 84f8c35), 18:14:37–18:15:58:
$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup or foreign_key_untouched"
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 33%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 66%]
student-tests/test_failures.py::test_reconcile_foreign_key_untouched FAILED [100%]
E AssertionError: assert {'95d43699-44...tale_pending'} == {'95d43699-44...known_object'}
E Differing items:
E {'95d43699-44d0-463d-b168-a44f99b0d141': 'missing_object'} != {'95d43699-44d0-463d-b168-a44f99b0d141': 'unknown_object'}
E {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'stale_pending'} != {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'unknown_object'}
student-tests/test_failures.py:2001: AssertionError
================= 1 failed, 2 passed, 243 deselected in 59.97s =================
[failure_checks] postgres log: 62 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
…_foreign_key_untouchedкрасный: прежний код считал готовую строку с ключом<база>/elsewhere/<id>«метаданными без объекта» (HEAD чужого префикса, с--apply— пометка), а зависшую с таким ключом —stale_pending(уборка удалила бы объект по чужому ключу);- оба теста W1 на прежнем коде зелёные: эти ветки были верны, замечание — об их покрытии.
13.1, W1 — 84f8c35 с двумя временными регрессиями в
src/core/services/attachment_reconcile.py временного каталога:
_recheck_orphan без проверки ссылок (references = []) и _act,
пропускающий при отказе по пределу и зависшие загрузки (if state.refused: continue), 18:16:04–18:17:05:
$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup"
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects FAILED [ 50%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup FAILED [100%]
E Differing items:
E {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'orphan_object'} != {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'unknown_object'}
student-tests/test_failures.py:1884: AssertionError
E AssertionError: assert {} == {'50635edf-66...tale_pending'}
E Right contains 1 more item:
E {'50635edf-667c-44a7-878c-ea7298b94ef6': 'stale_pending'}
student-tests/test_failures.py:1950: AssertionError
====================== 2 failed, 244 deselected in 41.34s ======================
[failure_checks] postgres log: 59 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
- без проверки ссылок объект
<Z>/original, на который ссылается Y, стал «объектом без метаданных» (orphan_object) — тест ловит удаление используемого объекта; - при уборке зависших под пределом P не убрана (ни одной записи
removed_pending) — тест ловит остановку уборки отказом по пределу.
Те же три теста на 84f8c35 без регрессий — зелёные в полном прогоне
выше (48 из 48).