Files
mtusi2026lab4/evidence/tests/failure-checks.md
T
2026-10-22 21:31:49 +03:00

41 KiB
Raw Blame History

make failure_checks: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой

  • Дата: 2026-10-22, 18:04:24–18:13:30 UTC.
  • Commit: 84f8c35 (правки по verify change track2-reconciler: строка с ключом вне префикса вложений — чужой объект, сигнал перед каждым вызовом хранилища, hook set-key, три новые проверки отказов поверх восьми проверок сверки c1648d9). Рабочее дерево — 84f8c35 (вне commit — только файлы evidence/), образ собран из него.
  • Стенд отказов: проект mtusi-lab4-failures — свои PostgreSQL, Valkey и S3 (с bootstrap, пользователи api и cleaner, у уборщика список только с префиксом messenger/attachments/), порты хранилищ не публикуются; уборщик cleaner с grace 20 с, интервалом 1 с и без плановой сверки (RECONCILER__INTERVAL_SECONDS: "0", failures.compose.yml, restart: "no") — сверку запускают тесты через hook; три API на 127.0.0.1: обычный — с MAX_UPLOAD_BYTES=1 и MAX_IMAGE_PIXELS=1 в окружении, «тесный» (сроки сессии и ключа 2 с, пул 1) и «узкий по загрузкам» (UPLOADS_ENV: 1 место, 1 в очереди, ожидание 1 с, срок тела 3 с). Рабочий стенд mtusi-lab4 в это время запущен на образе c1648d9 (порядок обновления change в 16:32–16:34; 84f8c35 меняет только процесс уборщика, стенд отказов собирает его сам; LB — на 127.0.0.1:8090: 8080 хоста занят контейнером другого проекта). Docker Desktop 29.9.1, Apple M3 Pro.
  • Прежние снимки этого файла: commit 5b42bd2 — 29 из 29 за 190 с; 87c48b9 — 32 из 32 за 224 с; 5889ca2 — 32 из 32 за 228 с; ce1ae2c — 37 из 37 за 255 с; 9d2ee30 — 37 из 37 за 263 с; c1648d9 — 45 из 45 за 462 с (+8 проверок сверки: ожидания grace стенда, 20 с, для объектов без строки и ~35 с нагрузки). Сейчас — 48 из 48 за 524 с: +3 проверки по замечаниям verify (раздел «Сверка bucket и БД», последние три пункта), одной из них — ожидание grace.

Итог: код 0, 48 из 48

Вывод сборки образа (BuildKit), строки Container … compose, записи alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к рабочему каталогу в строках platform и rootdir pytest заменён на ….

$ make failure_checks
python3 student-tests/run_failures.py
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] build image
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
[failure_checks] s3 bootstrap
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:54563 tight=http://127.0.0.1:54569 uploads=http://127.0.0.1:54573
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 246 items / 198 deselected / 48 selected
student-tests/test_failures.py::test_expired_token PASSED                [  2%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED  [  4%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [  6%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [  8%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED    [ 10%]
student-tests/test_failures.py::test_pool_exhausted PASSED               [ 12%]
student-tests/test_failures.py::test_connection_limit_reached PASSED     [ 14%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED       [ 16%]
student-tests/test_failures.py::test_readiness_without_database PASSED   [ 18%]
student-tests/test_failures.py::test_readiness_without_cache PASSED      [ 20%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 22%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 25%]
student-tests/test_failures.py::test_flush_cache PASSED                  [ 27%]
student-tests/test_failures.py::test_valkey_stopped PASSED               [ 29%]
student-tests/test_failures.py::test_valkey_paused PASSED                [ 31%]
student-tests/test_failures.py::test_valkey_back PASSED                  [ 33%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 35%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 37%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED           [ 39%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 41%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 43%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED      [ 45%]
student-tests/test_failures.py::test_interrupted_body PASSED             [ 47%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED    [ 50%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 52%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 54%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED        [ 56%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 58%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED     [ 60%]
student-tests/test_failures.py::test_object_storage_stopped PASSED       [ 62%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 64%]
student-tests/test_failures.py::test_object_storage_paused PASSED        [ 66%]
student-tests/test_failures.py::test_upload_slots_busy PASSED            [ 68%]
student-tests/test_failures.py::test_rejections_before_queue PASSED      [ 70%]
student-tests/test_failures.py::test_upload_waits_for_slot PASSED        [ 72%]
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 75%]
student-tests/test_failures.py::test_slow_body PASSED                    [ 77%]
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED    [ 79%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 81%]
student-tests/test_failures.py::test_reconcile_restored_original PASSED  [ 83%]
student-tests/test_failures.py::test_reconcile_change_limit PASSED       [ 85%]
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 87%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 89%]
student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 91%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%]
student-tests/test_failures.py::test_reconcile_under_load PASSED         [ 97%]
student-tests/test_failures.py::test_scheduled_reconcile PASSED          [100%]
================ 48 passed, 198 deselected in 523.74s (0:08:43) ================
[failure_checks] postgres log: 458 lines, crash markers 0; "too many clients" 31, "administrator command" 143
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0

Вся команда — 9 мин 06 с (18:04:24–18:13:30). «too many clients» и «administrator command» — следы проверок «Предел соединений PostgreSQL исчерпан» (fill-connections) и остановок PostgreSQL, признаков аварийного перезапуска нет.

Уборка и рабочий стенд

$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q)   # до и после прогона — одинаково
/mtusi-lab4-api-21 2026-10-22T16:38:07.188747593Z
/mtusi-lab4-api-22 2026-10-22T16:37:49.487956001Z
/mtusi-lab4-cleaner-1 2026-10-22T16:42:59.905412465Z
/mtusi-lab4-haproxy-1 2026-10-22T16:37:23.189875503Z
/mtusi-lab4-postgres-1 2026-10-22T16:36:57.034778213Z
/mtusi-lab4-s3-1 2026-10-22T16:37:12.007644429Z
/mtusi-lab4-valkey-1 2026-10-22T16:36:57.056768422Z
$ docker ps -aq --filter label=com.docker.compose.project=mtusi-lab4-failures | wc -l
       0
$ docker volume ls -q | wc -l
     155
  • Все контейнеры mtusi-lab4 стартовали раньше прогона (последние — после make test-persistence, make test-failover и остановки уборщика для evidence/reconcile/service.md в 16:36–16:43; прогон — с 18:04:24), и время старта после прогона то же: рабочий стенд не тронут. Список docker volumes до и после прогона один и тот же (155 имён).
  • У проекта mtusi-lab4-failures не осталось ни контейнеров, ни volumes.

Сверка bucket и БД (change track2-reconciler)

Hook вносит расхождения с обеих сторон (put-object — процесс в контейнере обычного API его ключами, delete-object — weed shell fs.rm, delete-row, set-size, age-row — psql) и запускает разовую сверку (reconcile dry-run|apply [предел] — одноразовый контейнер уборщика стенда, записи журнала и код выхода). Записи фильтруются по своим id и ключам, код выхода сверяется с записями того же прохода. Объекты состарить нельзя (LastModified ставит S3) — тесты с объектом без строки ждут G + 1 = 21 с; строки состаривает age-row.

  • «Расхождения с обеих сторон найдены», «Исправление расхождений», «Повторная сверка», attachments «Потерянный оригинал» (test_reconcile_finds_and_fixes; уборщик стенда остановлен на время теста): A в сообщении без объекта, B без строки, C с другим размером, O мимо API, P — обрыв COMMIT (строка pending и объект); dry-run — у каждого свой класс (missing_object, orphan_object ×2, size_mismatch, stale_pending), возраст ≥ G, код 3, строки, объекты и пометки не изменились, байты A — 500; --apply — O и объект B удалены, у P ни строки, ни объекта, A и C помечены, байты A — 404, метаданные A равны ответу загрузки; повтор — своих записей нет, код соответствует записям.
  • «Свежие не тронуты», «Используемое вложение не удаляется», «Чужой объект не удаляется» (…_keeps_fresh_used_and_unknown): у вложения в сообщении объект удалён — помечено, метаданные 200, история отдаёт его id, ни одна ready строка не пропала; свежие объект без строки и вложение без объекта — не тронуты, fresh_objects и fresh_rows ≥ 1; ключ …/attachments/x-<uuid> — «unknown_object», код 3, следующий проход снова его видит.
  • «Оригинал вернулся» (…_restored_original): помечено → те же байты под ключом → --apply — restored_object / cleared_lost, байты 200 с тем же SHA-256, следующий dry-run — ни одной записи о нём.
  • «Предел изменений» (…_change_limit): три потери при пределе 2 — код 3, error «Reconcile changes exceed limit» с changes ≥ 3 и max_changes 2, итог warning с refused: true, ни одной пометки; с пределом 100 — помечены все три.
  • «S3 недоступен во время сверки» (…_object_storage_stopped): S3 остановлен — код 1, interrupted_by: object_storage, ни одного «Fixed»; после возврата — помечено.
  • «Прерванная сверка доводится повтором» (…_interrupted_by_database): триггер роняет пометку одного вложения (08006) — код 1, interrupted_by: database; после снятия — помечены оба, dry-run их не находит.
  • «Сверка под нагрузкой» (…_under_load): два объекта без строки и две потери; 4 потока ~35 с загружают PNG ~100 KiB из шума и отправляют сообщения, поток сверки — --apply раз в 3 с: внесённое исправлено, каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё вложение, новые пометки — только внесённые, ни один проход не прерван.
  • «Плановая сверка без команды» (test_scheduled_reconcile): отдельный уборщик <проект>-cleaner-scheduled с RECONCILER__INTERVAL_SECONDS=1 на 6 с — в журнале «Finished reconcile pass» с apply: true, потеря помечена без разового прохода.

По замечаниям verify (hook set-key меняет только object_key строки):

  • «Объект, на который ссылается строка, не удаляется» (…_keeps_referenced_objects): у X ключ …/attachments/x-other-<uuid> без объекта, Y ссылается на <Z>/original (строки Z нет, объект есть), после G + 1 dry-run и --apply — <X>/original, <Y>/original и <Z>/original — unknown_object и на месте, код 3; X помечено (missing_object по своему ключу), Y — нет; в finally ключи возвращены, объект Z удалён hook.
  • «Предел не останавливает уборку зависших» (…_limit_keeps_cleanup): уборщик стенда стоит, обрыв COMMIT даёт зависшую P (age-row), три потери при пределе 2 — код 3, error о пределе, refused: true, ни одной пометки, а P убрана (removed_pending, ни строки, ни объекта); затем с пределом 100 помечены все три.
  • «Ключ вне префикса вложений не трогается» (…_foreign_key_untouched): готовой строке и зависшей загрузке set-key ставит <база>/elsewhere/<id>; dry-run и --apply — обе unknown_object, код 3, ни одной записи «Fixed»: строки ready и pending на месте, готовая не помечена, их объекты под префиксом вложений целы.

Места загрузки и срок тела (change upload-memory)

«Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; тесты сверяют это окружение (FAULT_UPLOADS_ENV). Место держит загрузка A, тело которой стоит на threading.Event теста. Срок тела поднят с 2 до 3 с по verify (design change upload-memory, «Уточнения apply», п. 15): A отпускается через ~1,3–1,5 с после того, как заняла место, и при 2 с запас был ~0,5 с.

  • «Все места заняты», «Очередь ожидания полна», api-conventions «Лимит одновременных загрузок» (test_upload_slots_busy): A держит место, B ждёт, C получает 429 rate_limited быстрее 0,5 с, B — 429 не раньше 1 с; у обоих Retry-After — положительное целое ≥ 1, формат ошибки и X-Instance-Id; A после отпускания — 201; новые строка и объект — только у A.
  • «Отказ раньше очереди» (test_rejections_before_queue): при полной очереди посторонний — 404, 30 MiB с Content-Length 31 457 280 — 413, Content-Type: text/plain — 415, каждый быстрее срока ожидания и раньше 429 ожидавшей B.
  • «Ожидание места» и storage-consistency «Ожидание места не входит в возраст загрузки» (test_upload_waits_for_slot): B ждёт и получает 201, B.created_at позже A.updated_at, обе скачиваются побайтно.
  • «Место освобождается» (test_slot_released_after_failures): после 413 по счётчику, 415 по содержимому, 400 по сроку тела, обрыва тела и 503 при остановленном S3 следующая загрузка — 201 быстрее срока ожидания.
  • «Медленный клиент», «Медленная передача в срок» (test_slow_body): тело частями за 4 с (дольше срока 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256.

Что проверяют проверки вложений и уборщика

Строки и объекты тесты сравнивают множествами id от hook (attachment-ids — psql, object-ids — файлы original под /buckets/<bucket>/<база>/attachments по weed shell fs.tree), а не счётчиками: уборщик стенда убирает строки прежних тестов параллельно, а пустой каталог <id>/ после DELETE SeaweedFS держит ещё ~2 мин. Объекты без строки — object-ids − attachment-ids. G = 20 с, I = 1 с, запас поверх G + I — 5 с.

  • «Запись в S3 не удалась», «Незавершённая загрузка не видна» (test_upload_with_object_storage_stopped): S3 остановлен → загрузка 503 быстрее срока вызова S3; ровно одна новая строка, она pending и совпадает с last-pending, готовые — те же; по её id метаданные, байты и сообщение со ссылкой — 404 с тем же message, что у случайного id; текстовое сообщение — 201; после start та же загрузка — 201.
  • «Отклонённая загрузка ничего не оставляет»: 404 постороннему, 413 по Content-Length, 413 частями, 413 по пикселям, 415 по типу и 415 по целостности — ни новых строк, ни новых объектов (перед этим одна настоящая загрузка: её id есть в обоих списках).
  • «Сбой записи метаданных» (test_metadata_insert_failure): триггер роняет вставку строки этого filename с SQLSTATE 08006 → 503; ни строки, ни объекта.
  • «Обрыв передачи тела» (test_interrupted_body): тело-итератор бросает исключение после 1 MiB → у клиента ошибка; ни строки, ни объекта; следующая загрузка того же участника — 201.
  • «Фиксация ready не удалась», «Свежая загрузка не тронута», «Зависшая загрузка убрана» (test_ready_failure_compensated): триггер роняет перевод в ready → 503, строка pending осталась, объекта уже нет (компенсация до ответа), по API не видна; на G/2 строка ещё на месте (уборщик сделал ~10 проходов); не позже G + I + 5 с нет ни строки, ни объекта, объектов без строки нет.
  • «Объект без фиксации убран» (test_killed_between_put_and_ready): триггер задерживает перевод в ready на 4 с → в это окно есть строка pending и объект → kill-api (docker kill обычного API) → 201 до клиента не дошёл, строка и объект на месте → start-api → после grace ни строки, ни объекта, объектов без строки нет; загрузка — 201.
  • «Исход фиксации неизвестен» (test_ready_commit_outcome_unknown, verify W2): отложенный триггер ограничения роняет COMMIT перевода в ready (08006) → 503, строка pending, по API не видна, объект на месте сразу после ответа (исход для API неизвестен, компенсации нет); не позже G + I + 5 с ни строки, ни объекта, объектов без строки нет.
  • «Загрузка дольше grace» (test_upload_outlives_grace, verify W3): строка вставлена на час старше (created_at и updated_at вместе), перевод в ready ждёт в триггере уровня оператора BEFORE UPDATE OF status, пока уборщик стенда не уберёт строку → 503, а не 201 и не 500; ни строки, ни объекта, объектов без строки нет.
  • «Сбой уборки после удаления объекта» (test_cleaner_failure_after_object_delete, verify W1): то же, но удаление строки падает с 08006 уже после удаления объекта — в той же транзакции уборки (второй шаг), то есть её откат после удачного DELETE в S3 → 503, а не 201; строка pending (помечена первым шагом), по API не видна, вложений ready без объекта нет; после снятия триггера следующий проход убирает строку, объектов без строки нет.
  • «S3 недоступен во время уборки», «БД недоступна во время уборки», «Готовые вложения не тронуты» (test_cleaner_survives_outages): готовое вложение R; S3 остановлен → загрузка 503 (строка X); PostgreSQL остановлен на 3 с и запущен; к G + 3I при остановленном S3 X ещё pending (проходы прерываются); S3 запущен → X убрана не позже I + 5 с, объектов без строки нет; R — метаданные 200 ready, байты с тем же SHA-256. Уборщик всё это время работал без перезапуска (restart: "no": упавший процесс не убрал бы X).
  • «S3 завис» и «Зависшая загрузка убрана» (test_object_storage_paused): docker pause S3 → загрузка и скачивание — 503 не позже 5 с + 0,6 с; после unpause скачивание — те же байты; строка загрузки во время заморозки убрана после grace, объект после разморозки не дописался.
  • «S3 остановлен» и «Окружение не меняет лимит» — как в прежнем снимке: скачивание 503, метаданные и история без S3 — 200; sample.png при MAX_UPLOAD_BYTES=1 в окружении — 201.

Красный прогон до кода (apply, 2026-10-21)

Новые тесты и hook против прежней ветки mark_ready без компенсации (временная правка AttachmentService.upload, возвращена) и без уборщика (docker compose -p mtusi-lab4-failures stop cleaner сразу после старта), FAULT_ARGS='-k "object_storage or cleaner or interrupted or metadata or killed or ready_failure or rejected"': 4 failed, 7 passed.

student-tests/test_failures.py::test_ready_failure_compensated FAILED
student-tests/test_failures.py::test_killed_between_put_and_ready FAILED
student-tests/test_failures.py::test_cleaner_survives_outages FAILED
student-tests/test_failures.py::test_object_storage_paused FAILED
E       AssertionError: assert '4fc5db0e-…' not in {'3ec2dd25-…', '4fc5db0e-…', …}   # объект остался после 503
E               AssertionError: attachment 76904e3d-… is not cleaned 26.6s after upload: row pending, object True
E           AssertionError: pending 9a93edaf-… is still there 6.5s after S3 came back
E               AssertionError: attachment 359413af-… is not cleaned 26.4s after upload: row pending, object False
=========== 4 failed, 7 passed, 215 deselected in 127.26s (0:02:07) ============

«Сбой записи метаданных», «Обрыв передачи тела» и «Незавершённая загрузка не видна» прежний код уже выполнял — эти тесты закрепляют поведение.

Красные прогоны тестов по замечаниям verify (2026-10-21)

Новые тесты и режимы hook против кода f2dc0b3 (рабочее дерево до правки уборщика; make failure_checks FAULT_ARGS='-k "commit_outcome or outlives or failure_after_object"'):

student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 33%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED        [ 66%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete FAILED [100%]
E       AssertionError: POST /api/v1/chats/0ba258db-…/attachments: expected 503; got 201 {"id":"2dd20f36-…", …}
================= 1 failed, 2 passed, 226 deselected in 31.21s =================
  • W1 на прежнем коде — 201 за 4,6 с: уборщик удалил объект, его транзакция откатилась на DELETE строки, и ждавший mark_ready перевёл строку в ready без объекта. Тест после этого не менялся (правка 5889ca2 меняет только порядок шагов уборщика), поэтому этот красный прогон в силе и для текущего кода.
  • W2 и W3 на прежнем коде зелёные: эти ветки были верны, тесты их закрепляют. Краснеют на временных регрессиях (правки возвращены, git diff src/core/services/attachment.py пуст): «компенсация на любой сбой» и возврат RuntimeError вместо 503 (FAULT_ARGS='-k "commit_outcome or outlives"'):
student-tests/test_failures.py::test_ready_commit_outcome_unknown FAILED [ 50%]
student-tests/test_failures.py::test_upload_outlives_grace FAILED        [100%]
E       AssertionError: assert '2b1ccadf-…' in set()   # объект удалён после неизвестного COMMIT
E       AssertionError: POST /api/v1/chats/e6a74a0b-…/attachments: expected 503; got 500 {"error":{"code":"internal_error","message":"Internal server error","request_id":"…"}}
====================== 2 failed, 227 deselected in 3.49s =======================

Красный прогон до кода upload-memory (apply, 2026-10-21)

Новые тесты мест загрузки и срока тела (tasks change upload-memory, 1.2–1.4) и третий API стенда отказов (UPLOADS_ENV) против кода f894040 (HEAD fc1524d, в src/ правок ещё нет): make failure_checks FAULT_ARGS='-k "slot or queue or slow_body"'. Прежний API секцию [uploads] не знает и окружение UPLOADS__* игнорирует: 5 failed.

[failure_checks] ready: api=http://127.0.0.1:50458 tight=http://127.0.0.1:50462 uploads=http://127.0.0.1:50467
collecting ... collected 235 items / 230 deselected / 5 selected
student-tests/test_failures.py::test_upload_slots_busy FAILED            [ 20%]
student-tests/test_failures.py::test_rejections_before_queue FAILED      [ 40%]
student-tests/test_failures.py::test_upload_waits_for_slot FAILED        [ 60%]
student-tests/test_failures.py::test_slot_released_after_failures FAILED [ 80%]
student-tests/test_failures.py::test_slow_body FAILED                    [100%]
E       AssertionError: POST /api/v1/chats/c6d00a36-…/attachments: expected 429; got 201 {"id":"9f6d3dcd-…", …}
E       AssertionError: POST /api/v1/chats/f25be5c6-…/attachments: expected 429; got 201 {"id":"0d558e8b-…", …}
E       assert '2026-10-21T20:29:49.137493Z' > '2026-10-21T20:29:49.331772Z'
E       AssertionError: POST /api/v1/chats/b9f1daa1-…/attachments: expected 400; got 201 {"id":"24f4bc9f-…", …}
E       AssertionError: POST /api/v1/chats/acec553a-…/attachments: expected 400; got 201 {"id":"820f7582-…", …}
====================== 5 failed, 230 deselected in 12.08s ======================
[failure_checks] postgres log: 56 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}

Причины — дефект прежнего кода, а не тестов и не стенда (мест и срока тела у него нет):

  • test_upload_slots_busy — загрузка при занятом месте и полной очереди принята (201), а не 429;
  • test_rejections_before_queue — ожидавшая в очереди загрузка B принята сразу (201): «очередь полна», условие сценария, на прежнем коде недостижимо. Тест проверяет его до ранних отказов (404, 413, 415), иначе быстрые отказы ничего бы не доказывали;
  • test_upload_waits_for_slot — B не ждала места: её created_at раньше updated_at загрузки, которая держала место;
  • test_slot_released_after_failures — 413 по счётчику и 415 по содержимому с последующей загрузкой прошли, а тело дольше срока (шаг 3) принято (201): срока тела нет;
  • test_slow_body — тело дольше срока принято (201), а не 400.

Tasks (1.5) ждали зелёными test_slot_released_after_failures и test_rejections_before_queue. Первый включает шаг «400 по сроку тела» (design, решение 11), которого прежний код не выполняет; второй проверяет полную очередь (ответ 429 ожидавшей) — design change upload-memory, «Уточнения apply», п. 2.

Красный прогон до кода track2-reconciler (apply, 2026-10-22)

Окончательные тесты, hook, run_failures.py и failures.compose.yml change против кода приложения c13df14 (последний commit до кода change; код тот же, что 5f4b9ff): git archive c13df14 во временный каталог, поверх — student-tests/ рабочего дерева apply, python3 student-tests/run_failures.py -k reconcile из него (16:07–16:09 UTC). Рабочий стенд не трогался.

[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied)
student-tests/test_failures.py::test_reconcile_finds_and_fixes FAILED    [ 12%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown FAILED [ 25%]
student-tests/test_failures.py::test_reconcile_restored_original FAILED  [ 37%]
student-tests/test_failures.py::test_reconcile_change_limit FAILED       [ 50%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped FAILED [ 62%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database FAILED [ 75%]
student-tests/test_failures.py::test_reconcile_under_load FAILED         [ 87%]
student-tests/test_failures.py::test_scheduled_reconcile FAILED          [100%]
E       AssertionError: fault hook lost-ids: ERROR:  column "lost_at" does not exist
E           AssertionError: assert {} == {'messenger/attachments/x-…': 'unknown_object'}
E       AssertionError: assert {} == {'1c6bae15-…': 'missing_object'}
E       assert 2 == 3        # Reconcile(records=[], exit_code=2)
E           assert 2 == 1    # Reconcile(records=[], exit_code=2)
E       AssertionError: fault hook fail-attachments mark fault-….png: … ERROR:  column "lost_at" of relation "attachments" does not exist
E       AssertionError: fault hook lost-ids: ERROR:  column "lost_at" does not exist
E       AssertionError: {"event": "Started cleaner", …} {"event": "Stopped cleaner", …}   # assert passes — итога сверки нет
================= 8 failed, 235 deselected in 95.20s (0:01:35) =================
[failure_checks] postgres log: 67 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}

Причины — отсутствие нового поведения в прежнем коде, а не тестов и не стенда:

Тест Падение Причина
test_reconcile_finds_and_fixes lost-ids: нет колонки lost_at миграции change нет
test_reconcile_keeps_fresh_used_and_unknown ни одной записи «Found» команды reconcile нет: argparse, код 2
test_reconcile_restored_original ни одной записи «Fixed» то же
test_reconcile_change_limit код 2 вместо 3 то же
test_reconcile_object_storage_stopped код 2 вместо 1 то же
test_reconcile_interrupted_by_database триггер BEFORE UPDATE OF lost_at не создать колонки нет
test_reconcile_under_load lost-ids: нет колонки то же
test_scheduled_reconcile в журнале уборщика только «Started» и «Stopped cleaner» плановой сверки нет

Первый красный прогон того же кода (с тестами до правок apply — design change track2-reconciler, «Уточнения apply», пп. 15 и 17) тоже дал 8 failed за 99,5 с; его вывод сохранился не полностью, поэтому снят этот. На новом коде первые два прогона -k reconcile падали на дефектах самих тестов и hook (start cleaner через compose start требовал контейнер migrate; сравнение метаданных строк, которые изменил сам hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45.

Красные прогоны тестов по замечаниям verify track2-reconciler (2026-10-22)

Три новые проверки (tasks, группа 13) — с тестами и hook 84f8c35, в двух временных каталогах из git archive (рабочее дерево не менялось). Рабочий стенд не трогался; после прогонов образ mtusi-messenger:lab4 пересобран из 84f8c35 (docker compose build api, контейнеры стенда не пересоздавались), каталоги удалены.

13.2, W2 — код приложения a6071da (до правок; git archive a6071da, поверх — student-tests/ из 84f8c35), 18:14:37–18:15:58:

$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup or foreign_key_untouched"
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 33%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 66%]
student-tests/test_failures.py::test_reconcile_foreign_key_untouched FAILED [100%]
E               AssertionError: assert {'95d43699-44...tale_pending'} == {'95d43699-44...known_object'}
E                 Differing items:
E                 {'95d43699-44d0-463d-b168-a44f99b0d141': 'missing_object'} != {'95d43699-44d0-463d-b168-a44f99b0d141': 'unknown_object'}
E                 {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'stale_pending'} != {'b8dd6a9a-884a-4868-afd1-2e5dc3192d4a': 'unknown_object'}
student-tests/test_failures.py:2001: AssertionError
================= 1 failed, 2 passed, 243 deselected in 59.97s =================
[failure_checks] postgres log: 62 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
  • …_foreign_key_untouched красный: прежний код считал готовую строку с ключом <база>/elsewhere/<id> «метаданными без объекта» (HEAD чужого префикса, с --apply — пометка), а зависшую с таким ключом — stale_pending (уборка удалила бы объект по чужому ключу);
  • оба теста W1 на прежнем коде зелёные: эти ветки были верны, замечание — об их покрытии.

13.1, W1 — 84f8c35 с двумя временными регрессиями в src/core/services/attachment_reconcile.py временного каталога: _recheck_orphan без проверки ссылок (references = []) и _act, пропускающий при отказе по пределу и зависшие загрузки (if state.refused: continue), 18:16:04–18:17:05:

$ python3 student-tests/run_failures.py -k "referenced_objects or limit_keeps_cleanup"
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects FAILED [ 50%]
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup FAILED [100%]
E             Differing items:
E             {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'orphan_object'} != {'messenger/attachments/d39923b2-57c5-4e3d-8d86-0967932df378/original': 'unknown_object'}
student-tests/test_failures.py:1884: AssertionError
E           AssertionError: assert {} == {'50635edf-66...tale_pending'}
E             Right contains 1 more item:
E             {'50635edf-667c-44a7-878c-ea7298b94ef6': 'stale_pending'}
student-tests/test_failures.py:1950: AssertionError
====================== 2 failed, 244 deselected in 41.34s ======================
[failure_checks] postgres log: 59 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
  • без проверки ссылок объект <Z>/original, на который ссылается Y, стал «объектом без метаданных» (orphan_object) — тест ловит удаление используемого объекта;
  • при уборке зависших под пределом P не убрана (ни одной записи removed_pending) — тест ловит остановку уборки отказом по пределу.

Те же три теста на 84f8c35 без регрессий — зелёные в полном прогоне выше (48 из 48).