From fd03b84b68c4b0b971b2baa9fb1f62d2315ea09d Mon Sep 17 00:00:00 2001 From: roman Date: Fri, 23 Oct 2026 20:26:54 +0300 Subject: [PATCH] docs: record track2-reconcile-cost verify fix evidence and numbers Co-Authored-By: Claude Opus 5.5 --- .claude/rules/student-tests.md | 6 +- AGENTS.md | 4 +- PLAN.md | 13 ++ REPORT.md | 23 ++- evidence/reconcile/service.md | 136 +++++++++--- evidence/tests/failure-checks.md | 193 ++++++++++++------ .../changes/track2-reconcile-cost/tasks.md | 4 +- 7 files changed, 277 insertions(+), 102 deletions(-) diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index 713a1e74..126663c7 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -427,8 +427,10 @@ paths: С change `track2-reconciler` — без плановой сверки (`RECONCILER__INTERVAL_SECONDS: "0"`, строка `start cleaner` называет и её интервал), а `<проект>-cleaner-scheduled` hook `run-cleaner` - убирается вместе с API. Прогон — ~13 мин (с change - `track2-reconcile-cost` — 54 проверки, pytest ~760 с: пять тестов + убирается вместе с API. Прогон — ~15 мин (с правками по verify + `track2-reconcile-cost` — 56 проверок, pytest 877 с, вся команда 898 с + на шумном хосте: два теста verify ~1,5 мин; до них — 54 проверки, + pytest 712 с: пять тестов стоимости сверки ~3,5 мин, из них ожидание grace — 4 × 21 с; с change `fix-upload-put-flake` — 49 проверок, pytest ~550–570 с: тест простоя S3 ~17 с, остальное — разброс хоста; до него 48 проверок, pytest ~535 с; diff --git a/AGENTS.md b/AGENTS.md index 4db0ff04..bdc56345 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -409,7 +409,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make wipe_data` | `down -v` — удалить данные стенда (volumes Postgres и S3 называются в запросе) и кэш; только после ввода `yes` | | `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_` с Valkey и S3 стенда (ключи кэша и объектов разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе — база и объекты под префиксом `test_/` (`student-tests.md`) | | `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом | -| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 49 проверок, ~10 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | +| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 56 проверок, ~15 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) | | `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) | | `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт | | `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` | @@ -537,7 +537,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после) evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия) evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия) -evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте +evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 56 проверок с `ca0c4b2`, красные прогоны новых тестов каждого change лабы 4 и правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh diff --git a/PLAN.md b/PLAN.md index ec3c1b70..cc96b4a6 100644 --- a/PLAN.md +++ b/PLAN.md @@ -1639,6 +1639,19 @@ Verify на `16f2cde`: CRITICAL нет; W1–W3 и S1–S10 — группа 12 пересчитаны скриптом scratchpad — все выполняются, вердикты те же. 6. S8: спек `load-benchmark` называет исключение для группы из одной ячейки; S5, S7, S10, W3 — тексты `REPORT.md` и design. +7. Код правок — `ca0c4b2`. С него: `make rolling_update APP_OUT_PORT=8090` + (реплики `api-29`, `api-30`), уборщик пересоздан (плановая сверка при + старте — без расхождений), `make student_test + BASE_URL=http://localhost:8090` — 198 passed, покрытие 252 / 235 / 70 + / 17; `make failure_checks` — 56 из 56, pytest 877 с, команда 898 с; + `driver.py reconcile-signal --pace` и `--pace --apply` на временном + `rcpace` — PASS (`evidence/reconcile/service.md`). Красный прогон + тестов verify переснят с окончательной версией + `…_fresh_overwrite_untouched` против `src` `16f2cde` (`git archive`), + 2 из 2 упали по ожидаемым причинам (`evidence/tests/failure-checks.md`); + образ `mtusi-messenger:lab4` затем пересобран из `ca0c4b2`. + `make bench_reconcile_quick` (на дереве точки 1) — код 0 за 3,7 мин; + на шумном хосте новая пометка `bg_dropped` (45 недосланных итераций). #### Вопросы diff --git a/REPORT.md b/REPORT.md index b9f1a3a1..63577337 100644 --- a/REPORT.md +++ b/REPORT.md @@ -716,7 +716,12 @@ reconcile`) получил три аргумента; плановая свер Направление S3 → БД — выборка строки на объект, а не на страницу. Направление БД → S3 — HEAD на каждую строку `ready`, без множества ключей в памяти. Находит те же классы, что `batch` - (`test_reconcile_head_strategy_same_findings`). По метке она в ~21 раз + (`test_reconcile_head_strategy_same_findings`), в том числе у строки, + которая ссылается на `/original` чужого `id`: обе стратегии + сравнивают строку с объектом по её ключу (до правки по verify W2 + `batch` такую строку не сравнивал, `test_reconcile_row_with_other_id_key`). + Объект, перезаписанный меньше grace назад, свеж для обеих и в + перепроверке (S1, `test_reconcile_fresh_overwrite_untouched`). По метке она в ~21 раз дороже по времени и в ~110 раз по запросам; память `batch` — 161 Б на ключ. Поэтому основной остаётся `batch` (раздел «Стоимость сверки: результаты метки `baseline`», H1, H2). @@ -737,9 +742,13 @@ reconcile`) получил три аргумента; плановая свер без предела; разовый — `--max-objects-per-second`). Проход затрагивает в среднем не больше R объектов S3 в секунду: ключ списка, HEAD и GET считаются одинаково. После каждого вызова S3 — пауза до графика, - кусками по 0,2 с. Сигнал паузу прерывает: остановка ≤ 1 с - (`test_reconcile_rate_limit`, `driver.py reconcile-signal --pace`, - `evidence/reconcile/service.md`). Почему 2000 и предел для `head` и + кусками по 0,2 с. Сигнал паузу прерывает: остановка ≤ 1 с, а итог + вызова перед паузой (ключи страницы, удалённый объект) учитывается в + итоге и записи «Fixed» — проход останавливает проверка сигнала перед + следующим вызовом (`test_reconcile_rate_limit`, `driver.py + reconcile-signal --pace [--apply]`, `evidence/reconcile/service.md`; + до правки по verify W1 удалённый перед паузой объект оставался в + журнале «Found»). Почему 2000 и предел для `head` и глубокой — по метке, раздел «Стоимость сверки: результаты метки `baseline`». - **Ранний отказ по пределу.** С `--apply`, как только подтверждённых @@ -918,7 +927,7 @@ student_test` через LB после замены реплик. После п | «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` | | «5», трек 2: стоимость сверки — гипотезы до замера, профиль, повторы | `make bench_reconcile` (метка `baseline`, `d8b8ae3`, `dirty: false`; гипотезы — `aaf3fa3`, раньше; 51 проход: 3 повтора, 1 000 × 1 MiB и 10k → 30k → 100k × 4 KiB, 0,25 % расхождений каждого класса) | найденное = внесённому во всех проходах, счёт сверки = метрикам шлюза S3; H1 подтверждена: `batch` 281 / 311 / 320 мкс на объект (разброс 13,7 %), LIST ⌈N/1000⌉ + 1, 161 Б памяти на ключ; H2 подтверждена: HEAD на строку в 21,7 / 20,4 раза дороже, 2015 против ~18 запросов на 1000 объектов; H3 подтверждена: глубокая в 11,2 раза дороже, 5,50 мс на MiB, упор в CPU уборщика, 1 CPU — в 2,80 раза быстрее; S4 подтверждена: отказ по пределу при 10 000 кандидатах +0,60 с вместо +56,5 с, HEAD 101 | `evidence/reconcile/baseline/summary.md` | | «5», трек 2: влияние сверки на фоновую нагрузку | та же метка, этап D: 300 скачиваний + 50 записей + 50 чтений в секунду, 4 варианта CPU уборщика и предела | H4 **не проверена**: все r ≤ 1,08, a 0,96–1,06, 5xx нет, но контраст `fast-unlimited` (1 CPU, без предела) дал r скачиваний 1,08 при пороге > 1,5 — метод влияния не показал; предел 2000 держит CPU S3 за проход 0,27–0,32 ядра при любом CPU уборщика (без него — 0,42–0,73) ценой прохода в 2,2–4 раза дольше | `evidence/reconcile/baseline/summary.md`, `passes.csv`, `windows.csv` | -| «5», трек 2: `head`, глубокая, возврат по SHA-256, предел скорости, ранний отказ | `make failure_checks` (5 проверок, `0072dbe`); красный прогон на `7f4e626`; `driver.py reconcile-signal --pace` (временный проект) | 54 из 54 за 712 с; на `7f4e626` — 5 из 5 упали по ожидаемым причинам (argparse, нет поля `deep`, пометку снял объект того же размера, `changes` 7 вместо 3); `docker stop` во время паузы предела 1 объект/с — код 1, `interrupted_by: stop`, выход через 0,2 с | `evidence/tests/failure-checks.md`, `evidence/reconcile/service.md` | +| «5», трек 2: `head`, глубокая, возврат по SHA-256, предел скорости, ранний отказ | `make failure_checks` (5 проверок и 2 по замечаниям verify, `ca0c4b2`); красные прогоны на `7f4e626` и `16f2cde`; `driver.py reconcile-signal --pace [--apply]` (временный проект) | 56 из 56 за 877 с; на `7f4e626` — 5 из 5 упали по ожидаемым причинам (argparse, нет поля `deep`, пометку снял объект того же размера, `changes` 7 вместо 3); на `16f2cde` — 2 из 2 (`batch` не сравнил строку с чужим `/original`, помечен только что перезаписанный объект); `docker stop` во время паузы предела 1 объект/с — код 1, `interrupted_by: stop`, выход через 0,06 с, ключи страницы в итоге, а с `--apply` каждое удалённое — «Fixed» (4 из 4; на `16f2cde` — 3 из 4) | `evidence/tests/failure-checks.md`, `evidence/reconcile/service.md` | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. @@ -1653,5 +1662,5 @@ S3 (change `s3-storage`): - **Ранний отказ называет нижнюю границу**: `changes` в ошибке — `max_changes + 1`, точного числа изменений нет. Полный список — в dry-run, он перепроверяет всех. -- **`make failure_checks` — ещё ~2,5 мин** (54 проверки, ~12 мин): пять - проверок сверки ждут grace стенда. +- **`make failure_checks` — ещё ~4 мин** (56 проверок, ~15 мин): семь + проверок сверки change ждут grace стенда. diff --git a/evidence/reconcile/service.md b/evidence/reconcile/service.md index f7271672..33391a87 100644 --- a/evidence/reconcile/service.md +++ b/evidence/reconcile/service.md @@ -1,7 +1,10 @@ # Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды Разделы до «Код 1 разового прохода» сняты с `c1648d9` на рабочем стенде; -последний раздел — с `84f8c35` на временном проекте (правки по verify). +«Код 1 разового прохода» — с `84f8c35` на временном проекте (правки по +verify `track2-reconciler`); «Остановка во время паузы предела скорости» +и вариант `inf` — с `ca0c4b2` (правки по verify `track2-reconcile-cost`), +красные прогоны — на `16f2cde`. Change `track2-reconciler` (design, решения 1, 8–10; спеки `storage-consistency` «Плановая сверка», `service-configuration` @@ -92,6 +95,26 @@ exit=2 [reconcile]`: уборщик не стартует, запись называет поле без значения, код 2 (сценарий «Неверный параметр сверки»). +С правки по verify (S2) — ещё `inf` у предела скорости. Временный проект +`rcpace`, 2026-10-23; поле `instance_id` убрано: + +``` +== commit 16f2cde (до правки): RECONCILER__MAX_OBJECTS_PER_SECOND=inf reconcile +"event": "Started cleaner" +"reconcile_max_objects_per_second": Infinity +"event": "Finished reconcile pass" +"max_objects_per_second": Infinity +"event": "Stopped cleaner" +"exit_code": 0 +exit=0 +== commit ca0c4b2: RECONCILER__MAX_OBJECTS_PER_SECOND=inf reconcile +{"event": "Invalid cleaner settings", "module": "cleaner", "errors": [{"loc": "reconciler.max_objects_per_second", "msg": "Input should be a finite number"}], "level": "error", "timestamp": "2026-10-23T17:22:57.627795Z"} +exit=2 +``` + +До правки `inf` проходил, и «Started cleaner» с итогом содержали +`Infinity` — не JSON (выше — поля, выбранные `grep -o` из этих записей). + ## Коды разового прохода: 3 и 0 Чужой объект под префиксом вложений (ключ `…/attachments/x-service-`, @@ -176,16 +199,20 @@ driver_exit=0 Требование `graceful-shutdown` с change `track2-reconcile-cost`: сигнал прерывает паузу предела скорости сразу, а не после неё, и разовый проход -выходит с кодом 1 не позже чем через секунду. Снято `driver.py -reconcile-signal --pace` с commit `0072dbe` (код — `8d4cf7e`, `src` с -него не менялся) 2026-10-23 16:09:08–16:09:18 UTC. Образ -`mtusi-messenger:lab4` собран из того же кода. Проект compose — -**временный** `rcpace`, устроенный как `rcsig` выше: хранилища на tmpfs, -порты не публикуются, синтетические секреты, без плановой сверки -(`RECONCILER__INTERVAL_SECONDS: "0"`), сервисы `postgres`, `s3`, -`migrate`, `s3-bootstrap`, `cleaner` (`docker compose up -d --no-build ---wait cleaner`). После — `docker compose down -v`: контейнеров `rcpace` -0, volumes — 157, как до. +выходит с кодом 1 не позже чем через секунду. С правки по verify (W1) +ещё: вызов S3 перед паузой уже выполнен, и его итог учитывается — +ключи страницы в `listed_objects`, удалённый объект — запись «Fixed» и +счёт `fixed` (спек `service-logging`: `info`, если проход исправил). + +Снято `driver.py reconcile-signal --pace` и `--pace --apply` с commit +`ca0c4b2` 2026-10-23 17:21:47–17:22:57 UTC. Образ `mtusi-messenger:lab4` +собран из того же дерева (`make failure_checks`, `sha256:82e38446…`). +Проект compose — **временный** `rcpace`, устроенный как `rcsig` выше: +хранилища на tmpfs, порты не публикуются, синтетические секреты, без +плановой сверки (`RECONCILER__INTERVAL_SECONDS: "0"`), сервисы +`postgres`, `s3`, `migrate`, `s3-bootstrap`, `cleaner` (`docker compose +up -d --no-build --wait cleaner`). После — `docker compose down -v`: +контейнеров и сети `rcpace` нет, volumes — 157, как до. ``` $ COMPOSE_PROJECT_NAME=rcpace COMPOSE_FILE=… COMPOSE_ENV_FILES=… python3 .claude/skills/run-mtusi-messenger/driver.py reconcile-signal --pace @@ -193,10 +220,10 @@ rcpace: 8 probe objects put docker stop while reconcile waits for the rate limit pause rcpace: probe objects deleted == records of the one-off reconcile -{"event": "Started cleaner", "level": "info", "mode": "reconcile", "reconcile_max_objects_per_second": 1.0, "timestamp": "2026-10-23T16:09:14.339183Z"} -{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 0, "storage_objects": 8, "max_objects_per_second": 1.0, "duration_ms": 2466, "interrupted_by": "stop", "timestamp": "2026-10-23T16:09:16.806155Z"} -{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-23T16:09:16.808311Z"} -docker stop took 0.2 s, container exited 0.03 s after the kill event, exit code 1 +{"event": "Started cleaner", "level": "info", "mode": "reconcile", "reconcile_max_objects_per_second": 1.0, "reconcile_apply": false, "timestamp": "2026-10-23T17:21:54.438005Z"} +{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 8, "found": {}, "fixed": {}, "storage_objects": 8, "s3_requests": {"list": 1, "head": 0, "get": 0, "delete": 0}, "max_objects_per_second": 1.0, "duration_ms": 2536, "interrupted_by": "stop", "timestamp": "2026-10-23T17:21:56.975051Z"} +{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-23T17:21:56.976682Z"} +docker stop took 0.2 s, container exited 0.06 s after the kill event, exit code 1 Started cleaner (mode reconcile) expected yes got yes Started cleaner reconcile_max_objects_per_second expected 1 got 1 exit code expected 1 got 1 @@ -204,18 +231,81 @@ Finished reconcile pass interrupted_by expected stop got st Stopped cleaner exit_code expected 1 got 1 Fixed storage discrepancy records expected 0 got 0 exited within 1 s after the signal expected yes got yes +Finished reconcile pass listed_objects expected 8 got 8 PASS: one-off reconcile stopped by SIGTERM during the rate limit pause: exit 1 within a second driver_exit=0 +$ COMPOSE_PROJECT_NAME=rcpace COMPOSE_FILE=… COMPOSE_ENV_FILES=… python3 .claude/skills/run-mtusi-messenger/driver.py reconcile-signal --pace --apply +rcpace: 8 probe objects put +waiting 19 s: probe objects older than grace +docker stop while reconcile waits for the rate limit pause after a DELETE +rcpace: probe objects left after the pass: 4 +rcpace: probe objects deleted +== records of the one-off reconcile +{"event": "Started cleaner", "level": "info", "mode": "reconcile", "reconcile_max_objects_per_second": 1.0, "reconcile_apply": true, "timestamp": "2026-10-23T17:22:25.141347Z"} +{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/3bbc29cf-6bb5-4026-b8b3-b6ed4105adf7/original", "timestamp": "2026-10-23T17:22:42.147695Z"} +{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/6965ede4-8b70-4e51-ba56-5a23fd8e5291/original", "timestamp": "2026-10-23T17:22:43.131113Z"} +{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/6be1f057-2d80-41bf-a63a-482761dad8fe/original", "timestamp": "2026-10-23T17:22:44.135408Z"} +{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/b13ae849-fb7d-4c1d-8c1c-5d2add1d688b/original", "timestamp": "2026-10-23T17:22:45.131653Z"} +{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/bd29861d-cf58-4596-93b0-b81d0f43c2ef/original", "timestamp": "2026-10-23T17:22:45.132311Z"} +{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/bf525794-17fc-4c93-9e3c-ec683810af9f/original", "timestamp": "2026-10-23T17:22:45.132469Z"} +{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/d673f5ac-bd35-4699-9fca-bc2b3484189f/original", "timestamp": "2026-10-23T17:22:45.132551Z"} +{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/fc698da5-bb92-484c-a80f-21832993545e/original", "timestamp": "2026-10-23T17:22:45.132655Z"} +{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 8, "found": {"orphan_object": 8}, "fixed": {"orphan_object": 4}, "storage_objects": 20, "s3_requests": {"list": 1, "head": 8, "get": 0, "delete": 4}, "max_objects_per_second": 1.0, "duration_ms": 20002, "interrupted_by": "stop", "timestamp": "2026-10-23T17:22:45.133437Z"} +{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-23T17:22:45.143699Z"} +docker stop took 0.2 s, container exited 0.04 s after the kill event, exit code 1 +Started cleaner (mode reconcile) expected yes got yes +Started cleaner reconcile_max_objects_per_second expected 1 got 1 +exit code expected 1 got 1 +Finished reconcile pass interrupted_by expected stop got stop +Stopped cleaner exit_code expected 1 got 1 +Fixed storage discrepancy records expected 4 got 4 +exited within 1 s after the signal expected yes got yes +Finished reconcile pass listed_objects expected 8 got 8 +probe objects deleted before the signal expected >0 got >0 +Finished reconcile pass fixed orphan_object expected 4 got 4 +PASS: one-off reconcile --apply stopped by SIGTERM during the rate limit pause: exit 1 within a second, every deleted object fixed +driver_exit=0 ``` -- Восемь объектов пробы положены мимо API под `<база>/attachments/` с - ключом, которого API не пишет. Разовый dry-run `reconcile +- `--pace`: восемь объектов пробы мимо API под `<база>/attachments/` с + ключом, которого API не пишет. Dry-run `reconcile --max-objects-per-second 1` после первой страницы списка затронул 8 - объектов S3 (`storage_objects`) и ушёл в паузу до графика (~8 с). - Через 2 с после «Started cleaner» — `docker stop` (SIGTERM). -- Пауза идёт кусками по 0,2 с с проверкой сигнала. Итог — - `interrupted_by: "stop"`, «Stopped cleaner» с `exit_code` 1, код - контейнера 1. От сигнала до выхода — 0,2 с (порог — 1 с), SIGKILL не - понадобился. Записей «Fixed» нет, объекты пробы удалены в `finally`. + объектов S3 и ушёл в паузу (~8 с). Через 2 с после «Started cleaner» — + `docker stop`. Итог — `interrupted_by: "stop"`, код 1, выход через 0,06 с + после сигнала, и ключи страницы — в `listed_objects` (8). +- `--pace --apply`: восемь объектов `/original` без строки, через + 19 с — `reconcile --apply --max-objects-per-second 1` с grace 18 с. + Список (8 с) и перепроверка (8 HEAD) — до ~16 с, затем DELETE раз в + секунду с паузой после каждого; `docker stop` через 19,5 с после + «Started cleaner» пришёл в паузу после четвёртого DELETE. Удалено 4 + объекта, и у каждого — запись «Fixed» (`info`, `deleted_object`), в + итоге `fixed.orphan_object` 4; оставшиеся 4 — «Found». Выход через + 0,04 с после сигнала. - Тот же сигнал во время ожидания вызова S3 (раздел выше) — 5,0 с: текущий вызов доводится до срока, а паузу предела ждать не нужно. + +### Красный прогон до правки W1 (`16f2cde`) + +Тот же драйвер (из рабочего дерева с правкой) на образе `src` `16f2cde` +(собран `make failure_checks` до правки `src`), временный `rcpace`, +2026-10-23 16:39 UTC. Сигнал в паузе бросал остановку сразу после +удачного вызова, и его итог терялся: + +``` +$ … driver.py reconcile-signal --pace +{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 0, "found": {}, "fixed": {}, "storage_objects": 8, "s3_requests": {"list": 1, "head": 0, "get": 0, "delete": 0}, "max_objects_per_second": 1.0, "duration_ms": 2539, "interrupted_by": "stop", "timestamp": "2026-10-23T16:39:08.994956Z"} +Finished reconcile pass listed_objects expected 8 got 0 FAIL +FAIL: 1 check(s) failed +driver_exit=1 +$ … driver.py reconcile-signal --pace --apply +rcpace: probe objects left after the pass: 4 +{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 8, "found": {"orphan_object": 8}, "fixed": {"orphan_object": 3}, "storage_objects": 20, "s3_requests": {"list": 1, "head": 8, "get": 0, "delete": 4}, "max_objects_per_second": 1.0, "duration_ms": 20004, "interrupted_by": "stop", "timestamp": "2026-10-23T16:39:55.486135Z"} +Fixed storage discrepancy records expected 4 got 3 FAIL +Finished reconcile pass fixed orphan_object expected 4 got 3 FAIL +FAIL: 2 check(s) failed +driver_exit=1 +``` + +Остальные строки таблицы — как в зелёном прогоне. На `16f2cde` четвёртый +удалённый объект (`33a4afe1-…`) попал в журнал `warning` «Found storage +discrepancy», хотя его уже не было: `delete` 4, «Fixed» 3. diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index 747f5e8b..855d25b2 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,29 +1,32 @@ # `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки, сверкой и простоем S3 -- Дата: 2026-10-23, ~15:55–16:07:13 UTC. -- Commit: `0072dbe` (change `track2-reconcile-cost`: код — `8d4cf7e`, - после него `src` не менялся; `d8b8ae3` и `0072dbe` — проверка строк - стенда `bench/` и каталог метки). Рабочее дерево чистое, образ - `mtusi-messenger:lab4` собран из него. +- Дата: 2026-10-23, 17:06:13–17:21:11 UTC. +- Commit: `ca0c4b2` (правки по verify change `track2-reconcile-cost`). + Рабочее дерево чистое, образ `mtusi-messenger:lab4` собран из него. - Стенд отказов — как в снимке `723b6c3` ниже: проект `mtusi-lab4-failures`, свои PostgreSQL, Valkey и S3 с bootstrap, уборщик с grace 20 с, интервалом 1 с и без плановой сверки, четыре - API. Рабочий стенд `mtusi-lab4` в это время запущен на том же образе - (`make run_docker APP_OUT_PORT=8090`: реплики `api-27`, `api-28`, - уборщик, LB на `127.0.0.1:8090`), до и после прогона — те же + API. Рабочий стенд `mtusi-lab4` в это время запущен на том же коде + (`make rolling_update APP_OUT_PORT=8090`: реплики `api-29`, `api-30`, + уборщик пересоздан, LB на `127.0.0.1:8090`), до и после прогона — те же контейнеры. -- +5 проверок change `track2-reconcile-cost`: - `test_reconcile_head_strategy_same_findings`, +- Проверки change `track2-reconcile-cost` — 5 исходных + (`test_reconcile_head_strategy_same_findings`, `test_reconcile_deep_checksum`, `test_reconcile_restore_needs_same_bytes`, `test_reconcile_rate_limit`, - `test_reconcile_limit_stops_rechecks`. Их красный прогон на коде до - change — раздел «Красный прогон до кода `track2-reconcile-cost`» в - конце файла. + `test_reconcile_limit_stops_rechecks`) и 2 по замечаниям verify + (`test_reconcile_row_with_other_id_key`, + `test_reconcile_fresh_overwrite_untouched`). Красные прогоны — разделы + «Красный прогон до кода `track2-reconcile-cost`» и «Красный прогон + тестов verify» в конце файла. +- Прежний снимок с `0072dbe` (до правок по verify): 54 из 54, pytest + 712 с. -## Итог: код 0, 54 из 54 +## Итог: код 0, 56 из 56 -Код команды — 0, pytest — 712 с (49 из 49 за 552 с в снимке -`723b6c3`: +5 проверок сверки, ~2,5 мин — ожидания grace стенда). Ниже +Код команды — 0, pytest — 877 с, вся команда — 898 с (54 из 54 за 712 с +на `0072dbe`: +2 проверки verify, ~1,5 мин, остальное — разброс шумного +хоста; 49 из 49 за 552 с в снимке `723b6c3`). Ниже — вывод от запуска pytest до конца. Опущены сборка образа (из кэша), старт хранилищ, миграции, bootstrap S3 и уборщик: они те же, что в полном выводе снимка `723b6c3`. Путь к рабочему каталогу в строках @@ -42,7 +45,7 @@ python3 student-tests/run_failures.py [failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off) … [failure_checks] start api containers -[failure_checks] ready: api=http://127.0.0.1:51536 tight=http://127.0.0.1:51544 uploads=http://127.0.0.1:51549 s3=http://127.0.0.1:51555 +[failure_checks] ready: api=http://127.0.0.1:60328 tight=http://127.0.0.1:60332 uploads=http://127.0.0.1:60336 s3=http://127.0.0.1:60340 [failure_checks] pytest -m fault ============================= test session starts ============================== platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …/.venv/bin/python @@ -51,66 +54,68 @@ rootdir: … configfile: pyproject.toml testpaths: student-tests plugins: anyio-4.15.1 -collecting ... collected 252 items / 198 deselected / 54 selected +collecting ... collected 254 items / 198 deselected / 56 selected student-tests/test_failures.py::test_expired_token PASSED [ 1%] student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 3%] student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 5%] student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 7%] -student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 9%] -student-tests/test_failures.py::test_pool_exhausted PASSED [ 11%] +student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 8%] +student-tests/test_failures.py::test_pool_exhausted PASSED [ 10%] student-tests/test_failures.py::test_connection_limit_reached PASSED [ 12%] student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 14%] student-tests/test_failures.py::test_readiness_without_database PASSED [ 16%] -student-tests/test_failures.py::test_readiness_without_cache PASSED [ 18%] -student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 20%] -student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 22%] -student-tests/test_failures.py::test_flush_cache PASSED [ 24%] +student-tests/test_failures.py::test_readiness_without_cache PASSED [ 17%] +student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 19%] +student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 21%] +student-tests/test_failures.py::test_flush_cache PASSED [ 23%] student-tests/test_failures.py::test_valkey_stopped PASSED [ 25%] -student-tests/test_failures.py::test_valkey_paused PASSED [ 27%] -student-tests/test_failures.py::test_valkey_back PASSED [ 29%] -student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 31%] -student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 33%] -student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 35%] -student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 37%] -student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 38%] -student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 40%] -student-tests/test_failures.py::test_interrupted_body PASSED [ 42%] -student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 44%] -student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 46%] -student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 48%] -student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 50%] -student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 51%] -student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 53%] -student-tests/test_failures.py::test_object_storage_stopped PASSED [ 55%] -student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 57%] -student-tests/test_failures.py::test_object_storage_paused PASSED [ 59%] -student-tests/test_failures.py::test_upload_slots_busy PASSED [ 61%] -student-tests/test_failures.py::test_rejections_before_queue PASSED [ 62%] -student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 64%] -student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 66%] -student-tests/test_failures.py::test_slow_body PASSED [ 68%] -student-tests/test_failures.py::test_upload_after_idle_s3 PASSED [ 70%] -student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 72%] -student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 74%] -student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 75%] -student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 77%] -student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 79%] -student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 81%] -student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 83%] -student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 85%] -student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 87%] -student-tests/test_failures.py::test_reconcile_under_load PASSED [ 88%] -student-tests/test_failures.py::test_scheduled_reconcile PASSED [ 90%] -student-tests/test_failures.py::test_reconcile_head_strategy_same_findings PASSED [ 92%] -student-tests/test_failures.py::test_reconcile_deep_checksum PASSED [ 94%] -student-tests/test_failures.py::test_reconcile_restore_needs_same_bytes PASSED [ 96%] -student-tests/test_failures.py::test_reconcile_rate_limit PASSED [ 98%] -student-tests/test_failures.py::test_reconcile_limit_stops_rechecks PASSED [100%] +student-tests/test_failures.py::test_valkey_paused PASSED [ 26%] +student-tests/test_failures.py::test_valkey_back PASSED [ 28%] +student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 30%] +student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 32%] +student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 33%] +student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 35%] +student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 37%] +student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 39%] +student-tests/test_failures.py::test_interrupted_body PASSED [ 41%] +student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 42%] +student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 44%] +student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 46%] +student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 48%] +student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 50%] +student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 51%] +student-tests/test_failures.py::test_object_storage_stopped PASSED [ 53%] +student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 55%] +student-tests/test_failures.py::test_object_storage_paused PASSED [ 57%] +student-tests/test_failures.py::test_upload_slots_busy PASSED [ 58%] +student-tests/test_failures.py::test_rejections_before_queue PASSED [ 60%] +student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 62%] +student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 64%] +student-tests/test_failures.py::test_slow_body PASSED [ 66%] +student-tests/test_failures.py::test_upload_after_idle_s3 PASSED [ 67%] +student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 69%] +student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 71%] +student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 73%] +student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 75%] +student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 76%] +student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 78%] +student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 80%] +student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 82%] +student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 83%] +student-tests/test_failures.py::test_reconcile_under_load PASSED [ 85%] +student-tests/test_failures.py::test_scheduled_reconcile PASSED [ 87%] +student-tests/test_failures.py::test_reconcile_head_strategy_same_findings PASSED [ 89%] +student-tests/test_failures.py::test_reconcile_deep_checksum PASSED [ 91%] +student-tests/test_failures.py::test_reconcile_restore_needs_same_bytes PASSED [ 92%] +student-tests/test_failures.py::test_reconcile_rate_limit PASSED [ 94%] +student-tests/test_failures.py::test_reconcile_limit_stops_rechecks PASSED [ 96%] +student-tests/test_failures.py::test_reconcile_row_with_other_id_key PASSED [ 98%] +student-tests/test_failures.py::test_reconcile_fresh_overwrite_untouched PASSED [100%] ==================================== PASSES ==================================== -================ 54 passed, 198 deselected in 712.49s (0:11:52) ================ -[failure_checks] postgres log: 461 lines, crash markers 0; "too many clients" 30, "administrator command" 147 +================ 56 passed, 198 deselected in 877.24s (0:14:37) ================ +[failure_checks] postgres log: 466 lines, crash markers 0; "too many clients" 32, "administrator command" 148 [failure_checks] cleanup … Volume mtusi-lab4-failures_s3_data Removed @@ -1079,3 +1084,59 @@ make: *** [failure_checks] Error 1 Стенд отказов после прогона убран. Зелёный прогон всех пяти на коде change — раздел «Итог» в начале файла (вместе с остальными 49). + +## Красный прогон тестов verify `track2-reconcile-cost` (2026-10-23) + +Тесты по замечаниям verify W2 и S1 — в их окончательном виде (commit +`ca0c4b2`) — против `src` на `16f2cde`, коде до правки: дерево `git +archive 16f2cde` во временном каталоге, поверх — `student-tests/` из +`ca0c4b2`; образ `mtusi-messenger:lab4` собран `make failure_checks` из +этого дерева. 2026-10-23 ~17:00 UTC, стенд отказов — тот же проект +`mtusi-lab4-failures`. После — образ пересобран из `ca0c4b2` до замены +реплик и полного прогона выше. `.env` временного дерева — свои случайные +секреты, каталог удалён. + +``` +$ make failure_checks FAULT_ARGS='-k "row_with_other_id_key or fresh_overwrite_untouched"' +… +collecting ... collected 254 items / 252 deselected / 2 selected + +student-tests/test_failures.py::test_reconcile_row_with_other_id_key FAILED [ 50%] +student-tests/test_failures.py::test_reconcile_fresh_overwrite_untouched FAILED [100%] +… +> assert own_findings(batch, FOUND, keys.values()) == expected +E AssertionError: assert {('unknown_ob...20e65b34a17')} == {('checksum_m...20e65b34a17')} +E Extra items in the right set: +E ('checksum_mismatch', 'messenger/attachments/a0ccf942-ff0b-4556-84bd-2d7488cd883c/original', 'b279c2a6-a273-42d7-8cf1-d2e8c81d9010') +E ('size_mismatch', 'messenger/attachments/c0a74af8-d37a-42dc-b03a-a20e65b34a17/original', '640601f0-ad14-4436-9af1-94f57dd06609') +… +> assert not run.about(FIXED, ids=ids), run.finished +E AssertionError: {'event': 'Finished reconcile pass', …} +E assert not [{'event': 'Fixed storage discrepancy', …}] +====================== 2 failed, 252 deselected in 44.01s ====================== +… +[failure_checks] results: {'fault': 1, 'postgres': 0} +``` + +Причины — те, что ожидались: +- `…_row_with_other_id_key` (W2): `batch` не сравнил Y1 и Y2 с объектами + `/original` и `/original`, на которые они ссылаются: в его + отчёте только четыре чужих объекта, `size_mismatch` Y1 и + `checksum_mismatch` Y2 нет (стратегия `head` их находила); +- `…_fresh_overwrite_untouched` (S1): первый проход `--deep --apply` + пометил потерянным вложение, объект которого только что перезаписан + байтами другого размера: запись «Fixed storage discrepancy» — + `size_mismatch`, `marked_lost`, `size_bytes` 9332, `stored_size` 9333. + +Первый красный прогон (16:30 UTC, дерево с `src` `16f2cde` до правки) +был с прежним видом `…_fresh_overwrite_untouched`: оба прохода в одном +окне grace. Падения те же. Тест поменян после него не из-за красного: +на коде с правкой два глубоких прохода подряд заняли 23,4 с, больше +grace стенда 20 с (глубокий проход читает весь bucket), и проверка +времени срабатывала раньше проверок сверки. Теперь объекты +перезаписываются перед каждым проходом. Поэтому этот красный прогон +снят заново с окончательной версией. + +W1 (сигнал в паузе предела) тестом отказов не проверяется — hook не +шлёт сигнал посреди прохода. Красный и зелёный прогоны — `driver.py +reconcile-signal --pace [--apply]`, `evidence/reconcile/service.md`. diff --git a/openspec/changes/track2-reconcile-cost/tasks.md b/openspec/changes/track2-reconcile-cost/tasks.md index 4e087924..1ba17bcd 100644 --- a/openspec/changes/track2-reconcile-cost/tasks.md +++ b/openspec/changes/track2-reconcile-cost/tasks.md @@ -440,7 +440,7 @@ W1–W3 и S1–S10. Решения — design, «Правки по verify», и - [x] 12.11 **S9.** Блок H4: `http_req_failed` и `dropped_iterations` итога k6 — пометки `bg_failed` и `bg_dropped` проходов блока, H4 с ними не подтверждается; `--selftest`. -- [ ] 12.12 **S3.** Числа: AGENTS.md (проверки отказов, карта кода с +- [x] 12.12 **S3.** Числа: AGENTS.md (проверки отказов, карта кода с `ReconcileStrategy`, время быстрого профиля), `Makefile`, `bench.md`, `student-tests.md` — по факту прогонов 12.14 и 12.15. - [x] 12.13 Правила, AGENTS.md, design («Правки по verify»), `PLAN.md`: @@ -450,7 +450,7 @@ W1–W3 и S1–S10. Решения — design, «Правки по verify», и модулей `bench/`, `make bench_reconcile_quick`, новые и затронутые тесты отказов (`make failure_checks FAULT_ARGS='-k …'`) и драйвер — красные до правки, зелёные после; временные стенды убраны. -- [ ] 12.15 Точка 2, с закоммиченного кода: `make rolling_update +- [x] 12.15 Точка 2, с закоммиченного кода: `make rolling_update APP_OUT_PORT=8090`, пересоздание уборщика, `make student_test BASE_URL=http://localhost:8090`, полный `make failure_checks`; `evidence/reconcile/service.md` (раздел паузы и `--pace --apply`),