docs: record track2-reconcile-cost verify fix evidence and numbers
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -427,8 +427,10 @@ paths:
|
||||
С change `track2-reconciler` — без плановой сверки
|
||||
(`RECONCILER__INTERVAL_SECONDS: "0"`, строка `start cleaner` называет
|
||||
и её интервал), а `<проект>-cleaner-scheduled` hook `run-cleaner`
|
||||
убирается вместе с API. Прогон — ~13 мин (с change
|
||||
`track2-reconcile-cost` — 54 проверки, pytest ~760 с: пять тестов
|
||||
убирается вместе с API. Прогон — ~15 мин (с правками по verify
|
||||
`track2-reconcile-cost` — 56 проверок, pytest 877 с, вся команда 898 с
|
||||
на шумном хосте: два теста verify ~1,5 мин; до них — 54 проверки,
|
||||
pytest 712 с: пять тестов
|
||||
стоимости сверки ~3,5 мин, из них ожидание grace — 4 × 21 с; с change
|
||||
`fix-upload-put-flake` — 49 проверок, pytest ~550–570 с: тест простоя S3
|
||||
~17 с, остальное — разброс хоста; до него 48 проверок, pytest ~535 с;
|
||||
|
||||
@@ -409,7 +409,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `make wipe_data` | `down -v` — удалить данные стенда (volumes Postgres и S3 называются в запросе) и кэш; только после ввода `yes` |
|
||||
| `make test_isolated [KEEP_TEST_DB=1]` | образ на временной базе `test_<db>` с Valkey и S3 стенда (ключи кэша и объектов разделены именем базы): сборка, миграции, отдельный контейнер API на `TEST_APP_PORT`, `make test` + `make student_test EXPECT_REPLICAS=1` (тесты реплик пропускаются с причиной), уборка при любом исходе — база и объекты под префиксом `test_<db>/` (`student-tests.md`) |
|
||||
| `make student_test [BASE_URL=...] [EXPECT_REPLICAS=...]` | собственные тесты `student-tests/` (pytest) против запущенного сервера, кроме проверок отказов (`-m 'not fault'`); `EXPECT_REPLICAS` (по умолчанию `API_REPLICAS`) — сколько реплик за `BASE_URL`, против одного процесса — 1; сервер недоступен — код 2 и одна строка с адресом |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 49 проверок, ~10 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make failure_checks [FAULT_ARGS=...]` | проверки отказов (`pytest -m fault`, 56 проверок, ~15 мин) на отдельном стенде: проект `<рабочий>-failures` со своими Postgres, Valkey и S3 (с bootstrap), уборщик (grace 20 с, интервал 1 с), четыре API — обычный, «тесный» (срок 2 с, пул 1), «узкий по загрузкам» и «с коротким сроком S3» (1 с), hook `student-tests/fault_hook.py`; после тестов — журнал PostgreSQL стенда: сводка (`crash markers`, «too many clients», «administrator command») и ненулевой код при признаках аварийного перезапуска; стенд и его volumes удаляются при любом исходе, рабочий не трогается (`student-tests.md`) |
|
||||
| `make bench [BENCH_LABEL=...]` | полная матрица 10k / 100k / 500k читаемого чата плюс 100 000 сообщений в 1 110 фоновых чатах разного размера (~35 мин, оценка по `bench_quick`) на своём проекте compose `mtusi-bench` (HAProxy и одна реплика API, Postgres, Valkey с лимитами, без портов хоста и без `.env` рабочего стенда; k6 ходит через LB); на каждый размер — свежий стенд, `VACUUM (ANALYZE)`, планы запроса истории (`auto_explain`) по уровням чатов с вариантами индекса и запроса, в конце — пробы стоимости записи по вариантам. Результаты в `evidence/bench/<метка>/`, занятая метка — отказ. Перед запуском — подготовка хоста (`bench.md`) |
|
||||
| `make bench_quick` | самопроверка стенда на 1k / 5k / 10k и 3 500 фоновых сообщений (~3 мин), метка `quick-<время>`, в git не идёт |
|
||||
| `make bench_restore [RESTORE_LABEL=...]` | трек 2, восстановление (~20 мин, метка `restore` по умолчанию): тот же стенд и данные, без матрицы прогонов; на каждый размер — `pg_dump` во время записи через HTTP, активность после backup, `pg_restore -j` в новый контейнер Postgres на новом volume, сверка обеих баз построчно, переключение API, проверки через HTTP до и после `FLUSHALL`; время dump / restore / RTO и потерянные сообщения — в `summary.md` |
|
||||
@@ -537,7 +537,7 @@ evidence/storage/ # отказы БД, пул, statement_timeout, р
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 56 проверок с `ca0c4b2`, красные прогоны новых тестов каждого change лабы 4 и правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
|
||||
evidence/idempotency/ # повтор, 409, гонка, таблица ключей, X-Instance-Id
|
||||
evidence/replicas/ # стенд с LB: порты, лимиты и их цена для Argon2id, окружение, распределение, ответы LB (нет реплик, зависшая, без PostgreSQL), test-persistence, чистый clone на нестандартных портах
|
||||
evidence/failover/ # make test-failover для каждой реплики (stop и kill), отказы stop-one.sh; замер обнаружения, keep-alive, зависшая реплика и ключ; stop-at-start.md — docker stop стартующей реплики «до/после» раннего обработчика и ветка сбоя rolling-update.sh
|
||||
|
||||
@@ -1639,6 +1639,19 @@ Verify на `16f2cde`: CRITICAL нет; W1–W3 и S1–S10 — группа 12
|
||||
пересчитаны скриптом scratchpad — все выполняются, вердикты те же.
|
||||
6. S8: спек `load-benchmark` называет исключение для группы из одной
|
||||
ячейки; S5, S7, S10, W3 — тексты `REPORT.md` и design.
|
||||
7. Код правок — `ca0c4b2`. С него: `make rolling_update APP_OUT_PORT=8090`
|
||||
(реплики `api-29`, `api-30`), уборщик пересоздан (плановая сверка при
|
||||
старте — без расхождений), `make student_test
|
||||
BASE_URL=http://localhost:8090` — 198 passed, покрытие 252 / 235 / 70
|
||||
/ 17; `make failure_checks` — 56 из 56, pytest 877 с, команда 898 с;
|
||||
`driver.py reconcile-signal --pace` и `--pace --apply` на временном
|
||||
`rcpace` — PASS (`evidence/reconcile/service.md`). Красный прогон
|
||||
тестов verify переснят с окончательной версией
|
||||
`…_fresh_overwrite_untouched` против `src` `16f2cde` (`git archive`),
|
||||
2 из 2 упали по ожидаемым причинам (`evidence/tests/failure-checks.md`);
|
||||
образ `mtusi-messenger:lab4` затем пересобран из `ca0c4b2`.
|
||||
`make bench_reconcile_quick` (на дереве точки 1) — код 0 за 3,7 мин;
|
||||
на шумном хосте новая пометка `bg_dropped` (45 недосланных итераций).
|
||||
|
||||
#### Вопросы
|
||||
|
||||
|
||||
@@ -716,7 +716,12 @@ reconcile`) получил три аргумента; плановая свер
|
||||
Направление S3 → БД — выборка строки на объект, а не на страницу.
|
||||
Направление БД → S3 — HEAD на каждую строку `ready`, без множества
|
||||
ключей в памяти. Находит те же классы, что `batch`
|
||||
(`test_reconcile_head_strategy_same_findings`). По метке она в ~21 раз
|
||||
(`test_reconcile_head_strategy_same_findings`), в том числе у строки,
|
||||
которая ссылается на `<Z>/original` чужого `id`: обе стратегии
|
||||
сравнивают строку с объектом по её ключу (до правки по verify W2
|
||||
`batch` такую строку не сравнивал, `test_reconcile_row_with_other_id_key`).
|
||||
Объект, перезаписанный меньше grace назад, свеж для обеих и в
|
||||
перепроверке (S1, `test_reconcile_fresh_overwrite_untouched`). По метке она в ~21 раз
|
||||
дороже по времени и в ~110 раз по запросам; память `batch` — 161 Б на
|
||||
ключ. Поэтому основной остаётся `batch` (раздел «Стоимость сверки:
|
||||
результаты метки `baseline`», H1, H2).
|
||||
@@ -737,9 +742,13 @@ reconcile`) получил три аргумента; плановая свер
|
||||
без предела; разовый — `--max-objects-per-second`). Проход затрагивает
|
||||
в среднем не больше R объектов S3 в секунду: ключ списка, HEAD и GET
|
||||
считаются одинаково. После каждого вызова S3 — пауза до графика,
|
||||
кусками по 0,2 с. Сигнал паузу прерывает: остановка ≤ 1 с
|
||||
(`test_reconcile_rate_limit`, `driver.py reconcile-signal --pace`,
|
||||
`evidence/reconcile/service.md`). Почему 2000 и предел для `head` и
|
||||
кусками по 0,2 с. Сигнал паузу прерывает: остановка ≤ 1 с, а итог
|
||||
вызова перед паузой (ключи страницы, удалённый объект) учитывается в
|
||||
итоге и записи «Fixed» — проход останавливает проверка сигнала перед
|
||||
следующим вызовом (`test_reconcile_rate_limit`, `driver.py
|
||||
reconcile-signal --pace [--apply]`, `evidence/reconcile/service.md`;
|
||||
до правки по verify W1 удалённый перед паузой объект оставался в
|
||||
журнале «Found»). Почему 2000 и предел для `head` и
|
||||
глубокой — по метке, раздел «Стоимость сверки: результаты метки
|
||||
`baseline`».
|
||||
- **Ранний отказ по пределу.** С `--apply`, как только подтверждённых
|
||||
@@ -918,7 +927,7 @@ student_test` через LB после замены реплик. После п
|
||||
| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` |
|
||||
| «5», трек 2: стоимость сверки — гипотезы до замера, профиль, повторы | `make bench_reconcile` (метка `baseline`, `d8b8ae3`, `dirty: false`; гипотезы — `aaf3fa3`, раньше; 51 проход: 3 повтора, 1 000 × 1 MiB и 10k → 30k → 100k × 4 KiB, 0,25 % расхождений каждого класса) | найденное = внесённому во всех проходах, счёт сверки = метрикам шлюза S3; H1 подтверждена: `batch` 281 / 311 / 320 мкс на объект (разброс 13,7 %), LIST ⌈N/1000⌉ + 1, 161 Б памяти на ключ; H2 подтверждена: HEAD на строку в 21,7 / 20,4 раза дороже, 2015 против ~18 запросов на 1000 объектов; H3 подтверждена: глубокая в 11,2 раза дороже, 5,50 мс на MiB, упор в CPU уборщика, 1 CPU — в 2,80 раза быстрее; S4 подтверждена: отказ по пределу при 10 000 кандидатах +0,60 с вместо +56,5 с, HEAD 101 | `evidence/reconcile/baseline/summary.md` |
|
||||
| «5», трек 2: влияние сверки на фоновую нагрузку | та же метка, этап D: 300 скачиваний + 50 записей + 50 чтений в секунду, 4 варианта CPU уборщика и предела | H4 **не проверена**: все r ≤ 1,08, a 0,96–1,06, 5xx нет, но контраст `fast-unlimited` (1 CPU, без предела) дал r скачиваний 1,08 при пороге > 1,5 — метод влияния не показал; предел 2000 держит CPU S3 за проход 0,27–0,32 ядра при любом CPU уборщика (без него — 0,42–0,73) ценой прохода в 2,2–4 раза дольше | `evidence/reconcile/baseline/summary.md`, `passes.csv`, `windows.csv` |
|
||||
| «5», трек 2: `head`, глубокая, возврат по SHA-256, предел скорости, ранний отказ | `make failure_checks` (5 проверок, `0072dbe`); красный прогон на `7f4e626`; `driver.py reconcile-signal --pace` (временный проект) | 54 из 54 за 712 с; на `7f4e626` — 5 из 5 упали по ожидаемым причинам (argparse, нет поля `deep`, пометку снял объект того же размера, `changes` 7 вместо 3); `docker stop` во время паузы предела 1 объект/с — код 1, `interrupted_by: stop`, выход через 0,2 с | `evidence/tests/failure-checks.md`, `evidence/reconcile/service.md` |
|
||||
| «5», трек 2: `head`, глубокая, возврат по SHA-256, предел скорости, ранний отказ | `make failure_checks` (5 проверок и 2 по замечаниям verify, `ca0c4b2`); красные прогоны на `7f4e626` и `16f2cde`; `driver.py reconcile-signal --pace [--apply]` (временный проект) | 56 из 56 за 877 с; на `7f4e626` — 5 из 5 упали по ожидаемым причинам (argparse, нет поля `deep`, пометку снял объект того же размера, `changes` 7 вместо 3); на `16f2cde` — 2 из 2 (`batch` не сравнил строку с чужим `<Z>/original`, помечен только что перезаписанный объект); `docker stop` во время паузы предела 1 объект/с — код 1, `interrupted_by: stop`, выход через 0,06 с, ключи страницы в итоге, а с `--apply` каждое удалённое — «Fixed» (4 из 4; на `16f2cde` — 3 из 4) | `evidence/tests/failure-checks.md`, `evidence/reconcile/service.md` |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
|
||||
@@ -1653,5 +1662,5 @@ S3 (change `s3-storage`):
|
||||
- **Ранний отказ называет нижнюю границу**: `changes` в ошибке —
|
||||
`max_changes + 1`, точного числа изменений нет. Полный список — в
|
||||
dry-run, он перепроверяет всех.
|
||||
- **`make failure_checks` — ещё ~2,5 мин** (54 проверки, ~12 мин): пять
|
||||
проверок сверки ждут grace стенда.
|
||||
- **`make failure_checks` — ещё ~4 мин** (56 проверок, ~15 мин): семь
|
||||
проверок сверки change ждут grace стенда.
|
||||
|
||||
+113
-23
@@ -1,7 +1,10 @@
|
||||
# Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды
|
||||
|
||||
Разделы до «Код 1 разового прохода» сняты с `c1648d9` на рабочем стенде;
|
||||
последний раздел — с `84f8c35` на временном проекте (правки по verify).
|
||||
«Код 1 разового прохода» — с `84f8c35` на временном проекте (правки по
|
||||
verify `track2-reconciler`); «Остановка во время паузы предела скорости»
|
||||
и вариант `inf` — с `ca0c4b2` (правки по verify `track2-reconcile-cost`),
|
||||
красные прогоны — на `16f2cde`.
|
||||
|
||||
Change `track2-reconciler` (design, решения 1, 8–10; спеки
|
||||
`storage-consistency` «Плановая сверка», `service-configuration`
|
||||
@@ -92,6 +95,26 @@ exit=2
|
||||
[reconcile]`: уборщик не стартует, запись называет поле без значения, код
|
||||
2 (сценарий «Неверный параметр сверки»).
|
||||
|
||||
С правки по verify (S2) — ещё `inf` у предела скорости. Временный проект
|
||||
`rcpace`, 2026-10-23; поле `instance_id` убрано:
|
||||
|
||||
```
|
||||
== commit 16f2cde (до правки): RECONCILER__MAX_OBJECTS_PER_SECOND=inf reconcile
|
||||
"event": "Started cleaner"
|
||||
"reconcile_max_objects_per_second": Infinity
|
||||
"event": "Finished reconcile pass"
|
||||
"max_objects_per_second": Infinity
|
||||
"event": "Stopped cleaner"
|
||||
"exit_code": 0
|
||||
exit=0
|
||||
== commit ca0c4b2: RECONCILER__MAX_OBJECTS_PER_SECOND=inf reconcile
|
||||
{"event": "Invalid cleaner settings", "module": "cleaner", "errors": [{"loc": "reconciler.max_objects_per_second", "msg": "Input should be a finite number"}], "level": "error", "timestamp": "2026-10-23T17:22:57.627795Z"}
|
||||
exit=2
|
||||
```
|
||||
|
||||
До правки `inf` проходил, и «Started cleaner» с итогом содержали
|
||||
`Infinity` — не JSON (выше — поля, выбранные `grep -o` из этих записей).
|
||||
|
||||
## Коды разового прохода: 3 и 0
|
||||
|
||||
Чужой объект под префиксом вложений (ключ `…/attachments/x-service-<uuid>`,
|
||||
@@ -176,16 +199,20 @@ driver_exit=0
|
||||
|
||||
Требование `graceful-shutdown` с change `track2-reconcile-cost`: сигнал
|
||||
прерывает паузу предела скорости сразу, а не после неё, и разовый проход
|
||||
выходит с кодом 1 не позже чем через секунду. Снято `driver.py
|
||||
reconcile-signal --pace` с commit `0072dbe` (код — `8d4cf7e`, `src` с
|
||||
него не менялся) 2026-10-23 16:09:08–16:09:18 UTC. Образ
|
||||
`mtusi-messenger:lab4` собран из того же кода. Проект compose —
|
||||
**временный** `rcpace`, устроенный как `rcsig` выше: хранилища на tmpfs,
|
||||
порты не публикуются, синтетические секреты, без плановой сверки
|
||||
(`RECONCILER__INTERVAL_SECONDS: "0"`), сервисы `postgres`, `s3`,
|
||||
`migrate`, `s3-bootstrap`, `cleaner` (`docker compose up -d --no-build
|
||||
--wait cleaner`). После — `docker compose down -v`: контейнеров `rcpace`
|
||||
0, volumes — 157, как до.
|
||||
выходит с кодом 1 не позже чем через секунду. С правки по verify (W1)
|
||||
ещё: вызов S3 перед паузой уже выполнен, и его итог учитывается —
|
||||
ключи страницы в `listed_objects`, удалённый объект — запись «Fixed» и
|
||||
счёт `fixed` (спек `service-logging`: `info`, если проход исправил).
|
||||
|
||||
Снято `driver.py reconcile-signal --pace` и `--pace --apply` с commit
|
||||
`ca0c4b2` 2026-10-23 17:21:47–17:22:57 UTC. Образ `mtusi-messenger:lab4`
|
||||
собран из того же дерева (`make failure_checks`, `sha256:82e38446…`).
|
||||
Проект compose — **временный** `rcpace`, устроенный как `rcsig` выше:
|
||||
хранилища на tmpfs, порты не публикуются, синтетические секреты, без
|
||||
плановой сверки (`RECONCILER__INTERVAL_SECONDS: "0"`), сервисы
|
||||
`postgres`, `s3`, `migrate`, `s3-bootstrap`, `cleaner` (`docker compose
|
||||
up -d --no-build --wait cleaner`). После — `docker compose down -v`:
|
||||
контейнеров и сети `rcpace` нет, volumes — 157, как до.
|
||||
|
||||
```
|
||||
$ COMPOSE_PROJECT_NAME=rcpace COMPOSE_FILE=… COMPOSE_ENV_FILES=… python3 .claude/skills/run-mtusi-messenger/driver.py reconcile-signal --pace
|
||||
@@ -193,10 +220,10 @@ rcpace: 8 probe objects put
|
||||
docker stop while reconcile waits for the rate limit pause
|
||||
rcpace: probe objects deleted
|
||||
== records of the one-off reconcile
|
||||
{"event": "Started cleaner", "level": "info", "mode": "reconcile", "reconcile_max_objects_per_second": 1.0, "timestamp": "2026-10-23T16:09:14.339183Z"}
|
||||
{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 0, "storage_objects": 8, "max_objects_per_second": 1.0, "duration_ms": 2466, "interrupted_by": "stop", "timestamp": "2026-10-23T16:09:16.806155Z"}
|
||||
{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-23T16:09:16.808311Z"}
|
||||
docker stop took 0.2 s, container exited 0.03 s after the kill event, exit code 1
|
||||
{"event": "Started cleaner", "level": "info", "mode": "reconcile", "reconcile_max_objects_per_second": 1.0, "reconcile_apply": false, "timestamp": "2026-10-23T17:21:54.438005Z"}
|
||||
{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 8, "found": {}, "fixed": {}, "storage_objects": 8, "s3_requests": {"list": 1, "head": 0, "get": 0, "delete": 0}, "max_objects_per_second": 1.0, "duration_ms": 2536, "interrupted_by": "stop", "timestamp": "2026-10-23T17:21:56.975051Z"}
|
||||
{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-23T17:21:56.976682Z"}
|
||||
docker stop took 0.2 s, container exited 0.06 s after the kill event, exit code 1
|
||||
Started cleaner (mode reconcile) expected yes got yes
|
||||
Started cleaner reconcile_max_objects_per_second expected 1 got 1
|
||||
exit code expected 1 got 1
|
||||
@@ -204,18 +231,81 @@ Finished reconcile pass interrupted_by expected stop got st
|
||||
Stopped cleaner exit_code expected 1 got 1
|
||||
Fixed storage discrepancy records expected 0 got 0
|
||||
exited within 1 s after the signal expected yes got yes
|
||||
Finished reconcile pass listed_objects expected 8 got 8
|
||||
PASS: one-off reconcile stopped by SIGTERM during the rate limit pause: exit 1 within a second
|
||||
driver_exit=0
|
||||
$ COMPOSE_PROJECT_NAME=rcpace COMPOSE_FILE=… COMPOSE_ENV_FILES=… python3 .claude/skills/run-mtusi-messenger/driver.py reconcile-signal --pace --apply
|
||||
rcpace: 8 probe objects put
|
||||
waiting 19 s: probe objects older than grace
|
||||
docker stop while reconcile waits for the rate limit pause after a DELETE
|
||||
rcpace: probe objects left after the pass: 4
|
||||
rcpace: probe objects deleted
|
||||
== records of the one-off reconcile
|
||||
{"event": "Started cleaner", "level": "info", "mode": "reconcile", "reconcile_max_objects_per_second": 1.0, "reconcile_apply": true, "timestamp": "2026-10-23T17:22:25.141347Z"}
|
||||
{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/3bbc29cf-6bb5-4026-b8b3-b6ed4105adf7/original", "timestamp": "2026-10-23T17:22:42.147695Z"}
|
||||
{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/6965ede4-8b70-4e51-ba56-5a23fd8e5291/original", "timestamp": "2026-10-23T17:22:43.131113Z"}
|
||||
{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/6be1f057-2d80-41bf-a63a-482761dad8fe/original", "timestamp": "2026-10-23T17:22:44.135408Z"}
|
||||
{"event": "Fixed storage discrepancy", "level": "info", "kind": "orphan_object", "action": "deleted_object", "object_key": "rcpace/attachments/b13ae849-fb7d-4c1d-8c1c-5d2add1d688b/original", "timestamp": "2026-10-23T17:22:45.131653Z"}
|
||||
{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/bd29861d-cf58-4596-93b0-b81d0f43c2ef/original", "timestamp": "2026-10-23T17:22:45.132311Z"}
|
||||
{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/bf525794-17fc-4c93-9e3c-ec683810af9f/original", "timestamp": "2026-10-23T17:22:45.132469Z"}
|
||||
{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/d673f5ac-bd35-4699-9fca-bc2b3484189f/original", "timestamp": "2026-10-23T17:22:45.132551Z"}
|
||||
{"event": "Found storage discrepancy", "level": "warning", "kind": "orphan_object", "object_key": "rcpace/attachments/fc698da5-bb92-484c-a80f-21832993545e/original", "timestamp": "2026-10-23T17:22:45.132655Z"}
|
||||
{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 8, "found": {"orphan_object": 8}, "fixed": {"orphan_object": 4}, "storage_objects": 20, "s3_requests": {"list": 1, "head": 8, "get": 0, "delete": 4}, "max_objects_per_second": 1.0, "duration_ms": 20002, "interrupted_by": "stop", "timestamp": "2026-10-23T17:22:45.133437Z"}
|
||||
{"event": "Stopped cleaner", "level": "info", "exit_code": 1, "timestamp": "2026-10-23T17:22:45.143699Z"}
|
||||
docker stop took 0.2 s, container exited 0.04 s after the kill event, exit code 1
|
||||
Started cleaner (mode reconcile) expected yes got yes
|
||||
Started cleaner reconcile_max_objects_per_second expected 1 got 1
|
||||
exit code expected 1 got 1
|
||||
Finished reconcile pass interrupted_by expected stop got stop
|
||||
Stopped cleaner exit_code expected 1 got 1
|
||||
Fixed storage discrepancy records expected 4 got 4
|
||||
exited within 1 s after the signal expected yes got yes
|
||||
Finished reconcile pass listed_objects expected 8 got 8
|
||||
probe objects deleted before the signal expected >0 got >0
|
||||
Finished reconcile pass fixed orphan_object expected 4 got 4
|
||||
PASS: one-off reconcile --apply stopped by SIGTERM during the rate limit pause: exit 1 within a second, every deleted object fixed
|
||||
driver_exit=0
|
||||
```
|
||||
|
||||
- Восемь объектов пробы положены мимо API под `<база>/attachments/` с
|
||||
ключом, которого API не пишет. Разовый dry-run `reconcile
|
||||
- `--pace`: восемь объектов пробы мимо API под `<база>/attachments/` с
|
||||
ключом, которого API не пишет. Dry-run `reconcile
|
||||
--max-objects-per-second 1` после первой страницы списка затронул 8
|
||||
объектов S3 (`storage_objects`) и ушёл в паузу до графика (~8 с).
|
||||
Через 2 с после «Started cleaner» — `docker stop` (SIGTERM).
|
||||
- Пауза идёт кусками по 0,2 с с проверкой сигнала. Итог —
|
||||
`interrupted_by: "stop"`, «Stopped cleaner» с `exit_code` 1, код
|
||||
контейнера 1. От сигнала до выхода — 0,2 с (порог — 1 с), SIGKILL не
|
||||
понадобился. Записей «Fixed» нет, объекты пробы удалены в `finally`.
|
||||
объектов S3 и ушёл в паузу (~8 с). Через 2 с после «Started cleaner» —
|
||||
`docker stop`. Итог — `interrupted_by: "stop"`, код 1, выход через 0,06 с
|
||||
после сигнала, и ключи страницы — в `listed_objects` (8).
|
||||
- `--pace --apply`: восемь объектов `<id>/original` без строки, через
|
||||
19 с — `reconcile --apply --max-objects-per-second 1` с grace 18 с.
|
||||
Список (8 с) и перепроверка (8 HEAD) — до ~16 с, затем DELETE раз в
|
||||
секунду с паузой после каждого; `docker stop` через 19,5 с после
|
||||
«Started cleaner» пришёл в паузу после четвёртого DELETE. Удалено 4
|
||||
объекта, и у каждого — запись «Fixed» (`info`, `deleted_object`), в
|
||||
итоге `fixed.orphan_object` 4; оставшиеся 4 — «Found». Выход через
|
||||
0,04 с после сигнала.
|
||||
- Тот же сигнал во время ожидания вызова S3 (раздел выше) — 5,0 с:
|
||||
текущий вызов доводится до срока, а паузу предела ждать не нужно.
|
||||
|
||||
### Красный прогон до правки W1 (`16f2cde`)
|
||||
|
||||
Тот же драйвер (из рабочего дерева с правкой) на образе `src` `16f2cde`
|
||||
(собран `make failure_checks` до правки `src`), временный `rcpace`,
|
||||
2026-10-23 16:39 UTC. Сигнал в паузе бросал остановку сразу после
|
||||
удачного вызова, и его итог терялся:
|
||||
|
||||
```
|
||||
$ … driver.py reconcile-signal --pace
|
||||
{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 0, "found": {}, "fixed": {}, "storage_objects": 8, "s3_requests": {"list": 1, "head": 0, "get": 0, "delete": 0}, "max_objects_per_second": 1.0, "duration_ms": 2539, "interrupted_by": "stop", "timestamp": "2026-10-23T16:39:08.994956Z"}
|
||||
Finished reconcile pass listed_objects expected 8 got 0 FAIL
|
||||
FAIL: 1 check(s) failed
|
||||
driver_exit=1
|
||||
$ … driver.py reconcile-signal --pace --apply
|
||||
rcpace: probe objects left after the pass: 4
|
||||
{"event": "Finished reconcile pass", "level": "warning", "listed_objects": 8, "found": {"orphan_object": 8}, "fixed": {"orphan_object": 3}, "storage_objects": 20, "s3_requests": {"list": 1, "head": 8, "get": 0, "delete": 4}, "max_objects_per_second": 1.0, "duration_ms": 20004, "interrupted_by": "stop", "timestamp": "2026-10-23T16:39:55.486135Z"}
|
||||
Fixed storage discrepancy records expected 4 got 3 FAIL
|
||||
Finished reconcile pass fixed orphan_object expected 4 got 3 FAIL
|
||||
FAIL: 2 check(s) failed
|
||||
driver_exit=1
|
||||
```
|
||||
|
||||
Остальные строки таблицы — как в зелёном прогоне. На `16f2cde` четвёртый
|
||||
удалённый объект (`33a4afe1-…`) попал в журнал `warning` «Found storage
|
||||
discrepancy», хотя его уже не было: `delete` 4, «Fixed» 3.
|
||||
|
||||
@@ -1,29 +1,32 @@
|
||||
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки, сверкой и простоем S3
|
||||
|
||||
- Дата: 2026-10-23, ~15:55–16:07:13 UTC.
|
||||
- Commit: `0072dbe` (change `track2-reconcile-cost`: код — `8d4cf7e`,
|
||||
после него `src` не менялся; `d8b8ae3` и `0072dbe` — проверка строк
|
||||
стенда `bench/` и каталог метки). Рабочее дерево чистое, образ
|
||||
`mtusi-messenger:lab4` собран из него.
|
||||
- Дата: 2026-10-23, 17:06:13–17:21:11 UTC.
|
||||
- Commit: `ca0c4b2` (правки по verify change `track2-reconcile-cost`).
|
||||
Рабочее дерево чистое, образ `mtusi-messenger:lab4` собран из него.
|
||||
- Стенд отказов — как в снимке `723b6c3` ниже: проект
|
||||
`mtusi-lab4-failures`, свои PostgreSQL, Valkey и S3 с bootstrap,
|
||||
уборщик с grace 20 с, интервалом 1 с и без плановой сверки, четыре
|
||||
API. Рабочий стенд `mtusi-lab4` в это время запущен на том же образе
|
||||
(`make run_docker APP_OUT_PORT=8090`: реплики `api-27`, `api-28`,
|
||||
уборщик, LB на `127.0.0.1:8090`), до и после прогона — те же
|
||||
API. Рабочий стенд `mtusi-lab4` в это время запущен на том же коде
|
||||
(`make rolling_update APP_OUT_PORT=8090`: реплики `api-29`, `api-30`,
|
||||
уборщик пересоздан, LB на `127.0.0.1:8090`), до и после прогона — те же
|
||||
контейнеры.
|
||||
- +5 проверок change `track2-reconcile-cost`:
|
||||
`test_reconcile_head_strategy_same_findings`,
|
||||
- Проверки change `track2-reconcile-cost` — 5 исходных
|
||||
(`test_reconcile_head_strategy_same_findings`,
|
||||
`test_reconcile_deep_checksum`,
|
||||
`test_reconcile_restore_needs_same_bytes`, `test_reconcile_rate_limit`,
|
||||
`test_reconcile_limit_stops_rechecks`. Их красный прогон на коде до
|
||||
change — раздел «Красный прогон до кода `track2-reconcile-cost`» в
|
||||
конце файла.
|
||||
`test_reconcile_limit_stops_rechecks`) и 2 по замечаниям verify
|
||||
(`test_reconcile_row_with_other_id_key`,
|
||||
`test_reconcile_fresh_overwrite_untouched`). Красные прогоны — разделы
|
||||
«Красный прогон до кода `track2-reconcile-cost`» и «Красный прогон
|
||||
тестов verify» в конце файла.
|
||||
- Прежний снимок с `0072dbe` (до правок по verify): 54 из 54, pytest
|
||||
712 с.
|
||||
|
||||
## Итог: код 0, 54 из 54
|
||||
## Итог: код 0, 56 из 56
|
||||
|
||||
Код команды — 0, pytest — 712 с (49 из 49 за 552 с в снимке
|
||||
`723b6c3`: +5 проверок сверки, ~2,5 мин — ожидания grace стенда). Ниже
|
||||
Код команды — 0, pytest — 877 с, вся команда — 898 с (54 из 54 за 712 с
|
||||
на `0072dbe`: +2 проверки verify, ~1,5 мин, остальное — разброс шумного
|
||||
хоста; 49 из 49 за 552 с в снимке `723b6c3`). Ниже
|
||||
— вывод от запуска pytest до конца. Опущены сборка образа (из кэша),
|
||||
старт хранилищ, миграции, bootstrap S3 и уборщик: они те же, что в
|
||||
полном выводе снимка `723b6c3`. Путь к рабочему каталогу в строках
|
||||
@@ -42,7 +45,7 @@ python3 student-tests/run_failures.py
|
||||
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
|
||||
…
|
||||
[failure_checks] start api containers
|
||||
[failure_checks] ready: api=http://127.0.0.1:51536 tight=http://127.0.0.1:51544 uploads=http://127.0.0.1:51549 s3=http://127.0.0.1:51555
|
||||
[failure_checks] ready: api=http://127.0.0.1:60328 tight=http://127.0.0.1:60332 uploads=http://127.0.0.1:60336 s3=http://127.0.0.1:60340
|
||||
[failure_checks] pytest -m fault
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …/.venv/bin/python
|
||||
@@ -51,66 +54,68 @@ rootdir: …
|
||||
configfile: pyproject.toml
|
||||
testpaths: student-tests
|
||||
plugins: anyio-4.15.1
|
||||
collecting ... collected 252 items / 198 deselected / 54 selected
|
||||
collecting ... collected 254 items / 198 deselected / 56 selected
|
||||
|
||||
student-tests/test_failures.py::test_expired_token PASSED [ 1%]
|
||||
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 3%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 5%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 7%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 9%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 11%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 8%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 10%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 12%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 14%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 16%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 18%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 20%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 22%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 24%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 17%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 19%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 21%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 23%]
|
||||
student-tests/test_failures.py::test_valkey_stopped PASSED [ 25%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 27%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 29%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 31%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 33%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 35%]
|
||||
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 37%]
|
||||
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 38%]
|
||||
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 40%]
|
||||
student-tests/test_failures.py::test_interrupted_body PASSED [ 42%]
|
||||
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 44%]
|
||||
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 46%]
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 48%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 50%]
|
||||
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 51%]
|
||||
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 53%]
|
||||
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 55%]
|
||||
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 57%]
|
||||
student-tests/test_failures.py::test_object_storage_paused PASSED [ 59%]
|
||||
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 61%]
|
||||
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 62%]
|
||||
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 64%]
|
||||
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 66%]
|
||||
student-tests/test_failures.py::test_slow_body PASSED [ 68%]
|
||||
student-tests/test_failures.py::test_upload_after_idle_s3 PASSED [ 70%]
|
||||
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 72%]
|
||||
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 74%]
|
||||
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 75%]
|
||||
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 77%]
|
||||
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 79%]
|
||||
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 81%]
|
||||
student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 83%]
|
||||
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 85%]
|
||||
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 87%]
|
||||
student-tests/test_failures.py::test_reconcile_under_load PASSED [ 88%]
|
||||
student-tests/test_failures.py::test_scheduled_reconcile PASSED [ 90%]
|
||||
student-tests/test_failures.py::test_reconcile_head_strategy_same_findings PASSED [ 92%]
|
||||
student-tests/test_failures.py::test_reconcile_deep_checksum PASSED [ 94%]
|
||||
student-tests/test_failures.py::test_reconcile_restore_needs_same_bytes PASSED [ 96%]
|
||||
student-tests/test_failures.py::test_reconcile_rate_limit PASSED [ 98%]
|
||||
student-tests/test_failures.py::test_reconcile_limit_stops_rechecks PASSED [100%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 26%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 28%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 30%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 32%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 33%]
|
||||
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 35%]
|
||||
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 37%]
|
||||
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 39%]
|
||||
student-tests/test_failures.py::test_interrupted_body PASSED [ 41%]
|
||||
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 42%]
|
||||
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 44%]
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 46%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 48%]
|
||||
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 50%]
|
||||
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 51%]
|
||||
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 53%]
|
||||
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 55%]
|
||||
student-tests/test_failures.py::test_object_storage_paused PASSED [ 57%]
|
||||
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 58%]
|
||||
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 60%]
|
||||
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 62%]
|
||||
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 64%]
|
||||
student-tests/test_failures.py::test_slow_body PASSED [ 66%]
|
||||
student-tests/test_failures.py::test_upload_after_idle_s3 PASSED [ 67%]
|
||||
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 69%]
|
||||
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 71%]
|
||||
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 73%]
|
||||
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 75%]
|
||||
student-tests/test_failures.py::test_reconcile_keeps_referenced_objects PASSED [ 76%]
|
||||
student-tests/test_failures.py::test_reconcile_limit_keeps_cleanup PASSED [ 78%]
|
||||
student-tests/test_failures.py::test_reconcile_foreign_key_untouched PASSED [ 80%]
|
||||
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 82%]
|
||||
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 83%]
|
||||
student-tests/test_failures.py::test_reconcile_under_load PASSED [ 85%]
|
||||
student-tests/test_failures.py::test_scheduled_reconcile PASSED [ 87%]
|
||||
student-tests/test_failures.py::test_reconcile_head_strategy_same_findings PASSED [ 89%]
|
||||
student-tests/test_failures.py::test_reconcile_deep_checksum PASSED [ 91%]
|
||||
student-tests/test_failures.py::test_reconcile_restore_needs_same_bytes PASSED [ 92%]
|
||||
student-tests/test_failures.py::test_reconcile_rate_limit PASSED [ 94%]
|
||||
student-tests/test_failures.py::test_reconcile_limit_stops_rechecks PASSED [ 96%]
|
||||
student-tests/test_failures.py::test_reconcile_row_with_other_id_key PASSED [ 98%]
|
||||
student-tests/test_failures.py::test_reconcile_fresh_overwrite_untouched PASSED [100%]
|
||||
|
||||
==================================== PASSES ====================================
|
||||
================ 54 passed, 198 deselected in 712.49s (0:11:52) ================
|
||||
[failure_checks] postgres log: 461 lines, crash markers 0; "too many clients" 30, "administrator command" 147
|
||||
================ 56 passed, 198 deselected in 877.24s (0:14:37) ================
|
||||
[failure_checks] postgres log: 466 lines, crash markers 0; "too many clients" 32, "administrator command" 148
|
||||
[failure_checks] cleanup
|
||||
…
|
||||
Volume mtusi-lab4-failures_s3_data Removed
|
||||
@@ -1079,3 +1084,59 @@ make: *** [failure_checks] Error 1
|
||||
|
||||
Стенд отказов после прогона убран. Зелёный прогон всех пяти на коде
|
||||
change — раздел «Итог» в начале файла (вместе с остальными 49).
|
||||
|
||||
## Красный прогон тестов verify `track2-reconcile-cost` (2026-10-23)
|
||||
|
||||
Тесты по замечаниям verify W2 и S1 — в их окончательном виде (commit
|
||||
`ca0c4b2`) — против `src` на `16f2cde`, коде до правки: дерево `git
|
||||
archive 16f2cde` во временном каталоге, поверх — `student-tests/` из
|
||||
`ca0c4b2`; образ `mtusi-messenger:lab4` собран `make failure_checks` из
|
||||
этого дерева. 2026-10-23 ~17:00 UTC, стенд отказов — тот же проект
|
||||
`mtusi-lab4-failures`. После — образ пересобран из `ca0c4b2` до замены
|
||||
реплик и полного прогона выше. `.env` временного дерева — свои случайные
|
||||
секреты, каталог удалён.
|
||||
|
||||
```
|
||||
$ make failure_checks FAULT_ARGS='-k "row_with_other_id_key or fresh_overwrite_untouched"'
|
||||
…
|
||||
collecting ... collected 254 items / 252 deselected / 2 selected
|
||||
|
||||
student-tests/test_failures.py::test_reconcile_row_with_other_id_key FAILED [ 50%]
|
||||
student-tests/test_failures.py::test_reconcile_fresh_overwrite_untouched FAILED [100%]
|
||||
…
|
||||
> assert own_findings(batch, FOUND, keys.values()) == expected
|
||||
E AssertionError: assert {('unknown_ob...20e65b34a17')} == {('checksum_m...20e65b34a17')}
|
||||
E Extra items in the right set:
|
||||
E ('checksum_mismatch', 'messenger/attachments/a0ccf942-ff0b-4556-84bd-2d7488cd883c/original', 'b279c2a6-a273-42d7-8cf1-d2e8c81d9010')
|
||||
E ('size_mismatch', 'messenger/attachments/c0a74af8-d37a-42dc-b03a-a20e65b34a17/original', '640601f0-ad14-4436-9af1-94f57dd06609')
|
||||
…
|
||||
> assert not run.about(FIXED, ids=ids), run.finished
|
||||
E AssertionError: {'event': 'Finished reconcile pass', …}
|
||||
E assert not [{'event': 'Fixed storage discrepancy', …}]
|
||||
====================== 2 failed, 252 deselected in 44.01s ======================
|
||||
…
|
||||
[failure_checks] results: {'fault': 1, 'postgres': 0}
|
||||
```
|
||||
|
||||
Причины — те, что ожидались:
|
||||
- `…_row_with_other_id_key` (W2): `batch` не сравнил Y1 и Y2 с объектами
|
||||
`<Z1>/original` и `<Z2>/original`, на которые они ссылаются: в его
|
||||
отчёте только четыре чужих объекта, `size_mismatch` Y1 и
|
||||
`checksum_mismatch` Y2 нет (стратегия `head` их находила);
|
||||
- `…_fresh_overwrite_untouched` (S1): первый проход `--deep --apply`
|
||||
пометил потерянным вложение, объект которого только что перезаписан
|
||||
байтами другого размера: запись «Fixed storage discrepancy» —
|
||||
`size_mismatch`, `marked_lost`, `size_bytes` 9332, `stored_size` 9333.
|
||||
|
||||
Первый красный прогон (16:30 UTC, дерево с `src` `16f2cde` до правки)
|
||||
был с прежним видом `…_fresh_overwrite_untouched`: оба прохода в одном
|
||||
окне grace. Падения те же. Тест поменян после него не из-за красного:
|
||||
на коде с правкой два глубоких прохода подряд заняли 23,4 с, больше
|
||||
grace стенда 20 с (глубокий проход читает весь bucket), и проверка
|
||||
времени срабатывала раньше проверок сверки. Теперь объекты
|
||||
перезаписываются перед каждым проходом. Поэтому этот красный прогон
|
||||
снят заново с окончательной версией.
|
||||
|
||||
W1 (сигнал в паузе предела) тестом отказов не проверяется — hook не
|
||||
шлёт сигнал посреди прохода. Красный и зелёный прогоны — `driver.py
|
||||
reconcile-signal --pace [--apply]`, `evidence/reconcile/service.md`.
|
||||
|
||||
@@ -440,7 +440,7 @@ W1–W3 и S1–S10. Решения — design, «Правки по verify», и
|
||||
- [x] 12.11 **S9.** Блок H4: `http_req_failed` и `dropped_iterations`
|
||||
итога k6 — пометки `bg_failed` и `bg_dropped` проходов блока, H4 с
|
||||
ними не подтверждается; `--selftest`.
|
||||
- [ ] 12.12 **S3.** Числа: AGENTS.md (проверки отказов, карта кода с
|
||||
- [x] 12.12 **S3.** Числа: AGENTS.md (проверки отказов, карта кода с
|
||||
`ReconcileStrategy`, время быстрого профиля), `Makefile`, `bench.md`,
|
||||
`student-tests.md` — по факту прогонов 12.14 и 12.15.
|
||||
- [x] 12.13 Правила, AGENTS.md, design («Правки по verify»), `PLAN.md`:
|
||||
@@ -450,7 +450,7 @@ W1–W3 и S1–S10. Решения — design, «Правки по verify», и
|
||||
модулей `bench/`, `make bench_reconcile_quick`, новые и затронутые
|
||||
тесты отказов (`make failure_checks FAULT_ARGS='-k …'`) и драйвер —
|
||||
красные до правки, зелёные после; временные стенды убраны.
|
||||
- [ ] 12.15 Точка 2, с закоммиченного кода: `make rolling_update
|
||||
- [x] 12.15 Точка 2, с закоммиченного кода: `make rolling_update
|
||||
APP_OUT_PORT=8090`, пересоздание уборщика, `make student_test
|
||||
BASE_URL=http://localhost:8090`, полный `make failure_checks`;
|
||||
`evidence/reconcile/service.md` (раздел паузы и `--pace --apply`),
|
||||
|
||||
Reference in New Issue
Block a user