From a6071dafa0a6877f9faa2d0dbaabec9cf9552c2e Mon Sep 17 00:00:00 2001 From: roman Date: Thu, 22 Oct 2026 20:23:01 +0300 Subject: [PATCH] docs: add track2-reconciler evidence and report Co-Authored-By: Claude Opus 5.5 --- PLAN.md | 2 +- REPORT.md | 241 +++++++++++++++-- evidence/migrations/lost-at.md | 115 ++++++++ evidence/reconcile/cycle.md | 166 ++++++++++++ evidence/reconcile/service.md | 116 +++++++++ evidence/reconcile/stress.md | 75 ++++++ evidence/s3/cleaner-list.md | 154 +++++++++++ evidence/tests/failure-checks.md | 275 ++++++++++++++------ evidence/tests/student-test-lb.md | 90 +++---- evidence/tests/test-isolated-s3-cleanup.md | 30 ++- openspec/changes/track2-reconciler/tasks.md | 47 +++- 11 files changed, 1147 insertions(+), 164 deletions(-) create mode 100644 evidence/migrations/lost-at.md create mode 100644 evidence/reconcile/cycle.md create mode 100644 evidence/reconcile/service.md create mode 100644 evidence/reconcile/stress.md create mode 100644 evidence/s3/cleaner-list.md diff --git a/PLAN.md b/PLAN.md index 4bfe2e1b..edda3440 100644 --- a/PLAN.md +++ b/PLAN.md @@ -231,7 +231,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр | 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` | | 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`. Правки по повторному verify (W1, S1, S2) — код `5889ca2`: уборщик в два шага, объект и строка одной транзакцией под блокировкой, смеси версий не хуже, чем до правки, порядок обновления; evidence 2026-10-21 с него: `evidence/tests/failure-checks.md` (32 из 32 за 228 с), `cleaner-process.md` раздел 7, S2 в `student-test-lb.md` (8 сценариев `storage-consistency`); `REPORT.md` — два шага, «Зачем DELETE объекта под блокировкой», смесь версий; заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-upload-consistency/` | | 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён; **код — `6cab9d3` (места загрузки, срок тела, одна копия тела при PUT, буферы и сроки LB) и `97a4be4` (буфер приёма LB от клиента 128 KiB); метка `evidence/uploads/baseline/` с `97a4be4` (commit `ce1ae2c`, принята с пометкой о swap хоста); evidence 2026-10-22: `evidence/uploads/lb-timeouts.md` и `rollout-upload.md`, `evidence/tests/` (`student_test` 198, `test_isolated` 193 + 5 пропусков); `REPORT.md` — «Память и сроки загрузки», гипотезы H1–H4 и выводы по метке. Правки по verify — код `9d2ee30`: разбор сводки профиля, спеки буфера LB и одной копии тела, срок тела «узкого» API 3 с; evidence с него: `evidence/tests/failure-checks.md` (37 из 37 за 263 с, commit `569a164`); заархивирован 2026-10-22** — `openspec/changes/archive/2026-10-22-upload-memory/` | -| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено | +| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено; **код — `c1648d9` (сверка в процессе уборщика, `make reconcile`, плановая сверка, `lost_at` и 404 потерянного оригинала, список по префиксу у ключа уборщика); evidence 2026-10-22 с него: `evidence/reconcile/cycle.md` (6 классов с обеих сторон, повтор 0, возврат оригинала), `stress.md` (640 / 640 с тем же SHA-256 под `--apply`), `service.md`, `evidence/s3/cleaner-list.md` (70 проверок), `evidence/migrations/lost-at.md`, `evidence/tests/` (`failure_checks` 45 из 45 за 462 с и красный прогон 8 из 8 на `c13df14`, `student_test` 198, `test_isolated` 193 + 5 пропусков); `REPORT.md` — «Сверка хранилищ», строки уровня «5», ограничения, ответ «PUT прошёл, COMMIT нет»; вопрос 1 преподавателю (ответ API на потерянный оригинал) открыт** | | 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` | | 7 | — (отчёт и PR) | 3–5 | сводка `REPORT.md`, чистый clone, шаблон PR, уборка этого файла | PR `ЛР 4 — БВТ2301 — Сафронов — на 5` | diff --git a/REPORT.md b/REPORT.md index 0c4b3ea7..f857634e 100644 --- a/REPORT.md +++ b/REPORT.md @@ -388,9 +388,12 @@ timeout_seconds`) внутри срока шага 6 с, меньше **Права S3 уборщика** — свой пользователь `cleaner`: чтение и удаление объектов своего bucket, без записи, списка и прав на bucket; ключи `S3_CLEANER_*` только у `s3-bootstrap` и `cleaner` (`make s3_check` — 68 -проверок, `evidence/s3/cleaner-key.md`). Чтение сейчас не используется +проверок, `evidence/s3/cleaner-key.md`). Уборка чтение не использует (HEAD перед удалением не нужен: удаление идемпотентно, а промах HEAD — не -основание удалять) и оставлено для глубокой сверки трека 2. +основание удалять). С change `track2-reconciler` уборщику добавлен +список объектов — только с префиксом вложений своей базы — для сверки +bucket и БД (раздел «Сверка хранилищ»; 70 проверок +`evidence/s3/cleaner-list.md`). **Отказы хранилищ в уборщике.** S3 недоступен, не ответил, отказал в доступе или bucket нет — транзакция уборки откатывается, строка остаётся @@ -519,6 +522,156 @@ request_timeout_seconds + s3.timeout_seconds` = 17 с. Ожидание мест `evidence/uploads/rollout-upload.md`, `evidence/tests/student-test-lb.md` (10 одновременных загрузок через LB). +### Сверка хранилищ (трек 2, change `track2-reconciler`) + +Уровень «5», трек 2 «Согласованность двух хранилищ»: повторяемый +reconciler объектов без метаданных и метаданных без объектов — с dry-run, +исправлением и повторным запуском, не трогающий свежее и используемое. +Уборщик идёт только от строк `pending`, поэтому два остаточных риска +`upload-consistency` без сверки не находил никто: объект без строки +(PUT-зомби после уборки) и строку `ready` без объекта (сбой мимо API, +объект удалён вручную). Объект, удалённый мимо API, до change давал 500 +на каждое скачивание. + +**Где работает.** Сверка — часть процесса уборщика, а не реплик API: у +уборщика уже есть свой пул, ключи на чтение и удаление и долгоживущий +процесс. Разовый проход — `make reconcile` (`docker compose run --rm +--no-deps cleaner reconcile [--apply] [--max-changes N]`), по умолчанию +dry-run. Плановая — в сервисе `cleaner` при старте и раз в +`[reconciler] interval_seconds`, с исправлением. Отдельный сервис и +пользователь S3 `reconciler` отвергнуты: второй процесс с доступом к той +же базе и ещё два секрета ради почти пустого разделения прав. + +**Классы расхождений** (`ReconcileFinding`): + +| Класс | Что это | `--apply` | +| --- | --- | --- | +| `orphan_object` | объект `<база>/attachments//original`, строки этого `id` нет и на ключ никто не ссылается | объект удаляется | +| `missing_object` | строка `ready`, объекта по её ключу нет | оригинал помечается потерянным (`lost_at`) | +| `size_mismatch` | строка `ready`, размер объекта ≠ `size_bytes` | помечается потерянным, объект не удаляется | +| `stale_pending` | строка `pending` старше grace (то же, что убирает уборщик) | убирается шагом уборщика (пометка, затем объект и строка под блокировкой) | +| `restored_object` | оригинал помечен, а объект снова есть того же размера | пометка снимается | +| `unknown_object` | ключ под префиксом, которого API не пишет, или `/original`, у строки которого другой ключ | только отчёт и код 3 — не удаляется никогда | + +**Проход** (design, решение 3): (1) S3 → БД — страницы ListObjectsV2 по +префиксу `<база>/attachments/` (`[reconciler] page_size`, 1000), на +страницу одно выражение к БД `id = ANY(:ids) OR object_key = ANY(:keys)` +(Bitmap OR по `pk_attachments` и `uq_attachments_object_key`, 1,5 мс на +1000 ключей; по `id` в 15 раз дешевле, чем по тексту ключа); каждый ключ +— в множество; (2) БД → S3 — keyset строк `ready` по `id` (Index Scan +`pk_attachments`, 0,6 мс на 1000), ключа нет в множестве — «метаданные +без объекта»; (3) зависшие загрузки; (4) перепроверка каждого кандидата +в БД и HEAD — в обоих режимах; (5) предел изменений; (6) с `--apply` — +действия: зависшие → объекты без строки → пометки → снятия пометок, +перед каждым ещё раз своё условие. Слияние двух отсортированных потоков +отвергнуто: порядок списка SeaweedFS — обход каталогов, а не порядок +байтов (проба), на нестандартных ключах оно дало бы ложные расхождения. +Цена множества — память O(N), ~15 МБ на 100 тыс. объектов. + +**Почему два снимка (список и строки) не дают ложных расхождений.** API +пишет строку до PUT: если объект попал в список, строка его загрузки уже +зафиксирована и видна выборке, которая идёт после. Строка `ready` старше +порога стала `ready` до прохода, а её объект записан ещё раньше — список +его видит; неполный ответ списка отсекает HEAD. + +**Безопасность** (решение 4): +- **что удаляется** — только объект без строки и зависшая загрузка; + строки `ready`, используемые вложения (FK `message_attachments`), + объект, на который ссылается строка любого статуса, и чужой ключ — ни + в каком классе; +- **свежее** — grace общий с уборщиком (`[cleaner] pending_grace_seconds`, + 900 с): объект — по `LastModified` S3, строка `ready` — по `updated_at`, + `pending` — по `created_at`; свежее не считается расхождением; +- **перепроверка непосредственно перед действием** — строка в БД (по + `id` и по ключу) и HEAD объекта; не подтвердилось — действие не + выполняется; +- **bucket на месте** — отсутствие объекта подтверждается только после + списка с `MaxKeys=1`: удалённый bucket — `NoSuchBucket`, проход прерван, + а не «потеря всех оригиналов»; +- **предел изменений** — удалений, пометок и снятий больше + `[reconciler] max_changes` (100) — ни одного из них, `error` с числом и + пределом, код 3; больше — аргументом `--max-changes`. Он защищает от + сверки с «чужой» базой (пустой или из старой копии при живом bucket) и + от пустого пересозданного bucket. Абсолютный, а не доля: на маленьком + стенде доля слишком мала, на большом — велика; +- **параллельность** — сверка и уборщик, две сверки разом не мешают друг + другу: зависшие — под той же `FOR UPDATE SKIP LOCKED` и пометкой, + удаление объекта и условный `UPDATE` идемпотентны. + +**Права S3 уборщика.** Политика `cleaner-objects` получила `s3:ListBucket` +с условием `StringLike s3:prefix <база>/attachments/*` (SeaweedFS 4.48 его +соблюдает: весь bucket, `test_/`, `.s3-check/` и HEAD bucket — 403). +Префикс bootstrap берёт из `POSTGRES_DB` (`S3_CLEANER_LIST_PREFIX`, +проверка `^[a-z0-9_]+/attachments/$`), уборщик строит свой из имени базы. +`make s3_check` — 70 проверок, новые строки списка уборщика +(`evidence/s3/cleaner-list.md`). + +**Потерянный оригинал и ответы API** (решение 5). Пометка — колонка +`attachments.lost_at` (ревизия `5c3e1f0a9b7d`, `ADD COLUMN … NULL` под +`SET LOCAL lock_timeout`), `status` и `updated_at` не меняются. Ответы: +скачивание помеченного — **404** `not_found` без обращения к S3 (запись +`info` «Attachment content is lost»), непомеченного без объекта — 500, +как было; метаданные — 200 тем же `Attachment`; ссылка в новом сообщении +— 201; после снятия пометки — снова 200 с байтами. Статус `lost` / +`failed` отвергнут: контракт лабы 4 знает только `ready`, и прежние +реплики упали бы на неизвестном значении при `make rolling_update`. +**Это вопрос преподавателю** (`PLAN.md`, `### track2-reconciler`, +«Вопросы», п. 1): в контракте рядом «Отсутствующий вариант ready-объекта +— 404», «404 — объекта нет» и «Неожиданное исключение — 500». Сделан +вариант по умолчанию; ответ «иначе» меняет одну ветку `open_content`, +сценарий и тесты, но не сверку. + +**Плановая сверка и параметры** (`[reconciler]`, решения 9–10): + +| Параметр | По умолчанию | Почему | +| --- | --- | --- | +| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,5–0,8 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её | +| `page_size` | 1000 (1–1000) | больше S3 за страницу не отдаёт; одно выражение к БД на страницу | +| `max_changes` | 100 | см. «Безопасность»; разовый проход принимает больший аргументом | + +Своего grace у сверки нет — одна ручка «свежести» на всю +согласованность, со своей проверкой границы живой загрузки. Пока идёт +проход сверки, уборка зависших ждёт его конца. На стенде отказов +плановая сверка выключена (её запускают тесты), в `bench/` — тоже. + +**Журнал и коды.** Находка, которая осталась, — `warning` «Found storage +discrepancy» (класс, ключ, `id`, возраст, размеры, если разные), +исправленная — `info` «Fixed storage discrepancy» с действием, итог — +«Finished reconcile pass» (просмотрено, найдено и исправлено по классам, +свежие, уже помеченные, длительность, причина прерывания), предел — +`error`; отдельных записей не больше 1000 за проход. Коды разового +прохода: 0 — расхождений нет, 3 — остались (чужие или отказ по пределу), +1 — прерван отказом S3 / PostgreSQL / сигналом, 2 — конфигурация. SIGTERM +во время сверки: текущий вызов доводится (≤ 5 с), новых страниц и +действий нет, сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`). + +**Порядок обновления** (решение 6): `docker compose up -d s3-bootstrap` +(политика со списком) → `make rolling_update` (миграция, затем реплики) → +`docker compose up -d --no-deps cleaner`. Смеси не хуже, чем до change: +прежние реплики колонку не читают (у помеченного без объекта — 500, как +раньше); новый уборщик на прежней политике получает `AccessDenied` на +списке — проход сверки прерван, уборка работает. Откат — сначала +уборщик, потом реплики; колонка и пометки остаются и прежнему коду не +мешают. + +**На время восстановления базы уборщик останавливают** (`docker compose +stop cleaner`): база из старой копии или пустая при живом bucket сделала +бы объекты новых вложений «объектами без метаданных», и сверка удалила +бы их в пределах `max_changes`. После восстановления — сначала `make +reconcile` (dry-run), потом `docker compose start cleaner`. + +**Доказательства:** `evidence/reconcile/cycle.md` (рабочий стенд: все +шесть классов с обеих сторон, dry-run без изменений, 500 → `--apply` → +404 / 200, повтор, чужой объект, свежий объект после grace, возврат +оригинала), `evidence/reconcile/stress.md` (`--apply` раз в ~3 с под 640 +загрузками и отправками: внесённое исправлено, все 640 скачиваются с тем +же SHA-256, повтор — 0), `evidence/reconcile/service.md`, +`evidence/tests/failure-checks.md` (восемь проверок отказов сверки и их +красный прогон на `c13df14`), `evidence/s3/cleaner-list.md`, +`evidence/migrations/lost-at.md`. Стоимость обхода, стратегия «HEAD на +строку», глубокая сверка SHA-256 и ограничение скорости — следующий +change `track2-reconcile-cost`. + ### Согласования с преподавателем | Дата | Договорённость | Где учтено | @@ -567,11 +720,17 @@ request_timeout_seconds + s3.timeout_seconds` = 17 с. Ожидание мест строку `mark_ready` не переводит в `ready`, поэтому загрузка, пережившая grace, получает 503 (`test_upload_outlives_grace`), и даже сбой уборки после удаления объекта не даёт `ready` без объекта - (`test_cleaner_failure_after_object_delete`). Остаток риска назван в - «Ограничениях»: процесс API заморожен дольше grace посреди самого - PUT, уборщик убрал строку, а S3 принял тело после разморозки и - удалить его API не смог — объект без строки, его находит только сверка - bucket и БД (трек 2); и окно `make rolling_update`. + (`test_cleaner_failure_after_object_delete`). Остаётся случай, когда + процесс API заморожен дольше grace посреди самого PUT, уборщик убрал + строку, а S3 принял тело после разморозки и удалить его API не смог — + объект без строки. Его находит и удаляет сверка bucket и БД (change + `track2-reconciler`): плановая сверка уборщика при старте и раз в час + удаляет объект без строки старше grace, то есть такой зомби живёт не + дольше grace + интервал (~75 мин) — `evidence/reconcile/cycle.md` + (объекты O и B), `test_reconcile_finds_and_fixes`. Строку `ready` без + объекта, если она всё же появится (окно `make rolling_update` со + старыми репликами, удаление мимо API), сверка помечает потерянной: + скачивание — 404, а не 500. - **Почему случайный object key и приватный bucket не заменяют ACL приложения?** Приватный bucket закрывает прямой доступ к S3, но скачивает через API любой аутентифицированный пользователь: кто @@ -615,9 +774,13 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и `make student_test` через LB (`evidence/tests/`), поэтому строка тестов рубрики называет `ce1ae2c`. После правок по verify (`9d2ee30`: срок тела «узкого» API стенда отказов 3 с вместо 2 с, код приложения прежний) -переснято `make failure_checks` (37 / 37, -`evidence/tests/failure-checks.md`) — строки отказов S3, мест загрузки и -срока тела называют `9d2ee30`. +переснято `make failure_checks` (37 / 37). Строки сверки хранилищ (change +`track2-reconciler`, трек 2) — с `c1648d9` на рабочем стенде после +порядка обновления change (`evidence/reconcile/`, `evidence/s3/cleaner- +list.md`, `evidence/migrations/lost-at.md`); с того же commit переснято +`make failure_checks` (45 / 45), `make student_test` через LB и `make +test_isolated` (`evidence/tests/`), поэтому строки отказов S3, мест +загрузки, срока тела и тестов рубрики называют `c1648d9`. | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | @@ -628,8 +791,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и | «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` | | «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` | | «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` | -| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | -| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`9d2ee30`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | +| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 240 сценариев 13 спеков, 223 тестами (58 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | +| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 45 / 45, код 0 (`c1648d9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` | | «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` | | «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` | | «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` | @@ -651,12 +814,15 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и | «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` | | Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` | | «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` | -| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `9d2ee30`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | -| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `9d2ee30`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | +| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `c1648d9`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` | +| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `c1648d9`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` | | «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` | | «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` | | «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` | +| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте и `make reconcile` — 2 086 объектов и строк, `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` | +| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` | +| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. @@ -684,6 +850,9 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн | `docker kill` реплики между PUT и фиксацией (перевод в `ready` задержан на 4 с) | 201 до клиента не доходит, после grace — ни строки, ни объекта | клиент — ошибка соединения; до grace строка `pending` и объект есть; после `start-api` и grace — убраны | — ; объектов без строки 0 | | S3 и PostgreSQL остановлены, пока уборщику есть что убирать | строка остаётся, уборщик не падает и доводит уборку после возврата | после G + 3I при остановленном S3 строка на месте; после `start` S3 — убрана за ≤ I + 5 с, без перезапуска уборщика; готовое вложение цело | ≤ 6 с после возврата S3 | | `docker compose stop cleaner` во время работы и на старте | выход до SIGKILL, код 0 | 0,57 с, код 0, «Stopped cleaner»; через 0,05–1 с после `up` — «Stopped cleaner before startup», 0,2 с; сразу после `up` (окно запуска интерпретатора) — SIGKILL через 10 с (137) | — | +| Объект мимо API, удалённый объект, удалённая строка, изменённый размер, обрыв COMMIT, чужой ключ (рабочий стенд, `reconcile-cycle`) | dry-run находит всё и ничего не меняет, `--apply` исправляет безопасное, повтор — 0 | 6 находок, снимки до и после dry-run равны; `--apply` — 5 исправлений, чужой ключ остался (код 3); после его удаления и grace — код 0 | объект без строки живёт ≤ grace + интервал сверки; байты помеченного — 404, а не 500 | +| `--apply` раз в ~3 с под 4 × 40 с загрузок и отправок (`reconcile-stress`) | внесённое исправлено, подтверждённое цело | 640 / 640 загрузок скачиваются с тем же SHA-256, новых пометок — только 2 внесённые | потерь нет | +| `docker compose stop cleaner`, пока сверка ждёт замороженный S3 | выход до SIGKILL, код 0, итог «остановка» | 4,7 с, код 0, «Finished reconcile pass» с `interrupted_by: stop` | следующий старт — сверка до конца, расхождений нет | ### Одновременные загрузки: гипотезы (change `upload-memory`) @@ -883,8 +1052,9 @@ S3 (change `s3-storage`): компенсации нет — объект остаётся без строки. То же, если PUT прошёл после уборки, `mark_ready` вернул 0 строк, а удаление при компенсации не удалось (`warning` «Attachment object kept for cleaner»). Вероятность - мала (запас ×50, заморозка посреди PUT), такой объект находит только - сверка bucket и БД (трек 2). `ready` без объекта при этом не возникает: + мала (запас ×50, заморозка посреди PUT); с change `track2-reconciler` + такой объект удаляет плановая сверка не позже grace + интервал сверки + (~75 мин). `ready` без объекта при этом не возникает: уборщик помечает строку до удаления объекта, а помеченную `mark_ready` в `ready` не переводит. - **Смесь версий уборщика и реплик.** Реплики до `87c48b9` (`f2dc0b3` @@ -976,3 +1146,40 @@ S3 (change `s3-storage`): - **`make env_setup` дописывает только отсутствующие переменные**: пустое или устаревшее значение уже существующей строки он не меняет — его правят руками. + +Сверка хранилищ (change `track2-reconciler`): +- **Источник истины — PostgreSQL.** База из старой копии или пустая при + живом bucket сделает объекты новых вложений «объектами без + метаданных», и сверка удалит их в пределах `max_changes` (100). По + истине БД это верно, но восстановление базы «в живую» при работающем + уборщике опасно: поэтому на время восстановления уборщик + останавливают, а после — сначала `make reconcile` (dry-run). +- **Чужой объект живёт, пока его не удалит оператор**: код 3 и `warning` + на каждом проходе плановой сверки. Удалять непонятное опаснее (в лабе 5 + под префиксом появятся варианты). +- **Повреждение того же размера не видно**: сверка поверхностная — + наличие и размер из LIST. Скачивание сверяет тоже только размер. + SHA-256 — глубокая сверка change `track2-reconcile-cost`. +- **Память O(N) на ключи списка** (~15 МБ на 100 тыс. объектов при лимите + уборщика 256 МБ) и **уборка зависших ждёт конца прохода сверки** (на + рабочем стенде — меньше секунды, на 100 тыс. — порядка минуты). Замер — + следующий change. +- **Пометка по ложному «нет объекта»** при неполном списке отсечена HEAD и + проверкой bucket; остаётся bucket, пересозданный пустым между + проверкой и `UPDATE` — тогда пометка верна и снимается сама, когда + объект вернётся. +- **Две сверки разом** (плановая и разовая) — действия идемпотентны, + отчёты могут разойтись в числах `fixed`; блокировки нет. +- **Часы**: `LastModified` — часы ВМ, порог — часы контейнера уборщика + (одни часы), точность `LastModified` — секунда; `updated_at` строк + консольного API на macOS расходится на секунды — меньше grace. +- **Ответ API на потерянный оригинал — трактовка контракта**, вопрос + преподавателю открыт (раздел «Сверка хранилищ»). +- **Старый образ уборщика после `make rolling_update`** — сверки нет, как + до change; новый — `docker compose up -d --no-deps cleaner` (порядок + обновления). +- **Синтетика прогонов драйвера** (`reconcile-cycle`, `reconcile-stress`) + остаётся в рабочей базе и bucket: согласованные вложения и одно + помеченное потерянным за прогон цикла (его байты — 404). +- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин): + объекты нельзя состарить, тесты ждут grace стенда (20 с). diff --git a/evidence/migrations/lost-at.md b/evidence/migrations/lost-at.md new file mode 100644 index 00000000..8d7f5d45 --- /dev/null +++ b/evidence/migrations/lost-at.md @@ -0,0 +1,115 @@ +# Ревизия `5c3e1f0a9b7d`: `attachments.lost_at` + +Change `track2-reconciler` (design, решение 6; `migrations.md`). Commit +`c1648d9`, 2026-10-22. + +## Временная база: с нуля, повтор, откат, снова `upgrade`, `--sql` + +`createdb rc_lost_at_evidence` в контейнере `postgres` рабочего стенда, +`DATABASE__NAME=rc_lost_at_evidence uv run alembic …` с хоста (16:34 UTC), +затем `dropdb`. Из журнала alembic — только поле `event`. + +``` +== alembic upgrade head (empty database) +"Running alembic" +"Context impl PostgresqlImpl." +"Will assume transactional DDL." +"Running upgrade -> 16c279725564, added messenger tables" +"Running upgrade 16c279725564 -> 42bc3b9be38f, added sessions and password hashes" +"Running upgrade 42bc3b9be38f -> 7652184b7016, added idempotency keys" +"Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id" +"Running upgrade e656d6bbe1a4 -> ef25d50b01a8, added attachments tables" +"Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index" +"Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at" +"Finished alembic" +== alembic upgrade head (repeat) +"Running alembic" +"Context impl PostgresqlImpl." +"Will assume transactional DDL." +"Finished alembic" +== alembic downgrade -1 +"Running alembic" +"Context impl PostgresqlImpl." +"Will assume transactional DDL." +"Running downgrade 5c3e1f0a9b7d -> 739b8f04d5fb, added attachments lost_at" +"Finished alembic" +== alembic upgrade head +"Running alembic" +"Context impl PostgresqlImpl." +"Will assume transactional DDL." +"Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at" +"Finished alembic" +== \d attachments (lost_at) + Table "public.attachments" + Column | Type | Collation | Nullable | Default +--------------+--------------------------+-----------+----------+--------- + id | uuid | | not null | + lost_at | timestamp with time zone | | | +== select version_num from alembic_version +5c3e1f0a9b7d +== alembic upgrade 739b8f04d5fb:head --sql +BEGIN; +SET LOCAL lock_timeout = '2s'; +ALTER TABLE attachments ADD COLUMN lost_at TIMESTAMP WITH TIME ZONE; +UPDATE alembic_version SET version_num='5c3e1f0a9b7d' WHERE alembic_version.version_num = '739b8f04d5fb'; +COMMIT; +== dropped rc_lost_at_evidence +``` + +`SET LOCAL lock_timeout` — первой строкой в той же транзакции, что `ALTER +TABLE … ADD COLUMN` (`ACCESS EXCLUSIVE`, но только каталог: колонка `NULL` +без значения по умолчанию). Повтор — без изменений, откат и возврат +проходят. + +## Рабочий стенд: `make rolling_update` (12.1, шаг 2 порядка решения 6) + +До: ревизия `739b8f04d5fb`, реплики `mtusi-lab4-api-19`, `-20` на прежнем +образе (`sha256:ea4fa506…`). Политика S3 уборщика уже обновлена (шаг 1, +`evidence/s3/cleaner-list.md`). + +``` +$ make rolling_update APP_OUT_PORT=8090 +API_REPLICAS=2 ROLLOUT_COMMIT="" ROLLOUT_MIGRATE=1 scripts/rolling-update.sh +16:33:33 rolling-update: start: 2 replicas 3b96c600b25a f6915f9b80dc, image mtusi-messenger:lab4 from working tree +16:33:34 rolling-update: build done in 1s + Container mtusi-lab4-migrate-1 Recreate +migrate-1 | {"event": "Running alembic", … "database": "messenger", …} +migrate-1 | {"event": "Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at", … "timestamp": "2026-10-22T16:33:36.215696Z"} +migrate-1 | {"event": "Finished alembic", … "timestamp": "2026-10-22T16:33:36.224792Z"} +migrate-1 exited with code 0 +16:33:36 rolling-update: migrate done in 2s +16:33:37 rolling-update: replica 1/2: started new 151df4af59c3 +16:33:39 rolling-update: replica 1/2: new 151df4af59c3 addr 192.168.0.5 slot api-2 UP in 3s +16:33:39 rolling-update: replica 1/2: drain old 3b96c600b25a addr 192.168.0.9 slot api-3 +16:33:39 rolling-update: replica 1/2: old 3b96c600b25a idle after 0s +16:33:39 rolling-update: replica 1/2: maint slot api-3, stopping old 3b96c600b25a +16:33:40 rolling-update: replica 1/2: removed old 3b96c600b25a (stop 1s, exit 0) +16:33:41 rolling-update: replica 1/2: slot api-3 ready +16:33:41 rolling-update: replica 2/2: started new b5c48ae854d1 +16:33:44 rolling-update: replica 2/2: new b5c48ae854d1 addr 192.168.0.9 slot api-3 UP in 3s +16:33:44 rolling-update: replica 2/2: drain old f6915f9b80dc addr 192.168.0.6 slot api-1 +16:33:44 rolling-update: replica 2/2: old f6915f9b80dc idle after 0s +16:33:44 rolling-update: replica 2/2: maint slot api-1, stopping old f6915f9b80dc +16:33:45 rolling-update: replica 2/2: removed old f6915f9b80dc (stop 1s, exit 0) +16:33:45 rolling-update: replica 2/2: slot api-1 ready +16:33:45 rolling-update: done: 2 replicas 151df4af59c3 b5c48ae854d1 UP in 12s +exit=0 +``` + +(строки сборки BuildKit опущены). После: + +``` +$ psql … -c 'select version_num from alembic_version' -c '\d attachments' +5c3e1f0a9b7d +lost_at|timestamp with time zone||| +$ docker compose ps +mtusi-lab4-api-21 mtusi-messenger:lab4 Up 15 seconds (healthy) +mtusi-lab4-api-22 mtusi-messenger:lab4 Up 10 seconds (healthy) +mtusi-lab4-cleaner-1 sha256:c872b13f… Up 10 hours (прежний образ до шага 3) +``` + +Шаг 3 — `docker compose up -d --no-deps cleaner` (16:33:57): уборщик +пересоздан на новом образе, плановая сверка при старте — `listed_objects +2086, checked_rows 2086, found {}`, 492 мс (`evidence/reconcile/service.md`). +Замена под нагрузкой с этой ревизией — `make bench_rollout_quick` (регресс +12.7). diff --git a/evidence/reconcile/cycle.md b/evidence/reconcile/cycle.md new file mode 100644 index 00000000..6502d19b --- /dev/null +++ b/evidence/reconcile/cycle.md @@ -0,0 +1,166 @@ +# Сверка bucket и БД на рабочем стенде: `driver.py reconcile-cycle` + +Change `track2-reconciler` (design, решение 12; спеки `storage-consistency` +«Сверка bucket и БД», «Безопасность сверки», «Потерянный оригинал» и +`attachments` «Потерянный оригинал»). Рабочий стенд `mtusi-lab4` через LB +`127.0.0.1:8090` (порт 8080 хоста занят чужим контейнером), commit +`c1648d9`, 2026-10-22 16:38:15–16:39:58 UTC, после порядка обновления +change (`evidence/migrations/lost-at.md`). Токенов, паролей и ключей S3 в +выводе нет; пользователи и вложения синтетические. + +``` +$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 reconcile-cycle +``` + +Что делает прогон (разовая сверка — `docker compose run --rm --no-deps -T +[-e CLEANER__PENDING_GRACE_SECONDS=30] cleaner reconcile [--apply]`): + +1. исходный dry-run с grace по умолчанию (900 с) — стенд сведён; +2. синтетические Алиса, Боб и чат; вложения A (в сообщении), B, C; +3. расхождения с обеих сторон: O — объект без строки (стандартный ключ, + `docker exec` реплики, botocore образа её ключами), X — чужой ключ + `…/attachments/x-` (так же), объект A удалён (`weed shell + fs.rm`), строка B удалена и размер C изменён (psql), P — триггер, + который роняет COMMIT перевода в `ready` уникального `filename`: 503, + строка `pending` и объект; +4. после grace прогона (30 с) — dry-run и снимки строк (статус и размер), + объектов (`fs.tree`) и пометок `lost_at` до и после; +5. байты A через API до сверки; +6. свежий объект F без строки и сразу `--apply`; +7. повтор, удаление X оператором, повтор; F после grace; +8. возврат оригинала A теми же байтами, `--apply`, итоговый dry-run. + +## Вывод + +``` +initial dry-run (default grace): exit 0 + total: listed_objects=2224, checked_rows=2224, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=597 +keys of the run: + A: messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original + B: messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original + C: messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original + O: messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original + P: messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original + X: messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 +waiting 31 s for grace 30 s +dry-run (grace 30 s): exit 3 + warning orphan_object - messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original id 8de8389b-d20f-464d-b954-ca6877d6d47e age 39 s + warning size_mismatch - messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original id ad586ca1-533e-4fb2-a703-548150d4a3b3 age 40 s size 111818 stored 111817 + warning orphan_object - messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original id eb85912c-585e-4952-9edf-d76f4544dd1f age 40 s + warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 39 s + warning missing_object - messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 40 s + warning stale_pending - messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original id da479807-72fc-4c77-b8e3-15c6e99007fd age 38 s + total: listed_objects=2229, checked_rows=2226, found={'orphan_object': 2, 'size_mismatch': 1, 'unknown_object': 1, 'missing_object': 1, 'stale_pending': 1}, fixed={}, remaining=6, fresh_objects=0, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=695 +apply (grace 30 s): exit 3 + warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 48 s + info stale_pending removed_pending messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original id da479807-72fc-4c77-b8e3-15c6e99007fd age 46 s + info orphan_object deleted_object messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original id 8de8389b-d20f-464d-b954-ca6877d6d47e age 48 s + info orphan_object deleted_object messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original id eb85912c-585e-4952-9edf-d76f4544dd1f age 49 s + info missing_object marked_lost messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 48 s + info size_mismatch marked_lost messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original id ad586ca1-533e-4fb2-a703-548150d4a3b3 age 48 s size 111818 stored 111817 + total: listed_objects=2230, checked_rows=2226, found={'orphan_object': 2, 'size_mismatch': 1, 'unknown_object': 1, 'missing_object': 1, 'stale_pending': 1}, fixed={'stale_pending': 1, 'orphan_object': 2, 'missing_object': 1, 'size_mismatch': 1}, remaining=1, fresh_objects=1, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=732 +repeat dry-run: exit 3 + warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 56 s + total: listed_objects=2227, checked_rows=2226, found={'unknown_object': 1}, fixed={}, remaining=1, fresh_objects=1, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=522 +operator removed X (weed shell fs.rm) +dry-run after X is removed: exit 0 + total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=1, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=688 +waiting 10 s until F is older than grace +apply after F aged: exit 0 + info orphan_object deleted_object messenger/attachments/e7d7c326-7006-40f6-ad8c-b8e80326c453/original id e7d7c326-7006-40f6-ad8c-b8e80326c453 age 37 s + total: listed_objects=2226, checked_rows=2226, found={'orphan_object': 1}, fixed={'orphan_object': 1}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=604 +apply after A is back: exit 0 + info restored_object cleared_lost messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 87 s + total: listed_objects=2226, checked_rows=2226, found={'restored_object': 1}, fixed={'restored_object': 1}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=611 +final dry-run: exit 0 + total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=695 +upload A expected 201 got 201 +upload B expected 201 got 201 +upload C expected 201 got 201 +message with A expected 201 got 201 +put O without a row expected 0 got 0 +put X (unknown key) expected 0 got 0 +upload P with COMMIT failure expected 503 got 503 +pending rows of P expected 1 got 1 +dry-run exit code expected 3 got 3 +dry-run finds O expected orphan_object got orphan_object +dry-run finds B expected orphan_object got orphan_object +dry-run finds A expected missing_object got missing_object +dry-run finds C expected size_mismatch got size_mismatch +dry-run finds P expected stale_pending got stale_pending +dry-run finds X expected unknown_object got unknown_object +dry-run changes rows, objects, marks expected no got no +A content before apply expected 500 got 500 +put fresh F expected 0 got 0 +apply exit code (X left) expected 3 got 3 +apply fixes O expected deleted_object got deleted_object +apply fixes B expected deleted_object got deleted_object +apply fixes A expected marked_lost got marked_lost +apply fixes C expected marked_lost got marked_lost +apply fixes P expected removed_pending got removed_pending +apply touches F (fresh) expected - got - +A and C marked lost expected yes got yes +P row and object expected absent got absent +object O expected absent got absent +object B expected absent got absent +fresh F kept expected present got present +A content after apply expected 404 got 404 +A metadata after apply expected 200 got 200 +A metadata = upload response expected yes got yes +history keeps A in the message expected yes got yes +repeat finds only X expected X got X +repeat exit code expected 3 got 3 +exit code after X is removed expected 0 got 0 +F removed after grace expected orphan_object got orphan_object +apply exit code (F) expected 0 got 0 +put A original back expected 0 got 0 +A restored expected restored_object got restored_object +A content after restore expected 200 got 200 +A sha256 = uploaded expected yes got yes +final dry-run exit code expected 0 got 0 +driver trigger left expected 0 got 0 +PASS: reconcile found and fixed the discrepancies, repeat found 0 +python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 2,43s user 1,33s system 3% cpu 1:43,49 total +exit=0 +``` + +(Таблица драйвера печатает записи прохода сгруппированными: сначала +«Found», затем «Fixed»; в журнале уборщика порядок — действия по решению +7, затем оставшиеся.) + +## Журнал реплик API о байтах A + +`docker compose logs --no-log-prefix --since 2026-10-22T16:38:00Z api`, +записи `attachment_service` (поля сокращены): + +``` +2026-10-22T16:39:05.076742Z error Attachment content is missing b5c48ae854d1 ab2aac83-f080-45b5-9aee-39dad6c7dd1a messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original +2026-10-22T16:39:13.480470Z info Attachment content is lost 151df4af59c3 ab2aac83-f080-45b5-9aee-39dad6c7dd1a messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original +``` + +До пометки — `error` и 500 (непредвиденное расхождение), после — `info` и +404 без обращения к S3 (спек `service-logging`, «Журнал сверки»). + +## Что видно + +- **Обе стороны и все шесть классов:** объект без строки (O, B), строка + `ready` без объекта (A), другой размер (C, `size 111818 stored 111817`), + зависшая загрузка (P), чужой ключ (X), затем «оригинал вернулся» (A). +- **Dry-run ничего не меняет:** снимки строк, объектов и пометок до и + после совпали, код 3. +- **`--apply`:** O, B удалены, P убрана шагом уборщика (ни строки, ни + объекта), A и C помечены, их метаданные на месте; свежий F (моложе 30 + с) не тронут — `fresh_objects=1`; чужой X остался, код 3. +- **Ответы API:** байты A до сверки — 500, после — 404, метаданные — 200 + и равны ответу загрузки, история отдаёт `id` A в сообщении; после + возврата оригинала — 200 с тем же SHA-256. +- **Повтор:** исправимых 0, остался только X; после его удаления + оператором — код 0; F удалён, когда стал старше grace; итоговый + dry-run — код 0, `found={}`. Триггер драйвера снят. +- **Что осталось в рабочей базе:** синтетические пользователи, чат и + вложения прогона; C помечено потерянным (`lost_known=1`: размер в строке + изменён прогоном), его байты — 404, метаданные — 200. Объектов мимо + API (O, X, F) не осталось. +- Повторный прогон того же кода на временном полном стенде apply — код 0, + исходный dry-run остатков прошлого не нашёл (`found={}`, + `lost_known=1`; design, «Уточнения apply», п. 18, задача 10.1). diff --git a/evidence/reconcile/service.md b/evidence/reconcile/service.md new file mode 100644 index 00000000..e71af3ea --- /dev/null +++ b/evidence/reconcile/service.md @@ -0,0 +1,116 @@ +# Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды + +Change `track2-reconciler` (design, решения 1, 8–10; спеки +`storage-consistency` «Плановая сверка», `service-configuration` +«Параметры сверки», `service-logging` «Журнал сверки», `graceful-shutdown` +«Остановка уборщика»). Рабочий стенд `mtusi-lab4`, commit `c1648d9`, +2026-10-22. Записи — JSON уборщика; поля места вызова (`filename`, +`lineno`, `func_name`) местами убраны, секретов в записях нет. + +## Старт с параметрами сверки и плановая сверка при старте + +Шаг 3 порядка обновления — `docker compose up -d --no-deps cleaner` +(16:33:57 UTC, уборщик пересоздан на новом образе), `docker compose logs +--no-log-prefix cleaner`: + +``` +{"event": "Started cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "mode": "service", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": null, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-22T16:34:04.521922Z"} +{"event": "Finished reconcile pass", "instance_id": "b2d0faa20dba", "module": "attachment_reconcile_service", "method": "reconcile", "apply": true, "listed_objects": 2086, "checked_rows": 2086, "found": {}, "fixed": {}, "remaining": 0, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 0, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 492, "level": "info", "timestamp": "2026-10-22T16:34:05.114212Z"} +``` + +- секции `[reconciler]` в `config.toml` рабочего стенда нет и переменных + `RECONCILER__*` нет: значения по умолчанию — интервал 3600 с, страница + 1000, предел 100 (сценарий «Параметры сверки по умолчанию»); +- первая плановая сверка — при старте, с исправлением (`apply: true`): + 2 086 объектов и строк, расхождений нет, 492 мс; следующая — через + 3600 с. Стенд перед change был сведён (design, Context), находок не + ожидалось. + +## Остановка во время сверки, пока вызов S3 ждёт ответа + +Сервис остановлен, S3 заморожен, тот же контейнер запущен снова; через +секунду после «Started cleaner» — `docker compose stop cleaner`: + +``` +== stop the service, pause s3, start the same container +16:42:46 + Container mtusi-lab4-cleaner-1 Stopped + Container mtusi-lab4-s3-1 Paused +== docker compose stop cleaner while reconcile waits for S3 +16:42:55.080 + Container mtusi-lab4-cleaner-1 Stopped +stop took 4.7 s +exit code 0, finished 2026-10-22T16:42:59.614528006Z + Container mtusi-lab4-s3-1 Unpaused +== cleaner log of this start +{"event": "Stopped cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-22T16:42:46.533057Z"} +{"event": "Started cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "mode": "service", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": null, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-22T16:42:53.625598Z"} +{"event": "Object storage is unavailable", "instance_id": "b2d0faa20dba", "module": "object_storage", "operation": "list_objects_v2", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/", "duration_ms": 5005, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-22T16:42:58.728456Z"} +{"event": "Finished reconcile pass", "instance_id": "b2d0faa20dba", "module": "attachment_reconcile_service", "method": "reconcile", "apply": true, "listed_objects": 0, "checked_rows": 0, "found": {}, "fixed": {}, "remaining": 0, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 0, "refused": false, "unlogged": 0, "interrupted_by": "stop", "duration_ms": 5006, "level": "warning"} +{"event": "Stopped cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-22T16:42:58.732278Z"} +== start again +{"event": "Started cleaner", … "timestamp": "2026-10-22T16:43:04.873617Z"} +{"event": "Finished reconcile pass", … "apply": true, "listed_objects": 2866, "checked_rows": 2868, "found": {}, "fixed": {}, "remaining": 0, … "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 620, "level": "info", "timestamp": "2026-10-22T16:43:05.669960Z"} +``` + +- первая страница списка ждала замороженный S3; SIGTERM пришёл в 16:42:55, + текущий вызов доведён до своего срока (5 с, `TimeoutError`), новых + страниц и действий не было; итог — `interrupted_by: "stop"`, затем + «Stopped cleaner», код 0; +- `docker compose stop cleaner` — 4,7 с, меньше `stop_grace_period` 10 с, + без SIGKILL (сценарий `graceful-shutdown` «docker stop во время + сверки»); +- после `unpause` и нового старта плановая сверка при старте прошла до + конца без расхождений — прерванный проход ничего не оставил. + +Пока S3 был заморожен (~13 с), загрузки и скачивания вложений стенда +отвечали 503 — на стенде в это время запросов не было. + +## Отказ старта на неверных параметрах сверки + +``` +== RECONCILER__PAGE_SIZE=5000 +{"event": "Invalid cleaner settings", "instance_id": "1e1f521efc1c", "module": "cleaner", "errors": [{"loc": "reconciler.page_size", "msg": "Input should be less than or equal to 1000"}], "level": "error", "timestamp": "2026-10-22T16:43:18.776215Z"} +exit=2 +== RECONCILER__MAX_CHANGES=0 reconcile +{"event": "Invalid cleaner settings", "instance_id": "ff5187209505", "module": "cleaner", "errors": [{"loc": "reconciler.max_changes", "msg": "Input should be greater than or equal to 1"}], "level": "error", "timestamp": "2026-10-22T16:43:21.888941Z"} +exit=2 +== RECONCILER__INTERVAL_SECONDS=-1 +{"event": "Invalid cleaner settings", "instance_id": "0d31ad7e1041", "module": "cleaner", "errors": [{"loc": "reconciler.interval_seconds", "msg": "Input should be greater than or equal to 0"}], "level": "error", "timestamp": "2026-10-22T16:43:24.952389Z"} +exit=2 +== reconcile --max-changes 0 +usage: python -m src.cleaner reconcile [-h] [--apply] + [--max-changes MAX_CHANGES] +python -m src.cleaner reconcile: error: argument --max-changes: must be at least 1 +exit=2 +``` + +Команды — `docker compose run --rm --no-deps -T -e <переменная> cleaner +[reconcile]`: уборщик не стартует, запись называет поле без значения, код +2 (сценарий «Неверный параметр сверки»). + +## Коды разового прохода: 3 и 0 + +Чужой объект под префиксом вложений (ключ `…/attachments/x-service-`, +записан `docker exec` реплики её ключами), через 32 с — dry-run с grace +30 с, затем объект удалён оператором (`weed shell fs.rm`) и `make +reconcile`: + +``` +put foreign object messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49 +== make reconcile (grace 30 s), foreign object older than grace +{"event": "Started cleaner", "module": "cleaner", "mode": "reconcile", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info"} +{"event": "Found storage discrepancy", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "kind": "unknown_object", "object_key": "messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49", "attachment_id": null, "age_seconds": 39, "level": "warning"} +{"event": "Finished reconcile pass", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "listed_objects": 2867, "checked_rows": 2868, "found": {"unknown_object": 1}, "fixed": {}, "remaining": 1, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 813, "level": "warning"} +{"event": "Stopped cleaner", "module": "cleaner", "exit_code": 3, "level": "info"} +exit=3 +removed messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49 +== make reconcile +Finished reconcile pass {} 0 +Stopped cleaner 0 +exit=0 +``` + +Код 3 — расхождение осталось (чужой объект сверка не удаляет), код 0 — +расхождений нет. Код 1 (прерван отказом) — `test_reconcile_object_storage_ +stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`). diff --git a/evidence/reconcile/stress.md b/evidence/reconcile/stress.md new file mode 100644 index 00000000..983ad394 --- /dev/null +++ b/evidence/reconcile/stress.md @@ -0,0 +1,75 @@ +# Сверка под нагрузкой: `driver.py reconcile-stress` + +Change `track2-reconciler` (design, решение 12; спек `storage-consistency`, +«Сверка под нагрузкой»; гипотеза 5 трека 2 — «ничего подтверждённого не +удалено»). Рабочий стенд `mtusi-lab4` через LB `127.0.0.1:8090`, commit +`c1648d9`, 2026-10-22 16:41:02–16:42:15 UTC, сразу после +`evidence/reconcile/cycle.md`. Это проверка корректности, а не замер: +паспорт хоста не снимался, тихий хост не нужен. Токенов и ключей в выводе +нет. + +``` +$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 reconcile-stress +``` + +Прогон (параметры по умолчанию: `--seconds 40 --clients 4`): + +1. предусловие — dry-run с grace 20 с: расхождений нет (иначе код 2); +2. внесено: два объекта без строки (стандартные ключи, `docker exec` + реплики её ключами) и два готовых вложения без объекта (`weed shell + fs.rm`); всем станет больше grace посреди нагрузки; +3. 4 клиента (Алиса и Боб по очереди) 40 с загружают PNG ~100 KiB из шума + (200 × 170, свой на каждую загрузку) и сразу отправляют сообщение с его + `id`, пауза клиента 0,2 с; поток сверки — `--apply` с grace 20 с раз в + ~3 с (разовый контейнер уборщика), после нагрузки — ещё один проход; +4. в конце — каждое вложение, ответившее 201, скачивается и сверяется по + SHA-256, история чата постранично — у каждого сообщения своё вложение, + новые пометки потерянных сравниваются с внесёнными, повтор dry-run. + +## Вывод + +``` +precondition dry-run (grace 20 s): exit 0 + total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=606 +load: 4 clients for 40 s, apply every 3 s +repeat dry-run: exit 0 + total: listed_objects=2866, checked_rows=2868, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=3, refused=False, interrupted_by=None, duration_ms=632 +uploads by status: 201=640 +messages sent: 640 +reconcile passes: 0, 0, 0, 0, 0, 0, 0, 0, 0 +fixed by class: missing_object=2, orphan_object=2 +put object without a row expected 0 got 0 +put object without a row expected 0 got 0 +uploads 201 expected >0 got >0 +uploads not 201 expected 0 got 0 +passes interrupted (exit 1) expected 0 got 0 +objects without a row removed expected yes got yes +new lost marks = injected expected yes got yes +downloads with other sha256 expected 0 got 0 +messages with unavailable attachment expected 0 got 0 +thread errors expected 0 got 0 +repeat dry-run exit code expected 0 got 0 +PASS: reconcile found and fixed the discrepancies, repeat found 0 +python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 8,03s user 1,41s system 12% cpu 1:12,92 total +exit=0 +``` + +## Что видно + +- **640 загрузок 201 и 640 сообщений** за 40 с; 9 проходов `--apply` (8 + во время нагрузки и один после), все с кодом 0 — ни один не прерван. +- **Внесённое исправлено:** оба объекта без строки удалены + (`orphan_object=2`), оба вложения без объекта помечены + (`missing_object=2`); новых пометок ровно две — внесённые. +- **Подтверждённое не тронуто:** каждое из 640 вложений скачивается с тем + же SHA-256, у каждого сообщения — своё вложение; свежие загрузки (моложе + 20 с) сверка не считала расхождениями, а объекты загрузок в полёте + (строка `pending`) не трогала: её строки на них ссылаются. +- **Повтор — 0:** `found={}`, `lost_known=3` (два внесённых и C из + `cycle.md`); `checked_rows` на 2 больше `listed_objects` — это два + помеченных вложения без объекта. +- В рабочем bucket остались 640 синтетических объектов прогона (~64 МБ) + с их строками — это согласованные вложения, сверка их не считает + расхождениями. +- Тот же сценарий проверки отказов — `test_reconcile_under_load` (`make + failure_checks`, `evidence/tests/failure-checks.md`). diff --git a/evidence/s3/cleaner-list.md b/evidence/s3/cleaner-list.md new file mode 100644 index 00000000..44e10700 --- /dev/null +++ b/evidence/s3/cleaner-list.md @@ -0,0 +1,154 @@ +# Список объектов ключом уборщика: политика, bootstrap, `make s3_check` + +Change `track2-reconciler` (design, решение 2; спек `object-storage`, +«Ограниченные учётные данные уборщика», «Проверка приватности вне API»). +Рабочий стенд `mtusi-lab4`, commit `c1648d9`, 2026-10-22 16:32–16:34 UTC. +Секреты в выводе — ``; ключей и подписей нет. + +## Окружение `s3-bootstrap` в `docker compose config` + +Префикс списка — из `POSTGRES_DB`, не секрет; ключи — только как факт. + +``` +{'HOME': '/tmp', 'S3_API_ACCESS_KEY': '', 'S3_API_SECRET_KEY': '', 'S3_BUCKET': 'messenger', 'S3_CLEANER_ACCESS_KEY': '', 'S3_CLEANER_LIST_PREFIX': 'messenger/attachments/', 'S3_CLEANER_SECRET_KEY': '', 'S3_PORT': '8333', 'WEED_JWT_FILER_SIGNING_KEY': ''} +``` + +У сервиса `cleaner` префикса нет: свой префикс уборщик строит из имени +базы (`attachment_object_repo.originals_prefix`). + +## Bootstrap с новой политикой (шаг 1 порядка обновления, решение 6) + +``` +$ docker compose up -d s3-bootstrap + Container mtusi-lab4-s3-1 Running + Container mtusi-lab4-s3-1 Healthy + Container mtusi-lab4-s3-bootstrap-1 Started +$ docker compose logs --no-log-prefix --since 2026-10-22T16:32:00Z s3-bootstrap +s3-bootstrap: bucket messenger exists +s3-bootstrap: user api exists +s3-bootstrap: user cleaner exists +s3-bootstrap: checks passed (api key put/get; cleaner key get/delete and list messenger/attachments/; api key list and bucket create, cleaner key put and list of the bucket, anonymous get and list denied) +exit 0 started 2026-10-22T16:32:31.925946049Z finished 2026-10-22T16:32:34.554294759Z +``` + +Политика на сервере (`weed shell s3.policy -get -name=cleaner-objects`, +только чтение): + +``` +{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:GetObject","s3:DeleteObject"],"Resource":"arn:aws:s3:::messenger/*"},{"Effect":"Allow","Action":"s3:ListBucket","Resource":"arn:aws:s3:::messenger","Condition":{"StringLike":{"s3:prefix":"messenger/attachments/*"}}}]} +``` + +Политика на рабочем стенде применилась уже раньше: в apply `make +test_isolated` зовёт `make start_s3`, а тот — bootstrap со смонтированным +`infra/s3/bootstrap.sh` рабочего дерева. Повтор выше — no-op по bucket и +пользователям и та же политика. + +## `make s3_check` + +``` +$ make s3_check +python3 .claude/skills/run-mtusi-messenger/driver.py s3-check +S3 s3:8333 (host 127.0.0.1:8334), bucket messenger, image chrislusf/seaweedfs:4.48 +where check expected got verdict +server anonymous access setting none none ok +server api key put object 200 200 ok +server api key get object 200 200 ok +server api key head object 200 200 ok +server api key get missing object 404 404 ok +server api key list objects 403 403 ok +server api key create bucket 403 403 ok +server api key delete bucket 403 403 ok +server api key get bucket policy 403 403 ok +server api key put bucket policy 403 403 ok +server api key get bucket acl 403 403 ok +server api key put bucket acl public-read 403 403 ok +server api key put object acl public-read 403 403 ok +server api key put cleaner probe object 200 200 ok +server cleaner key get object 200 200 ok +server cleaner key head object 200 200 ok +server cleaner key delete object 204 204 ok +server cleaner key delete object again 204 204 ok +server api key get deleted object 404 404 ok +server cleaner key delete missing object 204 204 ok +server cleaner key put object 403 403 ok +server cleaner key list objects 403 403 ok +server cleaner key list attachments prefix 200 200 ok +server cleaner key list other prefix 403 403 ok +server cleaner key create bucket 403 403 ok +server cleaner key delete bucket 403 403 ok +server cleaner key get bucket policy 403 403 ok +server cleaner key put bucket policy 403 403 ok +server cleaner key get bucket acl 403 403 ok +server cleaner key put bucket acl public-read 403 403 ok +server cleaner key put object acl public-read 403 403 ok +server api key put object to other bucket 403 403 ok +server api key get object from other bucket 403 403 ok +server api key list other bucket 403 403 ok +server api key delete other bucket 403 403 ok +server cleaner key get object from other bucket 403 403 ok +server cleaner key delete object in other bucket 403 403 ok +server cleaner key list other bucket 403 403 ok +server cleaner key delete other bucket 403 403 ok +server anonymous get object 403 403 ok +server anonymous head object 403 403 ok +server anonymous get missing object 403 403 ok +server anonymous list objects 403 403 ok +server anonymous list buckets 403 403 ok +server anonymous put object 403 403 ok +server anonymous create bucket 403 403 ok +host anonymous get object 403 403 ok +host anonymous head object 403 403 ok +host anonymous get missing object 403 403 ok +host anonymous list objects 403 403 ok +host anonymous list buckets 403 403 ok +host anonymous put object 403 403 ok +server listening outside loopback 8333 18333 8333 18333 ok +network anonymous get object 403 403 ok +network anonymous head object 403 403 ok +network anonymous get missing object 403 403 ok +network anonymous list objects 403 403 ok +network anonymous list buckets 403 403 ok +network anonymous put object 403 403 ok +network port 8333 (S3 API / gRPC of gateway) open open ok +network port 18333 (S3 API / gRPC of gateway) open open ok +network port 8080 (loopback only) closed closed ok +network port 8888 (loopback only) closed closed ok +network port 9333 (loopback only) closed closed ok +network port 18080 (loopback only) closed closed ok +network port 18888 (loopback only) closed closed ok +network port 19333 (loopback only) closed closed ok +network port 43567 (loopback only) closed closed ok +server temporary buckets left 0 0 ok +server probe objects left 0 0 ok +PASS: 70 checks, bucket messenger is private +exit=0 +``` + +Новые строки change — «cleaner key list attachments prefix» (200) и +«cleaner key list other prefix» (403, префикс `.s3-check/`); «cleaner key +list objects» (весь bucket) и «cleaner key list other bucket» — 403, как +были. + +## Проба bootstrap на временном проекте (apply, до commit) + +Проект `rcapply`: SeaweedFS проекта на tmpfs 16 ГБ, синтетические секреты, +`infra/s3/bootstrap.sh` и `docker-compose.yml` рабочего дерева (тот же код, +что `c1648d9`): + +- первый запуск и два повтора — код 0 («bucket messenger created», «user … + created», затем «exists»); +- `S3_CLEANER_LIST_PREFIX` = `messenger/`, `*`, `messenger/attachments/x`, + пустое, `a/b/attachments/`, `x\nmessenger/attachments/`, + `Messenger/attachments/` — каждый «FAILED: cleaner list prefix: + S3_CLEANER_LIST_PREFIX must be /attachments/» и код 1; +- `check` — «cleaner key list objects» 403, «… attachments prefix» 200, «… + other prefix» 403, «… other bucket» 403. + +Клиентом приложения ключом уборщика там же: 2 504 ключа под +`messenger/attachments/` — 3 страницы по 1000 за 0,29 с, у каждого +`LastModified`; список всего bucket, `messenger/other/` и +`test_messenger/attachments/` — `ObjectStorageUnavailable` («Object storage +denied access», `AccessDenied`); после `s3.bucket.delete` список и проба +bucket — `ObjectStorageUnavailable` («Object storage bucket is missing», +`NoSuchBucket`), а не пустая страница. Проект удалён, volumes совпали с +исходными (design, «Уточнения apply», п. 14). diff --git a/evidence/tests/failure-checks.md b/evidence/tests/failure-checks.md index 47acdca2..c7e38698 100644 --- a/evidence/tests/failure-checks.md +++ b/evidence/tests/failure-checks.md @@ -1,29 +1,31 @@ -# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3 и местами загрузки +# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой -- Дата: 2026-10-22, 13:11:36–13:16:29 UTC. -- Commit: `9d2ee30` (правки по verify change `upload-memory`: срок тела - «узкого» API 3 с вместо 2 с — запас держателя места в - `test_upload_slots_busy`; код приложения `src/` — прежний, `97a4be4`: - места загрузки процесса, срок тела, одна копия тела при PUT, буферы - LB). Рабочее дерево чистое, образ собран из него. +- Дата: 2026-10-22, 16:45:12–16:53:19 UTC. +- Commit: `c1648d9` (change `track2-reconciler`: сверка bucket и БД в + процессе уборщика, колонка `lost_at`, список по префиксу у ключа + уборщика, восемь новых проверок отказов). Рабочее дерево — `c1648d9` + (вне commit — только файлы `evidence/`), образ собран из него. - Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey - и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не - публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с - (`failures.compose.yml`, `restart: "no"`); три API на `127.0.0.1`: - обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении, - «тесный» (сроки сессии и ключа 2 с, пул 1) и с change `upload-memory` - «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, ожидание - 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время запущен на - том же коде приложения (`make rolling_update` в 12:24, LB — на - `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта). + и S3 (с bootstrap, пользователи `api` и `cleaner`, у уборщика список + только с префиксом `messenger/attachments/`), порты хранилищ не + публикуются; уборщик `cleaner` с grace 20 с, интервалом 1 с и **без + плановой сверки** (`RECONCILER__INTERVAL_SECONDS: "0"`, + `failures.compose.yml`, `restart: "no"`) — сверку запускают тесты через + hook; три API на `127.0.0.1`: обычный — с `MAX_UPLOAD_BYTES=1` и + `MAX_IMAGE_PIXELS=1` в окружении, «тесный» (сроки сессии и ключа 2 с, + пул 1) и «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, + ожидание 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время + запущен на том же коде (порядок обновления change в 16:32–16:34, LB — + на `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта). Docker Desktop 29.9.1, Apple M3 Pro. - Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с; `87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с; - `ce1ae2c` — 37 из 37 за 255 с при сроке тела «узкого» API 2 с (пять - новых тестов мест загрузки и срока тела). Сейчас — 37 из 37 за 263 с - при сроке тела 3 с (раздел «Места загрузки и срок тела» ниже). + `ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с. Сейчас — + 45 из 45 за 462 с: +8 проверок сверки (раздел «Сверка bucket и БД» + ниже), им нужны ожидания grace стенда (20 с) для объектов без строки и + ~35 с нагрузки. -## Итог: код 0, 37 из 37 +## Итог: код 0, 45 из 45 Вывод сборки образа (BuildKit), строки `Container …` compose, записи alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к @@ -37,58 +39,65 @@ python3 student-tests/run_failures.py [failure_checks] start postgres, valkey and s3 [failure_checks] migrations [failure_checks] s3 bootstrap -[failure_checks] start cleaner: grace 20 s, interval 1 s +[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off) [failure_checks] start api containers -[failure_checks] ready: api=http://127.0.0.1:52585 tight=http://127.0.0.1:52599 uploads=http://127.0.0.1:52607 +[failure_checks] ready: api=http://127.0.0.1:50460 tight=http://127.0.0.1:50464 uploads=http://127.0.0.1:50468 [failure_checks] pytest -m fault platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- … -collecting ... collected 235 items / 198 deselected / 37 selected +collecting ... collected 243 items / 198 deselected / 45 selected student-tests/test_failures.py::test_expired_token PASSED [ 2%] -student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 5%] -student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 8%] -student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 10%] -student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 13%] -student-tests/test_failures.py::test_pool_exhausted PASSED [ 16%] -student-tests/test_failures.py::test_connection_limit_reached PASSED [ 18%] -student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 21%] -student-tests/test_failures.py::test_readiness_without_database PASSED [ 24%] -student-tests/test_failures.py::test_readiness_without_cache PASSED [ 27%] -student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 29%] -student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 32%] -student-tests/test_failures.py::test_flush_cache PASSED [ 35%] -student-tests/test_failures.py::test_valkey_stopped PASSED [ 37%] -student-tests/test_failures.py::test_valkey_paused PASSED [ 40%] -student-tests/test_failures.py::test_valkey_back PASSED [ 43%] -student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 45%] -student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 48%] -student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 51%] -student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 54%] -student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 56%] -student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 59%] -student-tests/test_failures.py::test_interrupted_body PASSED [ 62%] -student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 64%] -student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 67%] -student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 70%] -student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 72%] -student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 75%] -student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 78%] -student-tests/test_failures.py::test_object_storage_stopped PASSED [ 81%] -student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 83%] -student-tests/test_failures.py::test_object_storage_paused PASSED [ 86%] -student-tests/test_failures.py::test_upload_slots_busy PASSED [ 89%] -student-tests/test_failures.py::test_rejections_before_queue PASSED [ 91%] -student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 94%] -student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 97%] -student-tests/test_failures.py::test_slow_body PASSED [100%] - -================ 37 passed, 198 deselected in 262.87s (0:04:22) ================ -[failure_checks] postgres log: 444 lines, crash markers 0; "too many clients" 32, "administrator command" 142 +student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 4%] +student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 6%] +student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 8%] +student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 11%] +student-tests/test_failures.py::test_pool_exhausted PASSED [ 13%] +student-tests/test_failures.py::test_connection_limit_reached PASSED [ 15%] +student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 17%] +student-tests/test_failures.py::test_readiness_without_database PASSED [ 20%] +student-tests/test_failures.py::test_readiness_without_cache PASSED [ 22%] +student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 24%] +student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 26%] +student-tests/test_failures.py::test_flush_cache PASSED [ 28%] +student-tests/test_failures.py::test_valkey_stopped PASSED [ 31%] +student-tests/test_failures.py::test_valkey_paused PASSED [ 33%] +student-tests/test_failures.py::test_valkey_back PASSED [ 35%] +student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 37%] +student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 40%] +student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 42%] +student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 44%] +student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 46%] +student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 48%] +student-tests/test_failures.py::test_interrupted_body PASSED [ 51%] +student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 53%] +student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 55%] +student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 57%] +student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 60%] +student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 62%] +student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 64%] +student-tests/test_failures.py::test_object_storage_stopped PASSED [ 66%] +student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 68%] +student-tests/test_failures.py::test_object_storage_paused PASSED [ 71%] +student-tests/test_failures.py::test_upload_slots_busy PASSED [ 73%] +student-tests/test_failures.py::test_rejections_before_queue PASSED [ 75%] +student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 77%] +student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 80%] +student-tests/test_failures.py::test_slow_body PASSED [ 82%] +student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 84%] +student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 86%] +student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 88%] +student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 91%] +student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%] +student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%] +student-tests/test_failures.py::test_reconcile_under_load PASSED [ 97%] +student-tests/test_failures.py::test_scheduled_reconcile PASSED [100%] +================ 45 passed, 198 deselected in 462.06s (0:07:42) ================ +[failure_checks] postgres log: 438 lines, crash markers 0; "too many clients" 23, "administrator command" 142 [failure_checks] cleanup [failure_checks] results: {'fault': 0, 'postgres': 0} -exit=0 +make failure_checks 2>&1 56,10s user 20,95s system 15% cpu 8:07,69 total ``` -Вся команда — ~4 мин 55 с (13:11:36–13:16:29). «too many clients» и +Вся команда — 8 мин 07 с (16:45:12–16:53:19). «too many clients» и «administrator command» — следы проверок «Предел соединений PostgreSQL исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков аварийного перезапуска нет. @@ -96,23 +105,80 @@ exit=0 ## Уборка и рабочий стенд ``` -$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # после прогона -/mtusi-lab4-api-19 2026-10-22T12:24:16.659281295Z -/mtusi-lab4-api-20 2026-10-22T12:24:34.073897804Z -/mtusi-lab4-cleaner-1 2026-10-22T06:29:15.606982427Z -/mtusi-lab4-haproxy-1 2026-10-22T06:30:24.692639417Z -/mtusi-lab4-postgres-1 2026-10-22T06:29:08.988292382Z -/mtusi-lab4-s3-1 2026-10-22T06:29:08.828629465Z -/mtusi-lab4-valkey-1 2026-10-22T06:29:08.904727882Z -left: containers 0, volumes 0 +$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после прогона — одинаково +/mtusi-lab4-api-21 2026-10-22T16:38:07.188747593Z +/mtusi-lab4-api-22 2026-10-22T16:37:49.487956001Z +/mtusi-lab4-cleaner-1 2026-10-22T16:42:59.905412465Z +/mtusi-lab4-haproxy-1 2026-10-22T16:37:23.189875503Z +/mtusi-lab4-postgres-1 2026-10-22T16:36:57.034778213Z +/mtusi-lab4-s3-1 2026-10-22T16:37:12.007644429Z +/mtusi-lab4-valkey-1 2026-10-22T16:36:57.056768422Z +$ docker ps -aq --filter label=com.docker.compose.project=mtusi-lab4-failures | wc -l + 0 +$ docker volume ls -q | wc -l + 155 ``` -- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — - реплики после `make rolling_update` в 12:24:16 и 12:24:34; прогон — с - 13:11:36): рабочий стенд не тронут. Список docker volumes до и после - прогона один и тот же (155 имён, совпал хэш списка). +- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — после + `make test-persistence`, `make test-failover` и остановки уборщика для + `evidence/reconcile/service.md` в 16:36–16:43; прогон — с 16:45:12), и + время старта после прогона то же: рабочий стенд не тронут. Список docker + volumes до и после прогона один и тот же (155 имён). - У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes. +## Сверка bucket и БД (change `track2-reconciler`) + +Hook вносит расхождения с обеих сторон (`put-object` — процесс в +контейнере обычного API его ключами, `delete-object` — `weed shell fs.rm`, +`delete-row`, `set-size`, `age-row` — psql) и запускает разовую сверку +(`reconcile dry-run|apply [предел]` — одноразовый контейнер уборщика +стенда, записи журнала и код выхода). Записи фильтруются по своим `id` и +ключам, код выхода сверяется с записями того же прохода. Объекты +состарить нельзя (`LastModified` ставит S3) — тесты с объектом без строки +ждут G + 1 = 21 с; строки состаривает `age-row`. + +- «Расхождения с обеих сторон найдены», «Исправление расхождений», + «Повторная сверка», `attachments` «Потерянный оригинал» + (`test_reconcile_finds_and_fixes`; уборщик стенда остановлен на время + теста): A в сообщении без объекта, B без строки, C с другим размером, O + мимо API, P — обрыв COMMIT (строка `pending` и объект); dry-run — у + каждого свой класс (`missing_object`, `orphan_object` ×2, + `size_mismatch`, `stale_pending`), возраст ≥ G, код 3, строки, объекты и + пометки не изменились, байты A — 500; `--apply` — O и объект B удалены, + у P ни строки, ни объекта, A и C помечены, байты A — 404, метаданные A + равны ответу загрузки; повтор — своих записей нет, код соответствует + записям. +- «Свежие не тронуты», «Используемое вложение не удаляется», «Чужой + объект не удаляется» (`…_keeps_fresh_used_and_unknown`): у вложения в + сообщении объект удалён — помечено, метаданные 200, история отдаёт его + `id`, ни одна `ready` строка не пропала; свежие объект без строки и + вложение без объекта — не тронуты, `fresh_objects` и `fresh_rows` ≥ 1; + ключ `…/attachments/x-` — «unknown_object», код 3, следующий + проход снова его видит. +- «Оригинал вернулся» (`…_restored_original`): помечено → те же байты под + ключом → `--apply` — `restored_object` / `cleared_lost`, байты 200 с тем + же SHA-256, следующий dry-run — ни одной записи о нём. +- «Предел изменений» (`…_change_limit`): три потери при пределе 2 — код + 3, `error` «Reconcile changes exceed limit» с `changes` ≥ 3 и + `max_changes` 2, итог `warning` с `refused: true`, ни одной пометки; с + пределом 100 — помечены все три. +- «S3 недоступен во время сверки» (`…_object_storage_stopped`): S3 + остановлен — код 1, `interrupted_by: object_storage`, ни одного «Fixed»; + после возврата — помечено. +- «Прерванная сверка доводится повтором» (`…_interrupted_by_database`): + триггер роняет пометку одного вложения (08006) — код 1, + `interrupted_by: database`; после снятия — помечены оба, dry-run их не + находит. +- «Сверка под нагрузкой» (`…_under_load`): два объекта без строки и две + потери; 4 потока ~35 с загружают PNG ~100 KiB из шума и отправляют + сообщения, поток сверки — `--apply` раз в 3 с: внесённое исправлено, + каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё + вложение, новые пометки — только внесённые, ни один проход не прерван. +- «Плановая сверка без команды» (`test_scheduled_reconcile`): отдельный + уборщик `<проект>-cleaner-scheduled` с `RECONCILER__INTERVAL_SECONDS=1` + на 6 с — в журнале «Finished reconcile pass» с `apply: true`, потеря + помечена без разового прохода. + ## Места загрузки и срок тела (change `upload-memory`) «Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела @@ -319,3 +385,58 @@ Tasks (1.5) ждали зелёными `test_slot_released_after_failures` и (design, решение 11), которого прежний код не выполняет; второй проверяет полную очередь (ответ 429 ожидавшей) — design change `upload-memory`, «Уточнения apply», п. 2. + +## Красный прогон до кода `track2-reconciler` (apply, 2026-10-22) + +Окончательные тесты, hook, `run_failures.py` и `failures.compose.yml` +change против кода приложения `c13df14` (последний commit до кода change; +код тот же, что `5f4b9ff`): `git archive c13df14` во временный каталог, +поверх — `student-tests/` рабочего дерева apply, `python3 +student-tests/run_failures.py -k reconcile` из него (16:07–16:09 UTC). +Рабочий стенд не трогался. + +``` +[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4) +s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied) +student-tests/test_failures.py::test_reconcile_finds_and_fixes FAILED [ 12%] +student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown FAILED [ 25%] +student-tests/test_failures.py::test_reconcile_restored_original FAILED [ 37%] +student-tests/test_failures.py::test_reconcile_change_limit FAILED [ 50%] +student-tests/test_failures.py::test_reconcile_object_storage_stopped FAILED [ 62%] +student-tests/test_failures.py::test_reconcile_interrupted_by_database FAILED [ 75%] +student-tests/test_failures.py::test_reconcile_under_load FAILED [ 87%] +student-tests/test_failures.py::test_scheduled_reconcile FAILED [100%] +E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist +E AssertionError: assert {} == {'messenger/attachments/x-…': 'unknown_object'} +E AssertionError: assert {} == {'1c6bae15-…': 'missing_object'} +E assert 2 == 3 # Reconcile(records=[], exit_code=2) +E assert 2 == 1 # Reconcile(records=[], exit_code=2) +E AssertionError: fault hook fail-attachments mark fault-….png: … ERROR: column "lost_at" of relation "attachments" does not exist +E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist +E AssertionError: {"event": "Started cleaner", …} {"event": "Stopped cleaner", …} # assert passes — итога сверки нет +================= 8 failed, 235 deselected in 95.20s (0:01:35) ================= +[failure_checks] postgres log: 67 lines, crash markers 0; "too many clients" 0, "administrator command" 0 +[failure_checks] results: {'fault': 1, 'postgres': 0} +``` + +Причины — отсутствие нового поведения в прежнем коде, а не тестов и не +стенда: + +| Тест | Падение | Причина | +|---|---|---| +| `test_reconcile_finds_and_fixes` | `lost-ids`: нет колонки `lost_at` | миграции change нет | +| `test_reconcile_keeps_fresh_used_and_unknown` | ни одной записи «Found» | команды `reconcile` нет: argparse, код 2 | +| `test_reconcile_restored_original` | ни одной записи «Fixed» | то же | +| `test_reconcile_change_limit` | код 2 вместо 3 | то же | +| `test_reconcile_object_storage_stopped` | код 2 вместо 1 | то же | +| `test_reconcile_interrupted_by_database` | триггер `BEFORE UPDATE OF lost_at` не создать | колонки нет | +| `test_reconcile_under_load` | `lost-ids`: нет колонки | то же | +| `test_scheduled_reconcile` | в журнале уборщика только «Started» и «Stopped cleaner» | плановой сверки нет | + +Первый красный прогон того же кода (с тестами до правок apply — design +change `track2-reconciler`, «Уточнения apply», пп. 15 и 17) тоже дал 8 +failed за 99,5 с; его вывод сохранился не полностью, поэтому снят этот. +На новом коде первые два прогона `-k reconcile` падали на дефектах +самих тестов и hook (`start cleaner` через `compose start` требовал +контейнер `migrate`; сравнение метаданных строк, которые изменил сам +hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45. diff --git a/evidence/tests/student-test-lb.md b/evidence/tests/student-test-lb.md index 50b630ce..c1588a1f 100644 --- a/evidence/tests/student-test-lb.md +++ b/evidence/tests/student-test-lb.md @@ -1,36 +1,35 @@ # `make student_test` через балансировщик -- Дата: 2026-10-22, 12:34:28–12:35:09 UTC (пересъёмка после change - `upload-memory`). -- Commit: `ce1ae2c` (код — `97a4be4`); вне commit — только документы - (`evidence/`, `tasks.md`, `PLAN.md`), код стенда собран из дерева с - тем же `src/`. -- Стенд: рабочий `mtusi-lab4` после `make rolling_update` (12:24) — - `BASE_URL=http://localhost:8090`: **LB на 8090, а не на 8080 из - `.env`**, порт 8080 хоста занят контейнером другого проекта - (`domains-api-1`); `EXPECT_REPLICAS=2` (`API_REPLICAS`): реплики - `3b96c600b25a` и `f6915f9b80dc`, PostgreSQL, Valkey, S3, уборщик - `cleaner`. Тесты реплик выполняются, проверки отказов (`fault`) — нет - (`-m 'not fault'`, их гоняет `make failure_checks`, `failure-checks.md`). -- Что изменилось с прежнего снимка (commit `87c48b9`): change - `upload-memory` — новый тест `test_concurrent_uploads` («Загрузки в - пределах лимита», 10 одновременных загрузок PNG ~1 MiB), пять новых - проверок отказов мест загрузки и срока тела (`deselected` 37 вместо 32) - и два исключения сверки — «Одна копия тела при записи в S3» и «Память - не растёт с числом загрузок» со ссылкой на метку - `evidence/uploads/baseline/summary.md` (`make bench_uploads`, commit - `ce1ae2c`). Итог сверки — 227 сценариев в 13 спеках, 210 с тестами (45 - — проверками отказов), 17 исключений. -- Файлы исключений сверки покрытия есть в репозитории (прежние шесть — - commit `8dc925e`, метка `baseline` — `ce1ae2c`): - `test_exclusion_evidence_exists` зелёный. +- Дата: 2026-10-22, 16:35:03–16:35:42 UTC (пересъёмка после change + `track2-reconciler`; второй прогон 16:35:55–16:36:33 — счёт по модулям). +- Commit: `c1648d9`, дерево чистое. +- Стенд: рабочий `mtusi-lab4` после порядка обновления change (`docker + compose up -d s3-bootstrap` → `make rolling_update` → `docker compose up + -d --no-deps cleaner`, 16:32–16:34) — `BASE_URL=http://localhost:8090`: + **LB на 8090, а не на 8080 из `.env`**, порт 8080 хоста занят + контейнером другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2` + (`API_REPLICAS`): реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на + ревизии `5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Тесты + реплик выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`, + их гоняет `make failure_checks`, `failure-checks.md`). +- Что изменилось с прежнего снимка (commit `ce1ae2c`): change + `track2-reconciler` — восемь новых проверок отказов сверки bucket и БД + (`deselected` 45 вместо 37) и 13 новых сценариев в основных спеках: + 12 у `storage-consistency` (сверка, её безопасность, потерянный + оригинал, отказы хранилищ, плановая сверка) и «Потерянный оригинал» у + `attachments`. Все они покрыты проверками отказов: итог сверки — 240 + сценариев в 13 спеках, 223 с тестами (58 — проверками отказов), 17 + исключений. Тестов вне `fault` change не добавил: 198, как раньше. +- Файлы исключений сверки покрытия есть в репозитории, новых исключений + нет: `test_exclusion_evidence_exists` зелёный. ## Итог ``` $ make student_test BASE_URL=http://localhost:8090 -coverage: 227 scenarios in 13 specs, 210 tested (45 by make failure_checks), 17 excluded -===================== 198 passed, 37 deselected in 40.23s ====================== +collecting ... collected 243 items / 45 deselected / 198 selected +coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded +===================== 198 passed, 45 deselected in 38.55s ====================== exit=0 ``` @@ -59,37 +58,28 @@ exit=0 ## Строки тестов реплик и гонок (`-rsP`) ``` -two series of 18 requests: {'f6915f9b80dc': 18, '3b96c600b25a': 18} -uploaded via f6915f9b80dc, downloaded via ['3b96c600b25a', 'f6915f9b80dc'] -sent via f6915f9b80dc, replayed via ['3b96c600b25a'] -409 via ['3b96c600b25a', 'f6915f9b80dc'] -one session, 20 requests: {'3b96c600b25a': 10, 'f6915f9b80dc': 10} -written via f6915f9b80dc, read via {'3b96c600b25a': 3, 'f6915f9b80dc': 3} +two series of 18 requests: {'151df4af59c3': 18, 'b5c48ae854d1': 18} +uploaded via 151df4af59c3, downloaded via ['151df4af59c3', 'b5c48ae854d1'] +coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded +sent via 151df4af59c3, replayed via ['b5c48ae854d1'] +409 via ['151df4af59c3', 'b5c48ae854d1'] +one session, 20 requests: {'b5c48ae854d1': 10, '151df4af59c3': 10} +written via 151df4af59c3, read via {'b5c48ae854d1': 3, '151df4af59c3': 3} race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30 username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10 key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages -key race through replicas: {'3b96c600b25a': 5, 'f6915f9b80dc': 5} +key race through replicas: {'151df4af59c3': 5, 'b5c48ae854d1': 5} ``` -- Change `upload-memory`: `test_concurrent_uploads` — 10 участников одного - чата загружают по PNG ~1 MiB через LB одновременно (за - `threading.Barrier`, каждый своим соединением): все 201 с разными `id`, - загрузки пересекались по времени, каждое вложение скачивается - побайтно. 4 места и очередь 16 на реплику при параметрах по умолчанию - их вмещают. -- Вложения лабы 4: 34 теста спека `attachments` (`test_attachments.py`) - и пять сценариев рубрики «4» лабы 4 в `test_rubric.py` (слишком - большой файл, повреждённое изображение, подмена MIME, чужое - `attachment_id`, вложение другого чата): каждая ошибка клиента — 4xx - в формате контракта, не 500. «Скачивание через другую реплику»: - загрузку принял `f6915f9b80dc`, оригинал отдал и `3b96c600b25a`. -- `test_filename_not_utf8` (сценарий «Имя не в UTF-8»): - `filename=a%FFb.png`, `a%C3.png`, `a%ED%A0%80b.png` — 400, - `%C3%A9t%C3%A9.png` — 201 с `été.png`. +- Вложения лабы 4: 34 теста спека `attachments` и пять сценариев рубрики + «4» лабы 4 в `test_rubric.py` — прежние, на новом коде (ветка + `lost_at` в скачивании касается только помеченных сверкой вложений). + «Скачивание через другую реплику»: загрузку принял `151df4af59c3`, + оригинал отдали обе реплики. - Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в истории; гонка регистрации — один 201; гонка одного ключа через реплики — одно сообщение. -- Сверка покрытия: все 227 сценариев 13 спеков — тест (210, из них 45 - проверками отказов, в том числе все 9 сценариев `storage-consistency`) +- Сверка покрытия: все 240 сценариев 13 спеков — тест (223, из них 58 + проверками отказов, в том числе все 21 сценарий `storage-consistency`) или исключение с доказательством (17). diff --git a/evidence/tests/test-isolated-s3-cleanup.md b/evidence/tests/test-isolated-s3-cleanup.md index 8ca18b1f..b0091144 100644 --- a/evidence/tests/test-isolated-s3-cleanup.md +++ b/evidence/tests/test-isolated-s3-cleanup.md @@ -3,21 +3,29 @@ - Спек `student-tests`: «Прогон на временной базе» (уборка префикса `test_/`, «Хвост прошлого прогона», «Сохранить базу для разбора»). Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11. -- Раздел 0 — пересъёмка после change `upload-memory` (зелёная). Разделы - 1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки с тех пор - не менялся (`student-tests/run_isolated.py`), а красное в них — +- Раздел 0 — пересъёмка после change `track2-reconciler` (зелёная). + Разделы 1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки с + тех пор не менялся (`student-tests/run_isolated.py`), а красное в них — ожидаемое до `attachments`, как сказано ниже. Прежние снимки раздела 0: commit `d56b892` (change `attachments`) — 191 passed, 5 skipped, 23 deselected; `5b42bd2` — 192 passed, 5 skipped, 29 deselected, сверка 212 / 33; `87c48b9` — 192 passed, 5 skipped, 32 deselected, сверка 215 - / 36. + / 36; `ce1ae2c` (change `upload-memory`) — 193 passed, 5 skipped, 37 + deselected, сверка 227 / 210 / 45 / 17. -## 0. Пересъёмка: код 0 (change `upload-memory`) +## 0. Пересъёмка: код 0 (change `track2-reconciler`) -- Дата: 2026-10-22, 12:32:21–12:34:02 UTC. -- Commit: `ce1ae2c` (код — `97a4be4`); рабочее дерево — только - незакоммиченные документы (`evidence/`, `tasks.md`, `PLAN.md`), образ - собирается из дерева, код совпадает с commit. +- Дата: 2026-10-22, 16:55:37–16:57:28 UTC. +- Commit: `c1648d9`; рабочее дерево — только незакоммиченные файлы + `evidence/`, образ собирается из дерева, код совпадает с commit. +- Что изменилось: восемь новых проверок отказов сверки (`deselected` 45 + вместо 37) и 13 новых сценариев спеков, покрытых ими (сверка 240 / 223 / + 58 / 17); тестов вне `fault` столько же. Миграции временной базы — с + ревизией `5c3e1f0a9b7d` (`lost_at`). Перед прогоном `start_s3` запускает + bootstrap: политика уборщика со списком по префиксу (строка «cleaner key + get/delete and list messenger/attachments/»). Объекты `test_messenger/` + сверка рабочего стенда не видит: её список — только + `messenger/attachments/`. - Стенд: рабочий `mtusi-lab4` (с уборщиком `cleaner`); временная база `test_messenger`, один контейнер API `mtusi-lab4-test-api` на `127.0.0.1:18088` без LB (`EXPECT_REPLICAS=1`), Valkey и S3 стенда @@ -43,13 +51,13 @@ $ make test_isolated [test_isolated] make test PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. [test_isolated] make student_test -coverage: 227 scenarios in 13 specs, 210 tested (45 by make failure_checks), 17 excluded +coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded SKIPPED [1] student-tests/test_attachments.py:701: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer -=========== 193 passed, 5 skipped, 37 deselected in 88.67s (0:01:28) =========== +=========== 193 passed, 5 skipped, 45 deselected in 97.87s (0:01:37) =========== [test_isolated] cleanup [test_isolated] remove objects /buckets/messenger/test_messenger/ [test_isolated] results: {'test': 0, 'student_test': 0} diff --git a/openspec/changes/track2-reconciler/tasks.md b/openspec/changes/track2-reconciler/tasks.md index a63b392a..1ff2d2b6 100644 --- a/openspec/changes/track2-reconciler/tasks.md +++ b/openspec/changes/track2-reconciler/tasks.md @@ -409,7 +409,7 @@ Commit делает основная сессия после подтвержд ## 12. Прогоны и evidence -- [ ] 12.1 Commit кода (основная сессия, после подтверждения). Затем +- [x] 12.1 Commit кода (основная сессия, после подтверждения). Затем рабочий стенд по порядку решения 6: - `docker compose up -d s3-bootstrap`; - `make rolling_update`; @@ -424,11 +424,24 @@ Commit делает основная сессия после подтвержд test-failover ACTION_SCRIPT=scripts/stop-one.sh` для обеих реплик — с `BASE_URL` LB; - `make s3_check`. -- [ ] 12.2 `evidence/reconcile/cycle.md` — вывод `driver.py --port 8090 + + Сделано 2026-10-22 16:32–16:38 UTC, commit `c1648d9`: `up -d + s3-bootstrap` — код 0, «cleaner key get/delete and list + messenger/attachments/» (политика на стенде уже стояла: её применил + bootstrap из `make test_isolated` в apply); `make rolling_update + APP_OUT_PORT=8090` — 12 с, `739b8f04d5fb` → `5c3e1f0a9b7d`, реплики + `151df4af59c3`, `b5c48ae854d1`, старые — `exit 0`; `up -d --no-deps + cleaner` — плановая сверка при старте: 2 086 объектов и строк, `found + {}`; `make reconcile` — код 0; `make s3_check` — 70 проверок, PASS; + `make test` — PASS; `make student_test` — 198 passed; `make + test-persistence` — PASS; `make test-failover` — PASS для + `b5c48ae854d1` (113 записей, восстановление 1,6 с) и `151df4af59c3` + (118, 1,2 с), между ними `make replicas`. LB остался на `8090`. +- [x] 12.2 `evidence/reconcile/cycle.md` — вывод `driver.py --port 8090 reconcile-cycle` с датой и commit. -- [ ] 12.3 `evidence/reconcile/stress.md` — вывод `driver.py --port 8090 +- [x] 12.3 `evidence/reconcile/stress.md` — вывод `driver.py --port 8090 reconcile-stress`. -- [ ] 12.4 `evidence/reconcile/service.md`: +- [x] 12.4 `evidence/reconcile/service.md`: - «Started cleaner» с параметрами сверки; - плановая сверка при старте; - `docker compose stop cleaner` во время сверки при `docker compose @@ -436,16 +449,22 @@ Commit делает основная сессия после подтвержд `unpause`; - отказ старта с `RECONCILER__PAGE_SIZE=5000`; - коды разового прохода 0 и 3. -- [ ] 12.5 Остальное evidence: +- [x] 12.5 Остальное evidence: - `evidence/s3/cleaner-list.md` — bootstrap с новой политикой, `make s3_check`, окружение `s3-bootstrap` в `docker compose config`; - `evidence/migrations/lost-at.md` — вывод 3.1 и `make rolling_update` 12.1 с ревизией до и после. -- [ ] 12.6 `evidence/tests/`: +- [x] 12.6 `evidence/tests/`: - `failure-checks.md` — полный прогон и раздел красного прогона 1.4; - `student-test-lb.md`; - вывод `make test_isolated`. -- [ ] 12.7 Регресс: + + Сделано с `c1648d9`: `make failure_checks` — 45 из 45 за 462 с (8 мин + 07 с), crash markers 0, рабочий стенд не тронут; раздел красного + прогона (8 из 8 на `c13df14`); `make student_test` через LB — 198 + passed, сверка 240 / 223 / 58 / 17; `make test_isolated` — 193 passed, + 5 skipped, код 0, префикс `test_messenger/` и база убраны. +- [x] 12.7 Регресс: - `make bench_quick`; - `bench_failover_quick`; - `bench_rollout_quick` (замена `e1161f7` → новая ревизия под @@ -454,7 +473,19 @@ Commit делает основная сессия после подтвержд - `make test_isolated` — код 0 у каждой. Метки `quick-*` в git не идут. -- [ ] 12.8 `REPORT.md`: + + Сделано 2026-10-22 с `c1648d9` (в паспортах `dirty: true` — только + неотслеживаемые файлы `evidence/`): `bench_quick` — 18/18, код 0 + (прерванный паузой лимита прогон 16:58 переснят, его каталог удалён); + `bench_failover_quick` — 4/4, ошибок 0–2 на фазу (502 при `stop` / + `kill`, как в прежних метках), сообщений = ключей 9 204; `bench_rollout_ + quick` — замена `e1161f7` → текущий за 8,62 с, ревизия `e656d6bbe1a4` + → `5c3e1f0a9b7d`, ошибок 0 / 0 / 0, старых после дренажа 0, 7 301 = 7 301; + `bench_restore_quick` — код 0, RTO 5,02 с; `make test_isolated` — код 0 + (12.6). Предупреждения хоста о swap — это не замеры. Контейнеров + `mtusi-bench*` после — 0, volumes — 155; `make reconcile` на рабочем + стенде после всего — `found {}`, код 0. +- [x] 12.8 `REPORT.md`: - раздел «Сверка хранилищ (трек 2, change `track2-reconciler`)» — классы, проход, правила безопасности, предел, права S3, ответы API и вопрос преподавателю, плановая сверка;