docs: add track2-reconciler evidence and report

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-22 20:23:01 +03:00
co-authored by Claude Opus 5.5
parent c1648d9b83
commit a6071dafa0
11 changed files with 1147 additions and 164 deletions
+1 -1
View File
@@ -231,7 +231,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр
| 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` |
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`. Правки по повторному verify (W1, S1, S2) — код `5889ca2`: уборщик в два шага, объект и строка одной транзакцией под блокировкой, смеси версий не хуже, чем до правки, порядок обновления; evidence 2026-10-21 с него: `evidence/tests/failure-checks.md` (32 из 32 за 228 с), `cleaner-process.md` раздел 7, S2 в `student-test-lb.md` (8 сценариев `storage-consistency`); `REPORT.md` — два шага, «Зачем DELETE объекта под блокировкой», смесь версий; заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-upload-consistency/` |
| 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён; **код — `6cab9d3` (места загрузки, срок тела, одна копия тела при PUT, буферы и сроки LB) и `97a4be4` (буфер приёма LB от клиента 128 KiB); метка `evidence/uploads/baseline/` с `97a4be4` (commit `ce1ae2c`, принята с пометкой о swap хоста); evidence 2026-10-22: `evidence/uploads/lb-timeouts.md` и `rollout-upload.md`, `evidence/tests/` (`student_test` 198, `test_isolated` 193 + 5 пропусков); `REPORT.md` — «Память и сроки загрузки», гипотезы H1–H4 и выводы по метке. Правки по verify — код `9d2ee30`: разбор сводки профиля, спеки буфера LB и одной копии тела, срок тела «узкого» API 3 с; evidence с него: `evidence/tests/failure-checks.md` (37 из 37 за 263 с, commit `569a164`); заархивирован 2026-10-22** — `openspec/changes/archive/2026-10-22-upload-memory/` |
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено |
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено; **код — `c1648d9` (сверка в процессе уборщика, `make reconcile`, плановая сверка, `lost_at` и 404 потерянного оригинала, список по префиксу у ключа уборщика); evidence 2026-10-22 с него: `evidence/reconcile/cycle.md` (6 классов с обеих сторон, повтор 0, возврат оригинала), `stress.md` (640 / 640 с тем же SHA-256 под `--apply`), `service.md`, `evidence/s3/cleaner-list.md` (70 проверок), `evidence/migrations/lost-at.md`, `evidence/tests/` (`failure_checks` 45 из 45 за 462 с и красный прогон 8 из 8 на `c13df14`, `student_test` 198, `test_isolated` 193 + 5 пропусков); `REPORT.md` — «Сверка хранилищ», строки уровня «5», ограничения, ответ «PUT прошёл, COMMIT нет»; вопрос 1 преподавателю (ответ API на потерянный оригинал) открыт** |
| 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` |
| 7 | — (отчёт и PR) | 3–5 | сводка `REPORT.md`, чистый clone, шаблон PR, уборка этого файла | PR `ЛР 4 — БВТ2301 — Сафронов — на 5` |
+224 -17
View File
@@ -388,9 +388,12 @@ timeout_seconds`) внутри срока шага 6 с, меньше
**Права S3 уборщика** — свой пользователь `cleaner`: чтение и удаление
объектов своего bucket, без записи, списка и прав на bucket; ключи
`S3_CLEANER_*` только у `s3-bootstrap` и `cleaner` (`make s3_check` — 68
проверок, `evidence/s3/cleaner-key.md`). Чтение сейчас не используется
проверок, `evidence/s3/cleaner-key.md`). Уборка чтение не использует
(HEAD перед удалением не нужен: удаление идемпотентно, а промах HEAD — не
основание удалять) и оставлено для глубокой сверки трека 2.
основание удалять). С change `track2-reconciler` уборщику добавлен
список объектов — только с префиксом вложений своей базы — для сверки
bucket и БД (раздел «Сверка хранилищ»; 70 проверок
`evidence/s3/cleaner-list.md`).
**Отказы хранилищ в уборщике.** S3 недоступен, не ответил, отказал в
доступе или bucket нет — транзакция уборки откатывается, строка остаётся
@@ -519,6 +522,156 @@ request_timeout_seconds + s3.timeout_seconds` = 17 с. Ожидание мест
`evidence/uploads/rollout-upload.md`, `evidence/tests/student-test-lb.md`
(10 одновременных загрузок через LB).
### Сверка хранилищ (трек 2, change `track2-reconciler`)
Уровень «5», трек 2 «Согласованность двух хранилищ»: повторяемый
reconciler объектов без метаданных и метаданных без объектов — с dry-run,
исправлением и повторным запуском, не трогающий свежее и используемое.
Уборщик идёт только от строк `pending`, поэтому два остаточных риска
`upload-consistency` без сверки не находил никто: объект без строки
(PUT-зомби после уборки) и строку `ready` без объекта (сбой мимо API,
объект удалён вручную). Объект, удалённый мимо API, до change давал 500
на каждое скачивание.
**Где работает.** Сверка — часть процесса уборщика, а не реплик API: у
уборщика уже есть свой пул, ключи на чтение и удаление и долгоживущий
процесс. Разовый проход — `make reconcile` (`docker compose run --rm
--no-deps cleaner reconcile [--apply] [--max-changes N]`), по умолчанию
dry-run. Плановая — в сервисе `cleaner` при старте и раз в
`[reconciler] interval_seconds`, с исправлением. Отдельный сервис и
пользователь S3 `reconciler` отвергнуты: второй процесс с доступом к той
же базе и ещё два секрета ради почти пустого разделения прав.
**Классы расхождений** (`ReconcileFinding`):
| Класс | Что это | `--apply` |
| --- | --- | --- |
| `orphan_object` | объект `<база>/attachments/<id>/original`, строки этого `id` нет и на ключ никто не ссылается | объект удаляется |
| `missing_object` | строка `ready`, объекта по её ключу нет | оригинал помечается потерянным (`lost_at`) |
| `size_mismatch` | строка `ready`, размер объекта ≠ `size_bytes` | помечается потерянным, объект не удаляется |
| `stale_pending` | строка `pending` старше grace (то же, что убирает уборщик) | убирается шагом уборщика (пометка, затем объект и строка под блокировкой) |
| `restored_object` | оригинал помечен, а объект снова есть того же размера | пометка снимается |
| `unknown_object` | ключ под префиксом, которого API не пишет, или `<id>/original`, у строки которого другой ключ | только отчёт и код 3 — не удаляется никогда |
**Проход** (design, решение 3): (1) S3 → БД — страницы ListObjectsV2 по
префиксу `<база>/attachments/` (`[reconciler] page_size`, 1000), на
страницу одно выражение к БД `id = ANY(:ids) OR object_key = ANY(:keys)`
(Bitmap OR по `pk_attachments` и `uq_attachments_object_key`, 1,5 мс на
1000 ключей; по `id` в 15 раз дешевле, чем по тексту ключа); каждый ключ
— в множество; (2) БД → S3 — keyset строк `ready` по `id` (Index Scan
`pk_attachments`, 0,6 мс на 1000), ключа нет в множестве — «метаданные
без объекта»; (3) зависшие загрузки; (4) перепроверка каждого кандидата
в БД и HEAD — в обоих режимах; (5) предел изменений; (6) с `--apply` —
действия: зависшие → объекты без строки → пометки → снятия пометок,
перед каждым ещё раз своё условие. Слияние двух отсортированных потоков
отвергнуто: порядок списка SeaweedFS — обход каталогов, а не порядок
байтов (проба), на нестандартных ключах оно дало бы ложные расхождения.
Цена множества — память O(N), ~15 МБ на 100 тыс. объектов.
**Почему два снимка (список и строки) не дают ложных расхождений.** API
пишет строку до PUT: если объект попал в список, строка его загрузки уже
зафиксирована и видна выборке, которая идёт после. Строка `ready` старше
порога стала `ready` до прохода, а её объект записан ещё раньше — список
его видит; неполный ответ списка отсекает HEAD.
**Безопасность** (решение 4):
- **что удаляется** — только объект без строки и зависшая загрузка;
строки `ready`, используемые вложения (FK `message_attachments`),
объект, на который ссылается строка любого статуса, и чужой ключ — ни
в каком классе;
- **свежее** — grace общий с уборщиком (`[cleaner] pending_grace_seconds`,
900 с): объект — по `LastModified` S3, строка `ready` — по `updated_at`,
`pending` — по `created_at`; свежее не считается расхождением;
- **перепроверка непосредственно перед действием** — строка в БД (по
`id` и по ключу) и HEAD объекта; не подтвердилось — действие не
выполняется;
- **bucket на месте** — отсутствие объекта подтверждается только после
списка с `MaxKeys=1`: удалённый bucket — `NoSuchBucket`, проход прерван,
а не «потеря всех оригиналов»;
- **предел изменений** — удалений, пометок и снятий больше
`[reconciler] max_changes` (100) — ни одного из них, `error` с числом и
пределом, код 3; больше — аргументом `--max-changes`. Он защищает от
сверки с «чужой» базой (пустой или из старой копии при живом bucket) и
от пустого пересозданного bucket. Абсолютный, а не доля: на маленьком
стенде доля слишком мала, на большом — велика;
- **параллельность** — сверка и уборщик, две сверки разом не мешают друг
другу: зависшие — под той же `FOR UPDATE SKIP LOCKED` и пометкой,
удаление объекта и условный `UPDATE` идемпотентны.
**Права S3 уборщика.** Политика `cleaner-objects` получила `s3:ListBucket`
с условием `StringLike s3:prefix <база>/attachments/*` (SeaweedFS 4.48 его
соблюдает: весь bucket, `test_<db>/`, `.s3-check/` и HEAD bucket — 403).
Префикс bootstrap берёт из `POSTGRES_DB` (`S3_CLEANER_LIST_PREFIX`,
проверка `^[a-z0-9_]+/attachments/$`), уборщик строит свой из имени базы.
`make s3_check` — 70 проверок, новые строки списка уборщика
(`evidence/s3/cleaner-list.md`).
**Потерянный оригинал и ответы API** (решение 5). Пометка — колонка
`attachments.lost_at` (ревизия `5c3e1f0a9b7d`, `ADD COLUMN … NULL` под
`SET LOCAL lock_timeout`), `status` и `updated_at` не меняются. Ответы:
скачивание помеченного — **404** `not_found` без обращения к S3 (запись
`info` «Attachment content is lost»), непомеченного без объекта — 500,
как было; метаданные — 200 тем же `Attachment`; ссылка в новом сообщении
— 201; после снятия пометки — снова 200 с байтами. Статус `lost` /
`failed` отвергнут: контракт лабы 4 знает только `ready`, и прежние
реплики упали бы на неизвестном значении при `make rolling_update`.
**Это вопрос преподавателю** (`PLAN.md`, `### track2-reconciler`,
«Вопросы», п. 1): в контракте рядом «Отсутствующий вариант ready-объекта
— 404», «404 — объекта нет» и «Неожиданное исключение — 500». Сделан
вариант по умолчанию; ответ «иначе» меняет одну ветку `open_content`,
сценарий и тесты, но не сверку.
**Плановая сверка и параметры** (`[reconciler]`, решения 9–10):
| Параметр | По умолчанию | Почему |
| --- | --- | --- |
| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,5–0,8 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её |
| `page_size` | 1000 (1–1000) | больше S3 за страницу не отдаёт; одно выражение к БД на страницу |
| `max_changes` | 100 | см. «Безопасность»; разовый проход принимает больший аргументом |
Своего grace у сверки нет — одна ручка «свежести» на всю
согласованность, со своей проверкой границы живой загрузки. Пока идёт
проход сверки, уборка зависших ждёт его конца. На стенде отказов
плановая сверка выключена (её запускают тесты), в `bench/` — тоже.
**Журнал и коды.** Находка, которая осталась, — `warning` «Found storage
discrepancy» (класс, ключ, `id`, возраст, размеры, если разные),
исправленная — `info` «Fixed storage discrepancy» с действием, итог —
«Finished reconcile pass» (просмотрено, найдено и исправлено по классам,
свежие, уже помеченные, длительность, причина прерывания), предел —
`error`; отдельных записей не больше 1000 за проход. Коды разового
прохода: 0 — расхождений нет, 3 — остались (чужие или отказ по пределу),
1 — прерван отказом S3 / PostgreSQL / сигналом, 2 — конфигурация. SIGTERM
во время сверки: текущий вызов доводится (≤ 5 с), новых страниц и
действий нет, сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`).
**Порядок обновления** (решение 6): `docker compose up -d s3-bootstrap`
(политика со списком) → `make rolling_update` (миграция, затем реплики) →
`docker compose up -d --no-deps cleaner`. Смеси не хуже, чем до change:
прежние реплики колонку не читают (у помеченного без объекта — 500, как
раньше); новый уборщик на прежней политике получает `AccessDenied` на
списке — проход сверки прерван, уборка работает. Откат — сначала
уборщик, потом реплики; колонка и пометки остаются и прежнему коду не
мешают.
**На время восстановления базы уборщик останавливают** (`docker compose
stop cleaner`): база из старой копии или пустая при живом bucket сделала
бы объекты новых вложений «объектами без метаданных», и сверка удалила
бы их в пределах `max_changes`. После восстановления — сначала `make
reconcile` (dry-run), потом `docker compose start cleaner`.
**Доказательства:** `evidence/reconcile/cycle.md` (рабочий стенд: все
шесть классов с обеих сторон, dry-run без изменений, 500 → `--apply` →
404 / 200, повтор, чужой объект, свежий объект после grace, возврат
оригинала), `evidence/reconcile/stress.md` (`--apply` раз в ~3 с под 640
загрузками и отправками: внесённое исправлено, все 640 скачиваются с тем
же SHA-256, повтор — 0), `evidence/reconcile/service.md`,
`evidence/tests/failure-checks.md` (восемь проверок отказов сверки и их
красный прогон на `c13df14`), `evidence/s3/cleaner-list.md`,
`evidence/migrations/lost-at.md`. Стоимость обхода, стратегия «HEAD на
строку», глубокая сверка SHA-256 и ограничение скорости — следующий
change `track2-reconcile-cost`.
### Согласования с преподавателем
| Дата | Договорённость | Где учтено |
@@ -567,11 +720,17 @@ request_timeout_seconds + s3.timeout_seconds` = 17 с. Ожидание мест
строку `mark_ready` не переводит в `ready`, поэтому загрузка,
пережившая grace, получает 503 (`test_upload_outlives_grace`), и даже
сбой уборки после удаления объекта не даёт `ready` без объекта
(`test_cleaner_failure_after_object_delete`). Остаток риска назван в
«Ограничениях»: процесс API заморожен дольше grace посреди самого
PUT, уборщик убрал строку, а S3 принял тело после разморозки и
удалить его API не смог — объект без строки, его находит только сверка
bucket и БД (трек 2); и окно `make rolling_update`.
(`test_cleaner_failure_after_object_delete`). Остаётся случай, когда
процесс API заморожен дольше grace посреди самого PUT, уборщик убрал
строку, а S3 принял тело после разморозки и удалить его API не смог —
объект без строки. Его находит и удаляет сверка bucket и БД (change
`track2-reconciler`): плановая сверка уборщика при старте и раз в час
удаляет объект без строки старше grace, то есть такой зомби живёт не
дольше grace + интервал (~75 мин) — `evidence/reconcile/cycle.md`
(объекты O и B), `test_reconcile_finds_and_fixes`. Строку `ready` без
объекта, если она всё же появится (окно `make rolling_update` со
старыми репликами, удаление мимо API), сверка помечает потерянной:
скачивание — 404, а не 500.
- **Почему случайный object key и приватный bucket не заменяют ACL
приложения?** Приватный bucket закрывает прямой доступ к S3, но
скачивает через API любой аутентифицированный пользователь: кто
@@ -615,9 +774,13 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
`make student_test` через LB (`evidence/tests/`), поэтому строка тестов
рубрики называет `ce1ae2c`. После правок по verify (`9d2ee30`: срок тела
«узкого» API стенда отказов 3 с вместо 2 с, код приложения прежний)
переснято `make failure_checks` (37 / 37,
`evidence/tests/failure-checks.md`) — строки отказов S3, мест загрузки и
срока тела называют `9d2ee30`.
переснято `make failure_checks` (37 / 37). Строки сверки хранилищ (change
`track2-reconciler`, трек 2) — с `c1648d9` на рабочем стенде после
порядка обновления change (`evidence/reconcile/`, `evidence/s3/cleaner-
list.md`, `evidence/migrations/lost-at.md`); с того же commit переснято
`make failure_checks` (45 / 45), `make student_test` через LB и `make
test_isolated` (`evidence/tests/`), поэтому строки отказов S3, мест
загрузки, срока тела и тестов рубрики называют `c1648d9`.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
@@ -628,8 +791,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`9d2ee30`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 240 сценариев 13 спеков, 223 тестами (58 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 45 / 45, код 0 (`c1648d9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
@@ -651,12 +814,15 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `9d2ee30`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `9d2ee30`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `c1648d9`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `c1648d9`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
| «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` |
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте и `make reconcile` — 2 086 объектов и строк, `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` |
| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
@@ -684,6 +850,9 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
| `docker kill` реплики между PUT и фиксацией (перевод в `ready` задержан на 4 с) | 201 до клиента не доходит, после grace — ни строки, ни объекта | клиент — ошибка соединения; до grace строка `pending` и объект есть; после `start-api` и grace — убраны | — ; объектов без строки 0 |
| S3 и PostgreSQL остановлены, пока уборщику есть что убирать | строка остаётся, уборщик не падает и доводит уборку после возврата | после G + 3I при остановленном S3 строка на месте; после `start` S3 — убрана за ≤ I + 5 с, без перезапуска уборщика; готовое вложение цело | ≤ 6 с после возврата S3 |
| `docker compose stop cleaner` во время работы и на старте | выход до SIGKILL, код 0 | 0,57 с, код 0, «Stopped cleaner»; через 0,05–1 с после `up` — «Stopped cleaner before startup», 0,2 с; сразу после `up` (окно запуска интерпретатора) — SIGKILL через 10 с (137) | — |
| Объект мимо API, удалённый объект, удалённая строка, изменённый размер, обрыв COMMIT, чужой ключ (рабочий стенд, `reconcile-cycle`) | dry-run находит всё и ничего не меняет, `--apply` исправляет безопасное, повтор — 0 | 6 находок, снимки до и после dry-run равны; `--apply` — 5 исправлений, чужой ключ остался (код 3); после его удаления и grace — код 0 | объект без строки живёт ≤ grace + интервал сверки; байты помеченного — 404, а не 500 |
| `--apply` раз в ~3 с под 4 × 40 с загрузок и отправок (`reconcile-stress`) | внесённое исправлено, подтверждённое цело | 640 / 640 загрузок скачиваются с тем же SHA-256, новых пометок — только 2 внесённые | потерь нет |
| `docker compose stop cleaner`, пока сверка ждёт замороженный S3 | выход до SIGKILL, код 0, итог «остановка» | 4,7 с, код 0, «Finished reconcile pass» с `interrupted_by: stop` | следующий старт — сверка до конца, расхождений нет |
### Одновременные загрузки: гипотезы (change `upload-memory`)
@@ -883,8 +1052,9 @@ S3 (change `s3-storage`):
компенсации нет — объект остаётся без строки. То же, если PUT прошёл
после уборки, `mark_ready` вернул 0 строк, а удаление при компенсации
не удалось (`warning` «Attachment object kept for cleaner»). Вероятность
мала (запас ×50, заморозка посреди PUT), такой объект находит только
сверка bucket и БД (трек 2). `ready` без объекта при этом не возникает:
мала (запас ×50, заморозка посреди PUT); с change `track2-reconciler`
такой объект удаляет плановая сверка не позже grace + интервал сверки
(~75 мин). `ready` без объекта при этом не возникает:
уборщик помечает строку до удаления объекта, а помеченную `mark_ready`
в `ready` не переводит.
- **Смесь версий уборщика и реплик.** Реплики до `87c48b9` (`f2dc0b3`
@@ -976,3 +1146,40 @@ S3 (change `s3-storage`):
- **`make env_setup` дописывает только отсутствующие переменные**:
пустое или устаревшее значение уже существующей строки он не меняет —
его правят руками.
Сверка хранилищ (change `track2-reconciler`):
- **Источник истины — PostgreSQL.** База из старой копии или пустая при
живом bucket сделает объекты новых вложений «объектами без
метаданных», и сверка удалит их в пределах `max_changes` (100). По
истине БД это верно, но восстановление базы «в живую» при работающем
уборщике опасно: поэтому на время восстановления уборщик
останавливают, а после — сначала `make reconcile` (dry-run).
- **Чужой объект живёт, пока его не удалит оператор**: код 3 и `warning`
на каждом проходе плановой сверки. Удалять непонятное опаснее (в лабе 5
под префиксом появятся варианты).
- **Повреждение того же размера не видно**: сверка поверхностная —
наличие и размер из LIST. Скачивание сверяет тоже только размер.
SHA-256 — глубокая сверка change `track2-reconcile-cost`.
- **Память O(N) на ключи списка** (~15 МБ на 100 тыс. объектов при лимите
уборщика 256 МБ) и **уборка зависших ждёт конца прохода сверки** (на
рабочем стенде — меньше секунды, на 100 тыс. — порядка минуты). Замер —
следующий change.
- **Пометка по ложному «нет объекта»** при неполном списке отсечена HEAD и
проверкой bucket; остаётся bucket, пересозданный пустым между
проверкой и `UPDATE` — тогда пометка верна и снимается сама, когда
объект вернётся.
- **Две сверки разом** (плановая и разовая) — действия идемпотентны,
отчёты могут разойтись в числах `fixed`; блокировки нет.
- **Часы**: `LastModified` — часы ВМ, порог — часы контейнера уборщика
(одни часы), точность `LastModified` — секунда; `updated_at` строк
консольного API на macOS расходится на секунды — меньше grace.
- **Ответ API на потерянный оригинал — трактовка контракта**, вопрос
преподавателю открыт (раздел «Сверка хранилищ»).
- **Старый образ уборщика после `make rolling_update`** — сверки нет, как
до change; новый — `docker compose up -d --no-deps cleaner` (порядок
обновления).
- **Синтетика прогонов драйвера** (`reconcile-cycle`, `reconcile-stress`)
остаётся в рабочей базе и bucket: согласованные вложения и одно
помеченное потерянным за прогон цикла (его байты — 404).
- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин):
объекты нельзя состарить, тесты ждут grace стенда (20 с).
+115
View File
@@ -0,0 +1,115 @@
# Ревизия `5c3e1f0a9b7d`: `attachments.lost_at`
Change `track2-reconciler` (design, решение 6; `migrations.md`). Commit
`c1648d9`, 2026-10-22.
## Временная база: с нуля, повтор, откат, снова `upgrade`, `--sql`
`createdb rc_lost_at_evidence` в контейнере `postgres` рабочего стенда,
`DATABASE__NAME=rc_lost_at_evidence uv run alembic …` с хоста (16:34 UTC),
затем `dropdb`. Из журнала alembic — только поле `event`.
```
== alembic upgrade head (empty database)
"Running alembic"
"Context impl PostgresqlImpl."
"Will assume transactional DDL."
"Running upgrade -> 16c279725564, added messenger tables"
"Running upgrade 16c279725564 -> 42bc3b9be38f, added sessions and password hashes"
"Running upgrade 42bc3b9be38f -> 7652184b7016, added idempotency keys"
"Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id"
"Running upgrade e656d6bbe1a4 -> ef25d50b01a8, added attachments tables"
"Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index"
"Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at"
"Finished alembic"
== alembic upgrade head (repeat)
"Running alembic"
"Context impl PostgresqlImpl."
"Will assume transactional DDL."
"Finished alembic"
== alembic downgrade -1
"Running alembic"
"Context impl PostgresqlImpl."
"Will assume transactional DDL."
"Running downgrade 5c3e1f0a9b7d -> 739b8f04d5fb, added attachments lost_at"
"Finished alembic"
== alembic upgrade head
"Running alembic"
"Context impl PostgresqlImpl."
"Will assume transactional DDL."
"Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at"
"Finished alembic"
== \d attachments (lost_at)
Table "public.attachments"
Column | Type | Collation | Nullable | Default
--------------+--------------------------+-----------+----------+---------
id | uuid | | not null |
lost_at | timestamp with time zone | | |
== select version_num from alembic_version
5c3e1f0a9b7d
== alembic upgrade 739b8f04d5fb:head --sql
BEGIN;
SET LOCAL lock_timeout = '2s';
ALTER TABLE attachments ADD COLUMN lost_at TIMESTAMP WITH TIME ZONE;
UPDATE alembic_version SET version_num='5c3e1f0a9b7d' WHERE alembic_version.version_num = '739b8f04d5fb';
COMMIT;
== dropped rc_lost_at_evidence
```
`SET LOCAL lock_timeout` — первой строкой в той же транзакции, что `ALTER
TABLE … ADD COLUMN` (`ACCESS EXCLUSIVE`, но только каталог: колонка `NULL`
без значения по умолчанию). Повтор — без изменений, откат и возврат
проходят.
## Рабочий стенд: `make rolling_update` (12.1, шаг 2 порядка решения 6)
До: ревизия `739b8f04d5fb`, реплики `mtusi-lab4-api-19`, `-20` на прежнем
образе (`sha256:ea4fa506…`). Политика S3 уборщика уже обновлена (шаг 1,
`evidence/s3/cleaner-list.md`).
```
$ make rolling_update APP_OUT_PORT=8090
API_REPLICAS=2 ROLLOUT_COMMIT="" ROLLOUT_MIGRATE=1 scripts/rolling-update.sh
16:33:33 rolling-update: start: 2 replicas 3b96c600b25a f6915f9b80dc, image mtusi-messenger:lab4 from working tree
16:33:34 rolling-update: build done in 1s
Container mtusi-lab4-migrate-1 Recreate
migrate-1 | {"event": "Running alembic", … "database": "messenger", …}
migrate-1 | {"event": "Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at", … "timestamp": "2026-10-22T16:33:36.215696Z"}
migrate-1 | {"event": "Finished alembic", … "timestamp": "2026-10-22T16:33:36.224792Z"}
migrate-1 exited with code 0
16:33:36 rolling-update: migrate done in 2s
16:33:37 rolling-update: replica 1/2: started new 151df4af59c3
16:33:39 rolling-update: replica 1/2: new 151df4af59c3 addr 192.168.0.5 slot api-2 UP in 3s
16:33:39 rolling-update: replica 1/2: drain old 3b96c600b25a addr 192.168.0.9 slot api-3
16:33:39 rolling-update: replica 1/2: old 3b96c600b25a idle after 0s
16:33:39 rolling-update: replica 1/2: maint slot api-3, stopping old 3b96c600b25a
16:33:40 rolling-update: replica 1/2: removed old 3b96c600b25a (stop 1s, exit 0)
16:33:41 rolling-update: replica 1/2: slot api-3 ready
16:33:41 rolling-update: replica 2/2: started new b5c48ae854d1
16:33:44 rolling-update: replica 2/2: new b5c48ae854d1 addr 192.168.0.9 slot api-3 UP in 3s
16:33:44 rolling-update: replica 2/2: drain old f6915f9b80dc addr 192.168.0.6 slot api-1
16:33:44 rolling-update: replica 2/2: old f6915f9b80dc idle after 0s
16:33:44 rolling-update: replica 2/2: maint slot api-1, stopping old f6915f9b80dc
16:33:45 rolling-update: replica 2/2: removed old f6915f9b80dc (stop 1s, exit 0)
16:33:45 rolling-update: replica 2/2: slot api-1 ready
16:33:45 rolling-update: done: 2 replicas 151df4af59c3 b5c48ae854d1 UP in 12s
exit=0
```
(строки сборки BuildKit опущены). После:
```
$ psql … -c 'select version_num from alembic_version' -c '\d attachments'
5c3e1f0a9b7d
lost_at|timestamp with time zone|||
$ docker compose ps
mtusi-lab4-api-21 mtusi-messenger:lab4 Up 15 seconds (healthy)
mtusi-lab4-api-22 mtusi-messenger:lab4 Up 10 seconds (healthy)
mtusi-lab4-cleaner-1 sha256:c872b13f… Up 10 hours (прежний образ до шага 3)
```
Шаг 3 — `docker compose up -d --no-deps cleaner` (16:33:57): уборщик
пересоздан на новом образе, плановая сверка при старте — `listed_objects
2086, checked_rows 2086, found {}`, 492 мс (`evidence/reconcile/service.md`).
Замена под нагрузкой с этой ревизией — `make bench_rollout_quick` (регресс
12.7).
+166
View File
@@ -0,0 +1,166 @@
# Сверка bucket и БД на рабочем стенде: `driver.py reconcile-cycle`
Change `track2-reconciler` (design, решение 12; спеки `storage-consistency`
«Сверка bucket и БД», «Безопасность сверки», «Потерянный оригинал» и
`attachments` «Потерянный оригинал»). Рабочий стенд `mtusi-lab4` через LB
`127.0.0.1:8090` (порт 8080 хоста занят чужим контейнером), commit
`c1648d9`, 2026-10-22 16:38:15–16:39:58 UTC, после порядка обновления
change (`evidence/migrations/lost-at.md`). Токенов, паролей и ключей S3 в
выводе нет; пользователи и вложения синтетические.
```
$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 reconcile-cycle
```
Что делает прогон (разовая сверка — `docker compose run --rm --no-deps -T
[-e CLEANER__PENDING_GRACE_SECONDS=30] cleaner reconcile [--apply]`):
1. исходный dry-run с grace по умолчанию (900 с) — стенд сведён;
2. синтетические Алиса, Боб и чат; вложения A (в сообщении), B, C;
3. расхождения с обеих сторон: O — объект без строки (стандартный ключ,
`docker exec` реплики, botocore образа её ключами), X — чужой ключ
`…/attachments/x-<uuid>` (так же), объект A удалён (`weed shell
fs.rm`), строка B удалена и размер C изменён (psql), P — триггер,
который роняет COMMIT перевода в `ready` уникального `filename`: 503,
строка `pending` и объект;
4. после grace прогона (30 с) — dry-run и снимки строк (статус и размер),
объектов (`fs.tree`) и пометок `lost_at` до и после;
5. байты A через API до сверки;
6. свежий объект F без строки и сразу `--apply`;
7. повтор, удаление X оператором, повтор; F после grace;
8. возврат оригинала A теми же байтами, `--apply`, итоговый dry-run.
## Вывод
```
initial dry-run (default grace): exit 0
total: listed_objects=2224, checked_rows=2224, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=597
keys of the run:
A: messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original
B: messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original
C: messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original
O: messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original
P: messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original
X: messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4
waiting 31 s for grace 30 s
dry-run (grace 30 s): exit 3
warning orphan_object - messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original id 8de8389b-d20f-464d-b954-ca6877d6d47e age 39 s
warning size_mismatch - messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original id ad586ca1-533e-4fb2-a703-548150d4a3b3 age 40 s size 111818 stored 111817
warning orphan_object - messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original id eb85912c-585e-4952-9edf-d76f4544dd1f age 40 s
warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 39 s
warning missing_object - messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 40 s
warning stale_pending - messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original id da479807-72fc-4c77-b8e3-15c6e99007fd age 38 s
total: listed_objects=2229, checked_rows=2226, found={'orphan_object': 2, 'size_mismatch': 1, 'unknown_object': 1, 'missing_object': 1, 'stale_pending': 1}, fixed={}, remaining=6, fresh_objects=0, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=695
apply (grace 30 s): exit 3
warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 48 s
info stale_pending removed_pending messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original id da479807-72fc-4c77-b8e3-15c6e99007fd age 46 s
info orphan_object deleted_object messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original id 8de8389b-d20f-464d-b954-ca6877d6d47e age 48 s
info orphan_object deleted_object messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original id eb85912c-585e-4952-9edf-d76f4544dd1f age 49 s
info missing_object marked_lost messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 48 s
info size_mismatch marked_lost messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original id ad586ca1-533e-4fb2-a703-548150d4a3b3 age 48 s size 111818 stored 111817
total: listed_objects=2230, checked_rows=2226, found={'orphan_object': 2, 'size_mismatch': 1, 'unknown_object': 1, 'missing_object': 1, 'stale_pending': 1}, fixed={'stale_pending': 1, 'orphan_object': 2, 'missing_object': 1, 'size_mismatch': 1}, remaining=1, fresh_objects=1, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=732
repeat dry-run: exit 3
warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 56 s
total: listed_objects=2227, checked_rows=2226, found={'unknown_object': 1}, fixed={}, remaining=1, fresh_objects=1, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=522
operator removed X (weed shell fs.rm)
dry-run after X is removed: exit 0
total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=1, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=688
waiting 10 s until F is older than grace
apply after F aged: exit 0
info orphan_object deleted_object messenger/attachments/e7d7c326-7006-40f6-ad8c-b8e80326c453/original id e7d7c326-7006-40f6-ad8c-b8e80326c453 age 37 s
total: listed_objects=2226, checked_rows=2226, found={'orphan_object': 1}, fixed={'orphan_object': 1}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=604
apply after A is back: exit 0
info restored_object cleared_lost messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 87 s
total: listed_objects=2226, checked_rows=2226, found={'restored_object': 1}, fixed={'restored_object': 1}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=611
final dry-run: exit 0
total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=695
upload A expected 201 got 201
upload B expected 201 got 201
upload C expected 201 got 201
message with A expected 201 got 201
put O without a row expected 0 got 0
put X (unknown key) expected 0 got 0
upload P with COMMIT failure expected 503 got 503
pending rows of P expected 1 got 1
dry-run exit code expected 3 got 3
dry-run finds O expected orphan_object got orphan_object
dry-run finds B expected orphan_object got orphan_object
dry-run finds A expected missing_object got missing_object
dry-run finds C expected size_mismatch got size_mismatch
dry-run finds P expected stale_pending got stale_pending
dry-run finds X expected unknown_object got unknown_object
dry-run changes rows, objects, marks expected no got no
A content before apply expected 500 got 500
put fresh F expected 0 got 0
apply exit code (X left) expected 3 got 3
apply fixes O expected deleted_object got deleted_object
apply fixes B expected deleted_object got deleted_object
apply fixes A expected marked_lost got marked_lost
apply fixes C expected marked_lost got marked_lost
apply fixes P expected removed_pending got removed_pending
apply touches F (fresh) expected - got -
A and C marked lost expected yes got yes
P row and object expected absent got absent
object O expected absent got absent
object B expected absent got absent
fresh F kept expected present got present
A content after apply expected 404 got 404
A metadata after apply expected 200 got 200
A metadata = upload response expected yes got yes
history keeps A in the message expected yes got yes
repeat finds only X expected X got X
repeat exit code expected 3 got 3
exit code after X is removed expected 0 got 0
F removed after grace expected orphan_object got orphan_object
apply exit code (F) expected 0 got 0
put A original back expected 0 got 0
A restored expected restored_object got restored_object
A content after restore expected 200 got 200
A sha256 = uploaded expected yes got yes
final dry-run exit code expected 0 got 0
driver trigger left expected 0 got 0
PASS: reconcile found and fixed the discrepancies, repeat found 0
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 2,43s user 1,33s system 3% cpu 1:43,49 total
exit=0
```
(Таблица драйвера печатает записи прохода сгруппированными: сначала
«Found», затем «Fixed»; в журнале уборщика порядок — действия по решению
7, затем оставшиеся.)
## Журнал реплик API о байтах A
`docker compose logs --no-log-prefix --since 2026-10-22T16:38:00Z api`,
записи `attachment_service` (поля сокращены):
```
2026-10-22T16:39:05.076742Z error Attachment content is missing b5c48ae854d1 ab2aac83-f080-45b5-9aee-39dad6c7dd1a messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original
2026-10-22T16:39:13.480470Z info Attachment content is lost 151df4af59c3 ab2aac83-f080-45b5-9aee-39dad6c7dd1a messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original
```
До пометки — `error` и 500 (непредвиденное расхождение), после — `info` и
404 без обращения к S3 (спек `service-logging`, «Журнал сверки»).
## Что видно
- **Обе стороны и все шесть классов:** объект без строки (O, B), строка
`ready` без объекта (A), другой размер (C, `size 111818 stored 111817`),
зависшая загрузка (P), чужой ключ (X), затем «оригинал вернулся» (A).
- **Dry-run ничего не меняет:** снимки строк, объектов и пометок до и
после совпали, код 3.
- **`--apply`:** O, B удалены, P убрана шагом уборщика (ни строки, ни
объекта), A и C помечены, их метаданные на месте; свежий F (моложе 30
с) не тронут — `fresh_objects=1`; чужой X остался, код 3.
- **Ответы API:** байты A до сверки — 500, после — 404, метаданные — 200
и равны ответу загрузки, история отдаёт `id` A в сообщении; после
возврата оригинала — 200 с тем же SHA-256.
- **Повтор:** исправимых 0, остался только X; после его удаления
оператором — код 0; F удалён, когда стал старше grace; итоговый
dry-run — код 0, `found={}`. Триггер драйвера снят.
- **Что осталось в рабочей базе:** синтетические пользователи, чат и
вложения прогона; C помечено потерянным (`lost_known=1`: размер в строке
изменён прогоном), его байты — 404, метаданные — 200. Объектов мимо
API (O, X, F) не осталось.
- Повторный прогон того же кода на временном полном стенде apply — код 0,
исходный dry-run остатков прошлого не нашёл (`found={}`,
`lost_known=1`; design, «Уточнения apply», п. 18, задача 10.1).
+116
View File
@@ -0,0 +1,116 @@
# Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды
Change `track2-reconciler` (design, решения 1, 8–10; спеки
`storage-consistency` «Плановая сверка», `service-configuration`
«Параметры сверки», `service-logging` «Журнал сверки», `graceful-shutdown`
«Остановка уборщика»). Рабочий стенд `mtusi-lab4`, commit `c1648d9`,
2026-10-22. Записи — JSON уборщика; поля места вызова (`filename`,
`lineno`, `func_name`) местами убраны, секретов в записях нет.
## Старт с параметрами сверки и плановая сверка при старте
Шаг 3 порядка обновления — `docker compose up -d --no-deps cleaner`
(16:33:57 UTC, уборщик пересоздан на новом образе), `docker compose logs
--no-log-prefix cleaner`:
```
{"event": "Started cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "mode": "service", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": null, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-22T16:34:04.521922Z"}
{"event": "Finished reconcile pass", "instance_id": "b2d0faa20dba", "module": "attachment_reconcile_service", "method": "reconcile", "apply": true, "listed_objects": 2086, "checked_rows": 2086, "found": {}, "fixed": {}, "remaining": 0, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 0, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 492, "level": "info", "timestamp": "2026-10-22T16:34:05.114212Z"}
```
- секции `[reconciler]` в `config.toml` рабочего стенда нет и переменных
`RECONCILER__*` нет: значения по умолчанию — интервал 3600 с, страница
1000, предел 100 (сценарий «Параметры сверки по умолчанию»);
- первая плановая сверка — при старте, с исправлением (`apply: true`):
2 086 объектов и строк, расхождений нет, 492 мс; следующая — через
3600 с. Стенд перед change был сведён (design, Context), находок не
ожидалось.
## Остановка во время сверки, пока вызов S3 ждёт ответа
Сервис остановлен, S3 заморожен, тот же контейнер запущен снова; через
секунду после «Started cleaner» — `docker compose stop cleaner`:
```
== stop the service, pause s3, start the same container
16:42:46
Container mtusi-lab4-cleaner-1 Stopped
Container mtusi-lab4-s3-1 Paused
== docker compose stop cleaner while reconcile waits for S3
16:42:55.080
Container mtusi-lab4-cleaner-1 Stopped
stop took 4.7 s
exit code 0, finished 2026-10-22T16:42:59.614528006Z
Container mtusi-lab4-s3-1 Unpaused
== cleaner log of this start
{"event": "Stopped cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-22T16:42:46.533057Z"}
{"event": "Started cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "mode": "service", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": null, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-22T16:42:53.625598Z"}
{"event": "Object storage is unavailable", "instance_id": "b2d0faa20dba", "module": "object_storage", "operation": "list_objects_v2", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/", "duration_ms": 5005, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-22T16:42:58.728456Z"}
{"event": "Finished reconcile pass", "instance_id": "b2d0faa20dba", "module": "attachment_reconcile_service", "method": "reconcile", "apply": true, "listed_objects": 0, "checked_rows": 0, "found": {}, "fixed": {}, "remaining": 0, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 0, "refused": false, "unlogged": 0, "interrupted_by": "stop", "duration_ms": 5006, "level": "warning"}
{"event": "Stopped cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-22T16:42:58.732278Z"}
== start again
{"event": "Started cleaner", … "timestamp": "2026-10-22T16:43:04.873617Z"}
{"event": "Finished reconcile pass", … "apply": true, "listed_objects": 2866, "checked_rows": 2868, "found": {}, "fixed": {}, "remaining": 0, … "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 620, "level": "info", "timestamp": "2026-10-22T16:43:05.669960Z"}
```
- первая страница списка ждала замороженный S3; SIGTERM пришёл в 16:42:55,
текущий вызов доведён до своего срока (5 с, `TimeoutError`), новых
страниц и действий не было; итог — `interrupted_by: "stop"`, затем
«Stopped cleaner», код 0;
- `docker compose stop cleaner` — 4,7 с, меньше `stop_grace_period` 10 с,
без SIGKILL (сценарий `graceful-shutdown` «docker stop во время
сверки»);
- после `unpause` и нового старта плановая сверка при старте прошла до
конца без расхождений — прерванный проход ничего не оставил.
Пока S3 был заморожен (~13 с), загрузки и скачивания вложений стенда
отвечали 503 — на стенде в это время запросов не было.
## Отказ старта на неверных параметрах сверки
```
== RECONCILER__PAGE_SIZE=5000
{"event": "Invalid cleaner settings", "instance_id": "1e1f521efc1c", "module": "cleaner", "errors": [{"loc": "reconciler.page_size", "msg": "Input should be less than or equal to 1000"}], "level": "error", "timestamp": "2026-10-22T16:43:18.776215Z"}
exit=2
== RECONCILER__MAX_CHANGES=0 reconcile
{"event": "Invalid cleaner settings", "instance_id": "ff5187209505", "module": "cleaner", "errors": [{"loc": "reconciler.max_changes", "msg": "Input should be greater than or equal to 1"}], "level": "error", "timestamp": "2026-10-22T16:43:21.888941Z"}
exit=2
== RECONCILER__INTERVAL_SECONDS=-1
{"event": "Invalid cleaner settings", "instance_id": "0d31ad7e1041", "module": "cleaner", "errors": [{"loc": "reconciler.interval_seconds", "msg": "Input should be greater than or equal to 0"}], "level": "error", "timestamp": "2026-10-22T16:43:24.952389Z"}
exit=2
== reconcile --max-changes 0
usage: python -m src.cleaner reconcile [-h] [--apply]
[--max-changes MAX_CHANGES]
python -m src.cleaner reconcile: error: argument --max-changes: must be at least 1
exit=2
```
Команды — `docker compose run --rm --no-deps -T -e <переменная> cleaner
[reconcile]`: уборщик не стартует, запись называет поле без значения, код
2 (сценарий «Неверный параметр сверки»).
## Коды разового прохода: 3 и 0
Чужой объект под префиксом вложений (ключ `…/attachments/x-service-<uuid>`,
записан `docker exec` реплики её ключами), через 32 с — dry-run с grace
30 с, затем объект удалён оператором (`weed shell fs.rm`) и `make
reconcile`:
```
put foreign object messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49
== make reconcile (grace 30 s), foreign object older than grace
{"event": "Started cleaner", "module": "cleaner", "mode": "reconcile", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info"}
{"event": "Found storage discrepancy", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "kind": "unknown_object", "object_key": "messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49", "attachment_id": null, "age_seconds": 39, "level": "warning"}
{"event": "Finished reconcile pass", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "listed_objects": 2867, "checked_rows": 2868, "found": {"unknown_object": 1}, "fixed": {}, "remaining": 1, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 813, "level": "warning"}
{"event": "Stopped cleaner", "module": "cleaner", "exit_code": 3, "level": "info"}
exit=3
removed messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49
== make reconcile
Finished reconcile pass {} 0
Stopped cleaner 0
exit=0
```
Код 3 — расхождение осталось (чужой объект сверка не удаляет), код 0 —
расхождений нет. Код 1 (прерван отказом) — `test_reconcile_object_storage_
stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`).
+75
View File
@@ -0,0 +1,75 @@
# Сверка под нагрузкой: `driver.py reconcile-stress`
Change `track2-reconciler` (design, решение 12; спек `storage-consistency`,
«Сверка под нагрузкой»; гипотеза 5 трека 2 — «ничего подтверждённого не
удалено»). Рабочий стенд `mtusi-lab4` через LB `127.0.0.1:8090`, commit
`c1648d9`, 2026-10-22 16:41:02–16:42:15 UTC, сразу после
`evidence/reconcile/cycle.md`. Это проверка корректности, а не замер:
паспорт хоста не снимался, тихий хост не нужен. Токенов и ключей в выводе
нет.
```
$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 reconcile-stress
```
Прогон (параметры по умолчанию: `--seconds 40 --clients 4`):
1. предусловие — dry-run с grace 20 с: расхождений нет (иначе код 2);
2. внесено: два объекта без строки (стандартные ключи, `docker exec`
реплики её ключами) и два готовых вложения без объекта (`weed shell
fs.rm`); всем станет больше grace посреди нагрузки;
3. 4 клиента (Алиса и Боб по очереди) 40 с загружают PNG ~100 KiB из шума
(200 × 170, свой на каждую загрузку) и сразу отправляют сообщение с его
`id`, пауза клиента 0,2 с; поток сверки — `--apply` с grace 20 с раз в
~3 с (разовый контейнер уборщика), после нагрузки — ещё один проход;
4. в конце — каждое вложение, ответившее 201, скачивается и сверяется по
SHA-256, история чата постранично — у каждого сообщения своё вложение,
новые пометки потерянных сравниваются с внесёнными, повтор dry-run.
## Вывод
```
precondition dry-run (grace 20 s): exit 0
total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=606
load: 4 clients for 40 s, apply every 3 s
repeat dry-run: exit 0
total: listed_objects=2866, checked_rows=2868, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=3, refused=False, interrupted_by=None, duration_ms=632
uploads by status: 201=640
messages sent: 640
reconcile passes: 0, 0, 0, 0, 0, 0, 0, 0, 0
fixed by class: missing_object=2, orphan_object=2
put object without a row expected 0 got 0
put object without a row expected 0 got 0
uploads 201 expected >0 got >0
uploads not 201 expected 0 got 0
passes interrupted (exit 1) expected 0 got 0
objects without a row removed expected yes got yes
new lost marks = injected expected yes got yes
downloads with other sha256 expected 0 got 0
messages with unavailable attachment expected 0 got 0
thread errors expected 0 got 0
repeat dry-run exit code expected 0 got 0
PASS: reconcile found and fixed the discrepancies, repeat found 0
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 8,03s user 1,41s system 12% cpu 1:12,92 total
exit=0
```
## Что видно
- **640 загрузок 201 и 640 сообщений** за 40 с; 9 проходов `--apply` (8
во время нагрузки и один после), все с кодом 0 — ни один не прерван.
- **Внесённое исправлено:** оба объекта без строки удалены
(`orphan_object=2`), оба вложения без объекта помечены
(`missing_object=2`); новых пометок ровно две — внесённые.
- **Подтверждённое не тронуто:** каждое из 640 вложений скачивается с тем
же SHA-256, у каждого сообщения — своё вложение; свежие загрузки (моложе
20 с) сверка не считала расхождениями, а объекты загрузок в полёте
(строка `pending`) не трогала: её строки на них ссылаются.
- **Повтор — 0:** `found={}`, `lost_known=3` (два внесённых и C из
`cycle.md`); `checked_rows` на 2 больше `listed_objects` — это два
помеченных вложения без объекта.
- В рабочем bucket остались 640 синтетических объектов прогона (~64 МБ)
с их строками — это согласованные вложения, сверка их не считает
расхождениями.
- Тот же сценарий проверки отказов — `test_reconcile_under_load` (`make
failure_checks`, `evidence/tests/failure-checks.md`).
+154
View File
@@ -0,0 +1,154 @@
# Список объектов ключом уборщика: политика, bootstrap, `make s3_check`
Change `track2-reconciler` (design, решение 2; спек `object-storage`,
«Ограниченные учётные данные уборщика», «Проверка приватности вне API»).
Рабочий стенд `mtusi-lab4`, commit `c1648d9`, 2026-10-22 16:32–16:34 UTC.
Секреты в выводе — `<set>`; ключей и подписей нет.
## Окружение `s3-bootstrap` в `docker compose config`
Префикс списка — из `POSTGRES_DB`, не секрет; ключи — только как факт.
```
{'HOME': '/tmp', 'S3_API_ACCESS_KEY': '<set>', 'S3_API_SECRET_KEY': '<set>', 'S3_BUCKET': 'messenger', 'S3_CLEANER_ACCESS_KEY': '<set>', 'S3_CLEANER_LIST_PREFIX': 'messenger/attachments/', 'S3_CLEANER_SECRET_KEY': '<set>', 'S3_PORT': '8333', 'WEED_JWT_FILER_SIGNING_KEY': '<set>'}
```
У сервиса `cleaner` префикса нет: свой префикс уборщик строит из имени
базы (`attachment_object_repo.originals_prefix`).
## Bootstrap с новой политикой (шаг 1 порядка обновления, решение 6)
```
$ docker compose up -d s3-bootstrap
Container mtusi-lab4-s3-1 Running
Container mtusi-lab4-s3-1 Healthy
Container mtusi-lab4-s3-bootstrap-1 Started
$ docker compose logs --no-log-prefix --since 2026-10-22T16:32:00Z s3-bootstrap
s3-bootstrap: bucket messenger exists
s3-bootstrap: user api exists
s3-bootstrap: user cleaner exists
s3-bootstrap: checks passed (api key put/get; cleaner key get/delete and list messenger/attachments/; api key list and bucket create, cleaner key put and list of the bucket, anonymous get and list denied)
exit 0 started 2026-10-22T16:32:31.925946049Z finished 2026-10-22T16:32:34.554294759Z
```
Политика на сервере (`weed shell s3.policy -get -name=cleaner-objects`,
только чтение):
```
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:GetObject","s3:DeleteObject"],"Resource":"arn:aws:s3:::messenger/*"},{"Effect":"Allow","Action":"s3:ListBucket","Resource":"arn:aws:s3:::messenger","Condition":{"StringLike":{"s3:prefix":"messenger/attachments/*"}}}]}
```
Политика на рабочем стенде применилась уже раньше: в apply `make
test_isolated` зовёт `make start_s3`, а тот — bootstrap со смонтированным
`infra/s3/bootstrap.sh` рабочего дерева. Повтор выше — no-op по bucket и
пользователям и та же политика.
## `make s3_check`
```
$ make s3_check
python3 .claude/skills/run-mtusi-messenger/driver.py s3-check
S3 s3:8333 (host 127.0.0.1:8334), bucket messenger, image chrislusf/seaweedfs:4.48
where check expected got verdict
server anonymous access setting none none ok
server api key put object 200 200 ok
server api key get object 200 200 ok
server api key head object 200 200 ok
server api key get missing object 404 404 ok
server api key list objects 403 403 ok
server api key create bucket 403 403 ok
server api key delete bucket 403 403 ok
server api key get bucket policy 403 403 ok
server api key put bucket policy 403 403 ok
server api key get bucket acl 403 403 ok
server api key put bucket acl public-read 403 403 ok
server api key put object acl public-read 403 403 ok
server api key put cleaner probe object 200 200 ok
server cleaner key get object 200 200 ok
server cleaner key head object 200 200 ok
server cleaner key delete object 204 204 ok
server cleaner key delete object again 204 204 ok
server api key get deleted object 404 404 ok
server cleaner key delete missing object 204 204 ok
server cleaner key put object 403 403 ok
server cleaner key list objects 403 403 ok
server cleaner key list attachments prefix 200 200 ok
server cleaner key list other prefix 403 403 ok
server cleaner key create bucket 403 403 ok
server cleaner key delete bucket 403 403 ok
server cleaner key get bucket policy 403 403 ok
server cleaner key put bucket policy 403 403 ok
server cleaner key get bucket acl 403 403 ok
server cleaner key put bucket acl public-read 403 403 ok
server cleaner key put object acl public-read 403 403 ok
server api key put object to other bucket 403 403 ok
server api key get object from other bucket 403 403 ok
server api key list other bucket 403 403 ok
server api key delete other bucket 403 403 ok
server cleaner key get object from other bucket 403 403 ok
server cleaner key delete object in other bucket 403 403 ok
server cleaner key list other bucket 403 403 ok
server cleaner key delete other bucket 403 403 ok
server anonymous get object 403 403 ok
server anonymous head object 403 403 ok
server anonymous get missing object 403 403 ok
server anonymous list objects 403 403 ok
server anonymous list buckets 403 403 ok
server anonymous put object 403 403 ok
server anonymous create bucket 403 403 ok
host anonymous get object 403 403 ok
host anonymous head object 403 403 ok
host anonymous get missing object 403 403 ok
host anonymous list objects 403 403 ok
host anonymous list buckets 403 403 ok
host anonymous put object 403 403 ok
server listening outside loopback 8333 18333 8333 18333 ok
network anonymous get object 403 403 ok
network anonymous head object 403 403 ok
network anonymous get missing object 403 403 ok
network anonymous list objects 403 403 ok
network anonymous list buckets 403 403 ok
network anonymous put object 403 403 ok
network port 8333 (S3 API / gRPC of gateway) open open ok
network port 18333 (S3 API / gRPC of gateway) open open ok
network port 8080 (loopback only) closed closed ok
network port 8888 (loopback only) closed closed ok
network port 9333 (loopback only) closed closed ok
network port 18080 (loopback only) closed closed ok
network port 18888 (loopback only) closed closed ok
network port 19333 (loopback only) closed closed ok
network port 43567 (loopback only) closed closed ok
server temporary buckets left 0 0 ok
server probe objects left 0 0 ok
PASS: 70 checks, bucket messenger is private
exit=0
```
Новые строки change — «cleaner key list attachments prefix» (200) и
«cleaner key list other prefix» (403, префикс `.s3-check/`); «cleaner key
list objects» (весь bucket) и «cleaner key list other bucket» — 403, как
были.
## Проба bootstrap на временном проекте (apply, до commit)
Проект `rcapply`: SeaweedFS проекта на tmpfs 16 ГБ, синтетические секреты,
`infra/s3/bootstrap.sh` и `docker-compose.yml` рабочего дерева (тот же код,
что `c1648d9`):
- первый запуск и два повтора — код 0 («bucket messenger created», «user …
created», затем «exists»);
- `S3_CLEANER_LIST_PREFIX` = `messenger/`, `*`, `messenger/attachments/x`,
пустое, `a/b/attachments/`, `x\nmessenger/attachments/`,
`Messenger/attachments/` — каждый «FAILED: cleaner list prefix:
S3_CLEANER_LIST_PREFIX must be <database>/attachments/» и код 1;
- `check` — «cleaner key list objects» 403, «… attachments prefix» 200, «…
other prefix» 403, «… other bucket» 403.
Клиентом приложения ключом уборщика там же: 2 504 ключа под
`messenger/attachments/` — 3 страницы по 1000 за 0,29 с, у каждого
`LastModified`; список всего bucket, `messenger/other/` и
`test_messenger/attachments/` — `ObjectStorageUnavailable` («Object storage
denied access», `AccessDenied`); после `s3.bucket.delete` список и проба
bucket — `ObjectStorageUnavailable` («Object storage bucket is missing»,
`NoSuchBucket`), а не пустая страница. Проект удалён, volumes совпали с
исходными (design, «Уточнения apply», п. 14).
+198 -77
View File
@@ -1,29 +1,31 @@
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3 и местами загрузки
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой
- Дата: 2026-10-22, 13:11:36–13:16:29 UTC.
- Commit: `9d2ee30` (правки по verify change `upload-memory`: срок тела
«узкого» API 3 с вместо 2 с — запас держателя места в
`test_upload_slots_busy`; код приложения `src/` — прежний, `97a4be4`:
места загрузки процесса, срок тела, одна копия тела при PUT, буферы
LB). Рабочее дерево чистое, образ собран из него.
- Дата: 2026-10-22, 16:45:12–16:53:19 UTC.
- Commit: `c1648d9` (change `track2-reconciler`: сверка bucket и БД в
процессе уборщика, колонка `lost_at`, список по префиксу у ключа
уборщика, восемь новых проверок отказов). Рабочее дерево — `c1648d9`
(вне commit — только файлы `evidence/`), образ собран из него.
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не
публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с
(`failures.compose.yml`, `restart: "no"`); три API на `127.0.0.1`:
обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении,
«тесный» (сроки сессии и ключа 2 с, пул 1) и с change `upload-memory`
«узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, ожидание
1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время запущен на
том же коде приложения (`make rolling_update` в 12:24, LB — на
`127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта).
и S3 (с bootstrap, пользователи `api` и `cleaner`, у уборщика список
только с префиксом `messenger/attachments/`), порты хранилищ не
публикуются; уборщик `cleaner` с grace 20 с, интервалом 1 с и **без
плановой сверки** (`RECONCILER__INTERVAL_SECONDS: "0"`,
`failures.compose.yml`, `restart: "no"`) — сверку запускают тесты через
hook; три API на `127.0.0.1`: обычный — с `MAX_UPLOAD_BYTES=1` и
`MAX_IMAGE_PIXELS=1` в окружении, «тесный» (сроки сессии и ключа 2 с,
пул 1) и «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди,
ожидание 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время
запущен на том же коде (порядок обновления change в 16:32–16:34, LB —
на `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта).
Docker Desktop 29.9.1, Apple M3 Pro.
- Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с;
`87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с;
`ce1ae2c` — 37 из 37 за 255 с при сроке тела «узкого» API 2 с (пять
новых тестов мест загрузки и срока тела). Сейчас — 37 из 37 за 263 с
при сроке тела 3 с (раздел «Места загрузки и срок тела» ниже).
`ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с. Сейчас —
45 из 45 за 462 с: +8 проверок сверки (раздел «Сверка bucket и БД»
ниже), им нужны ожидания grace стенда (20 с) для объектов без строки и
~35 с нагрузки.
## Итог: код 0, 37 из 37
## Итог: код 0, 45 из 45
Вывод сборки образа (BuildKit), строки `Container …` compose, записи
alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к
@@ -37,58 +39,65 @@ python3 student-tests/run_failures.py
[failure_checks] start postgres, valkey and s3
[failure_checks] migrations
[failure_checks] s3 bootstrap
[failure_checks] start cleaner: grace 20 s, interval 1 s
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
[failure_checks] start api containers
[failure_checks] ready: api=http://127.0.0.1:52585 tight=http://127.0.0.1:52599 uploads=http://127.0.0.1:52607
[failure_checks] ready: api=http://127.0.0.1:50460 tight=http://127.0.0.1:50464 uploads=http://127.0.0.1:50468
[failure_checks] pytest -m fault
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
collecting ... collected 235 items / 198 deselected / 37 selected
collecting ... collected 243 items / 198 deselected / 45 selected
student-tests/test_failures.py::test_expired_token PASSED [ 2%]
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 5%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 8%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 10%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 13%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 16%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 18%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 21%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 24%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 27%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 29%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 32%]
student-tests/test_failures.py::test_flush_cache PASSED [ 35%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 37%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 40%]
student-tests/test_failures.py::test_valkey_back PASSED [ 43%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 45%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 48%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 51%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 54%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 56%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 59%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 62%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 64%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 67%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 70%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 72%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 75%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 78%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 81%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 83%]
student-tests/test_failures.py::test_object_storage_paused PASSED [ 86%]
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 89%]
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 91%]
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 94%]
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 97%]
student-tests/test_failures.py::test_slow_body PASSED [100%]
================ 37 passed, 198 deselected in 262.87s (0:04:22) ================
[failure_checks] postgres log: 444 lines, crash markers 0; "too many clients" 32, "administrator command" 142
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 4%]
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 6%]
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 8%]
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 11%]
student-tests/test_failures.py::test_pool_exhausted PASSED [ 13%]
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 15%]
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 17%]
student-tests/test_failures.py::test_readiness_without_database PASSED [ 20%]
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 22%]
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 24%]
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 26%]
student-tests/test_failures.py::test_flush_cache PASSED [ 28%]
student-tests/test_failures.py::test_valkey_stopped PASSED [ 31%]
student-tests/test_failures.py::test_valkey_paused PASSED [ 33%]
student-tests/test_failures.py::test_valkey_back PASSED [ 35%]
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 37%]
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 40%]
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 42%]
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 44%]
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 46%]
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 48%]
student-tests/test_failures.py::test_interrupted_body PASSED [ 51%]
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 53%]
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 55%]
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 57%]
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 60%]
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 62%]
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 64%]
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 66%]
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 68%]
student-tests/test_failures.py::test_object_storage_paused PASSED [ 71%]
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 73%]
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 75%]
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 77%]
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 80%]
student-tests/test_failures.py::test_slow_body PASSED [ 82%]
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 84%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 86%]
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 88%]
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 91%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%]
student-tests/test_failures.py::test_reconcile_under_load PASSED [ 97%]
student-tests/test_failures.py::test_scheduled_reconcile PASSED [100%]
================ 45 passed, 198 deselected in 462.06s (0:07:42) ================
[failure_checks] postgres log: 438 lines, crash markers 0; "too many clients" 23, "administrator command" 142
[failure_checks] cleanup
[failure_checks] results: {'fault': 0, 'postgres': 0}
exit=0
make failure_checks 2>&1 56,10s user 20,95s system 15% cpu 8:07,69 total
```
Вся команда — ~4 мин 55 с (13:11:36–13:16:29). «too many clients» и
Вся команда — 8 мин 07 с (16:45:12–16:53:19). «too many clients» и
«administrator command» — следы проверок «Предел соединений PostgreSQL
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
аварийного перезапуска нет.
@@ -96,23 +105,80 @@ exit=0
## Уборка и рабочий стенд
```
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # после прогона
/mtusi-lab4-api-19 2026-10-22T12:24:16.659281295Z
/mtusi-lab4-api-20 2026-10-22T12:24:34.073897804Z
/mtusi-lab4-cleaner-1 2026-10-22T06:29:15.606982427Z
/mtusi-lab4-haproxy-1 2026-10-22T06:30:24.692639417Z
/mtusi-lab4-postgres-1 2026-10-22T06:29:08.988292382Z
/mtusi-lab4-s3-1 2026-10-22T06:29:08.828629465Z
/mtusi-lab4-valkey-1 2026-10-22T06:29:08.904727882Z
left: containers 0, volumes 0
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после прогона — одинаково
/mtusi-lab4-api-21 2026-10-22T16:38:07.188747593Z
/mtusi-lab4-api-22 2026-10-22T16:37:49.487956001Z
/mtusi-lab4-cleaner-1 2026-10-22T16:42:59.905412465Z
/mtusi-lab4-haproxy-1 2026-10-22T16:37:23.189875503Z
/mtusi-lab4-postgres-1 2026-10-22T16:36:57.034778213Z
/mtusi-lab4-s3-1 2026-10-22T16:37:12.007644429Z
/mtusi-lab4-valkey-1 2026-10-22T16:36:57.056768422Z
$ docker ps -aq --filter label=com.docker.compose.project=mtusi-lab4-failures | wc -l
0
$ docker volume ls -q | wc -l
155
```
- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние —
реплики после `make rolling_update` в 12:24:16 и 12:24:34; прогон — с
13:11:36): рабочий стенд не тронут. Список docker volumes до и после
прогона один и тот же (155 имён, совпал хэш списка).
- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — после
`make test-persistence`, `make test-failover` и остановки уборщика для
`evidence/reconcile/service.md` в 16:36–16:43; прогон — с 16:45:12), и
время старта после прогона то же: рабочий стенд не тронут. Список docker
volumes до и после прогона один и тот же (155 имён).
- У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes.
## Сверка bucket и БД (change `track2-reconciler`)
Hook вносит расхождения с обеих сторон (`put-object` — процесс в
контейнере обычного API его ключами, `delete-object` — `weed shell fs.rm`,
`delete-row`, `set-size`, `age-row` — psql) и запускает разовую сверку
(`reconcile dry-run|apply [предел]` — одноразовый контейнер уборщика
стенда, записи журнала и код выхода). Записи фильтруются по своим `id` и
ключам, код выхода сверяется с записями того же прохода. Объекты
состарить нельзя (`LastModified` ставит S3) — тесты с объектом без строки
ждут G + 1 = 21 с; строки состаривает `age-row`.
- «Расхождения с обеих сторон найдены», «Исправление расхождений»,
«Повторная сверка», `attachments` «Потерянный оригинал»
(`test_reconcile_finds_and_fixes`; уборщик стенда остановлен на время
теста): A в сообщении без объекта, B без строки, C с другим размером, O
мимо API, P — обрыв COMMIT (строка `pending` и объект); dry-run — у
каждого свой класс (`missing_object`, `orphan_object` ×2,
`size_mismatch`, `stale_pending`), возраст ≥ G, код 3, строки, объекты и
пометки не изменились, байты A — 500; `--apply` — O и объект B удалены,
у P ни строки, ни объекта, A и C помечены, байты A — 404, метаданные A
равны ответу загрузки; повтор — своих записей нет, код соответствует
записям.
- «Свежие не тронуты», «Используемое вложение не удаляется», «Чужой
объект не удаляется» (`…_keeps_fresh_used_and_unknown`): у вложения в
сообщении объект удалён — помечено, метаданные 200, история отдаёт его
`id`, ни одна `ready` строка не пропала; свежие объект без строки и
вложение без объекта — не тронуты, `fresh_objects` и `fresh_rows` ≥ 1;
ключ `…/attachments/x-<uuid>` — «unknown_object», код 3, следующий
проход снова его видит.
- «Оригинал вернулся» (`…_restored_original`): помечено → те же байты под
ключом → `--apply` — `restored_object` / `cleared_lost`, байты 200 с тем
же SHA-256, следующий dry-run — ни одной записи о нём.
- «Предел изменений» (`…_change_limit`): три потери при пределе 2 — код
3, `error` «Reconcile changes exceed limit» с `changes` ≥ 3 и
`max_changes` 2, итог `warning` с `refused: true`, ни одной пометки; с
пределом 100 — помечены все три.
- «S3 недоступен во время сверки» (`…_object_storage_stopped`): S3
остановлен — код 1, `interrupted_by: object_storage`, ни одного «Fixed»;
после возврата — помечено.
- «Прерванная сверка доводится повтором» (`…_interrupted_by_database`):
триггер роняет пометку одного вложения (08006) — код 1,
`interrupted_by: database`; после снятия — помечены оба, dry-run их не
находит.
- «Сверка под нагрузкой» (`…_under_load`): два объекта без строки и две
потери; 4 потока ~35 с загружают PNG ~100 KiB из шума и отправляют
сообщения, поток сверки — `--apply` раз в 3 с: внесённое исправлено,
каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё
вложение, новые пометки — только внесённые, ни один проход не прерван.
- «Плановая сверка без команды» (`test_scheduled_reconcile`): отдельный
уборщик `<проект>-cleaner-scheduled` с `RECONCILER__INTERVAL_SECONDS=1`
на 6 с — в журнале «Finished reconcile pass» с `apply: true`, потеря
помечена без разового прохода.
## Места загрузки и срок тела (change `upload-memory`)
«Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела
@@ -319,3 +385,58 @@ Tasks (1.5) ждали зелёными `test_slot_released_after_failures` и
(design, решение 11), которого прежний код не выполняет; второй проверяет
полную очередь (ответ 429 ожидавшей) — design change `upload-memory`,
«Уточнения apply», п. 2.
## Красный прогон до кода `track2-reconciler` (apply, 2026-10-22)
Окончательные тесты, hook, `run_failures.py` и `failures.compose.yml`
change против кода приложения `c13df14` (последний commit до кода change;
код тот же, что `5f4b9ff`): `git archive c13df14` во временный каталог,
поверх — `student-tests/` рабочего дерева apply, `python3
student-tests/run_failures.py -k reconcile` из него (16:07–16:09 UTC).
Рабочий стенд не трогался.
```
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied)
student-tests/test_failures.py::test_reconcile_finds_and_fixes FAILED [ 12%]
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown FAILED [ 25%]
student-tests/test_failures.py::test_reconcile_restored_original FAILED [ 37%]
student-tests/test_failures.py::test_reconcile_change_limit FAILED [ 50%]
student-tests/test_failures.py::test_reconcile_object_storage_stopped FAILED [ 62%]
student-tests/test_failures.py::test_reconcile_interrupted_by_database FAILED [ 75%]
student-tests/test_failures.py::test_reconcile_under_load FAILED [ 87%]
student-tests/test_failures.py::test_scheduled_reconcile FAILED [100%]
E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist
E AssertionError: assert {} == {'messenger/attachments/x-…': 'unknown_object'}
E AssertionError: assert {} == {'1c6bae15-…': 'missing_object'}
E assert 2 == 3 # Reconcile(records=[], exit_code=2)
E assert 2 == 1 # Reconcile(records=[], exit_code=2)
E AssertionError: fault hook fail-attachments mark fault-….png: … ERROR: column "lost_at" of relation "attachments" does not exist
E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist
E AssertionError: {"event": "Started cleaner", …} {"event": "Stopped cleaner", …} # assert passes — итога сверки нет
================= 8 failed, 235 deselected in 95.20s (0:01:35) =================
[failure_checks] postgres log: 67 lines, crash markers 0; "too many clients" 0, "administrator command" 0
[failure_checks] results: {'fault': 1, 'postgres': 0}
```
Причины — отсутствие нового поведения в прежнем коде, а не тестов и не
стенда:
| Тест | Падение | Причина |
|---|---|---|
| `test_reconcile_finds_and_fixes` | `lost-ids`: нет колонки `lost_at` | миграции change нет |
| `test_reconcile_keeps_fresh_used_and_unknown` | ни одной записи «Found» | команды `reconcile` нет: argparse, код 2 |
| `test_reconcile_restored_original` | ни одной записи «Fixed» | то же |
| `test_reconcile_change_limit` | код 2 вместо 3 | то же |
| `test_reconcile_object_storage_stopped` | код 2 вместо 1 | то же |
| `test_reconcile_interrupted_by_database` | триггер `BEFORE UPDATE OF lost_at` не создать | колонки нет |
| `test_reconcile_under_load` | `lost-ids`: нет колонки | то же |
| `test_scheduled_reconcile` | в журнале уборщика только «Started» и «Stopped cleaner» | плановой сверки нет |
Первый красный прогон того же кода (с тестами до правок apply — design
change `track2-reconciler`, «Уточнения apply», пп. 15 и 17) тоже дал 8
failed за 99,5 с; его вывод сохранился не полностью, поэтому снят этот.
На новом коде первые два прогона `-k reconcile` падали на дефектах
самих тестов и hook (`start cleaner` через `compose start` требовал
контейнер `migrate`; сравнение метаданных строк, которые изменил сам
hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45.
+40 -50
View File
@@ -1,36 +1,35 @@
# `make student_test` через балансировщик
- Дата: 2026-10-22, 12:34:28–12:35:09 UTC (пересъёмка после change
`upload-memory`).
- Commit: `ce1ae2c` (код — `97a4be4`); вне commit — только документы
(`evidence/`, `tasks.md`, `PLAN.md`), код стенда собран из дерева с
тем же `src/`.
- Стенд: рабочий `mtusi-lab4` после `make rolling_update` (12:24) —
`BASE_URL=http://localhost:8090`: **LB на 8090, а не на 8080 из
`.env`**, порт 8080 хоста занят контейнером другого проекта
(`domains-api-1`); `EXPECT_REPLICAS=2` (`API_REPLICAS`): реплики
`3b96c600b25a` и `f6915f9b80dc`, PostgreSQL, Valkey, S3, уборщик
`cleaner`. Тесты реплик выполняются, проверки отказов (`fault`) — нет
(`-m 'not fault'`, их гоняет `make failure_checks`, `failure-checks.md`).
- Что изменилось с прежнего снимка (commit `87c48b9`): change
`upload-memory` — новый тест `test_concurrent_uploads` («Загрузки в
пределах лимита», 10 одновременных загрузок PNG ~1 MiB), пять новых
проверок отказов мест загрузки и срока тела (`deselected` 37 вместо 32)
и два исключения сверки — «Одна копия тела при записи в S3» и «Память
не растёт с числом загрузок» со ссылкой на метку
`evidence/uploads/baseline/summary.md` (`make bench_uploads`, commit
`ce1ae2c`). Итог сверки — 227 сценариев в 13 спеках, 210 с тестами (45
— проверками отказов), 17 исключений.
- Файлы исключений сверки покрытия есть в репозитории (прежние шесть —
commit `8dc925e`, метка `baseline` — `ce1ae2c`):
`test_exclusion_evidence_exists` зелёный.
- Дата: 2026-10-22, 16:35:03–16:35:42 UTC (пересъёмка после change
`track2-reconciler`; второй прогон 16:35:55–16:36:33 — счёт по модулям).
- Commit: `c1648d9`, дерево чистое.
- Стенд: рабочий `mtusi-lab4` после порядка обновления change (`docker
compose up -d s3-bootstrap` → `make rolling_update` → `docker compose up
-d --no-deps cleaner`, 16:32–16:34) — `BASE_URL=http://localhost:8090`:
**LB на 8090, а не на 8080 из `.env`**, порт 8080 хоста занят
контейнером другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2`
(`API_REPLICAS`): реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на
ревизии `5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Тесты
реплик выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`,
их гоняет `make failure_checks`, `failure-checks.md`).
- Что изменилось с прежнего снимка (commit `ce1ae2c`): change
`track2-reconciler` — восемь новых проверок отказов сверки bucket и БД
(`deselected` 45 вместо 37) и 13 новых сценариев в основных спеках:
12 у `storage-consistency` (сверка, её безопасность, потерянный
оригинал, отказы хранилищ, плановая сверка) и «Потерянный оригинал» у
`attachments`. Все они покрыты проверками отказов: итог сверки — 240
сценариев в 13 спеках, 223 с тестами (58 — проверками отказов), 17
исключений. Тестов вне `fault` change не добавил: 198, как раньше.
- Файлы исключений сверки покрытия есть в репозитории, новых исключений
нет: `test_exclusion_evidence_exists` зелёный.
## Итог
```
$ make student_test BASE_URL=http://localhost:8090
coverage: 227 scenarios in 13 specs, 210 tested (45 by make failure_checks), 17 excluded
===================== 198 passed, 37 deselected in 40.23s ======================
collecting ... collected 243 items / 45 deselected / 198 selected
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
===================== 198 passed, 45 deselected in 38.55s ======================
exit=0
```
@@ -59,37 +58,28 @@ exit=0
## Строки тестов реплик и гонок (`-rsP`)
```
two series of 18 requests: {'f6915f9b80dc': 18, '3b96c600b25a': 18}
uploaded via f6915f9b80dc, downloaded via ['3b96c600b25a', 'f6915f9b80dc']
sent via f6915f9b80dc, replayed via ['3b96c600b25a']
409 via ['3b96c600b25a', 'f6915f9b80dc']
one session, 20 requests: {'3b96c600b25a': 10, 'f6915f9b80dc': 10}
written via f6915f9b80dc, read via {'3b96c600b25a': 3, 'f6915f9b80dc': 3}
two series of 18 requests: {'151df4af59c3': 18, 'b5c48ae854d1': 18}
uploaded via 151df4af59c3, downloaded via ['151df4af59c3', 'b5c48ae854d1']
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
sent via 151df4af59c3, replayed via ['b5c48ae854d1']
409 via ['151df4af59c3', 'b5c48ae854d1']
one session, 20 requests: {'b5c48ae854d1': 10, '151df4af59c3': 10}
written via 151df4af59c3, read via {'b5c48ae854d1': 3, '151df4af59c3': 3}
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
key race through replicas: {'3b96c600b25a': 5, 'f6915f9b80dc': 5}
key race through replicas: {'151df4af59c3': 5, 'b5c48ae854d1': 5}
```
- Change `upload-memory`: `test_concurrent_uploads` — 10 участников одного
чата загружают по PNG ~1 MiB через LB одновременно (за
`threading.Barrier`, каждый своим соединением): все 201 с разными `id`,
загрузки пересекались по времени, каждое вложение скачивается
побайтно. 4 места и очередь 16 на реплику при параметрах по умолчанию
их вмещают.
- Вложения лабы 4: 34 теста спека `attachments` (`test_attachments.py`)
и пять сценариев рубрики «4» лабы 4 в `test_rubric.py` (слишком
большой файл, повреждённое изображение, подмена MIME, чужое
`attachment_id`, вложение другого чата): каждая ошибка клиента — 4xx
в формате контракта, не 500. «Скачивание через другую реплику»:
загрузку принял `f6915f9b80dc`, оригинал отдал и `3b96c600b25a`.
- `test_filename_not_utf8` (сценарий «Имя не в UTF-8»):
`filename=a%FFb.png`, `a%C3.png`, `a%ED%A0%80b.png` — 400,
`%C3%A9t%C3%A9.png` — 201 с `été.png`.
- Вложения лабы 4: 34 теста спека `attachments` и пять сценариев рубрики
«4» лабы 4 в `test_rubric.py` — прежние, на новом коде (ветка
`lost_at` в скачивании касается только помеченных сверкой вложений).
«Скачивание через другую реплику»: загрузку принял `151df4af59c3`,
оригинал отдали обе реплики.
- Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в
истории; гонка регистрации — один 201; гонка одного ключа через
реплики — одно сообщение.
- Сверка покрытия: все 227 сценариев 13 спеков — тест (210, из них 45
проверками отказов, в том числе все 9 сценариев `storage-consistency`)
- Сверка покрытия: все 240 сценариев 13 спеков — тест (223, из них 58
проверками отказов, в том числе все 21 сценарий `storage-consistency`)
или исключение с доказательством (17).
+19 -11
View File
@@ -3,21 +3,29 @@
- Спек `student-tests`: «Прогон на временной базе» (уборка префикса
`test_<db>/`, «Хвост прошлого прогона», «Сохранить базу для разбора»).
Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11.
- Раздел 0 — пересъёмка после change `upload-memory` (зелёная). Разделы
1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки с тех пор
не менялся (`student-tests/run_isolated.py`), а красное в них —
- Раздел 0 — пересъёмка после change `track2-reconciler` (зелёная).
Разделы 1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки с
тех пор не менялся (`student-tests/run_isolated.py`), а красное в них —
ожидаемое до `attachments`, как сказано ниже. Прежние снимки раздела
0: commit `d56b892` (change `attachments`) — 191 passed, 5 skipped, 23
deselected; `5b42bd2` — 192 passed, 5 skipped, 29 deselected, сверка
212 / 33; `87c48b9` — 192 passed, 5 skipped, 32 deselected, сверка 215
/ 36.
/ 36; `ce1ae2c` (change `upload-memory`) — 193 passed, 5 skipped, 37
deselected, сверка 227 / 210 / 45 / 17.
## 0. Пересъёмка: код 0 (change `upload-memory`)
## 0. Пересъёмка: код 0 (change `track2-reconciler`)
- Дата: 2026-10-22, 12:32:21–12:34:02 UTC.
- Commit: `ce1ae2c` (код — `97a4be4`); рабочее дерево — только
незакоммиченные документы (`evidence/`, `tasks.md`, `PLAN.md`), образ
собирается из дерева, код совпадает с commit.
- Дата: 2026-10-22, 16:55:37–16:57:28 UTC.
- Commit: `c1648d9`; рабочее дерево — только незакоммиченные файлы
`evidence/`, образ собирается из дерева, код совпадает с commit.
- Что изменилось: восемь новых проверок отказов сверки (`deselected` 45
вместо 37) и 13 новых сценариев спеков, покрытых ими (сверка 240 / 223 /
58 / 17); тестов вне `fault` столько же. Миграции временной базы — с
ревизией `5c3e1f0a9b7d` (`lost_at`). Перед прогоном `start_s3` запускает
bootstrap: политика уборщика со списком по префиксу (строка «cleaner key
get/delete and list messenger/attachments/»). Объекты `test_messenger/`
сверка рабочего стенда не видит: её список — только
`messenger/attachments/`.
- Стенд: рабочий `mtusi-lab4` (с уборщиком `cleaner`); временная база
`test_messenger`, один контейнер API `mtusi-lab4-test-api` на
`127.0.0.1:18088` без LB (`EXPECT_REPLICAS=1`), Valkey и S3 стенда
@@ -43,13 +51,13 @@ $ make test_isolated
[test_isolated] make test
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
[test_isolated] make student_test
coverage: 227 scenarios in 13 specs, 210 tested (45 by make failure_checks), 17 excluded
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
SKIPPED [1] student-tests/test_attachments.py:701: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
=========== 193 passed, 5 skipped, 37 deselected in 88.67s (0:01:28) ===========
=========== 193 passed, 5 skipped, 45 deselected in 97.87s (0:01:37) ===========
[test_isolated] cleanup
[test_isolated] remove objects /buckets/messenger/test_messenger/
[test_isolated] results: {'test': 0, 'student_test': 0}
+39 -8
View File
@@ -409,7 +409,7 @@ Commit делает основная сессия после подтвержд
## 12. Прогоны и evidence
- [ ] 12.1 Commit кода (основная сессия, после подтверждения). Затем
- [x] 12.1 Commit кода (основная сессия, после подтверждения). Затем
рабочий стенд по порядку решения 6:
- `docker compose up -d s3-bootstrap`;
- `make rolling_update`;
@@ -424,11 +424,24 @@ Commit делает основная сессия после подтвержд
test-failover ACTION_SCRIPT=scripts/stop-one.sh` для обеих реплик —
с `BASE_URL` LB;
- `make s3_check`.
- [ ] 12.2 `evidence/reconcile/cycle.md` — вывод `driver.py --port 8090
Сделано 2026-10-22 16:32–16:38 UTC, commit `c1648d9`: `up -d
s3-bootstrap` — код 0, «cleaner key get/delete and list
messenger/attachments/» (политика на стенде уже стояла: её применил
bootstrap из `make test_isolated` в apply); `make rolling_update
APP_OUT_PORT=8090` — 12 с, `739b8f04d5fb` → `5c3e1f0a9b7d`, реплики
`151df4af59c3`, `b5c48ae854d1`, старые — `exit 0`; `up -d --no-deps
cleaner` — плановая сверка при старте: 2 086 объектов и строк, `found
{}`; `make reconcile` — код 0; `make s3_check` — 70 проверок, PASS;
`make test` — PASS; `make student_test` — 198 passed; `make
test-persistence` — PASS; `make test-failover` — PASS для
`b5c48ae854d1` (113 записей, восстановление 1,6 с) и `151df4af59c3`
(118, 1,2 с), между ними `make replicas`. LB остался на `8090`.
- [x] 12.2 `evidence/reconcile/cycle.md` — вывод `driver.py --port 8090
reconcile-cycle` с датой и commit.
- [ ] 12.3 `evidence/reconcile/stress.md` — вывод `driver.py --port 8090
- [x] 12.3 `evidence/reconcile/stress.md` — вывод `driver.py --port 8090
reconcile-stress`.
- [ ] 12.4 `evidence/reconcile/service.md`:
- [x] 12.4 `evidence/reconcile/service.md`:
- «Started cleaner» с параметрами сверки;
- плановая сверка при старте;
- `docker compose stop cleaner` во время сверки при `docker compose
@@ -436,16 +449,22 @@ Commit делает основная сессия после подтвержд
`unpause`;
- отказ старта с `RECONCILER__PAGE_SIZE=5000`;
- коды разового прохода 0 и 3.
- [ ] 12.5 Остальное evidence:
- [x] 12.5 Остальное evidence:
- `evidence/s3/cleaner-list.md` — bootstrap с новой политикой, `make
s3_check`, окружение `s3-bootstrap` в `docker compose config`;
- `evidence/migrations/lost-at.md` — вывод 3.1 и `make rolling_update`
12.1 с ревизией до и после.
- [ ] 12.6 `evidence/tests/`:
- [x] 12.6 `evidence/tests/`:
- `failure-checks.md` — полный прогон и раздел красного прогона 1.4;
- `student-test-lb.md`;
- вывод `make test_isolated`.
- [ ] 12.7 Регресс:
Сделано с `c1648d9`: `make failure_checks` — 45 из 45 за 462 с (8 мин
07 с), crash markers 0, рабочий стенд не тронут; раздел красного
прогона (8 из 8 на `c13df14`); `make student_test` через LB — 198
passed, сверка 240 / 223 / 58 / 17; `make test_isolated` — 193 passed,
5 skipped, код 0, префикс `test_messenger/` и база убраны.
- [x] 12.7 Регресс:
- `make bench_quick`;
- `bench_failover_quick`;
- `bench_rollout_quick` (замена `e1161f7` → новая ревизия под
@@ -454,7 +473,19 @@ Commit делает основная сессия после подтвержд
- `make test_isolated` — код 0 у каждой.
Метки `quick-*` в git не идут.
- [ ] 12.8 `REPORT.md`:
Сделано 2026-10-22 с `c1648d9` (в паспортах `dirty: true` — только
неотслеживаемые файлы `evidence/`): `bench_quick` — 18/18, код 0
(прерванный паузой лимита прогон 16:58 переснят, его каталог удалён);
`bench_failover_quick` — 4/4, ошибок 0–2 на фазу (502 при `stop` /
`kill`, как в прежних метках), сообщений = ключей 9 204; `bench_rollout_
quick` — замена `e1161f7` → текущий за 8,62 с, ревизия `e656d6bbe1a4`
→ `5c3e1f0a9b7d`, ошибок 0 / 0 / 0, старых после дренажа 0, 7 301 = 7 301;
`bench_restore_quick` — код 0, RTO 5,02 с; `make test_isolated` — код 0
(12.6). Предупреждения хоста о swap — это не замеры. Контейнеров
`mtusi-bench*` после — 0, volumes — 155; `make reconcile` на рабочем
стенде после всего — `found {}`, код 0.
- [x] 12.8 `REPORT.md`:
- раздел «Сверка хранилищ (трек 2, change `track2-reconciler`)» —
классы, проход, правила безопасности, предел, права S3, ответы API
и вопрос преподавателю, плановая сверка;