docs: add track2-reconciler evidence and report
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -231,7 +231,7 @@ RustFS. В `.claude/rules/settings.md` MinIO упомянут только пр
|
||||
| 2 | `attachments` | 3 (+4: тесты) | миграция, домен `attachment`, ручки, `attachment_ids` в сообщениях, тесты | зелёные `make test`, `test-persistence`, `test-failover`, свой сценарий отказа загрузившей реплики; негативные тесты; evidence исключений переснят; **код — `116d8d3`, гонка `bench_restore` — `d56b892`; evidence 2026-10-20 с `d56b892`: `evidence/attachments/`, исключения, `evidence/tests/` (196 / 191 + 5 пропусков / 23 из 23), `test-failover` для обеих реплик; правки verify — `dba40bc`, после них `student_test` 197 и `failure_checks` 24 из 24, `bench_rollout` `attachments` переснят с `e1f8531` на чистом дереве (8,67 с, ошибок 0, 12 001 = 12 001); заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-attachments/` |
|
||||
| 3 | `upload-consistency` | 4 | намерение до PUT, компенсация, уборщик с grace period, тесты отказов | `make failure_checks` с отказами S3 и БД посреди загрузки: нет 500, нет неучтённых объектов старше grace period; **код — `5b42bd2`; evidence 2026-10-21 с него: `evidence/attachments/consistency.md` и `cleaner-process.md`, `evidence/s3/cleaner-key.md`, `evidence/migrations/pending-index.md`, `evidence/tests/`; `REPORT.md` — раздел «Согласованность БД и S3», ответ на вопрос «PUT прошёл, COMMIT нет», строки уровня «4». Правки по verify (W1–W4, S1) — код `87c48b9`: пометка строки уборщиком до удаления объекта, тесты неизвестного COMMIT, загрузки дольше grace и сбоя уборки после удаления объекта; evidence 2026-10-21 с него: `evidence/tests/` (`failure_checks` 32 из 32, `student_test` 197, сверка 215 / 36, `test_isolated` 192 + 5 пропусков), `cleaner-process.md` раздел 7 (отказ S3 во время прохода); `REPORT.md` — пометка, остаточный риск и окно `rolling_update`. Правки по повторному verify (W1, S1, S2) — код `5889ca2`: уборщик в два шага, объект и строка одной транзакцией под блокировкой, смеси версий не хуже, чем до правки, порядок обновления; evidence 2026-10-21 с него: `evidence/tests/failure-checks.md` (32 из 32 за 228 с), `cleaner-process.md` раздел 7, S2 в `student-test-lb.md` (8 сценариев `storage-consistency`); `REPORT.md` — два шага, «Зачем DELETE объекта под блокировкой», смесь версий; заархивирован 2026-10-21** — `openspec/changes/archive/2026-10-21-upload-consistency/` |
|
||||
| 4 | `upload-memory` | 4 | лимит загрузок на реплику, сроки тела, профиль `uploads` | замер ≥ 10 одновременных загрузок: пик памяти ограничен, механизм объяснён; **код — `6cab9d3` (места загрузки, срок тела, одна копия тела при PUT, буферы и сроки LB) и `97a4be4` (буфер приёма LB от клиента 128 KiB); метка `evidence/uploads/baseline/` с `97a4be4` (commit `ce1ae2c`, принята с пометкой о swap хоста); evidence 2026-10-22: `evidence/uploads/lb-timeouts.md` и `rollout-upload.md`, `evidence/tests/` (`student_test` 198, `test_isolated` 193 + 5 пропусков); `REPORT.md` — «Память и сроки загрузки», гипотезы H1–H4 и выводы по метке. Правки по verify — код `9d2ee30`: разбор сводки профиля, спеки буфера LB и одной копии тела, срок тела «узкого» API 3 с; evidence с него: `evidence/tests/failure-checks.md` (37 из 37 за 263 с, commit `569a164`); заархивирован 2026-10-22** — `openspec/changes/archive/2026-10-22-upload-memory/` |
|
||||
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено |
|
||||
| 5 | `track2-reconciler` | 5 | reconciler: dry-run / apply, классы расхождений, внедрение ошибок, доказательство безопасности | ошибки внесены с обеих сторон, обнаружены, исправлены; повторный запуск находит 0; под загрузками ничего подтверждённого не удалено; **код — `c1648d9` (сверка в процессе уборщика, `make reconcile`, плановая сверка, `lost_at` и 404 потерянного оригинала, список по префиксу у ключа уборщика); evidence 2026-10-22 с него: `evidence/reconcile/cycle.md` (6 классов с обеих сторон, повтор 0, возврат оригинала), `stress.md` (640 / 640 с тем же SHA-256 под `--apply`), `service.md`, `evidence/s3/cleaner-list.md` (70 проверок), `evidence/migrations/lost-at.md`, `evidence/tests/` (`failure_checks` 45 из 45 за 462 с и красный прогон 8 из 8 на `c13df14`, `student_test` 198, `test_isolated` 193 + 5 пропусков); `REPORT.md` — «Сверка хранилищ», строки уровня «5», ограничения, ответ «PUT прошёл, COMMIT нет»; вопрос 1 преподавателю (ответ API на потерянный оригинал) открыт** |
|
||||
| 6 | `track2-reconcile-cost` | 5 | гипотезы, профиль стоимости обхода, стратегии, графики | метки в `evidence/`, выводы по гипотезам и ограничения в `REPORT.md` |
|
||||
| 7 | — (отчёт и PR) | 3–5 | сводка `REPORT.md`, чистый clone, шаблон PR, уборка этого файла | PR `ЛР 4 — БВТ2301 — Сафронов — на 5` |
|
||||
|
||||
|
||||
@@ -388,9 +388,12 @@ timeout_seconds`) внутри срока шага 6 с, меньше
|
||||
**Права S3 уборщика** — свой пользователь `cleaner`: чтение и удаление
|
||||
объектов своего bucket, без записи, списка и прав на bucket; ключи
|
||||
`S3_CLEANER_*` только у `s3-bootstrap` и `cleaner` (`make s3_check` — 68
|
||||
проверок, `evidence/s3/cleaner-key.md`). Чтение сейчас не используется
|
||||
проверок, `evidence/s3/cleaner-key.md`). Уборка чтение не использует
|
||||
(HEAD перед удалением не нужен: удаление идемпотентно, а промах HEAD — не
|
||||
основание удалять) и оставлено для глубокой сверки трека 2.
|
||||
основание удалять). С change `track2-reconciler` уборщику добавлен
|
||||
список объектов — только с префиксом вложений своей базы — для сверки
|
||||
bucket и БД (раздел «Сверка хранилищ»; 70 проверок
|
||||
`evidence/s3/cleaner-list.md`).
|
||||
|
||||
**Отказы хранилищ в уборщике.** S3 недоступен, не ответил, отказал в
|
||||
доступе или bucket нет — транзакция уборки откатывается, строка остаётся
|
||||
@@ -519,6 +522,156 @@ request_timeout_seconds + s3.timeout_seconds` = 17 с. Ожидание мест
|
||||
`evidence/uploads/rollout-upload.md`, `evidence/tests/student-test-lb.md`
|
||||
(10 одновременных загрузок через LB).
|
||||
|
||||
### Сверка хранилищ (трек 2, change `track2-reconciler`)
|
||||
|
||||
Уровень «5», трек 2 «Согласованность двух хранилищ»: повторяемый
|
||||
reconciler объектов без метаданных и метаданных без объектов — с dry-run,
|
||||
исправлением и повторным запуском, не трогающий свежее и используемое.
|
||||
Уборщик идёт только от строк `pending`, поэтому два остаточных риска
|
||||
`upload-consistency` без сверки не находил никто: объект без строки
|
||||
(PUT-зомби после уборки) и строку `ready` без объекта (сбой мимо API,
|
||||
объект удалён вручную). Объект, удалённый мимо API, до change давал 500
|
||||
на каждое скачивание.
|
||||
|
||||
**Где работает.** Сверка — часть процесса уборщика, а не реплик API: у
|
||||
уборщика уже есть свой пул, ключи на чтение и удаление и долгоживущий
|
||||
процесс. Разовый проход — `make reconcile` (`docker compose run --rm
|
||||
--no-deps cleaner reconcile [--apply] [--max-changes N]`), по умолчанию
|
||||
dry-run. Плановая — в сервисе `cleaner` при старте и раз в
|
||||
`[reconciler] interval_seconds`, с исправлением. Отдельный сервис и
|
||||
пользователь S3 `reconciler` отвергнуты: второй процесс с доступом к той
|
||||
же базе и ещё два секрета ради почти пустого разделения прав.
|
||||
|
||||
**Классы расхождений** (`ReconcileFinding`):
|
||||
|
||||
| Класс | Что это | `--apply` |
|
||||
| --- | --- | --- |
|
||||
| `orphan_object` | объект `<база>/attachments/<id>/original`, строки этого `id` нет и на ключ никто не ссылается | объект удаляется |
|
||||
| `missing_object` | строка `ready`, объекта по её ключу нет | оригинал помечается потерянным (`lost_at`) |
|
||||
| `size_mismatch` | строка `ready`, размер объекта ≠ `size_bytes` | помечается потерянным, объект не удаляется |
|
||||
| `stale_pending` | строка `pending` старше grace (то же, что убирает уборщик) | убирается шагом уборщика (пометка, затем объект и строка под блокировкой) |
|
||||
| `restored_object` | оригинал помечен, а объект снова есть того же размера | пометка снимается |
|
||||
| `unknown_object` | ключ под префиксом, которого API не пишет, или `<id>/original`, у строки которого другой ключ | только отчёт и код 3 — не удаляется никогда |
|
||||
|
||||
**Проход** (design, решение 3): (1) S3 → БД — страницы ListObjectsV2 по
|
||||
префиксу `<база>/attachments/` (`[reconciler] page_size`, 1000), на
|
||||
страницу одно выражение к БД `id = ANY(:ids) OR object_key = ANY(:keys)`
|
||||
(Bitmap OR по `pk_attachments` и `uq_attachments_object_key`, 1,5 мс на
|
||||
1000 ключей; по `id` в 15 раз дешевле, чем по тексту ключа); каждый ключ
|
||||
— в множество; (2) БД → S3 — keyset строк `ready` по `id` (Index Scan
|
||||
`pk_attachments`, 0,6 мс на 1000), ключа нет в множестве — «метаданные
|
||||
без объекта»; (3) зависшие загрузки; (4) перепроверка каждого кандидата
|
||||
в БД и HEAD — в обоих режимах; (5) предел изменений; (6) с `--apply` —
|
||||
действия: зависшие → объекты без строки → пометки → снятия пометок,
|
||||
перед каждым ещё раз своё условие. Слияние двух отсортированных потоков
|
||||
отвергнуто: порядок списка SeaweedFS — обход каталогов, а не порядок
|
||||
байтов (проба), на нестандартных ключах оно дало бы ложные расхождения.
|
||||
Цена множества — память O(N), ~15 МБ на 100 тыс. объектов.
|
||||
|
||||
**Почему два снимка (список и строки) не дают ложных расхождений.** API
|
||||
пишет строку до PUT: если объект попал в список, строка его загрузки уже
|
||||
зафиксирована и видна выборке, которая идёт после. Строка `ready` старше
|
||||
порога стала `ready` до прохода, а её объект записан ещё раньше — список
|
||||
его видит; неполный ответ списка отсекает HEAD.
|
||||
|
||||
**Безопасность** (решение 4):
|
||||
- **что удаляется** — только объект без строки и зависшая загрузка;
|
||||
строки `ready`, используемые вложения (FK `message_attachments`),
|
||||
объект, на который ссылается строка любого статуса, и чужой ключ — ни
|
||||
в каком классе;
|
||||
- **свежее** — grace общий с уборщиком (`[cleaner] pending_grace_seconds`,
|
||||
900 с): объект — по `LastModified` S3, строка `ready` — по `updated_at`,
|
||||
`pending` — по `created_at`; свежее не считается расхождением;
|
||||
- **перепроверка непосредственно перед действием** — строка в БД (по
|
||||
`id` и по ключу) и HEAD объекта; не подтвердилось — действие не
|
||||
выполняется;
|
||||
- **bucket на месте** — отсутствие объекта подтверждается только после
|
||||
списка с `MaxKeys=1`: удалённый bucket — `NoSuchBucket`, проход прерван,
|
||||
а не «потеря всех оригиналов»;
|
||||
- **предел изменений** — удалений, пометок и снятий больше
|
||||
`[reconciler] max_changes` (100) — ни одного из них, `error` с числом и
|
||||
пределом, код 3; больше — аргументом `--max-changes`. Он защищает от
|
||||
сверки с «чужой» базой (пустой или из старой копии при живом bucket) и
|
||||
от пустого пересозданного bucket. Абсолютный, а не доля: на маленьком
|
||||
стенде доля слишком мала, на большом — велика;
|
||||
- **параллельность** — сверка и уборщик, две сверки разом не мешают друг
|
||||
другу: зависшие — под той же `FOR UPDATE SKIP LOCKED` и пометкой,
|
||||
удаление объекта и условный `UPDATE` идемпотентны.
|
||||
|
||||
**Права S3 уборщика.** Политика `cleaner-objects` получила `s3:ListBucket`
|
||||
с условием `StringLike s3:prefix <база>/attachments/*` (SeaweedFS 4.48 его
|
||||
соблюдает: весь bucket, `test_<db>/`, `.s3-check/` и HEAD bucket — 403).
|
||||
Префикс bootstrap берёт из `POSTGRES_DB` (`S3_CLEANER_LIST_PREFIX`,
|
||||
проверка `^[a-z0-9_]+/attachments/$`), уборщик строит свой из имени базы.
|
||||
`make s3_check` — 70 проверок, новые строки списка уборщика
|
||||
(`evidence/s3/cleaner-list.md`).
|
||||
|
||||
**Потерянный оригинал и ответы API** (решение 5). Пометка — колонка
|
||||
`attachments.lost_at` (ревизия `5c3e1f0a9b7d`, `ADD COLUMN … NULL` под
|
||||
`SET LOCAL lock_timeout`), `status` и `updated_at` не меняются. Ответы:
|
||||
скачивание помеченного — **404** `not_found` без обращения к S3 (запись
|
||||
`info` «Attachment content is lost»), непомеченного без объекта — 500,
|
||||
как было; метаданные — 200 тем же `Attachment`; ссылка в новом сообщении
|
||||
— 201; после снятия пометки — снова 200 с байтами. Статус `lost` /
|
||||
`failed` отвергнут: контракт лабы 4 знает только `ready`, и прежние
|
||||
реплики упали бы на неизвестном значении при `make rolling_update`.
|
||||
**Это вопрос преподавателю** (`PLAN.md`, `### track2-reconciler`,
|
||||
«Вопросы», п. 1): в контракте рядом «Отсутствующий вариант ready-объекта
|
||||
— 404», «404 — объекта нет» и «Неожиданное исключение — 500». Сделан
|
||||
вариант по умолчанию; ответ «иначе» меняет одну ветку `open_content`,
|
||||
сценарий и тесты, но не сверку.
|
||||
|
||||
**Плановая сверка и параметры** (`[reconciler]`, решения 9–10):
|
||||
|
||||
| Параметр | По умолчанию | Почему |
|
||||
| --- | --- | --- |
|
||||
| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,5–0,8 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её |
|
||||
| `page_size` | 1000 (1–1000) | больше S3 за страницу не отдаёт; одно выражение к БД на страницу |
|
||||
| `max_changes` | 100 | см. «Безопасность»; разовый проход принимает больший аргументом |
|
||||
|
||||
Своего grace у сверки нет — одна ручка «свежести» на всю
|
||||
согласованность, со своей проверкой границы живой загрузки. Пока идёт
|
||||
проход сверки, уборка зависших ждёт его конца. На стенде отказов
|
||||
плановая сверка выключена (её запускают тесты), в `bench/` — тоже.
|
||||
|
||||
**Журнал и коды.** Находка, которая осталась, — `warning` «Found storage
|
||||
discrepancy» (класс, ключ, `id`, возраст, размеры, если разные),
|
||||
исправленная — `info` «Fixed storage discrepancy» с действием, итог —
|
||||
«Finished reconcile pass» (просмотрено, найдено и исправлено по классам,
|
||||
свежие, уже помеченные, длительность, причина прерывания), предел —
|
||||
`error`; отдельных записей не больше 1000 за проход. Коды разового
|
||||
прохода: 0 — расхождений нет, 3 — остались (чужие или отказ по пределу),
|
||||
1 — прерван отказом S3 / PostgreSQL / сигналом, 2 — конфигурация. SIGTERM
|
||||
во время сверки: текущий вызов доводится (≤ 5 с), новых страниц и
|
||||
действий нет, сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`).
|
||||
|
||||
**Порядок обновления** (решение 6): `docker compose up -d s3-bootstrap`
|
||||
(политика со списком) → `make rolling_update` (миграция, затем реплики) →
|
||||
`docker compose up -d --no-deps cleaner`. Смеси не хуже, чем до change:
|
||||
прежние реплики колонку не читают (у помеченного без объекта — 500, как
|
||||
раньше); новый уборщик на прежней политике получает `AccessDenied` на
|
||||
списке — проход сверки прерван, уборка работает. Откат — сначала
|
||||
уборщик, потом реплики; колонка и пометки остаются и прежнему коду не
|
||||
мешают.
|
||||
|
||||
**На время восстановления базы уборщик останавливают** (`docker compose
|
||||
stop cleaner`): база из старой копии или пустая при живом bucket сделала
|
||||
бы объекты новых вложений «объектами без метаданных», и сверка удалила
|
||||
бы их в пределах `max_changes`. После восстановления — сначала `make
|
||||
reconcile` (dry-run), потом `docker compose start cleaner`.
|
||||
|
||||
**Доказательства:** `evidence/reconcile/cycle.md` (рабочий стенд: все
|
||||
шесть классов с обеих сторон, dry-run без изменений, 500 → `--apply` →
|
||||
404 / 200, повтор, чужой объект, свежий объект после grace, возврат
|
||||
оригинала), `evidence/reconcile/stress.md` (`--apply` раз в ~3 с под 640
|
||||
загрузками и отправками: внесённое исправлено, все 640 скачиваются с тем
|
||||
же SHA-256, повтор — 0), `evidence/reconcile/service.md`,
|
||||
`evidence/tests/failure-checks.md` (восемь проверок отказов сверки и их
|
||||
красный прогон на `c13df14`), `evidence/s3/cleaner-list.md`,
|
||||
`evidence/migrations/lost-at.md`. Стоимость обхода, стратегия «HEAD на
|
||||
строку», глубокая сверка SHA-256 и ограничение скорости — следующий
|
||||
change `track2-reconcile-cost`.
|
||||
|
||||
### Согласования с преподавателем
|
||||
|
||||
| Дата | Договорённость | Где учтено |
|
||||
@@ -567,11 +720,17 @@ request_timeout_seconds + s3.timeout_seconds` = 17 с. Ожидание мест
|
||||
строку `mark_ready` не переводит в `ready`, поэтому загрузка,
|
||||
пережившая grace, получает 503 (`test_upload_outlives_grace`), и даже
|
||||
сбой уборки после удаления объекта не даёт `ready` без объекта
|
||||
(`test_cleaner_failure_after_object_delete`). Остаток риска назван в
|
||||
«Ограничениях»: процесс API заморожен дольше grace посреди самого
|
||||
PUT, уборщик убрал строку, а S3 принял тело после разморозки и
|
||||
удалить его API не смог — объект без строки, его находит только сверка
|
||||
bucket и БД (трек 2); и окно `make rolling_update`.
|
||||
(`test_cleaner_failure_after_object_delete`). Остаётся случай, когда
|
||||
процесс API заморожен дольше grace посреди самого PUT, уборщик убрал
|
||||
строку, а S3 принял тело после разморозки и удалить его API не смог —
|
||||
объект без строки. Его находит и удаляет сверка bucket и БД (change
|
||||
`track2-reconciler`): плановая сверка уборщика при старте и раз в час
|
||||
удаляет объект без строки старше grace, то есть такой зомби живёт не
|
||||
дольше grace + интервал (~75 мин) — `evidence/reconcile/cycle.md`
|
||||
(объекты O и B), `test_reconcile_finds_and_fixes`. Строку `ready` без
|
||||
объекта, если она всё же появится (окно `make rolling_update` со
|
||||
старыми репликами, удаление мимо API), сверка помечает потерянной:
|
||||
скачивание — 404, а не 500.
|
||||
- **Почему случайный object key и приватный bucket не заменяют ACL
|
||||
приложения?** Приватный bucket закрывает прямой доступ к S3, но
|
||||
скачивает через API любой аутентифицированный пользователь: кто
|
||||
@@ -615,9 +774,13 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||
`make student_test` через LB (`evidence/tests/`), поэтому строка тестов
|
||||
рубрики называет `ce1ae2c`. После правок по verify (`9d2ee30`: срок тела
|
||||
«узкого» API стенда отказов 3 с вместо 2 с, код приложения прежний)
|
||||
переснято `make failure_checks` (37 / 37,
|
||||
`evidence/tests/failure-checks.md`) — строки отказов S3, мест загрузки и
|
||||
срока тела называют `9d2ee30`.
|
||||
переснято `make failure_checks` (37 / 37). Строки сверки хранилищ (change
|
||||
`track2-reconciler`, трек 2) — с `c1648d9` на рабочем стенде после
|
||||
порядка обновления change (`evidence/reconcile/`, `evidence/s3/cleaner-
|
||||
list.md`, `evidence/migrations/lost-at.md`); с того же commit переснято
|
||||
`make failure_checks` (45 / 45), `make student_test` через LB и `make
|
||||
test_isolated` (`evidence/tests/`), поэтому строки отказов S3, мест
|
||||
загрузки, срока тела и тестов рубрики называют `c1648d9`.
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
@@ -628,8 +791,8 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||
| «3»: остановка загрузившей реплики → download через другую | `driver.py --port 8080 attachment-failover --mode stop` и `--mode kill` | загрузку принял `5f5d4ac50d9a`, `stop-one.sh` его остановил (`stop` и `kill`), метаданные и байты — 200 от `847ad74efd7c`, SHA-256 совпал, посторонний — 404; после `make replicas` обе `UP` | `evidence/attachments/failover.md` |
|
||||
| «3»: restart с volumes сохраняет метаданные и оригинал | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` (`LAB=4`) | PASS: прежний токен читает данные, оригинал вложения тот же; `StartedAt` новый у всех шести контейнеров (API, LB, PostgreSQL, Valkey, S3) | `evidence/replicas/test-persistence.md` |
|
||||
| «3»: failover с записью | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` (каждая реплика, `stop` и `kill`, `STOP_ONE_LOG`) | 4 × PASS, `failed_attempts` 0, восстановление 0,76–1,2 с; `STOP_ONE_LOG` — оба контейнера | `evidence/failover/test-failover.md` |
|
||||
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `ce1ae2c`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 227 сценариев 13 спеков, 210 тестами (45 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 37 / 37, код 0 (`9d2ee30`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||
| «4»: тесты большого файла, повреждённого изображения, подмены MIME, чужого `attachment_id`, вложения другого чата; ошибка клиента не 500 | `make student_test` через LB (`test_rubric.py`: пять сценариев лабы 4), `make test_isolated` | 198 passed через LB, 193 passed + 5 пропусков тестов реплик в одном процессе (оба — `c1648d9`); каждая ошибка — 4xx в формате контракта; сверка покрытия: 240 сценариев 13 спеков, 223 тестами (58 — проверками отказов), 17 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: отказы S3 на путях вложений, отклонённая загрузка ничего не оставляет | `make failure_checks` | 45 / 45, код 0 (`c1648d9`): S3 остановлен — загрузка 503, ровно одна новая строка `pending`, готовые те же, текст 201; скачивание 503, метаданные 200, история с `attachment_ids` 200, `/health/ready` 200; S3 заморожен — 503 не позже 5,6 с; отклонённые загрузки — ни новых строк, ни новых объектов (списки `id`); рабочий стенд не тронут | `evidence/tests/failure-checks.md` |
|
||||
| «4»: прерывание загрузки и отказ между S3 и БД не оставляют вечных неучтённых объектов | `make failure_checks` (стенд отказов: уборщик с grace 20 с, интервал 1 с) | сбой записи строки (SQLSTATE 08006) — 503, ни строки, ни объекта; обрыв клиента посреди тела — ни строки, ни объекта; сбой фиксации `ready` — 503, объекта нет сразу (компенсация), строка `pending` не видна по API, на G/2 ещё на месте, после G + I + 5 с убрана; S3 заморожен на время PUT — строка убрана после grace, объект не появился; kill реплики между PUT и фиксацией — 201 не дошёл, строка и объект есть до grace, после — ни того, ни другого; COMMIT `ready` упал (отложенный триггер) — 503, объект на месте (исход неизвестен), после grace убран; загрузка дольше grace (строка «старше» на час, уборщик убрал её, пока перевод в `ready` ждал) — 503, а не 201 и не 500, ни строки, ни объекта; уборщик удалил объект, а удаление строки упало в той же транзакции уборки — 503, а не 201, `ready` без объекта нет, следующий проход доводит уборку; во всех — объектов без строки 0 (`object-ids − attachment-ids`); красный прогон до кода — 4 из 11 упали; тесты по verify: W1 — 201 на коде `f2dc0b3`, W2 и W3 — красные на временных регрессиях (компенсация на любой сбой, `RuntimeError` → 500) | `evidence/tests/failure-checks.md` |
|
||||
| «4»: то же на рабочем стенде через LB | `driver.py --port 8080 upload-consistency` | S3 заморожен — 503 за 5,1 с, строка `pending` с ключом; сбой фиксации `ready` — 503, объекта нет; обе строки — 404 на метаданные, байты и ссылку; `cleaner --once` (grace 30 с) — `removed 2`, код 0; строк и объектов нет, «1200 objects, 1200 rows, 0 objects without a row»; готовое вложение — тот же SHA-256; в журнале API шаги `put` / `ready` и «Deleted attachment object», `filename` — 0 вхождений | `evidence/attachments/consistency.md` |
|
||||
| «4»: документированный механизм компенсации и очистки с безопасным grace period | описание и проверка старта уборщика | таблица компенсации, уборщик под `FOR UPDATE SKIP LOCKED` в два шага — пометка строки, затем объект и строка одной транзакцией, B = 2 × 6 + 5 = 17 с, grace 900 с (×50); grace 17 с — код 2 с grace, обоими сроками и границей; интервал 0 и `abc` — код 2; старт — «Started cleaner» с 60 / 900 / 100; `docker compose stop cleaner` — 0,57 с, код 0 | раздел «Согласованность БД и S3», `evidence/attachments/cleaner-process.md` |
|
||||
@@ -651,12 +814,15 @@ student_test` через LB (197 passed, сверка 215 / 200 / 36 / 15) и
|
||||
| «4»: память S3 при одновременных загрузках | 20 одновременных PUT по 10 MiB ключом API | все подтверждены, анонимная память не больше 379 MiB из 512, OOM нет; с местами API в S3 не больше 4 PUT от реплики — в метке `uploads` 503 по сроку S3 нет | `evidence/s3/memory.md`, `evidence/uploads/baseline/summary.md` |
|
||||
| Логи без секретов S3 | `grep -F` значений секретов по журналу клиента и `make run_dev` | 0 совпадений; отказ в учётных данных — одна запись `error` без секрета | `evidence/s3/client.md` |
|
||||
| «4»: ≥ 10 одновременных загрузок, пик памяти | `make bench_uploads` (метка `baseline`, `97a4be4`, `dirty: false`; 72 прогона: 3 варианта × 2 тела × 4 уровня × 3 повтора; реплика 1 CPU / 512 МБ без swap) | «с лимитом», 10 MiB: пик реплики 169,5 / 177,3 / 181,3 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0, лишние — 429; «без лимита» и код до change при 40 × 10 MiB — OOM 3/3, код до change и при 20 × 10 MiB — OOM 3/3; в паспорте — предупреждение о swap хоста (раздел «Одновременные загрузки») | `evidence/uploads/baseline/summary.md` |
|
||||
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `9d2ee30`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
|
||||
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `9d2ee30`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
|
||||
| «4»: лимит одновременных загрузок, очередь и 429 | `make failure_checks`: «узкий по загрузкам» API (1 место, 1 в очереди, ожидание 1 с, срок тела 3 с; прогон `c1648d9`) | при полной очереди — 429 `rate_limited` быстрее 0,5 с, по сроку ожидания — 429 не раньше 1 с, `Retry-After` ≥ 1, ни строки, ни объекта; 404 / 413 / 415 — раньше очереди; место освобождается после 413, 415, 400 по сроку, обрыва и 503; ожидавшая — 201, её `created_at` позже `updated_at` державшей место | `evidence/tests/failure-checks.md` |
|
||||
| «4»: срок передачи тела | `make failure_checks` (`test_slow_body`) | прогон `c1648d9`: тело частями дольше срока тела стенда (4 с при сроке 3 с) — 400 «Upload body was not received in time», ни строки, ни объекта; мелкими частями в срок — 201 с тем же SHA-256 | `evidence/tests/failure-checks.md` |
|
||||
| «4»: 10 одновременных загрузок проходят | `make student_test` через LB и `make test_isolated` (`test_concurrent_uploads`) | 10 участников одного чата, PNG ~1 MiB: все 201, `id` разные, скачиваются побайтно — и через LB, и на одном процессе | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated-s3-cleanup.md` |
|
||||
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
|
||||
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
|
||||
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
|
||||
| «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` |
|
||||
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте и `make reconcile` — 2 086 объектов и строк, `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
|
||||
| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` |
|
||||
| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` |
|
||||
|
||||
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
|
||||
|
||||
@@ -684,6 +850,9 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
|
||||
| `docker kill` реплики между PUT и фиксацией (перевод в `ready` задержан на 4 с) | 201 до клиента не доходит, после grace — ни строки, ни объекта | клиент — ошибка соединения; до grace строка `pending` и объект есть; после `start-api` и grace — убраны | — ; объектов без строки 0 |
|
||||
| S3 и PostgreSQL остановлены, пока уборщику есть что убирать | строка остаётся, уборщик не падает и доводит уборку после возврата | после G + 3I при остановленном S3 строка на месте; после `start` S3 — убрана за ≤ I + 5 с, без перезапуска уборщика; готовое вложение цело | ≤ 6 с после возврата S3 |
|
||||
| `docker compose stop cleaner` во время работы и на старте | выход до SIGKILL, код 0 | 0,57 с, код 0, «Stopped cleaner»; через 0,05–1 с после `up` — «Stopped cleaner before startup», 0,2 с; сразу после `up` (окно запуска интерпретатора) — SIGKILL через 10 с (137) | — |
|
||||
| Объект мимо API, удалённый объект, удалённая строка, изменённый размер, обрыв COMMIT, чужой ключ (рабочий стенд, `reconcile-cycle`) | dry-run находит всё и ничего не меняет, `--apply` исправляет безопасное, повтор — 0 | 6 находок, снимки до и после dry-run равны; `--apply` — 5 исправлений, чужой ключ остался (код 3); после его удаления и grace — код 0 | объект без строки живёт ≤ grace + интервал сверки; байты помеченного — 404, а не 500 |
|
||||
| `--apply` раз в ~3 с под 4 × 40 с загрузок и отправок (`reconcile-stress`) | внесённое исправлено, подтверждённое цело | 640 / 640 загрузок скачиваются с тем же SHA-256, новых пометок — только 2 внесённые | потерь нет |
|
||||
| `docker compose stop cleaner`, пока сверка ждёт замороженный S3 | выход до SIGKILL, код 0, итог «остановка» | 4,7 с, код 0, «Finished reconcile pass» с `interrupted_by: stop` | следующий старт — сверка до конца, расхождений нет |
|
||||
|
||||
### Одновременные загрузки: гипотезы (change `upload-memory`)
|
||||
|
||||
@@ -883,8 +1052,9 @@ S3 (change `s3-storage`):
|
||||
компенсации нет — объект остаётся без строки. То же, если PUT прошёл
|
||||
после уборки, `mark_ready` вернул 0 строк, а удаление при компенсации
|
||||
не удалось (`warning` «Attachment object kept for cleaner»). Вероятность
|
||||
мала (запас ×50, заморозка посреди PUT), такой объект находит только
|
||||
сверка bucket и БД (трек 2). `ready` без объекта при этом не возникает:
|
||||
мала (запас ×50, заморозка посреди PUT); с change `track2-reconciler`
|
||||
такой объект удаляет плановая сверка не позже grace + интервал сверки
|
||||
(~75 мин). `ready` без объекта при этом не возникает:
|
||||
уборщик помечает строку до удаления объекта, а помеченную `mark_ready`
|
||||
в `ready` не переводит.
|
||||
- **Смесь версий уборщика и реплик.** Реплики до `87c48b9` (`f2dc0b3`
|
||||
@@ -976,3 +1146,40 @@ S3 (change `s3-storage`):
|
||||
- **`make env_setup` дописывает только отсутствующие переменные**:
|
||||
пустое или устаревшее значение уже существующей строки он не меняет —
|
||||
его правят руками.
|
||||
|
||||
Сверка хранилищ (change `track2-reconciler`):
|
||||
- **Источник истины — PostgreSQL.** База из старой копии или пустая при
|
||||
живом bucket сделает объекты новых вложений «объектами без
|
||||
метаданных», и сверка удалит их в пределах `max_changes` (100). По
|
||||
истине БД это верно, но восстановление базы «в живую» при работающем
|
||||
уборщике опасно: поэтому на время восстановления уборщик
|
||||
останавливают, а после — сначала `make reconcile` (dry-run).
|
||||
- **Чужой объект живёт, пока его не удалит оператор**: код 3 и `warning`
|
||||
на каждом проходе плановой сверки. Удалять непонятное опаснее (в лабе 5
|
||||
под префиксом появятся варианты).
|
||||
- **Повреждение того же размера не видно**: сверка поверхностная —
|
||||
наличие и размер из LIST. Скачивание сверяет тоже только размер.
|
||||
SHA-256 — глубокая сверка change `track2-reconcile-cost`.
|
||||
- **Память O(N) на ключи списка** (~15 МБ на 100 тыс. объектов при лимите
|
||||
уборщика 256 МБ) и **уборка зависших ждёт конца прохода сверки** (на
|
||||
рабочем стенде — меньше секунды, на 100 тыс. — порядка минуты). Замер —
|
||||
следующий change.
|
||||
- **Пометка по ложному «нет объекта»** при неполном списке отсечена HEAD и
|
||||
проверкой bucket; остаётся bucket, пересозданный пустым между
|
||||
проверкой и `UPDATE` — тогда пометка верна и снимается сама, когда
|
||||
объект вернётся.
|
||||
- **Две сверки разом** (плановая и разовая) — действия идемпотентны,
|
||||
отчёты могут разойтись в числах `fixed`; блокировки нет.
|
||||
- **Часы**: `LastModified` — часы ВМ, порог — часы контейнера уборщика
|
||||
(одни часы), точность `LastModified` — секунда; `updated_at` строк
|
||||
консольного API на macOS расходится на секунды — меньше grace.
|
||||
- **Ответ API на потерянный оригинал — трактовка контракта**, вопрос
|
||||
преподавателю открыт (раздел «Сверка хранилищ»).
|
||||
- **Старый образ уборщика после `make rolling_update`** — сверки нет, как
|
||||
до change; новый — `docker compose up -d --no-deps cleaner` (порядок
|
||||
обновления).
|
||||
- **Синтетика прогонов драйвера** (`reconcile-cycle`, `reconcile-stress`)
|
||||
остаётся в рабочей базе и bucket: согласованные вложения и одно
|
||||
помеченное потерянным за прогон цикла (его байты — 404).
|
||||
- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин):
|
||||
объекты нельзя состарить, тесты ждут grace стенда (20 с).
|
||||
|
||||
@@ -0,0 +1,115 @@
|
||||
# Ревизия `5c3e1f0a9b7d`: `attachments.lost_at`
|
||||
|
||||
Change `track2-reconciler` (design, решение 6; `migrations.md`). Commit
|
||||
`c1648d9`, 2026-10-22.
|
||||
|
||||
## Временная база: с нуля, повтор, откат, снова `upgrade`, `--sql`
|
||||
|
||||
`createdb rc_lost_at_evidence` в контейнере `postgres` рабочего стенда,
|
||||
`DATABASE__NAME=rc_lost_at_evidence uv run alembic …` с хоста (16:34 UTC),
|
||||
затем `dropdb`. Из журнала alembic — только поле `event`.
|
||||
|
||||
```
|
||||
== alembic upgrade head (empty database)
|
||||
"Running alembic"
|
||||
"Context impl PostgresqlImpl."
|
||||
"Will assume transactional DDL."
|
||||
"Running upgrade -> 16c279725564, added messenger tables"
|
||||
"Running upgrade 16c279725564 -> 42bc3b9be38f, added sessions and password hashes"
|
||||
"Running upgrade 42bc3b9be38f -> 7652184b7016, added idempotency keys"
|
||||
"Running upgrade 7652184b7016 -> e656d6bbe1a4, added message instance id"
|
||||
"Running upgrade e656d6bbe1a4 -> ef25d50b01a8, added attachments tables"
|
||||
"Running upgrade ef25d50b01a8 -> 739b8f04d5fb, added pending attachments index"
|
||||
"Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at"
|
||||
"Finished alembic"
|
||||
== alembic upgrade head (repeat)
|
||||
"Running alembic"
|
||||
"Context impl PostgresqlImpl."
|
||||
"Will assume transactional DDL."
|
||||
"Finished alembic"
|
||||
== alembic downgrade -1
|
||||
"Running alembic"
|
||||
"Context impl PostgresqlImpl."
|
||||
"Will assume transactional DDL."
|
||||
"Running downgrade 5c3e1f0a9b7d -> 739b8f04d5fb, added attachments lost_at"
|
||||
"Finished alembic"
|
||||
== alembic upgrade head
|
||||
"Running alembic"
|
||||
"Context impl PostgresqlImpl."
|
||||
"Will assume transactional DDL."
|
||||
"Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at"
|
||||
"Finished alembic"
|
||||
== \d attachments (lost_at)
|
||||
Table "public.attachments"
|
||||
Column | Type | Collation | Nullable | Default
|
||||
--------------+--------------------------+-----------+----------+---------
|
||||
id | uuid | | not null |
|
||||
lost_at | timestamp with time zone | | |
|
||||
== select version_num from alembic_version
|
||||
5c3e1f0a9b7d
|
||||
== alembic upgrade 739b8f04d5fb:head --sql
|
||||
BEGIN;
|
||||
SET LOCAL lock_timeout = '2s';
|
||||
ALTER TABLE attachments ADD COLUMN lost_at TIMESTAMP WITH TIME ZONE;
|
||||
UPDATE alembic_version SET version_num='5c3e1f0a9b7d' WHERE alembic_version.version_num = '739b8f04d5fb';
|
||||
COMMIT;
|
||||
== dropped rc_lost_at_evidence
|
||||
```
|
||||
|
||||
`SET LOCAL lock_timeout` — первой строкой в той же транзакции, что `ALTER
|
||||
TABLE … ADD COLUMN` (`ACCESS EXCLUSIVE`, но только каталог: колонка `NULL`
|
||||
без значения по умолчанию). Повтор — без изменений, откат и возврат
|
||||
проходят.
|
||||
|
||||
## Рабочий стенд: `make rolling_update` (12.1, шаг 2 порядка решения 6)
|
||||
|
||||
До: ревизия `739b8f04d5fb`, реплики `mtusi-lab4-api-19`, `-20` на прежнем
|
||||
образе (`sha256:ea4fa506…`). Политика S3 уборщика уже обновлена (шаг 1,
|
||||
`evidence/s3/cleaner-list.md`).
|
||||
|
||||
```
|
||||
$ make rolling_update APP_OUT_PORT=8090
|
||||
API_REPLICAS=2 ROLLOUT_COMMIT="" ROLLOUT_MIGRATE=1 scripts/rolling-update.sh
|
||||
16:33:33 rolling-update: start: 2 replicas 3b96c600b25a f6915f9b80dc, image mtusi-messenger:lab4 from working tree
|
||||
16:33:34 rolling-update: build done in 1s
|
||||
Container mtusi-lab4-migrate-1 Recreate
|
||||
migrate-1 | {"event": "Running alembic", … "database": "messenger", …}
|
||||
migrate-1 | {"event": "Running upgrade 739b8f04d5fb -> 5c3e1f0a9b7d, added attachments lost_at", … "timestamp": "2026-10-22T16:33:36.215696Z"}
|
||||
migrate-1 | {"event": "Finished alembic", … "timestamp": "2026-10-22T16:33:36.224792Z"}
|
||||
migrate-1 exited with code 0
|
||||
16:33:36 rolling-update: migrate done in 2s
|
||||
16:33:37 rolling-update: replica 1/2: started new 151df4af59c3
|
||||
16:33:39 rolling-update: replica 1/2: new 151df4af59c3 addr 192.168.0.5 slot api-2 UP in 3s
|
||||
16:33:39 rolling-update: replica 1/2: drain old 3b96c600b25a addr 192.168.0.9 slot api-3
|
||||
16:33:39 rolling-update: replica 1/2: old 3b96c600b25a idle after 0s
|
||||
16:33:39 rolling-update: replica 1/2: maint slot api-3, stopping old 3b96c600b25a
|
||||
16:33:40 rolling-update: replica 1/2: removed old 3b96c600b25a (stop 1s, exit 0)
|
||||
16:33:41 rolling-update: replica 1/2: slot api-3 ready
|
||||
16:33:41 rolling-update: replica 2/2: started new b5c48ae854d1
|
||||
16:33:44 rolling-update: replica 2/2: new b5c48ae854d1 addr 192.168.0.9 slot api-3 UP in 3s
|
||||
16:33:44 rolling-update: replica 2/2: drain old f6915f9b80dc addr 192.168.0.6 slot api-1
|
||||
16:33:44 rolling-update: replica 2/2: old f6915f9b80dc idle after 0s
|
||||
16:33:44 rolling-update: replica 2/2: maint slot api-1, stopping old f6915f9b80dc
|
||||
16:33:45 rolling-update: replica 2/2: removed old f6915f9b80dc (stop 1s, exit 0)
|
||||
16:33:45 rolling-update: replica 2/2: slot api-1 ready
|
||||
16:33:45 rolling-update: done: 2 replicas 151df4af59c3 b5c48ae854d1 UP in 12s
|
||||
exit=0
|
||||
```
|
||||
|
||||
(строки сборки BuildKit опущены). После:
|
||||
|
||||
```
|
||||
$ psql … -c 'select version_num from alembic_version' -c '\d attachments'
|
||||
5c3e1f0a9b7d
|
||||
lost_at|timestamp with time zone|||
|
||||
$ docker compose ps
|
||||
mtusi-lab4-api-21 mtusi-messenger:lab4 Up 15 seconds (healthy)
|
||||
mtusi-lab4-api-22 mtusi-messenger:lab4 Up 10 seconds (healthy)
|
||||
mtusi-lab4-cleaner-1 sha256:c872b13f… Up 10 hours (прежний образ до шага 3)
|
||||
```
|
||||
|
||||
Шаг 3 — `docker compose up -d --no-deps cleaner` (16:33:57): уборщик
|
||||
пересоздан на новом образе, плановая сверка при старте — `listed_objects
|
||||
2086, checked_rows 2086, found {}`, 492 мс (`evidence/reconcile/service.md`).
|
||||
Замена под нагрузкой с этой ревизией — `make bench_rollout_quick` (регресс
|
||||
12.7).
|
||||
@@ -0,0 +1,166 @@
|
||||
# Сверка bucket и БД на рабочем стенде: `driver.py reconcile-cycle`
|
||||
|
||||
Change `track2-reconciler` (design, решение 12; спеки `storage-consistency`
|
||||
«Сверка bucket и БД», «Безопасность сверки», «Потерянный оригинал» и
|
||||
`attachments` «Потерянный оригинал»). Рабочий стенд `mtusi-lab4` через LB
|
||||
`127.0.0.1:8090` (порт 8080 хоста занят чужим контейнером), commit
|
||||
`c1648d9`, 2026-10-22 16:38:15–16:39:58 UTC, после порядка обновления
|
||||
change (`evidence/migrations/lost-at.md`). Токенов, паролей и ключей S3 в
|
||||
выводе нет; пользователи и вложения синтетические.
|
||||
|
||||
```
|
||||
$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 reconcile-cycle
|
||||
```
|
||||
|
||||
Что делает прогон (разовая сверка — `docker compose run --rm --no-deps -T
|
||||
[-e CLEANER__PENDING_GRACE_SECONDS=30] cleaner reconcile [--apply]`):
|
||||
|
||||
1. исходный dry-run с grace по умолчанию (900 с) — стенд сведён;
|
||||
2. синтетические Алиса, Боб и чат; вложения A (в сообщении), B, C;
|
||||
3. расхождения с обеих сторон: O — объект без строки (стандартный ключ,
|
||||
`docker exec` реплики, botocore образа её ключами), X — чужой ключ
|
||||
`…/attachments/x-<uuid>` (так же), объект A удалён (`weed shell
|
||||
fs.rm`), строка B удалена и размер C изменён (psql), P — триггер,
|
||||
который роняет COMMIT перевода в `ready` уникального `filename`: 503,
|
||||
строка `pending` и объект;
|
||||
4. после grace прогона (30 с) — dry-run и снимки строк (статус и размер),
|
||||
объектов (`fs.tree`) и пометок `lost_at` до и после;
|
||||
5. байты A через API до сверки;
|
||||
6. свежий объект F без строки и сразу `--apply`;
|
||||
7. повтор, удаление X оператором, повтор; F после grace;
|
||||
8. возврат оригинала A теми же байтами, `--apply`, итоговый dry-run.
|
||||
|
||||
## Вывод
|
||||
|
||||
```
|
||||
initial dry-run (default grace): exit 0
|
||||
total: listed_objects=2224, checked_rows=2224, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=597
|
||||
keys of the run:
|
||||
A: messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original
|
||||
B: messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original
|
||||
C: messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original
|
||||
O: messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original
|
||||
P: messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original
|
||||
X: messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4
|
||||
waiting 31 s for grace 30 s
|
||||
dry-run (grace 30 s): exit 3
|
||||
warning orphan_object - messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original id 8de8389b-d20f-464d-b954-ca6877d6d47e age 39 s
|
||||
warning size_mismatch - messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original id ad586ca1-533e-4fb2-a703-548150d4a3b3 age 40 s size 111818 stored 111817
|
||||
warning orphan_object - messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original id eb85912c-585e-4952-9edf-d76f4544dd1f age 40 s
|
||||
warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 39 s
|
||||
warning missing_object - messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 40 s
|
||||
warning stale_pending - messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original id da479807-72fc-4c77-b8e3-15c6e99007fd age 38 s
|
||||
total: listed_objects=2229, checked_rows=2226, found={'orphan_object': 2, 'size_mismatch': 1, 'unknown_object': 1, 'missing_object': 1, 'stale_pending': 1}, fixed={}, remaining=6, fresh_objects=0, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=695
|
||||
apply (grace 30 s): exit 3
|
||||
warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 48 s
|
||||
info stale_pending removed_pending messenger/attachments/da479807-72fc-4c77-b8e3-15c6e99007fd/original id da479807-72fc-4c77-b8e3-15c6e99007fd age 46 s
|
||||
info orphan_object deleted_object messenger/attachments/8de8389b-d20f-464d-b954-ca6877d6d47e/original id 8de8389b-d20f-464d-b954-ca6877d6d47e age 48 s
|
||||
info orphan_object deleted_object messenger/attachments/eb85912c-585e-4952-9edf-d76f4544dd1f/original id eb85912c-585e-4952-9edf-d76f4544dd1f age 49 s
|
||||
info missing_object marked_lost messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 48 s
|
||||
info size_mismatch marked_lost messenger/attachments/ad586ca1-533e-4fb2-a703-548150d4a3b3/original id ad586ca1-533e-4fb2-a703-548150d4a3b3 age 48 s size 111818 stored 111817
|
||||
total: listed_objects=2230, checked_rows=2226, found={'orphan_object': 2, 'size_mismatch': 1, 'unknown_object': 1, 'missing_object': 1, 'stale_pending': 1}, fixed={'stale_pending': 1, 'orphan_object': 2, 'missing_object': 1, 'size_mismatch': 1}, remaining=1, fresh_objects=1, fresh_rows=0, lost_known=0, refused=False, interrupted_by=None, duration_ms=732
|
||||
repeat dry-run: exit 3
|
||||
warning unknown_object - messenger/attachments/x-6b395aa0-ddd6-497a-a562-1abcee5538b4 id - age 56 s
|
||||
total: listed_objects=2227, checked_rows=2226, found={'unknown_object': 1}, fixed={}, remaining=1, fresh_objects=1, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=522
|
||||
operator removed X (weed shell fs.rm)
|
||||
dry-run after X is removed: exit 0
|
||||
total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=1, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=688
|
||||
waiting 10 s until F is older than grace
|
||||
apply after F aged: exit 0
|
||||
info orphan_object deleted_object messenger/attachments/e7d7c326-7006-40f6-ad8c-b8e80326c453/original id e7d7c326-7006-40f6-ad8c-b8e80326c453 age 37 s
|
||||
total: listed_objects=2226, checked_rows=2226, found={'orphan_object': 1}, fixed={'orphan_object': 1}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=2, refused=False, interrupted_by=None, duration_ms=604
|
||||
apply after A is back: exit 0
|
||||
info restored_object cleared_lost messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original id ab2aac83-f080-45b5-9aee-39dad6c7dd1a age 87 s
|
||||
total: listed_objects=2226, checked_rows=2226, found={'restored_object': 1}, fixed={'restored_object': 1}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=611
|
||||
final dry-run: exit 0
|
||||
total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=695
|
||||
upload A expected 201 got 201
|
||||
upload B expected 201 got 201
|
||||
upload C expected 201 got 201
|
||||
message with A expected 201 got 201
|
||||
put O without a row expected 0 got 0
|
||||
put X (unknown key) expected 0 got 0
|
||||
upload P with COMMIT failure expected 503 got 503
|
||||
pending rows of P expected 1 got 1
|
||||
dry-run exit code expected 3 got 3
|
||||
dry-run finds O expected orphan_object got orphan_object
|
||||
dry-run finds B expected orphan_object got orphan_object
|
||||
dry-run finds A expected missing_object got missing_object
|
||||
dry-run finds C expected size_mismatch got size_mismatch
|
||||
dry-run finds P expected stale_pending got stale_pending
|
||||
dry-run finds X expected unknown_object got unknown_object
|
||||
dry-run changes rows, objects, marks expected no got no
|
||||
A content before apply expected 500 got 500
|
||||
put fresh F expected 0 got 0
|
||||
apply exit code (X left) expected 3 got 3
|
||||
apply fixes O expected deleted_object got deleted_object
|
||||
apply fixes B expected deleted_object got deleted_object
|
||||
apply fixes A expected marked_lost got marked_lost
|
||||
apply fixes C expected marked_lost got marked_lost
|
||||
apply fixes P expected removed_pending got removed_pending
|
||||
apply touches F (fresh) expected - got -
|
||||
A and C marked lost expected yes got yes
|
||||
P row and object expected absent got absent
|
||||
object O expected absent got absent
|
||||
object B expected absent got absent
|
||||
fresh F kept expected present got present
|
||||
A content after apply expected 404 got 404
|
||||
A metadata after apply expected 200 got 200
|
||||
A metadata = upload response expected yes got yes
|
||||
history keeps A in the message expected yes got yes
|
||||
repeat finds only X expected X got X
|
||||
repeat exit code expected 3 got 3
|
||||
exit code after X is removed expected 0 got 0
|
||||
F removed after grace expected orphan_object got orphan_object
|
||||
apply exit code (F) expected 0 got 0
|
||||
put A original back expected 0 got 0
|
||||
A restored expected restored_object got restored_object
|
||||
A content after restore expected 200 got 200
|
||||
A sha256 = uploaded expected yes got yes
|
||||
final dry-run exit code expected 0 got 0
|
||||
driver trigger left expected 0 got 0
|
||||
PASS: reconcile found and fixed the discrepancies, repeat found 0
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 2,43s user 1,33s system 3% cpu 1:43,49 total
|
||||
exit=0
|
||||
```
|
||||
|
||||
(Таблица драйвера печатает записи прохода сгруппированными: сначала
|
||||
«Found», затем «Fixed»; в журнале уборщика порядок — действия по решению
|
||||
7, затем оставшиеся.)
|
||||
|
||||
## Журнал реплик API о байтах A
|
||||
|
||||
`docker compose logs --no-log-prefix --since 2026-10-22T16:38:00Z api`,
|
||||
записи `attachment_service` (поля сокращены):
|
||||
|
||||
```
|
||||
2026-10-22T16:39:05.076742Z error Attachment content is missing b5c48ae854d1 ab2aac83-f080-45b5-9aee-39dad6c7dd1a messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original
|
||||
2026-10-22T16:39:13.480470Z info Attachment content is lost 151df4af59c3 ab2aac83-f080-45b5-9aee-39dad6c7dd1a messenger/attachments/ab2aac83-f080-45b5-9aee-39dad6c7dd1a/original
|
||||
```
|
||||
|
||||
До пометки — `error` и 500 (непредвиденное расхождение), после — `info` и
|
||||
404 без обращения к S3 (спек `service-logging`, «Журнал сверки»).
|
||||
|
||||
## Что видно
|
||||
|
||||
- **Обе стороны и все шесть классов:** объект без строки (O, B), строка
|
||||
`ready` без объекта (A), другой размер (C, `size 111818 stored 111817`),
|
||||
зависшая загрузка (P), чужой ключ (X), затем «оригинал вернулся» (A).
|
||||
- **Dry-run ничего не меняет:** снимки строк, объектов и пометок до и
|
||||
после совпали, код 3.
|
||||
- **`--apply`:** O, B удалены, P убрана шагом уборщика (ни строки, ни
|
||||
объекта), A и C помечены, их метаданные на месте; свежий F (моложе 30
|
||||
с) не тронут — `fresh_objects=1`; чужой X остался, код 3.
|
||||
- **Ответы API:** байты A до сверки — 500, после — 404, метаданные — 200
|
||||
и равны ответу загрузки, история отдаёт `id` A в сообщении; после
|
||||
возврата оригинала — 200 с тем же SHA-256.
|
||||
- **Повтор:** исправимых 0, остался только X; после его удаления
|
||||
оператором — код 0; F удалён, когда стал старше grace; итоговый
|
||||
dry-run — код 0, `found={}`. Триггер драйвера снят.
|
||||
- **Что осталось в рабочей базе:** синтетические пользователи, чат и
|
||||
вложения прогона; C помечено потерянным (`lost_known=1`: размер в строке
|
||||
изменён прогоном), его байты — 404, метаданные — 200. Объектов мимо
|
||||
API (O, X, F) не осталось.
|
||||
- Повторный прогон того же кода на временном полном стенде apply — код 0,
|
||||
исходный dry-run остатков прошлого не нашёл (`found={}`,
|
||||
`lost_known=1`; design, «Уточнения apply», п. 18, задача 10.1).
|
||||
@@ -0,0 +1,116 @@
|
||||
# Сверка в процессе уборщика: старт, плановая сверка, остановка, отказ конфигурации, коды
|
||||
|
||||
Change `track2-reconciler` (design, решения 1, 8–10; спеки
|
||||
`storage-consistency` «Плановая сверка», `service-configuration`
|
||||
«Параметры сверки», `service-logging` «Журнал сверки», `graceful-shutdown`
|
||||
«Остановка уборщика»). Рабочий стенд `mtusi-lab4`, commit `c1648d9`,
|
||||
2026-10-22. Записи — JSON уборщика; поля места вызова (`filename`,
|
||||
`lineno`, `func_name`) местами убраны, секретов в записях нет.
|
||||
|
||||
## Старт с параметрами сверки и плановая сверка при старте
|
||||
|
||||
Шаг 3 порядка обновления — `docker compose up -d --no-deps cleaner`
|
||||
(16:33:57 UTC, уборщик пересоздан на новом образе), `docker compose logs
|
||||
--no-log-prefix cleaner`:
|
||||
|
||||
```
|
||||
{"event": "Started cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "mode": "service", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": null, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-22T16:34:04.521922Z"}
|
||||
{"event": "Finished reconcile pass", "instance_id": "b2d0faa20dba", "module": "attachment_reconcile_service", "method": "reconcile", "apply": true, "listed_objects": 2086, "checked_rows": 2086, "found": {}, "fixed": {}, "remaining": 0, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 0, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 492, "level": "info", "timestamp": "2026-10-22T16:34:05.114212Z"}
|
||||
```
|
||||
|
||||
- секции `[reconciler]` в `config.toml` рабочего стенда нет и переменных
|
||||
`RECONCILER__*` нет: значения по умолчанию — интервал 3600 с, страница
|
||||
1000, предел 100 (сценарий «Параметры сверки по умолчанию»);
|
||||
- первая плановая сверка — при старте, с исправлением (`apply: true`):
|
||||
2 086 объектов и строк, расхождений нет, 492 мс; следующая — через
|
||||
3600 с. Стенд перед change был сведён (design, Context), находок не
|
||||
ожидалось.
|
||||
|
||||
## Остановка во время сверки, пока вызов S3 ждёт ответа
|
||||
|
||||
Сервис остановлен, S3 заморожен, тот же контейнер запущен снова; через
|
||||
секунду после «Started cleaner» — `docker compose stop cleaner`:
|
||||
|
||||
```
|
||||
== stop the service, pause s3, start the same container
|
||||
16:42:46
|
||||
Container mtusi-lab4-cleaner-1 Stopped
|
||||
Container mtusi-lab4-s3-1 Paused
|
||||
== docker compose stop cleaner while reconcile waits for S3
|
||||
16:42:55.080
|
||||
Container mtusi-lab4-cleaner-1 Stopped
|
||||
stop took 4.7 s
|
||||
exit code 0, finished 2026-10-22T16:42:59.614528006Z
|
||||
Container mtusi-lab4-s3-1 Unpaused
|
||||
== cleaner log of this start
|
||||
{"event": "Stopped cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-22T16:42:46.533057Z"}
|
||||
{"event": "Started cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "mode": "service", "interval_seconds": 60.0, "pending_grace_seconds": 900, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": null, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info", "timestamp": "2026-10-22T16:42:53.625598Z"}
|
||||
{"event": "Object storage is unavailable", "instance_id": "b2d0faa20dba", "module": "object_storage", "operation": "list_objects_v2", "endpoint": "s3:8333", "bucket": "messenger", "key": "messenger/attachments/", "duration_ms": 5005, "error_type": "TimeoutError", "level": "warning", "timestamp": "2026-10-22T16:42:58.728456Z"}
|
||||
{"event": "Finished reconcile pass", "instance_id": "b2d0faa20dba", "module": "attachment_reconcile_service", "method": "reconcile", "apply": true, "listed_objects": 0, "checked_rows": 0, "found": {}, "fixed": {}, "remaining": 0, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 0, "refused": false, "unlogged": 0, "interrupted_by": "stop", "duration_ms": 5006, "level": "warning"}
|
||||
{"event": "Stopped cleaner", "instance_id": "b2d0faa20dba", "module": "cleaner", "exit_code": 0, "level": "info", "timestamp": "2026-10-22T16:42:58.732278Z"}
|
||||
== start again
|
||||
{"event": "Started cleaner", … "timestamp": "2026-10-22T16:43:04.873617Z"}
|
||||
{"event": "Finished reconcile pass", … "apply": true, "listed_objects": 2866, "checked_rows": 2868, "found": {}, "fixed": {}, "remaining": 0, … "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 620, "level": "info", "timestamp": "2026-10-22T16:43:05.669960Z"}
|
||||
```
|
||||
|
||||
- первая страница списка ждала замороженный S3; SIGTERM пришёл в 16:42:55,
|
||||
текущий вызов доведён до своего срока (5 с, `TimeoutError`), новых
|
||||
страниц и действий не было; итог — `interrupted_by: "stop"`, затем
|
||||
«Stopped cleaner», код 0;
|
||||
- `docker compose stop cleaner` — 4,7 с, меньше `stop_grace_period` 10 с,
|
||||
без SIGKILL (сценарий `graceful-shutdown` «docker stop во время
|
||||
сверки»);
|
||||
- после `unpause` и нового старта плановая сверка при старте прошла до
|
||||
конца без расхождений — прерванный проход ничего не оставил.
|
||||
|
||||
Пока S3 был заморожен (~13 с), загрузки и скачивания вложений стенда
|
||||
отвечали 503 — на стенде в это время запросов не было.
|
||||
|
||||
## Отказ старта на неверных параметрах сверки
|
||||
|
||||
```
|
||||
== RECONCILER__PAGE_SIZE=5000
|
||||
{"event": "Invalid cleaner settings", "instance_id": "1e1f521efc1c", "module": "cleaner", "errors": [{"loc": "reconciler.page_size", "msg": "Input should be less than or equal to 1000"}], "level": "error", "timestamp": "2026-10-22T16:43:18.776215Z"}
|
||||
exit=2
|
||||
== RECONCILER__MAX_CHANGES=0 reconcile
|
||||
{"event": "Invalid cleaner settings", "instance_id": "ff5187209505", "module": "cleaner", "errors": [{"loc": "reconciler.max_changes", "msg": "Input should be greater than or equal to 1"}], "level": "error", "timestamp": "2026-10-22T16:43:21.888941Z"}
|
||||
exit=2
|
||||
== RECONCILER__INTERVAL_SECONDS=-1
|
||||
{"event": "Invalid cleaner settings", "instance_id": "0d31ad7e1041", "module": "cleaner", "errors": [{"loc": "reconciler.interval_seconds", "msg": "Input should be greater than or equal to 0"}], "level": "error", "timestamp": "2026-10-22T16:43:24.952389Z"}
|
||||
exit=2
|
||||
== reconcile --max-changes 0
|
||||
usage: python -m src.cleaner reconcile [-h] [--apply]
|
||||
[--max-changes MAX_CHANGES]
|
||||
python -m src.cleaner reconcile: error: argument --max-changes: must be at least 1
|
||||
exit=2
|
||||
```
|
||||
|
||||
Команды — `docker compose run --rm --no-deps -T -e <переменная> cleaner
|
||||
[reconcile]`: уборщик не стартует, запись называет поле без значения, код
|
||||
2 (сценарий «Неверный параметр сверки»).
|
||||
|
||||
## Коды разового прохода: 3 и 0
|
||||
|
||||
Чужой объект под префиксом вложений (ключ `…/attachments/x-service-<uuid>`,
|
||||
записан `docker exec` реплики её ключами), через 32 с — dry-run с grace
|
||||
30 с, затем объект удалён оператором (`weed shell fs.rm`) и `make
|
||||
reconcile`:
|
||||
|
||||
```
|
||||
put foreign object messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49
|
||||
== make reconcile (grace 30 s), foreign object older than grace
|
||||
{"event": "Started cleaner", "module": "cleaner", "mode": "reconcile", "interval_seconds": 60.0, "pending_grace_seconds": 30, "batch_size": 100, "live_upload_bound_seconds": 17.0, "once": false, "reconcile_interval_seconds": 3600, "reconcile_page_size": 1000, "reconcile_max_changes": 100, "reconcile_apply": false, "database_host": "postgres", "database_port": 5432, "database_name": "messenger", "database_pool_size": 1, "s3_host": "s3", "s3_port": 8333, "s3_bucket": "messenger", "level": "info"}
|
||||
{"event": "Found storage discrepancy", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "kind": "unknown_object", "object_key": "messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49", "attachment_id": null, "age_seconds": 39, "level": "warning"}
|
||||
{"event": "Finished reconcile pass", "module": "attachment_reconcile_service", "method": "reconcile", "apply": false, "listed_objects": 2867, "checked_rows": 2868, "found": {"unknown_object": 1}, "fixed": {}, "remaining": 1, "fresh_objects": 0, "fresh_rows": 0, "lost_known": 3, "refused": false, "unlogged": 0, "interrupted_by": null, "duration_ms": 813, "level": "warning"}
|
||||
{"event": "Stopped cleaner", "module": "cleaner", "exit_code": 3, "level": "info"}
|
||||
exit=3
|
||||
removed messenger/attachments/x-service-600294ea-04f4-43ac-88f0-b28ec6183a49
|
||||
== make reconcile
|
||||
Finished reconcile pass {} 0
|
||||
Stopped cleaner 0
|
||||
exit=0
|
||||
```
|
||||
|
||||
Код 3 — расхождение осталось (чужой объект сверка не удаляет), код 0 —
|
||||
расхождений нет. Код 1 (прерван отказом) — `test_reconcile_object_storage_
|
||||
stopped` и `test_reconcile_interrupted_by_database` (`make failure_checks`).
|
||||
@@ -0,0 +1,75 @@
|
||||
# Сверка под нагрузкой: `driver.py reconcile-stress`
|
||||
|
||||
Change `track2-reconciler` (design, решение 12; спек `storage-consistency`,
|
||||
«Сверка под нагрузкой»; гипотеза 5 трека 2 — «ничего подтверждённого не
|
||||
удалено»). Рабочий стенд `mtusi-lab4` через LB `127.0.0.1:8090`, commit
|
||||
`c1648d9`, 2026-10-22 16:41:02–16:42:15 UTC, сразу после
|
||||
`evidence/reconcile/cycle.md`. Это проверка корректности, а не замер:
|
||||
паспорт хоста не снимался, тихий хост не нужен. Токенов и ключей в выводе
|
||||
нет.
|
||||
|
||||
```
|
||||
$ python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 reconcile-stress
|
||||
```
|
||||
|
||||
Прогон (параметры по умолчанию: `--seconds 40 --clients 4`):
|
||||
|
||||
1. предусловие — dry-run с grace 20 с: расхождений нет (иначе код 2);
|
||||
2. внесено: два объекта без строки (стандартные ключи, `docker exec`
|
||||
реплики её ключами) и два готовых вложения без объекта (`weed shell
|
||||
fs.rm`); всем станет больше grace посреди нагрузки;
|
||||
3. 4 клиента (Алиса и Боб по очереди) 40 с загружают PNG ~100 KiB из шума
|
||||
(200 × 170, свой на каждую загрузку) и сразу отправляют сообщение с его
|
||||
`id`, пауза клиента 0,2 с; поток сверки — `--apply` с grace 20 с раз в
|
||||
~3 с (разовый контейнер уборщика), после нагрузки — ещё один проход;
|
||||
4. в конце — каждое вложение, ответившее 201, скачивается и сверяется по
|
||||
SHA-256, история чата постранично — у каждого сообщения своё вложение,
|
||||
новые пометки потерянных сравниваются с внесёнными, повтор dry-run.
|
||||
|
||||
## Вывод
|
||||
|
||||
```
|
||||
precondition dry-run (grace 20 s): exit 0
|
||||
total: listed_objects=2226, checked_rows=2226, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=1, refused=False, interrupted_by=None, duration_ms=606
|
||||
load: 4 clients for 40 s, apply every 3 s
|
||||
repeat dry-run: exit 0
|
||||
total: listed_objects=2866, checked_rows=2868, found={}, fixed={}, remaining=0, fresh_objects=0, fresh_rows=0, lost_known=3, refused=False, interrupted_by=None, duration_ms=632
|
||||
uploads by status: 201=640
|
||||
messages sent: 640
|
||||
reconcile passes: 0, 0, 0, 0, 0, 0, 0, 0, 0
|
||||
fixed by class: missing_object=2, orphan_object=2
|
||||
put object without a row expected 0 got 0
|
||||
put object without a row expected 0 got 0
|
||||
uploads 201 expected >0 got >0
|
||||
uploads not 201 expected 0 got 0
|
||||
passes interrupted (exit 1) expected 0 got 0
|
||||
objects without a row removed expected yes got yes
|
||||
new lost marks = injected expected yes got yes
|
||||
downloads with other sha256 expected 0 got 0
|
||||
messages with unavailable attachment expected 0 got 0
|
||||
thread errors expected 0 got 0
|
||||
repeat dry-run exit code expected 0 got 0
|
||||
PASS: reconcile found and fixed the discrepancies, repeat found 0
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py --port 8090 8,03s user 1,41s system 12% cpu 1:12,92 total
|
||||
exit=0
|
||||
```
|
||||
|
||||
## Что видно
|
||||
|
||||
- **640 загрузок 201 и 640 сообщений** за 40 с; 9 проходов `--apply` (8
|
||||
во время нагрузки и один после), все с кодом 0 — ни один не прерван.
|
||||
- **Внесённое исправлено:** оба объекта без строки удалены
|
||||
(`orphan_object=2`), оба вложения без объекта помечены
|
||||
(`missing_object=2`); новых пометок ровно две — внесённые.
|
||||
- **Подтверждённое не тронуто:** каждое из 640 вложений скачивается с тем
|
||||
же SHA-256, у каждого сообщения — своё вложение; свежие загрузки (моложе
|
||||
20 с) сверка не считала расхождениями, а объекты загрузок в полёте
|
||||
(строка `pending`) не трогала: её строки на них ссылаются.
|
||||
- **Повтор — 0:** `found={}`, `lost_known=3` (два внесённых и C из
|
||||
`cycle.md`); `checked_rows` на 2 больше `listed_objects` — это два
|
||||
помеченных вложения без объекта.
|
||||
- В рабочем bucket остались 640 синтетических объектов прогона (~64 МБ)
|
||||
с их строками — это согласованные вложения, сверка их не считает
|
||||
расхождениями.
|
||||
- Тот же сценарий проверки отказов — `test_reconcile_under_load` (`make
|
||||
failure_checks`, `evidence/tests/failure-checks.md`).
|
||||
@@ -0,0 +1,154 @@
|
||||
# Список объектов ключом уборщика: политика, bootstrap, `make s3_check`
|
||||
|
||||
Change `track2-reconciler` (design, решение 2; спек `object-storage`,
|
||||
«Ограниченные учётные данные уборщика», «Проверка приватности вне API»).
|
||||
Рабочий стенд `mtusi-lab4`, commit `c1648d9`, 2026-10-22 16:32–16:34 UTC.
|
||||
Секреты в выводе — `<set>`; ключей и подписей нет.
|
||||
|
||||
## Окружение `s3-bootstrap` в `docker compose config`
|
||||
|
||||
Префикс списка — из `POSTGRES_DB`, не секрет; ключи — только как факт.
|
||||
|
||||
```
|
||||
{'HOME': '/tmp', 'S3_API_ACCESS_KEY': '<set>', 'S3_API_SECRET_KEY': '<set>', 'S3_BUCKET': 'messenger', 'S3_CLEANER_ACCESS_KEY': '<set>', 'S3_CLEANER_LIST_PREFIX': 'messenger/attachments/', 'S3_CLEANER_SECRET_KEY': '<set>', 'S3_PORT': '8333', 'WEED_JWT_FILER_SIGNING_KEY': '<set>'}
|
||||
```
|
||||
|
||||
У сервиса `cleaner` префикса нет: свой префикс уборщик строит из имени
|
||||
базы (`attachment_object_repo.originals_prefix`).
|
||||
|
||||
## Bootstrap с новой политикой (шаг 1 порядка обновления, решение 6)
|
||||
|
||||
```
|
||||
$ docker compose up -d s3-bootstrap
|
||||
Container mtusi-lab4-s3-1 Running
|
||||
Container mtusi-lab4-s3-1 Healthy
|
||||
Container mtusi-lab4-s3-bootstrap-1 Started
|
||||
$ docker compose logs --no-log-prefix --since 2026-10-22T16:32:00Z s3-bootstrap
|
||||
s3-bootstrap: bucket messenger exists
|
||||
s3-bootstrap: user api exists
|
||||
s3-bootstrap: user cleaner exists
|
||||
s3-bootstrap: checks passed (api key put/get; cleaner key get/delete and list messenger/attachments/; api key list and bucket create, cleaner key put and list of the bucket, anonymous get and list denied)
|
||||
exit 0 started 2026-10-22T16:32:31.925946049Z finished 2026-10-22T16:32:34.554294759Z
|
||||
```
|
||||
|
||||
Политика на сервере (`weed shell s3.policy -get -name=cleaner-objects`,
|
||||
только чтение):
|
||||
|
||||
```
|
||||
{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Action":["s3:GetObject","s3:DeleteObject"],"Resource":"arn:aws:s3:::messenger/*"},{"Effect":"Allow","Action":"s3:ListBucket","Resource":"arn:aws:s3:::messenger","Condition":{"StringLike":{"s3:prefix":"messenger/attachments/*"}}}]}
|
||||
```
|
||||
|
||||
Политика на рабочем стенде применилась уже раньше: в apply `make
|
||||
test_isolated` зовёт `make start_s3`, а тот — bootstrap со смонтированным
|
||||
`infra/s3/bootstrap.sh` рабочего дерева. Повтор выше — no-op по bucket и
|
||||
пользователям и та же политика.
|
||||
|
||||
## `make s3_check`
|
||||
|
||||
```
|
||||
$ make s3_check
|
||||
python3 .claude/skills/run-mtusi-messenger/driver.py s3-check
|
||||
S3 s3:8333 (host 127.0.0.1:8334), bucket messenger, image chrislusf/seaweedfs:4.48
|
||||
where check expected got verdict
|
||||
server anonymous access setting none none ok
|
||||
server api key put object 200 200 ok
|
||||
server api key get object 200 200 ok
|
||||
server api key head object 200 200 ok
|
||||
server api key get missing object 404 404 ok
|
||||
server api key list objects 403 403 ok
|
||||
server api key create bucket 403 403 ok
|
||||
server api key delete bucket 403 403 ok
|
||||
server api key get bucket policy 403 403 ok
|
||||
server api key put bucket policy 403 403 ok
|
||||
server api key get bucket acl 403 403 ok
|
||||
server api key put bucket acl public-read 403 403 ok
|
||||
server api key put object acl public-read 403 403 ok
|
||||
server api key put cleaner probe object 200 200 ok
|
||||
server cleaner key get object 200 200 ok
|
||||
server cleaner key head object 200 200 ok
|
||||
server cleaner key delete object 204 204 ok
|
||||
server cleaner key delete object again 204 204 ok
|
||||
server api key get deleted object 404 404 ok
|
||||
server cleaner key delete missing object 204 204 ok
|
||||
server cleaner key put object 403 403 ok
|
||||
server cleaner key list objects 403 403 ok
|
||||
server cleaner key list attachments prefix 200 200 ok
|
||||
server cleaner key list other prefix 403 403 ok
|
||||
server cleaner key create bucket 403 403 ok
|
||||
server cleaner key delete bucket 403 403 ok
|
||||
server cleaner key get bucket policy 403 403 ok
|
||||
server cleaner key put bucket policy 403 403 ok
|
||||
server cleaner key get bucket acl 403 403 ok
|
||||
server cleaner key put bucket acl public-read 403 403 ok
|
||||
server cleaner key put object acl public-read 403 403 ok
|
||||
server api key put object to other bucket 403 403 ok
|
||||
server api key get object from other bucket 403 403 ok
|
||||
server api key list other bucket 403 403 ok
|
||||
server api key delete other bucket 403 403 ok
|
||||
server cleaner key get object from other bucket 403 403 ok
|
||||
server cleaner key delete object in other bucket 403 403 ok
|
||||
server cleaner key list other bucket 403 403 ok
|
||||
server cleaner key delete other bucket 403 403 ok
|
||||
server anonymous get object 403 403 ok
|
||||
server anonymous head object 403 403 ok
|
||||
server anonymous get missing object 403 403 ok
|
||||
server anonymous list objects 403 403 ok
|
||||
server anonymous list buckets 403 403 ok
|
||||
server anonymous put object 403 403 ok
|
||||
server anonymous create bucket 403 403 ok
|
||||
host anonymous get object 403 403 ok
|
||||
host anonymous head object 403 403 ok
|
||||
host anonymous get missing object 403 403 ok
|
||||
host anonymous list objects 403 403 ok
|
||||
host anonymous list buckets 403 403 ok
|
||||
host anonymous put object 403 403 ok
|
||||
server listening outside loopback 8333 18333 8333 18333 ok
|
||||
network anonymous get object 403 403 ok
|
||||
network anonymous head object 403 403 ok
|
||||
network anonymous get missing object 403 403 ok
|
||||
network anonymous list objects 403 403 ok
|
||||
network anonymous list buckets 403 403 ok
|
||||
network anonymous put object 403 403 ok
|
||||
network port 8333 (S3 API / gRPC of gateway) open open ok
|
||||
network port 18333 (S3 API / gRPC of gateway) open open ok
|
||||
network port 8080 (loopback only) closed closed ok
|
||||
network port 8888 (loopback only) closed closed ok
|
||||
network port 9333 (loopback only) closed closed ok
|
||||
network port 18080 (loopback only) closed closed ok
|
||||
network port 18888 (loopback only) closed closed ok
|
||||
network port 19333 (loopback only) closed closed ok
|
||||
network port 43567 (loopback only) closed closed ok
|
||||
server temporary buckets left 0 0 ok
|
||||
server probe objects left 0 0 ok
|
||||
PASS: 70 checks, bucket messenger is private
|
||||
exit=0
|
||||
```
|
||||
|
||||
Новые строки change — «cleaner key list attachments prefix» (200) и
|
||||
«cleaner key list other prefix» (403, префикс `.s3-check/`); «cleaner key
|
||||
list objects» (весь bucket) и «cleaner key list other bucket» — 403, как
|
||||
были.
|
||||
|
||||
## Проба bootstrap на временном проекте (apply, до commit)
|
||||
|
||||
Проект `rcapply`: SeaweedFS проекта на tmpfs 16 ГБ, синтетические секреты,
|
||||
`infra/s3/bootstrap.sh` и `docker-compose.yml` рабочего дерева (тот же код,
|
||||
что `c1648d9`):
|
||||
|
||||
- первый запуск и два повтора — код 0 («bucket messenger created», «user …
|
||||
created», затем «exists»);
|
||||
- `S3_CLEANER_LIST_PREFIX` = `messenger/`, `*`, `messenger/attachments/x`,
|
||||
пустое, `a/b/attachments/`, `x\nmessenger/attachments/`,
|
||||
`Messenger/attachments/` — каждый «FAILED: cleaner list prefix:
|
||||
S3_CLEANER_LIST_PREFIX must be <database>/attachments/» и код 1;
|
||||
- `check` — «cleaner key list objects» 403, «… attachments prefix» 200, «…
|
||||
other prefix» 403, «… other bucket» 403.
|
||||
|
||||
Клиентом приложения ключом уборщика там же: 2 504 ключа под
|
||||
`messenger/attachments/` — 3 страницы по 1000 за 0,29 с, у каждого
|
||||
`LastModified`; список всего bucket, `messenger/other/` и
|
||||
`test_messenger/attachments/` — `ObjectStorageUnavailable` («Object storage
|
||||
denied access», `AccessDenied`); после `s3.bucket.delete` список и проба
|
||||
bucket — `ObjectStorageUnavailable` («Object storage bucket is missing»,
|
||||
`NoSuchBucket`), а не пустая страница. Проект удалён, volumes совпали с
|
||||
исходными (design, «Уточнения apply», п. 14).
|
||||
@@ -1,29 +1,31 @@
|
||||
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3 и местами загрузки
|
||||
# `make failure_checks`: проверки отказов с уборщиком, согласованностью БД и S3, местами загрузки и сверкой
|
||||
|
||||
- Дата: 2026-10-22, 13:11:36–13:16:29 UTC.
|
||||
- Commit: `9d2ee30` (правки по verify change `upload-memory`: срок тела
|
||||
«узкого» API 3 с вместо 2 с — запас держателя места в
|
||||
`test_upload_slots_busy`; код приложения `src/` — прежний, `97a4be4`:
|
||||
места загрузки процесса, срок тела, одна копия тела при PUT, буферы
|
||||
LB). Рабочее дерево чистое, образ собран из него.
|
||||
- Дата: 2026-10-22, 16:45:12–16:53:19 UTC.
|
||||
- Commit: `c1648d9` (change `track2-reconciler`: сверка bucket и БД в
|
||||
процессе уборщика, колонка `lost_at`, список по префиксу у ключа
|
||||
уборщика, восемь новых проверок отказов). Рабочее дерево — `c1648d9`
|
||||
(вне commit — только файлы `evidence/`), образ собран из него.
|
||||
- Стенд отказов: проект `mtusi-lab4-failures` — свои PostgreSQL, Valkey
|
||||
и S3 (с bootstrap, пользователи `api` и `cleaner`), порты хранилищ не
|
||||
публикуются; уборщик `cleaner` с grace 20 с и интервалом 1 с
|
||||
(`failures.compose.yml`, `restart: "no"`); три API на `127.0.0.1`:
|
||||
обычный — с `MAX_UPLOAD_BYTES=1` и `MAX_IMAGE_PIXELS=1` в окружении,
|
||||
«тесный» (сроки сессии и ключа 2 с, пул 1) и с change `upload-memory`
|
||||
«узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди, ожидание
|
||||
1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время запущен на
|
||||
том же коде приложения (`make rolling_update` в 12:24, LB — на
|
||||
`127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта).
|
||||
и S3 (с bootstrap, пользователи `api` и `cleaner`, у уборщика список
|
||||
только с префиксом `messenger/attachments/`), порты хранилищ не
|
||||
публикуются; уборщик `cleaner` с grace 20 с, интервалом 1 с и **без
|
||||
плановой сверки** (`RECONCILER__INTERVAL_SECONDS: "0"`,
|
||||
`failures.compose.yml`, `restart: "no"`) — сверку запускают тесты через
|
||||
hook; три API на `127.0.0.1`: обычный — с `MAX_UPLOAD_BYTES=1` и
|
||||
`MAX_IMAGE_PIXELS=1` в окружении, «тесный» (сроки сессии и ключа 2 с,
|
||||
пул 1) и «узкий по загрузкам» (`UPLOADS_ENV`: 1 место, 1 в очереди,
|
||||
ожидание 1 с, срок тела 3 с). Рабочий стенд `mtusi-lab4` в это время
|
||||
запущен на том же коде (порядок обновления change в 16:32–16:34, LB —
|
||||
на `127.0.0.1:8090`: 8080 хоста занят контейнером другого проекта).
|
||||
Docker Desktop 29.9.1, Apple M3 Pro.
|
||||
- Прежние снимки этого файла: commit `5b42bd2` — 29 из 29 за 190 с;
|
||||
`87c48b9` — 32 из 32 за 224 с; `5889ca2` — 32 из 32 за 228 с;
|
||||
`ce1ae2c` — 37 из 37 за 255 с при сроке тела «узкого» API 2 с (пять
|
||||
новых тестов мест загрузки и срока тела). Сейчас — 37 из 37 за 263 с
|
||||
при сроке тела 3 с (раздел «Места загрузки и срок тела» ниже).
|
||||
`ce1ae2c` — 37 из 37 за 255 с; `9d2ee30` — 37 из 37 за 263 с. Сейчас —
|
||||
45 из 45 за 462 с: +8 проверок сверки (раздел «Сверка bucket и БД»
|
||||
ниже), им нужны ожидания grace стенда (20 с) для объектов без строки и
|
||||
~35 с нагрузки.
|
||||
|
||||
## Итог: код 0, 37 из 37
|
||||
## Итог: код 0, 45 из 45
|
||||
|
||||
Вывод сборки образа (BuildKit), строки `Container …` compose, записи
|
||||
alembic, вывод bootstrap S3 и журналы контейнеров стенда опущены; путь к
|
||||
@@ -37,58 +39,65 @@ python3 student-tests/run_failures.py
|
||||
[failure_checks] start postgres, valkey and s3
|
||||
[failure_checks] migrations
|
||||
[failure_checks] s3 bootstrap
|
||||
[failure_checks] start cleaner: grace 20 s, interval 1 s
|
||||
[failure_checks] start cleaner: grace 20 s, interval 1 s, reconcile interval 0 s (0 — off)
|
||||
[failure_checks] start api containers
|
||||
[failure_checks] ready: api=http://127.0.0.1:52585 tight=http://127.0.0.1:52599 uploads=http://127.0.0.1:52607
|
||||
[failure_checks] ready: api=http://127.0.0.1:50460 tight=http://127.0.0.1:50464 uploads=http://127.0.0.1:50468
|
||||
[failure_checks] pytest -m fault
|
||||
platform darwin -- Python 3.12.12, pytest-9.1.1, pluggy-1.6.0 -- …
|
||||
collecting ... collected 235 items / 198 deselected / 37 selected
|
||||
collecting ... collected 243 items / 198 deselected / 45 selected
|
||||
student-tests/test_failures.py::test_expired_token PASSED [ 2%]
|
||||
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 5%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 8%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 10%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 13%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 16%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 18%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 21%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 24%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 27%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 29%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 32%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 35%]
|
||||
student-tests/test_failures.py::test_valkey_stopped PASSED [ 37%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 40%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 43%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 45%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 48%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 51%]
|
||||
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 54%]
|
||||
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 56%]
|
||||
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 59%]
|
||||
student-tests/test_failures.py::test_interrupted_body PASSED [ 62%]
|
||||
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 64%]
|
||||
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 67%]
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 70%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 72%]
|
||||
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 75%]
|
||||
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 78%]
|
||||
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 81%]
|
||||
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 83%]
|
||||
student-tests/test_failures.py::test_object_storage_paused PASSED [ 86%]
|
||||
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 89%]
|
||||
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 91%]
|
||||
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 94%]
|
||||
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 97%]
|
||||
student-tests/test_failures.py::test_slow_body PASSED [100%]
|
||||
|
||||
================ 37 passed, 198 deselected in 262.87s (0:04:22) ================
|
||||
[failure_checks] postgres log: 444 lines, crash markers 0; "too many clients" 32, "administrator command" 142
|
||||
student-tests/test_failures.py::test_use_does_not_extend_session PASSED [ 4%]
|
||||
student-tests/test_failures.py::test_token_while_database_stopped PASSED [ 6%]
|
||||
student-tests/test_failures.py::test_members_failure_rolls_back_chat PASSED [ 8%]
|
||||
student-tests/test_failures.py::test_database_stopped_and_back PASSED [ 11%]
|
||||
student-tests/test_failures.py::test_pool_exhausted PASSED [ 13%]
|
||||
student-tests/test_failures.py::test_connection_limit_reached PASSED [ 15%]
|
||||
student-tests/test_failures.py::test_pool_keeps_connections PASSED [ 17%]
|
||||
student-tests/test_failures.py::test_readiness_without_database PASSED [ 20%]
|
||||
student-tests/test_failures.py::test_readiness_without_cache PASSED [ 22%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[stop] PASSED [ 24%]
|
||||
student-tests/test_failures.py::test_readiness_without_object_storage[pause] PASSED [ 26%]
|
||||
student-tests/test_failures.py::test_flush_cache PASSED [ 28%]
|
||||
student-tests/test_failures.py::test_valkey_stopped PASSED [ 31%]
|
||||
student-tests/test_failures.py::test_valkey_paused PASSED [ 33%]
|
||||
student-tests/test_failures.py::test_valkey_back PASSED [ 35%]
|
||||
student-tests/test_failures.py::test_message_failure_keeps_key_free PASSED [ 37%]
|
||||
student-tests/test_failures.py::test_database_outage_keeps_key_free PASSED [ 40%]
|
||||
student-tests/test_failures.py::test_key_free_after_ttl PASSED [ 42%]
|
||||
student-tests/test_failures.py::test_upload_with_object_storage_stopped PASSED [ 44%]
|
||||
student-tests/test_failures.py::test_rejected_uploads_leave_nothing PASSED [ 46%]
|
||||
student-tests/test_failures.py::test_metadata_insert_failure PASSED [ 48%]
|
||||
student-tests/test_failures.py::test_interrupted_body PASSED [ 51%]
|
||||
student-tests/test_failures.py::test_ready_failure_compensated PASSED [ 53%]
|
||||
student-tests/test_failures.py::test_killed_between_put_and_ready PASSED [ 55%]
|
||||
student-tests/test_failures.py::test_ready_commit_outcome_unknown PASSED [ 57%]
|
||||
student-tests/test_failures.py::test_upload_outlives_grace PASSED [ 60%]
|
||||
student-tests/test_failures.py::test_cleaner_failure_after_object_delete PASSED [ 62%]
|
||||
student-tests/test_failures.py::test_cleaner_survives_outages PASSED [ 64%]
|
||||
student-tests/test_failures.py::test_object_storage_stopped PASSED [ 66%]
|
||||
student-tests/test_failures.py::test_environment_does_not_change_limits PASSED [ 68%]
|
||||
student-tests/test_failures.py::test_object_storage_paused PASSED [ 71%]
|
||||
student-tests/test_failures.py::test_upload_slots_busy PASSED [ 73%]
|
||||
student-tests/test_failures.py::test_rejections_before_queue PASSED [ 75%]
|
||||
student-tests/test_failures.py::test_upload_waits_for_slot PASSED [ 77%]
|
||||
student-tests/test_failures.py::test_slot_released_after_failures PASSED [ 80%]
|
||||
student-tests/test_failures.py::test_slow_body PASSED [ 82%]
|
||||
student-tests/test_failures.py::test_reconcile_finds_and_fixes PASSED [ 84%]
|
||||
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown PASSED [ 86%]
|
||||
student-tests/test_failures.py::test_reconcile_restored_original PASSED [ 88%]
|
||||
student-tests/test_failures.py::test_reconcile_change_limit PASSED [ 91%]
|
||||
student-tests/test_failures.py::test_reconcile_object_storage_stopped PASSED [ 93%]
|
||||
student-tests/test_failures.py::test_reconcile_interrupted_by_database PASSED [ 95%]
|
||||
student-tests/test_failures.py::test_reconcile_under_load PASSED [ 97%]
|
||||
student-tests/test_failures.py::test_scheduled_reconcile PASSED [100%]
|
||||
================ 45 passed, 198 deselected in 462.06s (0:07:42) ================
|
||||
[failure_checks] postgres log: 438 lines, crash markers 0; "too many clients" 23, "administrator command" 142
|
||||
[failure_checks] cleanup
|
||||
[failure_checks] results: {'fault': 0, 'postgres': 0}
|
||||
exit=0
|
||||
make failure_checks 2>&1 56,10s user 20,95s system 15% cpu 8:07,69 total
|
||||
```
|
||||
|
||||
Вся команда — ~4 мин 55 с (13:11:36–13:16:29). «too many clients» и
|
||||
Вся команда — 8 мин 07 с (16:45:12–16:53:19). «too many clients» и
|
||||
«administrator command» — следы проверок «Предел соединений PostgreSQL
|
||||
исчерпан» (`fill-connections`) и остановок PostgreSQL, признаков
|
||||
аварийного перезапуска нет.
|
||||
@@ -96,23 +105,80 @@ exit=0
|
||||
## Уборка и рабочий стенд
|
||||
|
||||
```
|
||||
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # после прогона
|
||||
/mtusi-lab4-api-19 2026-10-22T12:24:16.659281295Z
|
||||
/mtusi-lab4-api-20 2026-10-22T12:24:34.073897804Z
|
||||
/mtusi-lab4-cleaner-1 2026-10-22T06:29:15.606982427Z
|
||||
/mtusi-lab4-haproxy-1 2026-10-22T06:30:24.692639417Z
|
||||
/mtusi-lab4-postgres-1 2026-10-22T06:29:08.988292382Z
|
||||
/mtusi-lab4-s3-1 2026-10-22T06:29:08.828629465Z
|
||||
/mtusi-lab4-valkey-1 2026-10-22T06:29:08.904727882Z
|
||||
left: containers 0, volumes 0
|
||||
$ docker inspect -f '{{.Name}} {{.State.StartedAt}}' $(docker compose ps -q) # до и после прогона — одинаково
|
||||
/mtusi-lab4-api-21 2026-10-22T16:38:07.188747593Z
|
||||
/mtusi-lab4-api-22 2026-10-22T16:37:49.487956001Z
|
||||
/mtusi-lab4-cleaner-1 2026-10-22T16:42:59.905412465Z
|
||||
/mtusi-lab4-haproxy-1 2026-10-22T16:37:23.189875503Z
|
||||
/mtusi-lab4-postgres-1 2026-10-22T16:36:57.034778213Z
|
||||
/mtusi-lab4-s3-1 2026-10-22T16:37:12.007644429Z
|
||||
/mtusi-lab4-valkey-1 2026-10-22T16:36:57.056768422Z
|
||||
$ docker ps -aq --filter label=com.docker.compose.project=mtusi-lab4-failures | wc -l
|
||||
0
|
||||
$ docker volume ls -q | wc -l
|
||||
155
|
||||
```
|
||||
|
||||
- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние —
|
||||
реплики после `make rolling_update` в 12:24:16 и 12:24:34; прогон — с
|
||||
13:11:36): рабочий стенд не тронут. Список docker volumes до и после
|
||||
прогона один и тот же (155 имён, совпал хэш списка).
|
||||
- Все контейнеры `mtusi-lab4` стартовали раньше прогона (последние — после
|
||||
`make test-persistence`, `make test-failover` и остановки уборщика для
|
||||
`evidence/reconcile/service.md` в 16:36–16:43; прогон — с 16:45:12), и
|
||||
время старта после прогона то же: рабочий стенд не тронут. Список docker
|
||||
volumes до и после прогона один и тот же (155 имён).
|
||||
- У проекта `mtusi-lab4-failures` не осталось ни контейнеров, ни volumes.
|
||||
|
||||
## Сверка bucket и БД (change `track2-reconciler`)
|
||||
|
||||
Hook вносит расхождения с обеих сторон (`put-object` — процесс в
|
||||
контейнере обычного API его ключами, `delete-object` — `weed shell fs.rm`,
|
||||
`delete-row`, `set-size`, `age-row` — psql) и запускает разовую сверку
|
||||
(`reconcile dry-run|apply [предел]` — одноразовый контейнер уборщика
|
||||
стенда, записи журнала и код выхода). Записи фильтруются по своим `id` и
|
||||
ключам, код выхода сверяется с записями того же прохода. Объекты
|
||||
состарить нельзя (`LastModified` ставит S3) — тесты с объектом без строки
|
||||
ждут G + 1 = 21 с; строки состаривает `age-row`.
|
||||
|
||||
- «Расхождения с обеих сторон найдены», «Исправление расхождений»,
|
||||
«Повторная сверка», `attachments` «Потерянный оригинал»
|
||||
(`test_reconcile_finds_and_fixes`; уборщик стенда остановлен на время
|
||||
теста): A в сообщении без объекта, B без строки, C с другим размером, O
|
||||
мимо API, P — обрыв COMMIT (строка `pending` и объект); dry-run — у
|
||||
каждого свой класс (`missing_object`, `orphan_object` ×2,
|
||||
`size_mismatch`, `stale_pending`), возраст ≥ G, код 3, строки, объекты и
|
||||
пометки не изменились, байты A — 500; `--apply` — O и объект B удалены,
|
||||
у P ни строки, ни объекта, A и C помечены, байты A — 404, метаданные A
|
||||
равны ответу загрузки; повтор — своих записей нет, код соответствует
|
||||
записям.
|
||||
- «Свежие не тронуты», «Используемое вложение не удаляется», «Чужой
|
||||
объект не удаляется» (`…_keeps_fresh_used_and_unknown`): у вложения в
|
||||
сообщении объект удалён — помечено, метаданные 200, история отдаёт его
|
||||
`id`, ни одна `ready` строка не пропала; свежие объект без строки и
|
||||
вложение без объекта — не тронуты, `fresh_objects` и `fresh_rows` ≥ 1;
|
||||
ключ `…/attachments/x-<uuid>` — «unknown_object», код 3, следующий
|
||||
проход снова его видит.
|
||||
- «Оригинал вернулся» (`…_restored_original`): помечено → те же байты под
|
||||
ключом → `--apply` — `restored_object` / `cleared_lost`, байты 200 с тем
|
||||
же SHA-256, следующий dry-run — ни одной записи о нём.
|
||||
- «Предел изменений» (`…_change_limit`): три потери при пределе 2 — код
|
||||
3, `error` «Reconcile changes exceed limit» с `changes` ≥ 3 и
|
||||
`max_changes` 2, итог `warning` с `refused: true`, ни одной пометки; с
|
||||
пределом 100 — помечены все три.
|
||||
- «S3 недоступен во время сверки» (`…_object_storage_stopped`): S3
|
||||
остановлен — код 1, `interrupted_by: object_storage`, ни одного «Fixed»;
|
||||
после возврата — помечено.
|
||||
- «Прерванная сверка доводится повтором» (`…_interrupted_by_database`):
|
||||
триггер роняет пометку одного вложения (08006) — код 1,
|
||||
`interrupted_by: database`; после снятия — помечены оба, dry-run их не
|
||||
находит.
|
||||
- «Сверка под нагрузкой» (`…_under_load`): два объекта без строки и две
|
||||
потери; 4 потока ~35 с загружают PNG ~100 KiB из шума и отправляют
|
||||
сообщения, поток сверки — `--apply` раз в 3 с: внесённое исправлено,
|
||||
каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё
|
||||
вложение, новые пометки — только внесённые, ни один проход не прерван.
|
||||
- «Плановая сверка без команды» (`test_scheduled_reconcile`): отдельный
|
||||
уборщик `<проект>-cleaner-scheduled` с `RECONCILER__INTERVAL_SECONDS=1`
|
||||
на 6 с — в журнале «Finished reconcile pass» с `apply: true`, потеря
|
||||
помечена без разового прохода.
|
||||
|
||||
## Места загрузки и срок тела (change `upload-memory`)
|
||||
|
||||
«Узкий по загрузкам» API: 1 место, 1 в очереди, ожидание 1 с, срок тела
|
||||
@@ -319,3 +385,58 @@ Tasks (1.5) ждали зелёными `test_slot_released_after_failures` и
|
||||
(design, решение 11), которого прежний код не выполняет; второй проверяет
|
||||
полную очередь (ответ 429 ожидавшей) — design change `upload-memory`,
|
||||
«Уточнения apply», п. 2.
|
||||
|
||||
## Красный прогон до кода `track2-reconciler` (apply, 2026-10-22)
|
||||
|
||||
Окончательные тесты, hook, `run_failures.py` и `failures.compose.yml`
|
||||
change против кода приложения `c13df14` (последний commit до кода change;
|
||||
код тот же, что `5f4b9ff`): `git archive c13df14` во временный каталог,
|
||||
поверх — `student-tests/` рабочего дерева apply, `python3
|
||||
student-tests/run_failures.py -k reconcile` из него (16:07–16:09 UTC).
|
||||
Рабочий стенд не трогался.
|
||||
|
||||
```
|
||||
[failure_checks] project=mtusi-lab4-failures (working stand: mtusi-lab4)
|
||||
s3-bootstrap: checks passed (api key put/get; cleaner key get/delete; api key list and bucket create, cleaner key put and list, anonymous get and list denied)
|
||||
student-tests/test_failures.py::test_reconcile_finds_and_fixes FAILED [ 12%]
|
||||
student-tests/test_failures.py::test_reconcile_keeps_fresh_used_and_unknown FAILED [ 25%]
|
||||
student-tests/test_failures.py::test_reconcile_restored_original FAILED [ 37%]
|
||||
student-tests/test_failures.py::test_reconcile_change_limit FAILED [ 50%]
|
||||
student-tests/test_failures.py::test_reconcile_object_storage_stopped FAILED [ 62%]
|
||||
student-tests/test_failures.py::test_reconcile_interrupted_by_database FAILED [ 75%]
|
||||
student-tests/test_failures.py::test_reconcile_under_load FAILED [ 87%]
|
||||
student-tests/test_failures.py::test_scheduled_reconcile FAILED [100%]
|
||||
E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist
|
||||
E AssertionError: assert {} == {'messenger/attachments/x-…': 'unknown_object'}
|
||||
E AssertionError: assert {} == {'1c6bae15-…': 'missing_object'}
|
||||
E assert 2 == 3 # Reconcile(records=[], exit_code=2)
|
||||
E assert 2 == 1 # Reconcile(records=[], exit_code=2)
|
||||
E AssertionError: fault hook fail-attachments mark fault-….png: … ERROR: column "lost_at" of relation "attachments" does not exist
|
||||
E AssertionError: fault hook lost-ids: ERROR: column "lost_at" does not exist
|
||||
E AssertionError: {"event": "Started cleaner", …} {"event": "Stopped cleaner", …} # assert passes — итога сверки нет
|
||||
================= 8 failed, 235 deselected in 95.20s (0:01:35) =================
|
||||
[failure_checks] postgres log: 67 lines, crash markers 0; "too many clients" 0, "administrator command" 0
|
||||
[failure_checks] results: {'fault': 1, 'postgres': 0}
|
||||
```
|
||||
|
||||
Причины — отсутствие нового поведения в прежнем коде, а не тестов и не
|
||||
стенда:
|
||||
|
||||
| Тест | Падение | Причина |
|
||||
|---|---|---|
|
||||
| `test_reconcile_finds_and_fixes` | `lost-ids`: нет колонки `lost_at` | миграции change нет |
|
||||
| `test_reconcile_keeps_fresh_used_and_unknown` | ни одной записи «Found» | команды `reconcile` нет: argparse, код 2 |
|
||||
| `test_reconcile_restored_original` | ни одной записи «Fixed» | то же |
|
||||
| `test_reconcile_change_limit` | код 2 вместо 3 | то же |
|
||||
| `test_reconcile_object_storage_stopped` | код 2 вместо 1 | то же |
|
||||
| `test_reconcile_interrupted_by_database` | триггер `BEFORE UPDATE OF lost_at` не создать | колонки нет |
|
||||
| `test_reconcile_under_load` | `lost-ids`: нет колонки | то же |
|
||||
| `test_scheduled_reconcile` | в журнале уборщика только «Started» и «Stopped cleaner» | плановой сверки нет |
|
||||
|
||||
Первый красный прогон того же кода (с тестами до правок apply — design
|
||||
change `track2-reconciler`, «Уточнения apply», пп. 15 и 17) тоже дал 8
|
||||
failed за 99,5 с; его вывод сохранился не полностью, поэтому снят этот.
|
||||
На новом коде первые два прогона `-k reconcile` падали на дефектах
|
||||
самих тестов и hook (`start cleaner` через `compose start` требовал
|
||||
контейнер `migrate`; сравнение метаданных строк, которые изменил сам
|
||||
hook), не кода: после их правки — 8 из 8 и полный прогон 45 из 45.
|
||||
|
||||
@@ -1,36 +1,35 @@
|
||||
# `make student_test` через балансировщик
|
||||
|
||||
- Дата: 2026-10-22, 12:34:28–12:35:09 UTC (пересъёмка после change
|
||||
`upload-memory`).
|
||||
- Commit: `ce1ae2c` (код — `97a4be4`); вне commit — только документы
|
||||
(`evidence/`, `tasks.md`, `PLAN.md`), код стенда собран из дерева с
|
||||
тем же `src/`.
|
||||
- Стенд: рабочий `mtusi-lab4` после `make rolling_update` (12:24) —
|
||||
`BASE_URL=http://localhost:8090`: **LB на 8090, а не на 8080 из
|
||||
`.env`**, порт 8080 хоста занят контейнером другого проекта
|
||||
(`domains-api-1`); `EXPECT_REPLICAS=2` (`API_REPLICAS`): реплики
|
||||
`3b96c600b25a` и `f6915f9b80dc`, PostgreSQL, Valkey, S3, уборщик
|
||||
`cleaner`. Тесты реплик выполняются, проверки отказов (`fault`) — нет
|
||||
(`-m 'not fault'`, их гоняет `make failure_checks`, `failure-checks.md`).
|
||||
- Что изменилось с прежнего снимка (commit `87c48b9`): change
|
||||
`upload-memory` — новый тест `test_concurrent_uploads` («Загрузки в
|
||||
пределах лимита», 10 одновременных загрузок PNG ~1 MiB), пять новых
|
||||
проверок отказов мест загрузки и срока тела (`deselected` 37 вместо 32)
|
||||
и два исключения сверки — «Одна копия тела при записи в S3» и «Память
|
||||
не растёт с числом загрузок» со ссылкой на метку
|
||||
`evidence/uploads/baseline/summary.md` (`make bench_uploads`, commit
|
||||
`ce1ae2c`). Итог сверки — 227 сценариев в 13 спеках, 210 с тестами (45
|
||||
— проверками отказов), 17 исключений.
|
||||
- Файлы исключений сверки покрытия есть в репозитории (прежние шесть —
|
||||
commit `8dc925e`, метка `baseline` — `ce1ae2c`):
|
||||
`test_exclusion_evidence_exists` зелёный.
|
||||
- Дата: 2026-10-22, 16:35:03–16:35:42 UTC (пересъёмка после change
|
||||
`track2-reconciler`; второй прогон 16:35:55–16:36:33 — счёт по модулям).
|
||||
- Commit: `c1648d9`, дерево чистое.
|
||||
- Стенд: рабочий `mtusi-lab4` после порядка обновления change (`docker
|
||||
compose up -d s3-bootstrap` → `make rolling_update` → `docker compose up
|
||||
-d --no-deps cleaner`, 16:32–16:34) — `BASE_URL=http://localhost:8090`:
|
||||
**LB на 8090, а не на 8080 из `.env`**, порт 8080 хоста занят
|
||||
контейнером другого проекта (`domains-api-1`); `EXPECT_REPLICAS=2`
|
||||
(`API_REPLICAS`): реплики `151df4af59c3` и `b5c48ae854d1`, PostgreSQL на
|
||||
ревизии `5c3e1f0a9b7d`, Valkey, S3, уборщик с плановой сверкой. Тесты
|
||||
реплик выполняются, проверки отказов (`fault`) — нет (`-m 'not fault'`,
|
||||
их гоняет `make failure_checks`, `failure-checks.md`).
|
||||
- Что изменилось с прежнего снимка (commit `ce1ae2c`): change
|
||||
`track2-reconciler` — восемь новых проверок отказов сверки bucket и БД
|
||||
(`deselected` 45 вместо 37) и 13 новых сценариев в основных спеках:
|
||||
12 у `storage-consistency` (сверка, её безопасность, потерянный
|
||||
оригинал, отказы хранилищ, плановая сверка) и «Потерянный оригинал» у
|
||||
`attachments`. Все они покрыты проверками отказов: итог сверки — 240
|
||||
сценариев в 13 спеках, 223 с тестами (58 — проверками отказов), 17
|
||||
исключений. Тестов вне `fault` change не добавил: 198, как раньше.
|
||||
- Файлы исключений сверки покрытия есть в репозитории, новых исключений
|
||||
нет: `test_exclusion_evidence_exists` зелёный.
|
||||
|
||||
## Итог
|
||||
|
||||
```
|
||||
$ make student_test BASE_URL=http://localhost:8090
|
||||
coverage: 227 scenarios in 13 specs, 210 tested (45 by make failure_checks), 17 excluded
|
||||
===================== 198 passed, 37 deselected in 40.23s ======================
|
||||
collecting ... collected 243 items / 45 deselected / 198 selected
|
||||
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
|
||||
===================== 198 passed, 45 deselected in 38.55s ======================
|
||||
exit=0
|
||||
```
|
||||
|
||||
@@ -59,37 +58,28 @@ exit=0
|
||||
## Строки тестов реплик и гонок (`-rsP`)
|
||||
|
||||
```
|
||||
two series of 18 requests: {'f6915f9b80dc': 18, '3b96c600b25a': 18}
|
||||
uploaded via f6915f9b80dc, downloaded via ['3b96c600b25a', 'f6915f9b80dc']
|
||||
sent via f6915f9b80dc, replayed via ['3b96c600b25a']
|
||||
409 via ['3b96c600b25a', 'f6915f9b80dc']
|
||||
one session, 20 requests: {'3b96c600b25a': 10, 'f6915f9b80dc': 10}
|
||||
written via f6915f9b80dc, read via {'3b96c600b25a': 3, 'f6915f9b80dc': 3}
|
||||
two series of 18 requests: {'151df4af59c3': 18, 'b5c48ae854d1': 18}
|
||||
uploaded via 151df4af59c3, downloaded via ['151df4af59c3', 'b5c48ae854d1']
|
||||
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
|
||||
sent via 151df4af59c3, replayed via ['b5c48ae854d1']
|
||||
409 via ['151df4af59c3', 'b5c48ae854d1']
|
||||
one session, 20 requests: {'b5c48ae854d1': 10, '151df4af59c3': 10}
|
||||
written via 151df4af59c3, read via {'b5c48ae854d1': 3, '151df4af59c3': 3}
|
||||
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
|
||||
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race through replicas: {'3b96c600b25a': 5, 'f6915f9b80dc': 5}
|
||||
key race through replicas: {'151df4af59c3': 5, 'b5c48ae854d1': 5}
|
||||
```
|
||||
|
||||
- Change `upload-memory`: `test_concurrent_uploads` — 10 участников одного
|
||||
чата загружают по PNG ~1 MiB через LB одновременно (за
|
||||
`threading.Barrier`, каждый своим соединением): все 201 с разными `id`,
|
||||
загрузки пересекались по времени, каждое вложение скачивается
|
||||
побайтно. 4 места и очередь 16 на реплику при параметрах по умолчанию
|
||||
их вмещают.
|
||||
- Вложения лабы 4: 34 теста спека `attachments` (`test_attachments.py`)
|
||||
и пять сценариев рубрики «4» лабы 4 в `test_rubric.py` (слишком
|
||||
большой файл, повреждённое изображение, подмена MIME, чужое
|
||||
`attachment_id`, вложение другого чата): каждая ошибка клиента — 4xx
|
||||
в формате контракта, не 500. «Скачивание через другую реплику»:
|
||||
загрузку принял `f6915f9b80dc`, оригинал отдал и `3b96c600b25a`.
|
||||
- `test_filename_not_utf8` (сценарий «Имя не в UTF-8»):
|
||||
`filename=a%FFb.png`, `a%C3.png`, `a%ED%A0%80b.png` — 400,
|
||||
`%C3%A9t%C3%A9.png` — 201 с `été.png`.
|
||||
- Вложения лабы 4: 34 теста спека `attachments` и пять сценариев рубрики
|
||||
«4» лабы 4 в `test_rubric.py` — прежние, на новом коде (ветка
|
||||
`lost_at` в скачивании касается только помеченных сверкой вложений).
|
||||
«Скачивание через другую реплику»: загрузку принял `151df4af59c3`,
|
||||
оригинал отдали обе реплики.
|
||||
- Уровень 4 лаб 2–3: 100 сообщений от 10 клиентов — 100 уникальных в
|
||||
истории; гонка регистрации — один 201; гонка одного ключа через
|
||||
реплики — одно сообщение.
|
||||
- Сверка покрытия: все 227 сценариев 13 спеков — тест (210, из них 45
|
||||
проверками отказов, в том числе все 9 сценариев `storage-consistency`)
|
||||
- Сверка покрытия: все 240 сценариев 13 спеков — тест (223, из них 58
|
||||
проверками отказов, в том числе все 21 сценарий `storage-consistency`)
|
||||
или исключение с доказательством (17).
|
||||
|
||||
@@ -3,21 +3,29 @@
|
||||
- Спек `student-tests`: «Прогон на временной базе» (уборка префикса
|
||||
`test_<db>/`, «Хвост прошлого прогона», «Сохранить базу для разбора»).
|
||||
Design change `s3-storage`, решение 9 и «Уточнения apply», п. 11.
|
||||
- Раздел 0 — пересъёмка после change `upload-memory` (зелёная). Разделы
|
||||
1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки с тех пор
|
||||
не менялся (`student-tests/run_isolated.py`), а красное в них —
|
||||
- Раздел 0 — пересъёмка после change `track2-reconciler` (зелёная).
|
||||
Разделы 1–3 сняты на `f57635a` (change `s3-storage`): механизм уборки с
|
||||
тех пор не менялся (`student-tests/run_isolated.py`), а красное в них —
|
||||
ожидаемое до `attachments`, как сказано ниже. Прежние снимки раздела
|
||||
0: commit `d56b892` (change `attachments`) — 191 passed, 5 skipped, 23
|
||||
deselected; `5b42bd2` — 192 passed, 5 skipped, 29 deselected, сверка
|
||||
212 / 33; `87c48b9` — 192 passed, 5 skipped, 32 deselected, сверка 215
|
||||
/ 36.
|
||||
/ 36; `ce1ae2c` (change `upload-memory`) — 193 passed, 5 skipped, 37
|
||||
deselected, сверка 227 / 210 / 45 / 17.
|
||||
|
||||
## 0. Пересъёмка: код 0 (change `upload-memory`)
|
||||
## 0. Пересъёмка: код 0 (change `track2-reconciler`)
|
||||
|
||||
- Дата: 2026-10-22, 12:32:21–12:34:02 UTC.
|
||||
- Commit: `ce1ae2c` (код — `97a4be4`); рабочее дерево — только
|
||||
незакоммиченные документы (`evidence/`, `tasks.md`, `PLAN.md`), образ
|
||||
собирается из дерева, код совпадает с commit.
|
||||
- Дата: 2026-10-22, 16:55:37–16:57:28 UTC.
|
||||
- Commit: `c1648d9`; рабочее дерево — только незакоммиченные файлы
|
||||
`evidence/`, образ собирается из дерева, код совпадает с commit.
|
||||
- Что изменилось: восемь новых проверок отказов сверки (`deselected` 45
|
||||
вместо 37) и 13 новых сценариев спеков, покрытых ими (сверка 240 / 223 /
|
||||
58 / 17); тестов вне `fault` столько же. Миграции временной базы — с
|
||||
ревизией `5c3e1f0a9b7d` (`lost_at`). Перед прогоном `start_s3` запускает
|
||||
bootstrap: политика уборщика со списком по префиксу (строка «cleaner key
|
||||
get/delete and list messenger/attachments/»). Объекты `test_messenger/`
|
||||
сверка рабочего стенда не видит: её список — только
|
||||
`messenger/attachments/`.
|
||||
- Стенд: рабочий `mtusi-lab4` (с уборщиком `cleaner`); временная база
|
||||
`test_messenger`, один контейнер API `mtusi-lab4-test-api` на
|
||||
`127.0.0.1:18088` без LB (`EXPECT_REPLICAS=1`), Valkey и S3 стенда
|
||||
@@ -43,13 +51,13 @@ $ make test_isolated
|
||||
[test_isolated] make test
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
[test_isolated] make student_test
|
||||
coverage: 227 scenarios in 13 specs, 210 tested (45 by make failure_checks), 17 excluded
|
||||
coverage: 240 scenarios in 13 specs, 223 tested (58 by make failure_checks), 17 excluded
|
||||
SKIPPED [1] student-tests/test_attachments.py:701: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
=========== 193 passed, 5 skipped, 37 deselected in 88.67s (0:01:28) ===========
|
||||
=========== 193 passed, 5 skipped, 45 deselected in 97.87s (0:01:37) ===========
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/
|
||||
[test_isolated] results: {'test': 0, 'student_test': 0}
|
||||
|
||||
@@ -409,7 +409,7 @@ Commit делает основная сессия после подтвержд
|
||||
|
||||
## 12. Прогоны и evidence
|
||||
|
||||
- [ ] 12.1 Commit кода (основная сессия, после подтверждения). Затем
|
||||
- [x] 12.1 Commit кода (основная сессия, после подтверждения). Затем
|
||||
рабочий стенд по порядку решения 6:
|
||||
- `docker compose up -d s3-bootstrap`;
|
||||
- `make rolling_update`;
|
||||
@@ -424,11 +424,24 @@ Commit делает основная сессия после подтвержд
|
||||
test-failover ACTION_SCRIPT=scripts/stop-one.sh` для обеих реплик —
|
||||
с `BASE_URL` LB;
|
||||
- `make s3_check`.
|
||||
- [ ] 12.2 `evidence/reconcile/cycle.md` — вывод `driver.py --port 8090
|
||||
|
||||
Сделано 2026-10-22 16:32–16:38 UTC, commit `c1648d9`: `up -d
|
||||
s3-bootstrap` — код 0, «cleaner key get/delete and list
|
||||
messenger/attachments/» (политика на стенде уже стояла: её применил
|
||||
bootstrap из `make test_isolated` в apply); `make rolling_update
|
||||
APP_OUT_PORT=8090` — 12 с, `739b8f04d5fb` → `5c3e1f0a9b7d`, реплики
|
||||
`151df4af59c3`, `b5c48ae854d1`, старые — `exit 0`; `up -d --no-deps
|
||||
cleaner` — плановая сверка при старте: 2 086 объектов и строк, `found
|
||||
{}`; `make reconcile` — код 0; `make s3_check` — 70 проверок, PASS;
|
||||
`make test` — PASS; `make student_test` — 198 passed; `make
|
||||
test-persistence` — PASS; `make test-failover` — PASS для
|
||||
`b5c48ae854d1` (113 записей, восстановление 1,6 с) и `151df4af59c3`
|
||||
(118, 1,2 с), между ними `make replicas`. LB остался на `8090`.
|
||||
- [x] 12.2 `evidence/reconcile/cycle.md` — вывод `driver.py --port 8090
|
||||
reconcile-cycle` с датой и commit.
|
||||
- [ ] 12.3 `evidence/reconcile/stress.md` — вывод `driver.py --port 8090
|
||||
- [x] 12.3 `evidence/reconcile/stress.md` — вывод `driver.py --port 8090
|
||||
reconcile-stress`.
|
||||
- [ ] 12.4 `evidence/reconcile/service.md`:
|
||||
- [x] 12.4 `evidence/reconcile/service.md`:
|
||||
- «Started cleaner» с параметрами сверки;
|
||||
- плановая сверка при старте;
|
||||
- `docker compose stop cleaner` во время сверки при `docker compose
|
||||
@@ -436,16 +449,22 @@ Commit делает основная сессия после подтвержд
|
||||
`unpause`;
|
||||
- отказ старта с `RECONCILER__PAGE_SIZE=5000`;
|
||||
- коды разового прохода 0 и 3.
|
||||
- [ ] 12.5 Остальное evidence:
|
||||
- [x] 12.5 Остальное evidence:
|
||||
- `evidence/s3/cleaner-list.md` — bootstrap с новой политикой, `make
|
||||
s3_check`, окружение `s3-bootstrap` в `docker compose config`;
|
||||
- `evidence/migrations/lost-at.md` — вывод 3.1 и `make rolling_update`
|
||||
12.1 с ревизией до и после.
|
||||
- [ ] 12.6 `evidence/tests/`:
|
||||
- [x] 12.6 `evidence/tests/`:
|
||||
- `failure-checks.md` — полный прогон и раздел красного прогона 1.4;
|
||||
- `student-test-lb.md`;
|
||||
- вывод `make test_isolated`.
|
||||
- [ ] 12.7 Регресс:
|
||||
|
||||
Сделано с `c1648d9`: `make failure_checks` — 45 из 45 за 462 с (8 мин
|
||||
07 с), crash markers 0, рабочий стенд не тронут; раздел красного
|
||||
прогона (8 из 8 на `c13df14`); `make student_test` через LB — 198
|
||||
passed, сверка 240 / 223 / 58 / 17; `make test_isolated` — 193 passed,
|
||||
5 skipped, код 0, префикс `test_messenger/` и база убраны.
|
||||
- [x] 12.7 Регресс:
|
||||
- `make bench_quick`;
|
||||
- `bench_failover_quick`;
|
||||
- `bench_rollout_quick` (замена `e1161f7` → новая ревизия под
|
||||
@@ -454,7 +473,19 @@ Commit делает основная сессия после подтвержд
|
||||
- `make test_isolated` — код 0 у каждой.
|
||||
|
||||
Метки `quick-*` в git не идут.
|
||||
- [ ] 12.8 `REPORT.md`:
|
||||
|
||||
Сделано 2026-10-22 с `c1648d9` (в паспортах `dirty: true` — только
|
||||
неотслеживаемые файлы `evidence/`): `bench_quick` — 18/18, код 0
|
||||
(прерванный паузой лимита прогон 16:58 переснят, его каталог удалён);
|
||||
`bench_failover_quick` — 4/4, ошибок 0–2 на фазу (502 при `stop` /
|
||||
`kill`, как в прежних метках), сообщений = ключей 9 204; `bench_rollout_
|
||||
quick` — замена `e1161f7` → текущий за 8,62 с, ревизия `e656d6bbe1a4`
|
||||
→ `5c3e1f0a9b7d`, ошибок 0 / 0 / 0, старых после дренажа 0, 7 301 = 7 301;
|
||||
`bench_restore_quick` — код 0, RTO 5,02 с; `make test_isolated` — код 0
|
||||
(12.6). Предупреждения хоста о swap — это не замеры. Контейнеров
|
||||
`mtusi-bench*` после — 0, volumes — 155; `make reconcile` на рабочем
|
||||
стенде после всего — `found {}`, код 0.
|
||||
- [x] 12.8 `REPORT.md`:
|
||||
- раздел «Сверка хранилищ (трек 2, change `track2-reconciler`)» —
|
||||
классы, проход, правила безопасности, предел, права S3, ответы API
|
||||
и вопрос преподавателю, плановая сверка;
|
||||
|
||||
Reference in New Issue
Block a user