From 84f8c353e9e13752da009c648b8cdf9f5586f73b Mon Sep 17 00:00:00 2001 From: roman Date: Thu, 22 Oct 2026 21:04:01 +0300 Subject: [PATCH] fix: address track2-reconciler verify findings Co-Authored-By: Claude Opus 5.5 --- .claude/rules/repo-layer.md | 3 +- .claude/rules/service-layer.md | 10 +- .claude/rules/student-tests.md | 23 ++- .claude/skills/run-mtusi-messenger/SKILL.md | 2 + .claude/skills/run-mtusi-messenger/driver.py | 160 +++++++++++++++- AGENTS.md | 22 ++- KNOWN_ISSUES.md | 26 +++ PLAN.md | 28 +++ REPORT.md | 27 ++- openspec/changes/track2-reconciler/design.md | 64 +++++++ .../specs/storage-consistency/spec.md | 46 ++++- openspec/changes/track2-reconciler/tasks.md | 79 ++++++++ openspec/specs/storage-consistency/spec.md | 46 ++++- src/core/repos/attachment_object.py | 8 + src/core/services/attachment_reconcile.py | 84 ++++++--- student-tests/fault_hook.py | 26 +++ student-tests/test_failures.py | 172 ++++++++++++++++++ 17 files changed, 770 insertions(+), 56 deletions(-) diff --git a/.claude/rules/repo-layer.md b/.claude/rules/repo-layer.md index 18034318..f4c8ecfc 100644 --- a/.claude/rules/repo-layer.md +++ b/.claude/rules/repo-layer.md @@ -91,7 +91,8 @@ paths: `delete_original` (отсутствие объекта — не ошибка; компенсация загрузки и уборщик). Ключ хранится в строке и при чтении берётся из неё, не вычисляется заново. Для сверки: - `originals_prefix` (`/attachments/`), `parse_original_key` + `originals_prefix` (`/attachments/`), `is_own_key` (ключ + под этим префиксом, без вызова S3), `parse_original_key` (`UUID` ключа `/original` в записи сервера, иначе `None`), `list_originals` (страница списка), `probe_originals` (список с `MaxKeys=1`: bucket на месте и список разрешён), `head_original`; diff --git a/.claude/rules/service-layer.md b/.claude/rules/service-layer.md index 6f0f9705..3a5187e7 100644 --- a/.claude/rules/service-layer.md +++ b/.claude/rules/service-layer.md @@ -175,8 +175,14 @@ paths: Удаляется только объект без строки и зависшая загрузка; `ready`, объект строки любого статуса и чужой ключ — никогда. Действия начинаются после классификации: отказ на шагах 1–4 — ни одного - изменения. Отказ S3 или БД — `interrupted_by`, после сигнала — - `stop`; `stop_requested()` — между страницами и действиями; + изменения. Строка `ready` или зависшая загрузка с ключом вне + `<база>/attachments/` (`attachment_object_repo.is_own_key`) — «чужой + объект»: без HEAD, без пометки и без уборки; HEAD, пометка, снятие и + DELETE ещё раз проверяют префикс (design change `track2-reconciler`, + «Уточнения apply», п. 19). Отказ S3 или БД — `interrupted_by`, после + сигнала — `stop`; `stop_requested()` (`_check_stop`) — перед каждым + вызовом S3 и шагом с БД: остановка ждёт не больше одного вызова (п. + 20); - `MessageService.send_message(..., attachment_ids)`: членство → `get_attachments` (все найдены, чат этого сообщения, `ready`; иначе `AttachmentNotFound` до захвата ключа) → хэш → ключ → сообщение → diff --git a/.claude/rules/student-tests.md b/.claude/rules/student-tests.md index 5156b03b..d1f94c0d 100644 --- a/.claude/rules/student-tests.md +++ b/.claude/rules/student-tests.md @@ -218,7 +218,9 @@ paths: выводу), оба — только под `/attachments/` и символы `[A-Za-z0-9._/-]`; `delete-row`, `set-size`, `age-row` (сдвиг `created_at` и `updated_at` вместе — CHECK и непомеченность `pending` - сохраняются), `lost-ids`; `fail-attachments mark ` — свой + сохраняются), `set-key <ключ>` (только `object_key` строки, + ключ под `/`, в том числе вне `attachments/`; bucket + не трогается), `lost-ids`; `fail-attachments mark ` — свой триггер `BEFORE UPDATE OF lost_at` (08006), `clear-fail-attachments` снимает и его; `reconcile dry-run|apply [<предел>]` — `docker compose run --rm --no-deps -T cleaner reconcile …`, записи процесса и строка @@ -241,7 +243,14 @@ paths: `…_object_storage_stopped`, `…_interrupted_by_database`, `…_under_load` (4 потока ~G + 15 с загрузок PNG ~100 KiB и отправок, apply раз в 3 с; все 201 скачиваются с тем же SHA-256, новые пометки - — только внесённые), `test_scheduled_reconcile`. Записи + — только внесённые), `test_scheduled_reconcile`; по замечаниям + verify — `test_reconcile_keeps_referenced_objects` (X с другим ключом, + Y ссылается на `/original` без строки Z: три объекта — чужие и на + месте, X помечено), `test_reconcile_limit_keeps_cleanup` (отказ по + пределу, зависшая загрузка всё равно убрана) и + `test_reconcile_foreign_key_untouched` (`set-key` на + `<база>/elsewhere/` у готовой строки и зависшей загрузки: чужие, ни + пометки, ни уборки). Записи фильтруются по своим `id` и ключам, код выхода сверяется с записями того же прохода (`Reconcile.assert_code_matches`). Объекты без строки ждут G + 1 с (`LastModified` ставит S3), строки состаривает @@ -250,7 +259,12 @@ paths: - красный прогон на `c13df14` (код до change): упали все восемь — команды `reconcile` нет (argparse, код 2), колонки `lost_at` нет (`lost-ids` — ошибка psql), плановой сверки нет - (`evidence/tests/failure-checks.md`); + (`evidence/tests/failure-checks.md`). Тесты по замечаниям verify: на + `a6071da` `…_foreign_key_untouched` красный (готовая строка — + `missing_object` после HEAD чужого префикса, зависшая — `stale_pending`), + два теста W1 зелёные (ветки были верны) и красные на временных + регрессиях — `_recheck_orphan` без проверки ссылок и уборка зависших + под пределом (design, «Уточнения apply», п. 22); - исключения сверки: «Принявшая реплика остановлена» — `driver.py attachment-failover` → `evidence/attachments/failover.md`; «Байты не в БД и не на диске API» — `driver.py attachment-storage` → @@ -339,7 +353,8 @@ paths: С change `track2-reconciler` — без плановой сверки (`RECONCILER__INTERVAL_SECONDS: "0"`, строка `start cleaner` называет и её интервал), а `<проект>-cleaner-scheduled` hook `run-cleaner` - убирается вместе с API. Прогон — ~8 мин (45 проверок, pytest ~460 с; + убирается вместе с API. Прогон — ~9,5 мин (48 проверок, pytest ~535 с; + до правок по verify `track2-reconciler` — 45 и ~460 с; до `track2-reconciler` — 37 и ~255 с, до `upload-memory` — 32 и ~220 с, до `upload-consistency` ~70 с); - `pytest -m fault`, затем журнал PostgreSQL стенда: сводка `postgres diff --git a/.claude/skills/run-mtusi-messenger/SKILL.md b/.claude/skills/run-mtusi-messenger/SKILL.md index 701d261d..afcc1106 100644 --- a/.claude/skills/run-mtusi-messenger/SKILL.md +++ b/.claude/skills/run-mtusi-messenger/SKILL.md @@ -126,6 +126,7 @@ python3 $D stop | `upload-consistency` | только стенд с LB: спеки `attachments` «Порядок записи» и `storage-consistency` (design change `upload-consistency`, решение 11). Синтетические Алиса, Боб и чат; готовое вложение R. Шаги: (1) `docker compose pause s3` → загрузка через LB — 503 за ~5 с → `unpause` в `finally`; новая строка `pending` по psql (`id`, статус, возраст, ключ); (2) триггер «фиксация `ready` падает» (SQLSTATE 08006) на рабочей базе только для уникального `filename` прогона → загрузка 503 → строка `pending`, объекта уже нет (компенсация), триггер снят (`finally`, и остаток прошлого прогона — в начале); (3) метаданные, байты и сообщение со ссылкой на обе строки — 404; (4) после grace прогона 30 с — `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once`, его JSON-вывод; (5) psql и `weed shell fs.tree` (файлы `original`, а не каталоги) — ни строк, ни объектов обеих загрузок, объектов без строки под префиксом рабочей базы нет; R скачивается с тем же SHA-256. Таблица «проверка → ожидаемо → получено» без токенов и секретов; код 1 при расхождении, без LB — код 2. ~45 с. Вывод — `evidence/attachments/consistency.md` | | `reconcile-cycle` | только стенд с LB: спеки `storage-consistency` (сверка bucket и БД) и `attachments` «Потерянный оригинал» (design change `track2-reconciler`, решение 12). (1) исходный dry-run с grace по умолчанию — расхождений нет, иначе код 2; (2) синтетические Алиса, Боб, чат, вложения A (в сообщении), B, C; (3) объект O без строки и чужой ключ X — `docker exec` реплики (botocore образа её ключами), объект A удалён (`weed shell fs.rm`), строка B удалена и размер C изменён (psql), P — триггер COMMIT на уникальный `filename` (503, строка `pending` и объект); (4) после grace 30 с dry-run: таблица «класс → действие → ключ → `id` → возраст», снимки строк, объектов и пометок до и после совпали; (5) байты A — 500; (6) свежий F, `--apply`: O, B удалены, A, C помечены, P убрана, F не тронут, байты A — 404, метаданные A — 200 и равны ответу загрузки, история отдаёт A; (7) повтор — только чужой X, код 3; оператор удаляет X — код 0; после grace F удалён; (8) A возвращён теми же байтами — «оригинал вернулся», байты 200 с тем же SHA-256, итоговый dry-run — код 0. Таблица «проверка → ожидаемо → получено» без токенов; код 1 при расхождении, без LB — код 2. ~2 мин. Вывод — `evidence/reconcile/cycle.md` | | `reconcile-stress [--seconds S] [--clients N]` | только стенд с LB: «Сверка под нагрузкой». Предусловие — dry-run с grace 20 с без расхождений (иначе код 2); два объекта без строки и два вложения без объекта; N клиентов (4) S секунд (40, больше grace) загружают PNG ~100 KiB из шума и отправляют сообщения, поток сверки — `--apply` с grace 20 с раз в ~3 с, затем ещё один проход. Итог: загрузки по кодам, сообщения, коды проходов, исправления по классам; проверки — внесённые исправлены (объекты удалены, новые пометки — ровно внесённые), каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё вложение, ни одного прерванного прохода, повтор dry-run — код 0. Проверка корректности, не замер. Вывод — `evidence/reconcile/stress.md` | +| `reconcile-signal` | только не рабочий проект compose (выбор — окружением `COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`, `COMPOSE_ENV_FILES`; `mtusi-lab4` — отказ, код 2): спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом, — код 1 (design change `track2-reconciler`, «Уточнения apply», п. 23). Нужны запущенные `s3` и образ уборщика, LB и реплики не нужны. `docker compose pause s3` → `run -d --no-deps --name <проект>-reconcile-signal cleaner reconcile --apply` → через секунду после «Started cleaner» `docker stop` → код контейнера и журнал → `rm`, `unpause s3` в `finally`. Записи процесса (событие, уровень, операция, `interrupted_by`, `exit_code`) и таблица: код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, записей «Fixed» 0, остановка быстрее 10 с; код 1 при расхождении. ~10 с. Вывод — раздел `evidence/reconcile/service.md` | | `lb-upload-timeouts [--config F] [--image ТЕГ]` | без стенда (рабочий стенд и проекты compose не трогает): спек `load-balancing` «Загрузки через балансировщик» и «Ошибки балансировщика в формате контракта» (design change `upload-memory`, решение 7). `haproxy -c` конфигурации F (по умолчанию `infra/haproxy/haproxy.cfg`) в закреплённом образе LB из `docker-compose.yml`, затем временная сеть `mtusi-lbto-<метка>`: заглушка реплики на образе API (по умолчанию `mtusi-messenger:lab4`, asyncio stdlib) под сетевым именем `api` и HAProxy с F и `API_PORT=8080` на свободном `127.0.0.1`; ожидание `UP` заглушки по `/health/ready` через LB. Пять случаев параллельно, у каждого своё соединение и свой `case` в строке запроса: заглушка молчит 12 с до чтения тела загрузки 10 MiB и после него — 201 от заглушки; 12 с на `GET /api/v1/users/me` — 504 LB через ~10 с; 32 с на пути загрузки — 504 LB через ~30 с; клиент отправил половину тела и молчит — 400 LB через ~30 с (`timeout client`). Ошибки LB — `application/json`, ровно `{"error": {"code", "message", "request_id"}}`, `code` по статусу, `request_id` = `X-Request-Id`. Таблица «случай → ожидаемо → получено → время», код 1 при расхождении. Сеть и контейнеры (метка `mtusi.lb-upload-timeouts`) удаляются при любом исходе, в том числе по Ctrl+C, SIGTERM, SIGHUP. ~35 с. На `haproxy.cfg` до change (`git archive f894040 infra/haproxy/haproxy.cfg \| tar -x -C <каталог>`, `--config <каталог>/infra/haproxy/haproxy.cfg`) — код 1: 502 и 504 через 10 с на пути загрузки, 400 в HTML. Вывод — `evidence/uploads/lb-timeouts.md` | | `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` | | `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает | @@ -181,6 +182,7 @@ make reconcile # разовая сверка bucket make reconcile APPLY=1 [MAX_CHANGES=N] # то же с исправлением (предел изменений прохода — 100 или N) python3 $D --port 8080 reconcile-cycle # расхождения с обеих сторон: dry-run, --apply, 404/200, повтор = 0, возврат оригинала; ~2 мин python3 $D --port 8080 reconcile-stress # --apply раз в 3 с под загрузками 4 клиентов 40 с: все 201 скачиваются с тем же SHA-256 +COMPOSE_PROJECT_NAME=<временный> python3 $D reconcile-signal # pause s3 + docker stop разового --apply: код 1, interrupted_by stop; не на mtusi-lab4 python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 201 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с docker compose logs --no-log-prefix cleaner | tail -3 # уборщик: Started cleaner (60/900/100), проходы, отказы docker compose run --rm --no-deps cleaner --once # разовый проход уборщика (grace 900 с): код 0 — проход дошёл до конца diff --git a/.claude/skills/run-mtusi-messenger/driver.py b/.claude/skills/run-mtusi-messenger/driver.py index 54482443..25fffb5e 100644 --- a/.claude/skills/run-mtusi-messenger/driver.py +++ b/.claude/skills/run-mtusi-messenger/driver.py @@ -112,6 +112,14 @@ сверки — --apply с grace 20 с раз в ~3 с; каждое 201 скачивается с тем же SHA-256, сообщения отдают свои вложения, повтор — 0; код 1 при расхождении + reconcile-signal только не рабочий проект compose (окружение + COMPOSE_PROJECT_NAME / COMPOSE_FILE; mtusi-lab4 — код 2): спек + graceful-shutdown, разовый проход сверки, прерванный сигналом, + — код 1: docker compose pause s3, run -d cleaner reconcile + --apply, через секунду после «Started cleaner» docker stop; + interrupted_by stop, «Stopped cleaner» с exit_code 1, остановка + быстрее stop_grace_period 10 с; S3 размораживается в finally; + код 1 при расхождении lb-upload-timeouts [--config F] [--image ТЕГ] без стенда: спек load-balancing «Загрузки через балансировщик» — временная сеть, HAProxy закреплённого образа с конфигурацией F (по @@ -3365,7 +3373,11 @@ def yes(value: bool) -> str: return "yes" if value else "no" -def report_reconcile(rows: list[tuple[str, str, str]]) -> int: +def report_reconcile( + rows: list[tuple[str, str, str]], + *, + passed: str = "reconcile found and fixed the discrepancies, repeat found 0", +) -> int: """Таблица «проверка → ожидаемо → получено»; код 1 при расхождении.""" width = max(len(check) for check, _, _ in rows) failed = 0 @@ -3379,7 +3391,7 @@ def report_reconcile(rows: list[tuple[str, str, str]]) -> int: if failed: print(f"FAIL: {failed} check(s) failed") return 1 - print("PASS: reconcile found and fixed the discrepancies, repeat found 0") + print(f"PASS: {passed}") return 0 @@ -3610,6 +3622,147 @@ def reconcile_stress(port: int, seconds: float, clients: int) -> int: return report_reconcile(rows) +# reconcile-signal (design change track2-reconciler, «Уточнения apply», п. +# 23): код разового прохода, прерванного сигналом. S3 заморожен, поэтому +# только не рабочий проект compose +RS_WORKING_PROJECT = "mtusi-lab4" +RS_START_TIMEOUT_S = 30 +# SIGTERM — через столько после «Started cleaner»: первая страница списка +# уже ждёт замороженный S3 +RS_AFTER_START_S = 1.0 +# stop_grace_period уборщика в docker-compose.yml: дольше — был бы SIGKILL +RS_STOP_LIMIT_S = 10 + + +def cmd_reconcile_signal() -> int: + """Спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом, + — код 1: на стенде проекта compose из окружения (`COMPOSE_PROJECT_NAME` + и др., рабочий `mtusi-lab4` — отказ, код 2) `docker compose pause s3`, + `run -d --no-deps cleaner reconcile --apply`, через секунду после + «Started cleaner» — `docker stop`; S3 размораживается в `finally`. + Таблица и записи процесса без секретов; код 1 при расхождении.""" + try: + config = json.loads(compose("config", "--format", "json")) + except (RuntimeError, ValueError) as e: + print(f"FAIL: compose config of the stand: {e}") + return 2 + project = str(config.get("name", "")) + if project == RS_WORKING_PROJECT: + print( + "reconcile-signal pauses S3: run it on a temporary stand " + f"(COMPOSE_PROJECT_NAME), not {RS_WORKING_PROJECT}", + ) + return 2 + services = config.get("services", {}) + if "cleaner" not in services or "s3" not in services: + print(f"FAIL: no cleaner or s3 service in project {project}") + return 2 + if not compose("ps", "-q", "--status", "running", "s3").strip(): + print(f"FAIL: s3 of project {project} is not running") + return 2 + name = f"{project}-reconcile-signal" + subprocess.run(["docker", "rm", "-f", name], capture_output=True) + started = False + took = -1.0 + exit_code = "" + logs = "" + compose("pause", "s3") + print(f"{project}: s3 paused") + try: + compose( + "run", + "-d", + "--no-deps", + "--name", + name, + "cleaner", + "reconcile", + "--apply", + ) + deadline = time.monotonic() + RS_START_TIMEOUT_S + while time.monotonic() < deadline: + logs = docker_logs(name) + if '"Started cleaner"' in logs: + started = True + break + time.sleep(0.2) + if started: + time.sleep(RS_AFTER_START_S) + print("docker stop while reconcile waits for paused S3") + began = time.monotonic() + subprocess.run(["docker", "stop", name], capture_output=True) + took = time.monotonic() - began + exit_code = subprocess.run( + ["docker", "inspect", "-f", "{{.State.ExitCode}}", name], + capture_output=True, + text=True, + check=False, + ).stdout.strip() + logs = docker_logs(name) + finally: + subprocess.run(["docker", "rm", "-f", name], capture_output=True) + compose("unpause", "s3") + print(f"{project}: s3 unpaused") + records = [] + for line in logs.splitlines(): + if line.startswith("{"): + with contextlib.suppress(json.JSONDecodeError): + records.append(json.loads(line)) + shown = ("event", "level", "mode", "operation", "error_type") + shown += ("duration_ms", "interrupted_by", "exit_code", "timestamp") + print("== records of the one-off reconcile") + for record in records: + print( + json.dumps( + {key: record[key] for key in shown if key in record}, + ensure_ascii=False, + ), + ) + finished = rc_finished(records) + stopped = [ + item for item in records if item.get("event") == "Stopped cleaner" + ] + print(f"docker stop took {took:.1f} s, exit code {exit_code or '-'}") + rows = [ + ("Started cleaner (mode reconcile)", "yes", yes(started)), + ("exit code", "1", exit_code), + ( + "Finished reconcile pass interrupted_by", + "stop", + str(finished.get("interrupted_by")), + ), + ( + "Stopped cleaner exit_code", + "1", + str(stopped[-1].get("exit_code")) if stopped else "-", + ), + ( + "Fixed storage discrepancy records", + "0", + str(len(rc_events(records, RC_FIXED))), + ), + ( + f"docker stop faster than {RS_STOP_LIMIT_S} s", + "yes", + yes(0 <= took < RS_STOP_LIMIT_S), + ), + ] + return report_reconcile( + rows, + passed="one-off reconcile stopped by SIGTERM: exit 1, nothing changed", + ) + + +def docker_logs(name: str) -> str: + proc = subprocess.run( + ["docker", "logs", name], + capture_output=True, + text=True, + check=False, + ) + return proc.stdout + proc.stderr + + # lb-upload-timeouts: сроки LB пути загрузки на заглушке (design change # upload-memory, решение 7). Молчание заглушки: дольше timeout server # прочих путей (10 с), но меньше срока пути загрузки (30 с) — и дольше его @@ -4417,6 +4570,7 @@ def main() -> int: stress = sub.add_parser("reconcile-stress") stress.add_argument("--seconds", type=float, default=40) stress.add_argument("--clients", type=int, default=4) + sub.add_parser("reconcile-signal") lbto = sub.add_parser("lb-upload-timeouts") lbto.add_argument( "--config", @@ -4518,6 +4672,8 @@ def main() -> int: seconds=args.seconds, clients=args.clients, ) + if args.cmd == "reconcile-signal": + return cmd_reconcile_signal() if args.cmd == "lb-upload-timeouts": return cmd_lb_upload_timeouts(args.config, args.image) if args.cmd == "stop-at-start": diff --git a/AGENTS.md b/AGENTS.md index 82fcc046..04322d21 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -46,8 +46,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи `openspec/changes/archive/`, активных нет, спеки синхронизированы (новые capability: с `s3-storage` — `object-storage`, с `attachments` — `attachments`, с -`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления -bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её +`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` три открытые записи (bootstrap после удаления +bucket; уборщик удаляет объект зависшей загрузки по ключу вне своего +префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её репозитории (`REPORT.md`, `evidence/`, `git show 063eedb:PLAN.md`). Стек: Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore @@ -153,7 +154,10 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore при старте и раз в `[reconciler] interval_seconds` (3600 с) с исправлением. Удаляется только объект без строки старше grace и зависшая загрузка (шагом уборщика); строки `ready`, объект, на который - ссылается строка, и чужой ключ — никогда. Grace — тот же `[cleaner] + ссылается строка, и чужой ключ — никогда; строку с ключом вне + `<база>/attachments/` сверка только называет (чужой объект): её объект + не читает, строку не помечает и не убирает. Сигнал — перед каждым + вызовом хранилища (остановка ждёт ≤ 5 с S3 или ≤ 6 с шага БД). Grace — тот же `[cleaner] pending_grace_seconds`, по `LastModified` объекта и времени строки; перед каждым действием — перепроверка в БД и HEAD, отсутствие объекта — только при живом bucket; больше `[reconciler] max_changes` (100) @@ -358,6 +362,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore | `make reconcile [APPLY=1] [MAX_CHANGES=N]` | разовая сверка bucket и БД в контейнере уборщика (`docker compose run --rm --no-deps cleaner reconcile [--apply] [--max-changes N]`): по умолчанию dry-run — записи «Found storage discrepancy» по классам и итог; `APPLY=1` — исправить; 0 — расхождений нет, 3 — остались (чужие объекты, отказ по пределу), 1 — прервана, 2 — конфигурация | | `driver.py --port reconcile-cycle` | сверка на рабочем стенде (~2 мин): исходный dry-run без расхождений (иначе код 2), расхождения с обеих сторон, dry-run без изменений, 500 → `--apply` → 404 и 200, повтор, удаление чужого объекта, свежий объект после grace, возврат оригинала; `evidence/reconcile/cycle.md` | | `driver.py --port reconcile-stress [--seconds S] [--clients N]` | `--apply` раз в ~3 с под загрузками и отправками N клиентов S секунд (4 × 40 с): внесённое исправлено, каждое 201 скачивается с тем же SHA-256, повтор — 0; `evidence/reconcile/stress.md` | +| `driver.py reconcile-signal` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME` и др., `mtusi-lab4` — код 2): `pause s3`, разовый `reconcile --apply` отдельным контейнером, `docker stop` через секунду после «Started cleaner» — код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, быстрее 10 с; `unpause` в `finally`; `evidence/reconcile/service.md` | | `docker compose run --rm --no-deps cleaner --once` | разовый проход уборщика незавершённых загрузок (grace — `[cleaner]` или `-e CLEANER__PENDING_GRACE_SECONDS=…`, не меньше 18 с): 0 — проход дошёл до конца, 1 — прерван отказом, 2 — неверная конфигурация; журнал сервиса — `docker compose logs --no-log-prefix cleaner` | | `make lb_stats` | слоты HAProxy: адрес, состояние проверки (`DRAIN`, `MAINT` при замене), запросы, повторы, перенаправления (CSV статистики изнутри контейнера LB) | | `make rolling_update [COMMIT=...] [MIGRATE=0]` | поочерёдная замена реплик без простоя (`scripts/rolling-update.sh`, `balancer.md`): сборка из рабочего дерева (или файлов `COMMIT` через `git archive`), миграции один раз, затем по одной — новая `healthy` и `UP` в LB, старая `drain` → запросов в полёте 0 → `maint` → stop → rm → слот `ready`. Нужен штатный стенд (`make replicas`) без слотов LB в ручном `drain` / `maint` (иначе код 2 и команда `set server … state ready`); сбой и Ctrl+C — `API_REPLICAS` готовых реплик, повтор доводит; `MIGRATE=0` — откат на прежний образ (после него `docker compose up` без сборки не запускать: `migrate` прежнего образа упадёт на новой ревизии) | @@ -417,12 +422,12 @@ src/ repos/idempotency.py # ключ идемпотентности: захват ON CONFLICT DO UPDATE WHERE просрочен, чтение сохранённого результата repos/chat_cache.py # карточка чата в Valkey: ключ с именем базы, JSON ↔ ChatFullDTO repos/attachment.py # строки вложений: вставка pending (created_at = updated_at), mark_ready (pending и непомеченная → ready RETURNING), чтение одной и до 10; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), mark_removing (пометка updated_at), delete_attachment; сверке — get_attachments_for_objects (id = ANY OR object_key = ANY), get_ready_page (keyset ready по id), find_attachment_reference, mark_lost / clear_lost (условный UPDATE lost_at) - repos/attachment_object.py # оригинал в S3: ключ <база>/attachments//original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, parse_original_key, list_originals, probe_originals (bucket на месте), head_original + repos/attachment_object.py # оригинал в S3: ключ <база>/attachments//original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой services/.py # Service: логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем; отправка — ключ, сообщение и связи с вложениями одной транзакцией services/attachment.py # AttachmentService(db_scope, cache, storage, slots): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT тем же BytesIO → ready; сбой ready до COMMIT или пропавшая строка — удаление объекта и 503; место — до ответа), метаданные, отдача потоком services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO - services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready), зависшие, перепроверка в БД и HEAD (bucket — probe), предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO + services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO exceptions/.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 500 пропавшего объекта infra/ early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog @@ -460,7 +465,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4) test_failures.py # проверки отказов (маркер fault): только make failure_checks run_isolated.py # make test_isolated: образ на временной базе test_, уборка базы и префикса test_/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib) run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), три API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib) - fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] (записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib) + fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, set-key (object_key строки под <база>/), lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] (записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib) failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster) bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling / bench_uploads (с S3) run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json; профиль uploads (S3 и bootstrap на стенде, на прогон — новый volume S3 и реплика с окружением варианта через .work/variant.compose.yml, образ «до» — тег bench-from, сэмплер peak), в паспорте всех профилей stand.api_tcp_rmem и docker.kernel @@ -489,9 +494,10 @@ docker-compose.yml # проект mtusi-lab4: postgres, valkey, s3 (Se .dockerignore config_example.toml, .env.example evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ, отказ S3 во время прохода) -evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам) +evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap) +evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0) evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга -evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick) +evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после) evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия) evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия) evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте diff --git a/KNOWN_ISSUES.md b/KNOWN_ISSUES.md index da1a10ae..69b2b12b 100644 --- a/KNOWN_ISSUES.md +++ b/KNOWN_ISSUES.md @@ -33,6 +33,32 @@ меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`; для стендов проекта не нужно. Запись остаётся открытой. +## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса + +- **Где:** `src/core/services/attachment_cleanup.py` + (`remove_stale_pending`: `delete_original` по `object_key` строки) и + политика `cleaner-objects` в `infra/s3/bootstrap.sh` (`s3:DeleteObject` + на `/*`). +- **Что:** сервис уборки (`python -m src.cleaner`, `--once`) убирает + строку `pending` старше grace вместе с объектом по ключу из этой + строки, не проверяя, что ключ под `<база>/attachments/`. Ключ вне + префикса API не пишет; он бывает в базе, восстановленной под другим + именем (её строки ведут к объектам исходной базы), или после ручной + правки. Тогда уборщик удаляет объект чужого префикса — другой базы. + Найдено в правках по verify change `track2-reconciler` (замечание W2, + 2026-10-22): сверка такую строку теперь только называет «чужим + объектом» и не убирает (design, «Уточнения apply», п. 19), а сервис + уборки — поведение change `upload-consistency` — не менялся. +- **Чем грозит:** только при строке с чужим ключом: потерей объекта + другой базы того же bucket. Стенды проекта таких строк не содержат. +- **Предложение:** в `remove_stale_pending` (или в `lock_stale_pending`) + — та же проверка `attachment_object_repo.is_own_key`: строку с чужим + ключом убирать без DELETE объекта (или пропускать с `warning`), сценарий + в требовании «Уборщик незавершённых загрузок» и тест на стенде отказов + (`set-key` hook уже есть); при желании — сузить `s3:DeleteObject` + политики до `/<база>/attachments/*`, переделав проверки + bootstrap, которые удаляют свои объекты ключом уборщика. + ## LB отвечает 408 на медленные заголовки текстом HAProxy - **Где:** `infra/haproxy/haproxy.cfg`, `defaults`: `timeout diff --git a/PLAN.md b/PLAN.md index edda3440..416a1624 100644 --- a/PLAN.md +++ b/PLAN.md @@ -428,6 +428,17 @@ S6; спек `attachments`, «Порядок записи»): действие h bench_plots` или его аналог), выводы по гипотезам 1–5 и ограничения в `REPORT.md`. +**Передано из verify `track2-reconciler` (замечание S4).** При массовом +расхождении (N ≫ `max_changes`) `--apply` перепроверяет каждого +кандидата (SELECT + HEAD) и только потом отказывает по пределу; плановый +проход всё это время держит уборку зависших. Ранний отказ ломал бы +инварианты отчёта (каждое расхождение названо, ошибка называет число +изменений), поэтому там не сделан (design `track2-reconciler`, +«Уточнения apply», п. 21). Здесь — замер цены отказа при N = 1k / 10k +расхождений и выбор: перепроверка после решения о пределе с отчётом о +неперепроверенных кандидатах, отдельный счётчик в итоге или ранний отказ +только у плановой сверки. + ### 7. Отчёт и PR - `REPORT.md`: запуск из чистого clone, архитектура и транзакционные @@ -1224,6 +1235,23 @@ SeaweedFS и PostgreSQL на tmpfs, bootstrap проекта. требует контейнер `migrate`); - драйвер на рабочем стенде — только после перестройки 12.1; в apply он проверен на временном полном стенде. +13. **Правки по verify (2026-10-22, группа 13 tasks)** — design, + «Уточнения apply», пп. 19–23: + - W1: hook `set-key`, сценарии «Объект, на который ссылается строка, + не удаляется» и «Предел не останавливает уборку зависших», тесты + `…_keeps_referenced_objects` и `…_limit_keeps_cleanup` (зелёные на + `a6071da`, красные на временных регрессиях); + - W2: строка с ключом вне `<база>/attachments/` — «чужой объект» без + HEAD, пометки и уборки; сценарий «Ключ вне префикса вложений не + трогается», тест `…_foreign_key_untouched` (красный на `a6071da`); + сервис уборки такую зависшую загрузку по-прежнему убирает — + `KNOWN_ISSUES.md`; + - S1: сигнал — перед каждым вызовом хранилища, остановка ≤ 5 с (S3) / + ≤ 6 с (БД); + - S4: ранний отказ по пределу не сделан — передан в + `track2-reconcile-cost` (раздел 6 выше); + - S5: `driver.py reconcile-signal` — код 1 разового прохода по + SIGTERM; снимок — после commit, на временном стенде. #### Вопросы diff --git a/REPORT.md b/REPORT.md index f857634e..d82562d7 100644 --- a/REPORT.md +++ b/REPORT.md @@ -578,7 +578,10 @@ dry-run. Плановая — в сервисе `cleaner` при старте и - **что удаляется** — только объект без строки и зависшая загрузка; строки `ready`, используемые вложения (FK `message_attachments`), объект, на который ссылается строка любого статуса, и чужой ключ — ни - в каком классе; + в каком классе; строка с ключом вне `<база>/attachments/` (например, + база, восстановленная под другим именем) — «чужой объект»: её объект + сверка не читает, строку не помечает и не убирает (замечание W2 + verify); - **свежее** — grace общий с уборщиком (`[cleaner] pending_grace_seconds`, 900 с): объект — по `LastModified` S3, строка `ready` — по `updated_at`, `pending` — по `created_at`; свежее не считается расхождением; @@ -625,7 +628,7 @@ dry-run. Плановая — в сервисе `cleaner` при старте и | Параметр | По умолчанию | Почему | | --- | --- | --- | -| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,5–0,8 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её | +| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,49–0,82 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её | | `page_size` | 1000 (1–1000) | больше S3 за страницу не отдаёт; одно выражение к БД на страницу | | `max_changes` | 100 | см. «Безопасность»; разовый проход принимает больший аргументом | @@ -642,8 +645,9 @@ discrepancy» (класс, ключ, `id`, возраст, размеры, ес `error`; отдельных записей не больше 1000 за проход. Коды разового прохода: 0 — расхождений нет, 3 — остались (чужие или отказ по пределу), 1 — прерван отказом S3 / PostgreSQL / сигналом, 2 — конфигурация. SIGTERM -во время сверки: текущий вызов доводится (≤ 5 с), новых страниц и -действий нет, сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`). +во время сверки: сигнал проверяется перед каждым вызовом хранилища, +текущий вызов доводится — вызов S3 ≤ 5 с, шаг с БД ≤ 6 с, новых страниц +и действий нет; сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`). **Порядок обновления** (решение 6): `docker compose up -d s3-bootstrap` (политика со списком) → `make rolling_update` (миграция, затем реплики) → @@ -820,7 +824,7 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S | «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` | | «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` | | «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` | -| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте и `make reconcile` — 2 086 объектов и строк, `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` | +| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` | | «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` | | «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` | @@ -1163,7 +1167,13 @@ S3 (change `s3-storage`): - **Память O(N) на ключи списка** (~15 МБ на 100 тыс. объектов при лимите уборщика 256 МБ) и **уборка зависших ждёт конца прохода сверки** (на рабочем стенде — меньше секунды, на 100 тыс. — порядка минуты). Замер — - следующий change. + следующий change. При массовом расхождении (N ≫ предела) `--apply` + перепроверяет каждого кандидата (SELECT + HEAD) и только потом + отказывает по пределу: ранний отказ сделал бы отчёт и число изменений в + ошибке неполными — решение и замер в `track2-reconcile-cost`. +- **Зависшая загрузка с ключом вне префикса вложений своей базы**: сверка + её только называет (чужой объект), а сервис уборки, как и до change, + убирает её вместе с объектом по этому ключу (`KNOWN_ISSUES.md`). - **Пометка по ложному «нет объекта»** при неполном списке отсечена HEAD и проверкой bucket; остаётся bucket, пересозданный пустым между проверкой и `UPDATE` — тогда пометка верна и снимается сама, когда @@ -1179,7 +1189,8 @@ S3 (change `s3-storage`): до change; новый — `docker compose up -d --no-deps cleaner` (порядок обновления). - **Синтетика прогонов драйвера** (`reconcile-cycle`, `reconcile-stress`) - остаётся в рабочей базе и bucket: согласованные вложения и одно - помеченное потерянным за прогон цикла (его байты — 404). + остаётся в рабочей базе и bucket: согласованные вложения и помеченные + потерянными — одно за прогон цикла и два за прогон стресса + (`lost_known` 1 → 3; их байты — 404). - **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин): объекты нельзя состарить, тесты ждут grace стенда (20 с). diff --git a/openspec/changes/track2-reconciler/design.md b/openspec/changes/track2-reconciler/design.md index e882c1bd..23802f14 100644 --- a/openspec/changes/track2-reconciler/design.md +++ b/openspec/changes/track2-reconciler/design.md @@ -839,3 +839,67 @@ cleaner reconcile …`, как у `upload-consistency`. драйвера в задачах 10.1–10.2 — на временном полном стенде (проект compose с LB, своими хранилищами на tmpfs и портами); на рабочем — в группе 12. + +Решения правок по `/opsx:verify` (2026-10-22, группа 13 tasks): + +19. **Ключ строки вне префикса вложений — чужой объект** (W2). Строка + `ready` старше порога, ключа которой нет в списке, раньше была + кандидатом «метаданные без объекта», и перепроверка делала HEAD по её + ключу — в том числе `<другая база>/…` или `<база>/elsewhere/…`. Это + противоречило абзацу спека «Объекты других баз и ключи вне префикса … + MUST NOT читать». Реальный случай — база, восстановленная под другим + именем: её строки ведут к объектам исходной базы. Теперь такая строка + (и зависшая загрузка с таким ключом — её уборка удалила бы объект по + этому ключу) — `unknown_object` без HEAD, без пометки и без уборки, + код 3; HEAD, пометка, снятие пометки и удаление объекта ещё раз + проверяют префикс (`attachment_object_repo.is_own_key`). Новый класс не + заведён: «чужой объект» уже значит «требует оператора, сверка не + меняет» — определение класса в спеке дополнено. Сервис уборки + (`clean_stale_pending`) зависшую загрузку с чужим ключом по-прежнему + убирает вместе с объектом по её ключу — это поведение + `upload-consistency`, а не сверки; запись в `KNOWN_ISSUES.md`. +20. **Сигнал — перед каждым вызовом хранилища** (S1). Раньше между + проверками `stop_requested()` бывало два вызова подряд (страница + списка → выборка БД, `get_attachment` → HEAD, HEAD → `mark_lost` / + `clear_lost`, ссылки → DELETE, шаг БД → `probe_originals`), и при + деградации S3 и PostgreSQL остановка ждала до ~11 с при + `stop_grace_period` 10 с. Теперь `_check_stop` стоит перед каждым + вызовом, и остановка ждёт не больше одного: S3 ≤ `[s3] + timeout_seconds` (5 с), шаг с БД ≤ его срока (6 с). Теста нет: окно + «первый вызов удался после долгого ожидания, а второй завис» по HTTP + детерминированно не воспроизвести; прежний сценарий «docker stop во + время сверки» (один зависший вызов) остаётся в evidence, код 1 + разового прохода — п. 23. +21. **Ранний отказ по пределу — не в этом change** (S4). Мысль: в + `--apply` прекращать перепроверку классов под пределом, как только + подтверждённых больше `max_changes`. Это ломает два инварианта: + отчёт называет каждое расхождение (спек «Сверка bucket и БД») — + неперепроверенные кандидаты не подтверждены и в отчёт не попали бы; + ошибка предела называет число изменений — оно стало бы нижней + границей. Поэтому не сделано. Цена при N ≫ предела — SELECT + HEAD на + кандидата, ~1–3 мс; при 10 тыс. расхождений — десятки секунд, пока + уборка ждёт. Варианты (перепроверка после решения о пределе с отчётом + «кандидаты, не перепроверены», отдельный счётчик в итоге, порог + «подтверждено > предела» только для плановой сверки) и замер — + `track2-reconcile-cost` (`PLAN.md`). +22. **Тесты W1 и красные прогоны группы 13.** Hook `set-key <ключ>` + меняет только `object_key` строки (psql, ключ под `/`, + в том числе вне `attachments/` — для W2). Ветки W1 в коде были верны: + `test_reconcile_keeps_referenced_objects` и + `test_reconcile_limit_keeps_cleanup` на коде `a6071da` — зелёные, а на + временных регрессиях (`_recheck_orphan` без `find_attachment_reference`; + `_act` пропускает при отказе по пределу и зависшие) — 2 failed: объект + `/original`, на который ссылается Y, стал `orphan_object`; зависшая + загрузка не убрана. Регрессии убраны, `git diff src/` после — пусто. + `test_reconcile_foreign_key_untouched` на коде `a6071da` — 1 failed: + готовая строка с ключом `<база>/elsewhere/` — `missing_object` + (HEAD чужого префикса и пометка в `--apply`), зависшая — + `stale_pending` (уборка удалила бы объект по чужому ключу). +23. **Код 1 разового прохода по SIGTERM** (S5) — `driver.py + reconcile-signal`: на проекте compose из окружения (рабочий + `mtusi-lab4` — отказ, код 2) замораживает S3, запускает разовый + `reconcile --apply` отдельным контейнером, после «Started cleaner» — + `docker stop`; ждёт код 1, «Finished reconcile pass» с + `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1 и остановку + быстрее `stop_grace_period`; S3 размораживается в `finally`. Снимок — + после commit, на временном стенде. diff --git a/openspec/changes/track2-reconciler/specs/storage-consistency/spec.md b/openspec/changes/track2-reconciler/specs/storage-consistency/spec.md index 2a1c5ed0..59c14b7a 100644 --- a/openspec/changes/track2-reconciler/specs/storage-consistency/spec.md +++ b/openspec/changes/track2-reconciler/specs/storage-consistency/spec.md @@ -18,9 +18,12 @@ PostgreSQL и находить расхождения шести классов: - **оригинал вернулся** — оригинал вложения помечен потерянным (требование «Потерянный оригинал»), а объект снова есть с тем же размером; -- **чужой объект** — объект под префиксом вложений, ключа такого вида - API не пишет, либо ключ вида `/original`, у строки которого - другой ключ. +- **чужой объект** — то, что сверка не меняет и оставляет оператору: + - объект под префиксом вложений, ключа такого вида API не пишет; + - объект с ключом вида `/original`, у строки которого другой ключ + или на который ссылается строка другого `id`; + - ключ вне префикса вложений своей базы в метаданных вложения: объект + по такому ключу сверка не читает. Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым проходом (`make reconcile` или команда сверки в контейнере уборщика) и @@ -32,7 +35,9 @@ SHALL ничего не менять (dry-run). С `--apply` он SHALL испр - зависшую загрузку — убрать тем же порядком, что уборщик; - вернувшийся оригинал — снять пометку. -Чужой объект сверка MUST NOT удалять: он попадает только в отчёт. +Чужой объект сверка MUST NOT удалять, а вложение, метаданные которого +ведут к нему, — помечать или убирать: чужой объект попадает только в +отчёт. Отчёт SHALL называть по каждому расхождению класс, ключ объекта, `id` вложения, если он известен, и возраст. Итог прохода SHALL называть: @@ -124,7 +129,9 @@ Grace — тот же, что у уборщика (capability `service-configura блокировкой, что уборщик. Объекты других баз и ключи вне префикса вложений своей базы сверка MUST -NOT читать и менять. +NOT читать и менять. Вложение, в метаданных которого такой ключ, — +готовое или зависшую загрузку — она называет в отчёте чужим объектом, не +проверяет его объект, не помечает и не убирает. #### Scenario: Свежие не тронуты @@ -158,6 +165,35 @@ NOT читать и менять. ошибка называет число изменений и предел, код выхода 3 - **AND** с пределом не меньше их числа повтор исправляет все +#### Scenario: Предел не останавливает уборку зависших + +- **WHEN** загрузка оборвалась между записью объекта и фиксацией `ready` + больше grace назад, расхождений, которые сверка исправила бы, больше + предела, и выполняется сверка с `--apply` +- **THEN** код выхода 3, ни одно вложение не помечено, а зависшей + загрузки нет — ни метаданных, ни объекта + +#### Scenario: Объект, на который ссылается строка, не удаляется + +- **WHEN** всё это старше grace, и выполняется сверка с `--apply`: + - у готового вложения X в метаданных другой ключ под префиксом + вложений, объекта по нему нет, а объект `/original` на месте; + - готовое вложение Y ссылается на ключ `/original`, строки Z нет, и + объекты `/original` и `/original` на месте +- **THEN** результат такой: + - все три объекта на месте, отчёт называет их чужими, код выхода 3; + - X помечено потерянным: объекта по его ключу нет; + - Y не помечено: объект по его ключу есть + +#### Scenario: Ключ вне префикса вложений не трогается + +- **WHEN** у готового вложения и у зависшей загрузки старше grace в + метаданных ключ вне префикса вложений своей базы, и выполняется сверка + с `--apply` +- **THEN** отчёт называет оба чужими, код выхода 3, вложение не помечено, + а метаданные зависшей загрузки и объекты обоих под префиксом вложений + на месте + #### Scenario: Сверка под нагрузкой - **WHEN** выполняются все условия: diff --git a/openspec/changes/track2-reconciler/tasks.md b/openspec/changes/track2-reconciler/tasks.md index 1ff2d2b6..aa656d99 100644 --- a/openspec/changes/track2-reconciler/tasks.md +++ b/openspec/changes/track2-reconciler/tasks.md @@ -495,3 +495,82 @@ Commit делает основная сессия после подтвержд - дополнение ответа на вопрос защиты «PUT прошёл, COMMIT нет». `PLAN.md` — строка этапа 5 и решения apply в `### track2-reconciler`. + +## 13. Замечания проверки + +Находки `/opsx:verify` (2026-10-22, CRITICAL нет). Цикл проекта: тест до +кода, его падение на текущем коде с названной причиной, затем код. Пробы +verify — вне репозитория (scratchpad сессии). Evidence с незакоммиченного +дерева не снимается: пересъёмка — после commit основной сессии (13.7). + +- [x] 13.1 W1. Опасные ветки «не удалять» без теста и сценария: + - hook `set-key <ключ>` (psql, ключ только под `/`, + символы и `..` — как у `put-object`); + - сценарии «Безопасность сверки»: «Объект, на который ссылается строка, + не удаляется», «Предел не останавливает уборку зависших» — в дельте и + основном спеке одинаково; + - тесты `test_reconcile_keeps_referenced_objects` (проба 1 verify) и + `test_reconcile_limit_keeps_cleanup` (проба 2). + + Ветки кода верны (пробы verify зелёные), поэтому красный прогон — на + временных регрессиях `attachment_reconcile.py` (без перепроверки ссылок + у объекта без строки, уборка зависших под пределом), затем регрессии + убираются. + + Прогоны 2026-10-22 (`make failure_checks FAULT_ARGS='-k …'`): на коде + `a6071da` оба теста W1 — passed (ветки верны); на временных регрессиях — + 2 failed за 39 с: `/original` — `orphan_object` вместо + `unknown_object`, зависшая загрузка не убрана (`{}` вместо + `stale_pending`). Регрессии убраны, `git diff src/` — пусто. +- [x] 13.2 W2. Строка с ключом вне `<база>/attachments/`: сверка делает + HEAD чужого префикса и помечает строку. Тест + `test_reconcile_foreign_key_untouched` (красный на текущем коде: + `missing_object` и пометка), затем код: такая строка `ready` или + зависшая загрузка — «чужой объект» (`unknown_object`) без HEAD, без + пометки и без уборки; HEAD, пометка и снятие пометки ещё раз проверяют + префикс. Сценарий «Ключ вне префикса вложений не трогается», класс + «чужой объект» и абзац о префиксах — в дельте и основном спеке. + + Красный прогон на `a6071da` (вместе с W1, 60 с): 1 failed — + dry-run назвал готовую строку `missing_object`, зависшую — + `stale_pending`, а не `unknown_object`. Сервис уборки такую зависшую + загрузку убирает и после правки — `KNOWN_ISSUES.md` (design, п. 19). +- [x] 13.3 S1. `stop_requested()` между двумя вызовами подряд: страница + списка → БД, БД → HEAD в перепроверке, HEAD → `mark_lost` / `clear_lost`, + ссылки → DELETE, перед проверкой bucket. Остановка ждёт не больше одного + вызова: S3 ≤ 5 с, шаг с БД ≤ 6 с. `REPORT.md` — та же граница. Теста нет: + два деградировавших хранилища в окне одного вызова по HTTP не + воспроизвести детерминированно (design, «Уточнения apply», п. 20). +- [x] 13.4 S2. Точность `REPORT.md`: 2 086 — только у плановой сверки при + старте, длительность прохода 0,49–0,82 с, синтетика стресса — ещё две + пометки за прогон. Заголовок в `evidence/reconcile/service.md` — при + пересъёмке после commit (13.7). +- [x] 13.5 S3. AGENTS.md, карта evidence: `evidence/reconcile/`, + `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md`. +- [x] 13.6 S4. Перепроверка в `--apply` при N ≫ предела — решение не + делать в этом change (design, «Уточнения apply», п. 21), передано в + `PLAN.md`, `track2-reconcile-cost`. +- [ ] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по + SIGTERM, пока вызов S3 ждёт замороженный S3 (только не рабочий проект + compose). После commit основной сессии — снимок на временном стенде в + `evidence/reconcile/service.md`, заголовок S2 там же, `make + failure_checks` → `evidence/tests/failure-checks.md`, строки `REPORT.md` + с числом проверок. + + Сделано на дереве: команда, `SKILL.md`, AGENTS.md; на рабочем проекте — + отказ, код 2; функциональная проверка на временном проекте `rcsig` + (`docker-compose.yml` + override хранилищ на tmpfs, синтетические + секреты, образ из `make failure_checks`): код 1, `interrupted_by: stop`, + «Stopped cleaner» `exit_code` 1, `docker stop` 4,9 с, PASS; проект + удалён, volumes — 155. Снимок evidence — после commit (открыто). +- [x] 13.8 Проверки на дереве: `make lint`, `make check`, `make validate + PYTHON=.venv/bin/python`, `openspec validate track2-reconciler + --strict` и `--specs`, `make failure_checks`, `make student_test + BASE_URL=http://localhost:8090`. + + 2026-10-22: lint, check, validate — PASS; `openspec validate` — valid, + `--specs --strict` — 24 passed; `make failure_checks` — **48 passed** за + 536 с, crash markers 0, `results: {'fault': 0, 'postgres': 0}`, + контейнеров проекта отказов 0, volumes 155; `make student_test + BASE_URL=http://localhost:8090` — 198 passed, «coverage: 243 scenarios + in 13 specs, 226 tested (61 by make failure_checks), 17 excluded». diff --git a/openspec/specs/storage-consistency/spec.md b/openspec/specs/storage-consistency/spec.md index 8f81cd08..c2f1bbbe 100644 --- a/openspec/specs/storage-consistency/spec.md +++ b/openspec/specs/storage-consistency/spec.md @@ -182,9 +182,12 @@ PostgreSQL и находить расхождения шести классов: - **оригинал вернулся** — оригинал вложения помечен потерянным (требование «Потерянный оригинал»), а объект снова есть с тем же размером; -- **чужой объект** — объект под префиксом вложений, ключа такого вида - API не пишет, либо ключ вида `/original`, у строки которого - другой ключ. +- **чужой объект** — то, что сверка не меняет и оставляет оператору: + - объект под префиксом вложений, ключа такого вида API не пишет; + - объект с ключом вида `/original`, у строки которого другой ключ + или на который ссылается строка другого `id`; + - ключ вне префикса вложений своей базы в метаданных вложения: объект + по такому ключу сверка не читает. Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым проходом (`make reconcile` или команда сверки в контейнере уборщика) и @@ -196,7 +199,9 @@ SHALL ничего не менять (dry-run). С `--apply` он SHALL испр - зависшую загрузку — убрать тем же порядком, что уборщик; - вернувшийся оригинал — снять пометку. -Чужой объект сверка MUST NOT удалять: он попадает только в отчёт. +Чужой объект сверка MUST NOT удалять, а вложение, метаданные которого +ведут к нему, — помечать или убирать: чужой объект попадает только в +отчёт. Отчёт SHALL называть по каждому расхождению класс, ключ объекта, `id` вложения, если он известен, и возраст. Итог прохода SHALL называть: @@ -288,7 +293,9 @@ Grace — тот же, что у уборщика (capability `service-configura блокировкой, что уборщик. Объекты других баз и ключи вне префикса вложений своей базы сверка MUST -NOT читать и менять. +NOT читать и менять. Вложение, в метаданных которого такой ключ, — +готовое или зависшую загрузку — она называет в отчёте чужим объектом, не +проверяет его объект, не помечает и не убирает. #### Scenario: Свежие не тронуты @@ -322,6 +329,35 @@ NOT читать и менять. ошибка называет число изменений и предел, код выхода 3 - **AND** с пределом не меньше их числа повтор исправляет все +#### Scenario: Предел не останавливает уборку зависших + +- **WHEN** загрузка оборвалась между записью объекта и фиксацией `ready` + больше grace назад, расхождений, которые сверка исправила бы, больше + предела, и выполняется сверка с `--apply` +- **THEN** код выхода 3, ни одно вложение не помечено, а зависшей + загрузки нет — ни метаданных, ни объекта + +#### Scenario: Объект, на который ссылается строка, не удаляется + +- **WHEN** всё это старше grace, и выполняется сверка с `--apply`: + - у готового вложения X в метаданных другой ключ под префиксом + вложений, объекта по нему нет, а объект `/original` на месте; + - готовое вложение Y ссылается на ключ `/original`, строки Z нет, и + объекты `/original` и `/original` на месте +- **THEN** результат такой: + - все три объекта на месте, отчёт называет их чужими, код выхода 3; + - X помечено потерянным: объекта по его ключу нет; + - Y не помечено: объект по его ключу есть + +#### Scenario: Ключ вне префикса вложений не трогается + +- **WHEN** у готового вложения и у зависшей загрузки старше grace в + метаданных ключ вне префикса вложений своей базы, и выполняется сверка + с `--apply` +- **THEN** отчёт называет оба чужими, код выхода 3, вложение не помечено, + а метаданные зависшей загрузки и объекты обоих под префиксом вложений + на месте + #### Scenario: Сверка под нагрузкой - **WHEN** выполняются все условия: diff --git a/src/core/repos/attachment_object.py b/src/core/repos/attachment_object.py index cd78f307..2edd2e9a 100644 --- a/src/core/repos/attachment_object.py +++ b/src/core/repos/attachment_object.py @@ -46,6 +46,14 @@ def originals_prefix(storage: ObjectStorage) -> str: ) +def is_own_key(storage: ObjectStorage, *, key: str) -> bool: + """Ключ под префиксом вложений своей базы. Ключ строки вне его сверка + не читает и не меняет (design change `track2-reconciler`, «Уточнения + apply», п. 19).""" + prefix = originals_prefix(storage) + return key.startswith(prefix) and len(key) > len(prefix) + + def parse_original_key(storage: ObjectStorage, *, key: str) -> UUID | None: """`id` вложения из ключа `/attachments//original`, где `id` — UUID в записи сервера (нижний регистр, с дефисами); ключ другого diff --git a/src/core/services/attachment_reconcile.py b/src/core/services/attachment_reconcile.py index ab8fd220..92ee3c27 100644 --- a/src/core/services/attachment_reconcile.py +++ b/src/core/services/attachment_reconcile.py @@ -17,9 +17,12 @@ перепроверяет своё условие. Удаляется только объект без строки и зависшая загрузка; строки `ready`, -объекты, на которые ссылается строка, и чужие ключи — никогда. Отказ -хранилища на шагах 1–4 прерывает проход без единого изменения, на шаге 5 — -после текущего действия; каждое действие безопасно повторять. +объекты, на которые ссылается строка, и чужие ключи — никогда. Строка с +ключом вне префикса вложений своей базы — чужой объект: её объект сверка +не читает, строку не помечает и не убирает. Отказ хранилища на шагах 1–4 +прерывает проход без единого изменения, на шаге 5 — после текущего +действия; каждое действие безопасно повторять. Сигнал проверяется перед +каждым вызовом хранилища: остановка ждёт не больше одного вызова. """ import time @@ -145,9 +148,11 @@ class AttachmentReconcileService: """Один проход сверки; `older_than` — порог grace прохода. Без `apply` ничего не меняет. Отказ S3 или PostgreSQL прерывает - проход (`interrupted_by`); сигнал (`stop_requested()`) — между - страницами и действиями, текущий вызов доводится до конца. Отказ, - пришедший уже после сигнала, считается остановкой. + проход (`interrupted_by`); сигнал (`stop_requested()`) + проверяется перед каждым вызовом S3 и шагом с БД, текущий вызов + доводится до конца: остановка ждёт не больше одного вызова (S3 — + `[s3] timeout_seconds`, шаг с БД — его срок). Отказ, пришедший уже + после сигнала, считается остановкой. """ started = time.monotonic() log = logger.bind(method="reconcile", apply=apply) @@ -222,8 +227,7 @@ class AttachmentReconcileService: выражением; классификация без новых вызовов S3.""" token: str | None = None while True: - if stop_requested(): - raise _Stopped + _check_stop(stop_requested) page = await attachment_object_repo.list_originals( self.storage, token=token, @@ -241,6 +245,8 @@ class AttachmentReconcileService: keys = {key for key, value in parsed.items() if value is None} rows: list[dataclasses.AttachmentFullDTO] = [] if parsed: + # страница списка уже могла ждать S3 до срока + _check_stop(stop_requested) async with self.db_scope() as db_session: rows = await attachment_repo.get_attachments_for_objects( db_session=db_session, @@ -334,11 +340,12 @@ class AttachmentReconcileService: page_size: int, stop_requested: Callable[[], bool], ) -> None: - """Шаг 2, БД → S3: строки `ready`, ключей которых нет в списке.""" + """Шаг 2, БД → S3: строки `ready`, ключей которых нет в списке. + Ключ строки вне префикса вложений своей базы список не видит и + сверка не читает: чужой объект, а не метаданные без объекта.""" after: UUID | None = None while True: - if stop_requested(): - raise _Stopped + _check_stop(stop_requested) async with self.db_scope() as db_session: rows = await attachment_repo.get_ready_page( db_session=db_session, @@ -354,9 +361,12 @@ class AttachmentReconcileService: elif row.updated_at >= older_than: state.fresh_rows += 1 else: - state.candidates.append( - _finding(ReconcileFinding.MISSING_OBJECT, row, state), + kind = ( + ReconcileFinding.MISSING_OBJECT + if self._own_key(row.object_key) + else ReconcileFinding.UNKNOWN_OBJECT ) + state.candidates.append(_finding(kind, row, state)) if len(rows) < page_size: return after = rows[-1].id @@ -369,11 +379,13 @@ class AttachmentReconcileService: batch_size: int, stop_requested: Callable[[], bool], ) -> None: - """Шаг 3: зависшие загрузки — те же кандидаты, что у уборщика.""" + """Шаг 3: зависшие загрузки — те же кандидаты, что у уборщика. + Зависшая загрузка с ключом вне префикса вложений своей базы — + чужой объект: сверка её не убирает (уборка удалила бы объект по + этому ключу).""" after: tuple[datetime, UUID] | None = None while True: - if stop_requested(): - raise _Stopped + _check_stop(stop_requested) async with self.db_scope() as db_session: rows = await attachment_repo.get_stale_pending( db_session=db_session, @@ -383,7 +395,11 @@ class AttachmentReconcileService: ) state.candidates.extend( dataclasses.ReconcileFindingDTO( - kind=ReconcileFinding.STALE_PENDING, + kind=( + ReconcileFinding.STALE_PENDING + if self._own_key(row.object_key) + else ReconcileFinding.UNKNOWN_OBJECT + ), object_key=row.object_key, attachment_id=row.id, age_seconds=state.age(row.created_at), @@ -406,14 +422,15 @@ class AttachmentReconcileService: """Шаг 4: каждый кандидат подтверждается в БД и S3 до решения; не подтвердился — выбывает без записи.""" if any(item.kind in NEEDS_BUCKET for item in state.candidates): + _check_stop(stop_requested) await attachment_object_repo.probe_originals(self.storage) for candidate in state.candidates: - if stop_requested(): - raise _Stopped + _check_stop(stop_requested) confirmed = await self._recheck( candidate, older_than=older_than, state=state, + stop_requested=stop_requested, ) if confirmed is not None: state.confirmed.append(confirmed) @@ -424,6 +441,7 @@ class AttachmentReconcileService: *, older_than: datetime, state: _Pass, + stop_requested: Callable[[], bool], ) -> dataclasses.ReconcileFindingDTO | None: kind = candidate.kind if kind in ( @@ -433,15 +451,20 @@ class AttachmentReconcileService: # зависшую загрузку уборщик перепроверяет под блокировкой сам, # чужой объект сверка не трогает return candidate + if not self._own_key(candidate.object_key): + # объект вне префикса вложений своей базы не читается + return None if kind == ReconcileFinding.ORPHAN_OBJECT: return await self._recheck_orphan( candidate, older_than=older_than, state=state, + stop_requested=stop_requested, ) row = await self._get_row(candidate) if row is None or row.status != AttachmentStatus.READY: return None + _check_stop(stop_requested) stored = await attachment_object_repo.head_original( self.storage, key=candidate.object_key, @@ -469,6 +492,7 @@ class AttachmentReconcileService: *, older_than: datetime, state: _Pass, + stop_requested: Callable[[], bool], ) -> dataclasses.ReconcileFindingDTO | None: """Строки с этим `id` или ключом нет, объект на месте и старше порога. Строка другого `id` ссылается на ключ — чужой объект.""" @@ -481,6 +505,7 @@ class AttachmentReconcileService: return replace(candidate, kind=ReconcileFinding.UNKNOWN_OBJECT) if references: return None + _check_stop(stop_requested) stored = await attachment_object_repo.head_original( self.storage, key=candidate.object_key, @@ -504,6 +529,9 @@ class AttachmentReconcileService: return None return row + def _own_key(self, key: str) -> bool: + return attachment_object_repo.is_own_key(self.storage, key=key) + async def _references( self, candidate: dataclasses.ReconcileFindingDTO, @@ -544,12 +572,12 @@ class AttachmentReconcileService: for index, finding in enumerate(state.confirmed): if finding.kind != kind: continue - if stop_requested(): - raise _Stopped + _check_stop(stop_requested) if kind in NEEDS_BUCKET and not bucket_probed: # отсутствие объекта — снова только при живом bucket await attachment_object_repo.probe_originals(self.storage) bucket_probed = True + _check_stop(stop_requested) action = await self._fix( finding, older_than=older_than, @@ -579,9 +607,14 @@ class AttachmentReconcileService: log=logger.bind(method="reconcile"), ) return ReconcileAction.REMOVED_PENDING if removed else None + if not self._own_key(finding.object_key): + # объект вне префикса вложений своей базы не читается и не + # меняется; классификация такого не подтверждает + return None if kind == ReconcileFinding.ORPHAN_OBJECT: if await self._references(finding): return None + _check_stop(stop_requested) await attachment_object_repo.delete_original( self.storage, key=finding.object_key, @@ -591,6 +624,8 @@ class AttachmentReconcileService: self.storage, key=finding.object_key, ) + # HEAD мог ждать S3 до срока: шаг с БД — только без сигнала + _check_stop(stop_requested) if kind == ReconcileFinding.RESTORED_OBJECT: if stored is None or stored.size != finding.size_bytes: return None @@ -711,6 +746,13 @@ class AttachmentReconcileService: return result +def _check_stop(stop_requested: Callable[[], bool]) -> None: + """Перед вызовом хранилища: сигнал пришёл — проход останавливается, и + остановка ждёт не больше одного вызова.""" + if stop_requested(): + raise _Stopped + + def _is_fresh(stored: StoredObjectInfo, *, older_than: datetime) -> bool: """Объект записан или изменён не раньше порога; без времени — свежий: удалять без доказанного возраста нельзя.""" diff --git a/student-tests/fault_hook.py b/student-tests/fault_hook.py index 67d86b75..acd85c2c 100755 --- a/student-tests/fault_hook.py +++ b/student-tests/fault_hook.py @@ -76,6 +76,10 @@ age-row <секунд> сдвинуть created_at и updated_at строки назад на одно и то же время: CHECK и непомеченность pending сохраняются + set-key <ключ> изменить object_key строки (только БД, + bucket не трогается): ключ — под + `/`, в том числе вне + `attachments/`, символы [A-Za-z0-9._/-] lost-ids `id` вложений с потерянным оригиналом (lost_at задан) reconcile dry-run|apply [<предел>] @@ -386,6 +390,10 @@ SET created_at = created_at - make_interval(secs => :'mode'::float8), updated_at = updated_at - make_interval(secs => :'mode'::float8) WHERE id = :'title'::uuid RETURNING id; """ +SET_KEY_SQL = """\ +UPDATE attachments SET object_key = :'mode' +WHERE id = :'title'::uuid RETURNING id; +""" LOST_IDS_SQL = """\ SELECT id FROM attachments WHERE lost_at IS NOT NULL ORDER BY id; """ @@ -733,6 +741,22 @@ def object_key(key: str) -> str: return key +def row_key(key: str) -> str: + """Ключ для `set-key`: под `/` (в том числе вне + `attachments/` — ключ «вне префикса вложений»), иначе — отказ (код 2). + Меняется только строка БД стенда, bucket hook не трогает.""" + _, database = storage_names() + prefix = f"{database}/" + if ( + not key.startswith(prefix) + or len(key) == len(prefix) + or not OBJECT_KEY_RE.fullmatch(key) + or ".." in key.split("/") + ): + raise HookError(f"row key must be under {prefix}: {key!r}") + return key + + def put_object(project: str, key: str) -> str: """Объект с телом из stdin мимо API — процессом в контейнере API.""" result = subprocess.run( @@ -964,6 +988,8 @@ def run(project: str, action: str, args: list[str]) -> str: args[0], str(float(args[1])), ) + if action == "set-key" and len(args) == 2: + return row_change(project, SET_KEY_SQL, args[0], row_key(args[1])) if action == "lost-ids" and not args: return psql(project, LOST_IDS_SQL) if action == "reconcile" and args: diff --git a/student-tests/test_failures.py b/student-tests/test_failures.py index dcd7ae96..64a3cd99 100644 --- a/student-tests/test_failures.py +++ b/student-tests/test_failures.py @@ -1848,6 +1848,178 @@ def test_reconcile_change_limit( assert ids <= lost_ids(stand) +@pytest.mark.spec( + "storage-consistency", + "Объект, на который ссылается строка, не удаляется", +) +def test_reconcile_keeps_referenced_objects( + api: Api, + stand: Stand, + alice: Actor, + chat: dict[str, Any], +) -> None: + """Замечание W1 verify: объект `/original`, у строки которого другой + ключ, и объект `/original`, на который ссылается строка Y другого + `id`, — чужие, а не объекты без метаданных.""" + data = images.sample_png() + x, y = (api.upload(alice, chat["id"], data) for _ in range(2)) + z = str(uuid.uuid4()) + keys = { + "x": object_key(x["id"]), + "y": object_key(y["id"]), + "z": object_key(z), + # ключ X: под префиксом вложений, объекта по нему нет + "other": f"{FAULT_DATABASE}/attachments/x-other-{uuid.uuid4()}", + } + put_object(stand, keys["z"], data) + try: + stand("set-key", x["id"], keys["other"]) + stand("set-key", y["id"], keys["z"]) + for item in (x, y): + stand("age-row", item["id"], str(AGED_S)) + # объект Z записан только что: после G + 1 все объекты старше grace + time.sleep(OBJECT_AGE_WAIT_S) + unknown = {keys[name]: "unknown_object" for name in ("x", "y", "z")} + dry = run_reconcile(stand, "dry-run") + assert dry.kinds(FOUND, keys=keys.values()) == unknown | { + keys["other"]: "missing_object", + } + assert dry.exit_code == 3 + + applied = run_reconcile(stand, "apply") + assert applied.kinds(FIXED, keys=keys.values()) == { + keys["other"]: "missing_object", + } + assert applied.kinds(FOUND, keys=keys.values()) == unknown + assert applied.exit_code == 3 + # ни один из трёх объектов не удалён, строки на месте + assert {x["id"], y["id"], z} <= stored_ids(stand) + rows = attachment_rows(stand) + assert rows[x["id"]] == rows[y["id"]] == "ready" + # X без объекта по своему ключу помечено, у Y объект по ключу есть + lost = lost_ids(stand) + assert x["id"] in lost + assert y["id"] not in lost + finally: + # прежние ключи; объект Z, на который больше никто не ссылается, — + # прочь, чтобы следующие проходы не удаляли его как свой + stand("set-key", x["id"], keys["x"]) + stand("set-key", y["id"], keys["y"]) + stand("delete-object", keys["z"]) + + +@pytest.mark.spec( + "storage-consistency", + "Предел не останавливает уборку зависших", +) +def test_reconcile_limit_keeps_cleanup( + api: Api, + stand: Stand, + alice: Actor, + chat: dict[str, Any], +) -> None: + """Замечание W1 verify: отказ по пределу не мешает уборке зависшей + загрузки — её уборщик делает и без сверки.""" + data = images.sample_png() + limit = 2 + # уборщик стенда стоит: зависшую загрузку P должна убрать сверка + with outage(stand, "stop", "cleaner"): + filename = fault_filename() + before = attachment_rows(stand) + stand("fail-attachments", "commit", filename) + try: + assert_error( + upload_raw(api, alice, chat, data, filename=filename), + 503, + ) + finally: + stand("clear-fail-attachments") + (pending,) = new_ids(before, attachment_rows(stand)) + assert pending in stored_ids(stand) + stand("age-row", pending, str(AGED_S)) + batch = [api.upload(alice, chat["id"], data) for _ in range(3)] + ids = {item["id"] for item in batch} + for item in batch: + lose_original(stand, item) + + refused = run_reconcile(stand, "apply", limit) + assert refused.exit_code == 3 + (error,) = refused.events(LIMIT_EXCEEDED) + assert error["changes"] >= len(batch), error + assert refused.finished["refused"] is True + assert refused.kinds(FIXED, ids={pending}) == { + pending: "stale_pending", + } + (record,) = refused.about(FIXED, ids={pending}) + assert record["action"] == "removed_pending" + assert pending not in attachment_rows(stand) + assert pending not in stored_ids(stand) + # изменений под пределом нет: ни одной пометки + assert not refused.about(FIXED, ids=ids) + assert not ids & lost_ids(stand) + # стенд — без внесённых потерь для следующих тестов + applied = run_reconcile(stand, "apply", 100) + assert set(applied.kinds(FIXED, ids=ids)) == ids + + +@pytest.mark.spec( + "storage-consistency", + "Ключ вне префикса вложений не трогается", +) +def test_reconcile_foreign_key_untouched( + api: Api, + stand: Stand, + alice: Actor, + chat: dict[str, Any], +) -> None: + """Замечание W2 verify: строка с ключом вне `<база>/attachments/` — + готовая и зависшая загрузка — только в отчёте как чужой объект: сверка + не делает HEAD чужого префикса, не помечает и не убирает строку.""" + data = images.sample_png() + # уборщик стенда стоит: иначе зависшую загрузку убрал бы он + with outage(stand, "stop", "cleaner"): + ready = api.upload(alice, chat["id"], data) + filename = fault_filename() + before = attachment_rows(stand) + stand("fail-attachments", "commit", filename) + try: + assert_error( + upload_raw(api, alice, chat, data, filename=filename), + 503, + ) + finally: + stand("clear-fail-attachments") + (pending,) = new_ids(before, attachment_rows(stand)) + ids = {ready["id"], pending} + try: + for item in ids: + # префикс своей базы, но не вложений: список его не видит + stand("set-key", item, f"{FAULT_DATABASE}/elsewhere/{item}") + stand("age-row", item, str(AGED_S)) + unknown = dict.fromkeys(ids, "unknown_object") + dry = run_reconcile(stand, "dry-run") + assert dry.kinds(FOUND, ids=ids) == unknown + assert dry.exit_code == 3 + applied = run_reconcile(stand, "apply") + assert applied.kinds(FOUND, ids=ids) == unknown + assert not applied.about(FIXED, ids=ids) + assert applied.exit_code == 3 + # ни пометки, ни уборки: строки и объекты под префиксом на месте + rows = attachment_rows(stand) + assert (rows.get(ready["id"]), rows.get(pending)) == ( + "ready", + "pending", + ) + assert ready["id"] not in lost_ids(stand) + assert ids <= stored_ids(stand) + finally: + # прежние ключи у тех строк, что остались: зависшую загрузку + # после теста уберёт уборщик стенда вместе с её объектом + rows = attachment_rows(stand) + for item in ids & set(rows): + stand("set-key", item, object_key(item)) + + @pytest.mark.spec("storage-consistency", "S3 недоступен во время сверки") def test_reconcile_object_storage_stopped( api: Api,