fix: address track2-reconciler verify findings

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-22 21:04:01 +03:00
co-authored by Claude Opus 5.5
parent a6071dafa0
commit 84f8c353e9
17 changed files with 770 additions and 56 deletions
+2 -1
View File
@@ -91,7 +91,8 @@ paths:
`delete_original` (отсутствие объекта — не ошибка; компенсация
загрузки и уборщик). Ключ хранится в
строке и при чтении берётся из неё, не вычисляется заново. Для сверки:
`originals_prefix` (`<namespace>/attachments/`), `parse_original_key`
`originals_prefix` (`<namespace>/attachments/`), `is_own_key` (ключ
под этим префиксом, без вызова S3), `parse_original_key`
(`UUID` ключа `<id>/original` в записи сервера, иначе `None`),
`list_originals` (страница списка), `probe_originals` (список с
`MaxKeys=1`: bucket на месте и список разрешён), `head_original`;
+8 -2
View File
@@ -175,8 +175,14 @@ paths:
Удаляется только объект без строки и зависшая загрузка; `ready`,
объект строки любого статуса и чужой ключ — никогда. Действия
начинаются после классификации: отказ на шагах 1–4 — ни одного
изменения. Отказ S3 или БД — `interrupted_by`, после сигнала —
`stop`; `stop_requested()` — между страницами и действиями;
изменения. Строка `ready` или зависшая загрузка с ключом вне
`<база>/attachments/` (`attachment_object_repo.is_own_key`) — «чужой
объект»: без HEAD, без пометки и без уборки; HEAD, пометка, снятие и
DELETE ещё раз проверяют префикс (design change `track2-reconciler`,
«Уточнения apply», п. 19). Отказ S3 или БД — `interrupted_by`, после
сигнала — `stop`; `stop_requested()` (`_check_stop`) — перед каждым
вызовом S3 и шагом с БД: остановка ждёт не больше одного вызова (п.
20);
- `MessageService.send_message(..., attachment_ids)`: членство →
`get_attachments` (все найдены, чат этого сообщения, `ready`; иначе
`AttachmentNotFound` до захвата ключа) → хэш → ключ → сообщение →
+19 -4
View File
@@ -218,7 +218,9 @@ paths:
выводу), оба — только под `<FAULT_DATABASE>/attachments/` и символы
`[A-Za-z0-9._/-]`; `delete-row`, `set-size`, `age-row` (сдвиг
`created_at` и `updated_at` вместе — CHECK и непомеченность `pending`
сохраняются), `lost-ids`; `fail-attachments mark <filename>` — свой
сохраняются), `set-key <id> <ключ>` (только `object_key` строки,
ключ под `<FAULT_DATABASE>/`, в том числе вне `attachments/`; bucket
не трогается), `lost-ids`; `fail-attachments mark <filename>` — свой
триггер `BEFORE UPDATE OF lost_at` (08006), `clear-fail-attachments`
снимает и его; `reconcile dry-run|apply [<предел>]` — `docker compose
run --rm --no-deps -T cleaner reconcile …`, записи процесса и строка
@@ -241,7 +243,14 @@ paths:
`…_object_storage_stopped`, `…_interrupted_by_database`,
`…_under_load` (4 потока ~G + 15 с загрузок PNG ~100 KiB и отправок,
apply раз в 3 с; все 201 скачиваются с тем же SHA-256, новые пометки
— только внесённые), `test_scheduled_reconcile`. Записи
— только внесённые), `test_scheduled_reconcile`; по замечаниям
verify — `test_reconcile_keeps_referenced_objects` (X с другим ключом,
Y ссылается на `<Z>/original` без строки Z: три объекта — чужие и на
месте, X помечено), `test_reconcile_limit_keeps_cleanup` (отказ по
пределу, зависшая загрузка всё равно убрана) и
`test_reconcile_foreign_key_untouched` (`set-key` на
`<база>/elsewhere/<id>` у готовой строки и зависшей загрузки: чужие, ни
пометки, ни уборки). Записи
фильтруются по своим `id` и ключам, код выхода сверяется с записями
того же прохода (`Reconcile.assert_code_matches`). Объекты без строки
ждут G + 1 с (`LastModified` ставит S3), строки состаривает
@@ -250,7 +259,12 @@ paths:
- красный прогон на `c13df14` (код до change): упали все восемь —
команды `reconcile` нет (argparse, код 2), колонки `lost_at` нет
(`lost-ids` — ошибка psql), плановой сверки нет
(`evidence/tests/failure-checks.md`);
(`evidence/tests/failure-checks.md`). Тесты по замечаниям verify: на
`a6071da` `…_foreign_key_untouched` красный (готовая строка —
`missing_object` после HEAD чужого префикса, зависшая — `stale_pending`),
два теста W1 зелёные (ветки были верны) и красные на временных
регрессиях — `_recheck_orphan` без проверки ссылок и уборка зависших
под пределом (design, «Уточнения apply», п. 22);
- исключения сверки: «Принявшая реплика остановлена» — `driver.py
attachment-failover` → `evidence/attachments/failover.md`; «Байты не в
БД и не на диске API» — `driver.py attachment-storage` →
@@ -339,7 +353,8 @@ paths:
С change `track2-reconciler` — без плановой сверки
(`RECONCILER__INTERVAL_SECONDS: "0"`, строка `start cleaner` называет
и её интервал), а `<проект>-cleaner-scheduled` hook `run-cleaner`
убирается вместе с API. Прогон — ~8 мин (45 проверок, pytest ~460 с;
убирается вместе с API. Прогон — ~9,5 мин (48 проверок, pytest ~535 с;
до правок по verify `track2-reconciler` — 45 и ~460 с;
до `track2-reconciler` — 37 и ~255 с, до `upload-memory` — 32 и
~220 с, до `upload-consistency` ~70 с);
- `pytest -m fault`, затем журнал PostgreSQL стенда: сводка `postgres
@@ -126,6 +126,7 @@ python3 $D stop
| `upload-consistency` | только стенд с LB: спеки `attachments` «Порядок записи» и `storage-consistency` (design change `upload-consistency`, решение 11). Синтетические Алиса, Боб и чат; готовое вложение R. Шаги: (1) `docker compose pause s3` → загрузка через LB — 503 за ~5 с → `unpause` в `finally`; новая строка `pending` по psql (`id`, статус, возраст, ключ); (2) триггер «фиксация `ready` падает» (SQLSTATE 08006) на рабочей базе только для уникального `filename` прогона → загрузка 503 → строка `pending`, объекта уже нет (компенсация), триггер снят (`finally`, и остаток прошлого прогона — в начале); (3) метаданные, байты и сообщение со ссылкой на обе строки — 404; (4) после grace прогона 30 с — `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once`, его JSON-вывод; (5) psql и `weed shell fs.tree` (файлы `original`, а не каталоги) — ни строк, ни объектов обеих загрузок, объектов без строки под префиксом рабочей базы нет; R скачивается с тем же SHA-256. Таблица «проверка → ожидаемо → получено» без токенов и секретов; код 1 при расхождении, без LB — код 2. ~45 с. Вывод — `evidence/attachments/consistency.md` |
| `reconcile-cycle` | только стенд с LB: спеки `storage-consistency` (сверка bucket и БД) и `attachments` «Потерянный оригинал» (design change `track2-reconciler`, решение 12). (1) исходный dry-run с grace по умолчанию — расхождений нет, иначе код 2; (2) синтетические Алиса, Боб, чат, вложения A (в сообщении), B, C; (3) объект O без строки и чужой ключ X — `docker exec` реплики (botocore образа её ключами), объект A удалён (`weed shell fs.rm`), строка B удалена и размер C изменён (psql), P — триггер COMMIT на уникальный `filename` (503, строка `pending` и объект); (4) после grace 30 с dry-run: таблица «класс → действие → ключ → `id` → возраст», снимки строк, объектов и пометок до и после совпали; (5) байты A — 500; (6) свежий F, `--apply`: O, B удалены, A, C помечены, P убрана, F не тронут, байты A — 404, метаданные A — 200 и равны ответу загрузки, история отдаёт A; (7) повтор — только чужой X, код 3; оператор удаляет X — код 0; после grace F удалён; (8) A возвращён теми же байтами — «оригинал вернулся», байты 200 с тем же SHA-256, итоговый dry-run — код 0. Таблица «проверка → ожидаемо → получено» без токенов; код 1 при расхождении, без LB — код 2. ~2 мин. Вывод — `evidence/reconcile/cycle.md` |
| `reconcile-stress [--seconds S] [--clients N]` | только стенд с LB: «Сверка под нагрузкой». Предусловие — dry-run с grace 20 с без расхождений (иначе код 2); два объекта без строки и два вложения без объекта; N клиентов (4) S секунд (40, больше grace) загружают PNG ~100 KiB из шума и отправляют сообщения, поток сверки — `--apply` с grace 20 с раз в ~3 с, затем ещё один проход. Итог: загрузки по кодам, сообщения, коды проходов, исправления по классам; проверки — внесённые исправлены (объекты удалены, новые пометки — ровно внесённые), каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё вложение, ни одного прерванного прохода, повтор dry-run — код 0. Проверка корректности, не замер. Вывод — `evidence/reconcile/stress.md` |
| `reconcile-signal` | только не рабочий проект compose (выбор — окружением `COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`, `COMPOSE_ENV_FILES`; `mtusi-lab4` — отказ, код 2): спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом, — код 1 (design change `track2-reconciler`, «Уточнения apply», п. 23). Нужны запущенные `s3` и образ уборщика, LB и реплики не нужны. `docker compose pause s3` → `run -d --no-deps --name <проект>-reconcile-signal cleaner reconcile --apply` → через секунду после «Started cleaner» `docker stop` → код контейнера и журнал → `rm`, `unpause s3` в `finally`. Записи процесса (событие, уровень, операция, `interrupted_by`, `exit_code`) и таблица: код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, записей «Fixed» 0, остановка быстрее 10 с; код 1 при расхождении. ~10 с. Вывод — раздел `evidence/reconcile/service.md` |
| `lb-upload-timeouts [--config F] [--image ТЕГ]` | без стенда (рабочий стенд и проекты compose не трогает): спек `load-balancing` «Загрузки через балансировщик» и «Ошибки балансировщика в формате контракта» (design change `upload-memory`, решение 7). `haproxy -c` конфигурации F (по умолчанию `infra/haproxy/haproxy.cfg`) в закреплённом образе LB из `docker-compose.yml`, затем временная сеть `mtusi-lbto-<метка>`: заглушка реплики на образе API (по умолчанию `mtusi-messenger:lab4`, asyncio stdlib) под сетевым именем `api` и HAProxy с F и `API_PORT=8080` на свободном `127.0.0.1`; ожидание `UP` заглушки по `/health/ready` через LB. Пять случаев параллельно, у каждого своё соединение и свой `case` в строке запроса: заглушка молчит 12 с до чтения тела загрузки 10 MiB и после него — 201 от заглушки; 12 с на `GET /api/v1/users/me` — 504 LB через ~10 с; 32 с на пути загрузки — 504 LB через ~30 с; клиент отправил половину тела и молчит — 400 LB через ~30 с (`timeout client`). Ошибки LB — `application/json`, ровно `{"error": {"code", "message", "request_id"}}`, `code` по статусу, `request_id` = `X-Request-Id`. Таблица «случай → ожидаемо → получено → время», код 1 при расхождении. Сеть и контейнеры (метка `mtusi.lb-upload-timeouts`) удаляются при любом исходе, в том числе по Ctrl+C, SIGTERM, SIGHUP. ~35 с. На `haproxy.cfg` до change (`git archive f894040 infra/haproxy/haproxy.cfg \| tar -x -C <каталог>`, `--config <каталог>/infra/haproxy/haproxy.cfg`) — код 1: 502 и 504 через 10 с на пути загрузки, 400 в HTML. Вывод — `evidence/uploads/lb-timeouts.md` |
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
@@ -181,6 +182,7 @@ make reconcile # разовая сверка bucket
make reconcile APPLY=1 [MAX_CHANGES=N] # то же с исправлением (предел изменений прохода — 100 или N)
python3 $D --port 8080 reconcile-cycle # расхождения с обеих сторон: dry-run, --apply, 404/200, повтор = 0, возврат оригинала; ~2 мин
python3 $D --port 8080 reconcile-stress # --apply раз в 3 с под загрузками 4 клиентов 40 с: все 201 скачиваются с тем же SHA-256
COMPOSE_PROJECT_NAME=<временный> python3 $D reconcile-signal # pause s3 + docker stop разового --apply: код 1, interrupted_by stop; не на mtusi-lab4
python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 201 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с
docker compose logs --no-log-prefix cleaner | tail -3 # уборщик: Started cleaner (60/900/100), проходы, отказы
docker compose run --rm --no-deps cleaner --once # разовый проход уборщика (grace 900 с): код 0 — проход дошёл до конца
+158 -2
View File
@@ -112,6 +112,14 @@
сверки — --apply с grace 20 с раз в ~3 с; каждое 201
скачивается с тем же SHA-256, сообщения отдают свои вложения,
повтор — 0; код 1 при расхождении
reconcile-signal только не рабочий проект compose (окружение
COMPOSE_PROJECT_NAME / COMPOSE_FILE; mtusi-lab4 — код 2): спек
graceful-shutdown, разовый проход сверки, прерванный сигналом,
— код 1: docker compose pause s3, run -d cleaner reconcile
--apply, через секунду после «Started cleaner» docker stop;
interrupted_by stop, «Stopped cleaner» с exit_code 1, остановка
быстрее stop_grace_period 10 с; S3 размораживается в finally;
код 1 при расхождении
lb-upload-timeouts [--config F] [--image ТЕГ] без стенда: спек
load-balancing «Загрузки через балансировщик» — временная
сеть, HAProxy закреплённого образа с конфигурацией F (по
@@ -3365,7 +3373,11 @@ def yes(value: bool) -> str:
return "yes" if value else "no"
def report_reconcile(rows: list[tuple[str, str, str]]) -> int:
def report_reconcile(
rows: list[tuple[str, str, str]],
*,
passed: str = "reconcile found and fixed the discrepancies, repeat found 0",
) -> int:
"""Таблица «проверка → ожидаемо → получено»; код 1 при расхождении."""
width = max(len(check) for check, _, _ in rows)
failed = 0
@@ -3379,7 +3391,7 @@ def report_reconcile(rows: list[tuple[str, str, str]]) -> int:
if failed:
print(f"FAIL: {failed} check(s) failed")
return 1
print("PASS: reconcile found and fixed the discrepancies, repeat found 0")
print(f"PASS: {passed}")
return 0
@@ -3610,6 +3622,147 @@ def reconcile_stress(port: int, seconds: float, clients: int) -> int:
return report_reconcile(rows)
# reconcile-signal (design change track2-reconciler, «Уточнения apply», п.
# 23): код разового прохода, прерванного сигналом. S3 заморожен, поэтому
# только не рабочий проект compose
RS_WORKING_PROJECT = "mtusi-lab4"
RS_START_TIMEOUT_S = 30
# SIGTERM — через столько после «Started cleaner»: первая страница списка
# уже ждёт замороженный S3
RS_AFTER_START_S = 1.0
# stop_grace_period уборщика в docker-compose.yml: дольше — был бы SIGKILL
RS_STOP_LIMIT_S = 10
def cmd_reconcile_signal() -> int:
"""Спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом,
— код 1: на стенде проекта compose из окружения (`COMPOSE_PROJECT_NAME`
и др., рабочий `mtusi-lab4` — отказ, код 2) `docker compose pause s3`,
`run -d --no-deps cleaner reconcile --apply`, через секунду после
«Started cleaner» — `docker stop`; S3 размораживается в `finally`.
Таблица и записи процесса без секретов; код 1 при расхождении."""
try:
config = json.loads(compose("config", "--format", "json"))
except (RuntimeError, ValueError) as e:
print(f"FAIL: compose config of the stand: {e}")
return 2
project = str(config.get("name", ""))
if project == RS_WORKING_PROJECT:
print(
"reconcile-signal pauses S3: run it on a temporary stand "
f"(COMPOSE_PROJECT_NAME), not {RS_WORKING_PROJECT}",
)
return 2
services = config.get("services", {})
if "cleaner" not in services or "s3" not in services:
print(f"FAIL: no cleaner or s3 service in project {project}")
return 2
if not compose("ps", "-q", "--status", "running", "s3").strip():
print(f"FAIL: s3 of project {project} is not running")
return 2
name = f"{project}-reconcile-signal"
subprocess.run(["docker", "rm", "-f", name], capture_output=True)
started = False
took = -1.0
exit_code = ""
logs = ""
compose("pause", "s3")
print(f"{project}: s3 paused")
try:
compose(
"run",
"-d",
"--no-deps",
"--name",
name,
"cleaner",
"reconcile",
"--apply",
)
deadline = time.monotonic() + RS_START_TIMEOUT_S
while time.monotonic() < deadline:
logs = docker_logs(name)
if '"Started cleaner"' in logs:
started = True
break
time.sleep(0.2)
if started:
time.sleep(RS_AFTER_START_S)
print("docker stop while reconcile waits for paused S3")
began = time.monotonic()
subprocess.run(["docker", "stop", name], capture_output=True)
took = time.monotonic() - began
exit_code = subprocess.run(
["docker", "inspect", "-f", "{{.State.ExitCode}}", name],
capture_output=True,
text=True,
check=False,
).stdout.strip()
logs = docker_logs(name)
finally:
subprocess.run(["docker", "rm", "-f", name], capture_output=True)
compose("unpause", "s3")
print(f"{project}: s3 unpaused")
records = []
for line in logs.splitlines():
if line.startswith("{"):
with contextlib.suppress(json.JSONDecodeError):
records.append(json.loads(line))
shown = ("event", "level", "mode", "operation", "error_type")
shown += ("duration_ms", "interrupted_by", "exit_code", "timestamp")
print("== records of the one-off reconcile")
for record in records:
print(
json.dumps(
{key: record[key] for key in shown if key in record},
ensure_ascii=False,
),
)
finished = rc_finished(records)
stopped = [
item for item in records if item.get("event") == "Stopped cleaner"
]
print(f"docker stop took {took:.1f} s, exit code {exit_code or '-'}")
rows = [
("Started cleaner (mode reconcile)", "yes", yes(started)),
("exit code", "1", exit_code),
(
"Finished reconcile pass interrupted_by",
"stop",
str(finished.get("interrupted_by")),
),
(
"Stopped cleaner exit_code",
"1",
str(stopped[-1].get("exit_code")) if stopped else "-",
),
(
"Fixed storage discrepancy records",
"0",
str(len(rc_events(records, RC_FIXED))),
),
(
f"docker stop faster than {RS_STOP_LIMIT_S} s",
"yes",
yes(0 <= took < RS_STOP_LIMIT_S),
),
]
return report_reconcile(
rows,
passed="one-off reconcile stopped by SIGTERM: exit 1, nothing changed",
)
def docker_logs(name: str) -> str:
proc = subprocess.run(
["docker", "logs", name],
capture_output=True,
text=True,
check=False,
)
return proc.stdout + proc.stderr
# lb-upload-timeouts: сроки LB пути загрузки на заглушке (design change
# upload-memory, решение 7). Молчание заглушки: дольше timeout server
# прочих путей (10 с), но меньше срока пути загрузки (30 с) — и дольше его
@@ -4417,6 +4570,7 @@ def main() -> int:
stress = sub.add_parser("reconcile-stress")
stress.add_argument("--seconds", type=float, default=40)
stress.add_argument("--clients", type=int, default=4)
sub.add_parser("reconcile-signal")
lbto = sub.add_parser("lb-upload-timeouts")
lbto.add_argument(
"--config",
@@ -4518,6 +4672,8 @@ def main() -> int:
seconds=args.seconds,
clients=args.clients,
)
if args.cmd == "reconcile-signal":
return cmd_reconcile_signal()
if args.cmd == "lb-upload-timeouts":
return cmd_lb_upload_timeouts(args.config, args.image)
if args.cmd == "stop-at-start":
+14 -8
View File
@@ -46,8 +46,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи
`openspec/changes/archive/`, активных нет, спеки синхронизированы
(новые capability: с `s3-storage` —
`object-storage`, с `attachments` — `attachments`, с
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления
bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` три открытые записи (bootstrap после удаления
bucket; уборщик удаляет объект зависшей загрузки по ключу вне своего
префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
репозитории (`REPORT.md`, `evidence/`, `git show 063eedb:PLAN.md`).
Стек: Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings,
structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
@@ -153,7 +154,10 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
при старте и раз в `[reconciler] interval_seconds` (3600 с) с
исправлением. Удаляется только объект без строки старше grace и
зависшая загрузка (шагом уборщика); строки `ready`, объект, на который
ссылается строка, и чужой ключ — никогда. Grace — тот же `[cleaner]
ссылается строка, и чужой ключ — никогда; строку с ключом вне
`<база>/attachments/` сверка только называет (чужой объект): её объект
не читает, строку не помечает и не убирает. Сигнал — перед каждым
вызовом хранилища (остановка ждёт ≤ 5 с S3 или ≤ 6 с шага БД). Grace — тот же `[cleaner]
pending_grace_seconds`, по `LastModified` объекта и времени строки;
перед каждым действием — перепроверка в БД и HEAD, отсутствие объекта —
только при живом bucket; больше `[reconciler] max_changes` (100)
@@ -358,6 +362,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
| `make reconcile [APPLY=1] [MAX_CHANGES=N]` | разовая сверка bucket и БД в контейнере уборщика (`docker compose run --rm --no-deps cleaner reconcile [--apply] [--max-changes N]`): по умолчанию dry-run — записи «Found storage discrepancy» по классам и итог; `APPLY=1` — исправить; 0 — расхождений нет, 3 — остались (чужие объекты, отказ по пределу), 1 — прервана, 2 — конфигурация |
| `driver.py --port <LB> reconcile-cycle` | сверка на рабочем стенде (~2 мин): исходный dry-run без расхождений (иначе код 2), расхождения с обеих сторон, dry-run без изменений, 500 → `--apply` → 404 и 200, повтор, удаление чужого объекта, свежий объект после grace, возврат оригинала; `evidence/reconcile/cycle.md` |
| `driver.py --port <LB> reconcile-stress [--seconds S] [--clients N]` | `--apply` раз в ~3 с под загрузками и отправками N клиентов S секунд (4 × 40 с): внесённое исправлено, каждое 201 скачивается с тем же SHA-256, повтор — 0; `evidence/reconcile/stress.md` |
| `driver.py reconcile-signal` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME` и др., `mtusi-lab4` — код 2): `pause s3`, разовый `reconcile --apply` отдельным контейнером, `docker stop` через секунду после «Started cleaner» — код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, быстрее 10 с; `unpause` в `finally`; `evidence/reconcile/service.md` |
| `docker compose run --rm --no-deps cleaner --once` | разовый проход уборщика незавершённых загрузок (grace — `[cleaner]` или `-e CLEANER__PENDING_GRACE_SECONDS=…`, не меньше 18 с): 0 — проход дошёл до конца, 1 — прерван отказом, 2 — неверная конфигурация; журнал сервиса — `docker compose logs --no-log-prefix cleaner` |
| `make lb_stats` | слоты HAProxy: адрес, состояние проверки (`DRAIN`, `MAINT` при замене), запросы, повторы, перенаправления (CSV статистики изнутри контейнера LB) |
| `make rolling_update [COMMIT=...] [MIGRATE=0]` | поочерёдная замена реплик без простоя (`scripts/rolling-update.sh`, `balancer.md`): сборка из рабочего дерева (или файлов `COMMIT` через `git archive`), миграции один раз, затем по одной — новая `healthy` и `UP` в LB, старая `drain` → запросов в полёте 0 → `maint` → stop → rm → слот `ready`. Нужен штатный стенд (`make replicas`) без слотов LB в ручном `drain` / `maint` (иначе код 2 и команда `set server … state ready`); сбой и Ctrl+C — `API_REPLICAS` готовых реплик, повтор доводит; `MIGRATE=0` — откат на прежний образ (после него `docker compose up` без сборки не запускать: `migrate` прежнего образа упадёт на новой ревизии) |
@@ -417,12 +422,12 @@ src/
repos/idempotency.py # ключ идемпотентности: захват ON CONFLICT DO UPDATE WHERE просрочен, чтение сохранённого результата
repos/chat_cache.py # карточка чата в Valkey: ключ с именем базы, JSON ↔ ChatFullDTO
repos/attachment.py # строки вложений: вставка pending (created_at = updated_at), mark_ready (pending и непомеченная → ready RETURNING), чтение одной и до 10; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), mark_removing (пометка updated_at), delete_attachment; сверке — get_attachments_for_objects (id = ANY OR object_key = ANY), get_ready_page (keyset ready по id), find_attachment_reference, mark_lost / clear_lost (условный UPDATE lost_at)
repos/attachment_object.py # оригинал в S3: ключ <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, parse_original_key, list_originals, probe_originals (bucket на месте), head_original
repos/attachment_object.py # оригинал в S3: ключ <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original
repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой
services/<domain>.py # <Domain>Service: логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем; отправка — ключ, сообщение и связи с вложениями одной транзакцией
services/attachment.py # AttachmentService(db_scope, cache, storage, slots): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT тем же BytesIO → ready; сбой ready до COMMIT или пропавшая строка — удаление объекта и 503; место — до ответа), метаданные, отдача потоком
services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO
services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready), зависшие, перепроверка в БД и HEAD (bucket — probe), предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO
services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO
exceptions/<domain>.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 500 пропавшего объекта
infra/
early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog
@@ -460,7 +465,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
test_failures.py # проверки отказов (маркер fault): только make failure_checks
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib)
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), три API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib)
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] (записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib)
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, set-key (object_key строки под <база>/), lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] (записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib)
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling / bench_uploads (с S3)
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json; профиль uploads (S3 и bootstrap на стенде, на прогон — новый volume S3 и реплика с окружением варианта через .work/variant.compose.yml, образ «до» — тег bench-from, сэмплер peak), в паспорте всех профилей stand.api_tcp_rmem и docker.kernel
@@ -489,9 +494,10 @@ docker-compose.yml # проект mtusi-lab4: postgres, valkey, s3 (Se
.dockerignore
config_example.toml, .env.example
evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ, отказ S3 во время прохода)
evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам)
evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0)
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick)
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
+26
View File
@@ -33,6 +33,32 @@
меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`;
для стендов проекта не нужно. Запись остаётся открытой.
## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
- **Где:** `src/core/services/attachment_cleanup.py`
(`remove_stale_pending`: `delete_original` по `object_key` строки) и
политика `cleaner-objects` в `infra/s3/bootstrap.sh` (`s3:DeleteObject`
на `<bucket>/*`).
- **Что:** сервис уборки (`python -m src.cleaner`, `--once`) убирает
строку `pending` старше grace вместе с объектом по ключу из этой
строки, не проверяя, что ключ под `<база>/attachments/`. Ключ вне
префикса API не пишет; он бывает в базе, восстановленной под другим
именем (её строки ведут к объектам исходной базы), или после ручной
правки. Тогда уборщик удаляет объект чужого префикса — другой базы.
Найдено в правках по verify change `track2-reconciler` (замечание W2,
2026-10-22): сверка такую строку теперь только называет «чужим
объектом» и не убирает (design, «Уточнения apply», п. 19), а сервис
уборки — поведение change `upload-consistency` — не менялся.
- **Чем грозит:** только при строке с чужим ключом: потерей объекта
другой базы того же bucket. Стенды проекта таких строк не содержат.
- **Предложение:** в `remove_stale_pending` (или в `lock_stale_pending`)
— та же проверка `attachment_object_repo.is_own_key`: строку с чужим
ключом убирать без DELETE объекта (или пропускать с `warning`), сценарий
в требовании «Уборщик незавершённых загрузок» и тест на стенде отказов
(`set-key` hook уже есть); при желании — сузить `s3:DeleteObject`
политики до `<bucket>/<база>/attachments/*`, переделав проверки
bootstrap, которые удаляют свои объекты ключом уборщика.
## LB отвечает 408 на медленные заголовки текстом HAProxy
- **Где:** `infra/haproxy/haproxy.cfg`, `defaults`: `timeout
+28
View File
@@ -428,6 +428,17 @@ S6; спек `attachments`, «Порядок записи»): действие h
bench_plots` или его аналог), выводы по гипотезам 1–5 и ограничения в
`REPORT.md`.
**Передано из verify `track2-reconciler` (замечание S4).** При массовом
расхождении (N ≫ `max_changes`) `--apply` перепроверяет каждого
кандидата (SELECT + HEAD) и только потом отказывает по пределу; плановый
проход всё это время держит уборку зависших. Ранний отказ ломал бы
инварианты отчёта (каждое расхождение названо, ошибка называет число
изменений), поэтому там не сделан (design `track2-reconciler`,
«Уточнения apply», п. 21). Здесь — замер цены отказа при N = 1k / 10k
расхождений и выбор: перепроверка после решения о пределе с отчётом о
неперепроверенных кандидатах, отдельный счётчик в итоге или ранний отказ
только у плановой сверки.
### 7. Отчёт и PR
- `REPORT.md`: запуск из чистого clone, архитектура и транзакционные
@@ -1224,6 +1235,23 @@ SeaweedFS и PostgreSQL на tmpfs, bootstrap проекта.
требует контейнер `migrate`);
- драйвер на рабочем стенде — только после перестройки 12.1; в apply
он проверен на временном полном стенде.
13. **Правки по verify (2026-10-22, группа 13 tasks)** — design,
«Уточнения apply», пп. 19–23:
- W1: hook `set-key`, сценарии «Объект, на который ссылается строка,
не удаляется» и «Предел не останавливает уборку зависших», тесты
`…_keeps_referenced_objects` и `…_limit_keeps_cleanup` (зелёные на
`a6071da`, красные на временных регрессиях);
- W2: строка с ключом вне `<база>/attachments/` — «чужой объект» без
HEAD, пометки и уборки; сценарий «Ключ вне префикса вложений не
трогается», тест `…_foreign_key_untouched` (красный на `a6071da`);
сервис уборки такую зависшую загрузку по-прежнему убирает —
`KNOWN_ISSUES.md`;
- S1: сигнал — перед каждым вызовом хранилища, остановка ≤ 5 с (S3) /
≤ 6 с (БД);
- S4: ранний отказ по пределу не сделан — передан в
`track2-reconcile-cost` (раздел 6 выше);
- S5: `driver.py reconcile-signal` — код 1 разового прохода по
SIGTERM; снимок — после commit, на временном стенде.
#### Вопросы
+19 -8
View File
@@ -578,7 +578,10 @@ dry-run. Плановая — в сервисе `cleaner` при старте и
- **что удаляется** — только объект без строки и зависшая загрузка;
строки `ready`, используемые вложения (FK `message_attachments`),
объект, на который ссылается строка любого статуса, и чужой ключ — ни
в каком классе;
в каком классе; строка с ключом вне `<база>/attachments/` (например,
база, восстановленная под другим именем) — «чужой объект»: её объект
сверка не читает, строку не помечает и не убирает (замечание W2
verify);
- **свежее** — grace общий с уборщиком (`[cleaner] pending_grace_seconds`,
900 с): объект — по `LastModified` S3, строка `ready` — по `updated_at`,
`pending` — по `created_at`; свежее не считается расхождением;
@@ -625,7 +628,7 @@ dry-run. Плановая — в сервисе `cleaner` при старте и
| Параметр | По умолчанию | Почему |
| --- | --- | --- |
| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,5–0,8 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её |
| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,49–0,82 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её |
| `page_size` | 1000 (1–1000) | больше S3 за страницу не отдаёт; одно выражение к БД на страницу |
| `max_changes` | 100 | см. «Безопасность»; разовый проход принимает больший аргументом |
@@ -642,8 +645,9 @@ discrepancy» (класс, ключ, `id`, возраст, размеры, ес
`error`; отдельных записей не больше 1000 за проход. Коды разового
прохода: 0 — расхождений нет, 3 — остались (чужие или отказ по пределу),
1 — прерван отказом S3 / PostgreSQL / сигналом, 2 — конфигурация. SIGTERM
во время сверки: текущий вызов доводится (≤ 5 с), новых страниц и
действий нет, сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`).
во время сверки: сигнал проверяется перед каждым вызовом хранилища,
текущий вызов доводится — вызов S3 ≤ 5 с, шаг с БД ≤ 6 с, новых страниц
и действий нет; сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`).
**Порядок обновления** (решение 6): `docker compose up -d s3-bootstrap`
(политика со списком) → `make rolling_update` (миграция, затем реплики) →
@@ -820,7 +824,7 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
| «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` |
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте и `make reconcile` — 2 086 объектов и строк, `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` |
| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` |
@@ -1163,7 +1167,13 @@ S3 (change `s3-storage`):
- **Память O(N) на ключи списка** (~15 МБ на 100 тыс. объектов при лимите
уборщика 256 МБ) и **уборка зависших ждёт конца прохода сверки** (на
рабочем стенде — меньше секунды, на 100 тыс. — порядка минуты). Замер —
следующий change.
следующий change. При массовом расхождении (N ≫ предела) `--apply`
перепроверяет каждого кандидата (SELECT + HEAD) и только потом
отказывает по пределу: ранний отказ сделал бы отчёт и число изменений в
ошибке неполными — решение и замер в `track2-reconcile-cost`.
- **Зависшая загрузка с ключом вне префикса вложений своей базы**: сверка
её только называет (чужой объект), а сервис уборки, как и до change,
убирает её вместе с объектом по этому ключу (`KNOWN_ISSUES.md`).
- **Пометка по ложному «нет объекта»** при неполном списке отсечена HEAD и
проверкой bucket; остаётся bucket, пересозданный пустым между
проверкой и `UPDATE` — тогда пометка верна и снимается сама, когда
@@ -1179,7 +1189,8 @@ S3 (change `s3-storage`):
до change; новый — `docker compose up -d --no-deps cleaner` (порядок
обновления).
- **Синтетика прогонов драйвера** (`reconcile-cycle`, `reconcile-stress`)
остаётся в рабочей базе и bucket: согласованные вложения и одно
помеченное потерянным за прогон цикла (его байты — 404).
остаётся в рабочей базе и bucket: согласованные вложения и помеченные
потерянными — одно за прогон цикла и два за прогон стресса
(`lost_known` 1 → 3; их байты — 404).
- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин):
объекты нельзя состарить, тесты ждут grace стенда (20 с).
@@ -839,3 +839,67 @@ cleaner reconcile …`, как у `upload-consistency`.
драйвера в задачах 10.1–10.2 — на временном полном стенде (проект
compose с LB, своими хранилищами на tmpfs и портами); на рабочем — в
группе 12.
Решения правок по `/opsx:verify` (2026-10-22, группа 13 tasks):
19. **Ключ строки вне префикса вложений — чужой объект** (W2). Строка
`ready` старше порога, ключа которой нет в списке, раньше была
кандидатом «метаданные без объекта», и перепроверка делала HEAD по её
ключу — в том числе `<другая база>/…` или `<база>/elsewhere/…`. Это
противоречило абзацу спека «Объекты других баз и ключи вне префикса …
MUST NOT читать». Реальный случай — база, восстановленная под другим
именем: её строки ведут к объектам исходной базы. Теперь такая строка
(и зависшая загрузка с таким ключом — её уборка удалила бы объект по
этому ключу) — `unknown_object` без HEAD, без пометки и без уборки,
код 3; HEAD, пометка, снятие пометки и удаление объекта ещё раз
проверяют префикс (`attachment_object_repo.is_own_key`). Новый класс не
заведён: «чужой объект» уже значит «требует оператора, сверка не
меняет» — определение класса в спеке дополнено. Сервис уборки
(`clean_stale_pending`) зависшую загрузку с чужим ключом по-прежнему
убирает вместе с объектом по её ключу — это поведение
`upload-consistency`, а не сверки; запись в `KNOWN_ISSUES.md`.
20. **Сигнал — перед каждым вызовом хранилища** (S1). Раньше между
проверками `stop_requested()` бывало два вызова подряд (страница
списка → выборка БД, `get_attachment` → HEAD, HEAD → `mark_lost` /
`clear_lost`, ссылки → DELETE, шаг БД → `probe_originals`), и при
деградации S3 и PostgreSQL остановка ждала до ~11 с при
`stop_grace_period` 10 с. Теперь `_check_stop` стоит перед каждым
вызовом, и остановка ждёт не больше одного: S3 ≤ `[s3]
timeout_seconds` (5 с), шаг с БД ≤ его срока (6 с). Теста нет: окно
«первый вызов удался после долгого ожидания, а второй завис» по HTTP
детерминированно не воспроизвести; прежний сценарий «docker stop во
время сверки» (один зависший вызов) остаётся в evidence, код 1
разового прохода — п. 23.
21. **Ранний отказ по пределу — не в этом change** (S4). Мысль: в
`--apply` прекращать перепроверку классов под пределом, как только
подтверждённых больше `max_changes`. Это ломает два инварианта:
отчёт называет каждое расхождение (спек «Сверка bucket и БД») —
неперепроверенные кандидаты не подтверждены и в отчёт не попали бы;
ошибка предела называет число изменений — оно стало бы нижней
границей. Поэтому не сделано. Цена при N ≫ предела — SELECT + HEAD на
кандидата, ~1–3 мс; при 10 тыс. расхождений — десятки секунд, пока
уборка ждёт. Варианты (перепроверка после решения о пределе с отчётом
«кандидаты, не перепроверены», отдельный счётчик в итоге, порог
«подтверждено > предела» только для плановой сверки) и замер —
`track2-reconcile-cost` (`PLAN.md`).
22. **Тесты W1 и красные прогоны группы 13.** Hook `set-key <id> <ключ>`
меняет только `object_key` строки (psql, ключ под `<FAULT_DATABASE>/`,
в том числе вне `attachments/` — для W2). Ветки W1 в коде были верны:
`test_reconcile_keeps_referenced_objects` и
`test_reconcile_limit_keeps_cleanup` на коде `a6071da` — зелёные, а на
временных регрессиях (`_recheck_orphan` без `find_attachment_reference`;
`_act` пропускает при отказе по пределу и зависшие) — 2 failed: объект
`<Z>/original`, на который ссылается Y, стал `orphan_object`; зависшая
загрузка не убрана. Регрессии убраны, `git diff src/` после — пусто.
`test_reconcile_foreign_key_untouched` на коде `a6071da` — 1 failed:
готовая строка с ключом `<база>/elsewhere/<id>` — `missing_object`
(HEAD чужого префикса и пометка в `--apply`), зависшая —
`stale_pending` (уборка удалила бы объект по чужому ключу).
23. **Код 1 разового прохода по SIGTERM** (S5) — `driver.py
reconcile-signal`: на проекте compose из окружения (рабочий
`mtusi-lab4` — отказ, код 2) замораживает S3, запускает разовый
`reconcile --apply` отдельным контейнером, после «Started cleaner» —
`docker stop`; ждёт код 1, «Finished reconcile pass» с
`interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1 и остановку
быстрее `stop_grace_period`; S3 размораживается в `finally`. Снимок —
после commit, на временном стенде.
@@ -18,9 +18,12 @@ PostgreSQL и находить расхождения шести классов:
- **оригинал вернулся** — оригинал вложения помечен потерянным
(требование «Потерянный оригинал»), а объект снова есть с тем же
размером;
- **чужой объект** — объект под префиксом вложений, ключа такого вида
API не пишет, либо ключ вида `<id>/original`, у строки которого
другой ключ.
- **чужой объект** — то, что сверка не меняет и оставляет оператору:
- объект под префиксом вложений, ключа такого вида API не пишет;
- объект с ключом вида `<id>/original`, у строки которого другой ключ
или на который ссылается строка другого `id`;
- ключ вне префикса вложений своей базы в метаданных вложения: объект
по такому ключу сверка не читает.
Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым
проходом (`make reconcile` или команда сверки в контейнере уборщика) и
@@ -32,7 +35,9 @@ SHALL ничего не менять (dry-run). С `--apply` он SHALL испр
- зависшую загрузку — убрать тем же порядком, что уборщик;
- вернувшийся оригинал — снять пометку.
Чужой объект сверка MUST NOT удалять: он попадает только в отчёт.
Чужой объект сверка MUST NOT удалять, а вложение, метаданные которого
ведут к нему, — помечать или убирать: чужой объект попадает только в
отчёт.
Отчёт SHALL называть по каждому расхождению класс, ключ объекта, `id`
вложения, если он известен, и возраст. Итог прохода SHALL называть:
@@ -124,7 +129,9 @@ Grace — тот же, что у уборщика (capability `service-configura
блокировкой, что уборщик.
Объекты других баз и ключи вне префикса вложений своей базы сверка MUST
NOT читать и менять.
NOT читать и менять. Вложение, в метаданных которого такой ключ, —
готовое или зависшую загрузку — она называет в отчёте чужим объектом, не
проверяет его объект, не помечает и не убирает.
#### Scenario: Свежие не тронуты
@@ -158,6 +165,35 @@ NOT читать и менять.
ошибка называет число изменений и предел, код выхода 3
- **AND** с пределом не меньше их числа повтор исправляет все
#### Scenario: Предел не останавливает уборку зависших
- **WHEN** загрузка оборвалась между записью объекта и фиксацией `ready`
больше grace назад, расхождений, которые сверка исправила бы, больше
предела, и выполняется сверка с `--apply`
- **THEN** код выхода 3, ни одно вложение не помечено, а зависшей
загрузки нет — ни метаданных, ни объекта
#### Scenario: Объект, на который ссылается строка, не удаляется
- **WHEN** всё это старше grace, и выполняется сверка с `--apply`:
- у готового вложения X в метаданных другой ключ под префиксом
вложений, объекта по нему нет, а объект `<X>/original` на месте;
- готовое вложение Y ссылается на ключ `<Z>/original`, строки Z нет, и
объекты `<Y>/original` и `<Z>/original` на месте
- **THEN** результат такой:
- все три объекта на месте, отчёт называет их чужими, код выхода 3;
- X помечено потерянным: объекта по его ключу нет;
- Y не помечено: объект по его ключу есть
#### Scenario: Ключ вне префикса вложений не трогается
- **WHEN** у готового вложения и у зависшей загрузки старше grace в
метаданных ключ вне префикса вложений своей базы, и выполняется сверка
с `--apply`
- **THEN** отчёт называет оба чужими, код выхода 3, вложение не помечено,
а метаданные зависшей загрузки и объекты обоих под префиксом вложений
на месте
#### Scenario: Сверка под нагрузкой
- **WHEN** выполняются все условия:
@@ -495,3 +495,82 @@ Commit делает основная сессия после подтвержд
- дополнение ответа на вопрос защиты «PUT прошёл, COMMIT нет».
`PLAN.md` — строка этапа 5 и решения apply в `### track2-reconciler`.
## 13. Замечания проверки
Находки `/opsx:verify` (2026-10-22, CRITICAL нет). Цикл проекта: тест до
кода, его падение на текущем коде с названной причиной, затем код. Пробы
verify — вне репозитория (scratchpad сессии). Evidence с незакоммиченного
дерева не снимается: пересъёмка — после commit основной сессии (13.7).
- [x] 13.1 W1. Опасные ветки «не удалять» без теста и сценария:
- hook `set-key <id> <ключ>` (psql, ключ только под `<FAULT_DATABASE>/`,
символы и `..` — как у `put-object`);
- сценарии «Безопасность сверки»: «Объект, на который ссылается строка,
не удаляется», «Предел не останавливает уборку зависших» — в дельте и
основном спеке одинаково;
- тесты `test_reconcile_keeps_referenced_objects` (проба 1 verify) и
`test_reconcile_limit_keeps_cleanup` (проба 2).
Ветки кода верны (пробы verify зелёные), поэтому красный прогон — на
временных регрессиях `attachment_reconcile.py` (без перепроверки ссылок
у объекта без строки, уборка зависших под пределом), затем регрессии
убираются.
Прогоны 2026-10-22 (`make failure_checks FAULT_ARGS='-k …'`): на коде
`a6071da` оба теста W1 — passed (ветки верны); на временных регрессиях —
2 failed за 39 с: `<Z>/original` — `orphan_object` вместо
`unknown_object`, зависшая загрузка не убрана (`{}` вместо
`stale_pending`). Регрессии убраны, `git diff src/` — пусто.
- [x] 13.2 W2. Строка с ключом вне `<база>/attachments/`: сверка делает
HEAD чужого префикса и помечает строку. Тест
`test_reconcile_foreign_key_untouched` (красный на текущем коде:
`missing_object` и пометка), затем код: такая строка `ready` или
зависшая загрузка — «чужой объект» (`unknown_object`) без HEAD, без
пометки и без уборки; HEAD, пометка и снятие пометки ещё раз проверяют
префикс. Сценарий «Ключ вне префикса вложений не трогается», класс
«чужой объект» и абзац о префиксах — в дельте и основном спеке.
Красный прогон на `a6071da` (вместе с W1, 60 с): 1 failed —
dry-run назвал готовую строку `missing_object`, зависшую —
`stale_pending`, а не `unknown_object`. Сервис уборки такую зависшую
загрузку убирает и после правки — `KNOWN_ISSUES.md` (design, п. 19).
- [x] 13.3 S1. `stop_requested()` между двумя вызовами подряд: страница
списка → БД, БД → HEAD в перепроверке, HEAD → `mark_lost` / `clear_lost`,
ссылки → DELETE, перед проверкой bucket. Остановка ждёт не больше одного
вызова: S3 ≤ 5 с, шаг с БД ≤ 6 с. `REPORT.md` — та же граница. Теста нет:
два деградировавших хранилища в окне одного вызова по HTTP не
воспроизвести детерминированно (design, «Уточнения apply», п. 20).
- [x] 13.4 S2. Точность `REPORT.md`: 2 086 — только у плановой сверки при
старте, длительность прохода 0,49–0,82 с, синтетика стресса — ещё две
пометки за прогон. Заголовок в `evidence/reconcile/service.md` — при
пересъёмке после commit (13.7).
- [x] 13.5 S3. AGENTS.md, карта evidence: `evidence/reconcile/`,
`evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md`.
- [x] 13.6 S4. Перепроверка в `--apply` при N ≫ предела — решение не
делать в этом change (design, «Уточнения apply», п. 21), передано в
`PLAN.md`, `track2-reconcile-cost`.
- [ ] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по
SIGTERM, пока вызов S3 ждёт замороженный S3 (только не рабочий проект
compose). После commit основной сессии — снимок на временном стенде в
`evidence/reconcile/service.md`, заголовок S2 там же, `make
failure_checks` → `evidence/tests/failure-checks.md`, строки `REPORT.md`
с числом проверок.
Сделано на дереве: команда, `SKILL.md`, AGENTS.md; на рабочем проекте —
отказ, код 2; функциональная проверка на временном проекте `rcsig`
(`docker-compose.yml` + override хранилищ на tmpfs, синтетические
секреты, образ из `make failure_checks`): код 1, `interrupted_by: stop`,
«Stopped cleaner» `exit_code` 1, `docker stop` 4,9 с, PASS; проект
удалён, volumes — 155. Снимок evidence — после commit (открыто).
- [x] 13.8 Проверки на дереве: `make lint`, `make check`, `make validate
PYTHON=.venv/bin/python`, `openspec validate track2-reconciler
--strict` и `--specs`, `make failure_checks`, `make student_test
BASE_URL=http://localhost:8090`.
2026-10-22: lint, check, validate — PASS; `openspec validate` — valid,
`--specs --strict` — 24 passed; `make failure_checks` — **48 passed** за
536 с, crash markers 0, `results: {'fault': 0, 'postgres': 0}`,
контейнеров проекта отказов 0, volumes 155; `make student_test
BASE_URL=http://localhost:8090` — 198 passed, «coverage: 243 scenarios
in 13 specs, 226 tested (61 by make failure_checks), 17 excluded».
+41 -5
View File
@@ -182,9 +182,12 @@ PostgreSQL и находить расхождения шести классов:
- **оригинал вернулся** — оригинал вложения помечен потерянным
(требование «Потерянный оригинал»), а объект снова есть с тем же
размером;
- **чужой объект** — объект под префиксом вложений, ключа такого вида
API не пишет, либо ключ вида `<id>/original`, у строки которого
другой ключ.
- **чужой объект** — то, что сверка не меняет и оставляет оператору:
- объект под префиксом вложений, ключа такого вида API не пишет;
- объект с ключом вида `<id>/original`, у строки которого другой ключ
или на который ссылается строка другого `id`;
- ключ вне префикса вложений своей базы в метаданных вложения: объект
по такому ключу сверка не читает.
Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым
проходом (`make reconcile` или команда сверки в контейнере уборщика) и
@@ -196,7 +199,9 @@ SHALL ничего не менять (dry-run). С `--apply` он SHALL испр
- зависшую загрузку — убрать тем же порядком, что уборщик;
- вернувшийся оригинал — снять пометку.
Чужой объект сверка MUST NOT удалять: он попадает только в отчёт.
Чужой объект сверка MUST NOT удалять, а вложение, метаданные которого
ведут к нему, — помечать или убирать: чужой объект попадает только в
отчёт.
Отчёт SHALL называть по каждому расхождению класс, ключ объекта, `id`
вложения, если он известен, и возраст. Итог прохода SHALL называть:
@@ -288,7 +293,9 @@ Grace — тот же, что у уборщика (capability `service-configura
блокировкой, что уборщик.
Объекты других баз и ключи вне префикса вложений своей базы сверка MUST
NOT читать и менять.
NOT читать и менять. Вложение, в метаданных которого такой ключ, —
готовое или зависшую загрузку — она называет в отчёте чужим объектом, не
проверяет его объект, не помечает и не убирает.
#### Scenario: Свежие не тронуты
@@ -322,6 +329,35 @@ NOT читать и менять.
ошибка называет число изменений и предел, код выхода 3
- **AND** с пределом не меньше их числа повтор исправляет все
#### Scenario: Предел не останавливает уборку зависших
- **WHEN** загрузка оборвалась между записью объекта и фиксацией `ready`
больше grace назад, расхождений, которые сверка исправила бы, больше
предела, и выполняется сверка с `--apply`
- **THEN** код выхода 3, ни одно вложение не помечено, а зависшей
загрузки нет — ни метаданных, ни объекта
#### Scenario: Объект, на который ссылается строка, не удаляется
- **WHEN** всё это старше grace, и выполняется сверка с `--apply`:
- у готового вложения X в метаданных другой ключ под префиксом
вложений, объекта по нему нет, а объект `<X>/original` на месте;
- готовое вложение Y ссылается на ключ `<Z>/original`, строки Z нет, и
объекты `<Y>/original` и `<Z>/original` на месте
- **THEN** результат такой:
- все три объекта на месте, отчёт называет их чужими, код выхода 3;
- X помечено потерянным: объекта по его ключу нет;
- Y не помечено: объект по его ключу есть
#### Scenario: Ключ вне префикса вложений не трогается
- **WHEN** у готового вложения и у зависшей загрузки старше grace в
метаданных ключ вне префикса вложений своей базы, и выполняется сверка
с `--apply`
- **THEN** отчёт называет оба чужими, код выхода 3, вложение не помечено,
а метаданные зависшей загрузки и объекты обоих под префиксом вложений
на месте
#### Scenario: Сверка под нагрузкой
- **WHEN** выполняются все условия:
+8
View File
@@ -46,6 +46,14 @@ def originals_prefix(storage: ObjectStorage) -> str:
)
def is_own_key(storage: ObjectStorage, *, key: str) -> bool:
"""Ключ под префиксом вложений своей базы. Ключ строки вне его сверка
не читает и не меняет (design change `track2-reconciler`, «Уточнения
apply», п. 19)."""
prefix = originals_prefix(storage)
return key.startswith(prefix) and len(key) > len(prefix)
def parse_original_key(storage: ObjectStorage, *, key: str) -> UUID | None:
"""`id` вложения из ключа `<namespace>/attachments/<id>/original`, где
`id` — UUID в записи сервера (нижний регистр, с дефисами); ключ другого
+63 -21
View File
@@ -17,9 +17,12 @@
перепроверяет своё условие.
Удаляется только объект без строки и зависшая загрузка; строки `ready`,
объекты, на которые ссылается строка, и чужие ключи — никогда. Отказ
хранилища на шагах 1–4 прерывает проход без единого изменения, на шаге 5 —
после текущего действия; каждое действие безопасно повторять.
объекты, на которые ссылается строка, и чужие ключи — никогда. Строка с
ключом вне префикса вложений своей базы — чужой объект: её объект сверка
не читает, строку не помечает и не убирает. Отказ хранилища на шагах 1–4
прерывает проход без единого изменения, на шаге 5 — после текущего
действия; каждое действие безопасно повторять. Сигнал проверяется перед
каждым вызовом хранилища: остановка ждёт не больше одного вызова.
"""
import time
@@ -145,9 +148,11 @@ class AttachmentReconcileService:
"""Один проход сверки; `older_than` — порог grace прохода.
Без `apply` ничего не меняет. Отказ S3 или PostgreSQL прерывает
проход (`interrupted_by`); сигнал (`stop_requested()`) — между
страницами и действиями, текущий вызов доводится до конца. Отказ,
пришедший уже после сигнала, считается остановкой.
проход (`interrupted_by`); сигнал (`stop_requested()`)
проверяется перед каждым вызовом S3 и шагом с БД, текущий вызов
доводится до конца: остановка ждёт не больше одного вызова (S3 —
`[s3] timeout_seconds`, шаг с БД — его срок). Отказ, пришедший уже
после сигнала, считается остановкой.
"""
started = time.monotonic()
log = logger.bind(method="reconcile", apply=apply)
@@ -222,8 +227,7 @@ class AttachmentReconcileService:
выражением; классификация без новых вызовов S3."""
token: str | None = None
while True:
if stop_requested():
raise _Stopped
_check_stop(stop_requested)
page = await attachment_object_repo.list_originals(
self.storage,
token=token,
@@ -241,6 +245,8 @@ class AttachmentReconcileService:
keys = {key for key, value in parsed.items() if value is None}
rows: list[dataclasses.AttachmentFullDTO] = []
if parsed:
# страница списка уже могла ждать S3 до срока
_check_stop(stop_requested)
async with self.db_scope() as db_session:
rows = await attachment_repo.get_attachments_for_objects(
db_session=db_session,
@@ -334,11 +340,12 @@ class AttachmentReconcileService:
page_size: int,
stop_requested: Callable[[], bool],
) -> None:
"""Шаг 2, БД → S3: строки `ready`, ключей которых нет в списке."""
"""Шаг 2, БД → S3: строки `ready`, ключей которых нет в списке.
Ключ строки вне префикса вложений своей базы список не видит и
сверка не читает: чужой объект, а не метаданные без объекта."""
after: UUID | None = None
while True:
if stop_requested():
raise _Stopped
_check_stop(stop_requested)
async with self.db_scope() as db_session:
rows = await attachment_repo.get_ready_page(
db_session=db_session,
@@ -354,9 +361,12 @@ class AttachmentReconcileService:
elif row.updated_at >= older_than:
state.fresh_rows += 1
else:
state.candidates.append(
_finding(ReconcileFinding.MISSING_OBJECT, row, state),
kind = (
ReconcileFinding.MISSING_OBJECT
if self._own_key(row.object_key)
else ReconcileFinding.UNKNOWN_OBJECT
)
state.candidates.append(_finding(kind, row, state))
if len(rows) < page_size:
return
after = rows[-1].id
@@ -369,11 +379,13 @@ class AttachmentReconcileService:
batch_size: int,
stop_requested: Callable[[], bool],
) -> None:
"""Шаг 3: зависшие загрузки — те же кандидаты, что у уборщика."""
"""Шаг 3: зависшие загрузки — те же кандидаты, что у уборщика.
Зависшая загрузка с ключом вне префикса вложений своей базы —
чужой объект: сверка её не убирает (уборка удалила бы объект по
этому ключу)."""
after: tuple[datetime, UUID] | None = None
while True:
if stop_requested():
raise _Stopped
_check_stop(stop_requested)
async with self.db_scope() as db_session:
rows = await attachment_repo.get_stale_pending(
db_session=db_session,
@@ -383,7 +395,11 @@ class AttachmentReconcileService:
)
state.candidates.extend(
dataclasses.ReconcileFindingDTO(
kind=ReconcileFinding.STALE_PENDING,
kind=(
ReconcileFinding.STALE_PENDING
if self._own_key(row.object_key)
else ReconcileFinding.UNKNOWN_OBJECT
),
object_key=row.object_key,
attachment_id=row.id,
age_seconds=state.age(row.created_at),
@@ -406,14 +422,15 @@ class AttachmentReconcileService:
"""Шаг 4: каждый кандидат подтверждается в БД и S3 до решения;
не подтвердился — выбывает без записи."""
if any(item.kind in NEEDS_BUCKET for item in state.candidates):
_check_stop(stop_requested)
await attachment_object_repo.probe_originals(self.storage)
for candidate in state.candidates:
if stop_requested():
raise _Stopped
_check_stop(stop_requested)
confirmed = await self._recheck(
candidate,
older_than=older_than,
state=state,
stop_requested=stop_requested,
)
if confirmed is not None:
state.confirmed.append(confirmed)
@@ -424,6 +441,7 @@ class AttachmentReconcileService:
*,
older_than: datetime,
state: _Pass,
stop_requested: Callable[[], bool],
) -> dataclasses.ReconcileFindingDTO | None:
kind = candidate.kind
if kind in (
@@ -433,15 +451,20 @@ class AttachmentReconcileService:
# зависшую загрузку уборщик перепроверяет под блокировкой сам,
# чужой объект сверка не трогает
return candidate
if not self._own_key(candidate.object_key):
# объект вне префикса вложений своей базы не читается
return None
if kind == ReconcileFinding.ORPHAN_OBJECT:
return await self._recheck_orphan(
candidate,
older_than=older_than,
state=state,
stop_requested=stop_requested,
)
row = await self._get_row(candidate)
if row is None or row.status != AttachmentStatus.READY:
return None
_check_stop(stop_requested)
stored = await attachment_object_repo.head_original(
self.storage,
key=candidate.object_key,
@@ -469,6 +492,7 @@ class AttachmentReconcileService:
*,
older_than: datetime,
state: _Pass,
stop_requested: Callable[[], bool],
) -> dataclasses.ReconcileFindingDTO | None:
"""Строки с этим `id` или ключом нет, объект на месте и старше
порога. Строка другого `id` ссылается на ключ — чужой объект."""
@@ -481,6 +505,7 @@ class AttachmentReconcileService:
return replace(candidate, kind=ReconcileFinding.UNKNOWN_OBJECT)
if references:
return None
_check_stop(stop_requested)
stored = await attachment_object_repo.head_original(
self.storage,
key=candidate.object_key,
@@ -504,6 +529,9 @@ class AttachmentReconcileService:
return None
return row
def _own_key(self, key: str) -> bool:
return attachment_object_repo.is_own_key(self.storage, key=key)
async def _references(
self,
candidate: dataclasses.ReconcileFindingDTO,
@@ -544,12 +572,12 @@ class AttachmentReconcileService:
for index, finding in enumerate(state.confirmed):
if finding.kind != kind:
continue
if stop_requested():
raise _Stopped
_check_stop(stop_requested)
if kind in NEEDS_BUCKET and not bucket_probed:
# отсутствие объекта — снова только при живом bucket
await attachment_object_repo.probe_originals(self.storage)
bucket_probed = True
_check_stop(stop_requested)
action = await self._fix(
finding,
older_than=older_than,
@@ -579,9 +607,14 @@ class AttachmentReconcileService:
log=logger.bind(method="reconcile"),
)
return ReconcileAction.REMOVED_PENDING if removed else None
if not self._own_key(finding.object_key):
# объект вне префикса вложений своей базы не читается и не
# меняется; классификация такого не подтверждает
return None
if kind == ReconcileFinding.ORPHAN_OBJECT:
if await self._references(finding):
return None
_check_stop(stop_requested)
await attachment_object_repo.delete_original(
self.storage,
key=finding.object_key,
@@ -591,6 +624,8 @@ class AttachmentReconcileService:
self.storage,
key=finding.object_key,
)
# HEAD мог ждать S3 до срока: шаг с БД — только без сигнала
_check_stop(stop_requested)
if kind == ReconcileFinding.RESTORED_OBJECT:
if stored is None or stored.size != finding.size_bytes:
return None
@@ -711,6 +746,13 @@ class AttachmentReconcileService:
return result
def _check_stop(stop_requested: Callable[[], bool]) -> None:
"""Перед вызовом хранилища: сигнал пришёл — проход останавливается, и
остановка ждёт не больше одного вызова."""
if stop_requested():
raise _Stopped
def _is_fresh(stored: StoredObjectInfo, *, older_than: datetime) -> bool:
"""Объект записан или изменён не раньше порога; без времени — свежий:
удалять без доказанного возраста нельзя."""
+26
View File
@@ -76,6 +76,10 @@
age-row <id> <секунд> сдвинуть created_at и updated_at строки
назад на одно и то же время: CHECK и
непомеченность pending сохраняются
set-key <id> <ключ> изменить object_key строки (только БД,
bucket не трогается): ключ — под
`<FAULT_DATABASE>/`, в том числе вне
`attachments/`, символы [A-Za-z0-9._/-]
lost-ids `id` вложений с потерянным оригиналом
(lost_at задан)
reconcile dry-run|apply [<предел>]
@@ -386,6 +390,10 @@ SET created_at = created_at - make_interval(secs => :'mode'::float8),
updated_at = updated_at - make_interval(secs => :'mode'::float8)
WHERE id = :'title'::uuid RETURNING id;
"""
SET_KEY_SQL = """\
UPDATE attachments SET object_key = :'mode'
WHERE id = :'title'::uuid RETURNING id;
"""
LOST_IDS_SQL = """\
SELECT id FROM attachments WHERE lost_at IS NOT NULL ORDER BY id;
"""
@@ -733,6 +741,22 @@ def object_key(key: str) -> str:
return key
def row_key(key: str) -> str:
"""Ключ для `set-key`: под `<FAULT_DATABASE>/` (в том числе вне
`attachments/` — ключ «вне префикса вложений»), иначе — отказ (код 2).
Меняется только строка БД стенда, bucket hook не трогает."""
_, database = storage_names()
prefix = f"{database}/"
if (
not key.startswith(prefix)
or len(key) == len(prefix)
or not OBJECT_KEY_RE.fullmatch(key)
or ".." in key.split("/")
):
raise HookError(f"row key must be under {prefix}: {key!r}")
return key
def put_object(project: str, key: str) -> str:
"""Объект с телом из stdin мимо API — процессом в контейнере API."""
result = subprocess.run(
@@ -964,6 +988,8 @@ def run(project: str, action: str, args: list[str]) -> str:
args[0],
str(float(args[1])),
)
if action == "set-key" and len(args) == 2:
return row_change(project, SET_KEY_SQL, args[0], row_key(args[1]))
if action == "lost-ids" and not args:
return psql(project, LOST_IDS_SQL)
if action == "reconcile" and args:
+172
View File
@@ -1848,6 +1848,178 @@ def test_reconcile_change_limit(
assert ids <= lost_ids(stand)
@pytest.mark.spec(
"storage-consistency",
"Объект, на который ссылается строка, не удаляется",
)
def test_reconcile_keeps_referenced_objects(
api: Api,
stand: Stand,
alice: Actor,
chat: dict[str, Any],
) -> None:
"""Замечание W1 verify: объект `<X>/original`, у строки которого другой
ключ, и объект `<Z>/original`, на который ссылается строка Y другого
`id`, — чужие, а не объекты без метаданных."""
data = images.sample_png()
x, y = (api.upload(alice, chat["id"], data) for _ in range(2))
z = str(uuid.uuid4())
keys = {
"x": object_key(x["id"]),
"y": object_key(y["id"]),
"z": object_key(z),
# ключ X: под префиксом вложений, объекта по нему нет
"other": f"{FAULT_DATABASE}/attachments/x-other-{uuid.uuid4()}",
}
put_object(stand, keys["z"], data)
try:
stand("set-key", x["id"], keys["other"])
stand("set-key", y["id"], keys["z"])
for item in (x, y):
stand("age-row", item["id"], str(AGED_S))
# объект Z записан только что: после G + 1 все объекты старше grace
time.sleep(OBJECT_AGE_WAIT_S)
unknown = {keys[name]: "unknown_object" for name in ("x", "y", "z")}
dry = run_reconcile(stand, "dry-run")
assert dry.kinds(FOUND, keys=keys.values()) == unknown | {
keys["other"]: "missing_object",
}
assert dry.exit_code == 3
applied = run_reconcile(stand, "apply")
assert applied.kinds(FIXED, keys=keys.values()) == {
keys["other"]: "missing_object",
}
assert applied.kinds(FOUND, keys=keys.values()) == unknown
assert applied.exit_code == 3
# ни один из трёх объектов не удалён, строки на месте
assert {x["id"], y["id"], z} <= stored_ids(stand)
rows = attachment_rows(stand)
assert rows[x["id"]] == rows[y["id"]] == "ready"
# X без объекта по своему ключу помечено, у Y объект по ключу есть
lost = lost_ids(stand)
assert x["id"] in lost
assert y["id"] not in lost
finally:
# прежние ключи; объект Z, на который больше никто не ссылается, —
# прочь, чтобы следующие проходы не удаляли его как свой
stand("set-key", x["id"], keys["x"])
stand("set-key", y["id"], keys["y"])
stand("delete-object", keys["z"])
@pytest.mark.spec(
"storage-consistency",
"Предел не останавливает уборку зависших",
)
def test_reconcile_limit_keeps_cleanup(
api: Api,
stand: Stand,
alice: Actor,
chat: dict[str, Any],
) -> None:
"""Замечание W1 verify: отказ по пределу не мешает уборке зависшей
загрузки — её уборщик делает и без сверки."""
data = images.sample_png()
limit = 2
# уборщик стенда стоит: зависшую загрузку P должна убрать сверка
with outage(stand, "stop", "cleaner"):
filename = fault_filename()
before = attachment_rows(stand)
stand("fail-attachments", "commit", filename)
try:
assert_error(
upload_raw(api, alice, chat, data, filename=filename),
503,
)
finally:
stand("clear-fail-attachments")
(pending,) = new_ids(before, attachment_rows(stand))
assert pending in stored_ids(stand)
stand("age-row", pending, str(AGED_S))
batch = [api.upload(alice, chat["id"], data) for _ in range(3)]
ids = {item["id"] for item in batch}
for item in batch:
lose_original(stand, item)
refused = run_reconcile(stand, "apply", limit)
assert refused.exit_code == 3
(error,) = refused.events(LIMIT_EXCEEDED)
assert error["changes"] >= len(batch), error
assert refused.finished["refused"] is True
assert refused.kinds(FIXED, ids={pending}) == {
pending: "stale_pending",
}
(record,) = refused.about(FIXED, ids={pending})
assert record["action"] == "removed_pending"
assert pending not in attachment_rows(stand)
assert pending not in stored_ids(stand)
# изменений под пределом нет: ни одной пометки
assert not refused.about(FIXED, ids=ids)
assert not ids & lost_ids(stand)
# стенд — без внесённых потерь для следующих тестов
applied = run_reconcile(stand, "apply", 100)
assert set(applied.kinds(FIXED, ids=ids)) == ids
@pytest.mark.spec(
"storage-consistency",
"Ключ вне префикса вложений не трогается",
)
def test_reconcile_foreign_key_untouched(
api: Api,
stand: Stand,
alice: Actor,
chat: dict[str, Any],
) -> None:
"""Замечание W2 verify: строка с ключом вне `<база>/attachments/` —
готовая и зависшая загрузка — только в отчёте как чужой объект: сверка
не делает HEAD чужого префикса, не помечает и не убирает строку."""
data = images.sample_png()
# уборщик стенда стоит: иначе зависшую загрузку убрал бы он
with outage(stand, "stop", "cleaner"):
ready = api.upload(alice, chat["id"], data)
filename = fault_filename()
before = attachment_rows(stand)
stand("fail-attachments", "commit", filename)
try:
assert_error(
upload_raw(api, alice, chat, data, filename=filename),
503,
)
finally:
stand("clear-fail-attachments")
(pending,) = new_ids(before, attachment_rows(stand))
ids = {ready["id"], pending}
try:
for item in ids:
# префикс своей базы, но не вложений: список его не видит
stand("set-key", item, f"{FAULT_DATABASE}/elsewhere/{item}")
stand("age-row", item, str(AGED_S))
unknown = dict.fromkeys(ids, "unknown_object")
dry = run_reconcile(stand, "dry-run")
assert dry.kinds(FOUND, ids=ids) == unknown
assert dry.exit_code == 3
applied = run_reconcile(stand, "apply")
assert applied.kinds(FOUND, ids=ids) == unknown
assert not applied.about(FIXED, ids=ids)
assert applied.exit_code == 3
# ни пометки, ни уборки: строки и объекты под префиксом на месте
rows = attachment_rows(stand)
assert (rows.get(ready["id"]), rows.get(pending)) == (
"ready",
"pending",
)
assert ready["id"] not in lost_ids(stand)
assert ids <= stored_ids(stand)
finally:
# прежние ключи у тех строк, что остались: зависшую загрузку
# после теста уберёт уборщик стенда вместе с её объектом
rows = attachment_rows(stand)
for item in ids & set(rows):
stand("set-key", item, object_key(item))
@pytest.mark.spec("storage-consistency", "S3 недоступен во время сверки")
def test_reconcile_object_storage_stopped(
api: Api,