fix: address track2-reconciler verify findings
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -91,7 +91,8 @@ paths:
|
||||
`delete_original` (отсутствие объекта — не ошибка; компенсация
|
||||
загрузки и уборщик). Ключ хранится в
|
||||
строке и при чтении берётся из неё, не вычисляется заново. Для сверки:
|
||||
`originals_prefix` (`<namespace>/attachments/`), `parse_original_key`
|
||||
`originals_prefix` (`<namespace>/attachments/`), `is_own_key` (ключ
|
||||
под этим префиксом, без вызова S3), `parse_original_key`
|
||||
(`UUID` ключа `<id>/original` в записи сервера, иначе `None`),
|
||||
`list_originals` (страница списка), `probe_originals` (список с
|
||||
`MaxKeys=1`: bucket на месте и список разрешён), `head_original`;
|
||||
|
||||
@@ -175,8 +175,14 @@ paths:
|
||||
Удаляется только объект без строки и зависшая загрузка; `ready`,
|
||||
объект строки любого статуса и чужой ключ — никогда. Действия
|
||||
начинаются после классификации: отказ на шагах 1–4 — ни одного
|
||||
изменения. Отказ S3 или БД — `interrupted_by`, после сигнала —
|
||||
`stop`; `stop_requested()` — между страницами и действиями;
|
||||
изменения. Строка `ready` или зависшая загрузка с ключом вне
|
||||
`<база>/attachments/` (`attachment_object_repo.is_own_key`) — «чужой
|
||||
объект»: без HEAD, без пометки и без уборки; HEAD, пометка, снятие и
|
||||
DELETE ещё раз проверяют префикс (design change `track2-reconciler`,
|
||||
«Уточнения apply», п. 19). Отказ S3 или БД — `interrupted_by`, после
|
||||
сигнала — `stop`; `stop_requested()` (`_check_stop`) — перед каждым
|
||||
вызовом S3 и шагом с БД: остановка ждёт не больше одного вызова (п.
|
||||
20);
|
||||
- `MessageService.send_message(..., attachment_ids)`: членство →
|
||||
`get_attachments` (все найдены, чат этого сообщения, `ready`; иначе
|
||||
`AttachmentNotFound` до захвата ключа) → хэш → ключ → сообщение →
|
||||
|
||||
@@ -218,7 +218,9 @@ paths:
|
||||
выводу), оба — только под `<FAULT_DATABASE>/attachments/` и символы
|
||||
`[A-Za-z0-9._/-]`; `delete-row`, `set-size`, `age-row` (сдвиг
|
||||
`created_at` и `updated_at` вместе — CHECK и непомеченность `pending`
|
||||
сохраняются), `lost-ids`; `fail-attachments mark <filename>` — свой
|
||||
сохраняются), `set-key <id> <ключ>` (только `object_key` строки,
|
||||
ключ под `<FAULT_DATABASE>/`, в том числе вне `attachments/`; bucket
|
||||
не трогается), `lost-ids`; `fail-attachments mark <filename>` — свой
|
||||
триггер `BEFORE UPDATE OF lost_at` (08006), `clear-fail-attachments`
|
||||
снимает и его; `reconcile dry-run|apply [<предел>]` — `docker compose
|
||||
run --rm --no-deps -T cleaner reconcile …`, записи процесса и строка
|
||||
@@ -241,7 +243,14 @@ paths:
|
||||
`…_object_storage_stopped`, `…_interrupted_by_database`,
|
||||
`…_under_load` (4 потока ~G + 15 с загрузок PNG ~100 KiB и отправок,
|
||||
apply раз в 3 с; все 201 скачиваются с тем же SHA-256, новые пометки
|
||||
— только внесённые), `test_scheduled_reconcile`. Записи
|
||||
— только внесённые), `test_scheduled_reconcile`; по замечаниям
|
||||
verify — `test_reconcile_keeps_referenced_objects` (X с другим ключом,
|
||||
Y ссылается на `<Z>/original` без строки Z: три объекта — чужие и на
|
||||
месте, X помечено), `test_reconcile_limit_keeps_cleanup` (отказ по
|
||||
пределу, зависшая загрузка всё равно убрана) и
|
||||
`test_reconcile_foreign_key_untouched` (`set-key` на
|
||||
`<база>/elsewhere/<id>` у готовой строки и зависшей загрузки: чужие, ни
|
||||
пометки, ни уборки). Записи
|
||||
фильтруются по своим `id` и ключам, код выхода сверяется с записями
|
||||
того же прохода (`Reconcile.assert_code_matches`). Объекты без строки
|
||||
ждут G + 1 с (`LastModified` ставит S3), строки состаривает
|
||||
@@ -250,7 +259,12 @@ paths:
|
||||
- красный прогон на `c13df14` (код до change): упали все восемь —
|
||||
команды `reconcile` нет (argparse, код 2), колонки `lost_at` нет
|
||||
(`lost-ids` — ошибка psql), плановой сверки нет
|
||||
(`evidence/tests/failure-checks.md`);
|
||||
(`evidence/tests/failure-checks.md`). Тесты по замечаниям verify: на
|
||||
`a6071da` `…_foreign_key_untouched` красный (готовая строка —
|
||||
`missing_object` после HEAD чужого префикса, зависшая — `stale_pending`),
|
||||
два теста W1 зелёные (ветки были верны) и красные на временных
|
||||
регрессиях — `_recheck_orphan` без проверки ссылок и уборка зависших
|
||||
под пределом (design, «Уточнения apply», п. 22);
|
||||
- исключения сверки: «Принявшая реплика остановлена» — `driver.py
|
||||
attachment-failover` → `evidence/attachments/failover.md`; «Байты не в
|
||||
БД и не на диске API» — `driver.py attachment-storage` →
|
||||
@@ -339,7 +353,8 @@ paths:
|
||||
С change `track2-reconciler` — без плановой сверки
|
||||
(`RECONCILER__INTERVAL_SECONDS: "0"`, строка `start cleaner` называет
|
||||
и её интервал), а `<проект>-cleaner-scheduled` hook `run-cleaner`
|
||||
убирается вместе с API. Прогон — ~8 мин (45 проверок, pytest ~460 с;
|
||||
убирается вместе с API. Прогон — ~9,5 мин (48 проверок, pytest ~535 с;
|
||||
до правок по verify `track2-reconciler` — 45 и ~460 с;
|
||||
до `track2-reconciler` — 37 и ~255 с, до `upload-memory` — 32 и
|
||||
~220 с, до `upload-consistency` ~70 с);
|
||||
- `pytest -m fault`, затем журнал PostgreSQL стенда: сводка `postgres
|
||||
|
||||
@@ -126,6 +126,7 @@ python3 $D stop
|
||||
| `upload-consistency` | только стенд с LB: спеки `attachments` «Порядок записи» и `storage-consistency` (design change `upload-consistency`, решение 11). Синтетические Алиса, Боб и чат; готовое вложение R. Шаги: (1) `docker compose pause s3` → загрузка через LB — 503 за ~5 с → `unpause` в `finally`; новая строка `pending` по psql (`id`, статус, возраст, ключ); (2) триггер «фиксация `ready` падает» (SQLSTATE 08006) на рабочей базе только для уникального `filename` прогона → загрузка 503 → строка `pending`, объекта уже нет (компенсация), триггер снят (`finally`, и остаток прошлого прогона — в начале); (3) метаданные, байты и сообщение со ссылкой на обе строки — 404; (4) после grace прогона 30 с — `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once`, его JSON-вывод; (5) psql и `weed shell fs.tree` (файлы `original`, а не каталоги) — ни строк, ни объектов обеих загрузок, объектов без строки под префиксом рабочей базы нет; R скачивается с тем же SHA-256. Таблица «проверка → ожидаемо → получено» без токенов и секретов; код 1 при расхождении, без LB — код 2. ~45 с. Вывод — `evidence/attachments/consistency.md` |
|
||||
| `reconcile-cycle` | только стенд с LB: спеки `storage-consistency` (сверка bucket и БД) и `attachments` «Потерянный оригинал» (design change `track2-reconciler`, решение 12). (1) исходный dry-run с grace по умолчанию — расхождений нет, иначе код 2; (2) синтетические Алиса, Боб, чат, вложения A (в сообщении), B, C; (3) объект O без строки и чужой ключ X — `docker exec` реплики (botocore образа её ключами), объект A удалён (`weed shell fs.rm`), строка B удалена и размер C изменён (psql), P — триггер COMMIT на уникальный `filename` (503, строка `pending` и объект); (4) после grace 30 с dry-run: таблица «класс → действие → ключ → `id` → возраст», снимки строк, объектов и пометок до и после совпали; (5) байты A — 500; (6) свежий F, `--apply`: O, B удалены, A, C помечены, P убрана, F не тронут, байты A — 404, метаданные A — 200 и равны ответу загрузки, история отдаёт A; (7) повтор — только чужой X, код 3; оператор удаляет X — код 0; после grace F удалён; (8) A возвращён теми же байтами — «оригинал вернулся», байты 200 с тем же SHA-256, итоговый dry-run — код 0. Таблица «проверка → ожидаемо → получено» без токенов; код 1 при расхождении, без LB — код 2. ~2 мин. Вывод — `evidence/reconcile/cycle.md` |
|
||||
| `reconcile-stress [--seconds S] [--clients N]` | только стенд с LB: «Сверка под нагрузкой». Предусловие — dry-run с grace 20 с без расхождений (иначе код 2); два объекта без строки и два вложения без объекта; N клиентов (4) S секунд (40, больше grace) загружают PNG ~100 KiB из шума и отправляют сообщения, поток сверки — `--apply` с grace 20 с раз в ~3 с, затем ещё один проход. Итог: загрузки по кодам, сообщения, коды проходов, исправления по классам; проверки — внесённые исправлены (объекты удалены, новые пометки — ровно внесённые), каждое 201 скачивается с тем же SHA-256, каждое сообщение отдаёт своё вложение, ни одного прерванного прохода, повтор dry-run — код 0. Проверка корректности, не замер. Вывод — `evidence/reconcile/stress.md` |
|
||||
| `reconcile-signal` | только не рабочий проект compose (выбор — окружением `COMPOSE_PROJECT_NAME`, `COMPOSE_FILE`, `COMPOSE_ENV_FILES`; `mtusi-lab4` — отказ, код 2): спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом, — код 1 (design change `track2-reconciler`, «Уточнения apply», п. 23). Нужны запущенные `s3` и образ уборщика, LB и реплики не нужны. `docker compose pause s3` → `run -d --no-deps --name <проект>-reconcile-signal cleaner reconcile --apply` → через секунду после «Started cleaner» `docker stop` → код контейнера и журнал → `rm`, `unpause s3` в `finally`. Записи процесса (событие, уровень, операция, `interrupted_by`, `exit_code`) и таблица: код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, записей «Fixed» 0, остановка быстрее 10 с; код 1 при расхождении. ~10 с. Вывод — раздел `evidence/reconcile/service.md` |
|
||||
| `lb-upload-timeouts [--config F] [--image ТЕГ]` | без стенда (рабочий стенд и проекты compose не трогает): спек `load-balancing` «Загрузки через балансировщик» и «Ошибки балансировщика в формате контракта» (design change `upload-memory`, решение 7). `haproxy -c` конфигурации F (по умолчанию `infra/haproxy/haproxy.cfg`) в закреплённом образе LB из `docker-compose.yml`, затем временная сеть `mtusi-lbto-<метка>`: заглушка реплики на образе API (по умолчанию `mtusi-messenger:lab4`, asyncio stdlib) под сетевым именем `api` и HAProxy с F и `API_PORT=8080` на свободном `127.0.0.1`; ожидание `UP` заглушки по `/health/ready` через LB. Пять случаев параллельно, у каждого своё соединение и свой `case` в строке запроса: заглушка молчит 12 с до чтения тела загрузки 10 MiB и после него — 201 от заглушки; 12 с на `GET /api/v1/users/me` — 504 LB через ~10 с; 32 с на пути загрузки — 504 LB через ~30 с; клиент отправил половину тела и молчит — 400 LB через ~30 с (`timeout client`). Ошибки LB — `application/json`, ровно `{"error": {"code", "message", "request_id"}}`, `code` по статусу, `request_id` = `X-Request-Id`. Таблица «случай → ожидаемо → получено → время», код 1 при расхождении. Сеть и контейнеры (метка `mtusi.lb-upload-timeouts`) удаляются при любом исходе, в том числе по Ctrl+C, SIGTERM, SIGHUP. ~35 с. На `haproxy.cfg` до change (`git archive f894040 infra/haproxy/haproxy.cfg \| tar -x -C <каталог>`, `--config <каталог>/infra/haproxy/haproxy.cfg`) — код 1: 502 и 504 через 10 с на пути загрузки, 400 в HTML. Вывод — `evidence/uploads/lb-timeouts.md` |
|
||||
| `stop-at-start [--image ТЕГ] [--delays 0.2,0.3,0.4,1.5,5] [--server-start 3]` | спек `graceful-shutdown` «Остановка во время старта»: контейнеры образа (по умолчанию `mtusi-messenger:lab4`) с лимитами реплики (1 CPU / 512 МиБ без swap), без сети и `config.toml`; `docker stop --timeout 10` через паузу после `docker run` и сразу по строке «Started server process». По потоку `docker events` и журналу: «сигнал через», время `docker stop`, «выход после сигнала», код выхода, этап (`import` / `server-start` / `running`), кто остановил (`early` / `uvicorn`). Код 0 — каждая попытка с кодом 0 и `docker stop` ≤ 1 с, есть `import`, остановленный ранним обработчиком, и `running`. Проекты compose не трогает, свои контейнеры удаляет по метке `mtusi.stop-at-start`. Вывод — `evidence/failover/stop-at-start.md` |
|
||||
| `stop` | SIGTERM всей группе; ждёт, пока порт освободится. Чужой сервер и контейнер не трогает |
|
||||
@@ -181,6 +182,7 @@ make reconcile # разовая сверка bucket
|
||||
make reconcile APPLY=1 [MAX_CHANGES=N] # то же с исправлением (предел изменений прохода — 100 или N)
|
||||
python3 $D --port 8080 reconcile-cycle # расхождения с обеих сторон: dry-run, --apply, 404/200, повтор = 0, возврат оригинала; ~2 мин
|
||||
python3 $D --port 8080 reconcile-stress # --apply раз в 3 с под загрузками 4 клиентов 40 с: все 201 скачиваются с тем же SHA-256
|
||||
COMPOSE_PROJECT_NAME=<временный> python3 $D reconcile-signal # pause s3 + docker stop разового --apply: код 1, interrupted_by stop; не на mtusi-lab4
|
||||
python3 $D lb-upload-timeouts # сроки LB пути загрузки на заглушке: 201 после 12 с молчания, 504 через 10/30 с, 400 в формате контракта; ~35 с
|
||||
docker compose logs --no-log-prefix cleaner | tail -3 # уборщик: Started cleaner (60/900/100), проходы, отказы
|
||||
docker compose run --rm --no-deps cleaner --once # разовый проход уборщика (grace 900 с): код 0 — проход дошёл до конца
|
||||
|
||||
@@ -112,6 +112,14 @@
|
||||
сверки — --apply с grace 20 с раз в ~3 с; каждое 201
|
||||
скачивается с тем же SHA-256, сообщения отдают свои вложения,
|
||||
повтор — 0; код 1 при расхождении
|
||||
reconcile-signal только не рабочий проект compose (окружение
|
||||
COMPOSE_PROJECT_NAME / COMPOSE_FILE; mtusi-lab4 — код 2): спек
|
||||
graceful-shutdown, разовый проход сверки, прерванный сигналом,
|
||||
— код 1: docker compose pause s3, run -d cleaner reconcile
|
||||
--apply, через секунду после «Started cleaner» docker stop;
|
||||
interrupted_by stop, «Stopped cleaner» с exit_code 1, остановка
|
||||
быстрее stop_grace_period 10 с; S3 размораживается в finally;
|
||||
код 1 при расхождении
|
||||
lb-upload-timeouts [--config F] [--image ТЕГ] без стенда: спек
|
||||
load-balancing «Загрузки через балансировщик» — временная
|
||||
сеть, HAProxy закреплённого образа с конфигурацией F (по
|
||||
@@ -3365,7 +3373,11 @@ def yes(value: bool) -> str:
|
||||
return "yes" if value else "no"
|
||||
|
||||
|
||||
def report_reconcile(rows: list[tuple[str, str, str]]) -> int:
|
||||
def report_reconcile(
|
||||
rows: list[tuple[str, str, str]],
|
||||
*,
|
||||
passed: str = "reconcile found and fixed the discrepancies, repeat found 0",
|
||||
) -> int:
|
||||
"""Таблица «проверка → ожидаемо → получено»; код 1 при расхождении."""
|
||||
width = max(len(check) for check, _, _ in rows)
|
||||
failed = 0
|
||||
@@ -3379,7 +3391,7 @@ def report_reconcile(rows: list[tuple[str, str, str]]) -> int:
|
||||
if failed:
|
||||
print(f"FAIL: {failed} check(s) failed")
|
||||
return 1
|
||||
print("PASS: reconcile found and fixed the discrepancies, repeat found 0")
|
||||
print(f"PASS: {passed}")
|
||||
return 0
|
||||
|
||||
|
||||
@@ -3610,6 +3622,147 @@ def reconcile_stress(port: int, seconds: float, clients: int) -> int:
|
||||
return report_reconcile(rows)
|
||||
|
||||
|
||||
# reconcile-signal (design change track2-reconciler, «Уточнения apply», п.
|
||||
# 23): код разового прохода, прерванного сигналом. S3 заморожен, поэтому
|
||||
# только не рабочий проект compose
|
||||
RS_WORKING_PROJECT = "mtusi-lab4"
|
||||
RS_START_TIMEOUT_S = 30
|
||||
# SIGTERM — через столько после «Started cleaner»: первая страница списка
|
||||
# уже ждёт замороженный S3
|
||||
RS_AFTER_START_S = 1.0
|
||||
# stop_grace_period уборщика в docker-compose.yml: дольше — был бы SIGKILL
|
||||
RS_STOP_LIMIT_S = 10
|
||||
|
||||
|
||||
def cmd_reconcile_signal() -> int:
|
||||
"""Спек `graceful-shutdown`, разовый проход сверки, прерванный сигналом,
|
||||
— код 1: на стенде проекта compose из окружения (`COMPOSE_PROJECT_NAME`
|
||||
и др., рабочий `mtusi-lab4` — отказ, код 2) `docker compose pause s3`,
|
||||
`run -d --no-deps cleaner reconcile --apply`, через секунду после
|
||||
«Started cleaner» — `docker stop`; S3 размораживается в `finally`.
|
||||
Таблица и записи процесса без секретов; код 1 при расхождении."""
|
||||
try:
|
||||
config = json.loads(compose("config", "--format", "json"))
|
||||
except (RuntimeError, ValueError) as e:
|
||||
print(f"FAIL: compose config of the stand: {e}")
|
||||
return 2
|
||||
project = str(config.get("name", ""))
|
||||
if project == RS_WORKING_PROJECT:
|
||||
print(
|
||||
"reconcile-signal pauses S3: run it on a temporary stand "
|
||||
f"(COMPOSE_PROJECT_NAME), not {RS_WORKING_PROJECT}",
|
||||
)
|
||||
return 2
|
||||
services = config.get("services", {})
|
||||
if "cleaner" not in services or "s3" not in services:
|
||||
print(f"FAIL: no cleaner or s3 service in project {project}")
|
||||
return 2
|
||||
if not compose("ps", "-q", "--status", "running", "s3").strip():
|
||||
print(f"FAIL: s3 of project {project} is not running")
|
||||
return 2
|
||||
name = f"{project}-reconcile-signal"
|
||||
subprocess.run(["docker", "rm", "-f", name], capture_output=True)
|
||||
started = False
|
||||
took = -1.0
|
||||
exit_code = ""
|
||||
logs = ""
|
||||
compose("pause", "s3")
|
||||
print(f"{project}: s3 paused")
|
||||
try:
|
||||
compose(
|
||||
"run",
|
||||
"-d",
|
||||
"--no-deps",
|
||||
"--name",
|
||||
name,
|
||||
"cleaner",
|
||||
"reconcile",
|
||||
"--apply",
|
||||
)
|
||||
deadline = time.monotonic() + RS_START_TIMEOUT_S
|
||||
while time.monotonic() < deadline:
|
||||
logs = docker_logs(name)
|
||||
if '"Started cleaner"' in logs:
|
||||
started = True
|
||||
break
|
||||
time.sleep(0.2)
|
||||
if started:
|
||||
time.sleep(RS_AFTER_START_S)
|
||||
print("docker stop while reconcile waits for paused S3")
|
||||
began = time.monotonic()
|
||||
subprocess.run(["docker", "stop", name], capture_output=True)
|
||||
took = time.monotonic() - began
|
||||
exit_code = subprocess.run(
|
||||
["docker", "inspect", "-f", "{{.State.ExitCode}}", name],
|
||||
capture_output=True,
|
||||
text=True,
|
||||
check=False,
|
||||
).stdout.strip()
|
||||
logs = docker_logs(name)
|
||||
finally:
|
||||
subprocess.run(["docker", "rm", "-f", name], capture_output=True)
|
||||
compose("unpause", "s3")
|
||||
print(f"{project}: s3 unpaused")
|
||||
records = []
|
||||
for line in logs.splitlines():
|
||||
if line.startswith("{"):
|
||||
with contextlib.suppress(json.JSONDecodeError):
|
||||
records.append(json.loads(line))
|
||||
shown = ("event", "level", "mode", "operation", "error_type")
|
||||
shown += ("duration_ms", "interrupted_by", "exit_code", "timestamp")
|
||||
print("== records of the one-off reconcile")
|
||||
for record in records:
|
||||
print(
|
||||
json.dumps(
|
||||
{key: record[key] for key in shown if key in record},
|
||||
ensure_ascii=False,
|
||||
),
|
||||
)
|
||||
finished = rc_finished(records)
|
||||
stopped = [
|
||||
item for item in records if item.get("event") == "Stopped cleaner"
|
||||
]
|
||||
print(f"docker stop took {took:.1f} s, exit code {exit_code or '-'}")
|
||||
rows = [
|
||||
("Started cleaner (mode reconcile)", "yes", yes(started)),
|
||||
("exit code", "1", exit_code),
|
||||
(
|
||||
"Finished reconcile pass interrupted_by",
|
||||
"stop",
|
||||
str(finished.get("interrupted_by")),
|
||||
),
|
||||
(
|
||||
"Stopped cleaner exit_code",
|
||||
"1",
|
||||
str(stopped[-1].get("exit_code")) if stopped else "-",
|
||||
),
|
||||
(
|
||||
"Fixed storage discrepancy records",
|
||||
"0",
|
||||
str(len(rc_events(records, RC_FIXED))),
|
||||
),
|
||||
(
|
||||
f"docker stop faster than {RS_STOP_LIMIT_S} s",
|
||||
"yes",
|
||||
yes(0 <= took < RS_STOP_LIMIT_S),
|
||||
),
|
||||
]
|
||||
return report_reconcile(
|
||||
rows,
|
||||
passed="one-off reconcile stopped by SIGTERM: exit 1, nothing changed",
|
||||
)
|
||||
|
||||
|
||||
def docker_logs(name: str) -> str:
|
||||
proc = subprocess.run(
|
||||
["docker", "logs", name],
|
||||
capture_output=True,
|
||||
text=True,
|
||||
check=False,
|
||||
)
|
||||
return proc.stdout + proc.stderr
|
||||
|
||||
|
||||
# lb-upload-timeouts: сроки LB пути загрузки на заглушке (design change
|
||||
# upload-memory, решение 7). Молчание заглушки: дольше timeout server
|
||||
# прочих путей (10 с), но меньше срока пути загрузки (30 с) — и дольше его
|
||||
@@ -4417,6 +4570,7 @@ def main() -> int:
|
||||
stress = sub.add_parser("reconcile-stress")
|
||||
stress.add_argument("--seconds", type=float, default=40)
|
||||
stress.add_argument("--clients", type=int, default=4)
|
||||
sub.add_parser("reconcile-signal")
|
||||
lbto = sub.add_parser("lb-upload-timeouts")
|
||||
lbto.add_argument(
|
||||
"--config",
|
||||
@@ -4518,6 +4672,8 @@ def main() -> int:
|
||||
seconds=args.seconds,
|
||||
clients=args.clients,
|
||||
)
|
||||
if args.cmd == "reconcile-signal":
|
||||
return cmd_reconcile_signal()
|
||||
if args.cmd == "lb-upload-timeouts":
|
||||
return cmd_lb_upload_timeouts(args.config, args.image)
|
||||
if args.cmd == "stop-at-start":
|
||||
|
||||
@@ -46,8 +46,9 @@ LB пути загрузки 30 с, дренаж замены 90 с, профи
|
||||
`openspec/changes/archive/`, активных нет, спеки синхронизированы
|
||||
(новые capability: с `s3-storage` —
|
||||
`object-storage`, с `attachments` — `attachments`, с
|
||||
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` две открытые записи (bootstrap после удаления
|
||||
bucket; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
|
||||
`upload-consistency` — `storage-consistency`); в `KNOWN_ISSUES.md` три открытые записи (bootstrap после удаления
|
||||
bucket; уборщик удаляет объект зависшей загрузки по ключу вне своего
|
||||
префикса; 408 LB на медленные заголовки текстом HAProxy). Отчёт, evidence и рабочий план лабы 3 остались в её
|
||||
репозитории (`REPORT.md`, `evidence/`, `git show 063eedb:PLAN.md`).
|
||||
Стек: Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings,
|
||||
structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
@@ -153,7 +154,10 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
при старте и раз в `[reconciler] interval_seconds` (3600 с) с
|
||||
исправлением. Удаляется только объект без строки старше grace и
|
||||
зависшая загрузка (шагом уборщика); строки `ready`, объект, на который
|
||||
ссылается строка, и чужой ключ — никогда. Grace — тот же `[cleaner]
|
||||
ссылается строка, и чужой ключ — никогда; строку с ключом вне
|
||||
`<база>/attachments/` сверка только называет (чужой объект): её объект
|
||||
не читает, строку не помечает и не убирает. Сигнал — перед каждым
|
||||
вызовом хранилища (остановка ждёт ≤ 5 с S3 или ≤ 6 с шага БД). Grace — тот же `[cleaner]
|
||||
pending_grace_seconds`, по `LastModified` объекта и времени строки;
|
||||
перед каждым действием — перепроверка в БД и HEAD, отсутствие объекта —
|
||||
только при живом bucket; больше `[reconciler] max_changes` (100)
|
||||
@@ -358,6 +362,7 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `make reconcile [APPLY=1] [MAX_CHANGES=N]` | разовая сверка bucket и БД в контейнере уборщика (`docker compose run --rm --no-deps cleaner reconcile [--apply] [--max-changes N]`): по умолчанию dry-run — записи «Found storage discrepancy» по классам и итог; `APPLY=1` — исправить; 0 — расхождений нет, 3 — остались (чужие объекты, отказ по пределу), 1 — прервана, 2 — конфигурация |
|
||||
| `driver.py --port <LB> reconcile-cycle` | сверка на рабочем стенде (~2 мин): исходный dry-run без расхождений (иначе код 2), расхождения с обеих сторон, dry-run без изменений, 500 → `--apply` → 404 и 200, повтор, удаление чужого объекта, свежий объект после grace, возврат оригинала; `evidence/reconcile/cycle.md` |
|
||||
| `driver.py --port <LB> reconcile-stress [--seconds S] [--clients N]` | `--apply` раз в ~3 с под загрузками и отправками N клиентов S секунд (4 × 40 с): внесённое исправлено, каждое 201 скачивается с тем же SHA-256, повтор — 0; `evidence/reconcile/stress.md` |
|
||||
| `driver.py reconcile-signal` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME` и др., `mtusi-lab4` — код 2): `pause s3`, разовый `reconcile --apply` отдельным контейнером, `docker stop` через секунду после «Started cleaner» — код 1, `interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1, быстрее 10 с; `unpause` в `finally`; `evidence/reconcile/service.md` |
|
||||
| `docker compose run --rm --no-deps cleaner --once` | разовый проход уборщика незавершённых загрузок (grace — `[cleaner]` или `-e CLEANER__PENDING_GRACE_SECONDS=…`, не меньше 18 с): 0 — проход дошёл до конца, 1 — прерван отказом, 2 — неверная конфигурация; журнал сервиса — `docker compose logs --no-log-prefix cleaner` |
|
||||
| `make lb_stats` | слоты HAProxy: адрес, состояние проверки (`DRAIN`, `MAINT` при замене), запросы, повторы, перенаправления (CSV статистики изнутри контейнера LB) |
|
||||
| `make rolling_update [COMMIT=...] [MIGRATE=0]` | поочерёдная замена реплик без простоя (`scripts/rolling-update.sh`, `balancer.md`): сборка из рабочего дерева (или файлов `COMMIT` через `git archive`), миграции один раз, затем по одной — новая `healthy` и `UP` в LB, старая `drain` → запросов в полёте 0 → `maint` → stop → rm → слот `ready`. Нужен штатный стенд (`make replicas`) без слотов LB в ручном `drain` / `maint` (иначе код 2 и команда `set server … state ready`); сбой и Ctrl+C — `API_REPLICAS` готовых реплик, повтор доводит; `MIGRATE=0` — откат на прежний образ (после него `docker compose up` без сборки не запускать: `migrate` прежнего образа упадёт на новой ревизии) |
|
||||
@@ -417,12 +422,12 @@ src/
|
||||
repos/idempotency.py # ключ идемпотентности: захват ON CONFLICT DO UPDATE WHERE просрочен, чтение сохранённого результата
|
||||
repos/chat_cache.py # карточка чата в Valkey: ключ с именем базы, JSON ↔ ChatFullDTO
|
||||
repos/attachment.py # строки вложений: вставка pending (created_at = updated_at), mark_ready (pending и непомеченная → ready RETURNING), чтение одной и до 10; уборщику — get_stale_pending (keyset по частичному индексу), lock_stale_pending (FOR UPDATE SKIP LOCKED), mark_removing (пометка updated_at), delete_attachment; сверке — get_attachments_for_objects (id = ANY OR object_key = ANY), get_ready_page (keyset ready по id), find_attachment_reference, mark_lost / clear_lost (условный UPDATE lost_at)
|
||||
repos/attachment_object.py # оригинал в S3: ключ <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, parse_original_key, list_originals, probe_originals (bucket на месте), head_original
|
||||
repos/attachment_object.py # оригинал в S3: ключ <база>/attachments/<id>/original, put_original (поток BytesIO и size, без копии тела), open, delete_original; сверке — originals_prefix, is_own_key (ключ под префиксом вложений своей базы), parse_original_key, list_originals, probe_originals (bucket на месте), head_original
|
||||
repos/message.py # MESSAGE_COLUMNS с ARRAY(подзапрос attachment_ids по position), вставка связей одной вставкой
|
||||
services/<domain>.py # <Domain>Service: логика, проверки доступа, id и время, логи; чаты и сообщения — с кэшем; отправка — ключ, сообщение и связи с вложениями одной транзакцией
|
||||
services/attachment.py # AttachmentService(db_scope, cache, storage, slots): загрузка (проверки → место загрузки, 429 → тело со счётчиком и сроком в BytesIO, 400 по сроку → структура и SHA-256 в потоке над getvalue() → del → pending → PUT тем же BytesIO → ready; сбой ready до COMMIT или пропавшая строка — удаление объекта и 503; место — до ответа), метаданные, отдача потоком
|
||||
services/attachment_cleanup.py # AttachmentCleanupService(db_scope, storage): проход уборщика — кандидаты keyset, каждая строка в два шага (remove_stale_pending): блокировка и пометка (commit) → блокировка, DELETE объекта и DELETE строки (commit); отказ S3 или БД прерывает проход, SIGTERM — после текущего шага; CleanupPassDTO
|
||||
services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready), зависшие, перепроверка в БД и HEAD (bucket — probe), предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO
|
||||
services/attachment_reconcile.py # AttachmentReconcileService(db_scope, storage): сверка bucket и БД — S3 → БД (страницы списка, выборка на страницу, множество ключей), БД → S3 (keyset ready; ключ строки вне префикса вложений — чужой объект без HEAD), зависшие, перепроверка в БД и HEAD (bucket — probe), сигнал — перед каждым вызовом хранилища, предел изменений, действия с apply (зависшие шагом уборщика → объекты без строки → пометки → снятия); журнал Found / Fixed / Finished; ReconcilePassDTO
|
||||
exceptions/<domain>.py # доменные исключения, реэкспорт в __init__.py; storage.py — ObjectStorageUnavailable (503) и StoredObjectMissing; attachment.py — 404, 413, 415, 400 обрыва и срока тела (UploadTimedOut), 429 занятых мест (UploadsBusy), 500 пропавшего объекта
|
||||
infra/
|
||||
early_stop.py # ранний обработчик SIGTERM/SIGINT (только stdlib): до старта сервера — запись «Stopped <процесс> before startup» (API, cleaner) и выход 0; disarm() — первая строка lifespan; write_record — запись мимо structlog
|
||||
@@ -460,7 +465,7 @@ student-tests/ # black-box тесты по HTTP (уровень 4)
|
||||
test_failures.py # проверки отказов (маркер fault): только make failure_checks
|
||||
run_isolated.py # make test_isolated: образ на временной базе test_<db>, уборка базы и префикса test_<db>/ в S3 (weed shell fs.rm, затем проверка fs.ls: код 0 weed shell успеха не значит; префикс только из проверенного имени) (stdlib)
|
||||
run_failures.py # make failure_checks: стенд <рабочий>-failures (Postgres, Valkey, S3 + bootstrap, уборщик с grace 20 с и интервалом 1 с без плановой сверки → FAULT_CLEANER_*, FAULT_RECONCILER_INTERVAL_S; уборщик с плановой сверкой <проект>-cleaner-scheduled убирается вместе с API), три API (обычный, «тесный», «узкий по загрузкам» с UPLOADS_ENV → FAULT_UPLOADS_BASE_URL / FAULT_UPLOADS_ENV), pytest -m fault, журнал PostgreSQL стенда (сводка, признаки аварии — ненулевой код), журналы API и уборщика при падении, уборка (stdlib)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] (записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib)
|
||||
fault_hook.py # hook стенда отказов: stop/start/pause/unpause postgres|valkey|s3, кэш, триггеры сбоя участников, сообщений и вложений (fail-attachments insert|ready|stall|commit|outlive|undeletable: сбой вставки, перевода в ready до и на COMMIT, задержка, строка «старше grace» с ожиданием уборщика, неудаляемая строка), заполнение слотов max_connections, счётчик сессий PostgreSQL db-sessions, attachment-ids, last-pending, object-ids (файлы original по fs.tree), kill-api / start-api; расхождения и сверка (change track2-reconciler): put-object (тело — stdin, botocore в контейнере API его ключами) / delete-object (weed fs.rm) только под <база>/attachments/, delete-row, set-size, age-row, set-key (object_key строки под <база>/), lost-ids, fail-attachments mark, reconcile dry-run|apply [предел] (записи и exit_code=), stop|start cleaner, run-cleaner <с> (stdlib)
|
||||
failures.compose.yml # override стенда отказов: без публикации портов (Postgres, Valkey, S3, LB), уборщик с CLEANER__* 20 / 1, RECONCILER__INTERVAL_SECONDS 0 и restart "no", stop_grace_period 2 с у S3, healthcheck PostgreSQL — на служебную базу postgres (не добавляет сессий в базу приложения), init: true у PostgreSQL (сирот psql из fill-connections подбирает init, а не postmaster)
|
||||
bench/ # нагрузочный стенд на HAProxy + N реплик API + Postgres + Valkey: make bench / bench_quick / bench_restore / bench_failover / bench_rollout / bench_scaling / bench_uploads (с S3)
|
||||
run.py # оркестратор: стенд compose, реплики и готовность по LB, фоновые чаты и расписание наполнения, матрица, обслуживание БД, планы и варианты, пробы записи, backup и восстановление во второе хранилище со сверкой, фазы профиля failover (события цели — поток docker events по контейнеру, а не буфер демона), профиль rollout (образ прежнего commit через git archive, scripts/rolling-update.sh против проекта стенда, поток событий Docker с exec_start), ресурсы профилей failover и rollout (Profile.sample_resources: сэмплер scan, карта контейнеров по меткам compose, окна, бюджет на пике, сторож), серии трека 1 (профили scaling_*, ячейки на свежем стенде, ступени k6 и поиск R*, сэмплер, продолжение RESUME, блокировка bench/.bench.lock), метрики (сумма по репликам), runs.csv / phases.csv / searches.csv / samples.csv / summary.md / meta.json; профиль uploads (S3 и bootstrap на стенде, на прогон — новый volume S3 и реплика с окружением варианта через .work/variant.compose.yml, образ «до» — тег bench-from, сэмплер peak), в паспорте всех профилей stand.api_tcp_rmem и docker.kernel
|
||||
@@ -489,9 +494,10 @@ docker-compose.yml # проект mtusi-lab4: postgres, valkey, s3 (Se
|
||||
.dockerignore
|
||||
config_example.toml, .env.example
|
||||
evidence/attachments/ # change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ, отказ S3 во время прохода)
|
||||
evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам)
|
||||
evidence/s3/ # change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
|
||||
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0)
|
||||
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick)
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
|
||||
evidence/tests/ # выводы make test_isolated, make student_test (через LB) и make failure_checks для REPORT.md; лаба 4: failure-checks.md (стенд отказов со своим S3 и уборщиком, 32 проверки, красные прогоны до upload-consistency и до правок по verify), student-test-lb.md, test-isolated-s3-cleanup.md (уборка префикса test_<db>/) — до attachments с ожидаемо красными тестами схемы Message; лаба 3 (в этом репозитории пока нет): profile-resources-checks.md — проверки сэмплера, быстрые профили, сторож, хост и сравнение меток resources с baseline; fix-known-issues-checks.md — сверка событий поток/буфер, красный и зелёный failure_checks, консоль, сверка ссылок исключений, регрессия; strict-id-validation-checks.md — красный и зелёный прогоны курсора и UUID на входе, пересмотр проверки курсора, замена реплик, клон во временном проекте
|
||||
|
||||
@@ -33,6 +33,32 @@
|
||||
меньше 1024 (больше слотов на тот же объём) или явный `-volume.max`;
|
||||
для стендов проекта не нужно. Запись остаётся открытой.
|
||||
|
||||
## Уборщик удаляет объект зависшей загрузки по ключу вне своего префикса
|
||||
|
||||
- **Где:** `src/core/services/attachment_cleanup.py`
|
||||
(`remove_stale_pending`: `delete_original` по `object_key` строки) и
|
||||
политика `cleaner-objects` в `infra/s3/bootstrap.sh` (`s3:DeleteObject`
|
||||
на `<bucket>/*`).
|
||||
- **Что:** сервис уборки (`python -m src.cleaner`, `--once`) убирает
|
||||
строку `pending` старше grace вместе с объектом по ключу из этой
|
||||
строки, не проверяя, что ключ под `<база>/attachments/`. Ключ вне
|
||||
префикса API не пишет; он бывает в базе, восстановленной под другим
|
||||
именем (её строки ведут к объектам исходной базы), или после ручной
|
||||
правки. Тогда уборщик удаляет объект чужого префикса — другой базы.
|
||||
Найдено в правках по verify change `track2-reconciler` (замечание W2,
|
||||
2026-10-22): сверка такую строку теперь только называет «чужим
|
||||
объектом» и не убирает (design, «Уточнения apply», п. 19), а сервис
|
||||
уборки — поведение change `upload-consistency` — не менялся.
|
||||
- **Чем грозит:** только при строке с чужим ключом: потерей объекта
|
||||
другой базы того же bucket. Стенды проекта таких строк не содержат.
|
||||
- **Предложение:** в `remove_stale_pending` (или в `lock_stale_pending`)
|
||||
— та же проверка `attachment_object_repo.is_own_key`: строку с чужим
|
||||
ключом убирать без DELETE объекта (или пропускать с `warning`), сценарий
|
||||
в требовании «Уборщик незавершённых загрузок» и тест на стенде отказов
|
||||
(`set-key` hook уже есть); при желании — сузить `s3:DeleteObject`
|
||||
политики до `<bucket>/<база>/attachments/*`, переделав проверки
|
||||
bootstrap, которые удаляют свои объекты ключом уборщика.
|
||||
|
||||
## LB отвечает 408 на медленные заголовки текстом HAProxy
|
||||
|
||||
- **Где:** `infra/haproxy/haproxy.cfg`, `defaults`: `timeout
|
||||
|
||||
@@ -428,6 +428,17 @@ S6; спек `attachments`, «Порядок записи»): действие h
|
||||
bench_plots` или его аналог), выводы по гипотезам 1–5 и ограничения в
|
||||
`REPORT.md`.
|
||||
|
||||
**Передано из verify `track2-reconciler` (замечание S4).** При массовом
|
||||
расхождении (N ≫ `max_changes`) `--apply` перепроверяет каждого
|
||||
кандидата (SELECT + HEAD) и только потом отказывает по пределу; плановый
|
||||
проход всё это время держит уборку зависших. Ранний отказ ломал бы
|
||||
инварианты отчёта (каждое расхождение названо, ошибка называет число
|
||||
изменений), поэтому там не сделан (design `track2-reconciler`,
|
||||
«Уточнения apply», п. 21). Здесь — замер цены отказа при N = 1k / 10k
|
||||
расхождений и выбор: перепроверка после решения о пределе с отчётом о
|
||||
неперепроверенных кандидатах, отдельный счётчик в итоге или ранний отказ
|
||||
только у плановой сверки.
|
||||
|
||||
### 7. Отчёт и PR
|
||||
|
||||
- `REPORT.md`: запуск из чистого clone, архитектура и транзакционные
|
||||
@@ -1224,6 +1235,23 @@ SeaweedFS и PostgreSQL на tmpfs, bootstrap проекта.
|
||||
требует контейнер `migrate`);
|
||||
- драйвер на рабочем стенде — только после перестройки 12.1; в apply
|
||||
он проверен на временном полном стенде.
|
||||
13. **Правки по verify (2026-10-22, группа 13 tasks)** — design,
|
||||
«Уточнения apply», пп. 19–23:
|
||||
- W1: hook `set-key`, сценарии «Объект, на который ссылается строка,
|
||||
не удаляется» и «Предел не останавливает уборку зависших», тесты
|
||||
`…_keeps_referenced_objects` и `…_limit_keeps_cleanup` (зелёные на
|
||||
`a6071da`, красные на временных регрессиях);
|
||||
- W2: строка с ключом вне `<база>/attachments/` — «чужой объект» без
|
||||
HEAD, пометки и уборки; сценарий «Ключ вне префикса вложений не
|
||||
трогается», тест `…_foreign_key_untouched` (красный на `a6071da`);
|
||||
сервис уборки такую зависшую загрузку по-прежнему убирает —
|
||||
`KNOWN_ISSUES.md`;
|
||||
- S1: сигнал — перед каждым вызовом хранилища, остановка ≤ 5 с (S3) /
|
||||
≤ 6 с (БД);
|
||||
- S4: ранний отказ по пределу не сделан — передан в
|
||||
`track2-reconcile-cost` (раздел 6 выше);
|
||||
- S5: `driver.py reconcile-signal` — код 1 разового прохода по
|
||||
SIGTERM; снимок — после commit, на временном стенде.
|
||||
|
||||
#### Вопросы
|
||||
|
||||
|
||||
@@ -578,7 +578,10 @@ dry-run. Плановая — в сервисе `cleaner` при старте и
|
||||
- **что удаляется** — только объект без строки и зависшая загрузка;
|
||||
строки `ready`, используемые вложения (FK `message_attachments`),
|
||||
объект, на который ссылается строка любого статуса, и чужой ключ — ни
|
||||
в каком классе;
|
||||
в каком классе; строка с ключом вне `<база>/attachments/` (например,
|
||||
база, восстановленная под другим именем) — «чужой объект»: её объект
|
||||
сверка не читает, строку не помечает и не убирает (замечание W2
|
||||
verify);
|
||||
- **свежее** — grace общий с уборщиком (`[cleaner] pending_grace_seconds`,
|
||||
900 с): объект — по `LastModified` S3, строка `ready` — по `updated_at`,
|
||||
`pending` — по `created_at`; свежее не считается расхождением;
|
||||
@@ -625,7 +628,7 @@ dry-run. Плановая — в сервисе `cleaner` при старте и
|
||||
|
||||
| Параметр | По умолчанию | Почему |
|
||||
| --- | --- | --- |
|
||||
| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,5–0,8 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её |
|
||||
| `interval_seconds` | 3600 с (0 — выключена) | объект без строки живёт не дольше grace + интервал + проход (~15 + 60 мин); проход на рабочем стенде (~2–3 тыс. объектов) — 0,49–0,82 с, то есть меньше секунды в час; первая сверка — при старте, иначе частые пересоздания уборщика откладывали бы её |
|
||||
| `page_size` | 1000 (1–1000) | больше S3 за страницу не отдаёт; одно выражение к БД на страницу |
|
||||
| `max_changes` | 100 | см. «Безопасность»; разовый проход принимает больший аргументом |
|
||||
|
||||
@@ -642,8 +645,9 @@ discrepancy» (класс, ключ, `id`, возраст, размеры, ес
|
||||
`error`; отдельных записей не больше 1000 за проход. Коды разового
|
||||
прохода: 0 — расхождений нет, 3 — остались (чужие или отказ по пределу),
|
||||
1 — прерван отказом S3 / PostgreSQL / сигналом, 2 — конфигурация. SIGTERM
|
||||
во время сверки: текущий вызов доводится (≤ 5 с), новых страниц и
|
||||
действий нет, сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`).
|
||||
во время сверки: сигнал проверяется перед каждым вызовом хранилища,
|
||||
текущий вызов доводится — вызов S3 ≤ 5 с, шаг с БД ≤ 6 с, новых страниц
|
||||
и действий нет; сервис — код 0 за 4,7 с (`evidence/reconcile/service.md`).
|
||||
|
||||
**Порядок обновления** (решение 6): `docker compose up -d s3-bootstrap`
|
||||
(политика со списком) → `make rolling_update` (миграция, затем реплики) →
|
||||
@@ -820,7 +824,7 @@ test_isolated` (`evidence/tests/`), поэтому строки отказов S
|
||||
| «4»: таймауты LB пути загрузки | `driver.py lb-upload-timeouts` на текущем `haproxy.cfg` и на `f894040` | сейчас: молчание 12 с до и после тела — 201, другой путь — 504 через 10,01 с, 32 с — 504 через 30,11 с, клиент молчит посреди тела — 400 JSON через 30,02 с; на `f894040` — 502 / 504 через 10 с и 400 HTML (код 1) | `evidence/uploads/lb-timeouts.md` |
|
||||
| «4»: плановая замена не обрывает загрузку | две загрузки ~20 и ~26 с через LB во время `make rolling_update` | обе 201 с тем же SHA-256; дренаж реплики с загрузкой — 14 с, остановка после ответа (`ROLLOUT_DRAIN_TIMEOUT` 90 с) | `evidence/uploads/rollout-upload.md` |
|
||||
| «5», трек 2: ошибки внесены с обеих сторон, найдены и исправлены, повтор находит 0 | `driver.py --port 8090 reconcile-cycle` (рабочий стенд, `c1648d9`) | внесены O (объект без строки), X (чужой ключ), удалён объект A (в сообщении), удалена строка B, размер C +1, обрыв COMMIT P; после grace 30 с dry-run — 6 находок своих классов (`orphan_object` ×2, `missing_object`, `size_mismatch`, `stale_pending`, `unknown_object`), код 3, строки, объекты и пометки не изменились; байты A — 500; `--apply` — O, B удалены, P убрана, A и C помечены, свежий F не тронут, X остался (код 3); байты A — 404, метаданные 200 = ответ загрузки, история отдаёт A; повтор — только X; после удаления X оператором — код 0; F удалён после grace; A возвращён — `restored_object`, 200 с тем же SHA-256; итоговый dry-run — код 0; 45 проверок, PASS | `evidence/reconcile/cycle.md` |
|
||||
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте и `make reconcile` — 2 086 объектов и строк, `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
|
||||
| «5», трек 2: dry-run, `--apply`, повторный запуск; коды выхода | `make reconcile`, плановая сверка уборщика при старте (`--apply`), `docker compose run … cleaner reconcile` с чужим объектом и с неверными `RECONCILER__*` | стенд после обновления: плановая сверка при старте — 2 086 объектов и строк, `found {}`; `make reconcile` — `found {}`, код 0; чужой объект старше grace — `warning` «Found …», код 3, после его удаления — код 0; `RECONCILER__PAGE_SIZE=5000`, `MAX_CHANGES=0`, `INTERVAL_SECONDS=-1`, `--max-changes 0` — код 2 с именем поля | `evidence/reconcile/service.md` |
|
||||
| «5», трек 2: свежие и используемые вложения не удаляются, ничего подтверждённого не теряется под нагрузкой | `driver.py --port 8090 reconcile-stress` (4 клиента × 40 с, `--apply` раз в ~3 с, grace 20 с); `make failure_checks` (8 проверок сверки) | 640 загрузок 201 и 640 сообщений, 9 проходов `--apply` с кодом 0; внесённые 2 объекта без строки удалены, 2 потери помечены, новых пометок — только они; каждое из 640 вложений — тот же SHA-256, сообщения отдают свои вложения; повтор — 0; на стенде отказов: свежие объект и вложение не тронуты, вложение в сообщении только помечено (метаданные 200, история с `id`), чужой ключ не удалён (код 3), предел 2 при 3 изменениях — ни одного (код 3, `error`), S3 остановлен — код 1 без изменений, сбой БД на пометке — код 1, повтор доводит; плановая сверка с интервалом 1 с помечает потерю сама; красный прогон на `c13df14` — 8 из 8 упали | `evidence/reconcile/stress.md`, `evidence/tests/failure-checks.md` |
|
||||
| «5», трек 2: права S3 для сверки, схема пометки | `make s3_check`; bootstrap с неверным префиксом; `alembic` с нуля / повтор / откат / `--sql`; `make rolling_update` | ключ уборщика: список `messenger/attachments/` — 200, всего bucket, `.s3-check/` и чужого bucket — 403, 70 проверок PASS; неверный `S3_CLEANER_LIST_PREFIX` — код 1; `ADD COLUMN lost_at` после `SET LOCAL lock_timeout = '2s'`, ревизия `739b8f04d5fb` → `5c3e1f0a9b7d` поочерёдной заменой за 12 с | `evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md` |
|
||||
|
||||
@@ -1163,7 +1167,13 @@ S3 (change `s3-storage`):
|
||||
- **Память O(N) на ключи списка** (~15 МБ на 100 тыс. объектов при лимите
|
||||
уборщика 256 МБ) и **уборка зависших ждёт конца прохода сверки** (на
|
||||
рабочем стенде — меньше секунды, на 100 тыс. — порядка минуты). Замер —
|
||||
следующий change.
|
||||
следующий change. При массовом расхождении (N ≫ предела) `--apply`
|
||||
перепроверяет каждого кандидата (SELECT + HEAD) и только потом
|
||||
отказывает по пределу: ранний отказ сделал бы отчёт и число изменений в
|
||||
ошибке неполными — решение и замер в `track2-reconcile-cost`.
|
||||
- **Зависшая загрузка с ключом вне префикса вложений своей базы**: сверка
|
||||
её только называет (чужой объект), а сервис уборки, как и до change,
|
||||
убирает её вместе с объектом по этому ключу (`KNOWN_ISSUES.md`).
|
||||
- **Пометка по ложному «нет объекта»** при неполном списке отсечена HEAD и
|
||||
проверкой bucket; остаётся bucket, пересозданный пустым между
|
||||
проверкой и `UPDATE` — тогда пометка верна и снимается сама, когда
|
||||
@@ -1179,7 +1189,8 @@ S3 (change `s3-storage`):
|
||||
до change; новый — `docker compose up -d --no-deps cleaner` (порядок
|
||||
обновления).
|
||||
- **Синтетика прогонов драйвера** (`reconcile-cycle`, `reconcile-stress`)
|
||||
остаётся в рабочей базе и bucket: согласованные вложения и одно
|
||||
помеченное потерянным за прогон цикла (его байты — 404).
|
||||
остаётся в рабочей базе и bucket: согласованные вложения и помеченные
|
||||
потерянными — одно за прогон цикла и два за прогон стресса
|
||||
(`lost_known` 1 → 3; их байты — 404).
|
||||
- **`make failure_checks` дольше на ~3,5 мин** (45 проверок, ~8 мин):
|
||||
объекты нельзя состарить, тесты ждут grace стенда (20 с).
|
||||
|
||||
@@ -839,3 +839,67 @@ cleaner reconcile …`, как у `upload-consistency`.
|
||||
драйвера в задачах 10.1–10.2 — на временном полном стенде (проект
|
||||
compose с LB, своими хранилищами на tmpfs и портами); на рабочем — в
|
||||
группе 12.
|
||||
|
||||
Решения правок по `/opsx:verify` (2026-10-22, группа 13 tasks):
|
||||
|
||||
19. **Ключ строки вне префикса вложений — чужой объект** (W2). Строка
|
||||
`ready` старше порога, ключа которой нет в списке, раньше была
|
||||
кандидатом «метаданные без объекта», и перепроверка делала HEAD по её
|
||||
ключу — в том числе `<другая база>/…` или `<база>/elsewhere/…`. Это
|
||||
противоречило абзацу спека «Объекты других баз и ключи вне префикса …
|
||||
MUST NOT читать». Реальный случай — база, восстановленная под другим
|
||||
именем: её строки ведут к объектам исходной базы. Теперь такая строка
|
||||
(и зависшая загрузка с таким ключом — её уборка удалила бы объект по
|
||||
этому ключу) — `unknown_object` без HEAD, без пометки и без уборки,
|
||||
код 3; HEAD, пометка, снятие пометки и удаление объекта ещё раз
|
||||
проверяют префикс (`attachment_object_repo.is_own_key`). Новый класс не
|
||||
заведён: «чужой объект» уже значит «требует оператора, сверка не
|
||||
меняет» — определение класса в спеке дополнено. Сервис уборки
|
||||
(`clean_stale_pending`) зависшую загрузку с чужим ключом по-прежнему
|
||||
убирает вместе с объектом по её ключу — это поведение
|
||||
`upload-consistency`, а не сверки; запись в `KNOWN_ISSUES.md`.
|
||||
20. **Сигнал — перед каждым вызовом хранилища** (S1). Раньше между
|
||||
проверками `stop_requested()` бывало два вызова подряд (страница
|
||||
списка → выборка БД, `get_attachment` → HEAD, HEAD → `mark_lost` /
|
||||
`clear_lost`, ссылки → DELETE, шаг БД → `probe_originals`), и при
|
||||
деградации S3 и PostgreSQL остановка ждала до ~11 с при
|
||||
`stop_grace_period` 10 с. Теперь `_check_stop` стоит перед каждым
|
||||
вызовом, и остановка ждёт не больше одного: S3 ≤ `[s3]
|
||||
timeout_seconds` (5 с), шаг с БД ≤ его срока (6 с). Теста нет: окно
|
||||
«первый вызов удался после долгого ожидания, а второй завис» по HTTP
|
||||
детерминированно не воспроизвести; прежний сценарий «docker stop во
|
||||
время сверки» (один зависший вызов) остаётся в evidence, код 1
|
||||
разового прохода — п. 23.
|
||||
21. **Ранний отказ по пределу — не в этом change** (S4). Мысль: в
|
||||
`--apply` прекращать перепроверку классов под пределом, как только
|
||||
подтверждённых больше `max_changes`. Это ломает два инварианта:
|
||||
отчёт называет каждое расхождение (спек «Сверка bucket и БД») —
|
||||
неперепроверенные кандидаты не подтверждены и в отчёт не попали бы;
|
||||
ошибка предела называет число изменений — оно стало бы нижней
|
||||
границей. Поэтому не сделано. Цена при N ≫ предела — SELECT + HEAD на
|
||||
кандидата, ~1–3 мс; при 10 тыс. расхождений — десятки секунд, пока
|
||||
уборка ждёт. Варианты (перепроверка после решения о пределе с отчётом
|
||||
«кандидаты, не перепроверены», отдельный счётчик в итоге, порог
|
||||
«подтверждено > предела» только для плановой сверки) и замер —
|
||||
`track2-reconcile-cost` (`PLAN.md`).
|
||||
22. **Тесты W1 и красные прогоны группы 13.** Hook `set-key <id> <ключ>`
|
||||
меняет только `object_key` строки (psql, ключ под `<FAULT_DATABASE>/`,
|
||||
в том числе вне `attachments/` — для W2). Ветки W1 в коде были верны:
|
||||
`test_reconcile_keeps_referenced_objects` и
|
||||
`test_reconcile_limit_keeps_cleanup` на коде `a6071da` — зелёные, а на
|
||||
временных регрессиях (`_recheck_orphan` без `find_attachment_reference`;
|
||||
`_act` пропускает при отказе по пределу и зависшие) — 2 failed: объект
|
||||
`<Z>/original`, на который ссылается Y, стал `orphan_object`; зависшая
|
||||
загрузка не убрана. Регрессии убраны, `git diff src/` после — пусто.
|
||||
`test_reconcile_foreign_key_untouched` на коде `a6071da` — 1 failed:
|
||||
готовая строка с ключом `<база>/elsewhere/<id>` — `missing_object`
|
||||
(HEAD чужого префикса и пометка в `--apply`), зависшая —
|
||||
`stale_pending` (уборка удалила бы объект по чужому ключу).
|
||||
23. **Код 1 разового прохода по SIGTERM** (S5) — `driver.py
|
||||
reconcile-signal`: на проекте compose из окружения (рабочий
|
||||
`mtusi-lab4` — отказ, код 2) замораживает S3, запускает разовый
|
||||
`reconcile --apply` отдельным контейнером, после «Started cleaner» —
|
||||
`docker stop`; ждёт код 1, «Finished reconcile pass» с
|
||||
`interrupted_by: stop`, «Stopped cleaner» с `exit_code` 1 и остановку
|
||||
быстрее `stop_grace_period`; S3 размораживается в `finally`. Снимок —
|
||||
после commit, на временном стенде.
|
||||
|
||||
@@ -18,9 +18,12 @@ PostgreSQL и находить расхождения шести классов:
|
||||
- **оригинал вернулся** — оригинал вложения помечен потерянным
|
||||
(требование «Потерянный оригинал»), а объект снова есть с тем же
|
||||
размером;
|
||||
- **чужой объект** — объект под префиксом вложений, ключа такого вида
|
||||
API не пишет, либо ключ вида `<id>/original`, у строки которого
|
||||
другой ключ.
|
||||
- **чужой объект** — то, что сверка не меняет и оставляет оператору:
|
||||
- объект под префиксом вложений, ключа такого вида API не пишет;
|
||||
- объект с ключом вида `<id>/original`, у строки которого другой ключ
|
||||
или на который ссылается строка другого `id`;
|
||||
- ключ вне префикса вложений своей базы в метаданных вложения: объект
|
||||
по такому ключу сверка не читает.
|
||||
|
||||
Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым
|
||||
проходом (`make reconcile` или команда сверки в контейнере уборщика) и
|
||||
@@ -32,7 +35,9 @@ SHALL ничего не менять (dry-run). С `--apply` он SHALL испр
|
||||
- зависшую загрузку — убрать тем же порядком, что уборщик;
|
||||
- вернувшийся оригинал — снять пометку.
|
||||
|
||||
Чужой объект сверка MUST NOT удалять: он попадает только в отчёт.
|
||||
Чужой объект сверка MUST NOT удалять, а вложение, метаданные которого
|
||||
ведут к нему, — помечать или убирать: чужой объект попадает только в
|
||||
отчёт.
|
||||
|
||||
Отчёт SHALL называть по каждому расхождению класс, ключ объекта, `id`
|
||||
вложения, если он известен, и возраст. Итог прохода SHALL называть:
|
||||
@@ -124,7 +129,9 @@ Grace — тот же, что у уборщика (capability `service-configura
|
||||
блокировкой, что уборщик.
|
||||
|
||||
Объекты других баз и ключи вне префикса вложений своей базы сверка MUST
|
||||
NOT читать и менять.
|
||||
NOT читать и менять. Вложение, в метаданных которого такой ключ, —
|
||||
готовое или зависшую загрузку — она называет в отчёте чужим объектом, не
|
||||
проверяет его объект, не помечает и не убирает.
|
||||
|
||||
#### Scenario: Свежие не тронуты
|
||||
|
||||
@@ -158,6 +165,35 @@ NOT читать и менять.
|
||||
ошибка называет число изменений и предел, код выхода 3
|
||||
- **AND** с пределом не меньше их числа повтор исправляет все
|
||||
|
||||
#### Scenario: Предел не останавливает уборку зависших
|
||||
|
||||
- **WHEN** загрузка оборвалась между записью объекта и фиксацией `ready`
|
||||
больше grace назад, расхождений, которые сверка исправила бы, больше
|
||||
предела, и выполняется сверка с `--apply`
|
||||
- **THEN** код выхода 3, ни одно вложение не помечено, а зависшей
|
||||
загрузки нет — ни метаданных, ни объекта
|
||||
|
||||
#### Scenario: Объект, на который ссылается строка, не удаляется
|
||||
|
||||
- **WHEN** всё это старше grace, и выполняется сверка с `--apply`:
|
||||
- у готового вложения X в метаданных другой ключ под префиксом
|
||||
вложений, объекта по нему нет, а объект `<X>/original` на месте;
|
||||
- готовое вложение Y ссылается на ключ `<Z>/original`, строки Z нет, и
|
||||
объекты `<Y>/original` и `<Z>/original` на месте
|
||||
- **THEN** результат такой:
|
||||
- все три объекта на месте, отчёт называет их чужими, код выхода 3;
|
||||
- X помечено потерянным: объекта по его ключу нет;
|
||||
- Y не помечено: объект по его ключу есть
|
||||
|
||||
#### Scenario: Ключ вне префикса вложений не трогается
|
||||
|
||||
- **WHEN** у готового вложения и у зависшей загрузки старше grace в
|
||||
метаданных ключ вне префикса вложений своей базы, и выполняется сверка
|
||||
с `--apply`
|
||||
- **THEN** отчёт называет оба чужими, код выхода 3, вложение не помечено,
|
||||
а метаданные зависшей загрузки и объекты обоих под префиксом вложений
|
||||
на месте
|
||||
|
||||
#### Scenario: Сверка под нагрузкой
|
||||
|
||||
- **WHEN** выполняются все условия:
|
||||
|
||||
@@ -495,3 +495,82 @@ Commit делает основная сессия после подтвержд
|
||||
- дополнение ответа на вопрос защиты «PUT прошёл, COMMIT нет».
|
||||
|
||||
`PLAN.md` — строка этапа 5 и решения apply в `### track2-reconciler`.
|
||||
|
||||
## 13. Замечания проверки
|
||||
|
||||
Находки `/opsx:verify` (2026-10-22, CRITICAL нет). Цикл проекта: тест до
|
||||
кода, его падение на текущем коде с названной причиной, затем код. Пробы
|
||||
verify — вне репозитория (scratchpad сессии). Evidence с незакоммиченного
|
||||
дерева не снимается: пересъёмка — после commit основной сессии (13.7).
|
||||
|
||||
- [x] 13.1 W1. Опасные ветки «не удалять» без теста и сценария:
|
||||
- hook `set-key <id> <ключ>` (psql, ключ только под `<FAULT_DATABASE>/`,
|
||||
символы и `..` — как у `put-object`);
|
||||
- сценарии «Безопасность сверки»: «Объект, на который ссылается строка,
|
||||
не удаляется», «Предел не останавливает уборку зависших» — в дельте и
|
||||
основном спеке одинаково;
|
||||
- тесты `test_reconcile_keeps_referenced_objects` (проба 1 verify) и
|
||||
`test_reconcile_limit_keeps_cleanup` (проба 2).
|
||||
|
||||
Ветки кода верны (пробы verify зелёные), поэтому красный прогон — на
|
||||
временных регрессиях `attachment_reconcile.py` (без перепроверки ссылок
|
||||
у объекта без строки, уборка зависших под пределом), затем регрессии
|
||||
убираются.
|
||||
|
||||
Прогоны 2026-10-22 (`make failure_checks FAULT_ARGS='-k …'`): на коде
|
||||
`a6071da` оба теста W1 — passed (ветки верны); на временных регрессиях —
|
||||
2 failed за 39 с: `<Z>/original` — `orphan_object` вместо
|
||||
`unknown_object`, зависшая загрузка не убрана (`{}` вместо
|
||||
`stale_pending`). Регрессии убраны, `git diff src/` — пусто.
|
||||
- [x] 13.2 W2. Строка с ключом вне `<база>/attachments/`: сверка делает
|
||||
HEAD чужого префикса и помечает строку. Тест
|
||||
`test_reconcile_foreign_key_untouched` (красный на текущем коде:
|
||||
`missing_object` и пометка), затем код: такая строка `ready` или
|
||||
зависшая загрузка — «чужой объект» (`unknown_object`) без HEAD, без
|
||||
пометки и без уборки; HEAD, пометка и снятие пометки ещё раз проверяют
|
||||
префикс. Сценарий «Ключ вне префикса вложений не трогается», класс
|
||||
«чужой объект» и абзац о префиксах — в дельте и основном спеке.
|
||||
|
||||
Красный прогон на `a6071da` (вместе с W1, 60 с): 1 failed —
|
||||
dry-run назвал готовую строку `missing_object`, зависшую —
|
||||
`stale_pending`, а не `unknown_object`. Сервис уборки такую зависшую
|
||||
загрузку убирает и после правки — `KNOWN_ISSUES.md` (design, п. 19).
|
||||
- [x] 13.3 S1. `stop_requested()` между двумя вызовами подряд: страница
|
||||
списка → БД, БД → HEAD в перепроверке, HEAD → `mark_lost` / `clear_lost`,
|
||||
ссылки → DELETE, перед проверкой bucket. Остановка ждёт не больше одного
|
||||
вызова: S3 ≤ 5 с, шаг с БД ≤ 6 с. `REPORT.md` — та же граница. Теста нет:
|
||||
два деградировавших хранилища в окне одного вызова по HTTP не
|
||||
воспроизвести детерминированно (design, «Уточнения apply», п. 20).
|
||||
- [x] 13.4 S2. Точность `REPORT.md`: 2 086 — только у плановой сверки при
|
||||
старте, длительность прохода 0,49–0,82 с, синтетика стресса — ещё две
|
||||
пометки за прогон. Заголовок в `evidence/reconcile/service.md` — при
|
||||
пересъёмке после commit (13.7).
|
||||
- [x] 13.5 S3. AGENTS.md, карта evidence: `evidence/reconcile/`,
|
||||
`evidence/s3/cleaner-list.md`, `evidence/migrations/lost-at.md`.
|
||||
- [x] 13.6 S4. Перепроверка в `--apply` при N ≫ предела — решение не
|
||||
делать в этом change (design, «Уточнения apply», п. 21), передано в
|
||||
`PLAN.md`, `track2-reconcile-cost`.
|
||||
- [ ] 13.7 S5. `driver.py reconcile-signal` — код 1 разового прохода по
|
||||
SIGTERM, пока вызов S3 ждёт замороженный S3 (только не рабочий проект
|
||||
compose). После commit основной сессии — снимок на временном стенде в
|
||||
`evidence/reconcile/service.md`, заголовок S2 там же, `make
|
||||
failure_checks` → `evidence/tests/failure-checks.md`, строки `REPORT.md`
|
||||
с числом проверок.
|
||||
|
||||
Сделано на дереве: команда, `SKILL.md`, AGENTS.md; на рабочем проекте —
|
||||
отказ, код 2; функциональная проверка на временном проекте `rcsig`
|
||||
(`docker-compose.yml` + override хранилищ на tmpfs, синтетические
|
||||
секреты, образ из `make failure_checks`): код 1, `interrupted_by: stop`,
|
||||
«Stopped cleaner» `exit_code` 1, `docker stop` 4,9 с, PASS; проект
|
||||
удалён, volumes — 155. Снимок evidence — после commit (открыто).
|
||||
- [x] 13.8 Проверки на дереве: `make lint`, `make check`, `make validate
|
||||
PYTHON=.venv/bin/python`, `openspec validate track2-reconciler
|
||||
--strict` и `--specs`, `make failure_checks`, `make student_test
|
||||
BASE_URL=http://localhost:8090`.
|
||||
|
||||
2026-10-22: lint, check, validate — PASS; `openspec validate` — valid,
|
||||
`--specs --strict` — 24 passed; `make failure_checks` — **48 passed** за
|
||||
536 с, crash markers 0, `results: {'fault': 0, 'postgres': 0}`,
|
||||
контейнеров проекта отказов 0, volumes 155; `make student_test
|
||||
BASE_URL=http://localhost:8090` — 198 passed, «coverage: 243 scenarios
|
||||
in 13 specs, 226 tested (61 by make failure_checks), 17 excluded».
|
||||
|
||||
@@ -182,9 +182,12 @@ PostgreSQL и находить расхождения шести классов:
|
||||
- **оригинал вернулся** — оригинал вложения помечен потерянным
|
||||
(требование «Потерянный оригинал»), а объект снова есть с тем же
|
||||
размером;
|
||||
- **чужой объект** — объект под префиксом вложений, ключа такого вида
|
||||
API не пишет, либо ключ вида `<id>/original`, у строки которого
|
||||
другой ключ.
|
||||
- **чужой объект** — то, что сверка не меняет и оставляет оператору:
|
||||
- объект под префиксом вложений, ключа такого вида API не пишет;
|
||||
- объект с ключом вида `<id>/original`, у строки которого другой ключ
|
||||
или на который ссылается строка другого `id`;
|
||||
- ключ вне префикса вложений своей базы в метаданных вложения: объект
|
||||
по такому ключу сверка не читает.
|
||||
|
||||
Сверку SHALL выполнять процесс уборщика, а не реплики API: разовым
|
||||
проходом (`make reconcile` или команда сверки в контейнере уборщика) и
|
||||
@@ -196,7 +199,9 @@ SHALL ничего не менять (dry-run). С `--apply` он SHALL испр
|
||||
- зависшую загрузку — убрать тем же порядком, что уборщик;
|
||||
- вернувшийся оригинал — снять пометку.
|
||||
|
||||
Чужой объект сверка MUST NOT удалять: он попадает только в отчёт.
|
||||
Чужой объект сверка MUST NOT удалять, а вложение, метаданные которого
|
||||
ведут к нему, — помечать или убирать: чужой объект попадает только в
|
||||
отчёт.
|
||||
|
||||
Отчёт SHALL называть по каждому расхождению класс, ключ объекта, `id`
|
||||
вложения, если он известен, и возраст. Итог прохода SHALL называть:
|
||||
@@ -288,7 +293,9 @@ Grace — тот же, что у уборщика (capability `service-configura
|
||||
блокировкой, что уборщик.
|
||||
|
||||
Объекты других баз и ключи вне префикса вложений своей базы сверка MUST
|
||||
NOT читать и менять.
|
||||
NOT читать и менять. Вложение, в метаданных которого такой ключ, —
|
||||
готовое или зависшую загрузку — она называет в отчёте чужим объектом, не
|
||||
проверяет его объект, не помечает и не убирает.
|
||||
|
||||
#### Scenario: Свежие не тронуты
|
||||
|
||||
@@ -322,6 +329,35 @@ NOT читать и менять.
|
||||
ошибка называет число изменений и предел, код выхода 3
|
||||
- **AND** с пределом не меньше их числа повтор исправляет все
|
||||
|
||||
#### Scenario: Предел не останавливает уборку зависших
|
||||
|
||||
- **WHEN** загрузка оборвалась между записью объекта и фиксацией `ready`
|
||||
больше grace назад, расхождений, которые сверка исправила бы, больше
|
||||
предела, и выполняется сверка с `--apply`
|
||||
- **THEN** код выхода 3, ни одно вложение не помечено, а зависшей
|
||||
загрузки нет — ни метаданных, ни объекта
|
||||
|
||||
#### Scenario: Объект, на который ссылается строка, не удаляется
|
||||
|
||||
- **WHEN** всё это старше grace, и выполняется сверка с `--apply`:
|
||||
- у готового вложения X в метаданных другой ключ под префиксом
|
||||
вложений, объекта по нему нет, а объект `<X>/original` на месте;
|
||||
- готовое вложение Y ссылается на ключ `<Z>/original`, строки Z нет, и
|
||||
объекты `<Y>/original` и `<Z>/original` на месте
|
||||
- **THEN** результат такой:
|
||||
- все три объекта на месте, отчёт называет их чужими, код выхода 3;
|
||||
- X помечено потерянным: объекта по его ключу нет;
|
||||
- Y не помечено: объект по его ключу есть
|
||||
|
||||
#### Scenario: Ключ вне префикса вложений не трогается
|
||||
|
||||
- **WHEN** у готового вложения и у зависшей загрузки старше grace в
|
||||
метаданных ключ вне префикса вложений своей базы, и выполняется сверка
|
||||
с `--apply`
|
||||
- **THEN** отчёт называет оба чужими, код выхода 3, вложение не помечено,
|
||||
а метаданные зависшей загрузки и объекты обоих под префиксом вложений
|
||||
на месте
|
||||
|
||||
#### Scenario: Сверка под нагрузкой
|
||||
|
||||
- **WHEN** выполняются все условия:
|
||||
|
||||
@@ -46,6 +46,14 @@ def originals_prefix(storage: ObjectStorage) -> str:
|
||||
)
|
||||
|
||||
|
||||
def is_own_key(storage: ObjectStorage, *, key: str) -> bool:
|
||||
"""Ключ под префиксом вложений своей базы. Ключ строки вне его сверка
|
||||
не читает и не меняет (design change `track2-reconciler`, «Уточнения
|
||||
apply», п. 19)."""
|
||||
prefix = originals_prefix(storage)
|
||||
return key.startswith(prefix) and len(key) > len(prefix)
|
||||
|
||||
|
||||
def parse_original_key(storage: ObjectStorage, *, key: str) -> UUID | None:
|
||||
"""`id` вложения из ключа `<namespace>/attachments/<id>/original`, где
|
||||
`id` — UUID в записи сервера (нижний регистр, с дефисами); ключ другого
|
||||
|
||||
@@ -17,9 +17,12 @@
|
||||
перепроверяет своё условие.
|
||||
|
||||
Удаляется только объект без строки и зависшая загрузка; строки `ready`,
|
||||
объекты, на которые ссылается строка, и чужие ключи — никогда. Отказ
|
||||
хранилища на шагах 1–4 прерывает проход без единого изменения, на шаге 5 —
|
||||
после текущего действия; каждое действие безопасно повторять.
|
||||
объекты, на которые ссылается строка, и чужие ключи — никогда. Строка с
|
||||
ключом вне префикса вложений своей базы — чужой объект: её объект сверка
|
||||
не читает, строку не помечает и не убирает. Отказ хранилища на шагах 1–4
|
||||
прерывает проход без единого изменения, на шаге 5 — после текущего
|
||||
действия; каждое действие безопасно повторять. Сигнал проверяется перед
|
||||
каждым вызовом хранилища: остановка ждёт не больше одного вызова.
|
||||
"""
|
||||
|
||||
import time
|
||||
@@ -145,9 +148,11 @@ class AttachmentReconcileService:
|
||||
"""Один проход сверки; `older_than` — порог grace прохода.
|
||||
|
||||
Без `apply` ничего не меняет. Отказ S3 или PostgreSQL прерывает
|
||||
проход (`interrupted_by`); сигнал (`stop_requested()`) — между
|
||||
страницами и действиями, текущий вызов доводится до конца. Отказ,
|
||||
пришедший уже после сигнала, считается остановкой.
|
||||
проход (`interrupted_by`); сигнал (`stop_requested()`)
|
||||
проверяется перед каждым вызовом S3 и шагом с БД, текущий вызов
|
||||
доводится до конца: остановка ждёт не больше одного вызова (S3 —
|
||||
`[s3] timeout_seconds`, шаг с БД — его срок). Отказ, пришедший уже
|
||||
после сигнала, считается остановкой.
|
||||
"""
|
||||
started = time.monotonic()
|
||||
log = logger.bind(method="reconcile", apply=apply)
|
||||
@@ -222,8 +227,7 @@ class AttachmentReconcileService:
|
||||
выражением; классификация без новых вызовов S3."""
|
||||
token: str | None = None
|
||||
while True:
|
||||
if stop_requested():
|
||||
raise _Stopped
|
||||
_check_stop(stop_requested)
|
||||
page = await attachment_object_repo.list_originals(
|
||||
self.storage,
|
||||
token=token,
|
||||
@@ -241,6 +245,8 @@ class AttachmentReconcileService:
|
||||
keys = {key for key, value in parsed.items() if value is None}
|
||||
rows: list[dataclasses.AttachmentFullDTO] = []
|
||||
if parsed:
|
||||
# страница списка уже могла ждать S3 до срока
|
||||
_check_stop(stop_requested)
|
||||
async with self.db_scope() as db_session:
|
||||
rows = await attachment_repo.get_attachments_for_objects(
|
||||
db_session=db_session,
|
||||
@@ -334,11 +340,12 @@ class AttachmentReconcileService:
|
||||
page_size: int,
|
||||
stop_requested: Callable[[], bool],
|
||||
) -> None:
|
||||
"""Шаг 2, БД → S3: строки `ready`, ключей которых нет в списке."""
|
||||
"""Шаг 2, БД → S3: строки `ready`, ключей которых нет в списке.
|
||||
Ключ строки вне префикса вложений своей базы список не видит и
|
||||
сверка не читает: чужой объект, а не метаданные без объекта."""
|
||||
after: UUID | None = None
|
||||
while True:
|
||||
if stop_requested():
|
||||
raise _Stopped
|
||||
_check_stop(stop_requested)
|
||||
async with self.db_scope() as db_session:
|
||||
rows = await attachment_repo.get_ready_page(
|
||||
db_session=db_session,
|
||||
@@ -354,9 +361,12 @@ class AttachmentReconcileService:
|
||||
elif row.updated_at >= older_than:
|
||||
state.fresh_rows += 1
|
||||
else:
|
||||
state.candidates.append(
|
||||
_finding(ReconcileFinding.MISSING_OBJECT, row, state),
|
||||
kind = (
|
||||
ReconcileFinding.MISSING_OBJECT
|
||||
if self._own_key(row.object_key)
|
||||
else ReconcileFinding.UNKNOWN_OBJECT
|
||||
)
|
||||
state.candidates.append(_finding(kind, row, state))
|
||||
if len(rows) < page_size:
|
||||
return
|
||||
after = rows[-1].id
|
||||
@@ -369,11 +379,13 @@ class AttachmentReconcileService:
|
||||
batch_size: int,
|
||||
stop_requested: Callable[[], bool],
|
||||
) -> None:
|
||||
"""Шаг 3: зависшие загрузки — те же кандидаты, что у уборщика."""
|
||||
"""Шаг 3: зависшие загрузки — те же кандидаты, что у уборщика.
|
||||
Зависшая загрузка с ключом вне префикса вложений своей базы —
|
||||
чужой объект: сверка её не убирает (уборка удалила бы объект по
|
||||
этому ключу)."""
|
||||
after: tuple[datetime, UUID] | None = None
|
||||
while True:
|
||||
if stop_requested():
|
||||
raise _Stopped
|
||||
_check_stop(stop_requested)
|
||||
async with self.db_scope() as db_session:
|
||||
rows = await attachment_repo.get_stale_pending(
|
||||
db_session=db_session,
|
||||
@@ -383,7 +395,11 @@ class AttachmentReconcileService:
|
||||
)
|
||||
state.candidates.extend(
|
||||
dataclasses.ReconcileFindingDTO(
|
||||
kind=ReconcileFinding.STALE_PENDING,
|
||||
kind=(
|
||||
ReconcileFinding.STALE_PENDING
|
||||
if self._own_key(row.object_key)
|
||||
else ReconcileFinding.UNKNOWN_OBJECT
|
||||
),
|
||||
object_key=row.object_key,
|
||||
attachment_id=row.id,
|
||||
age_seconds=state.age(row.created_at),
|
||||
@@ -406,14 +422,15 @@ class AttachmentReconcileService:
|
||||
"""Шаг 4: каждый кандидат подтверждается в БД и S3 до решения;
|
||||
не подтвердился — выбывает без записи."""
|
||||
if any(item.kind in NEEDS_BUCKET for item in state.candidates):
|
||||
_check_stop(stop_requested)
|
||||
await attachment_object_repo.probe_originals(self.storage)
|
||||
for candidate in state.candidates:
|
||||
if stop_requested():
|
||||
raise _Stopped
|
||||
_check_stop(stop_requested)
|
||||
confirmed = await self._recheck(
|
||||
candidate,
|
||||
older_than=older_than,
|
||||
state=state,
|
||||
stop_requested=stop_requested,
|
||||
)
|
||||
if confirmed is not None:
|
||||
state.confirmed.append(confirmed)
|
||||
@@ -424,6 +441,7 @@ class AttachmentReconcileService:
|
||||
*,
|
||||
older_than: datetime,
|
||||
state: _Pass,
|
||||
stop_requested: Callable[[], bool],
|
||||
) -> dataclasses.ReconcileFindingDTO | None:
|
||||
kind = candidate.kind
|
||||
if kind in (
|
||||
@@ -433,15 +451,20 @@ class AttachmentReconcileService:
|
||||
# зависшую загрузку уборщик перепроверяет под блокировкой сам,
|
||||
# чужой объект сверка не трогает
|
||||
return candidate
|
||||
if not self._own_key(candidate.object_key):
|
||||
# объект вне префикса вложений своей базы не читается
|
||||
return None
|
||||
if kind == ReconcileFinding.ORPHAN_OBJECT:
|
||||
return await self._recheck_orphan(
|
||||
candidate,
|
||||
older_than=older_than,
|
||||
state=state,
|
||||
stop_requested=stop_requested,
|
||||
)
|
||||
row = await self._get_row(candidate)
|
||||
if row is None or row.status != AttachmentStatus.READY:
|
||||
return None
|
||||
_check_stop(stop_requested)
|
||||
stored = await attachment_object_repo.head_original(
|
||||
self.storage,
|
||||
key=candidate.object_key,
|
||||
@@ -469,6 +492,7 @@ class AttachmentReconcileService:
|
||||
*,
|
||||
older_than: datetime,
|
||||
state: _Pass,
|
||||
stop_requested: Callable[[], bool],
|
||||
) -> dataclasses.ReconcileFindingDTO | None:
|
||||
"""Строки с этим `id` или ключом нет, объект на месте и старше
|
||||
порога. Строка другого `id` ссылается на ключ — чужой объект."""
|
||||
@@ -481,6 +505,7 @@ class AttachmentReconcileService:
|
||||
return replace(candidate, kind=ReconcileFinding.UNKNOWN_OBJECT)
|
||||
if references:
|
||||
return None
|
||||
_check_stop(stop_requested)
|
||||
stored = await attachment_object_repo.head_original(
|
||||
self.storage,
|
||||
key=candidate.object_key,
|
||||
@@ -504,6 +529,9 @@ class AttachmentReconcileService:
|
||||
return None
|
||||
return row
|
||||
|
||||
def _own_key(self, key: str) -> bool:
|
||||
return attachment_object_repo.is_own_key(self.storage, key=key)
|
||||
|
||||
async def _references(
|
||||
self,
|
||||
candidate: dataclasses.ReconcileFindingDTO,
|
||||
@@ -544,12 +572,12 @@ class AttachmentReconcileService:
|
||||
for index, finding in enumerate(state.confirmed):
|
||||
if finding.kind != kind:
|
||||
continue
|
||||
if stop_requested():
|
||||
raise _Stopped
|
||||
_check_stop(stop_requested)
|
||||
if kind in NEEDS_BUCKET and not bucket_probed:
|
||||
# отсутствие объекта — снова только при живом bucket
|
||||
await attachment_object_repo.probe_originals(self.storage)
|
||||
bucket_probed = True
|
||||
_check_stop(stop_requested)
|
||||
action = await self._fix(
|
||||
finding,
|
||||
older_than=older_than,
|
||||
@@ -579,9 +607,14 @@ class AttachmentReconcileService:
|
||||
log=logger.bind(method="reconcile"),
|
||||
)
|
||||
return ReconcileAction.REMOVED_PENDING if removed else None
|
||||
if not self._own_key(finding.object_key):
|
||||
# объект вне префикса вложений своей базы не читается и не
|
||||
# меняется; классификация такого не подтверждает
|
||||
return None
|
||||
if kind == ReconcileFinding.ORPHAN_OBJECT:
|
||||
if await self._references(finding):
|
||||
return None
|
||||
_check_stop(stop_requested)
|
||||
await attachment_object_repo.delete_original(
|
||||
self.storage,
|
||||
key=finding.object_key,
|
||||
@@ -591,6 +624,8 @@ class AttachmentReconcileService:
|
||||
self.storage,
|
||||
key=finding.object_key,
|
||||
)
|
||||
# HEAD мог ждать S3 до срока: шаг с БД — только без сигнала
|
||||
_check_stop(stop_requested)
|
||||
if kind == ReconcileFinding.RESTORED_OBJECT:
|
||||
if stored is None or stored.size != finding.size_bytes:
|
||||
return None
|
||||
@@ -711,6 +746,13 @@ class AttachmentReconcileService:
|
||||
return result
|
||||
|
||||
|
||||
def _check_stop(stop_requested: Callable[[], bool]) -> None:
|
||||
"""Перед вызовом хранилища: сигнал пришёл — проход останавливается, и
|
||||
остановка ждёт не больше одного вызова."""
|
||||
if stop_requested():
|
||||
raise _Stopped
|
||||
|
||||
|
||||
def _is_fresh(stored: StoredObjectInfo, *, older_than: datetime) -> bool:
|
||||
"""Объект записан или изменён не раньше порога; без времени — свежий:
|
||||
удалять без доказанного возраста нельзя."""
|
||||
|
||||
@@ -76,6 +76,10 @@
|
||||
age-row <id> <секунд> сдвинуть created_at и updated_at строки
|
||||
назад на одно и то же время: CHECK и
|
||||
непомеченность pending сохраняются
|
||||
set-key <id> <ключ> изменить object_key строки (только БД,
|
||||
bucket не трогается): ключ — под
|
||||
`<FAULT_DATABASE>/`, в том числе вне
|
||||
`attachments/`, символы [A-Za-z0-9._/-]
|
||||
lost-ids `id` вложений с потерянным оригиналом
|
||||
(lost_at задан)
|
||||
reconcile dry-run|apply [<предел>]
|
||||
@@ -386,6 +390,10 @@ SET created_at = created_at - make_interval(secs => :'mode'::float8),
|
||||
updated_at = updated_at - make_interval(secs => :'mode'::float8)
|
||||
WHERE id = :'title'::uuid RETURNING id;
|
||||
"""
|
||||
SET_KEY_SQL = """\
|
||||
UPDATE attachments SET object_key = :'mode'
|
||||
WHERE id = :'title'::uuid RETURNING id;
|
||||
"""
|
||||
LOST_IDS_SQL = """\
|
||||
SELECT id FROM attachments WHERE lost_at IS NOT NULL ORDER BY id;
|
||||
"""
|
||||
@@ -733,6 +741,22 @@ def object_key(key: str) -> str:
|
||||
return key
|
||||
|
||||
|
||||
def row_key(key: str) -> str:
|
||||
"""Ключ для `set-key`: под `<FAULT_DATABASE>/` (в том числе вне
|
||||
`attachments/` — ключ «вне префикса вложений»), иначе — отказ (код 2).
|
||||
Меняется только строка БД стенда, bucket hook не трогает."""
|
||||
_, database = storage_names()
|
||||
prefix = f"{database}/"
|
||||
if (
|
||||
not key.startswith(prefix)
|
||||
or len(key) == len(prefix)
|
||||
or not OBJECT_KEY_RE.fullmatch(key)
|
||||
or ".." in key.split("/")
|
||||
):
|
||||
raise HookError(f"row key must be under {prefix}: {key!r}")
|
||||
return key
|
||||
|
||||
|
||||
def put_object(project: str, key: str) -> str:
|
||||
"""Объект с телом из stdin мимо API — процессом в контейнере API."""
|
||||
result = subprocess.run(
|
||||
@@ -964,6 +988,8 @@ def run(project: str, action: str, args: list[str]) -> str:
|
||||
args[0],
|
||||
str(float(args[1])),
|
||||
)
|
||||
if action == "set-key" and len(args) == 2:
|
||||
return row_change(project, SET_KEY_SQL, args[0], row_key(args[1]))
|
||||
if action == "lost-ids" and not args:
|
||||
return psql(project, LOST_IDS_SQL)
|
||||
if action == "reconcile" and args:
|
||||
|
||||
@@ -1848,6 +1848,178 @@ def test_reconcile_change_limit(
|
||||
assert ids <= lost_ids(stand)
|
||||
|
||||
|
||||
@pytest.mark.spec(
|
||||
"storage-consistency",
|
||||
"Объект, на который ссылается строка, не удаляется",
|
||||
)
|
||||
def test_reconcile_keeps_referenced_objects(
|
||||
api: Api,
|
||||
stand: Stand,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
"""Замечание W1 verify: объект `<X>/original`, у строки которого другой
|
||||
ключ, и объект `<Z>/original`, на который ссылается строка Y другого
|
||||
`id`, — чужие, а не объекты без метаданных."""
|
||||
data = images.sample_png()
|
||||
x, y = (api.upload(alice, chat["id"], data) for _ in range(2))
|
||||
z = str(uuid.uuid4())
|
||||
keys = {
|
||||
"x": object_key(x["id"]),
|
||||
"y": object_key(y["id"]),
|
||||
"z": object_key(z),
|
||||
# ключ X: под префиксом вложений, объекта по нему нет
|
||||
"other": f"{FAULT_DATABASE}/attachments/x-other-{uuid.uuid4()}",
|
||||
}
|
||||
put_object(stand, keys["z"], data)
|
||||
try:
|
||||
stand("set-key", x["id"], keys["other"])
|
||||
stand("set-key", y["id"], keys["z"])
|
||||
for item in (x, y):
|
||||
stand("age-row", item["id"], str(AGED_S))
|
||||
# объект Z записан только что: после G + 1 все объекты старше grace
|
||||
time.sleep(OBJECT_AGE_WAIT_S)
|
||||
unknown = {keys[name]: "unknown_object" for name in ("x", "y", "z")}
|
||||
dry = run_reconcile(stand, "dry-run")
|
||||
assert dry.kinds(FOUND, keys=keys.values()) == unknown | {
|
||||
keys["other"]: "missing_object",
|
||||
}
|
||||
assert dry.exit_code == 3
|
||||
|
||||
applied = run_reconcile(stand, "apply")
|
||||
assert applied.kinds(FIXED, keys=keys.values()) == {
|
||||
keys["other"]: "missing_object",
|
||||
}
|
||||
assert applied.kinds(FOUND, keys=keys.values()) == unknown
|
||||
assert applied.exit_code == 3
|
||||
# ни один из трёх объектов не удалён, строки на месте
|
||||
assert {x["id"], y["id"], z} <= stored_ids(stand)
|
||||
rows = attachment_rows(stand)
|
||||
assert rows[x["id"]] == rows[y["id"]] == "ready"
|
||||
# X без объекта по своему ключу помечено, у Y объект по ключу есть
|
||||
lost = lost_ids(stand)
|
||||
assert x["id"] in lost
|
||||
assert y["id"] not in lost
|
||||
finally:
|
||||
# прежние ключи; объект Z, на который больше никто не ссылается, —
|
||||
# прочь, чтобы следующие проходы не удаляли его как свой
|
||||
stand("set-key", x["id"], keys["x"])
|
||||
stand("set-key", y["id"], keys["y"])
|
||||
stand("delete-object", keys["z"])
|
||||
|
||||
|
||||
@pytest.mark.spec(
|
||||
"storage-consistency",
|
||||
"Предел не останавливает уборку зависших",
|
||||
)
|
||||
def test_reconcile_limit_keeps_cleanup(
|
||||
api: Api,
|
||||
stand: Stand,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
"""Замечание W1 verify: отказ по пределу не мешает уборке зависшей
|
||||
загрузки — её уборщик делает и без сверки."""
|
||||
data = images.sample_png()
|
||||
limit = 2
|
||||
# уборщик стенда стоит: зависшую загрузку P должна убрать сверка
|
||||
with outage(stand, "stop", "cleaner"):
|
||||
filename = fault_filename()
|
||||
before = attachment_rows(stand)
|
||||
stand("fail-attachments", "commit", filename)
|
||||
try:
|
||||
assert_error(
|
||||
upload_raw(api, alice, chat, data, filename=filename),
|
||||
503,
|
||||
)
|
||||
finally:
|
||||
stand("clear-fail-attachments")
|
||||
(pending,) = new_ids(before, attachment_rows(stand))
|
||||
assert pending in stored_ids(stand)
|
||||
stand("age-row", pending, str(AGED_S))
|
||||
batch = [api.upload(alice, chat["id"], data) for _ in range(3)]
|
||||
ids = {item["id"] for item in batch}
|
||||
for item in batch:
|
||||
lose_original(stand, item)
|
||||
|
||||
refused = run_reconcile(stand, "apply", limit)
|
||||
assert refused.exit_code == 3
|
||||
(error,) = refused.events(LIMIT_EXCEEDED)
|
||||
assert error["changes"] >= len(batch), error
|
||||
assert refused.finished["refused"] is True
|
||||
assert refused.kinds(FIXED, ids={pending}) == {
|
||||
pending: "stale_pending",
|
||||
}
|
||||
(record,) = refused.about(FIXED, ids={pending})
|
||||
assert record["action"] == "removed_pending"
|
||||
assert pending not in attachment_rows(stand)
|
||||
assert pending not in stored_ids(stand)
|
||||
# изменений под пределом нет: ни одной пометки
|
||||
assert not refused.about(FIXED, ids=ids)
|
||||
assert not ids & lost_ids(stand)
|
||||
# стенд — без внесённых потерь для следующих тестов
|
||||
applied = run_reconcile(stand, "apply", 100)
|
||||
assert set(applied.kinds(FIXED, ids=ids)) == ids
|
||||
|
||||
|
||||
@pytest.mark.spec(
|
||||
"storage-consistency",
|
||||
"Ключ вне префикса вложений не трогается",
|
||||
)
|
||||
def test_reconcile_foreign_key_untouched(
|
||||
api: Api,
|
||||
stand: Stand,
|
||||
alice: Actor,
|
||||
chat: dict[str, Any],
|
||||
) -> None:
|
||||
"""Замечание W2 verify: строка с ключом вне `<база>/attachments/` —
|
||||
готовая и зависшая загрузка — только в отчёте как чужой объект: сверка
|
||||
не делает HEAD чужого префикса, не помечает и не убирает строку."""
|
||||
data = images.sample_png()
|
||||
# уборщик стенда стоит: иначе зависшую загрузку убрал бы он
|
||||
with outage(stand, "stop", "cleaner"):
|
||||
ready = api.upload(alice, chat["id"], data)
|
||||
filename = fault_filename()
|
||||
before = attachment_rows(stand)
|
||||
stand("fail-attachments", "commit", filename)
|
||||
try:
|
||||
assert_error(
|
||||
upload_raw(api, alice, chat, data, filename=filename),
|
||||
503,
|
||||
)
|
||||
finally:
|
||||
stand("clear-fail-attachments")
|
||||
(pending,) = new_ids(before, attachment_rows(stand))
|
||||
ids = {ready["id"], pending}
|
||||
try:
|
||||
for item in ids:
|
||||
# префикс своей базы, но не вложений: список его не видит
|
||||
stand("set-key", item, f"{FAULT_DATABASE}/elsewhere/{item}")
|
||||
stand("age-row", item, str(AGED_S))
|
||||
unknown = dict.fromkeys(ids, "unknown_object")
|
||||
dry = run_reconcile(stand, "dry-run")
|
||||
assert dry.kinds(FOUND, ids=ids) == unknown
|
||||
assert dry.exit_code == 3
|
||||
applied = run_reconcile(stand, "apply")
|
||||
assert applied.kinds(FOUND, ids=ids) == unknown
|
||||
assert not applied.about(FIXED, ids=ids)
|
||||
assert applied.exit_code == 3
|
||||
# ни пометки, ни уборки: строки и объекты под префиксом на месте
|
||||
rows = attachment_rows(stand)
|
||||
assert (rows.get(ready["id"]), rows.get(pending)) == (
|
||||
"ready",
|
||||
"pending",
|
||||
)
|
||||
assert ready["id"] not in lost_ids(stand)
|
||||
assert ids <= stored_ids(stand)
|
||||
finally:
|
||||
# прежние ключи у тех строк, что остались: зависшую загрузку
|
||||
# после теста уберёт уборщик стенда вместе с её объектом
|
||||
rows = attachment_rows(stand)
|
||||
for item in ids & set(rows):
|
||||
stand("set-key", item, object_key(item))
|
||||
|
||||
|
||||
@pytest.mark.spec("storage-consistency", "S3 недоступен во время сверки")
|
||||
def test_reconcile_object_storage_stopped(
|
||||
api: Api,
|
||||
|
||||
Reference in New Issue
Block a user