test: measure aged reconciliation scans and cross-replica retries

This commit is contained in:
2026-11-06 18:10:55 +03:00
parent 14c659fda4
commit 9d9d425205
5 changed files with 87 additions and 2 deletions
+1 -1
View File
@@ -96,7 +96,7 @@ docker compose run --rm --no-deps research
Проверяются реальные PG INSERT failure после PUT, ошибка подключения S3, потеря подтверждения после успешного COMMIT, PG DELETE failure после удаления S3, повторный dry-run после частичного удаления, S3 delete failure/recovery, fresh orphan, old intent с fresh bytes, live writer lock, missing used metadata. Временные исследовательские ресурсы удаляются в finally, рабочая messenger не очищается.
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Перед измерением все добавленные объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
### Результат исследовательского прогона
+1 -1
View File
@@ -36,7 +36,7 @@ docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2
Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала.
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Перед каждым размером объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
## Память десяти конкурентных upload
+53
View File
@@ -0,0 +1,53 @@
"""Summarize the saved raw reconciliation measurements without re-running them."""
import argparse
import json
import statistics
from pathlib import Path
def main():
parser = argparse.ArgumentParser()
parser.add_argument("input", nargs="?", default="evidence/reconcile-study.json")
parser.add_argument("--output", default="evidence/reconcile-summary.md")
args = parser.parse_args()
result = json.loads(Path(args.input).read_text())
checks = result["checks"]
lines = [
"# Исследование согласованности PostgreSQL/S3",
"",
f"Дата начала (UTC): {result['started_at']}.",
"",
f"Успешных проверок: {sum(c['passed'] for c in checks)}/{len(checks)}.",
"",
"| Добавлено intact | Просмотрено metadata | Медиана обхода, с |",
"|---:|---:|---:|",
]
for size in sorted({r["seeded_intact"] for r in result["scan_cost"]}):
runs = [r for r in result["scan_cost"] if r["seeded_intact"] == size]
lines.append(
f"| {size} | {runs[0]['metadata_scanned']} | {statistics.median(r['duration_seconds'] for r in runs):.6f} |"
)
lines += [
"",
"По три dry-run на размер, page_size100, прогретый локальный стенд.",
"Дополнительные три intact fault fixtures входят в фактический scan.",
"",
f"Первый apply: удалено intent {result['apply']['deleted_intents']}, "
f"операций удаления объекта {result['apply']['deleted_objects']}, "
f"missing помечено failed {result['apply']['marked_failed']}.",
"Счётчик удаления объекта — число успешных идемпотентных DELETE, включая отсутствие bytes у intent.",
"",
f"Временные ресурсы удалены: {result['temporary_resources_deleted']}.",
"",
"## Проверенные инварианты",
"",
]
lines += [f"- {'PASS' if c['passed'] else 'FAIL'}: {c['name']}" for c in checks]
lines += ["", "## Ограничения", ""] + ["- " + s for s in result["limitations"]]
Path(args.output).write_text("\n".join(lines) + "\n")
print(args.output)
if __name__ == "__main__":
main()
+2
View File
@@ -292,6 +292,8 @@ def main():
for _ in range(target - current):
upload("scan.png")
current = target
# Equalize age policy: no point may skip freshly seeded object checks.
time.sleep(2.2)
with store.connection() as conn:
conn.execute("UPDATE attachments SET created_at=now()-interval '1 day'")
for repeat in range(3):
+30
View File
@@ -213,3 +213,33 @@ def test_internal_jpeg_bytesio_fallback():
stream = BytesIO(image_bytes("JPEG"))
assert validate_image(stream, "image/jpeg") == ("image/jpeg", 32, 20)
assert stream.tell() == 0
def test_parallel_same_key_across_replicas(scenario):
import threading
from concurrent.futures import ThreadPoolExecutor
c, alice, _, _, chat = scenario
key = uuid.uuid4().hex
barrier = threading.Barrier(10)
path = f"/api/v1/chats/{chat['id']}/messages"
body = {"text": "concurrent idempotent message"}
def send(_):
barrier.wait()
return Client(c.base).call(
"POST",
path,
201,
actor=alice,
body=body,
headers={"Idempotency-Key": key},
schema="Message",
)
with ThreadPoolExecutor(max_workers=10) as pool:
responses = list(pool.map(send, range(10)))
assert len({r["json"]["id"] for r in responses}) == 1
assert len({r["headers"]["X-Instance-Id"] for r in responses}) >= 2
history = c.call("GET", path, actor=alice, schema="MessagePage")["json"]["items"]
assert sum(m["id"] == responses[0]["json"]["id"] for m in history) == 1