test: measure aged reconciliation scans and cross-replica retries
This commit is contained in:
@@ -96,7 +96,7 @@ docker compose run --rm --no-deps research
|
||||
|
||||
Проверяются реальные PG INSERT failure после PUT, ошибка подключения S3, потеря подтверждения после успешного COMMIT, PG DELETE failure после удаления S3, повторный dry-run после частичного удаления, S3 delete failure/recovery, fresh orphan, old intent с fresh bytes, live writer lock, missing used metadata. Временные исследовательские ресурсы удаляются в finally, рабочая messenger не очищается.
|
||||
|
||||
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
|
||||
Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Перед измерением все добавленные объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput.
|
||||
|
||||
### Результат исследовательского прогона
|
||||
|
||||
|
||||
+1
-1
@@ -36,7 +36,7 @@ docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2
|
||||
|
||||
Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала.
|
||||
|
||||
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
|
||||
Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Перед каждым размером объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA.
|
||||
|
||||
## Память десяти конкурентных upload
|
||||
|
||||
|
||||
@@ -0,0 +1,53 @@
|
||||
"""Summarize the saved raw reconciliation measurements without re-running them."""
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import statistics
|
||||
from pathlib import Path
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser()
|
||||
parser.add_argument("input", nargs="?", default="evidence/reconcile-study.json")
|
||||
parser.add_argument("--output", default="evidence/reconcile-summary.md")
|
||||
args = parser.parse_args()
|
||||
result = json.loads(Path(args.input).read_text())
|
||||
checks = result["checks"]
|
||||
lines = [
|
||||
"# Исследование согласованности PostgreSQL/S3",
|
||||
"",
|
||||
f"Дата начала (UTC): {result['started_at']}.",
|
||||
"",
|
||||
f"Успешных проверок: {sum(c['passed'] for c in checks)}/{len(checks)}.",
|
||||
"",
|
||||
"| Добавлено intact | Просмотрено metadata | Медиана обхода, с |",
|
||||
"|---:|---:|---:|",
|
||||
]
|
||||
for size in sorted({r["seeded_intact"] for r in result["scan_cost"]}):
|
||||
runs = [r for r in result["scan_cost"] if r["seeded_intact"] == size]
|
||||
lines.append(
|
||||
f"| {size} | {runs[0]['metadata_scanned']} | {statistics.median(r['duration_seconds'] for r in runs):.6f} |"
|
||||
)
|
||||
lines += [
|
||||
"",
|
||||
"По три dry-run на размер, page_size100, прогретый локальный стенд.",
|
||||
"Дополнительные три intact fault fixtures входят в фактический scan.",
|
||||
"",
|
||||
f"Первый apply: удалено intent {result['apply']['deleted_intents']}, "
|
||||
f"операций удаления объекта {result['apply']['deleted_objects']}, "
|
||||
f"missing помечено failed {result['apply']['marked_failed']}.",
|
||||
"Счётчик удаления объекта — число успешных идемпотентных DELETE, включая отсутствие bytes у intent.",
|
||||
"",
|
||||
f"Временные ресурсы удалены: {result['temporary_resources_deleted']}.",
|
||||
"",
|
||||
"## Проверенные инварианты",
|
||||
"",
|
||||
]
|
||||
lines += [f"- {'PASS' if c['passed'] else 'FAIL'}: {c['name']}" for c in checks]
|
||||
lines += ["", "## Ограничения", ""] + ["- " + s for s in result["limitations"]]
|
||||
Path(args.output).write_text("\n".join(lines) + "\n")
|
||||
print(args.output)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -292,6 +292,8 @@ def main():
|
||||
for _ in range(target - current):
|
||||
upload("scan.png")
|
||||
current = target
|
||||
# Equalize age policy: no point may skip freshly seeded object checks.
|
||||
time.sleep(2.2)
|
||||
with store.connection() as conn:
|
||||
conn.execute("UPDATE attachments SET created_at=now()-interval '1 day'")
|
||||
for repeat in range(3):
|
||||
|
||||
@@ -213,3 +213,33 @@ def test_internal_jpeg_bytesio_fallback():
|
||||
stream = BytesIO(image_bytes("JPEG"))
|
||||
assert validate_image(stream, "image/jpeg") == ("image/jpeg", 32, 20)
|
||||
assert stream.tell() == 0
|
||||
|
||||
|
||||
def test_parallel_same_key_across_replicas(scenario):
|
||||
import threading
|
||||
from concurrent.futures import ThreadPoolExecutor
|
||||
|
||||
c, alice, _, _, chat = scenario
|
||||
key = uuid.uuid4().hex
|
||||
barrier = threading.Barrier(10)
|
||||
path = f"/api/v1/chats/{chat['id']}/messages"
|
||||
body = {"text": "concurrent idempotent message"}
|
||||
|
||||
def send(_):
|
||||
barrier.wait()
|
||||
return Client(c.base).call(
|
||||
"POST",
|
||||
path,
|
||||
201,
|
||||
actor=alice,
|
||||
body=body,
|
||||
headers={"Idempotency-Key": key},
|
||||
schema="Message",
|
||||
)
|
||||
|
||||
with ThreadPoolExecutor(max_workers=10) as pool:
|
||||
responses = list(pool.map(send, range(10)))
|
||||
assert len({r["json"]["id"] for r in responses}) == 1
|
||||
assert len({r["headers"]["X-Instance-Id"] for r in responses}) >= 2
|
||||
history = c.call("GET", path, actor=alice, schema="MessagePage")["json"]["items"]
|
||||
assert sum(m["id"] == responses[0]["json"]["id"] for m in history) == 1
|
||||
|
||||
Reference in New Issue
Block a user