diff --git a/REPORT.md b/REPORT.md index bb25e15d..e1415258 100644 --- a/REPORT.md +++ b/REPORT.md @@ -96,7 +96,7 @@ docker compose run --rm --no-deps research Проверяются реальные PG INSERT failure после PUT, ошибка подключения S3, потеря подтверждения после успешного COMMIT, PG DELETE failure после удаления S3, повторный dry-run после частичного удаления, S3 delete failure/recovery, fresh orphan, old intent с fresh bytes, live writer lock, missing used metadata. Временные исследовательские ресурсы удаляются в finally, рабочая messenger не очищается. -Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput. +Стоимость обхода измеряется на10/100/1000 добавленных intact attachments, по3 dry-run, page_size100. Перед измерением все добавленные объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Точные размеры с учётом сохранённых fault fixtures находятся в JSON. Измеряются время и количество просмотренных объектов/метаданных; это SQL+S3 обход, не HTTP throughput. ### Результат исследовательского прогона diff --git a/research/README.md b/research/README.md index 05c9a4fa..15e5118e 100644 --- a/research/README.md +++ b/research/README.md @@ -36,7 +36,7 @@ docker compose run --rm --no-deps research > evidence/reconcile-repeat-raw.txt 2 Ошибки: настоящий trigger PostgreSQL после PUT; реальная ошибка подключения S3; успешный COMMIT с искусственно потерянным подтверждением; ошибка DELETE PostgreSQL после удаления bytes; ошибка S3 delete. Проверяются повтор, dry-run после сбоя, старый intent со свежим объектом, live row lock, missing used metadata и сохранность подтверждённого оригинала. -Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA. +Стоимость обхода: 10/100/1000 специально добавленных intact attachment, по три dry-run на точку, page_size=100. Перед каждым размером объекты выдерживаются за границу grace, чтобы fresh-skip не менял профиль работы. Дополнительно остаются несколько fault fixtures; точное число просмотренных metadata/objects записывается в каждой строке. Сервисы прогреты, однопоточный обход; временные БД/bucket используются на том же PostgreSQL/S3 без внешней нагрузки. Это цена выбранной сверки, не HTTP throughput и не производственный SLA. ## Память десяти конкурентных upload diff --git a/research/analyze.py b/research/analyze.py new file mode 100644 index 00000000..19c02fc5 --- /dev/null +++ b/research/analyze.py @@ -0,0 +1,53 @@ +"""Summarize the saved raw reconciliation measurements without re-running them.""" + +import argparse +import json +import statistics +from pathlib import Path + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument("input", nargs="?", default="evidence/reconcile-study.json") + parser.add_argument("--output", default="evidence/reconcile-summary.md") + args = parser.parse_args() + result = json.loads(Path(args.input).read_text()) + checks = result["checks"] + lines = [ + "# Исследование согласованности PostgreSQL/S3", + "", + f"Дата начала (UTC): {result['started_at']}.", + "", + f"Успешных проверок: {sum(c['passed'] for c in checks)}/{len(checks)}.", + "", + "| Добавлено intact | Просмотрено metadata | Медиана обхода, с |", + "|---:|---:|---:|", + ] + for size in sorted({r["seeded_intact"] for r in result["scan_cost"]}): + runs = [r for r in result["scan_cost"] if r["seeded_intact"] == size] + lines.append( + f"| {size} | {runs[0]['metadata_scanned']} | {statistics.median(r['duration_seconds'] for r in runs):.6f} |" + ) + lines += [ + "", + "По три dry-run на размер, page_size100, прогретый локальный стенд.", + "Дополнительные три intact fault fixtures входят в фактический scan.", + "", + f"Первый apply: удалено intent {result['apply']['deleted_intents']}, " + f"операций удаления объекта {result['apply']['deleted_objects']}, " + f"missing помечено failed {result['apply']['marked_failed']}.", + "Счётчик удаления объекта — число успешных идемпотентных DELETE, включая отсутствие bytes у intent.", + "", + f"Временные ресурсы удалены: {result['temporary_resources_deleted']}.", + "", + "## Проверенные инварианты", + "", + ] + lines += [f"- {'PASS' if c['passed'] else 'FAIL'}: {c['name']}" for c in checks] + lines += ["", "## Ограничения", ""] + ["- " + s for s in result["limitations"]] + Path(args.output).write_text("\n".join(lines) + "\n") + print(args.output) + + +if __name__ == "__main__": + main() diff --git a/research/run.py b/research/run.py index b8081ae4..7ae6c0c1 100644 --- a/research/run.py +++ b/research/run.py @@ -292,6 +292,8 @@ def main(): for _ in range(target - current): upload("scan.png") current = target + # Equalize age policy: no point may skip freshly seeded object checks. + time.sleep(2.2) with store.connection() as conn: conn.execute("UPDATE attachments SET created_at=now()-interval '1 day'") for repeat in range(3): diff --git a/student-tests/test_attachments.py b/student-tests/test_attachments.py index 1c105076..09864f40 100644 --- a/student-tests/test_attachments.py +++ b/student-tests/test_attachments.py @@ -213,3 +213,33 @@ def test_internal_jpeg_bytesio_fallback(): stream = BytesIO(image_bytes("JPEG")) assert validate_image(stream, "image/jpeg") == ("image/jpeg", 32, 20) assert stream.tell() == 0 + + +def test_parallel_same_key_across_replicas(scenario): + import threading + from concurrent.futures import ThreadPoolExecutor + + c, alice, _, _, chat = scenario + key = uuid.uuid4().hex + barrier = threading.Barrier(10) + path = f"/api/v1/chats/{chat['id']}/messages" + body = {"text": "concurrent idempotent message"} + + def send(_): + barrier.wait() + return Client(c.base).call( + "POST", + path, + 201, + actor=alice, + body=body, + headers={"Idempotency-Key": key}, + schema="Message", + ) + + with ThreadPoolExecutor(max_workers=10) as pool: + responses = list(pool.map(send, range(10))) + assert len({r["json"]["id"] for r in responses}) == 1 + assert len({r["headers"]["X-Instance-Id"] for r in responses}) >= 2 + history = c.call("GET", path, actor=alice, schema="MessagePage")["json"]["items"] + assert sum(m["id"] == responses[0]["json"]["id"] for m in history) == 1