diff --git a/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md b/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md index 22146e67..42d7e8b6 100644 --- a/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md +++ b/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md @@ -40,3 +40,6 @@ reconciler1CPU/256MiB; pin последние5ядер VM (2S3,2PG,1CLI). API/LB Листинг RustFS может дорожать на ключ и опровергнуть линейную H2. Deep на мелких файлах не предсказывает стоимость10MiB. Docker Desktop и хост — общая машина; screen оценивает чужой CPU, но не устраняет диск/частоты/кэш. Историческая серия не изолированный baseline. + +Наполнитель выводит обезличенный progress каждые10000 завершённых PUT; он сохраняется в plan.seeds. +Во время долгого наполнения можно читать только эти счётчики из logs своего one-off контейнера. diff --git a/scripts/reconcile_track.py b/scripts/reconcile_track.py index 87d3f30c..74f1402b 100644 --- a/scripts/reconcile_track.py +++ b/scripts/reconcile_track.py @@ -653,7 +653,8 @@ def seed(count, env): "4", env=env, ) - return json.loads(out.strip().splitlines()[-1]) + records = [json.loads(line) for line in out.strip().splitlines()] + return {**records[-1], "progress": records[:-1]} def median(runs, path): diff --git a/student-tests/tools/seed_storage.py b/student-tests/tools/seed_storage.py index 7960e3c2..9deb592c 100644 --- a/student-tests/tools/seed_storage.py +++ b/student-tests/tools/seed_storage.py @@ -65,6 +65,7 @@ async def seed(count: int, concurrency: int) -> dict[str, object]: raise SystemExit("нет ни одного чата: сначала make test") ids = [uuid4() for _ in range(count)] pending = iter(ids) + completed = 0 started = time.monotonic() async with s3_client( endpoint=settings.s3_endpoint, @@ -78,8 +79,12 @@ async def seed(count: int, concurrency: int) -> dict[str, object]: storage = S3ObjectStorage(client, settings.s3_bucket) async def worker() -> None: + nonlocal completed for attachment_id in pending: await storage.put(f"attachments/{attachment_id}", body, "image/png") + completed += 1 + if completed % 10000 == 0 or completed == count: + print(json.dumps({"progress": completed, "target": count}), flush=True) await asyncio.gather(*(worker() for _ in range(concurrency))) stored = time.monotonic()