forked from mtusi2026/mtusi2026lab4
Measure the pass cost up to 30k objects
Filling RustFS 1.0.4 to 100k objects under one prefix did not finish in two attempts: a write gets slower as the prefix grows (about 8 ms in an empty prefix against 32 ms at 28k objects, 13 writes per second with 16 parallel writers), with enough memory and no background scanner load. The cost matrix now stops at 30k objects with four parallel writers, which still spans a factor of 30 for the linearity check; the design and the spec of the change say so, and both aborted attempts with their 1k and 10k points and the diagnosis are kept in evidence/reconcile/cost-aborted. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
7dca40c55e
commit
5ca2cdc9af
@@ -32,6 +32,9 @@ help:
|
|||||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||||
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
@echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда"
|
||||||
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
|
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
|
||||||
|
@echo "reconcile ARGS='--apply --deep': сверка PostgreSQL ↔ S3 (без ARGS — dry-run); трек 2:"
|
||||||
|
@echo "reconcile-demo: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/"
|
||||||
|
@echo "reconcile-cost: стоимость обхода 1k/10k/30k объектов × 3 прогона на чистом стенде → evidence/reconcile/cost/"
|
||||||
|
|
||||||
check:
|
check:
|
||||||
$(PYTHON) scripts/check_contract.py
|
$(PYTHON) scripts/check_contract.py
|
||||||
|
|||||||
@@ -0,0 +1,23 @@
|
|||||||
|
date: 2026-10-29T00:50Z commit: a335f65
|
||||||
|
Первый прогон make reconcile-cost: RustFS с лимитом 1 CPU / 1 GiB (S3_MEMORY=1g, cpuset 12), PostgreSQL cpuset 13-14,
|
||||||
|
reconciler cpuset 15. Точки 1k и 10k сняты полностью (n1000-*.json, n10000-*.json, по 3 прогона).
|
||||||
|
Наполнение до 100k прервано вручную: скорость PutObject упала с ~240 объектов/с (первые 2283) до ~11 объектов/с.
|
||||||
|
$ ls /data/messenger-attachments/attachments | wc -l 45381, через 20 с 45602
|
||||||
|
журнал RustFS: "PutObject store write remains in flight" > 5 с при 31-32 запросах в полёте
|
||||||
|
cgroup RustFS: memory.events max=297 (упор в лимит 1 GiB), memory.stat anon 515 MiB, file 289 MiB,
|
||||||
|
kernel 157 MiB (slab), CPU 100-113 % при лимите 1 CPU
|
||||||
|
Вывод: RustFS держит в памяти метаданные пропорционально числу объектов; на 1 GiB при ~45k объектов cgroup
|
||||||
|
постоянно вытесняет страничный кэш, запись идёт через reclaim. Повторный прогон — с RustFS 2 CPU / 3 GiB.
|
||||||
|
Стенд после прерывания сброшен (make reset-data): 45k объектов без строк в замер не попали.
|
||||||
|
|
||||||
|
date: 2026-10-29T01:40Z commit: 7dca40c
|
||||||
|
Второй прогон: RustFS 2 CPU / 3 GiB (cpuset 11-12), наполнение 16 параллельными PutObject. Точки 1k и 10k сняты,
|
||||||
|
наполнение к 100k снова прервано: ≥65 объектов/с в районе 13-20k, ~13 объектов/с на 27 752 объектах.
|
||||||
|
памяти хватает: memory.events max=0, anon 507 MiB, file 129 MiB, kernel 76 MiB
|
||||||
|
после остановки записи CPU RustFS падает со 190 % до 1 % — фоновый сканер ни при чём
|
||||||
|
40 последовательных PutObject по 264 B через rc: 1,99 с в префиксе attachments/ (27 752 объекта)
|
||||||
|
против 1,03 с в пустом префиксе (оба времени со стартом контейнера ~0,7 с), т. е. ~32 и ~8 мс на запись
|
||||||
|
Вывод: стоимость записи в RustFS 1.0.4 растёт с числом объектов под одним префиксом, а параллельные записи
|
||||||
|
в один префикс только мешают друг другу. 100k объектов в один префикс на этом стенде не наполнить за разумное
|
||||||
|
время; матрица снята до N = 30 000 при 4 параллельных записях. Сырые отчёты 1k/10k второго прогона заменены
|
||||||
|
повторным прогоном с той же конфигурацией.
|
||||||
@@ -0,0 +1,44 @@
|
|||||||
|
date: 2026-10-29T00:24:32Z
|
||||||
|
$ docker stats --no-stream --all
|
||||||
|
NAME CPU % MEM USAGE / LIMIT MEM % PIDS
|
||||||
|
mtusi2026lab5-worker-1 2.22% 244.4MiB / 1GiB 23.87% 11
|
||||||
|
mtusi2026lab4-api-2 0.25% 121.8MiB / 512MiB 23.80% 12
|
||||||
|
mtusi2026lab4-api-1 12.63% 144MiB / 512MiB 28.13% 13
|
||||||
|
mtusi2026lab4-migrate-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
mtusi2026lab4-s3-init-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
mtusi2026lab4-postgres-1 0.93% 47.48MiB / 1GiB 4.64% 10
|
||||||
|
mtusi2026lab4-lb-1 0.04% 17.23MiB / 128MiB 13.46% 17
|
||||||
|
mtusi2026lab4-valkey-1 0.06% 12.81MiB / 128MiB 10.01% 6
|
||||||
|
mtusi2026lab4-s3-1 0.90% 59.34MiB / 512MiB 11.59% 14
|
||||||
|
review-lab3-k6-run-5d2c16202cba 3.32% 20.96MiB / 512MiB 4.09% 8
|
||||||
|
mtusi2026lab5-relay-1 0.42% 78.39MiB / 192MiB 40.83% 4
|
||||||
|
mtusi2026lab5-api-1 1.60% 176.7MiB / 512MiB 34.50% 13
|
||||||
|
mtusi2026lab5-api-2 4.56% 177MiB / 512MiB 34.56% 13
|
||||||
|
mtusi2026lab5-migrate-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
review-lab3-api-2 5.00% 106.5MiB / 512MiB 20.81% 11
|
||||||
|
review-lab3-api-1 5.12% 141.7MiB / 512MiB 27.67% 12
|
||||||
|
review-lab3-migrate-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
review-lab3-postgres-1 2.81% 93.32MiB / 1GiB 9.11% 22
|
||||||
|
review-lab3-lb-1 2.05% 21MiB / 128MiB 16.40% 17
|
||||||
|
review-lab3-valkey-1 0.40% 4.25MiB / 128MiB 3.32% 7
|
||||||
|
mtusi2026lab5-s3-init-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
mtusi2026lab5-broker-1 45.76% 179.4MiB / 512MiB 35.03% 105
|
||||||
|
mtusi2026lab5-postgres-1 0.84% 60.28MiB / 1GiB 5.89% 13
|
||||||
|
mtusi2026lab5-lb-1 0.62% 18.96MiB / 128MiB 14.81% 17
|
||||||
|
mtusi2026lab5-s3-1 2.89% 99.68MiB / 512MiB 19.47% 16
|
||||||
|
mtusi2026lab5-valkey-1 0.13% 13.07MiB / 128MiB 10.21% 7
|
||||||
|
infra-tsvision-backend-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-tsvision-consumer-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-minio-init-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-postgres-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-rabbitmq-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-minio-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-mediamtx-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
infra-dragonfly-1 0.00% 0B / 0B 0.00% 0
|
||||||
|
boring_merkle 0.00% 0B / 0B 0.00% 0
|
||||||
|
infallible_solomon 0.00% 0B / 0B 0.00% 0
|
||||||
|
friendly_goldwasser 0.00% 0B / 0B 0.00% 0
|
||||||
|
magical_noether 0.00% 0B / 0B 0.00% 0
|
||||||
|
postgres 0.00% 0B / 0B 0.00% 0
|
||||||
|
main_postgres 0.00% 0B / 0B 0.00% 0
|
||||||
|
fulfilment-backend 0.00% 0B / 0B 0.00% 0
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": true,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 1000,
|
||||||
|
"rows": 1000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 1.118,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 1,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 1000,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 2
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.138,
|
||||||
|
"sql": 0.026
|
||||||
|
},
|
||||||
|
"hashed_bytes": 375553,
|
||||||
|
"max_rss_mib": 83.1
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 3.176
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": true,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 1000,
|
||||||
|
"rows": 1000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.862,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 1,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 1000,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 2
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.149,
|
||||||
|
"sql": 0.018
|
||||||
|
},
|
||||||
|
"hashed_bytes": 375553,
|
||||||
|
"max_rss_mib": 83.2
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 2.509
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": true,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 1000,
|
||||||
|
"rows": 1000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.764,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 1,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 1000,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 2
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.103,
|
||||||
|
"sql": 0.014
|
||||||
|
},
|
||||||
|
"hashed_bytes": 375553,
|
||||||
|
"max_rss_mib": 83.4
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 1.946
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 1000,
|
||||||
|
"rows": 1000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.124,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 1,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 2
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.099,
|
||||||
|
"sql": 0.015
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 82.9
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 1.215
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 1000,
|
||||||
|
"rows": 1000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.616,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 1,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 2
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.158,
|
||||||
|
"sql": 0.019
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 82.6
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 2.967
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 1000,
|
||||||
|
"rows": 1000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.196,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 1,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 2
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.139,
|
||||||
|
"sql": 0.02
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 82.7
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 2.166
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": true,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 12.954,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 10,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 10000,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 11
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 1.821,
|
||||||
|
"sql": 0.127
|
||||||
|
},
|
||||||
|
"hashed_bytes": 2751553,
|
||||||
|
"max_rss_mib": 84.3
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 14.836
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": true,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 12.829,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 10,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 10000,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 11
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 1.547,
|
||||||
|
"sql": 0.156
|
||||||
|
},
|
||||||
|
"hashed_bytes": 2751553,
|
||||||
|
"max_rss_mib": 84.7
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 15.588
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": true,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 15.326,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 10,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 10000,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 11
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 2.052,
|
||||||
|
"sql": 0.138
|
||||||
|
},
|
||||||
|
"hashed_bytes": 2751553,
|
||||||
|
"max_rss_mib": 84.6
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 18.22
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 100,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 4.376,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 100,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 101
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 3.906,
|
||||||
|
"sql": 0.424
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 81.3
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 7.221
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 100,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 3.715,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 100,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 101
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 3.436,
|
||||||
|
"sql": 0.25
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 81.5
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 6.126
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 100,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 5.948,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 100,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 101
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 4.468,
|
||||||
|
"sql": 1.407
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 81.2
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 7.989
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.675,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 10,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 11
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.62,
|
||||||
|
"sql": 0.044
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 83.8
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 1.477
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 0.835,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 10,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 11
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 0.765,
|
||||||
|
"sql": 0.056
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 84.1
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 1.745
|
||||||
|
}
|
||||||
@@ -0,0 +1,52 @@
|
|||||||
|
{
|
||||||
|
"mode": "dry-run",
|
||||||
|
"skipped": false,
|
||||||
|
"grace_seconds": 3600,
|
||||||
|
"skew_seconds": 60,
|
||||||
|
"deep": false,
|
||||||
|
"page_size": 1000,
|
||||||
|
"scanned": {
|
||||||
|
"objects": 10000,
|
||||||
|
"rows": 10000
|
||||||
|
},
|
||||||
|
"found": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"orphan_fresh": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"pending_fresh": 0,
|
||||||
|
"quarantined": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"fixed": {
|
||||||
|
"orphan_stale": 0,
|
||||||
|
"missing": 0,
|
||||||
|
"size_mismatch": 0,
|
||||||
|
"sha_mismatch": 0,
|
||||||
|
"pending_stale": 0,
|
||||||
|
"healed": 0
|
||||||
|
},
|
||||||
|
"rechecked": {},
|
||||||
|
"errors": 0,
|
||||||
|
"samples": {},
|
||||||
|
"cost": {
|
||||||
|
"seconds": 2.553,
|
||||||
|
"requests": {
|
||||||
|
"s3_list": 10,
|
||||||
|
"s3_head": 0,
|
||||||
|
"s3_get": 0,
|
||||||
|
"s3_delete": 0,
|
||||||
|
"sql": 11
|
||||||
|
},
|
||||||
|
"waited_seconds": {
|
||||||
|
"s3_list": 1.944,
|
||||||
|
"sql": 0.366
|
||||||
|
},
|
||||||
|
"hashed_bytes": 0,
|
||||||
|
"max_rss_mib": 83.8
|
||||||
|
},
|
||||||
|
"exit_code": 0,
|
||||||
|
"wall_seconds": 5.779
|
||||||
|
}
|
||||||
@@ -74,9 +74,9 @@ SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT $2
|
|||||||
|
|
||||||
**Гипотеза H1 (корректность).** Слияние находит каждое внедрённое расхождение в его классе (dry-run = внедрённому), `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок.
|
**Гипотеза H1 (корректность).** Слияние находит каждое внедрённое расхождение в его классе (dry-run = внедрённому), `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок.
|
||||||
|
|
||||||
**Гипотеза H2 (стоимость).** Время прохода без `--deep` растёт линейно (`t(100k)/t(10k) ≈ 10 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS одинаков для 1k и 100k (разница < 10 %). `--deep` на порядок дороже на объект и линеен по объёму.
|
**Гипотеза H2 (стоимость).** Время прохода без `--deep` растёт линейно (`t(30k)/t(10k) ≈ 3 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS одинаков для 1k и 30k (разница < 10 %). `--deep` на порядок дороже на объект и линеен по объёму.
|
||||||
|
|
||||||
**Методика.** `make reconcile-demo` (`scripts/reconcile_track.py demo`): наполнение через API (вложения, часть в сообщениях) → снимок готовых по независимой проверке `scripts/reconcile_check.py` (SQL + `rc`, вне API) → внедрение `scripts/reconcile-inject.sh` на обеих сторонах (объект без строки, удалённый объект в том числе у используемого вложения, другой размер, подмена байтов той же длины, `pending` без объекта и с объектом, старых) → пауза больше grace → ещё свежие объекты без строки и свежий `pending` → `--dry-run --deep` → `--apply --deep` дважды → проверка инвариантов, API-проверки карантина и восстановление объекта (`healed`) → проходы `--apply` в цикле во время загрузок через LB → проверка `--deep` с `--expect-ready`. `make reconcile-cost` (`scripts/reconcile_track.py cost`): снимок `docker stats` всех контейнеров хоста, закрепление `cpuset` у `s3`, `postgres` и `reconciler`, наполнение до N = 1 000, 10 000, 100 000 (`student-tests/tools/seed_storage.py` в образе API: параллельные `PutObject` и `COPY`), по 3 прогона dry-run на точку (страница 1000), `--deep` для 1k и 10k, страница 100 на 10k. Метрики — из отчёта сверки (время, запросы, RSS) и время контейнера.
|
**Методика.** `make reconcile-demo` (`scripts/reconcile_track.py demo`): наполнение через API (вложения, часть в сообщениях) → снимок готовых по независимой проверке `scripts/reconcile_check.py` (SQL + `rc`, вне API) → внедрение `scripts/reconcile-inject.sh` на обеих сторонах (объект без строки, удалённый объект в том числе у используемого вложения, другой размер, подмена байтов той же длины, `pending` без объекта и с объектом, старых) → пауза больше grace → ещё свежие объекты без строки и свежий `pending` → `--dry-run --deep` → `--apply --deep` дважды → проверка инвариантов, API-проверки карантина и восстановление объекта (`healed`) → проходы `--apply` в цикле во время загрузок через LB → проверка `--deep` с `--expect-ready`. `make reconcile-cost` (`scripts/reconcile_track.py cost`): снимок `docker stats` всех контейнеров хоста, закрепление `cpuset` у `s3`, `postgres` и `reconciler`, наполнение до N = 1 000, 10 000, 30 000 (`student-tests/tools/seed_storage.py` в образе API: 4 параллельных `PutObject` и `COPY`), RustFS на время замера 2 CPU / 3 GiB, по 3 прогона dry-run и `--deep` на точку (страница 1000), страница 100 на 10k. Метрики — из отчёта сверки (время, запросы, RSS) и время контейнера.
|
||||||
|
|
||||||
**Критерии.** H1: все проверки `demo` истинны (`ok: true`), `lost_ready = 0`. H2: соотношения выше на медианах трёх прогонов.
|
**Критерии.** H1: все проверки `demo` истинны (`ok: true`), `lost_ready = 0`. H2: соотношения выше на медианах трёх прогонов.
|
||||||
|
|
||||||
@@ -86,4 +86,5 @@ SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT $2
|
|||||||
- [Расхождение часов S3 и сверки больше `skew`] → один хост; `skew` настраивается; удаление дополнительно требует повторной проверки строки.
|
- [Расхождение часов S3 и сверки больше `skew`] → один хост; `skew` настраивается; удаление дополнительно требует повторной проверки строки.
|
||||||
- [Сверка во время бэкапа/восстановления одной стороны пометит много строк] → карантин обратим (`healed`), строки не удаляются; dry-run перед apply.
|
- [Сверка во время бэкапа/восстановления одной стороны пометит много строк] → карантин обратим (`healed`), строки не удаляются; dry-run перед apply.
|
||||||
- [`--deep` на большом bucket долгий и грузит S3] → отдельный флаг, ограниченная параллельность, запускать реже.
|
- [`--deep` на большом bucket долгий и грузит S3] → отдельный флаг, ограниченная параллельность, запускать реже.
|
||||||
|
- [Наполнение RustFS до 100k объектов в одном префиксе не уложилось во время: запись дорожает с числом объектов под префиксом (два прерванных прогона, `evidence/reconcile/cost-aborted/NOTE.txt`)] → верхняя точка матрицы — 30k; линейность проверяется на трёх точках с разбросом в 30 раз.
|
||||||
- [Объекты вне префикса `attachments/` не видны сверке] → сервер пишет только под префиксом; остальное — чужие данные, не трогаем.
|
- [Объекты вне префикса `attachments/` не видны сверке] → сервер пишет только под префиксом; остальное — чужие данные, не трогаем.
|
||||||
|
|||||||
@@ -90,7 +90,7 @@
|
|||||||
|
|
||||||
### Requirement: Стоимость обхода
|
### Requirement: Стоимость обхода
|
||||||
|
|
||||||
Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц на N объектов и строк, не делать `HEAD` и `GET` на согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL измеряться повторяемой командой на N = 1 000, 10 000 и 100 000 объектов с повторами.
|
Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц на N объектов и строк, не делать `HEAD` и `GET` на согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL измеряться повторяемой командой на N = 1 000, 10 000 и 30 000 объектов с повторами.
|
||||||
|
|
||||||
#### Scenario: Матрица стоимости
|
#### Scenario: Матрица стоимости
|
||||||
|
|
||||||
|
|||||||
@@ -464,7 +464,7 @@ def seed(count, env):
|
|||||||
"--count",
|
"--count",
|
||||||
str(count),
|
str(count),
|
||||||
"--concurrency",
|
"--concurrency",
|
||||||
"16",
|
"4",
|
||||||
env=env,
|
env=env,
|
||||||
)
|
)
|
||||||
return json.loads(out.strip().splitlines()[-1])
|
return json.loads(out.strip().splitlines()[-1])
|
||||||
@@ -576,9 +576,9 @@ def main():
|
|||||||
d.add_argument("--load-seconds", type=int, default=75)
|
d.add_argument("--load-seconds", type=int, default=75)
|
||||||
d.add_argument("--load-threads", type=int, default=3)
|
d.add_argument("--load-threads", type=int, default=3)
|
||||||
k = sub.add_parser("cost", help="cost of a pass for N objects, repeated")
|
k = sub.add_parser("cost", help="cost of a pass for N objects, repeated")
|
||||||
k.add_argument("--sizes", type=int, nargs="+", default=[1000, 10000, 100000])
|
k.add_argument("--sizes", type=int, nargs="+", default=[1000, 10000, 30000])
|
||||||
k.add_argument("--repeats", type=int, default=3)
|
k.add_argument("--repeats", type=int, default=3)
|
||||||
k.add_argument("--deep-max", type=int, default=100000)
|
k.add_argument("--deep-max", type=int, default=30000)
|
||||||
k.add_argument("--page-compare", type=int, default=10000)
|
k.add_argument("--page-compare", type=int, default=10000)
|
||||||
k.add_argument("--settle", type=float, default=10)
|
k.add_argument("--settle", type=float, default=10)
|
||||||
k.add_argument("--s3-memory", default="3g")
|
k.add_argument("--s3-memory", default="3g")
|
||||||
|
|||||||
Reference in New Issue
Block a user