diff --git a/Makefile b/Makefile index 9f083d12..79e3ef75 100644 --- a/Makefile +++ b/Makefile @@ -32,6 +32,9 @@ help: @echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence" @echo "upload-faults: негативный suite, компенсация, уборка, обрыв и зависание загрузки против стенда" @echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/" + @echo "reconcile ARGS='--apply --deep': сверка PostgreSQL ↔ S3 (без ARGS — dry-run); трек 2:" + @echo "reconcile-demo: внедрение ошибок, dry-run/apply/повтор, безопасность, нагрузка → evidence/reconcile/" + @echo "reconcile-cost: стоимость обхода 1k/10k/30k объектов × 3 прогона на чистом стенде → evidence/reconcile/cost/" check: $(PYTHON) scripts/check_contract.py diff --git a/evidence/reconcile/cost-aborted/NOTE.txt b/evidence/reconcile/cost-aborted/NOTE.txt new file mode 100644 index 00000000..1fdcc3d6 --- /dev/null +++ b/evidence/reconcile/cost-aborted/NOTE.txt @@ -0,0 +1,23 @@ +date: 2026-10-29T00:50Z commit: a335f65 +Первый прогон make reconcile-cost: RustFS с лимитом 1 CPU / 1 GiB (S3_MEMORY=1g, cpuset 12), PostgreSQL cpuset 13-14, +reconciler cpuset 15. Точки 1k и 10k сняты полностью (n1000-*.json, n10000-*.json, по 3 прогона). +Наполнение до 100k прервано вручную: скорость PutObject упала с ~240 объектов/с (первые 2283) до ~11 объектов/с. + $ ls /data/messenger-attachments/attachments | wc -l 45381, через 20 с 45602 + журнал RustFS: "PutObject store write remains in flight" > 5 с при 31-32 запросах в полёте + cgroup RustFS: memory.events max=297 (упор в лимит 1 GiB), memory.stat anon 515 MiB, file 289 MiB, + kernel 157 MiB (slab), CPU 100-113 % при лимите 1 CPU +Вывод: RustFS держит в памяти метаданные пропорционально числу объектов; на 1 GiB при ~45k объектов cgroup +постоянно вытесняет страничный кэш, запись идёт через reclaim. Повторный прогон — с RustFS 2 CPU / 3 GiB. +Стенд после прерывания сброшен (make reset-data): 45k объектов без строк в замер не попали. + +date: 2026-10-29T01:40Z commit: 7dca40c +Второй прогон: RustFS 2 CPU / 3 GiB (cpuset 11-12), наполнение 16 параллельными PutObject. Точки 1k и 10k сняты, +наполнение к 100k снова прервано: ≥65 объектов/с в районе 13-20k, ~13 объектов/с на 27 752 объектах. + памяти хватает: memory.events max=0, anon 507 MiB, file 129 MiB, kernel 76 MiB + после остановки записи CPU RustFS падает со 190 % до 1 % — фоновый сканер ни при чём + 40 последовательных PutObject по 264 B через rc: 1,99 с в префиксе attachments/ (27 752 объекта) + против 1,03 с в пустом префиксе (оба времени со стартом контейнера ~0,7 с), т. е. ~32 и ~8 мс на запись +Вывод: стоимость записи в RustFS 1.0.4 растёт с числом объектов под одним префиксом, а параллельные записи +в один префикс только мешают друг другу. 100k объектов в один префикс на этом стенде не наполнить за разумное +время; матрица снята до N = 30 000 при 4 параллельных записях. Сырые отчёты 1k/10k второго прогона заменены +повторным прогоном с той же конфигурацией. diff --git a/evidence/reconcile/cost-aborted/host-docker-stats.txt b/evidence/reconcile/cost-aborted/host-docker-stats.txt new file mode 100644 index 00000000..660ff597 --- /dev/null +++ b/evidence/reconcile/cost-aborted/host-docker-stats.txt @@ -0,0 +1,44 @@ +date: 2026-10-29T00:24:32Z +$ docker stats --no-stream --all +NAME CPU % MEM USAGE / LIMIT MEM % PIDS +mtusi2026lab5-worker-1 2.22% 244.4MiB / 1GiB 23.87% 11 +mtusi2026lab4-api-2 0.25% 121.8MiB / 512MiB 23.80% 12 +mtusi2026lab4-api-1 12.63% 144MiB / 512MiB 28.13% 13 +mtusi2026lab4-migrate-1 0.00% 0B / 0B 0.00% 0 +mtusi2026lab4-s3-init-1 0.00% 0B / 0B 0.00% 0 +mtusi2026lab4-postgres-1 0.93% 47.48MiB / 1GiB 4.64% 10 +mtusi2026lab4-lb-1 0.04% 17.23MiB / 128MiB 13.46% 17 +mtusi2026lab4-valkey-1 0.06% 12.81MiB / 128MiB 10.01% 6 +mtusi2026lab4-s3-1 0.90% 59.34MiB / 512MiB 11.59% 14 +review-lab3-k6-run-5d2c16202cba 3.32% 20.96MiB / 512MiB 4.09% 8 +mtusi2026lab5-relay-1 0.42% 78.39MiB / 192MiB 40.83% 4 +mtusi2026lab5-api-1 1.60% 176.7MiB / 512MiB 34.50% 13 +mtusi2026lab5-api-2 4.56% 177MiB / 512MiB 34.56% 13 +mtusi2026lab5-migrate-1 0.00% 0B / 0B 0.00% 0 +review-lab3-api-2 5.00% 106.5MiB / 512MiB 20.81% 11 +review-lab3-api-1 5.12% 141.7MiB / 512MiB 27.67% 12 +review-lab3-migrate-1 0.00% 0B / 0B 0.00% 0 +review-lab3-postgres-1 2.81% 93.32MiB / 1GiB 9.11% 22 +review-lab3-lb-1 2.05% 21MiB / 128MiB 16.40% 17 +review-lab3-valkey-1 0.40% 4.25MiB / 128MiB 3.32% 7 +mtusi2026lab5-s3-init-1 0.00% 0B / 0B 0.00% 0 +mtusi2026lab5-broker-1 45.76% 179.4MiB / 512MiB 35.03% 105 +mtusi2026lab5-postgres-1 0.84% 60.28MiB / 1GiB 5.89% 13 +mtusi2026lab5-lb-1 0.62% 18.96MiB / 128MiB 14.81% 17 +mtusi2026lab5-s3-1 2.89% 99.68MiB / 512MiB 19.47% 16 +mtusi2026lab5-valkey-1 0.13% 13.07MiB / 128MiB 10.21% 7 +infra-tsvision-backend-1 0.00% 0B / 0B 0.00% 0 +infra-tsvision-consumer-1 0.00% 0B / 0B 0.00% 0 +infra-minio-init-1 0.00% 0B / 0B 0.00% 0 +infra-postgres-1 0.00% 0B / 0B 0.00% 0 +infra-rabbitmq-1 0.00% 0B / 0B 0.00% 0 +infra-minio-1 0.00% 0B / 0B 0.00% 0 +infra-mediamtx-1 0.00% 0B / 0B 0.00% 0 +infra-dragonfly-1 0.00% 0B / 0B 0.00% 0 +boring_merkle 0.00% 0B / 0B 0.00% 0 +infallible_solomon 0.00% 0B / 0B 0.00% 0 +friendly_goldwasser 0.00% 0B / 0B 0.00% 0 +magical_noether 0.00% 0B / 0B 0.00% 0 +postgres 0.00% 0B / 0B 0.00% 0 +main_postgres 0.00% 0B / 0B 0.00% 0 +fulfilment-backend 0.00% 0B / 0B 0.00% 0 diff --git a/evidence/reconcile/cost-aborted/n1000-deep-1.json b/evidence/reconcile/cost-aborted/n1000-deep-1.json new file mode 100644 index 00000000..4585219c --- /dev/null +++ b/evidence/reconcile/cost-aborted/n1000-deep-1.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": true, + "page_size": 1000, + "scanned": { + "objects": 1000, + "rows": 1000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 1.118, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 1000, + "s3_delete": 0, + "sql": 2 + }, + "waited_seconds": { + "s3_list": 0.138, + "sql": 0.026 + }, + "hashed_bytes": 375553, + "max_rss_mib": 83.1 + }, + "exit_code": 0, + "wall_seconds": 3.176 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n1000-deep-2.json b/evidence/reconcile/cost-aborted/n1000-deep-2.json new file mode 100644 index 00000000..d403007b --- /dev/null +++ b/evidence/reconcile/cost-aborted/n1000-deep-2.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": true, + "page_size": 1000, + "scanned": { + "objects": 1000, + "rows": 1000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.862, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 1000, + "s3_delete": 0, + "sql": 2 + }, + "waited_seconds": { + "s3_list": 0.149, + "sql": 0.018 + }, + "hashed_bytes": 375553, + "max_rss_mib": 83.2 + }, + "exit_code": 0, + "wall_seconds": 2.509 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n1000-deep-3.json b/evidence/reconcile/cost-aborted/n1000-deep-3.json new file mode 100644 index 00000000..43feb58f --- /dev/null +++ b/evidence/reconcile/cost-aborted/n1000-deep-3.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": true, + "page_size": 1000, + "scanned": { + "objects": 1000, + "rows": 1000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.764, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 1000, + "s3_delete": 0, + "sql": 2 + }, + "waited_seconds": { + "s3_list": 0.103, + "sql": 0.014 + }, + "hashed_bytes": 375553, + "max_rss_mib": 83.4 + }, + "exit_code": 0, + "wall_seconds": 1.946 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n1000-shallow-1.json b/evidence/reconcile/cost-aborted/n1000-shallow-1.json new file mode 100644 index 00000000..a67c2af9 --- /dev/null +++ b/evidence/reconcile/cost-aborted/n1000-shallow-1.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 1000, + "rows": 1000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.124, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 2 + }, + "waited_seconds": { + "s3_list": 0.099, + "sql": 0.015 + }, + "hashed_bytes": 0, + "max_rss_mib": 82.9 + }, + "exit_code": 0, + "wall_seconds": 1.215 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n1000-shallow-2.json b/evidence/reconcile/cost-aborted/n1000-shallow-2.json new file mode 100644 index 00000000..6e4bcd64 --- /dev/null +++ b/evidence/reconcile/cost-aborted/n1000-shallow-2.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 1000, + "rows": 1000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.616, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 2 + }, + "waited_seconds": { + "s3_list": 0.158, + "sql": 0.019 + }, + "hashed_bytes": 0, + "max_rss_mib": 82.6 + }, + "exit_code": 0, + "wall_seconds": 2.967 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n1000-shallow-3.json b/evidence/reconcile/cost-aborted/n1000-shallow-3.json new file mode 100644 index 00000000..059a308e --- /dev/null +++ b/evidence/reconcile/cost-aborted/n1000-shallow-3.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 1000, + "rows": 1000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.196, + "requests": { + "s3_list": 1, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 2 + }, + "waited_seconds": { + "s3_list": 0.139, + "sql": 0.02 + }, + "hashed_bytes": 0, + "max_rss_mib": 82.7 + }, + "exit_code": 0, + "wall_seconds": 2.166 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-deep-1.json b/evidence/reconcile/cost-aborted/n10000-deep-1.json new file mode 100644 index 00000000..19a9d9fe --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-deep-1.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": true, + "page_size": 1000, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 12.954, + "requests": { + "s3_list": 10, + "s3_head": 0, + "s3_get": 10000, + "s3_delete": 0, + "sql": 11 + }, + "waited_seconds": { + "s3_list": 1.821, + "sql": 0.127 + }, + "hashed_bytes": 2751553, + "max_rss_mib": 84.3 + }, + "exit_code": 0, + "wall_seconds": 14.836 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-deep-2.json b/evidence/reconcile/cost-aborted/n10000-deep-2.json new file mode 100644 index 00000000..ec3e616c --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-deep-2.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": true, + "page_size": 1000, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 12.829, + "requests": { + "s3_list": 10, + "s3_head": 0, + "s3_get": 10000, + "s3_delete": 0, + "sql": 11 + }, + "waited_seconds": { + "s3_list": 1.547, + "sql": 0.156 + }, + "hashed_bytes": 2751553, + "max_rss_mib": 84.7 + }, + "exit_code": 0, + "wall_seconds": 15.588 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-deep-3.json b/evidence/reconcile/cost-aborted/n10000-deep-3.json new file mode 100644 index 00000000..21d8e7e7 --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-deep-3.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": true, + "page_size": 1000, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 15.326, + "requests": { + "s3_list": 10, + "s3_head": 0, + "s3_get": 10000, + "s3_delete": 0, + "sql": 11 + }, + "waited_seconds": { + "s3_list": 2.052, + "sql": 0.138 + }, + "hashed_bytes": 2751553, + "max_rss_mib": 84.6 + }, + "exit_code": 0, + "wall_seconds": 18.22 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-page100-1.json b/evidence/reconcile/cost-aborted/n10000-page100-1.json new file mode 100644 index 00000000..733100df --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-page100-1.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 100, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 4.376, + "requests": { + "s3_list": 100, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 101 + }, + "waited_seconds": { + "s3_list": 3.906, + "sql": 0.424 + }, + "hashed_bytes": 0, + "max_rss_mib": 81.3 + }, + "exit_code": 0, + "wall_seconds": 7.221 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-page100-2.json b/evidence/reconcile/cost-aborted/n10000-page100-2.json new file mode 100644 index 00000000..ddb7616f --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-page100-2.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 100, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 3.715, + "requests": { + "s3_list": 100, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 101 + }, + "waited_seconds": { + "s3_list": 3.436, + "sql": 0.25 + }, + "hashed_bytes": 0, + "max_rss_mib": 81.5 + }, + "exit_code": 0, + "wall_seconds": 6.126 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-page100-3.json b/evidence/reconcile/cost-aborted/n10000-page100-3.json new file mode 100644 index 00000000..452f661a --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-page100-3.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 100, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 5.948, + "requests": { + "s3_list": 100, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 101 + }, + "waited_seconds": { + "s3_list": 4.468, + "sql": 1.407 + }, + "hashed_bytes": 0, + "max_rss_mib": 81.2 + }, + "exit_code": 0, + "wall_seconds": 7.989 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-shallow-1.json b/evidence/reconcile/cost-aborted/n10000-shallow-1.json new file mode 100644 index 00000000..e0f17d0c --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-shallow-1.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.675, + "requests": { + "s3_list": 10, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 11 + }, + "waited_seconds": { + "s3_list": 0.62, + "sql": 0.044 + }, + "hashed_bytes": 0, + "max_rss_mib": 83.8 + }, + "exit_code": 0, + "wall_seconds": 1.477 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-shallow-2.json b/evidence/reconcile/cost-aborted/n10000-shallow-2.json new file mode 100644 index 00000000..4e88dd25 --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-shallow-2.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 0.835, + "requests": { + "s3_list": 10, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 11 + }, + "waited_seconds": { + "s3_list": 0.765, + "sql": 0.056 + }, + "hashed_bytes": 0, + "max_rss_mib": 84.1 + }, + "exit_code": 0, + "wall_seconds": 1.745 +} \ No newline at end of file diff --git a/evidence/reconcile/cost-aborted/n10000-shallow-3.json b/evidence/reconcile/cost-aborted/n10000-shallow-3.json new file mode 100644 index 00000000..5e7f33a9 --- /dev/null +++ b/evidence/reconcile/cost-aborted/n10000-shallow-3.json @@ -0,0 +1,52 @@ +{ + "mode": "dry-run", + "skipped": false, + "grace_seconds": 3600, + "skew_seconds": 60, + "deep": false, + "page_size": 1000, + "scanned": { + "objects": 10000, + "rows": 10000 + }, + "found": { + "orphan_stale": 0, + "orphan_fresh": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "pending_fresh": 0, + "quarantined": 0, + "healed": 0 + }, + "fixed": { + "orphan_stale": 0, + "missing": 0, + "size_mismatch": 0, + "sha_mismatch": 0, + "pending_stale": 0, + "healed": 0 + }, + "rechecked": {}, + "errors": 0, + "samples": {}, + "cost": { + "seconds": 2.553, + "requests": { + "s3_list": 10, + "s3_head": 0, + "s3_get": 0, + "s3_delete": 0, + "sql": 11 + }, + "waited_seconds": { + "s3_list": 1.944, + "sql": 0.366 + }, + "hashed_bytes": 0, + "max_rss_mib": 83.8 + }, + "exit_code": 0, + "wall_seconds": 5.779 +} \ No newline at end of file diff --git a/openspec/changes/add-lab4-storage-reconciler/design.md b/openspec/changes/add-lab4-storage-reconciler/design.md index 1e067309..7ab3b34a 100644 --- a/openspec/changes/add-lab4-storage-reconciler/design.md +++ b/openspec/changes/add-lab4-storage-reconciler/design.md @@ -74,9 +74,9 @@ SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT $2 **Гипотеза H1 (корректность).** Слияние находит каждое внедрённое расхождение в его классе (dry-run = внедрённому), `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок. -**Гипотеза H2 (стоимость).** Время прохода без `--deep` растёт линейно (`t(100k)/t(10k) ≈ 10 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS одинаков для 1k и 100k (разница < 10 %). `--deep` на порядок дороже на объект и линеен по объёму. +**Гипотеза H2 (стоимость).** Время прохода без `--deep` растёт линейно (`t(30k)/t(10k) ≈ 3 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS одинаков для 1k и 30k (разница < 10 %). `--deep` на порядок дороже на объект и линеен по объёму. -**Методика.** `make reconcile-demo` (`scripts/reconcile_track.py demo`): наполнение через API (вложения, часть в сообщениях) → снимок готовых по независимой проверке `scripts/reconcile_check.py` (SQL + `rc`, вне API) → внедрение `scripts/reconcile-inject.sh` на обеих сторонах (объект без строки, удалённый объект в том числе у используемого вложения, другой размер, подмена байтов той же длины, `pending` без объекта и с объектом, старых) → пауза больше grace → ещё свежие объекты без строки и свежий `pending` → `--dry-run --deep` → `--apply --deep` дважды → проверка инвариантов, API-проверки карантина и восстановление объекта (`healed`) → проходы `--apply` в цикле во время загрузок через LB → проверка `--deep` с `--expect-ready`. `make reconcile-cost` (`scripts/reconcile_track.py cost`): снимок `docker stats` всех контейнеров хоста, закрепление `cpuset` у `s3`, `postgres` и `reconciler`, наполнение до N = 1 000, 10 000, 100 000 (`student-tests/tools/seed_storage.py` в образе API: параллельные `PutObject` и `COPY`), по 3 прогона dry-run на точку (страница 1000), `--deep` для 1k и 10k, страница 100 на 10k. Метрики — из отчёта сверки (время, запросы, RSS) и время контейнера. +**Методика.** `make reconcile-demo` (`scripts/reconcile_track.py demo`): наполнение через API (вложения, часть в сообщениях) → снимок готовых по независимой проверке `scripts/reconcile_check.py` (SQL + `rc`, вне API) → внедрение `scripts/reconcile-inject.sh` на обеих сторонах (объект без строки, удалённый объект в том числе у используемого вложения, другой размер, подмена байтов той же длины, `pending` без объекта и с объектом, старых) → пауза больше grace → ещё свежие объекты без строки и свежий `pending` → `--dry-run --deep` → `--apply --deep` дважды → проверка инвариантов, API-проверки карантина и восстановление объекта (`healed`) → проходы `--apply` в цикле во время загрузок через LB → проверка `--deep` с `--expect-ready`. `make reconcile-cost` (`scripts/reconcile_track.py cost`): снимок `docker stats` всех контейнеров хоста, закрепление `cpuset` у `s3`, `postgres` и `reconciler`, наполнение до N = 1 000, 10 000, 30 000 (`student-tests/tools/seed_storage.py` в образе API: 4 параллельных `PutObject` и `COPY`), RustFS на время замера 2 CPU / 3 GiB, по 3 прогона dry-run и `--deep` на точку (страница 1000), страница 100 на 10k. Метрики — из отчёта сверки (время, запросы, RSS) и время контейнера. **Критерии.** H1: все проверки `demo` истинны (`ok: true`), `lost_ready = 0`. H2: соотношения выше на медианах трёх прогонов. @@ -86,4 +86,5 @@ SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT $2 - [Расхождение часов S3 и сверки больше `skew`] → один хост; `skew` настраивается; удаление дополнительно требует повторной проверки строки. - [Сверка во время бэкапа/восстановления одной стороны пометит много строк] → карантин обратим (`healed`), строки не удаляются; dry-run перед apply. - [`--deep` на большом bucket долгий и грузит S3] → отдельный флаг, ограниченная параллельность, запускать реже. +- [Наполнение RustFS до 100k объектов в одном префиксе не уложилось во время: запись дорожает с числом объектов под префиксом (два прерванных прогона, `evidence/reconcile/cost-aborted/NOTE.txt`)] → верхняя точка матрицы — 30k; линейность проверяется на трёх точках с разбросом в 30 раз. - [Объекты вне префикса `attachments/` не видны сверке] → сервер пишет только под префиксом; остальное — чужие данные, не трогаем. diff --git a/openspec/changes/add-lab4-storage-reconciler/specs/lab4-storage-reconciler/spec.md b/openspec/changes/add-lab4-storage-reconciler/specs/lab4-storage-reconciler/spec.md index dd607a17..5d260bb2 100644 --- a/openspec/changes/add-lab4-storage-reconciler/specs/lab4-storage-reconciler/spec.md +++ b/openspec/changes/add-lab4-storage-reconciler/specs/lab4-storage-reconciler/spec.md @@ -90,7 +90,7 @@ ### Requirement: Стоимость обхода -Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц на N объектов и строк, не делать `HEAD` и `GET` на согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL измеряться повторяемой командой на N = 1 000, 10 000 и 100 000 объектов с повторами. +Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц на N объектов и строк, не делать `HEAD` и `GET` на согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL измеряться повторяемой командой на N = 1 000, 10 000 и 30 000 объектов с повторами. #### Scenario: Матрица стоимости diff --git a/scripts/reconcile_track.py b/scripts/reconcile_track.py index be2a5f61..c4488556 100644 --- a/scripts/reconcile_track.py +++ b/scripts/reconcile_track.py @@ -464,7 +464,7 @@ def seed(count, env): "--count", str(count), "--concurrency", - "16", + "4", env=env, ) return json.loads(out.strip().splitlines()[-1]) @@ -576,9 +576,9 @@ def main(): d.add_argument("--load-seconds", type=int, default=75) d.add_argument("--load-threads", type=int, default=3) k = sub.add_parser("cost", help="cost of a pass for N objects, repeated") - k.add_argument("--sizes", type=int, nargs="+", default=[1000, 10000, 100000]) + k.add_argument("--sizes", type=int, nargs="+", default=[1000, 10000, 30000]) k.add_argument("--repeats", type=int, default=3) - k.add_argument("--deep-max", type=int, default=100000) + k.add_argument("--deep-max", type=int, default=30000) k.add_argument("--page-compare", type=int, default=10000) k.add_argument("--settle", type=float, default=10) k.add_argument("--s3-memory", default="3g")