forked from mtusi2026/mtusi2026lab4
Measure the pass cost up to 30k objects
Filling RustFS 1.0.4 to 100k objects under one prefix did not finish in two attempts: a write gets slower as the prefix grows (about 8 ms in an empty prefix against 32 ms at 28k objects, 13 writes per second with 16 parallel writers), with enough memory and no background scanner load. The cost matrix now stops at 30k objects with four parallel writers, which still spans a factor of 30 for the linearity check; the design and the spec of the change say so, and both aborted attempts with their 1k and 10k points and the diagnosis are kept in evidence/reconcile/cost-aborted. Co-Authored-By: Claude Opus 5.5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01V1d3RLHNBBMA6UqBLLJv27
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
7dca40c55e
commit
5ca2cdc9af
@@ -74,9 +74,9 @@ SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT $2
|
||||
|
||||
**Гипотеза H1 (корректность).** Слияние находит каждое внедрённое расхождение в его классе (dry-run = внедрённому), `--apply` исправляет ровно найденное исправимое, повторный `--apply` — 0 действий; свежие объекты и намерения, готовые и используемые вложения не удаляются, в том числе во время загрузок.
|
||||
|
||||
**Гипотеза H2 (стоимость).** Время прохода без `--deep` растёт линейно (`t(100k)/t(10k) ≈ 10 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS одинаков для 1k и 100k (разница < 10 %). `--deep` на порядок дороже на объект и линеен по объёму.
|
||||
**Гипотеза H2 (стоимость).** Время прохода без `--deep` растёт линейно (`t(30k)/t(10k) ≈ 3 ± 30 %`) и определяется числом страниц листинга; запросов листинга и SQL — `⌈N/1000⌉`, `HEAD`/`GET` — 0; пик RSS одинаков для 1k и 30k (разница < 10 %). `--deep` на порядок дороже на объект и линеен по объёму.
|
||||
|
||||
**Методика.** `make reconcile-demo` (`scripts/reconcile_track.py demo`): наполнение через API (вложения, часть в сообщениях) → снимок готовых по независимой проверке `scripts/reconcile_check.py` (SQL + `rc`, вне API) → внедрение `scripts/reconcile-inject.sh` на обеих сторонах (объект без строки, удалённый объект в том числе у используемого вложения, другой размер, подмена байтов той же длины, `pending` без объекта и с объектом, старых) → пауза больше grace → ещё свежие объекты без строки и свежий `pending` → `--dry-run --deep` → `--apply --deep` дважды → проверка инвариантов, API-проверки карантина и восстановление объекта (`healed`) → проходы `--apply` в цикле во время загрузок через LB → проверка `--deep` с `--expect-ready`. `make reconcile-cost` (`scripts/reconcile_track.py cost`): снимок `docker stats` всех контейнеров хоста, закрепление `cpuset` у `s3`, `postgres` и `reconciler`, наполнение до N = 1 000, 10 000, 100 000 (`student-tests/tools/seed_storage.py` в образе API: параллельные `PutObject` и `COPY`), по 3 прогона dry-run на точку (страница 1000), `--deep` для 1k и 10k, страница 100 на 10k. Метрики — из отчёта сверки (время, запросы, RSS) и время контейнера.
|
||||
**Методика.** `make reconcile-demo` (`scripts/reconcile_track.py demo`): наполнение через API (вложения, часть в сообщениях) → снимок готовых по независимой проверке `scripts/reconcile_check.py` (SQL + `rc`, вне API) → внедрение `scripts/reconcile-inject.sh` на обеих сторонах (объект без строки, удалённый объект в том числе у используемого вложения, другой размер, подмена байтов той же длины, `pending` без объекта и с объектом, старых) → пауза больше grace → ещё свежие объекты без строки и свежий `pending` → `--dry-run --deep` → `--apply --deep` дважды → проверка инвариантов, API-проверки карантина и восстановление объекта (`healed`) → проходы `--apply` в цикле во время загрузок через LB → проверка `--deep` с `--expect-ready`. `make reconcile-cost` (`scripts/reconcile_track.py cost`): снимок `docker stats` всех контейнеров хоста, закрепление `cpuset` у `s3`, `postgres` и `reconciler`, наполнение до N = 1 000, 10 000, 30 000 (`student-tests/tools/seed_storage.py` в образе API: 4 параллельных `PutObject` и `COPY`), RustFS на время замера 2 CPU / 3 GiB, по 3 прогона dry-run и `--deep` на точку (страница 1000), страница 100 на 10k. Метрики — из отчёта сверки (время, запросы, RSS) и время контейнера.
|
||||
|
||||
**Критерии.** H1: все проверки `demo` истинны (`ok: true`), `lost_ready = 0`. H2: соотношения выше на медианах трёх прогонов.
|
||||
|
||||
@@ -86,4 +86,5 @@ SELECT … FROM attachments WHERE object_key > $1 ORDER BY object_key LIMIT $2
|
||||
- [Расхождение часов S3 и сверки больше `skew`] → один хост; `skew` настраивается; удаление дополнительно требует повторной проверки строки.
|
||||
- [Сверка во время бэкапа/восстановления одной стороны пометит много строк] → карантин обратим (`healed`), строки не удаляются; dry-run перед apply.
|
||||
- [`--deep` на большом bucket долгий и грузит S3] → отдельный флаг, ограниченная параллельность, запускать реже.
|
||||
- [Наполнение RustFS до 100k объектов в одном префиксе не уложилось во время: запись дорожает с числом объектов под префиксом (два прерванных прогона, `evidence/reconcile/cost-aborted/NOTE.txt`)] → верхняя точка матрицы — 30k; линейность проверяется на трёх точках с разбросом в 30 раз.
|
||||
- [Объекты вне префикса `attachments/` не видны сверке] → сервер пишет только под префиксом; остальное — чужие данные, не трогаем.
|
||||
|
||||
@@ -90,7 +90,7 @@
|
||||
|
||||
### Requirement: Стоимость обхода
|
||||
|
||||
Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц на N объектов и строк, не делать `HEAD` и `GET` на согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL измеряться повторяемой командой на N = 1 000, 10 000 и 100 000 объектов с повторами.
|
||||
Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц на N объектов и строк, не делать `HEAD` и `GET` на согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL измеряться повторяемой командой на N = 1 000, 10 000 и 30 000 объектов с повторами.
|
||||
|
||||
#### Scenario: Матрица стоимости
|
||||
|
||||
|
||||
Reference in New Issue
Block a user