Preregister SQLAlchemy reconciler validation and full cost matrix

This commit is contained in:
Artyom
2026-11-06 02:28:14 +03:00
parent 57caeb6b5a
commit 751aaed4b1
5 changed files with 123 additions and 0 deletions
@@ -0,0 +1,2 @@
schema: spec-driven
created: 2026-11-06
@@ -0,0 +1,42 @@
## Context
Источник API — SQLAlchemy-перенос8e4532f6; уровни3/4 завершены57caeb6.
Reconciler уже сортирует listing и keyset-страницы с lookahead, хеширует любой карантин,
публикует audit после COMMIT и держит AUTOCOMMIT advisory lock на закреплённом connection.
## Goals / Non-Goals
Доказать весь трек2 README на текущем коде и закрыть оставшиеся review1. Не менять API.
## Hypotheses registered before this series
H1: каждый внедрённый класс найден по множеству id/key; dry-run не меняет состояние;
apply исправляет ровно18 старых расхождений, повтор0; готовые, используемые и свежие сохранены.
Под нагрузкой отдельно считаются fresh_seen и rechecked; нулевой rechecked не доказывает этот барьер.
H2 (исходная148868b): shallow t(100k)/t(10k) в[7,13]; RSS100k/RSS1k<1,1;
listing/SQL=ceil(N/page), HEAD/GET0; deep на порядок дороже на объект. Проверяется без подмены100kна30k.
Эта гипотеза может быть отвергнута; оценка трека не требует её подтверждения.
H3: SQLAlchemy сохраняет страничность и постоянный по N RSS; абсолютные время/RSS сравниваются
с61dcb6b как исторические наблюдения, а не причинный A/B-эксперимент одной библиотеки.
## Decisions
Demo: project hlpipe-lab4-track-20261106, новый стенд, один smoke как baseline;
18явных загрузок плюс1smoke; grace60/skew0;75с загрузок,3потока. Полный независимый oracle.
Затем down без -v. Cost: отдельный hlpipe-lab4-cost-20261106, новый baseline smoke;
1k/10k/30k/100k×3 shallow/deep, page100на10k×3. RustFS2CPU/3GiB, PG2CPU/1GiB,
reconciler1CPU/256MiB; pin последние5ядер VM (2S3,2PG,1CLI). API/LB/Valkey после bootstrap
останавливаются, клиент наполнения одноразовый4CPU/512MiB,4параллельныхPUT, PNG8×8.
Наполнение100k ожидаемо занимает десятки минут и должно закончиться полностью.
Чужие контейнеры не останавливаются. Screen: other<=2ядраVM и<=0,25на закреплённых,
стартовый allowance1,5/0,5core-s;3повтора загрязнённого прогона. Нет тихого окна за900с
или все попытки disturbed — failure, никакого принятия последнего bad. Все rejected сохраняются.
Новые --out, запрет существующего каталога, checkpoint после каждого принятого измерения.
Проверяются exit0/errors0/skippedfalse, countsN/N и found0. Среда, command, fullSHA/UTC сохранены.
## Risks / Trade-offs
Листинг RustFS может дорожать на ключ и опровергнуть линейную H2. Deep на мелких файлах
не предсказывает стоимость10MiB. Docker Desktop и хост — общая машина; screen оценивает
чужой CPU, но не устраняет диск/частоты/кэш. Историческая серия не изолированный baseline.
@@ -0,0 +1,33 @@
## Why
Уровни3/4 подтверждены на SQLAlchemy. Трек2 README требует нового доказательства согласованности
и стоимости; старые результаты61dcb6b относятся к asyncpg. В драйвере cost обнаружены две ошибки:
удаление прежних файлов и принятие последнего disturbed-прогона после исчерпания повторов.
## What Changes
- Записывать demo/cost в новый каталог --out, с UTC/полным SHA, без удаления старых серий.
- При отсутствии тихого окна или исчерпании повторов завершаться ошибкой; сохранять rejected отдельно.
- Проверять согласованность и размер набора перед принятием измерения, сохранять промежуточную сводку.
- Переснять dry-run/apply/repeat, карантин, SIGTERM, audit, outage и безопасность под загрузками.
- Снять1k/10k/30k/100k×3 shallow/deep и page100на10k; сравнить с исторической серией с оговорками.
## Capabilities
### New Capabilities
Нет.
### Modified Capabilities
- `lab4-storage-reconciler`: изоляция и достоверность серии стоимости.
## Impact
scripts/reconcile_track.py, собственные тесты драйвера, evidence и промежуточные отчётные заметки.
API, схема, порты зон, SQL-адаптеры и нормативные файлы неизменны. Свои проекты,
свежие volumes, HTTP18084, после down данные сохранены.
## Non-goals
Переписывание готового reconciler, иные треки, публикация. Ограничения config.yaml сохраняются.
@@ -0,0 +1,26 @@
## MODIFIED Requirements
### Requirement: Стоимость обхода
Трассировка: README.md, оценка5, трек2, измерение стоимости обхода.
Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц
на N объектов и строк (одну SQL-страницу, если строк нет), не делать `HEAD` и `GET` на
согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL
измеряться повторяемой командой на N=1000,10000,30000,100000 с не менее трёх повторов,
в том числе с `--deep`. Каждая серия SHALL использовать новый каталог `--out`, сохранять
UTC, полный SHA, параметры, сырые результаты и промежуточную сводку; старые файлы SHALL NOT удаляться.
Загрязнённый прогон SHALL NOT попадать в сводку. Исчерпание повторов или ожидания тихого окна
SHALL завершать команду ненулевым exit code, сохраняя полученные результаты.
#### Scenario: Матрица стоимости
- **WHEN** выполняется `make reconcile-cost ARGS="--out <новый-каталог>"`
- **THEN** для каждого N сохранены минимум3прогона: время, CPU, listing/SQL/HEAD/GET, RSS
и чужой CPU; приняты только согласованные данные N/N с errors0; disturbed сохранены отдельно
#### Scenario: Повтор в существующий каталог
- **WHEN** каталог серии уже существует
- **THEN** команда завершается ошибкой до наполнения и не меняет прежние файлы
#### Scenario: Нет пригодных повторов
- **WHEN** после разрешённых повторов окно всё ещё загрязнено чужой нагрузкой
- **THEN** последний bad сохранён как rejected, в сводку не попадает, команда завершается ошибкой
@@ -0,0 +1,20 @@
## 1. Достоверность драйвера
- [ ] 1.1 Добавить новые каталоги, полный provenance, отказ от disturbed и checkpoint.
- [ ] 1.2 Проверить отказные пути драйвера, lint/check; закоммитить до опытов.
## 2. Корректность
- [ ] 2.1 На свежем своём стенде выполнить smoke и demo, сверить все checks/audit/SIGTERM/heal.
- [ ] 2.2 Остановить demo-стенд без удаления volumes.
## 3. Стоимость
- [ ] 3.1 Поднять отдельный стенд и выполнить всю матрицу1k/10k/30k/100k×3 shallow/deep и page100.
- [ ] 3.2 Проверить отбраковку/страницы/разброс, сравнить с asyncpg, оценить H1/H2/H3 и ограничения.
## 4. Завершение
- [ ] 4.1 Закрыть21замечание, обновить промежуточные заметки и REPORT без старых цифр как новых.
- [ ] 4.2 Выполнить check/lint/student-test и smoke, остановить все свои стенды, сохранить volumes.
- [ ] 4.3 Синхронизировать spec, архивировать завершённый цикл и закоммитить чистое дерево.