Preregister SQLAlchemy reconciler validation and full cost matrix
This commit is contained in:
@@ -0,0 +1,2 @@
|
||||
schema: spec-driven
|
||||
created: 2026-11-06
|
||||
@@ -0,0 +1,42 @@
|
||||
## Context
|
||||
|
||||
Источник API — SQLAlchemy-перенос8e4532f6; уровни3/4 завершены57caeb6.
|
||||
Reconciler уже сортирует listing и keyset-страницы с lookahead, хеширует любой карантин,
|
||||
публикует audit после COMMIT и держит AUTOCOMMIT advisory lock на закреплённом connection.
|
||||
|
||||
## Goals / Non-Goals
|
||||
|
||||
Доказать весь трек2 README на текущем коде и закрыть оставшиеся review1. Не менять API.
|
||||
|
||||
## Hypotheses registered before this series
|
||||
|
||||
H1: каждый внедрённый класс найден по множеству id/key; dry-run не меняет состояние;
|
||||
apply исправляет ровно18 старых расхождений, повтор0; готовые, используемые и свежие сохранены.
|
||||
Под нагрузкой отдельно считаются fresh_seen и rechecked; нулевой rechecked не доказывает этот барьер.
|
||||
H2 (исходная148868b): shallow t(100k)/t(10k) в[7,13]; RSS100k/RSS1k<1,1;
|
||||
listing/SQL=ceil(N/page), HEAD/GET0; deep на порядок дороже на объект. Проверяется без подмены100kна30k.
|
||||
Эта гипотеза может быть отвергнута; оценка трека не требует её подтверждения.
|
||||
H3: SQLAlchemy сохраняет страничность и постоянный по N RSS; абсолютные время/RSS сравниваются
|
||||
с61dcb6b как исторические наблюдения, а не причинный A/B-эксперимент одной библиотеки.
|
||||
|
||||
## Decisions
|
||||
|
||||
Demo: project hlpipe-lab4-track-20261106, новый стенд, один smoke как baseline;
|
||||
18явных загрузок плюс1smoke; grace60/skew0;75с загрузок,3потока. Полный независимый oracle.
|
||||
Затем down без -v. Cost: отдельный hlpipe-lab4-cost-20261106, новый baseline smoke;
|
||||
1k/10k/30k/100k×3 shallow/deep, page100на10k×3. RustFS2CPU/3GiB, PG2CPU/1GiB,
|
||||
reconciler1CPU/256MiB; pin последние5ядер VM (2S3,2PG,1CLI). API/LB/Valkey после bootstrap
|
||||
останавливаются, клиент наполнения одноразовый4CPU/512MiB,4параллельныхPUT, PNG8×8.
|
||||
Наполнение100k ожидаемо занимает десятки минут и должно закончиться полностью.
|
||||
|
||||
Чужие контейнеры не останавливаются. Screen: other<=2ядраVM и<=0,25на закреплённых,
|
||||
стартовый allowance1,5/0,5core-s;3повтора загрязнённого прогона. Нет тихого окна за900с
|
||||
или все попытки disturbed — failure, никакого принятия последнего bad. Все rejected сохраняются.
|
||||
Новые --out, запрет существующего каталога, checkpoint после каждого принятого измерения.
|
||||
Проверяются exit0/errors0/skippedfalse, countsN/N и found0. Среда, command, fullSHA/UTC сохранены.
|
||||
|
||||
## Risks / Trade-offs
|
||||
|
||||
Листинг RustFS может дорожать на ключ и опровергнуть линейную H2. Deep на мелких файлах
|
||||
не предсказывает стоимость10MiB. Docker Desktop и хост — общая машина; screen оценивает
|
||||
чужой CPU, но не устраняет диск/частоты/кэш. Историческая серия не изолированный baseline.
|
||||
@@ -0,0 +1,33 @@
|
||||
## Why
|
||||
|
||||
Уровни3/4 подтверждены на SQLAlchemy. Трек2 README требует нового доказательства согласованности
|
||||
и стоимости; старые результаты61dcb6b относятся к asyncpg. В драйвере cost обнаружены две ошибки:
|
||||
удаление прежних файлов и принятие последнего disturbed-прогона после исчерпания повторов.
|
||||
|
||||
## What Changes
|
||||
|
||||
- Записывать demo/cost в новый каталог --out, с UTC/полным SHA, без удаления старых серий.
|
||||
- При отсутствии тихого окна или исчерпании повторов завершаться ошибкой; сохранять rejected отдельно.
|
||||
- Проверять согласованность и размер набора перед принятием измерения, сохранять промежуточную сводку.
|
||||
- Переснять dry-run/apply/repeat, карантин, SIGTERM, audit, outage и безопасность под загрузками.
|
||||
- Снять1k/10k/30k/100k×3 shallow/deep и page100на10k; сравнить с исторической серией с оговорками.
|
||||
|
||||
## Capabilities
|
||||
|
||||
### New Capabilities
|
||||
|
||||
Нет.
|
||||
|
||||
### Modified Capabilities
|
||||
|
||||
- `lab4-storage-reconciler`: изоляция и достоверность серии стоимости.
|
||||
|
||||
## Impact
|
||||
|
||||
scripts/reconcile_track.py, собственные тесты драйвера, evidence и промежуточные отчётные заметки.
|
||||
API, схема, порты зон, SQL-адаптеры и нормативные файлы неизменны. Свои проекты,
|
||||
свежие volumes, HTTP18084, после down данные сохранены.
|
||||
|
||||
## Non-goals
|
||||
|
||||
Переписывание готового reconciler, иные треки, публикация. Ограничения config.yaml сохраняются.
|
||||
+26
@@ -0,0 +1,26 @@
|
||||
## MODIFIED Requirements
|
||||
|
||||
### Requirement: Стоимость обхода
|
||||
|
||||
Трассировка: README.md, оценка5, трек2, измерение стоимости обхода.
|
||||
Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц
|
||||
на N объектов и строк (одну SQL-страницу, если строк нет), не делать `HEAD` и `GET` на
|
||||
согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL
|
||||
измеряться повторяемой командой на N=1000,10000,30000,100000 с не менее трёх повторов,
|
||||
в том числе с `--deep`. Каждая серия SHALL использовать новый каталог `--out`, сохранять
|
||||
UTC, полный SHA, параметры, сырые результаты и промежуточную сводку; старые файлы SHALL NOT удаляться.
|
||||
Загрязнённый прогон SHALL NOT попадать в сводку. Исчерпание повторов или ожидания тихого окна
|
||||
SHALL завершать команду ненулевым exit code, сохраняя полученные результаты.
|
||||
|
||||
#### Scenario: Матрица стоимости
|
||||
- **WHEN** выполняется `make reconcile-cost ARGS="--out <новый-каталог>"`
|
||||
- **THEN** для каждого N сохранены минимум3прогона: время, CPU, listing/SQL/HEAD/GET, RSS
|
||||
и чужой CPU; приняты только согласованные данные N/N с errors0; disturbed сохранены отдельно
|
||||
|
||||
#### Scenario: Повтор в существующий каталог
|
||||
- **WHEN** каталог серии уже существует
|
||||
- **THEN** команда завершается ошибкой до наполнения и не меняет прежние файлы
|
||||
|
||||
#### Scenario: Нет пригодных повторов
|
||||
- **WHEN** после разрешённых повторов окно всё ещё загрязнено чужой нагрузкой
|
||||
- **THEN** последний bad сохранён как rejected, в сводку не попадает, команда завершается ошибкой
|
||||
@@ -0,0 +1,20 @@
|
||||
## 1. Достоверность драйвера
|
||||
|
||||
- [ ] 1.1 Добавить новые каталоги, полный provenance, отказ от disturbed и checkpoint.
|
||||
- [ ] 1.2 Проверить отказные пути драйвера, lint/check; закоммитить до опытов.
|
||||
|
||||
## 2. Корректность
|
||||
|
||||
- [ ] 2.1 На свежем своём стенде выполнить smoke и demo, сверить все checks/audit/SIGTERM/heal.
|
||||
- [ ] 2.2 Остановить demo-стенд без удаления volumes.
|
||||
|
||||
## 3. Стоимость
|
||||
|
||||
- [ ] 3.1 Поднять отдельный стенд и выполнить всю матрицу1k/10k/30k/100k×3 shallow/deep и page100.
|
||||
- [ ] 3.2 Проверить отбраковку/страницы/разброс, сравнить с asyncpg, оценить H1/H2/H3 и ограничения.
|
||||
|
||||
## 4. Завершение
|
||||
|
||||
- [ ] 4.1 Закрыть21замечание, обновить промежуточные заметки и REPORT без старых цифр как новых.
|
||||
- [ ] 4.2 Выполнить check/lint/student-test и smoke, остановить все свои стенды, сохранить volumes.
|
||||
- [ ] 4.3 Синхронизировать spec, архивировать завершённый цикл и закоммитить чистое дерево.
|
||||
Reference in New Issue
Block a user