diff --git a/openspec/changes/verify-lab4-reconciler-sqlalchemy/.openspec.yaml b/openspec/changes/verify-lab4-reconciler-sqlalchemy/.openspec.yaml new file mode 100644 index 00000000..8a94d769 --- /dev/null +++ b/openspec/changes/verify-lab4-reconciler-sqlalchemy/.openspec.yaml @@ -0,0 +1,2 @@ +schema: spec-driven +created: 2026-11-06 diff --git a/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md b/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md new file mode 100644 index 00000000..22146e67 --- /dev/null +++ b/openspec/changes/verify-lab4-reconciler-sqlalchemy/design.md @@ -0,0 +1,42 @@ +## Context + +Источник API — SQLAlchemy-перенос8e4532f6; уровни3/4 завершены57caeb6. +Reconciler уже сортирует listing и keyset-страницы с lookahead, хеширует любой карантин, +публикует audit после COMMIT и держит AUTOCOMMIT advisory lock на закреплённом connection. + +## Goals / Non-Goals + +Доказать весь трек2 README на текущем коде и закрыть оставшиеся review1. Не менять API. + +## Hypotheses registered before this series + +H1: каждый внедрённый класс найден по множеству id/key; dry-run не меняет состояние; +apply исправляет ровно18 старых расхождений, повтор0; готовые, используемые и свежие сохранены. +Под нагрузкой отдельно считаются fresh_seen и rechecked; нулевой rechecked не доказывает этот барьер. +H2 (исходная148868b): shallow t(100k)/t(10k) в[7,13]; RSS100k/RSS1k<1,1; +listing/SQL=ceil(N/page), HEAD/GET0; deep на порядок дороже на объект. Проверяется без подмены100kна30k. +Эта гипотеза может быть отвергнута; оценка трека не требует её подтверждения. +H3: SQLAlchemy сохраняет страничность и постоянный по N RSS; абсолютные время/RSS сравниваются +с61dcb6b как исторические наблюдения, а не причинный A/B-эксперимент одной библиотеки. + +## Decisions + +Demo: project hlpipe-lab4-track-20261106, новый стенд, один smoke как baseline; +18явных загрузок плюс1smoke; grace60/skew0;75с загрузок,3потока. Полный независимый oracle. +Затем down без -v. Cost: отдельный hlpipe-lab4-cost-20261106, новый baseline smoke; +1k/10k/30k/100k×3 shallow/deep, page100на10k×3. RustFS2CPU/3GiB, PG2CPU/1GiB, +reconciler1CPU/256MiB; pin последние5ядер VM (2S3,2PG,1CLI). API/LB/Valkey после bootstrap +останавливаются, клиент наполнения одноразовый4CPU/512MiB,4параллельныхPUT, PNG8×8. +Наполнение100k ожидаемо занимает десятки минут и должно закончиться полностью. + +Чужие контейнеры не останавливаются. Screen: other<=2ядраVM и<=0,25на закреплённых, +стартовый allowance1,5/0,5core-s;3повтора загрязнённого прогона. Нет тихого окна за900с +или все попытки disturbed — failure, никакого принятия последнего bad. Все rejected сохраняются. +Новые --out, запрет существующего каталога, checkpoint после каждого принятого измерения. +Проверяются exit0/errors0/skippedfalse, countsN/N и found0. Среда, command, fullSHA/UTC сохранены. + +## Risks / Trade-offs + +Листинг RustFS может дорожать на ключ и опровергнуть линейную H2. Deep на мелких файлах +не предсказывает стоимость10MiB. Docker Desktop и хост — общая машина; screen оценивает +чужой CPU, но не устраняет диск/частоты/кэш. Историческая серия не изолированный baseline. diff --git a/openspec/changes/verify-lab4-reconciler-sqlalchemy/proposal.md b/openspec/changes/verify-lab4-reconciler-sqlalchemy/proposal.md new file mode 100644 index 00000000..dfd2216e --- /dev/null +++ b/openspec/changes/verify-lab4-reconciler-sqlalchemy/proposal.md @@ -0,0 +1,33 @@ +## Why + +Уровни3/4 подтверждены на SQLAlchemy. Трек2 README требует нового доказательства согласованности +и стоимости; старые результаты61dcb6b относятся к asyncpg. В драйвере cost обнаружены две ошибки: +удаление прежних файлов и принятие последнего disturbed-прогона после исчерпания повторов. + +## What Changes + +- Записывать demo/cost в новый каталог --out, с UTC/полным SHA, без удаления старых серий. +- При отсутствии тихого окна или исчерпании повторов завершаться ошибкой; сохранять rejected отдельно. +- Проверять согласованность и размер набора перед принятием измерения, сохранять промежуточную сводку. +- Переснять dry-run/apply/repeat, карантин, SIGTERM, audit, outage и безопасность под загрузками. +- Снять1k/10k/30k/100k×3 shallow/deep и page100на10k; сравнить с исторической серией с оговорками. + +## Capabilities + +### New Capabilities + +Нет. + +### Modified Capabilities + +- `lab4-storage-reconciler`: изоляция и достоверность серии стоимости. + +## Impact + +scripts/reconcile_track.py, собственные тесты драйвера, evidence и промежуточные отчётные заметки. +API, схема, порты зон, SQL-адаптеры и нормативные файлы неизменны. Свои проекты, +свежие volumes, HTTP18084, после down данные сохранены. + +## Non-goals + +Переписывание готового reconciler, иные треки, публикация. Ограничения config.yaml сохраняются. diff --git a/openspec/changes/verify-lab4-reconciler-sqlalchemy/specs/lab4-storage-reconciler/spec.md b/openspec/changes/verify-lab4-reconciler-sqlalchemy/specs/lab4-storage-reconciler/spec.md new file mode 100644 index 00000000..0f9d163c --- /dev/null +++ b/openspec/changes/verify-lab4-reconciler-sqlalchemy/specs/lab4-storage-reconciler/spec.md @@ -0,0 +1,26 @@ +## MODIFIED Requirements + +### Requirement: Стоимость обхода + +Трассировка: README.md, оценка5, трек2, измерение стоимости обхода. +Обход без `--deep` SHALL требовать `⌈N / страница⌉` запросов листинга и столько же SQL-страниц +на N объектов и строк (одну SQL-страницу, если строк нет), не делать `HEAD` и `GET` на +согласованных данных и держать в памяти не больше страницы каждой стороны. Стоимость SHALL +измеряться повторяемой командой на N=1000,10000,30000,100000 с не менее трёх повторов, +в том числе с `--deep`. Каждая серия SHALL использовать новый каталог `--out`, сохранять +UTC, полный SHA, параметры, сырые результаты и промежуточную сводку; старые файлы SHALL NOT удаляться. +Загрязнённый прогон SHALL NOT попадать в сводку. Исчерпание повторов или ожидания тихого окна +SHALL завершать команду ненулевым exit code, сохраняя полученные результаты. + +#### Scenario: Матрица стоимости +- **WHEN** выполняется `make reconcile-cost ARGS="--out <новый-каталог>"` +- **THEN** для каждого N сохранены минимум3прогона: время, CPU, listing/SQL/HEAD/GET, RSS + и чужой CPU; приняты только согласованные данные N/N с errors0; disturbed сохранены отдельно + +#### Scenario: Повтор в существующий каталог +- **WHEN** каталог серии уже существует +- **THEN** команда завершается ошибкой до наполнения и не меняет прежние файлы + +#### Scenario: Нет пригодных повторов +- **WHEN** после разрешённых повторов окно всё ещё загрязнено чужой нагрузкой +- **THEN** последний bad сохранён как rejected, в сводку не попадает, команда завершается ошибкой diff --git a/openspec/changes/verify-lab4-reconciler-sqlalchemy/tasks.md b/openspec/changes/verify-lab4-reconciler-sqlalchemy/tasks.md new file mode 100644 index 00000000..6a8205db --- /dev/null +++ b/openspec/changes/verify-lab4-reconciler-sqlalchemy/tasks.md @@ -0,0 +1,20 @@ +## 1. Достоверность драйвера + +- [ ] 1.1 Добавить новые каталоги, полный provenance, отказ от disturbed и checkpoint. +- [ ] 1.2 Проверить отказные пути драйвера, lint/check; закоммитить до опытов. + +## 2. Корректность + +- [ ] 2.1 На свежем своём стенде выполнить smoke и demo, сверить все checks/audit/SIGTERM/heal. +- [ ] 2.2 Остановить demo-стенд без удаления volumes. + +## 3. Стоимость + +- [ ] 3.1 Поднять отдельный стенд и выполнить всю матрицу1k/10k/30k/100k×3 shallow/deep и page100. +- [ ] 3.2 Проверить отбраковку/страницы/разброс, сравнить с asyncpg, оценить H1/H2/H3 и ограничения. + +## 4. Завершение + +- [ ] 4.1 Закрыть21замечание, обновить промежуточные заметки и REPORT без старых цифр как новых. +- [ ] 4.2 Выполнить check/lint/student-test и smoke, остановить все свои стенды, сохранить volumes. +- [ ] 4.3 Синхронизировать spec, архивировать завершённый цикл и закоммитить чистое дерево.