Propose isolated grade four verification and review closure

This commit is contained in:
Artyom
2026-11-06 02:01:27 +03:00
parent 02f385866f
commit c7e7a86627
5 changed files with 103 additions and 0 deletions
@@ -0,0 +1,2 @@
schema: spec-driven
created: 2026-11-06
@@ -0,0 +1,29 @@
## Context
Уровень 3 подтверждён в 02f3858. Код API уже содержит auth-before-size, deadline по
прогрессу, отдельные ключи S3 и sweeper. Нужны новые реальные доказательства и безопасная обвязка.
## Goals / Non-Goals
Закрыть четыре пункта уровня 4 без изменения контракта. Трек reconciler — следующий цикл.
## Decisions
Тот же изолированный hlpipe-lab4-grades-20261106, порт 18084. Полный stack suite последовательно.
Три серии памяти: 64 и 3 слота на worker; 1/10 MiB; 10/20/40 клиентов; по 2 загрузки на клиента.
Каждая точка пересоздаёт API/LB для независимого memory.peak; медианы всех трёх повторов отдельно
для API и LB, min/max как разброс; ошибки negative control не скрываются. Две реплики по
1 CPU/512 MiB, 2 workers, glibc mmap threshold 131072; RustFS 1 CPU/512 MiB.
Выходные каталоги непустыми быть не могут. Таймаут уборки и ненулевой код load-client означают fail.
Clean-clone: новый каталог .verification/hlpipe-lab4-clean-<timestamp> внутри репозитория,
явный project с тем же префиксом; исходный стенд временно down для освобождения18084.
Шаги выполняются без pipe, с set -e, trap down; все volumes остаются. Вывод захватывает
capture_evidence.py; ключи создаются только штатным make secrets, значения не печатаются.
Нормативные tests/contracts/README/COURSE и архивы OpenSpec остаются неизменны.
## Risks / Trade-offs
64 слота — намеренная перегрузка: возможны 503/OOM, фиксируем фактические результаты.
3 слота должны ограничить пик памяти; успешность без ошибок не обещается при исчерпании слотов.
Старые цифры останутся явно историческими; текущие выводы только из новой серии.
@@ -0,0 +1,32 @@
## Why
После SQLAlchemy прежние замеры не доказывают уровень «4». Проверка 21 замечания review1
нашла незакрытые проблемы обвязки: очистка volumes в clean-clone, потеря exit code,
перезапись серий памяти. Все функции API уже реализованы; нужны реальные проверки.
## What Changes
- Сохранить полный вывод отказов, медленных загрузок и трёх серий памяти 1/10 MiB × 10/20/40.
- Изолировать каталоги, писать полный SHA, останавливать только свой clone без удаления volumes.
- Проверять exit code клиента нагрузки и завершение уборки.
- Сверить 21 замечание с кодом/тестами; измерения reconciler завершить отдельным циклом трека.
- Сохранить WIP отчёта, исправить устаревшие утверждения; окончательная редактура после ревью.
## Capabilities
### New Capabilities
- `lab4-evidence-runs`: изолированные доказательства с честным статусом завершения.
### Modified Capabilities
Нет изменений API.
## Impact
scripts, собственные evidence, REPORT и индекс. Зоны приложения, данные и публичный контракт
не меняются. Только собственные Compose-проекты, новые volumes остаются после down.
## Non-goals
Новые функции вложений, брокер, варианты изображений, публикация. Ограничения config.yaml сохраняются.
@@ -0,0 +1,24 @@
## ADDED Requirements
### Requirement: Изоляция серий
Сбор доказательств MUST сохранять UTC, полный SHA, команду и фактический exit code.
Повторная серия памяти MUST использовать новый каталог и MUST NOT перезаписывать прежние результаты.
#### Scenario: Существующий каталог памяти
- **WHEN** каталог уже содержит результаты
- **THEN** драйвер завершается до запуска нагрузки с ошибкой
### Requirement: Безопасный чистый clone
Проверка clone MUST использовать собственный Compose project, сохранять volumes и возвращать ошибку
первого неуспешного обязательного шага, останавливая собственный стенд при завершении.
#### Scenario: Проверка завершена
- **WHEN** последовательность smoke/persistence/failover/security завершается или падает
- **THEN** собственные контейнеры останавливаются, а именованные volumes сохраняются
### Requirement: Ошибка эксперимента
Ненулевой exit клиента нагрузки или оставшиеся после таймаута pending MUST означать неуспешную проверку.
#### Scenario: Клиент завершился с ошибкой
- **WHEN** load-client возвращает ненулевой exit code
- **THEN** сырой вывод сохраняется и команда сбора также возвращает ненулевой exit code
@@ -0,0 +1,16 @@
## 1. Обвязка
- [ ] 1.1 Исправить изоляцию серий, provenance, exit codes и безопасный clean-clone.
- [ ] 1.2 Проверить lint/check и закоммитить обвязку перед замерами.
## 2. Проверки
- [ ] 2.1 Выполнить все stack-тесты отказов и загрузок через LB.
- [ ] 2.2 Снять три серии памяти, проверить уборку оставшихся намерений.
- [ ] 2.3 Подтвердить воспроизводимый клиент нагрузки и чистый clone с сырым выводом.
## 3. Документация
- [ ] 3.1 Сверить каждое из 21 замечания; результаты трека явно передать следующему циклу.
- [ ] 3.2 Исправить текущие утверждения REPORT и индекс, записать матрицу критериев и ограничения.
- [ ] 3.3 Синхронизировать спецификацию, архивировать после проверок и коммита.