Добавить автоматический эксперимент и изоляцию повторов

This commit is contained in:
TAskMAster339
2026-11-05 23:46:33 +03:00
parent c8ff31e5ff
commit 228b510ff3
10 changed files with 2069 additions and 3 deletions
+43
View File
@@ -0,0 +1,43 @@
# Проверки инструментов и реализации
## Инструменты эксперимента
```sh
python3 -m unittest discover -s experiments/tests -v
```
Тесты проверяют воспроизводимость PNG и корректность их структуры, изоляцию
ресурсов Compose, размещение результатов в `evidence/idempotency`, правила
агрегации неполных и дублированных случаев, учёт OOM и исключение приватных
учётных данных из архива.
Проверка конфигурации созданного повтора:
```sh
docker compose -f evidence/idempotency/ИМЯ_СЕРИИ/.private/r1/compose.json config --quiet
```
В конфигурации должны отсутствовать общие с учебным стендом имена сетей и томов,
а пути файлов учётных данных должны вести в приватный каталог соответствующего повтора.
## Приложение
```sh
make check
docker compose --project-name highload-lab5 --profile test run --rm --build backend-tests
```
Backend-тесты включают проверку устаревшего lease token, публикации v2, запрета
понижения версии и повторного открытия старого задания. Тесты обработки изображений
проверяют геометрию, целостность исходника и различие результатов v1/v2.
Сборка и статическая проверка в WSL:
```sh
cd src
go build -o /tmp/highload-lab5-messenger ./backend
go vet ./backend/...
```
Сквозная проверка управляющего сценария выполняется пилотом. При дефекте инструмента
сохраняются артефакты пилота; после исправления создаётся новый снимок исходников.
+136
View File
@@ -0,0 +1,136 @@
# Запуск
## Окружение
Требования: WSL Ubuntu, Linux Docker Engine с интеграцией Docker Desktop,
Docker Compose с поддержкой `config --format json`, Python 3.9+ и Git.
При первой сборке нужен доступ к реестрам образов и пакетов.
```sh
python3 -m unittest discover -s experiments/tests -v
```
Порты 18085 и 18900 должны быть свободны. Для стенда рекомендуется выделить
около 6 GiB памяти Docker и несколько GiB диска. Первая сборка и основная серия
могут занять более часа. Параллельные сборки, нагрузочные тесты и другие серии
меняют условия выполнения и должны быть остановлены на время измерений.
До прогрева runner ожидает готовности приложения RabbitMQ и доступности списка
очередей. На запуск стенда и эту проверку отводится общий интервал 300 секунд.
Попытки записываются в `broker-startup.jsonl`, успешная проверка — в
`broker-readiness-r*.json`. Во время сценариев ошибка чтения очереди завершает
проверку и сохраняется в журнале команд.
Эксперимент использует отдельный Compose project. Учебный `highload-lab5` не
перезапускается. При нехватке ресурсов его можно остановить отдельно, сохранив тома.
## Снимок исходников
```sh
experiment_seal=$(python3 experiments/run.py seal)
printf '%s\n' "$experiment_seal"
```
Команда создаёт каталог `evidence/idempotency/seals/...` с `manifest.json` и
`source.zip`. В manifest записаны SHA-256 файлов и протокола, Git HEAD и признак
незакоммиченных изменений. Контейнеры при этом не запускаются.
Значение `experiment_seal` используется в следующих командах. В новом терминале
оно задаётся сохранённым путём:
```sh
experiment_seal=evidence/idempotency/seals/ИМЯ_СНИМКА
```
Runner проверяет контрольные суммы перед серией и каждым повтором. После изменения
исходников требуется новый снимок; после изменения методики — также новая версия
протокола. Существующие данные серий сохраняются.
## Пилот
```sh
python3 experiments/run.py run --phase pilot --seal "$experiment_seal"
```
Пилот выполняет девять сценариев для `rgb_small` в одном повторе. В конце выводится
путь публичного архива. Условия перехода к основной серии в `summary.json`:
```text
complete: true
completed: 9
violations: 0
invalid: 0
missing_artifacts: []
outcome: pilot_only_not_confirmation
```
При ошибке пилота основная серия откладывается до диагностики. Данные пилота
хранятся отдельно и не включаются в основную выборку.
## Основная серия
```sh
python3 experiments/run.py run --phase main --seal "$experiment_seal"
```
Runner выполняет 135 случаев. Каждый из пяти повторов получает новые тома,
сети и учётные данные. Порядок случаев и seed записываются в результаты.
После каждого повтора `docker compose down` удаляет его контейнеры и сети.
Именованные тома с данными сохраняются; параметр `--volumes` не используется.
Изменение кода во время серии или повторный запуск только неудачных случаев
нарушают сопоставимость данных. Исправленная реализация проверяется отдельной
серией с новым снимком исходников.
## Результаты
Все файлы размещаются в `evidence/idempotency/`:
| Путь внутри серии | Содержимое |
| --- | --- |
| `docs/`, `protocol.json`, `seal/` | Методика, параметры и исходники |
| `fixtures/` | Исходные PNG и контрольные суммы |
| `cases.jsonl`, `cases/` | Исходы случаев, наблюдения API, состояния БД, аудит и варианты изображений |
| `environment-r*.json`, `order-r*.json` | Образы, ресурсы и порядок выполнения |
| `docker-events-r*.jsonl` | События контейнеров, включая OOM и завершения |
| `command-errors.jsonl` | Ошибки команд с маскированием учётных данных |
| `summary.json` | Сводка по сценариям и профилям |
| `.private/` | Учётные данные и рабочие конфигурации стенда |
Архив для анализа создаётся рядом с каталогом серии:
`evidence/idempotency/main-...-public.zip` или `pilot-...-public.zip`.
В него не включается `.private`. Для передачи результатов используется этот архив;
полный каталог серии содержит пароли и строки подключения.
Публичные результаты и журналы запуска доступны Git. Корневой `.gitignore`
исключает только `.private/` и служебный `.run.lock` внутри `evidence/`.
Данные `evidence/` не включаются в новые снимки исходников.
Повторная агрегация без запуска стенда:
```sh
python3 experiments/run.py analyze evidence/idempotency/main-ИМЯ_СЕРИИ
```
Создание архива после прерванного запуска:
```sh
python3 experiments/run.py pack evidence/idempotency/main-ИМЯ_СЕРИИ
```
`pack` не перезаписывает существующий архив. Значения итогового поля `outcome`
описаны в [HYPOTHESIS.md](HYPOTHESIS.md).
## Прерывание и остановка
При Ctrl+C сохраняются собранные данные и признак прерванной серии.
После kill -9 или сбоя host автоматическая остановка может не выполниться.
Имена созданных project находятся в `manifest.json`. Остановка выбранного повтора:
```sh
docker compose --project-name ИМЯ_ИЗ_MANIFEST \
-f evidence/idempotency/ИМЯ_СЕРИИ/.private/r1/compose.json down
```
Тома сохраняются до завершения анализа. Глобальные команды `docker stop` и
`docker prune` для управления экспериментом не используются.