81 lines
6.0 KiB
Markdown
81 lines
6.0 KiB
Markdown
# Запуск и повтор
|
||
|
||
[README](../README.md) · [Гипотеза](HYPOTHESIS.md) · [Методика](METHODOLOGY.md) · [Ограничения](LIMITATIONS.md)
|
||
|
||
## Подготовка
|
||
|
||
Команды выполнять в **WSL/Linux из корня лабораторной**. Для закреплённого окружения анализа нужны Python 3.12, модуль `venv`, Docker с cgroup v2/`memory.peak` и Compose v2+. Ориентир: 4 CPU, 6 ГиБ RAM Docker, 10 ГиБ диска. Порты 18080, 19000, 18404 должны быть свободны.
|
||
|
||
```sh
|
||
bash experiments/setup.sh
|
||
.venv/bin/python -m unittest discover -s experiments/tests -v
|
||
.venv/bin/python experiments/run.py check
|
||
```
|
||
|
||
`setup.sh` создаёт `.venv` в корне и устанавливает pandas/matplotlib из [requirements.txt](../requirements.txt). Версии прямых и транзитивных зависимостей закреплены. Они нужны только для графиков; runner использует стандартную библиотеку (Python 3.9+). `.venv` уже исключён из Git. Если `venv` недоступен: `sudo apt install python3-venv`.
|
||
|
||
Не менять исходники между prepare и концом серии, не запускать параллельно сборки/тесты/нагрузку. Рабочий стенд не останавливается автоматически; оставь его без нагрузки.
|
||
|
||
## Пилот
|
||
|
||
```sh
|
||
.venv/bin/python experiments/run.py prepare --pilot
|
||
# Подставь путь из строки Prepared:
|
||
PILOT=evidence/upload-comparison/<каталог-pilot>
|
||
.venv/bin/python experiments/run.py run "$PILOT"
|
||
.venv/bin/python experiments/run.py summarize "$PILOT"
|
||
.venv/bin/python experiments/plot.py "$PILOT"
|
||
```
|
||
|
||
Пилот: 2 moderate-профиля, 2 клиента, 1 волна, 1 парный повтор — 4 прогона и 8 измеряемых загрузок. Он проверяет инструменты и не участвует в H1. При исправлении инструментов сохрани старые данные и подготовь новую серию.
|
||
|
||
## Основная серия
|
||
|
||
```sh
|
||
.venv/bin/python experiments/run.py prepare --reuse-images "$PILOT"
|
||
CAMPAIGN=evidence/upload-comparison/<каталог-formal>
|
||
.venv/bin/python experiments/run.py run "$CAMPAIGN"
|
||
.venv/bin/python experiments/run.py summarize "$CAMPAIGN"
|
||
.venv/bin/python experiments/plot.py "$CAMPAIGN"
|
||
```
|
||
|
||
При изменении исходников или без пилота используй `prepare` без `--reuse-images`. Подготовка собирает собственные образы и фиксирует их ID, но не выполняет загрузки. Основная серия: 24 прогона, 720 измеряемых загрузок.
|
||
|
||
`run`: код 0 — план завершён, 1 — сбой окружения/оркестратора, 130 — отмена. Решение о H1 находится в `metrics.json → decision`, а не в коде выхода.
|
||
|
||
## Результаты
|
||
|
||
Весь каталог серии сохраняется в **корневом `evidence/upload-comparison/`**:
|
||
|
||
- `protocol.json`, `plan.json`, `seal.json`, исходники, fixtures и image ID — условия повторения.
|
||
- `cases/*` — сырые запросы, RAM-точки, счётчики, проверки оригиналов, состояния и ошибки.
|
||
- `metrics.json` / `metrics.csv` — итоговые показатели и критерии; `analysis-provenance.json` — версия анализа.
|
||
- `plots/<время>/` — PNG-графики трафика, отношения direct/proxy, RAM, p95 и ошибок; `provenance.json` фиксирует входы и версии библиотек.
|
||
|
||
Графики показывают все доступные прогоны; пропуски не заменяются нулями. Качество измерений и итог H1 проверяй по JSON. Для разбора передай весь каталог, включая неудачные прогоны. `/tmp/highload-upload-exp-*` содержит credentials: его не архивировать.
|
||
|
||
## Повтор, остановка и уборка
|
||
|
||
Новый полный повтор без перезаписи:
|
||
|
||
```sh
|
||
.venv/bin/python experiments/run.py prepare --reuse-images "$CAMPAIGN"
|
||
# Подставь новый путь и повтори run → summarize → plot.
|
||
```
|
||
|
||
Один `Ctrl+C` сохраняет данные и запускает уборку. Активные запросы завершаются в пределах таймаута. Продолжить только ещё не начатые прогоны:
|
||
|
||
```sh
|
||
.venv/bin/python experiments/run.py run "$CAMPAIGN" --resume
|
||
```
|
||
|
||
Прерванные попытки остаются в evidence и могут дать `inconclusive`; для полного повторения нужна новая серия. Не менять seal/state вручную.
|
||
|
||
`run ... --keep-volumes` оставляет экспериментальные volumes для отладки; при resume сохрани тот же флаг. После разбора, аварийного завершения WSL или ошибки уборки:
|
||
|
||
```sh
|
||
.venv/bin/python experiments/run.py cleanup "$CAMPAIGN"
|
||
```
|
||
|
||
Удаляются только ресурсы выбранной серии, evidence остаётся. При обычном завершении уборка автоматическая. Исходники и документы входят в manifest: их изменение требует нового prepare. Для summarize старой серии `analysis.py` и `common.py` должны совпадать с архивом `source.tar.gz`; старые образы сохраняй через `docker image save/load`.
|