Files
mtusi2026lab4/experiments/docs/RUNBOOK.md
T

81 lines
6.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Запуск и повтор
[README](../README.md) · [Гипотеза](HYPOTHESIS.md) · [Методика](METHODOLOGY.md) · [Ограничения](LIMITATIONS.md)
## Подготовка
Команды выполнять в **WSL/Linux из корня лабораторной**. Для закреплённого окружения анализа нужны Python 3.12, модуль `venv`, Docker с cgroup v2/`memory.peak` и Compose v2+. Ориентир: 4 CPU, 6 ГиБ RAM Docker, 10 ГиБ диска. Порты 18080, 19000, 18404 должны быть свободны.
```sh
bash experiments/setup.sh
.venv/bin/python -m unittest discover -s experiments/tests -v
.venv/bin/python experiments/run.py check
```
`setup.sh` создаёт `.venv` в корне и устанавливает pandas/matplotlib из [requirements.txt](../requirements.txt). Версии прямых и транзитивных зависимостей закреплены. Они нужны только для графиков; runner использует стандартную библиотеку (Python 3.9+). `.venv` уже исключён из Git. Если `venv` недоступен: `sudo apt install python3-venv`.
Не менять исходники между prepare и концом серии, не запускать параллельно сборки/тесты/нагрузку. Рабочий стенд не останавливается автоматически; оставь его без нагрузки.
## Пилот
```sh
.venv/bin/python experiments/run.py prepare --pilot
# Подставь путь из строки Prepared:
PILOT=evidence/upload-comparison/<каталог-pilot>
.venv/bin/python experiments/run.py run "$PILOT"
.venv/bin/python experiments/run.py summarize "$PILOT"
.venv/bin/python experiments/plot.py "$PILOT"
```
Пилот: 2 moderate-профиля, 2 клиента, 1 волна, 1 парный повтор — 4 прогона и 8 измеряемых загрузок. Он проверяет инструменты и не участвует в H1. При исправлении инструментов сохрани старые данные и подготовь новую серию.
## Основная серия
```sh
.venv/bin/python experiments/run.py prepare --reuse-images "$PILOT"
CAMPAIGN=evidence/upload-comparison/<каталог-formal>
.venv/bin/python experiments/run.py run "$CAMPAIGN"
.venv/bin/python experiments/run.py summarize "$CAMPAIGN"
.venv/bin/python experiments/plot.py "$CAMPAIGN"
```
При изменении исходников или без пилота используй `prepare` без `--reuse-images`. Подготовка собирает собственные образы и фиксирует их ID, но не выполняет загрузки. Основная серия: 24 прогона, 720 измеряемых загрузок.
`run`: код 0 — план завершён, 1 — сбой окружения/оркестратора, 130 — отмена. Решение о H1 находится в `metrics.json → decision`, а не в коде выхода.
## Результаты
Весь каталог серии сохраняется в **корневом `evidence/upload-comparison/`**:
- `protocol.json`, `plan.json`, `seal.json`, исходники, fixtures и image ID — условия повторения.
- `cases/*` — сырые запросы, RAM-точки, счётчики, проверки оригиналов, состояния и ошибки.
- `metrics.json` / `metrics.csv` — итоговые показатели и критерии; `analysis-provenance.json` — версия анализа.
- `plots/<время>/` — PNG-графики трафика, отношения direct/proxy, RAM, p95 и ошибок; `provenance.json` фиксирует входы и версии библиотек.
Графики показывают все доступные прогоны; пропуски не заменяются нулями. Качество измерений и итог H1 проверяй по JSON. Для разбора передай весь каталог, включая неудачные прогоны. `/tmp/highload-upload-exp-*` содержит credentials: его не архивировать.
## Повтор, остановка и уборка
Новый полный повтор без перезаписи:
```sh
.venv/bin/python experiments/run.py prepare --reuse-images "$CAMPAIGN"
# Подставь новый путь и повтори run → summarize → plot.
```
Один `Ctrl+C` сохраняет данные и запускает уборку. Активные запросы завершаются в пределах таймаута. Продолжить только ещё не начатые прогоны:
```sh
.venv/bin/python experiments/run.py run "$CAMPAIGN" --resume
```
Прерванные попытки остаются в evidence и могут дать `inconclusive`; для полного повторения нужна новая серия. Не менять seal/state вручную.
`run ... --keep-volumes` оставляет экспериментальные volumes для отладки; при resume сохрани тот же флаг. После разбора, аварийного завершения WSL или ошибки уборки:
```sh
.venv/bin/python experiments/run.py cleanup "$CAMPAIGN"
```
Удаляются только ресурсы выбранной серии, evidence остаётся. При обычном завершении уборка автоматическая. Исходники и документы входят в manifest: их изменение требует нового prepare. Для summarize старой серии `analysis.py` и `common.py` должны совпадать с архивом `source.tar.gz`; старые образы сохраняй через `docker image save/load`.