Files
mtusi2026lab4-fork/experiments/docs/RUNBOOK.md

6.0 KiB
Raw Permalink Blame History

Запуск и повтор

README · Гипотеза · Методика · Ограничения

Подготовка

Команды выполнять в WSL/Linux из корня лабораторной. Для закреплённого окружения анализа нужны Python 3.12, модуль venv, Docker с cgroup v2/memory.peak и Compose v2+. Ориентир: 4 CPU, 6 ГиБ RAM Docker, 10 ГиБ диска. Порты 18080, 19000, 18404 должны быть свободны.

bash experiments/setup.sh
.venv/bin/python -m unittest discover -s experiments/tests -v
.venv/bin/python experiments/run.py check

setup.sh создаёт .venv в корне и устанавливает pandas/matplotlib из requirements.txt. Версии прямых и транзитивных зависимостей закреплены. Они нужны только для графиков; runner использует стандартную библиотеку (Python 3.9+). .venv уже исключён из Git. Если venv недоступен: sudo apt install python3-venv.

Не менять исходники между prepare и концом серии, не запускать параллельно сборки/тесты/нагрузку. Рабочий стенд не останавливается автоматически; оставь его без нагрузки.

Пилот

.venv/bin/python experiments/run.py prepare --pilot
# Подставь путь из строки Prepared:
PILOT=evidence/upload-comparison/<каталог-pilot>
.venv/bin/python experiments/run.py run "$PILOT"
.venv/bin/python experiments/run.py summarize "$PILOT"
.venv/bin/python experiments/plot.py "$PILOT"

Пилот: 2 moderate-профиля, 2 клиента, 1 волна, 1 парный повтор — 4 прогона и 8 измеряемых загрузок. Он проверяет инструменты и не участвует в H1. При исправлении инструментов сохрани старые данные и подготовь новую серию.

Основная серия

.venv/bin/python experiments/run.py prepare --reuse-images "$PILOT"
CAMPAIGN=evidence/upload-comparison/<каталог-formal>
.venv/bin/python experiments/run.py run "$CAMPAIGN"
.venv/bin/python experiments/run.py summarize "$CAMPAIGN"
.venv/bin/python experiments/plot.py "$CAMPAIGN"

При изменении исходников или без пилота используй prepare без --reuse-images. Подготовка собирает собственные образы и фиксирует их ID, но не выполняет загрузки. Основная серия: 24 прогона, 720 измеряемых загрузок.

run: код 0 — план завершён, 1 — сбой окружения/оркестратора, 130 — отмена. Решение о H1 находится в metrics.json → decision, а не в коде выхода.

Результаты

Весь каталог серии сохраняется в корневом evidence/upload-comparison/:

  • protocol.json, plan.json, seal.json, исходники, fixtures и image ID — условия повторения.
  • cases/* — сырые запросы, RAM-точки, счётчики, проверки оригиналов, состояния и ошибки.
  • metrics.json / metrics.csv — итоговые показатели и критерии; analysis-provenance.json — версия анализа.
  • plots/<время>/ — PNG-графики трафика, отношения direct/proxy, RAM, p95 и ошибок; provenance.json фиксирует входы и версии библиотек.

Графики показывают все доступные прогоны; пропуски не заменяются нулями. Качество измерений и итог H1 проверяй по JSON. Для разбора передай весь каталог, включая неудачные прогоны. /tmp/highload-upload-exp-* содержит credentials: его не архивировать.

Повтор, остановка и уборка

Новый полный повтор без перезаписи:

.venv/bin/python experiments/run.py prepare --reuse-images "$CAMPAIGN"
# Подставь новый путь и повтори run → summarize → plot.

Один Ctrl+C сохраняет данные и запускает уборку. Активные запросы завершаются в пределах таймаута. Продолжить только ещё не начатые прогоны:

.venv/bin/python experiments/run.py run "$CAMPAIGN" --resume

Прерванные попытки остаются в evidence и могут дать inconclusive; для полного повторения нужна новая серия. Не менять seal/state вручную.

run ... --keep-volumes оставляет экспериментальные volumes для отладки; при resume сохрани тот же флаг. После разбора, аварийного завершения WSL или ошибки уборки:

.venv/bin/python experiments/run.py cleanup "$CAMPAIGN"

Удаляются только ресурсы выбранной серии, evidence остаётся. При обычном завершении уборка автоматическая. Исходники и документы входят в manifest: их изменение требует нового prepare. Для summarize старой серии analysis.py и common.py должны совпадать с архивом source.tar.gz; старые образы сохраняй через docker image save/load.