diff --git a/evidence/compare/scaling-b__scaling-a.md b/evidence/compare/scaling-b__scaling-a.md new file mode 100644 index 00000000..610722e0 --- /dev/null +++ b/evidence/compare/scaling-b__scaling-a.md @@ -0,0 +1,34 @@ +# Сравнение серий: `scaling-b` → `scaling-a` + +- Команда: `make bench_compare BEFORE=scaling-b AFTER=scaling-a` +- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят. +- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*. +- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов. + +## Метки + +| | `scaling-b` | `scaling-a` | +|---|---|---| +| Commit | `3401388` | `cbe3b4a` | +| Начало прогона | 2026-10-11T01:47:14+00:00 | 2026-10-11T01:10:13+00:00 | +| Статус | complete | complete | +| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | +| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power | + +## Замечания + +- конфигурация 1x1 есть только в `scaling-b`: не сравнивается +- конфигурация 2x1 есть только в `scaling-b`: не сравнивается +- конфигурация 3x1 есть только в `scaling-b`: не сравнивается +- конфигурация 5x1 есть только в `scaling-b`: не сравнивается +- конфигурация 6x1 есть только в `scaling-b`: не сравнивается +- конфигурация 1x4 есть только в `scaling-a`: не сравнивается +- конфигурация 2x2 есть только в `scaling-a`: не сравнивается + +## R* по общим конфигурациям + +| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер | +|---|---|---|---|---|---|---|---|---| +| 4x1 | 1819 (1819–1819) | 1819 (1539–1819) | +0.0% | разбросы пересекаются | 3.3 → 3.3 / 4.0 → 4.3 | 2.9 → 2.9 / 4.1 → 4.3 | 1742 → 1752 | 0.79 → 0.78 | + +Δ R* по конфигурациям: от +0.0% до +0.0%. diff --git a/evidence/compare/scaling-b__scaling-aa.md b/evidence/compare/scaling-b__scaling-aa.md new file mode 100644 index 00000000..b5b4162f --- /dev/null +++ b/evidence/compare/scaling-b__scaling-aa.md @@ -0,0 +1,32 @@ +# Сравнение серий: `scaling-b` → `scaling-aa` + +- Команда: `make bench_compare BEFORE=scaling-b AFTER=scaling-aa` +- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят. +- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*. +- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов. + +## Метки + +| | `scaling-b` | `scaling-aa` | +|---|---|---| +| Commit | `3401388` | `0479789` | +| Начало прогона | 2026-10-11T01:47:14+00:00 | 2026-10-11T03:26:39+00:00 | +| Статус | complete | complete | +| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | +| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power | + +## Замечания + +- конфигурация 2x1 есть только в `scaling-b`: не сравнивается +- конфигурация 3x1 есть только в `scaling-b`: не сравнивается +- конфигурация 4x1 есть только в `scaling-b`: не сравнивается +- конфигурация 5x1 есть только в `scaling-b`: не сравнивается + +## R* по общим конфигурациям + +| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер | +|---|---|---|---|---|---|---|---|---| +| 1x1 | 666 (666–704) | 704 (666–704) | +5.7% | разбросы пересекаются | 4.2 → 4.2 / 5.6 → 6.0 | 54.1 → 54.6 / 87.7 → 87.8 | 1412 → 1400 | 0.18 → 0.18 | +| 6x1 | 2034 (1923–2034) | 2034 (2034–2034) | +0.0% | разбросы пересекаются | 3.3 → 3.3 / 4.3 → 4.1 | 3.0 → 3.1 / 4.2 → 4.2 | 1984 → 1976 | 1.10 → 1.12 | + +Δ R* по конфигурациям: от +0.0% до +5.7%. diff --git a/evidence/tests/scaling-bench-checks.md b/evidence/tests/scaling-bench-checks.md index 5274e2d4..8d9589d4 100644 --- a/evidence/tests/scaling-bench-checks.md +++ b/evidence/tests/scaling-bench-checks.md @@ -242,3 +242,28 @@ PNG графиков (headless Chrome, размер SVG) просмотрены: $ make test → PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. $ make student_test → 131 passed, 15 deselected in 21.41s ``` + +## Проверки хоста перед сериями (задачи 5.1–5.5, 6.2) + +Перед каждой серией — по брифу: `pmset -g batt`, `memory_pressure`, +`vm_stat` (`Swapouts`), `sysctl vm.swapusage`, `docker ps`, `docker +info`. Рабочий стенд `mtusi-lab3` остановлен (`make stop`) перед серией +A и поднят после A/A. Все четыре — без замечаний, серии запускались +сразу. + +| Серия, метка | Проверка, UTC | Питание | Свободно памяти | Swap занят | `docker ps` | ВМ: CPU, память | `Swapouts` до → после | Время серии | +|---|---|---|---|---|---|---|---|---| +| A, `scaling-a` | 01:10:08 | AC Power | 51 % | 864 МиБ из 2 048 | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 01:10–01:47, 36,5 мин | +| B, `scaling-b` | 01:47:09 | AC Power | 53 % | 864 МиБ | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 01:47–03:01, 74 мин | +| pool, `scaling-pool` | 03:01:52 | AC Power | 54 % | 864 МиБ | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 03:02–03:26, 23,5 мин | +| A/A, `scaling-aa` | 03:26:31 | AC Power | 52 % | 856 МиБ | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 03:26–03:48, 21,5 мин | + +Docker Desktop 29.8.2. В паспортах всех четырёх меток `host_warnings` +пусто, `host_state.swapouts_delta` 0, `slept_seconds` 0, посторонних +контейнеров нет; у каждой ячейки — свои `host_power`, +`host_memory_free_percent` и `host_swapouts` 0 в `searches.csv`. + +Метки закоммичены каждая до запуска следующей серии (`71359be`, +`1320584`, `f65a8e8`, `bfc5eb8`): паспорта всех четырёх — `dirty: +false`. Код приложения и стенда у всех — `712d245` (дальше менялись +только документы, `bench/plots.py` и графики).