docs: add scaling-bench plots and comparisons

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 06:49:03 +03:00
co-authored by Claude Opus 5.5
parent bfc5eb8ede
commit 0ea787ccae
3 changed files with 91 additions and 0 deletions
+34
View File
@@ -0,0 +1,34 @@
# Сравнение серий: `scaling-b` → `scaling-a`
- Команда: `make bench_compare BEFORE=scaling-b AFTER=scaling-a`
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов.
## Метки
| | `scaling-b` | `scaling-a` |
|---|---|---|
| Commit | `3401388` | `cbe3b4a` |
| Начало прогона | 2026-10-11T01:47:14+00:00 | 2026-10-11T01:10:13+00:00 |
| Статус | complete | complete |
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
## Замечания
- конфигурация 1x1 есть только в `scaling-b`: не сравнивается
- конфигурация 2x1 есть только в `scaling-b`: не сравнивается
- конфигурация 3x1 есть только в `scaling-b`: не сравнивается
- конфигурация 5x1 есть только в `scaling-b`: не сравнивается
- конфигурация 6x1 есть только в `scaling-b`: не сравнивается
- конфигурация 1x4 есть только в `scaling-a`: не сравнивается
- конфигурация 2x2 есть только в `scaling-a`: не сравнивается
## R* по общим конфигурациям
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|---|---|---|---|---|---|---|---|---|
| 4x1 | 1819 (1819–1819) | 1819 (1539–1819) | +0.0% | разбросы пересекаются | 3.3 → 3.3 / 4.0 → 4.3 | 2.9 → 2.9 / 4.1 → 4.3 | 1742 → 1752 | 0.79 → 0.78 |
Δ R* по конфигурациям: от +0.0% до +0.0%.
+32
View File
@@ -0,0 +1,32 @@
# Сравнение серий: `scaling-b` → `scaling-aa`
- Команда: `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`
- Метки серий трека 1 сравниваются по общим конфигурациям. R* — медиана повторов, в скобках min–max; Δ R* — отношение медиан минус единица. Ячейки с браком генератора не входят.
- Задержки — медианы по повторам на фиксированных уровнях, «до → после»; CPU на запрос — CPU реплик на успешный запрос на втором фиксированном уровне; CPU PostgreSQL — на ступени R*.
- Уровень шума не задан (`AA`): вывод говорит только, пересекаются ли разбросы повторов.
## Метки
| | `scaling-b` | `scaling-aa` |
|---|---|---|
| Commit | `3401388` | `0479789` |
| Начало прогона | 2026-10-11T01:47:14+00:00 | 2026-10-11T03:26:39+00:00 |
| Статус | complete | complete |
| Версии в образе | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 | python 3.12.14, fastapi 0.141.1, starlette 1.7.0, pydantic 2.13.5, uvicorn 0.54.0, sqlalchemy 2.1.1, asyncpg 0.31.0, redis 8.1.0 |
| Хост в начале | выгрузок в swap за прогон 0, AC Power | выгрузок в swap за прогон 0, AC Power |
## Замечания
- конфигурация 2x1 есть только в `scaling-b`: не сравнивается
- конфигурация 3x1 есть только в `scaling-b`: не сравнивается
- конфигурация 4x1 есть только в `scaling-b`: не сравнивается
- конфигурация 5x1 есть только в `scaling-b`: не сравнивается
## R* по общим конфигурациям
| Конфигурация | R* до | R* после | Δ R* | Вывод | p95 / p99 на 250, мс | p95 / p99 на 500, мс | CPU на запрос на 500, мкс | CPU PostgreSQL на R*, ядер |
|---|---|---|---|---|---|---|---|---|
| 1x1 | 666 (666–704) | 704 (666–704) | +5.7% | разбросы пересекаются | 4.2 → 4.2 / 5.6 → 6.0 | 54.1 → 54.6 / 87.7 → 87.8 | 1412 → 1400 | 0.18 → 0.18 |
| 6x1 | 2034 (1923–2034) | 2034 (2034–2034) | +0.0% | разбросы пересекаются | 3.3 → 3.3 / 4.3 → 4.1 | 3.0 → 3.1 / 4.2 → 4.2 | 1984 → 1976 | 1.10 → 1.12 |
Δ R* по конфигурациям: от +0.0% до +5.7%.
+25
View File
@@ -242,3 +242,28 @@ PNG графиков (headless Chrome, размер SVG) просмотрены:
$ make test → PASS: lab3 public API scenario; infrastructure and grading evidence remain separate.
$ make student_test → 131 passed, 15 deselected in 21.41s
```
## Проверки хоста перед сериями (задачи 5.1–5.5, 6.2)
Перед каждой серией — по брифу: `pmset -g batt`, `memory_pressure`,
`vm_stat` (`Swapouts`), `sysctl vm.swapusage`, `docker ps`, `docker
info`. Рабочий стенд `mtusi-lab3` остановлен (`make stop`) перед серией
A и поднят после A/A. Все четыре — без замечаний, серии запускались
сразу.
| Серия, метка | Проверка, UTC | Питание | Свободно памяти | Swap занят | `docker ps` | ВМ: CPU, память | `Swapouts` до → после | Время серии |
|---|---|---|---|---|---|---|---|---|
| A, `scaling-a` | 01:10:08 | AC Power | 51 % | 864 МиБ из 2 048 | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 01:10–01:47, 36,5 мин |
| B, `scaling-b` | 01:47:09 | AC Power | 53 % | 864 МиБ | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 01:47–03:01, 74 мин |
| pool, `scaling-pool` | 03:01:52 | AC Power | 54 % | 864 МиБ | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 03:02–03:26, 23,5 мин |
| A/A, `scaling-aa` | 03:26:31 | AC Power | 52 % | 856 МиБ | пусто | 12, 7,75 GiB | 6 697 411 → 6 697 411 (0) | 03:26–03:48, 21,5 мин |
Docker Desktop 29.8.2. В паспортах всех четырёх меток `host_warnings`
пусто, `host_state.swapouts_delta` 0, `slept_seconds` 0, посторонних
контейнеров нет; у каждой ячейки — свои `host_power`,
`host_memory_free_percent` и `host_swapouts` 0 в `searches.csv`.
Метки закоммичены каждая до запуска следующей серии (`71359be`,
`1320584`, `f65a8e8`, `bfc5eb8`): паспорта всех четырёх — `dirty:
false`. Код приложения и стенда у всех — `712d245` (дальше менялись
только документы, `bench/plots.py` и графики).