docs: add rolling-update baseline measurement and report

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
2026-10-11 01:21:34 +03:00
co-authored by Claude Opus 5.5
parent 9dcea0b2b8
commit 69ebf5cd38
12 changed files with 540 additions and 6 deletions
+1 -2
View File
@@ -301,8 +301,7 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog
## Карта кода
Файлы домена называются одинаково во всех слоях (`user`, `chat`,
`message`, `session`, `idempotency` и т.д.). Помеченное «(лаба 3)»
появится с changes из `PLAN.md`.
`message`, `session`, `idempotency` и т.д.).
```
src/
+73 -1
View File
@@ -180,6 +180,8 @@ LB отвечает 502, клиент повторяет с тем же ключ
Соединения Postgres: `API_REPLICAS × (pool_size + max_overflow)` +
`migrate` = 2 × (10 + 5) + 1 = 31 ≤ `max_connections` 100; при 6
репликах — 91, при 7 — 106 > 100. Граница пула — гипотеза 3 трека 1.
На время поочерёдной замены реплик на одну больше (`API_REPLICAS` + 1):
3 × 15 + 1 = 46 соединений, 7 CPU и 3,1 GiB лимитов.
**Секреты по сервисам.** Пароль Postgres — `postgres`, `api`,
`migrate`; пароль Valkey — `valkey` и `api`; у `haproxy` секретов нет
@@ -423,7 +425,11 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`,
| Стенд лабы 3 не трогает данные лабы 2 | `make run_docker`, `make wipe_data`, снова `make run_docker`; `docker volume inspect` до и после | `wipe_data` удалил только контейнеры, сеть и volume `mtusi-lab3`; `mtusi-lab2_postgres_data` с прежней датой создания | `evidence/tests/stand-lab3.md` |
| Сборка из чистого clone | `git clone`, `docker build -t mtusi-messenger:lab3 .` до `make env_setup`; стенд на этом образе, `make test` | сборка без `.env` и `config.toml`, в образе их нет, процесс от UID 10001; `PASS: lab3 public API scenario` | `evidence/tests/clean-clone.md` |
| Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` |
| Остальные пункты уровня 4 | TODO: change `rolling-update` (поочерёдная замена под нагрузкой, миграции однократно и совместимы) | TODO | TODO |
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова вперёд под `tests/load.py` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 25 347 / 20 114 / 20 713 / 19 199 запросов `tests/load.py` за четыре замены; контейнеров прежних реплик после замены нет | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md` |
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + `docker compose run --rm migrate` нового образа; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы; под чужой транзакцией `lock_timeout` 5 с → миграция падает с кодом 1, схема и реплики не тронуты, повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, `ROLLOUT_READY_TIMEOUT=1`, Ctrl+C во время дренажа под нагрузкой, порт 9999 LB из сети | код 2 до сборки; неготовая новая реплика удалена, работают 2 реплики `UP`; после Ctrl+C вывод старой доведён до удаления (код 130, 0 неуспешных запросов), повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети — отказ соединения | `evidence/rollout/script-failures.md` |
| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; пересборка без изменений кода | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает; пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` |
| Регрессия на итоговом коде `rolling-update` | `make test`, `make student_test`, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов); регрессия нашла дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`), исправлен в `de654a1` и переснят | `evidence/tests/rolling-update-checks.md` |
| Выбранный трек 5, если заявлен | TODO | TODO | TODO |
TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены.
@@ -441,6 +447,7 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн
| остановка PostgreSQL | реплики отвечают 503 на `/health/ready`, LB исключает обе и отвечает 503 сам | первые ~2 с — 503 от API, затем 503 от LB на всё, включая `/health/live`; после запуска PostgreSQL обе реплики `UP` | 1,2–1,6 с после запуска PostgreSQL, без рестарта реплик и LB (`evidence/replicas/lb-errors.md`) |
| остановка всех реплик | LB отвечает 503 в формате контракта, healthcheck LB — `unhealthy` | так и есть; после `make replicas` — 200 через ~3 с | данные в Postgres не затронуты (`evidence/replicas/lb-errors.md`) |
| `scripts/restart.sh`: LB, обе реплики, Postgres, Valkey | данные и токен переживают рестарт | `PASS`; до прохождения проверок LB отвечал 503, реплики начинают в `DOWN` | 6,4 с на тест целиком; кэш пуст, данные целы (`evidence/replicas/test-persistence.md`) |
| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 25 347, 20 114 и 20 713 запросов; замена 10–14 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) |
### Отказ каждой реплики под нагрузкой (change `graceful-failover`)
@@ -523,6 +530,71 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте
ещё и ошибки перегрузки. Отказ узла, LB и PostgreSQL не воспроизводится
(«Ограничения»).
### Поочерёдная замена под нагрузкой (change `rolling-update`)
**Гипотеза** (design `rolling-update`, решения 2–4):
- клиент не видит ни одной ошибки, в том числе 502 гонки keep-alive из
профиля `failover`:
- новая реплика получает запросы только после `UP` в LB;
- старая выводится из LB раньше SIGTERM;
- в каждой секунде отвечают только реплики, которые сейчас в LB;
- после вывода старая не получает ни одного запроса;
- записи не теряются и не дублируются.
**Методика.** `make bench_rollout ROLLOUT_LABEL=baseline` (`bench/run.py`,
профиль `rollout`; `.claude/rules/bench.md`):
- стенд `mtusi-bench` с лимитами рабочего стенда, как у профиля
`failover`;
- реплики стартуют на образе `c50b721` (`git archive`, схема
`7652184b7016`);
- k6 — постоянная интенсивность, 100 записей с `Idempotency-Key` и
100 чтений истории в секунду;
- через 15 с — `scripts/rolling-update.sh` против проекта стенда: сборка
текущего checkout, миграция `e656d6bbe1a4`, замена обеих реплик;
- ещё ≥ 15 с нагрузки после замены;
- время — часы ВМ Docker: события контейнеров проекта (поток `docker
events`), журнал HAProxy, отметки k6;
- после прогона неуспешные записи повторяются с тем же ключом, затем
сверка в PostgreSQL.
Commit `9dcea0b` (код `de654a1`), чистое дерево. Хост: Docker Desktop
29.8.2, ВМ 12 CPU / 7,7 GiB, питание от сети, свободной памяти 52–53 %,
swap занят 920 МиБ, но выгрузки за прогон не было (`Swapouts` до и
после одинаковы). Посторонних контейнеров нет, рабочий стенд
остановлен. Один прогон.
**Результат** (`evidence/rollout/baseline/summary.md`):
| Шаг | Новая: старт → `UP` в LB, с | Дренаж старой, с | Остановка старой, с | Шаг целиком, с | Ошибок | Запросов старой после дренажа |
|---|---|---|---|---|---|---|
| 1 | 2,08 | 0,16 | 0,42 | 3,21 | 0 | 0 |
| 2 | 2,03 | 0,14 | 0,33 | 3,13 | 0 | 0 |
- Замена целиком (от создания контейнера миграции до удаления последней
старой) — 8,9 с; сборка из кэша 0 с, миграция 2 с.
- Ошибок нет ни до, ни во время, ни после замены: 0 из 24 002
запросов. В каждой секунде 200 успешных, доля 1,0. p95 — 5 мс до
замены, максимум 11 мс во время.
- Ответы по версиям: первый ответ новой реплики — через 4,05 с,
последний ответ старой — 8,3 с. В секунду 4 — 114 старых и 86
новых, в секунду 8 — 20 и 180, с секунды 9 — только новые.
- Сверка: сообщений 12 001 = ключей 12 001, одинаковых текстов нет,
повторять было нечего.
**Итог по гипотезе:** подтверждено. В профиле `failover` `docker stop`
под той же нагрузкой давал одиночный 502 в части фаз. При плановой
замене с дренажём 502 нет ни одного: запрос в слот, выведенный в
`drain`/`maint`, LB не отправляет. Новая реплика вступает в работу через
~2 с после старта (`init-state down`, `rise 2`). Число реплик в LB не
опускается ниже двух.
**Ограничения замера.** Один хост, один прогон: замер показывает
поведение, а не распределение. Нагрузка — около половины потолка одной
реплики. Под нагрузкой выше потолка двух реплик третья на время замены
добавила бы CPU-конкуренцию. Сборка образа шла из кэша. Холодная сборка
займёт больше времени, но на шаги замены не влияет: она идёт до
миграции.
## Ограничения и следующие шаги
TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза.
+263
View File
@@ -0,0 +1,263 @@
{
"label": "baseline",
"status": "complete",
"started_at": "2026-10-10T22:17:46+00:00",
"command": "uv run python bench/run.py --profile rollout --label baseline",
"git": {
"commit": "9dcea0b",
"dirty": false
},
"overrides": {},
"host_state": {
"start": {
"swap_used_mib": 920.31,
"swap_total_mib": 2048.0,
"memory_free_percent": 52,
"power": "AC Power",
"battery_percent": 80
},
"end": {
"swap_used_mib": 920.31,
"swap_total_mib": 2048.0,
"memory_free_percent": 53,
"power": "AC Power",
"battery_percent": 80
},
"slept_seconds": 0
},
"host_warnings": [],
"other_containers": [],
"app_image": {
"tag": "mtusi-messenger:bench",
"id": "sha256:06268d4303f30a714e7ec69c5bbe7b95fedbd861ff6b93034496bfe03dc14b16",
"versions": {
"python": "3.12.14",
"fastapi": "0.141.1",
"starlette": "1.7.0",
"pydantic": "2.13.5",
"uvicorn": "0.54.0",
"sqlalchemy": "2.1.1",
"asyncpg": "0.31.0",
"redis": "8.1.0"
}
},
"generator": {
"image": "grafana/k6:2.3.0@sha256:9c2dee7f8ed74d317e4027c06a10f169b625638189de8d4555d0b3486a5aeb34",
"version": "k6 v2.3.0 (commit/e088784614, go1.27.1, linux/arm64)"
},
"docker": {
"server": "29.8.2",
"vm_os": "Docker Desktop",
"vm_cpus": 12,
"vm_memory_gib": 7.7,
"cgroup": "2",
"logging_driver": "local"
},
"host": {
"os": "macOS 26.6.2",
"machine": "Apple M3 Pro",
"memory_gib": 18.0
},
"profile": {
"name": "rollout",
"sizes": [
1000
],
"concurrency": [],
"repeats": 0,
"read_warmup_s": 0,
"read_measure_s": 0,
"write_warmup": 0,
"write_measure": 0,
"prefill_chunk": 25000,
"prefill_vus": 8,
"text_length": 64,
"page_limit": 50,
"walk_limit": 100,
"cursor_pool": 1000,
"members": 10,
"seed": 20260930,
"warmup_seed_shift": 1000003,
"generator_cpu_limit": 4.0,
"cpus": "1",
"memory": "512m",
"db_cpus": "2",
"db_memory": "1g",
"cache_cpus": "0.5",
"cache_memory": "128m",
"session_ttl_seconds": 21600,
"background": [],
"index_variants": [
[
"chat_only",
"(chat_id)"
],
[
"covering",
"(chat_id, created_at, id) INCLUDE (sender_id, text)"
]
],
"write_probe_rows": 20000,
"write_probe_repeats": 3,
"restore": false,
"restore_jobs": 4,
"restore_write_load": 5000,
"restore_write_vus": 10,
"replicas": 2,
"lb_cpus": "1",
"lb_memory": "256m",
"failover_modes": [],
"failover_write_rate": 100,
"failover_read_rate": 100,
"failover_before_s": 0,
"failover_down_s": 0,
"failover_after_s": 0,
"failover_success": 0.99,
"failover_pre_vus": 600,
"failover_max_vus": 1500,
"rollout_from": "c50b721",
"rollout_before_s": 15,
"rollout_budget_s": 90,
"rollout_after_s": 15
},
"sizes": [],
"rollout": {
"from_commit": "c50b721",
"new_image": "sha256:06268d4303f30a714e7ec69c5bbe7b95fedbd861ff6b93034496bfe03dc14b16",
"old_image": "sha256:b923286f5d22e8f9e8e09952ce34626e497b319fe3eecbb02ac1ead59ceeb596",
"containers_before": [
{
"name": "mtusi-bench-api-1",
"instance": "3ff08f6d1141",
"tag": "mtusi-messenger:bench",
"image": "sha256:b923286f5d22e8f9e8e09952ce34626e497b319fe3eecbb02ac1ead59ceeb596",
"running": true
},
{
"name": "mtusi-bench-api-2",
"instance": "8b1e013c57d2",
"tag": "mtusi-messenger:bench",
"image": "sha256:b923286f5d22e8f9e8e09952ce34626e497b319fe3eecbb02ac1ead59ceeb596",
"running": true
}
],
"revision_before": "7652184b7016",
"containers_after": [
{
"name": "mtusi-bench-api-3",
"instance": "45350587c86e",
"tag": "mtusi-messenger:bench",
"image": "sha256:e7fb65bf75176d27d1920182f3263458bd835ebab47dafe9f2448bbcb0587464",
"running": true
},
{
"name": "mtusi-bench-api-4",
"instance": "87e621520c48",
"tag": "mtusi-messenger:bench",
"image": "sha256:e7fb65bf75176d27d1920182f3263458bd835ebab47dafe9f2448bbcb0587464",
"running": true
}
],
"revision_after": "e656d6bbe1a4",
"tag_after": "sha256:e7fb65bf75176d27d1920182f3263458bd835ebab47dafe9f2448bbcb0587464"
},
"limits": {
"api": {
"nano_cpus": 1000000000,
"memory": 536870912,
"memory_swap": 536870912,
"published_ports": {},
"healthcheck": [
"NONE"
],
"log_driver": "local"
},
"postgres": {
"nano_cpus": 2000000000,
"memory": 1073741824,
"memory_swap": 1073741824,
"published_ports": {},
"healthcheck": [
"CMD-SHELL",
"pg_isready -h 127.0.0.1 -U \"$POSTGRES_USER\" -d \"$POSTGRES_DB\""
],
"log_driver": "local"
},
"valkey": {
"nano_cpus": 500000000,
"memory": 134217728,
"memory_swap": 134217728,
"published_ports": {},
"healthcheck": [
"CMD-SHELL",
"test \"$(valkey-cli -p \"$VALKEY_PORT\" ping)\" = PONG"
],
"log_driver": "local"
},
"haproxy": {
"nano_cpus": 1000000000,
"memory": 268435456,
"memory_swap": 268435456,
"published_ports": {},
"healthcheck": [
"CMD",
"bash",
"-c",
"exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '"
],
"log_driver": "local"
},
"api_replicas": 2
},
"stand": {
"postgres": {
"image": "postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722",
"id": "sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722",
"version": "18.6 (Debian 18.6-1.pgdg13+2)",
"settings": {
"autovacuum": "on",
"checkpoint_timeout": "5min",
"effective_cache_size": "4GB",
"fsync": "on",
"jit": "on",
"maintenance_work_mem": "64MB",
"max_connections": "100",
"max_wal_size": "1GB",
"plan_cache_mode": "auto",
"random_page_cost": "4",
"shared_buffers": "128MB",
"shared_preload_libraries": "auto_explain",
"synchronous_commit": "on",
"wal_level": "replica",
"work_mem": "4MB"
}
},
"valkey": {
"image": "valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd",
"id": "sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd",
"version": "9.1.2",
"maxmemory": "67108864",
"maxmemory-clients": "0",
"maxmemory-eviction-tenacity": "10",
"maxmemory-policy": "allkeys-lru",
"maxmemory-samples": "5"
},
"haproxy": {
"image": "haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26",
"id": "sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26",
"version": "HAProxy version 3.4.6-56332c5 2026/09/28 - https://haproxy.org/"
},
"app_env": {
"APP__PORT": "8080",
"APP__RUN_MODE": "docker",
"AUTH__SESSION_TTL_SECONDS": "21600",
"CACHE__HOST": "valkey",
"CACHE__PORT": "6379",
"DATABASE__HOST": "postgres",
"DATABASE__NAME": "bench",
"DATABASE__PORT": "5432",
"DATABASE__USER": "bench"
}
},
"finished_at": "2026-10-10T22:20:04+00:00"
}
+2
View File
@@ -0,0 +1,2 @@
size,chunk,messages_before,messages_after,duration_s,requests_ok,requests_failed,rps,error_ratio,p50_ms,p95_ms,p99_ms,max_ms,app_cpu_cores,rss_end_mib,mem_cgroup_end_mib,generator_cpu_cores,flags,db_cpu_cores
1000,1,0,1000,0.988,1000,0,1012.7,0.0,6.73,9.756,51.526,60.224,1.951,180.0,157.6,0.235,,0.357
1 size chunk messages_before messages_after duration_s requests_ok requests_failed rps error_ratio p50_ms p95_ms p99_ms max_ms app_cpu_cores rss_end_mib mem_cgroup_end_mib generator_cpu_cores flags db_cpu_cores
2 1000 1 0 1000 0.988 1000 0 1012.7 0.0 6.73 9.756 51.526 60.224 1.951 180.0 157.6 0.235 0.357
+12
View File
@@ -0,0 +1,12 @@
{
"label": "baseline",
"profile": "rollout",
"stage": "done",
"size": 1000,
"runs_done": 1,
"runs_total": 1,
"elapsed_s": 138,
"eta_s": 0,
"warnings": [],
"updated_at": "2026-10-10T22:20:04+00:00"
}
@@ -0,0 +1 @@
{"root_group":{"checks":[{"name":"message 201","path":"::message 201","id":"6445aff337e1ade0bc10402fbac79882","passes":1000,"fails":0}],"name":"","path":"","id":"d41d8cd98f00b204e9800998ecf8427e","groups":[]},"options":{"summaryTimeUnit":"","noColor":true,"summaryTrendStats":["avg","min","med","p(50)","p(95)","p(99)","max"]},"state":{"isStdOutTTY":false,"isStdErrTTY":false,"testRunDurationMs":987.507875},"metrics":{"checks":{"type":"rate","contains":"default","values":{"rate":1,"passes":1000,"fails":0}},"iteration_duration":{"type":"trend","contains":"time","values":{"p(95)":9.8112622,"p(99)":51.93835516,"max":60.281834,"avg":7.879293950999993,"min":2.170542,"med":6.795062,"p(50)":6.795062}},"http_req_receiving":{"type":"trend","contains":"time","values":{"p(50)":0.0142705,"p(95)":0.029713099999999996,"p(99)":0.042979669999999984,"max":0.089916,"avg":0.01596981999999996,"min":0.004917,"med":0.0142705}},"http_req_failed":{"contains":"default","values":{"rate":0,"passes":0,"fails":1000},"type":"rate"},"http_req_waiting":{"type":"trend","contains":"time","values":{"p(95)":9.7382021,"p(99)":51.51172967,"max":60.21025,"avg":7.788222853000001,"min":2.080791,"med":6.704458,"p(50)":6.704458}},"http_req_connecting":{"type":"trend","contains":"time","values":{"max":0.221875,"avg":0.001185873,"min":0,"med":0,"p(50)":0,"p(95)":0,"p(99)":0}},"data_received":{"type":"counter","contains":"data","values":{"count":470000,"rate":475945.57157329}},"http_req_duration":{"type":"trend","contains":"time","values":{"min":2.108709,"med":6.730333,"p(50)":6.730333,"p(95)":9.756191999999999,"p(99)":51.52585309,"max":60.2245,"avg":7.8090653820000036}},"iterations":{"type":"counter","contains":"default","values":{"count":1000,"rate":1012.6501522835957}},"http_req_duration{expected_response:true}":{"type":"trend","contains":"time","values":{"avg":7.8090653820000036,"min":2.108709,"med":6.730333,"p(50)":6.730333,"p(95)":9.756191999999999,"p(99)":51.52585309,"max":60.2245},"thresholds":{"max>=0":{"ok":true}}},"http_req_tls_handshaking":{"type":"trend","contains":"time","values":{"min":0,"med":0,"p(50)":0,"p(95)":0,"p(99)":0,"max":0,"avg":0}},"data_sent":{"values":{"count":376000,"rate":380756.457258632},"type":"counter","contains":"data"},"http_reqs":{"type":"counter","contains":"default","values":{"count":1000,"rate":1012.6501522835957}},"http_req_sending":{"type":"trend","contains":"time","values":{"med":0.003875,"p(50)":0.003875,"p(95)":0.008835099999999999,"p(99)":0.02312648999999996,"max":0.069166,"avg":0.004872708999999997,"min":0.001875}},"http_req_blocked":{"type":"trend","contains":"time","values":{"avg":0.004656624000000004,"min":0.0005,"med":0.001,"p(50)":0.001,"p(95)":0.001916,"p(99)":0.007712169999999996,"max":0.6745}}}}
@@ -0,0 +1 @@
{"root_group":{"groups":[],"checks":[],"name":"","path":"","id":"d41d8cd98f00b204e9800998ecf8427e"},"options":{"summaryTrendStats":["avg","min","med","p(50)","p(95)","p(99)","max"],"summaryTimeUnit":"","noColor":true},"state":{"isStdErrTTY":false,"testRunDurationMs":120004.159375,"isStdOutTTY":false},"metrics":{"http_req_sending":{"type":"trend","contains":"time","values":{"p(95)":0.021792,"p(99)":0.031749589999999994,"max":0.491167,"avg":0.013146688025997921,"min":0.003292,"med":0.0125,"p(50)":0.0125}},"http_req_duration{expected_response:true}":{"type":"trend","contains":"time","values":{"p(50)":3.348083,"p(95)":4.9667381499999985,"p(99)":9.717459919999984,"max":107.903458,"avg":3.7408182544371327,"min":1.761042,"med":3.348083},"thresholds":{"max>=0":{"ok":true}}},"http_req_duration":{"type":"trend","contains":"time","values":{"min":1.761042,"med":3.348083,"p(50)":3.348083,"p(95)":4.9667381499999985,"p(99)":9.717459919999984,"max":107.903458,"avg":3.7408182544371327}},"data_received":{"contains":"data","values":{"count":168362029,"rate":1402968.2794067736},"type":"counter"},"http_req_receiving":{"type":"trend","contains":"time","values":{"med":0.027375,"p(50)":0.027375,"p(95)":0.07024794999999996,"p(99)":0.11003907999999994,"max":0.957667,"avg":0.03371897241896478,"min":0.007959}},"http_req_waiting":{"contains":"time","values":{"max":107.86875,"avg":3.6939525939921607,"min":1.733791,"med":3.3035835000000002,"p(50)":3.3035835000000002,"p(95)":4.910010749999999,"p(99)":9.649135589999982},"type":"trend"},"iterations":{"type":"counter","contains":"default","values":{"count":24002,"rate":200.00973403760406}},"http_reqs":{"contains":"default","values":{"count":24002,"rate":200.00973403760406},"type":"counter"},"vus_max":{"type":"gauge","contains":"default","values":{"value":1200,"min":1200,"max":1200}},"http_req_blocked":{"type":"trend","contains":"time","values":{"p(50)":0.003042,"p(95)":0.05506844999999969,"p(99)":0.17032925999999993,"max":8.2045,"avg":0.011458301474876658,"min":0.001,"med":0.003042}},"data_sent":{"type":"counter","contains":"data","values":{"count":9277664,"rate":77311.18694818157}},"iteration_duration":{"type":"trend","contains":"time","values":{"p(95)":5.281666999999998,"p(99)":10.914320749999996,"max":108.189583,"avg":3.989575050287447,"min":1.88175,"med":3.5761874999999996,"p(50)":3.5761874999999996}},"http_req_failed":{"contains":"default","values":{"passes":0,"fails":24002,"rate":0},"type":"rate"},"http_req_tls_handshaking":{"values":{"p(50)":0,"p(95)":0,"p(99)":0,"max":0,"avg":0,"min":0,"med":0},"type":"trend","contains":"time"},"vus":{"type":"gauge","contains":"default","values":{"min":0,"max":7,"value":2}},"iterations{scenario:read}":{"type":"counter","contains":"default","values":{"count":12001,"rate":100.00486701880203},"thresholds":{"count>=0":{"ok":true}}},"iterations{scenario:write}":{"type":"counter","contains":"default","values":{"count":12001,"rate":100.00486701880203},"thresholds":{"count>=0":{"ok":true}}},"http_req_connecting":{"values":{"med":0,"p(50)":0,"p(95)":0,"p(99)":0.12579058999999998,"max":8.159417,"avg":0.006486076493625522,"min":0},"type":"trend","contains":"time"}}}
+3
View File
@@ -0,0 +1,3 @@
step,new_instance,new_slot,old_instance,old_slot,new_created_s,new_up_s,ready_s,drain_s,drain_timeout,stop_s,old_removed_s,slot_ready_s,replace_s,errors,after_drain
1,45350587c86e,api-3,3ff08f6d1141,api-1,1.84,4.03,2.08,0.16,False,0.42,5.05,5.59,3.21,0,0
2,87e621520c48,api-1,8b1e013c57d2,api-2,5.77,7.9,2.03,0.14,False,0.33,8.9,9.43,3.13,0,0
1 step new_instance new_slot old_instance old_slot new_created_s new_up_s ready_s drain_s drain_timeout stop_s old_removed_s slot_ready_s replace_s errors after_drain
2 1 45350587c86e api-3 3ff08f6d1141 api-1 1.84 4.03 2.08 0.16 False 0.42 5.05 5.59 3.21 0 0
3 2 87e621520c48 api-1 8b1e013c57d2 api-2 5.77 7.9 2.03 0.14 False 0.33 8.9 9.43 3.13 0 0
+2
View File
@@ -0,0 +1,2 @@
label,from_commit,replicas,revision_before,revision_after,build_s,migrate_s,rollout_s,script_exit,requests,errors_before,codes_before,errors_during,codes_during,errors_after,codes_after,min_success,seconds_below,ok_rps_before,ok_rps_during_min,p95_before_ms,p95_during_max_ms,first_new_s,last_old_s,old_after_drain,writes,writes_failed,retried_ok,write_chat_messages,distinct_texts,dropped_iterations,flags
baseline,c50b721,2,7652184b7016,e656d6bbe1a4,0,2,8.9,0,24002,0,,0,,0,,1.0,0,200.0,200,5,11,4.05,8.3,0,12001,0,0,12001,12001,0,
1 label from_commit replicas revision_before revision_after build_s migrate_s rollout_s script_exit requests errors_before codes_before errors_during codes_during errors_after codes_after min_success seconds_below ok_rps_before ok_rps_during_min p95_before_ms p95_during_max_ms first_new_s last_old_s old_after_drain writes writes_failed retried_ok write_chat_messages distinct_texts dropped_iterations flags
2 baseline c50b721 2 7652184b7016 e656d6bbe1a4 0 2 8.9 0 24002 0 0 0 1.0 0 200.0 200 5 11 4.05 8.3 0 12001 0 0 12001 12001 0
+57
View File
@@ -0,0 +1,57 @@
# Поочерёдная замена реплик под нагрузкой: метка `baseline`
- Статус: **complete**
- Commit: `9dcea0b`
- Профиль `rollout`: 2 реплики за HAProxy; замена с образа commit `c50b721` на образ текущего checkout (`scripts/rolling-update.sh`); 100 записей с ключом и 100 чтений страницы истории в секунду (k6, постоянная интенсивность); окна: 15 с до запуска скрипта, бюджет замены 90 с, ещё 15 с; порог доли успешных 99%
- Лимиты без swap: API 1 CPU / 512m на реплику, HAProxy 1 CPU / 256m, PostgreSQL 2 CPU / 1g, Valkey 0.5 CPU / 128m
- Посторонние контейнеры в VM во время замера: нет
Время — секунды на часах ВМ Docker от начала замены (создание контейнера миграции). Шаги — события Docker (создание и старт новой реплики, SIGTERM, выход и удаление старой) и журнал HAProxy (`UP` новой, `drain` и `maint` старой, возврат слота в `ready`). Ответы — отметки k6 при отправке; «старые» и «новые» — по `X-Instance-Id` контейнеров до и после замены. Окно замены — от начала до удаления последней старой реплики. Сверка — после повтора неуспешных записей с тем же ключом: сообщений в чате записи и разных текстов столько, сколько отправлено ключей.
| Замена, с | Сборка / миграция, с | Ревизия до → после | Ошибки до / во время / после | Мин. доля успешных | Секунд ниже порога | Успешных в секунду: до / мин. во время | p95: до / макс. во время, мс | Первый ответ новой / последний старой, с | Ответов старых после дренажа | Повтор записей | Сообщений = ключей | Пометки |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 8.9 | 0 / 2 | `7652184b7016` → `e656d6bbe1a4` | 0 / 0 / 0 | 1 | 0 | 200 / 200 | 5 / 11 | 4.05 / 8.3 | 0 | 0 → 0 | 12001 = 12001 | — |
## Шаги по репликам
| Шаг | Новая (слот) | Старая (слот) | Новая создана, с | Новая `UP`, с | Старт → `UP`, с | Дренаж, с | Остановка, с | Старая удалена, с | Слот `ready`, с | Замена целиком, с | Ошибок за шаг | Ответов старой после дренажа |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | `45350587c86e` (api-3) | `3ff08f6d1141` (api-1) | 1.84 | 4.03 | 2.08 | 0.16 | 0.42 | 5.05 | 5.59 | 3.21 | 0 | 0 |
| 2 | `87e621520c48` (api-1) | `8b1e013c57d2` (api-2) | 5.77 | 7.9 | 2.03 | 0.14 | 0.33 | 8.9 | 9.43 | 3.13 | 0 | 0 |
## Контейнеры `api` до замены
| Контейнер | `X-Instance-Id` | Образ (тег) | Конфигурация образа |
|---|---|---|---|
| mtusi-bench-api-1 | `3ff08f6d1141` | `mtusi-messenger:bench` | `sha256:b923286f5d22…` |
| mtusi-bench-api-2 | `8b1e013c57d2` | `mtusi-messenger:bench` | `sha256:b923286f5d22…` |
## Контейнеры `api` после замены
| Контейнер | `X-Instance-Id` | Образ (тег) | Конфигурация образа |
|---|---|---|---|
| mtusi-bench-api-3 | `45350587c86e` | `mtusi-messenger:bench` | `sha256:e7fb65bf7517…` |
| mtusi-bench-api-4 | `87e621520c48` | `mtusi-messenger:bench` | `sha256:e7fb65bf7517…` |
## Шкала вокруг замены
Полная шкала — `timeline.csv`.
| с от начала | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Старые / новые ok | Ответы реплик |
|---|---|---|---|---|---|---|---|
| -3 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| -1 | 100 / 0 | 100 / 0 | — | 1 | 4 / 6 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| 0 | 100 / 0 | 100 / 0 | — | 1 | 3 / 7 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| 1 | 100 / 0 | 100 / 0 | — | 1 | 3 / 6 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| 2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| 3 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 |
| 4 | 100 / 0 | 100 / 0 | — | 1 | 4 / 11 | 114 / 86 | 3ff08f6d1141:25 45350587c86e:86 8b1e013c57d2:89 |
| 5 | 100 / 0 | 100 / 0 | — | 1 | 4 / 7 | 100 / 100 | 45350587c86e:100 8b1e013c57d2:100 |
| 6 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 100 / 100 | 45350587c86e:100 8b1e013c57d2:100 |
| 7 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 97 / 103 | 45350587c86e:97 87e621520c48:6 8b1e013c57d2:97 |
| 8 | 100 / 0 | 100 / 0 | — | 1 | 3 / 6 | 20 / 180 | 45350587c86e:90 87e621520c48:90 8b1e013c57d2:20 |
| 9 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 |
| 10 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 |
| 11 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 |
| 12 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 |
+122
View File
@@ -0,0 +1,122 @@
second,writes_ok,writes_failed,reads_ok,reads_failed,codes,success,p50_ms,p95_ms,old_ok,new_ok,instances
-16,98,0,98,0,,1.0,3,5,196,0,3ff08f6d1141:98 8b1e013c57d2:98
-15,100,0,100,0,,1.0,4,13,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-14,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-13,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-12,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-11,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-10,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-9,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-8,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-7,100,0,100,0,,1.0,3,43,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-6,100,0,100,0,,1.0,3,4,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-5,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-4,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-3,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-2,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
-1,100,0,100,0,,1.0,4,6,200,0,3ff08f6d1141:100 8b1e013c57d2:100
0,100,0,100,0,,1.0,3,7,200,0,3ff08f6d1141:100 8b1e013c57d2:100
1,100,0,100,0,,1.0,3,6,200,0,3ff08f6d1141:100 8b1e013c57d2:100
2,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
3,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100
4,100,0,100,0,,1.0,4,11,114,86,3ff08f6d1141:25 45350587c86e:86 8b1e013c57d2:89
5,100,0,100,0,,1.0,4,7,100,100,45350587c86e:100 8b1e013c57d2:100
6,100,0,100,0,,1.0,3,5,100,100,45350587c86e:100 8b1e013c57d2:100
7,100,0,100,0,,1.0,3,5,97,103,45350587c86e:97 87e621520c48:6 8b1e013c57d2:97
8,100,0,100,0,,1.0,3,6,20,180,45350587c86e:90 87e621520c48:90 8b1e013c57d2:20
9,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
10,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
11,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
12,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
13,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100
14,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
15,100,0,100,0,,1.0,3,6,0,200,45350587c86e:100 87e621520c48:100
16,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
17,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
18,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
19,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
20,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
21,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
22,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
23,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100
24,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
25,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
26,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
27,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
28,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
29,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
30,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100
31,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
32,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
33,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100
34,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
35,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
36,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
37,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
38,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
39,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
40,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
41,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
42,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
43,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100
44,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
45,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
46,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
47,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
48,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
49,100,0,100,0,,1.0,3,23,0,200,45350587c86e:100 87e621520c48:100
50,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
51,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
52,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
53,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100
54,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
55,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
56,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
57,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
58,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
59,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
60,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
61,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
62,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
63,100,0,100,0,,1.0,3,9,0,200,45350587c86e:100 87e621520c48:100
64,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
65,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
66,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
67,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
68,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
69,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
70,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
71,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
72,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
73,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100
74,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
75,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
76,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
77,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
78,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
79,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
80,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
81,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
82,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
83,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100
84,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
85,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
86,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
87,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
88,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
89,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
90,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
91,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
92,100,0,100,0,,1.0,3,6,0,200,45350587c86e:100 87e621520c48:100
93,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100
94,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100
95,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
96,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
97,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
98,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
99,100,0,100,0,,1.0,3,6,0,200,45350587c86e:100 87e621520c48:100
100,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100
101,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
102,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100
103,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100
104,3,0,3,0,,1.0,4,5,0,6,45350587c86e:3 87e621520c48:3
1 second writes_ok writes_failed reads_ok reads_failed codes success p50_ms p95_ms old_ok new_ok instances
2 -16 98 0 98 0 1.0 3 5 196 0 3ff08f6d1141:98 8b1e013c57d2:98
3 -15 100 0 100 0 1.0 4 13 200 0 3ff08f6d1141:100 8b1e013c57d2:100
4 -14 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
5 -13 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
6 -12 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
7 -11 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
8 -10 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
9 -9 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
10 -8 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
11 -7 100 0 100 0 1.0 3 43 200 0 3ff08f6d1141:100 8b1e013c57d2:100
12 -6 100 0 100 0 1.0 3 4 200 0 3ff08f6d1141:100 8b1e013c57d2:100
13 -5 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
14 -4 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
15 -3 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
16 -2 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
17 -1 100 0 100 0 1.0 4 6 200 0 3ff08f6d1141:100 8b1e013c57d2:100
18 0 100 0 100 0 1.0 3 7 200 0 3ff08f6d1141:100 8b1e013c57d2:100
19 1 100 0 100 0 1.0 3 6 200 0 3ff08f6d1141:100 8b1e013c57d2:100
20 2 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
21 3 100 0 100 0 1.0 3 5 200 0 3ff08f6d1141:100 8b1e013c57d2:100
22 4 100 0 100 0 1.0 4 11 114 86 3ff08f6d1141:25 45350587c86e:86 8b1e013c57d2:89
23 5 100 0 100 0 1.0 4 7 100 100 45350587c86e:100 8b1e013c57d2:100
24 6 100 0 100 0 1.0 3 5 100 100 45350587c86e:100 8b1e013c57d2:100
25 7 100 0 100 0 1.0 3 5 97 103 45350587c86e:97 87e621520c48:6 8b1e013c57d2:97
26 8 100 0 100 0 1.0 3 6 20 180 45350587c86e:90 87e621520c48:90 8b1e013c57d2:20
27 9 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
28 10 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
29 11 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
30 12 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
31 13 100 0 100 0 1.0 3 7 0 200 45350587c86e:100 87e621520c48:100
32 14 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
33 15 100 0 100 0 1.0 3 6 0 200 45350587c86e:100 87e621520c48:100
34 16 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
35 17 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
36 18 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
37 19 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
38 20 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
39 21 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
40 22 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
41 23 100 0 100 0 1.0 3 8 0 200 45350587c86e:100 87e621520c48:100
42 24 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
43 25 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
44 26 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
45 27 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
46 28 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
47 29 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
48 30 100 0 100 0 1.0 3 8 0 200 45350587c86e:100 87e621520c48:100
49 31 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
50 32 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
51 33 100 0 100 0 1.0 3 7 0 200 45350587c86e:100 87e621520c48:100
52 34 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
53 35 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
54 36 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
55 37 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
56 38 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
57 39 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
58 40 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
59 41 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
60 42 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
61 43 100 0 100 0 1.0 3 8 0 200 45350587c86e:100 87e621520c48:100
62 44 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
63 45 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
64 46 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
65 47 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
66 48 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
67 49 100 0 100 0 1.0 3 23 0 200 45350587c86e:100 87e621520c48:100
68 50 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
69 51 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
70 52 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
71 53 100 0 100 0 1.0 3 7 0 200 45350587c86e:100 87e621520c48:100
72 54 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
73 55 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
74 56 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
75 57 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
76 58 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
77 59 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
78 60 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
79 61 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
80 62 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
81 63 100 0 100 0 1.0 3 9 0 200 45350587c86e:100 87e621520c48:100
82 64 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
83 65 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
84 66 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
85 67 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
86 68 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
87 69 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
88 70 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
89 71 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
90 72 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
91 73 100 0 100 0 1.0 3 7 0 200 45350587c86e:100 87e621520c48:100
92 74 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
93 75 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
94 76 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
95 77 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
96 78 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
97 79 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
98 80 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
99 81 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
100 82 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
101 83 100 0 100 0 1.0 3 7 0 200 45350587c86e:100 87e621520c48:100
102 84 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
103 85 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
104 86 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
105 87 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
106 88 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
107 89 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
108 90 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
109 91 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
110 92 100 0 100 0 1.0 3 6 0 200 45350587c86e:100 87e621520c48:100
111 93 100 0 100 0 1.0 3 8 0 200 45350587c86e:100 87e621520c48:100
112 94 100 0 100 0 1.0 3 4 0 200 45350587c86e:100 87e621520c48:100
113 95 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
114 96 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
115 97 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
116 98 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
117 99 100 0 100 0 1.0 3 6 0 200 45350587c86e:100 87e621520c48:100
118 100 100 0 100 0 1.0 4 5 0 200 45350587c86e:100 87e621520c48:100
119 101 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
120 102 100 0 100 0 1.0 3 5 0 200 45350587c86e:100 87e621520c48:100
121 103 100 0 100 0 1.0 3 7 0 200 45350587c86e:100 87e621520c48:100
122 104 3 0 3 0 1.0 4 5 0 6 45350587c86e:3 87e621520c48:3
+3 -3
View File
@@ -156,12 +156,12 @@ Evidence снимается с закоммиченного кода: комми
- выводы 5.1–5.2.
Проверка: в шапке — спеки, change, дата, commit, стенд, хост.
- [ ] 6.4 Хост по брифу: питание, давление на память, `docker ps`,
- [x] 6.4 Хост по брифу: питание, давление на память, `docker ps`,
`docker info`, `vm_stat` (`Swapouts`) до и после. Затем `make stop`,
`nohup make bench_rollout` с журналом, после — снова рабочий стенд.
Проверка: `evidence/rollout/baseline/` со статусом `complete`, сверка
сошлась; плохой хост — Telegram и остановка (бриф).
- [ ] 6.5 `REPORT.md` по решению 10:
- [x] 6.5 `REPORT.md` по решению 10:
- строки доказательств уровня «4» вместо TODO;
- процедура замены;
- раздел профиля `rollout` в «Эксперименты и отказы»;
@@ -171,7 +171,7 @@ Evidence снимается с закоммиченного кода: комми
Проверка: у каждой новой строки есть команда, наблюдение и файл; в
evidence и отчёте нет паролей, токенов и абсолютных путей домашнего
каталога.
- [ ] 6.6 Финал:
- [x] 6.6 Финал:
- `make lint`, `openspec validate rolling-update --strict`;
- отметить задачи, коммит evidence и отчёта (`docs: …`);
- `graphify update .`;