diff --git a/AGENTS.md b/AGENTS.md index b397000d..8aedc4fb 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -301,8 +301,7 @@ Python 3.12, uv, FastAPI, pydantic v2, pydantic-settings, structlog ## Карта кода Файлы домена называются одинаково во всех слоях (`user`, `chat`, -`message`, `session`, `idempotency` и т.д.). Помеченное «(лаба 3)» -появится с changes из `PLAN.md`. +`message`, `session`, `idempotency` и т.д.). ``` src/ diff --git a/REPORT.md b/REPORT.md index d016a3e4..49305231 100644 --- a/REPORT.md +++ b/REPORT.md @@ -180,6 +180,8 @@ LB отвечает 502, клиент повторяет с тем же ключ Соединения Postgres: `API_REPLICAS × (pool_size + max_overflow)` + `migrate` = 2 × (10 + 5) + 1 = 31 ≤ `max_connections` 100; при 6 репликах — 91, при 7 — 106 > 100. Граница пула — гипотеза 3 трека 1. +На время поочерёдной замены реплик на одну больше (`API_REPLICAS` + 1): +3 × 15 + 1 = 46 соединений, 7 CPU и 3,1 GiB лимитов. **Секреты по сервисам.** Пароль Postgres — `postgres`, `api`, `migrate`; пароль Valkey — `valkey` и `api`; у `haproxy` секретов нет @@ -423,7 +425,11 @@ TODO: остальные имена skeleton (`APP_HOST`, `APP_PORT`, `APP_ENV`, | Стенд лабы 3 не трогает данные лабы 2 | `make run_docker`, `make wipe_data`, снова `make run_docker`; `docker volume inspect` до и после | `wipe_data` удалил только контейнеры, сеть и volume `mtusi-lab3`; `mtusi-lab2_postgres_data` с прежней датой создания | `evidence/tests/stand-lab3.md` | | Сборка из чистого clone | `git clone`, `docker build -t mtusi-messenger:lab3 .` до `make env_setup`; стенд на этом образе, `make test` | сборка без `.env` и `config.toml`, в образе их нет, процесс от UID 10001; `PASS: lab3 public API scenario` | `evidence/tests/clean-clone.md` | | Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` | -| Остальные пункты уровня 4 | TODO: change `rolling-update` (поочерёдная замена под нагрузкой, миграции однократно и совместимы) | TODO | TODO | +| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0` и снова вперёд под `tests/load.py` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 25 347 / 20 114 / 20 713 / 19 199 запросов `tests/load.py` за четыре замены; контейнеров прежних реплик после замены нет | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md` | +| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + `docker compose run --rm migrate` нового образа; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы; под чужой транзакцией `lock_timeout` 5 с → миграция падает с кодом 1, схема и реплики не тронуты, повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` | +| Замена при сбое и неготовом стенде | остановленная реплика, `API_REPLICAS=3`, `ROLLOUT_READY_TIMEOUT=1`, Ctrl+C во время дренажа под нагрузкой, порт 9999 LB из сети | код 2 до сборки; неготовая новая реплика удалена, работают 2 реплики `UP`; после Ctrl+C вывод старой доведён до удаления (код 130, 0 неуспешных запросов), повтор довёл замену; слоты LB без ручного состояния; канал управления LB из сети — отказ соединения | `evidence/rollout/script-failures.md` | +| `make run_docker` после пересборки | реплики на образе прежнего commit, `docker compose build api`, `docker compose --dry-run up -d`; пересборка без изменений кода | compose пересоздаёт реплики с изменившимся образом, без изменений — не трогает; пункт `KNOWN_ISSUES.md` не воспроизвёлся и закрыт | `evidence/rollout/compatibility.md` | +| Регрессия на итоговом коде `rolling-update` | `make test`, `make student_test`, `make test-persistence`, `make test-failover` (`stop` и `kill`), `make test_isolated`, `make failure_checks`, `make bench_quick`, `make bench_failover_quick`, `make bench_rollout_quick` | всё код 0 (131 passed через LB, 127 + 4 пропуска в изоляции, 15 проверок отказов); регрессия нашла дефект шага миграций (контейнер `migrate` прежнего образа ломал `restart.sh`), исправлен в `de654a1` и переснят | `evidence/tests/rolling-update-checks.md` | | Выбранный трек 5, если заявлен | TODO | TODO | TODO | TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. @@ -441,6 +447,7 @@ TODO: гипотеза, hardware/лимиты, версии, объём данн | остановка PostgreSQL | реплики отвечают 503 на `/health/ready`, LB исключает обе и отвечает 503 сам | первые ~2 с — 503 от API, затем 503 от LB на всё, включая `/health/live`; после запуска PostgreSQL обе реплики `UP` | 1,2–1,6 с после запуска PostgreSQL, без рестарта реплик и LB (`evidence/replicas/lb-errors.md`) | | остановка всех реплик | LB отвечает 503 в формате контракта, healthcheck LB — `unhealthy` | так и есть; после `make replicas` — 200 через ~3 с | данные в Postgres не затронуты (`evidence/replicas/lb-errors.md`) | | `scripts/restart.sh`: LB, обе реплики, Postgres, Valkey | данные и токен переживают рестарт | `PASS`; до прохождения проверок LB отвечал 503, реплики начинают в `DOWN` | 6,4 с на тест целиком; кэш пуст, данные целы (`evidence/replicas/test-persistence.md`) | +| `make rolling_update` под `tests/load.py` (4 клиента): вперёд, откат на `c50b721`, снова вперёд | новая реплика в LB до вывода старой, старая выводится из LB до SIGTERM — ошибок нет | 0 неуспешных из 25 347, 20 114 и 20 713 запросов; замена 10–14 с; новая миграция при прежних репликах — `make test` и `make student_test` проходят | простоя нет; по `messages.instance_id` видно, какая версия что записала (`evidence/rollout/compatibility.md`) | ### Отказ каждой реплики под нагрузкой (change `graceful-failover`) @@ -523,6 +530,71 @@ PostgreSQL делят ВМ Docker. Один прогон на фазу. Инте ещё и ошибки перегрузки. Отказ узла, LB и PostgreSQL не воспроизводится («Ограничения»). +### Поочерёдная замена под нагрузкой (change `rolling-update`) + +**Гипотеза** (design `rolling-update`, решения 2–4): +- клиент не видит ни одной ошибки, в том числе 502 гонки keep-alive из + профиля `failover`: + - новая реплика получает запросы только после `UP` в LB; + - старая выводится из LB раньше SIGTERM; +- в каждой секунде отвечают только реплики, которые сейчас в LB; +- после вывода старая не получает ни одного запроса; +- записи не теряются и не дублируются. + +**Методика.** `make bench_rollout ROLLOUT_LABEL=baseline` (`bench/run.py`, +профиль `rollout`; `.claude/rules/bench.md`): +- стенд `mtusi-bench` с лимитами рабочего стенда, как у профиля + `failover`; +- реплики стартуют на образе `c50b721` (`git archive`, схема + `7652184b7016`); +- k6 — постоянная интенсивность, 100 записей с `Idempotency-Key` и + 100 чтений истории в секунду; +- через 15 с — `scripts/rolling-update.sh` против проекта стенда: сборка + текущего checkout, миграция `e656d6bbe1a4`, замена обеих реплик; +- ещё ≥ 15 с нагрузки после замены; +- время — часы ВМ Docker: события контейнеров проекта (поток `docker + events`), журнал HAProxy, отметки k6; +- после прогона неуспешные записи повторяются с тем же ключом, затем + сверка в PostgreSQL. + +Commit `9dcea0b` (код `de654a1`), чистое дерево. Хост: Docker Desktop +29.8.2, ВМ 12 CPU / 7,7 GiB, питание от сети, свободной памяти 52–53 %, +swap занят 920 МиБ, но выгрузки за прогон не было (`Swapouts` до и +после одинаковы). Посторонних контейнеров нет, рабочий стенд +остановлен. Один прогон. + +**Результат** (`evidence/rollout/baseline/summary.md`): + +| Шаг | Новая: старт → `UP` в LB, с | Дренаж старой, с | Остановка старой, с | Шаг целиком, с | Ошибок | Запросов старой после дренажа | +|---|---|---|---|---|---|---| +| 1 | 2,08 | 0,16 | 0,42 | 3,21 | 0 | 0 | +| 2 | 2,03 | 0,14 | 0,33 | 3,13 | 0 | 0 | + +- Замена целиком (от создания контейнера миграции до удаления последней + старой) — 8,9 с; сборка из кэша 0 с, миграция 2 с. +- Ошибок нет ни до, ни во время, ни после замены: 0 из 24 002 + запросов. В каждой секунде 200 успешных, доля 1,0. p95 — 5 мс до + замены, максимум 11 мс во время. +- Ответы по версиям: первый ответ новой реплики — через 4,05 с, + последний ответ старой — 8,3 с. В секунду 4 — 114 старых и 86 + новых, в секунду 8 — 20 и 180, с секунды 9 — только новые. +- Сверка: сообщений 12 001 = ключей 12 001, одинаковых текстов нет, + повторять было нечего. + +**Итог по гипотезе:** подтверждено. В профиле `failover` `docker stop` +под той же нагрузкой давал одиночный 502 в части фаз. При плановой +замене с дренажём 502 нет ни одного: запрос в слот, выведенный в +`drain`/`maint`, LB не отправляет. Новая реплика вступает в работу через +~2 с после старта (`init-state down`, `rise 2`). Число реплик в LB не +опускается ниже двух. + +**Ограничения замера.** Один хост, один прогон: замер показывает +поведение, а не распределение. Нагрузка — около половины потолка одной +реплики. Под нагрузкой выше потолка двух реплик третья на время замены +добавила бы CPU-конкуренцию. Сборка образа шла из кэша. Холодная сборка +займёт больше времени, но на шаги замены не влияет: она идёт до +миграции. + ## Ограничения и следующие шаги TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. diff --git a/evidence/rollout/baseline/meta.json b/evidence/rollout/baseline/meta.json new file mode 100644 index 00000000..a61cad9a --- /dev/null +++ b/evidence/rollout/baseline/meta.json @@ -0,0 +1,263 @@ +{ + "label": "baseline", + "status": "complete", + "started_at": "2026-10-10T22:17:46+00:00", + "command": "uv run python bench/run.py --profile rollout --label baseline", + "git": { + "commit": "9dcea0b", + "dirty": false + }, + "overrides": {}, + "host_state": { + "start": { + "swap_used_mib": 920.31, + "swap_total_mib": 2048.0, + "memory_free_percent": 52, + "power": "AC Power", + "battery_percent": 80 + }, + "end": { + "swap_used_mib": 920.31, + "swap_total_mib": 2048.0, + "memory_free_percent": 53, + "power": "AC Power", + "battery_percent": 80 + }, + "slept_seconds": 0 + }, + "host_warnings": [], + "other_containers": [], + "app_image": { + "tag": "mtusi-messenger:bench", + "id": "sha256:06268d4303f30a714e7ec69c5bbe7b95fedbd861ff6b93034496bfe03dc14b16", + "versions": { + "python": "3.12.14", + "fastapi": "0.141.1", + "starlette": "1.7.0", + "pydantic": "2.13.5", + "uvicorn": "0.54.0", + "sqlalchemy": "2.1.1", + "asyncpg": "0.31.0", + "redis": "8.1.0" + } + }, + "generator": { + "image": "grafana/k6:2.3.0@sha256:9c2dee7f8ed74d317e4027c06a10f169b625638189de8d4555d0b3486a5aeb34", + "version": "k6 v2.3.0 (commit/e088784614, go1.27.1, linux/arm64)" + }, + "docker": { + "server": "29.8.2", + "vm_os": "Docker Desktop", + "vm_cpus": 12, + "vm_memory_gib": 7.7, + "cgroup": "2", + "logging_driver": "local" + }, + "host": { + "os": "macOS 26.6.2", + "machine": "Apple M3 Pro", + "memory_gib": 18.0 + }, + "profile": { + "name": "rollout", + "sizes": [ + 1000 + ], + "concurrency": [], + "repeats": 0, + "read_warmup_s": 0, + "read_measure_s": 0, + "write_warmup": 0, + "write_measure": 0, + "prefill_chunk": 25000, + "prefill_vus": 8, + "text_length": 64, + "page_limit": 50, + "walk_limit": 100, + "cursor_pool": 1000, + "members": 10, + "seed": 20260930, + "warmup_seed_shift": 1000003, + "generator_cpu_limit": 4.0, + "cpus": "1", + "memory": "512m", + "db_cpus": "2", + "db_memory": "1g", + "cache_cpus": "0.5", + "cache_memory": "128m", + "session_ttl_seconds": 21600, + "background": [], + "index_variants": [ + [ + "chat_only", + "(chat_id)" + ], + [ + "covering", + "(chat_id, created_at, id) INCLUDE (sender_id, text)" + ] + ], + "write_probe_rows": 20000, + "write_probe_repeats": 3, + "restore": false, + "restore_jobs": 4, + "restore_write_load": 5000, + "restore_write_vus": 10, + "replicas": 2, + "lb_cpus": "1", + "lb_memory": "256m", + "failover_modes": [], + "failover_write_rate": 100, + "failover_read_rate": 100, + "failover_before_s": 0, + "failover_down_s": 0, + "failover_after_s": 0, + "failover_success": 0.99, + "failover_pre_vus": 600, + "failover_max_vus": 1500, + "rollout_from": "c50b721", + "rollout_before_s": 15, + "rollout_budget_s": 90, + "rollout_after_s": 15 + }, + "sizes": [], + "rollout": { + "from_commit": "c50b721", + "new_image": "sha256:06268d4303f30a714e7ec69c5bbe7b95fedbd861ff6b93034496bfe03dc14b16", + "old_image": "sha256:b923286f5d22e8f9e8e09952ce34626e497b319fe3eecbb02ac1ead59ceeb596", + "containers_before": [ + { + "name": "mtusi-bench-api-1", + "instance": "3ff08f6d1141", + "tag": "mtusi-messenger:bench", + "image": "sha256:b923286f5d22e8f9e8e09952ce34626e497b319fe3eecbb02ac1ead59ceeb596", + "running": true + }, + { + "name": "mtusi-bench-api-2", + "instance": "8b1e013c57d2", + "tag": "mtusi-messenger:bench", + "image": "sha256:b923286f5d22e8f9e8e09952ce34626e497b319fe3eecbb02ac1ead59ceeb596", + "running": true + } + ], + "revision_before": "7652184b7016", + "containers_after": [ + { + "name": "mtusi-bench-api-3", + "instance": "45350587c86e", + "tag": "mtusi-messenger:bench", + "image": "sha256:e7fb65bf75176d27d1920182f3263458bd835ebab47dafe9f2448bbcb0587464", + "running": true + }, + { + "name": "mtusi-bench-api-4", + "instance": "87e621520c48", + "tag": "mtusi-messenger:bench", + "image": "sha256:e7fb65bf75176d27d1920182f3263458bd835ebab47dafe9f2448bbcb0587464", + "running": true + } + ], + "revision_after": "e656d6bbe1a4", + "tag_after": "sha256:e7fb65bf75176d27d1920182f3263458bd835ebab47dafe9f2448bbcb0587464" + }, + "limits": { + "api": { + "nano_cpus": 1000000000, + "memory": 536870912, + "memory_swap": 536870912, + "published_ports": {}, + "healthcheck": [ + "NONE" + ], + "log_driver": "local" + }, + "postgres": { + "nano_cpus": 2000000000, + "memory": 1073741824, + "memory_swap": 1073741824, + "published_ports": {}, + "healthcheck": [ + "CMD-SHELL", + "pg_isready -h 127.0.0.1 -U \"$POSTGRES_USER\" -d \"$POSTGRES_DB\"" + ], + "log_driver": "local" + }, + "valkey": { + "nano_cpus": 500000000, + "memory": 134217728, + "memory_swap": 134217728, + "published_ports": {}, + "healthcheck": [ + "CMD-SHELL", + "test \"$(valkey-cli -p \"$VALKEY_PORT\" ping)\" = PONG" + ], + "log_driver": "local" + }, + "haproxy": { + "nano_cpus": 1000000000, + "memory": 268435456, + "memory_swap": 268435456, + "published_ports": {}, + "healthcheck": [ + "CMD", + "bash", + "-c", + "exec 3<>/dev/tcp/127.0.0.1/8404 && printf 'GET /lb/ready HTTP/1.0\\r\\n\\r\\n' >&3 && head -n 1 <&3 | grep -q ' 200 '" + ], + "log_driver": "local" + }, + "api_replicas": 2 + }, + "stand": { + "postgres": { + "image": "postgres:18.6-trixie@sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722", + "id": "sha256:5a5a84b19854a9ffaa54082c166ff4ec27473a361e496e5ea167f298f2da9722", + "version": "18.6 (Debian 18.6-1.pgdg13+2)", + "settings": { + "autovacuum": "on", + "checkpoint_timeout": "5min", + "effective_cache_size": "4GB", + "fsync": "on", + "jit": "on", + "maintenance_work_mem": "64MB", + "max_connections": "100", + "max_wal_size": "1GB", + "plan_cache_mode": "auto", + "random_page_cost": "4", + "shared_buffers": "128MB", + "shared_preload_libraries": "auto_explain", + "synchronous_commit": "on", + "wal_level": "replica", + "work_mem": "4MB" + } + }, + "valkey": { + "image": "valkey/valkey:9.1.2-trixie@sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd", + "id": "sha256:418652cfb58ef879d4978c33553735d7147016032d5aefaa14c828e611eb9dfd", + "version": "9.1.2", + "maxmemory": "67108864", + "maxmemory-clients": "0", + "maxmemory-eviction-tenacity": "10", + "maxmemory-policy": "allkeys-lru", + "maxmemory-samples": "5" + }, + "haproxy": { + "image": "haproxy:3.4.6-trixie@sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26", + "id": "sha256:e273915691a8eab3f105bf3e39fd4c29a4ecf334e33421903b5589d25e14db26", + "version": "HAProxy version 3.4.6-56332c5 2026/09/28 - https://haproxy.org/" + }, + "app_env": { + "APP__PORT": "8080", + "APP__RUN_MODE": "docker", + "AUTH__SESSION_TTL_SECONDS": "21600", + "CACHE__HOST": "valkey", + "CACHE__PORT": "6379", + "DATABASE__HOST": "postgres", + "DATABASE__NAME": "bench", + "DATABASE__PORT": "5432", + "DATABASE__USER": "bench" + } + }, + "finished_at": "2026-10-10T22:20:04+00:00" +} diff --git a/evidence/rollout/baseline/prefill.csv b/evidence/rollout/baseline/prefill.csv new file mode 100644 index 00000000..7d5613e9 --- /dev/null +++ b/evidence/rollout/baseline/prefill.csv @@ -0,0 +1,2 @@ +size,chunk,messages_before,messages_after,duration_s,requests_ok,requests_failed,rps,error_ratio,p50_ms,p95_ms,p99_ms,max_ms,app_cpu_cores,rss_end_mib,mem_cgroup_end_mib,generator_cpu_cores,flags,db_cpu_cores +1000,1,0,1000,0.988,1000,0,1012.7,0.0,6.73,9.756,51.526,60.224,1.951,180.0,157.6,0.235,,0.357 diff --git a/evidence/rollout/baseline/progress.json b/evidence/rollout/baseline/progress.json new file mode 100644 index 00000000..dccc6032 --- /dev/null +++ b/evidence/rollout/baseline/progress.json @@ -0,0 +1,12 @@ +{ + "label": "baseline", + "profile": "rollout", + "stage": "done", + "size": 1000, + "runs_done": 1, + "runs_total": 1, + "elapsed_s": 138, + "eta_s": 0, + "warnings": [], + "updated_at": "2026-10-10T22:20:04+00:00" +} diff --git a/evidence/rollout/baseline/raw/prefill-1k-01.json b/evidence/rollout/baseline/raw/prefill-1k-01.json new file mode 100644 index 00000000..8817d94e --- /dev/null +++ b/evidence/rollout/baseline/raw/prefill-1k-01.json @@ -0,0 +1 @@ +{"root_group":{"checks":[{"name":"message 201","path":"::message 201","id":"6445aff337e1ade0bc10402fbac79882","passes":1000,"fails":0}],"name":"","path":"","id":"d41d8cd98f00b204e9800998ecf8427e","groups":[]},"options":{"summaryTimeUnit":"","noColor":true,"summaryTrendStats":["avg","min","med","p(50)","p(95)","p(99)","max"]},"state":{"isStdOutTTY":false,"isStdErrTTY":false,"testRunDurationMs":987.507875},"metrics":{"checks":{"type":"rate","contains":"default","values":{"rate":1,"passes":1000,"fails":0}},"iteration_duration":{"type":"trend","contains":"time","values":{"p(95)":9.8112622,"p(99)":51.93835516,"max":60.281834,"avg":7.879293950999993,"min":2.170542,"med":6.795062,"p(50)":6.795062}},"http_req_receiving":{"type":"trend","contains":"time","values":{"p(50)":0.0142705,"p(95)":0.029713099999999996,"p(99)":0.042979669999999984,"max":0.089916,"avg":0.01596981999999996,"min":0.004917,"med":0.0142705}},"http_req_failed":{"contains":"default","values":{"rate":0,"passes":0,"fails":1000},"type":"rate"},"http_req_waiting":{"type":"trend","contains":"time","values":{"p(95)":9.7382021,"p(99)":51.51172967,"max":60.21025,"avg":7.788222853000001,"min":2.080791,"med":6.704458,"p(50)":6.704458}},"http_req_connecting":{"type":"trend","contains":"time","values":{"max":0.221875,"avg":0.001185873,"min":0,"med":0,"p(50)":0,"p(95)":0,"p(99)":0}},"data_received":{"type":"counter","contains":"data","values":{"count":470000,"rate":475945.57157329}},"http_req_duration":{"type":"trend","contains":"time","values":{"min":2.108709,"med":6.730333,"p(50)":6.730333,"p(95)":9.756191999999999,"p(99)":51.52585309,"max":60.2245,"avg":7.8090653820000036}},"iterations":{"type":"counter","contains":"default","values":{"count":1000,"rate":1012.6501522835957}},"http_req_duration{expected_response:true}":{"type":"trend","contains":"time","values":{"avg":7.8090653820000036,"min":2.108709,"med":6.730333,"p(50)":6.730333,"p(95)":9.756191999999999,"p(99)":51.52585309,"max":60.2245},"thresholds":{"max>=0":{"ok":true}}},"http_req_tls_handshaking":{"type":"trend","contains":"time","values":{"min":0,"med":0,"p(50)":0,"p(95)":0,"p(99)":0,"max":0,"avg":0}},"data_sent":{"values":{"count":376000,"rate":380756.457258632},"type":"counter","contains":"data"},"http_reqs":{"type":"counter","contains":"default","values":{"count":1000,"rate":1012.6501522835957}},"http_req_sending":{"type":"trend","contains":"time","values":{"med":0.003875,"p(50)":0.003875,"p(95)":0.008835099999999999,"p(99)":0.02312648999999996,"max":0.069166,"avg":0.004872708999999997,"min":0.001875}},"http_req_blocked":{"type":"trend","contains":"time","values":{"avg":0.004656624000000004,"min":0.0005,"med":0.001,"p(50)":0.001,"p(95)":0.001916,"p(99)":0.007712169999999996,"max":0.6745}}}} \ No newline at end of file diff --git a/evidence/rollout/baseline/raw/rollout-k6.json b/evidence/rollout/baseline/raw/rollout-k6.json new file mode 100644 index 00000000..cd193cb4 --- /dev/null +++ b/evidence/rollout/baseline/raw/rollout-k6.json @@ -0,0 +1 @@ +{"root_group":{"groups":[],"checks":[],"name":"","path":"","id":"d41d8cd98f00b204e9800998ecf8427e"},"options":{"summaryTrendStats":["avg","min","med","p(50)","p(95)","p(99)","max"],"summaryTimeUnit":"","noColor":true},"state":{"isStdErrTTY":false,"testRunDurationMs":120004.159375,"isStdOutTTY":false},"metrics":{"http_req_sending":{"type":"trend","contains":"time","values":{"p(95)":0.021792,"p(99)":0.031749589999999994,"max":0.491167,"avg":0.013146688025997921,"min":0.003292,"med":0.0125,"p(50)":0.0125}},"http_req_duration{expected_response:true}":{"type":"trend","contains":"time","values":{"p(50)":3.348083,"p(95)":4.9667381499999985,"p(99)":9.717459919999984,"max":107.903458,"avg":3.7408182544371327,"min":1.761042,"med":3.348083},"thresholds":{"max>=0":{"ok":true}}},"http_req_duration":{"type":"trend","contains":"time","values":{"min":1.761042,"med":3.348083,"p(50)":3.348083,"p(95)":4.9667381499999985,"p(99)":9.717459919999984,"max":107.903458,"avg":3.7408182544371327}},"data_received":{"contains":"data","values":{"count":168362029,"rate":1402968.2794067736},"type":"counter"},"http_req_receiving":{"type":"trend","contains":"time","values":{"med":0.027375,"p(50)":0.027375,"p(95)":0.07024794999999996,"p(99)":0.11003907999999994,"max":0.957667,"avg":0.03371897241896478,"min":0.007959}},"http_req_waiting":{"contains":"time","values":{"max":107.86875,"avg":3.6939525939921607,"min":1.733791,"med":3.3035835000000002,"p(50)":3.3035835000000002,"p(95)":4.910010749999999,"p(99)":9.649135589999982},"type":"trend"},"iterations":{"type":"counter","contains":"default","values":{"count":24002,"rate":200.00973403760406}},"http_reqs":{"contains":"default","values":{"count":24002,"rate":200.00973403760406},"type":"counter"},"vus_max":{"type":"gauge","contains":"default","values":{"value":1200,"min":1200,"max":1200}},"http_req_blocked":{"type":"trend","contains":"time","values":{"p(50)":0.003042,"p(95)":0.05506844999999969,"p(99)":0.17032925999999993,"max":8.2045,"avg":0.011458301474876658,"min":0.001,"med":0.003042}},"data_sent":{"type":"counter","contains":"data","values":{"count":9277664,"rate":77311.18694818157}},"iteration_duration":{"type":"trend","contains":"time","values":{"p(95)":5.281666999999998,"p(99)":10.914320749999996,"max":108.189583,"avg":3.989575050287447,"min":1.88175,"med":3.5761874999999996,"p(50)":3.5761874999999996}},"http_req_failed":{"contains":"default","values":{"passes":0,"fails":24002,"rate":0},"type":"rate"},"http_req_tls_handshaking":{"values":{"p(50)":0,"p(95)":0,"p(99)":0,"max":0,"avg":0,"min":0,"med":0},"type":"trend","contains":"time"},"vus":{"type":"gauge","contains":"default","values":{"min":0,"max":7,"value":2}},"iterations{scenario:read}":{"type":"counter","contains":"default","values":{"count":12001,"rate":100.00486701880203},"thresholds":{"count>=0":{"ok":true}}},"iterations{scenario:write}":{"type":"counter","contains":"default","values":{"count":12001,"rate":100.00486701880203},"thresholds":{"count>=0":{"ok":true}}},"http_req_connecting":{"values":{"med":0,"p(50)":0,"p(95)":0,"p(99)":0.12579058999999998,"max":8.159417,"avg":0.006486076493625522,"min":0},"type":"trend","contains":"time"}}} \ No newline at end of file diff --git a/evidence/rollout/baseline/replicas.csv b/evidence/rollout/baseline/replicas.csv new file mode 100644 index 00000000..a10bc3b0 --- /dev/null +++ b/evidence/rollout/baseline/replicas.csv @@ -0,0 +1,3 @@ +step,new_instance,new_slot,old_instance,old_slot,new_created_s,new_up_s,ready_s,drain_s,drain_timeout,stop_s,old_removed_s,slot_ready_s,replace_s,errors,after_drain +1,45350587c86e,api-3,3ff08f6d1141,api-1,1.84,4.03,2.08,0.16,False,0.42,5.05,5.59,3.21,0,0 +2,87e621520c48,api-1,8b1e013c57d2,api-2,5.77,7.9,2.03,0.14,False,0.33,8.9,9.43,3.13,0,0 diff --git a/evidence/rollout/baseline/rollout.csv b/evidence/rollout/baseline/rollout.csv new file mode 100644 index 00000000..5414c9a2 --- /dev/null +++ b/evidence/rollout/baseline/rollout.csv @@ -0,0 +1,2 @@ +label,from_commit,replicas,revision_before,revision_after,build_s,migrate_s,rollout_s,script_exit,requests,errors_before,codes_before,errors_during,codes_during,errors_after,codes_after,min_success,seconds_below,ok_rps_before,ok_rps_during_min,p95_before_ms,p95_during_max_ms,first_new_s,last_old_s,old_after_drain,writes,writes_failed,retried_ok,write_chat_messages,distinct_texts,dropped_iterations,flags +baseline,c50b721,2,7652184b7016,e656d6bbe1a4,0,2,8.9,0,24002,0,,0,,0,,1.0,0,200.0,200,5,11,4.05,8.3,0,12001,0,0,12001,12001,0, diff --git a/evidence/rollout/baseline/summary.md b/evidence/rollout/baseline/summary.md new file mode 100644 index 00000000..9e5c22fa --- /dev/null +++ b/evidence/rollout/baseline/summary.md @@ -0,0 +1,57 @@ +# Поочерёдная замена реплик под нагрузкой: метка `baseline` + +- Статус: **complete** +- Commit: `9dcea0b` +- Профиль `rollout`: 2 реплики за HAProxy; замена с образа commit `c50b721` на образ текущего checkout (`scripts/rolling-update.sh`); 100 записей с ключом и 100 чтений страницы истории в секунду (k6, постоянная интенсивность); окна: 15 с до запуска скрипта, бюджет замены 90 с, ещё 15 с; порог доли успешных 99% +- Лимиты без swap: API 1 CPU / 512m на реплику, HAProxy 1 CPU / 256m, PostgreSQL 2 CPU / 1g, Valkey 0.5 CPU / 128m +- Посторонние контейнеры в VM во время замера: нет + +Время — секунды на часах ВМ Docker от начала замены (создание контейнера миграции). Шаги — события Docker (создание и старт новой реплики, SIGTERM, выход и удаление старой) и журнал HAProxy (`UP` новой, `drain` и `maint` старой, возврат слота в `ready`). Ответы — отметки k6 при отправке; «старые» и «новые» — по `X-Instance-Id` контейнеров до и после замены. Окно замены — от начала до удаления последней старой реплики. Сверка — после повтора неуспешных записей с тем же ключом: сообщений в чате записи и разных текстов столько, сколько отправлено ключей. + +| Замена, с | Сборка / миграция, с | Ревизия до → после | Ошибки до / во время / после | Мин. доля успешных | Секунд ниже порога | Успешных в секунду: до / мин. во время | p95: до / макс. во время, мс | Первый ответ новой / последний старой, с | Ответов старых после дренажа | Повтор записей | Сообщений = ключей | Пометки | +|---|---|---|---|---|---|---|---|---|---|---|---|---| +| 8.9 | 0 / 2 | `7652184b7016` → `e656d6bbe1a4` | 0 / 0 / 0 | 1 | 0 | 200 / 200 | 5 / 11 | 4.05 / 8.3 | 0 | 0 → 0 | 12001 = 12001 | — | + +## Шаги по репликам + +| Шаг | Новая (слот) | Старая (слот) | Новая создана, с | Новая `UP`, с | Старт → `UP`, с | Дренаж, с | Остановка, с | Старая удалена, с | Слот `ready`, с | Замена целиком, с | Ошибок за шаг | Ответов старой после дренажа | +|---|---|---|---|---|---|---|---|---|---|---|---|---| +| 1 | `45350587c86e` (api-3) | `3ff08f6d1141` (api-1) | 1.84 | 4.03 | 2.08 | 0.16 | 0.42 | 5.05 | 5.59 | 3.21 | 0 | 0 | +| 2 | `87e621520c48` (api-1) | `8b1e013c57d2` (api-2) | 5.77 | 7.9 | 2.03 | 0.14 | 0.33 | 8.9 | 9.43 | 3.13 | 0 | 0 | + +## Контейнеры `api` до замены + +| Контейнер | `X-Instance-Id` | Образ (тег) | Конфигурация образа | +|---|---|---|---| +| mtusi-bench-api-1 | `3ff08f6d1141` | `mtusi-messenger:bench` | `sha256:b923286f5d22…` | +| mtusi-bench-api-2 | `8b1e013c57d2` | `mtusi-messenger:bench` | `sha256:b923286f5d22…` | + +## Контейнеры `api` после замены + +| Контейнер | `X-Instance-Id` | Образ (тег) | Конфигурация образа | +|---|---|---|---| +| mtusi-bench-api-3 | `45350587c86e` | `mtusi-messenger:bench` | `sha256:e7fb65bf7517…` | +| mtusi-bench-api-4 | `87e621520c48` | `mtusi-messenger:bench` | `sha256:e7fb65bf7517…` | + +## Шкала вокруг замены + +Полная шкала — `timeline.csv`. + +| с от начала | Записи ok / ош | Чтения ok / ош | Коды ошибок | Доля успешных | p50 / p95, мс | Старые / новые ok | Ответы реплик | +|---|---|---|---|---|---|---|---| +| -3 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| -2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| -1 | 100 / 0 | 100 / 0 | — | 1 | 4 / 6 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| 0 | 100 / 0 | 100 / 0 | — | 1 | 3 / 7 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| 1 | 100 / 0 | 100 / 0 | — | 1 | 3 / 6 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| 2 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| 3 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 200 / 0 | 3ff08f6d1141:100 8b1e013c57d2:100 | +| 4 | 100 / 0 | 100 / 0 | — | 1 | 4 / 11 | 114 / 86 | 3ff08f6d1141:25 45350587c86e:86 8b1e013c57d2:89 | +| 5 | 100 / 0 | 100 / 0 | — | 1 | 4 / 7 | 100 / 100 | 45350587c86e:100 8b1e013c57d2:100 | +| 6 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 100 / 100 | 45350587c86e:100 8b1e013c57d2:100 | +| 7 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 97 / 103 | 45350587c86e:97 87e621520c48:6 8b1e013c57d2:97 | +| 8 | 100 / 0 | 100 / 0 | — | 1 | 3 / 6 | 20 / 180 | 45350587c86e:90 87e621520c48:90 8b1e013c57d2:20 | +| 9 | 100 / 0 | 100 / 0 | — | 1 | 3 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 | +| 10 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 | +| 11 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 | +| 12 | 100 / 0 | 100 / 0 | — | 1 | 4 / 5 | 0 / 200 | 45350587c86e:100 87e621520c48:100 | diff --git a/evidence/rollout/baseline/timeline.csv b/evidence/rollout/baseline/timeline.csv new file mode 100644 index 00000000..3facd477 --- /dev/null +++ b/evidence/rollout/baseline/timeline.csv @@ -0,0 +1,122 @@ +second,writes_ok,writes_failed,reads_ok,reads_failed,codes,success,p50_ms,p95_ms,old_ok,new_ok,instances +-16,98,0,98,0,,1.0,3,5,196,0,3ff08f6d1141:98 8b1e013c57d2:98 +-15,100,0,100,0,,1.0,4,13,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-14,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-13,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-12,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-11,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-10,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-9,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-8,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-7,100,0,100,0,,1.0,3,43,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-6,100,0,100,0,,1.0,3,4,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-5,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-4,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-3,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-2,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +-1,100,0,100,0,,1.0,4,6,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +0,100,0,100,0,,1.0,3,7,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +1,100,0,100,0,,1.0,3,6,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +2,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +3,100,0,100,0,,1.0,3,5,200,0,3ff08f6d1141:100 8b1e013c57d2:100 +4,100,0,100,0,,1.0,4,11,114,86,3ff08f6d1141:25 45350587c86e:86 8b1e013c57d2:89 +5,100,0,100,0,,1.0,4,7,100,100,45350587c86e:100 8b1e013c57d2:100 +6,100,0,100,0,,1.0,3,5,100,100,45350587c86e:100 8b1e013c57d2:100 +7,100,0,100,0,,1.0,3,5,97,103,45350587c86e:97 87e621520c48:6 8b1e013c57d2:97 +8,100,0,100,0,,1.0,3,6,20,180,45350587c86e:90 87e621520c48:90 8b1e013c57d2:20 +9,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +10,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +11,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +12,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +13,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100 +14,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +15,100,0,100,0,,1.0,3,6,0,200,45350587c86e:100 87e621520c48:100 +16,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +17,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +18,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +19,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +20,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +21,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +22,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +23,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100 +24,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +25,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +26,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +27,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +28,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +29,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +30,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100 +31,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +32,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +33,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100 +34,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +35,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +36,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +37,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +38,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +39,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +40,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +41,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +42,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +43,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100 +44,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +45,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +46,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +47,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +48,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +49,100,0,100,0,,1.0,3,23,0,200,45350587c86e:100 87e621520c48:100 +50,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +51,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +52,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +53,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100 +54,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +55,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +56,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +57,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +58,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +59,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +60,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +61,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +62,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +63,100,0,100,0,,1.0,3,9,0,200,45350587c86e:100 87e621520c48:100 +64,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +65,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +66,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +67,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +68,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +69,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +70,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +71,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +72,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +73,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100 +74,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +75,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +76,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +77,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +78,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +79,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +80,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +81,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +82,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +83,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100 +84,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +85,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +86,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +87,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +88,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +89,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +90,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +91,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +92,100,0,100,0,,1.0,3,6,0,200,45350587c86e:100 87e621520c48:100 +93,100,0,100,0,,1.0,3,8,0,200,45350587c86e:100 87e621520c48:100 +94,100,0,100,0,,1.0,3,4,0,200,45350587c86e:100 87e621520c48:100 +95,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +96,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +97,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +98,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +99,100,0,100,0,,1.0,3,6,0,200,45350587c86e:100 87e621520c48:100 +100,100,0,100,0,,1.0,4,5,0,200,45350587c86e:100 87e621520c48:100 +101,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +102,100,0,100,0,,1.0,3,5,0,200,45350587c86e:100 87e621520c48:100 +103,100,0,100,0,,1.0,3,7,0,200,45350587c86e:100 87e621520c48:100 +104,3,0,3,0,,1.0,4,5,0,6,45350587c86e:3 87e621520c48:3 diff --git a/openspec/changes/rolling-update/tasks.md b/openspec/changes/rolling-update/tasks.md index 271e3d11..150306e2 100644 --- a/openspec/changes/rolling-update/tasks.md +++ b/openspec/changes/rolling-update/tasks.md @@ -156,12 +156,12 @@ Evidence снимается с закоммиченного кода: комми - выводы 5.1–5.2. Проверка: в шапке — спеки, change, дата, commit, стенд, хост. -- [ ] 6.4 Хост по брифу: питание, давление на память, `docker ps`, +- [x] 6.4 Хост по брифу: питание, давление на память, `docker ps`, `docker info`, `vm_stat` (`Swapouts`) до и после. Затем `make stop`, `nohup make bench_rollout` с журналом, после — снова рабочий стенд. Проверка: `evidence/rollout/baseline/` со статусом `complete`, сверка сошлась; плохой хост — Telegram и остановка (бриф). -- [ ] 6.5 `REPORT.md` по решению 10: +- [x] 6.5 `REPORT.md` по решению 10: - строки доказательств уровня «4» вместо TODO; - процедура замены; - раздел профиля `rollout` в «Эксперименты и отказы»; @@ -171,7 +171,7 @@ Evidence снимается с закоммиченного кода: комми Проверка: у каждой новой строки есть команда, наблюдение и файл; в evidence и отчёте нет паролей, токенов и абсолютных путей домашнего каталога. -- [ ] 6.6 Финал: +- [x] 6.6 Финал: - `make lint`, `openspec validate rolling-update --strict`; - отметить задачи, коммит evidence и отчёта (`docs: …`); - `graphify update .`;