Fix the findings of the final REPORT.md review: prerequisites, the
defence scenario, swap sources, the single explanation of the R* drop
at PostgreSQL 0.5 CPU, known defects in the limitations, a dead link,
stale counts and references. Remove the device name from evidence.
Remove the lab plan now that every change is archived: its decisions
live in REPORT.md and the archived designs, live references point
there, and AGENTS.md drops the transitional section.
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
| Публичный smoke | `make test` через LB на стенде `make run_docker`; `make test_isolated` (образ из `a4ca9ef`, временная база, один контейнер): `make test` + `make student_test EXPECT_REPLICAS=1`; `make test` через LB стенда из настоящего `git clone` на нестандартных портах | `PASS: lab3 public API scenario` во всех трёх; в изоляции 127 passed, 4 теста реплик пропущены с причиной «one API process»; сверка покрытия: 135 сценариев, 123 тестом, 12 исключений | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/replicas/clean-clone-ports.md` |
| Публичный smoke | `make test` через LB на стенде `make run_docker`; `make test_isolated` (образ из `a4ca9ef`, временная база, один контейнер): `make test` + `make student_test EXPECT_REPLICAS=1`; `make test` через LB стенда из настоящего `git clone` на нестандартных портах | `PASS: lab3 public API scenario` во всех трёх; в изоляции 127 passed, 4 теста реплик пропущены с причиной «one API process»; сверка покрытия на итоговом коде: 137 сценариев, 125 тестом (18 — `make failure_checks`), 12 исключений (на `a4ca9ef` было 135 / 123) | `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/replicas/clean-clone-ports.md`, `evidence/tests/clean-clone-final.md` |
| «3»: стенд одной командой, ≥2 API, одна точка входа, общие БД и сессии | `make run_docker` (рабочий стенд и настоящий `git clone`); `docker compose ps`, `docker port`, `docker compose config` | `haproxy` — единственный порт API на хосте (`127.0.0.1:8080`), `api` × 2 без портов и `container_name`; общие Postgres (сессии, данные, ключи) и Valkey; миграции — один прогон `migrate` на каждый up, в журналах реплик `alembic` нет; из клона стенд поднимается одной командой, `.env` и `config.toml` создаются сами | `evidence/replicas/stand.md`, `evidence/replicas/clean-clone-ports.md` |
| «3»: разные запросы одного пользователя — разными репликами без повторного входа | `make instances` (один вход, 12 × `GET /users/me` с одним токеном); `test_load_balancing.py` | ответы чередуются `3681880fc55f` / `8100f940a5fa` по 6; 20 запросов сессии — по 10; запись через одну реплику видна в чтениях через другую | `evidence/replicas/distribution.md`, `evidence/tests/student-test-lb.md` |
| «3»: отказ любой одной реплики — ≤10 с до новых чтений и записей; `make test-failover` | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` для каждой реплики, `make replicas` и сдвиг очереди round-robin одним запросом между прогонами; `STOP_ONE_LOG` — какой `TARGET_INSTANCE_ID` выбрал тест; `docker compose ps -a` и `StartedAt` до и после | 2 × `PASS`: остановлены `8100f940a5fa`, затем `3681880fc55f`; первая запись через 1,10–1,11 с, 0 неудачных попыток, по 2 запроса перенаправлены LB; ID остановленного контейнера = `TARGET_INSTANCE_ID`, остальные контейнеры с прежним `StartedAt`; через 20 с реплика всё ещё `exited`. С цепочкой таймаутов `graceful-failover` (commit `459f84c`) — снова `PASS` для каждой реплики: `stop` — 0 неудачных попыток, первая запись через 1,62 с; `kill` — 1 неудачная попытка (запрос в полёте), повторена с тем же ключом, первая запись через 0,23 с | `evidence/failover/test-failover.md`, `evidence/tests/graceful-failover-checks.md` |
@@ -610,7 +624,7 @@ SHA-256 тела; `created_at` с индексом; `CHECK` формата и д
| `X-Instance-Id` на каждом ответе, `instance_id` в журнале | тесты `api-conventions`, `curl`, `docker compose logs api` | заголовок у 2xx, 4xx, health, 404, 405, 500; значение = короткий ID контейнера; 85 из 85 записей журнала с `instance_id`, включая старт и shutdown; ключей и текста в журнале нет | `evidence/idempotency/instance-id.md` |
| Стенд лабы 3 не трогает данные лабы 2 | `make run_docker`, `make wipe_data`, снова `make run_docker`; `docker volume inspect` до и после | `wipe_data` удалил только контейнеры, сеть и volume `mtusi-lab3`; `mtusi-lab2_postgres_data` с прежней датой создания | `evidence/tests/stand-lab3.md` |
| Сборка из чистого clone | `git clone`, `docker build -t mtusi-messenger:lab3 .` до `make env_setup`; стенд на этом образе, `make test` | сборка без `.env` и `config.toml`, в образе их нет, процесс от UID 10001; `PASS: lab3 public API scenario` | `evidence/tests/clean-clone.md` |
| Итоговая проверка из чистого clone по разделу «Запуск из чистого clone» (`PLAN.md`, этап 7; COURSE.md: «PR собирается из чистого clone») | настоящий `git clone` commit `67b4303`, проект `mtusi-lab3` на портах по умолчанию: `make env_setup`, `make run_docker`, `make check`, `make validate`, `make test`, `make instances`, `make test-persistence`, `make test-failover` для каждой реплики (`stop`, затем `make replicas`; плюс `kill`), `make student_test`, `make failure_checks`, `make test_isolated`; `docker build --no-cache` | все команды — код 0 без правки файлов клона: `PASS` у публичных проверок, `instances: 2`, остановлены по очереди `0089ca350b2b` и `437292ccaf78` (ID = `TARGET_INSTANCE_ID`), первая запись через 0,99–1,0 с, неудачных попыток 0; после `restart.sh` те же ID с новым `StartedAt` у LB, реплик, Postgres и Valkey; 131 passed через LB, 17 проверок отказов, 127 passed + 4 пропуска с причиной в изоляции; образ без `.env` и `config.toml`, UID 10001 | `evidence/tests/clean-clone-final.md` |
| Итоговая проверка из чистого clone по разделу «Запуск из чистого clone» (COURSE.md, «Что сдавать»: PR должен собираться из чистого clone по инструкции автора) | настоящий `git clone` commit `67b4303`, проект `mtusi-lab3` на портах по умолчанию: `make env_setup`, `make run_docker`, `make check`, `make validate`, `make test`, `make instances`, `make test-persistence`, `make test-failover` для каждой реплики (`stop`, затем `make replicas`; плюс `kill`), `make student_test`, `make failure_checks`, `make test_isolated`; `docker build --no-cache` | все команды — код 0 без правки файлов клона: `PASS` у публичных проверок, `instances: 2`, остановлены по очереди `0089ca350b2b` и `437292ccaf78` (ID = `TARGET_INSTANCE_ID`), первая запись через 0,99–1,0 с, неудачных попыток 0; после `restart.sh` те же ID с новым `StartedAt` у LB, реплик, Postgres и Valkey; 131 passed через LB, 17 проверок отказов, 127 passed + 4 пропуска с причиной в изоляции; образ без `.env` и `config.toml`, UID 10001 | `evidence/tests/clean-clone-final.md` |
| Стенд `bench/`: отправки с ключом при восстановлении | `make bench_restore_quick` (самопроверка, не замер) | 1000 отправок во время backup на каждом размере, 0 неудачных; сообщений в исходной базе = подтверждённых отправок; сверка баз прошла | `evidence/tests/bench-restore-quick.md` |
| «4»: rolling update (поочерёдная замена) проверен под нагрузкой | `make bench_rollout ROLLOUT_LABEL=baseline` (commit `9dcea0b`, код `de654a1`, хост проверен, рабочий стенд остановлен): 100 записей с ключом и 100 чтений в секунду, две реплики образа `c50b721` заменяются на образ текущего checkout тем же `scripts/rolling-update.sh`; на рабочем стенде (итоговый код `84161c0`) — `make rolling_update`, откат `COMMIT=c50b721 MIGRATE=0`, снова вперёд и две замены подряд под `tests/load.py`; быстрый профиль `make bench_rollout_quick` на `84161c0` | замена 8,9 с; **0 ошибок** из 24 002 запросов, доля успешных 1,0 в каждой секунде, p95 5 → макс. 11 мс; по шагам: новая `UP` в LB через 2,0–2,1 с после старта, дренаж старой 0,14–0,16 с, остановка 0,3–0,4 с; после вывода из LB старая не получила ни одного запроса; сообщений 12 001 = ключей 12 001. Рабочий стенд: 0 неуспешных из 21 043 / 16 687 / 18 480 / 27 278 запросов `tests/load.py`; старые реплики завершаются за 0,1 с с кодом 0 («Finished server process»); контейнеров прежних реплик после замены нет. Быстрый профиль на итоговом коде: замена 8,1 с, 0 ошибок, 7 301 = 7 301 | `evidence/rollout/baseline/summary.md`, `evidence/rollout/compatibility.md`, `evidence/tests/rolling-update-checks.md` |
| «4»: миграции однократно и совместимы с работающей версией | реплики образа `c50b721` + миграция нового образа в контейнере сервиса `migrate` (команда скрипта), без замены; `make test`, `make student_test`; замена; `SELECT instance_id, count(*)` по сообщениям; миграция под чужой блокировкой и нагрузкой | новая ревизия `e656d6bbe1a4` (колонка `messages.instance_id`, NULL) при прежних репликах: `PASS`, 131 passed; запись прежней версии — NULL, новой — её `X-Instance-Id`; при замене одна миграция в контейнере `migrate` до первой новой реплики, в журналах реплик alembic нет; повторный запуск — no-op; откат кода без отката схемы (после отката `migrate` прежнего образа падает на новой ревизии — ограничение, описано); под чужой транзакцией `lock_timeout` 2 с → миграция падает с кодом 1, схема и реплики не тронуты, 6 запросов из очереди за ней — успешны за 2,0 с (с 5 с в apply — все 6 получили 503), повтор проходит | `evidence/rollout/compatibility.md`, `evidence/rollout/script-failures.md` |
@@ -627,7 +641,7 @@ SHA-256 тела; `created_at` с индексом; `CHECK` формата и д
| «5», трек 1: исходные данные и графики | `make bench_plots`; таблицы меток | R* от числа реплик, p95 от интенсивности (лог. шкала, линия SLO), CPU по компонентам на R*; строка на ступень, на ячейку и посекундные отсчёты | `evidence/plots/scaling/*.svg`, `evidence/bench/scaling-*/runs.csv`, `searches.csv`, `samples.csv` |
| «5», трек 1: уровень шума для улучшения | `make bench_scaling SERIES=ab SCALING_LABEL=scaling-aa`; `make bench_compare BEFORE=scaling-b AFTER=scaling-aa`, `BEFORE=scaling-b AFTER=scaling-a` | шум между сессиями (B → A/A, тот же код `712d245`): 1 × 1 666 (666–704) → 704 (666–704), +5,7 % — одна ступень деления; 6 × 1 2 034 (1 923–2 034) → 2 034 (2 034–2 034), Δ в пределах одной ступени (< 5,7 %); разбросы пересекаются. Согласованность серий: 4 × 1 серии `a` и k = 4 серии `b` — 1 819 и 1 819. Для `scaling-improvement` `scaling-aa` как `AA` не годится: код после правки 53300 другой, A/A снимается заново | `evidence/compare/scaling-b__scaling-aa.md`, `evidence/compare/scaling-b__scaling-a.md` |
| «5», трек 1: одно подтверждённое улучшение — пул без переполнения (change `scaling-improvement`) | H4 закоммичена до замеров (`0b0421a`, набор ячеек — `1bb8ea6`, попытка 2 — `a676a52`); изменение `9c3959d` (дефолт `max_overflow` 5 → 0) откачено; в одной сессии хоста: A/A `make bench_scaling SERIES=db4 SCALING_LABEL=scaling-db-aa2`, затем `make bench_ab BEFORE=scaling-db-before2 AFTER=scaling-db-nooverflow2 REAPPLY=5c07923 SERIES=db4`; `make bench_compare … AA=scaling-db-aa2 CHANGE=scaling-improvement`. Попытка 1 — те же команды с метками без `2`, откат `62fa575` | **попытка 2 (окончательная, тихий хост):** основная `4x1-pg0.5` R* 931 (931–984) → 1 101 (1 101–1 101), +18,3 %, «эффект», шум A/A 5,4 %; механизм: новых сессий на первой нарушившей 102 → 4, соединений 60 → 40, CPU PostgreSQL на запрос там 416 → 336 мкс; контроль `4x1-pg2` +5,7 % (в пределах шума). **Подтверждено с оговоркой**: по букве критерия проверка дрейфа (CPU на запрос при 500/с ±5 %) у основной ячейки −5,4 % из-за двух ячеек «до» (переполнения при 500/с нет ни в одной метке); против A/A2 той же сессии (`make bench_compare BEFORE=scaling-db-aa2 AFTER=scaling-db-nooverflow2 AA=scaling-db-before2 CHANGE=scaling-improvement`) дрейфа нет — 1 940 → 1 936 мкс, R* 984 → 1 101, +11,9 % (две ступени), «эффект»; засчитано решением автора после результатов. Попытка 1: +32 %, но шум A/A 20 % из-за помех macOS (iCloud, Zoom) — не прошла дрейф | `evidence/compare/scaling-db-before2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-nooverflow2.md`, `evidence/compare/scaling-db-aa2__scaling-db-before2.md`, `evidence/bench/scaling-db-{aa2,before2,nooverflow2}/`, попытка 1 — `evidence/compare/scaling-db-before__scaling-db-nooverflow.md` и метки без `2`, `evidence/tests/scaling-improvement-checks.md` |
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–21 новая сессия PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде X: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
| Пул без переполнения: соединения не переоткрываются | `make failure_checks`: тест `test_pool_keeps_connections` (48 потоков × 5 запросов, пачки больше пула 10, счётчик `pg_stat_database.sessions` через hook `db-sessions`); рабочий `config.toml` с `max_overflow` 5 и 0 | 10 + 5 — красный: 18–21 новая сессия PostgreSQL за 720 запросов; 10 + 0 — 0, 17 проверок отказов прошли (4 прогона); регрессия на коде `80e64cd`: `make test`, `make student_test` (131 passed), `make test_isolated`, `make test-persistence`, `make test-failover` для обеих реплик — `PASS`; соединений приложения на рабочем стенде 17 ≤ 2 × 10 | `evidence/tests/scaling-improvement-checks.md` |
| Цена нового соединения PostgreSQL и пинга | микропроба в реплике рабочего стенда (`cd88b48`): проверка сессии и страница истории через repo, из пула с пингом, без пинга и с новым соединением на итерацию | новое соединение — 11,7–11,8 мс CPU реплики (SCRAM-SHA-256 asyncpg в event loop) и 2,7 мс CPU PostgreSQL против 0,6 и 0,15 мс из пула; пинг при выдаче — +0,13 мс реплики и +0,05 мс PostgreSQL на запрос | `evidence/storage/connection-cost.md` |
**Сверка с рубрикой README.** Каждому пункту — строка с командой,
@@ -659,7 +673,9 @@ session нет (`balance roundrobin` без cookie и stick-table, ответы
`scripts/restart.sh`, `scripts/stop-one.sh` (и
`scripts/rolling-update.sh`), `Dockerfile`, миграции `migrations/` с
`alembic.ini`, результаты отказов — `evidence/failover/`,
| Гипотеза | `stop` и `kill` без ошибок недоступности, `pause` исключается ≤ 6,5 с, восстановление ≤ 10 с, без потерь и дублей | 0 ошибок при плановой замене, старая реплика после дренажа запросов не получает | H1–H4 (раздел «Цена масштабирования»), записаны до прогонов |
| Лимиты | API 1 CPU / 512 МиБ × 2, PostgreSQL 2 CPU / 1 ГиБ, HAProxy 1 CPU / 256 МиБ, Valkey 0,5 CPU / 128 МиБ — как у рабочего стенда | те же | реплики 1 × 4 … 6 × 1, PostgreSQL 2 или 0,5 CPU; k6 2 CPU / 1 ГиБ, сэмплер 0,25 CPU; сумма ≤ 12 vCPU |
| Лимиты | API 1 CPU / 512 МиБ × 2, PostgreSQL 2 CPU / 1 ГиБ, HAProxy 1 CPU / 256 МиБ, Valkey 0,5 CPU / 128 МиБ — как у рабочего стенда; k6 без лимита (`.claude/rules/bench.md`) | те же | реплики 1 × 4 … 6 × 1, PostgreSQL 2 или 0,5 CPU; k6 2 CPU / 1 ГиБ, сэмплер 0,25 CPU; сумма ≤ 12 vCPU |
| Данные | чат чтения из 1 000 сообщений, отдельный чат записи | те же | чат чтения из 10 000 сообщений, 10 чатов записи |
| Нагрузка | открытая модель, постоянная интенсивность: 100 записей с ключом + 100 чтений истории в секунду | та же | открытая модель 70/20/10 (история / запись / `users/me`): 250 и 500/с, затем поиск R* по ступеням |
| Длительность, прогрев | фаза 15 с до действия (опорное окно) + 20 с до возврата + 15 с; 6 фаз, ~6 мин | 15 с до замены, замена 8,9 с, ≥ 15 с после; 24 002 запроса | прогрев 15 с (5 с подъёма между ступенями), окно 20 с |
| Повторы | один прогон на фазу | один прогон | 3 повтора каждой конфигурации, свежий стенд на ячейку, A/A для шума |
| p50 / p95 / p99 | фаза `stop` 1: 3,5 / 6,1 / 97,1 мс за прогон; p95 по секундам — до 505 мс в секунду действия | 3,3 / 5,0 / 9,7 мс за прогон | p95 / p99 на 500/с по конфигурациям — таблица R* |
| CPU / RAM | только лимиты, использование не снималось | только лимиты | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам |
| CPU / RAM | только лимиты, использование не снималось: профиль меряет доступность при отказе, цену запроса в CPU — трек 1 при тех же лимитах реплики | только лимиты, по той же причине | посекундно у каждого контейнера и ВМ (`samples.csv`), CPU на запрос по компонентам |
@@ -274,7 +274,8 @@ R* основной ячейки выросла на 32 % (≈ 5 ступене
## 11. Попытка 2 (окончательная)
Хост перезагружен; перед A/A2 и перед `make bench_ab` — условия
пользователя (`hostcheck.sh` в scratchpad, `LC_ALL=C`: в локали хоста
пользователя (`hostcheck.sh` в scratchpad, в репозиторий не сохранён:
что он проверял — столбцы таблицы ниже; `LC_ALL=C`: в локали хоста
дроби печатаются через запятую): питание от сети, процесса `zoom.us`
нет, средняя нагрузка за 5 мин < 8, Spotlight (`mds_stores`,
`mdworker`) < 15 % CPU, выгрузок в swap 0, посторонних контейнеров нет.
Reference in New Issue
Block a user
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.