Files
mtusi2026lab3/evidence/load-validation.md

11 KiB
Raw Permalink Blame History

date: 2026-11-06 commit: b063c8780e

Аудит применимости нагрузки

Проверяемый checkout — b063c8780eabf63cdb9da3802f82440750308d6b; его реализация совпадает с финальным review 8c9ec653ed9d0722bccecd4690def220a803c969. После review менялись только документы. Публикация в этой фазе запрещена. Полный трек повторно не запускается.

Что принято без повторного запуска

Первичный источник — SQLAlchemy-трек. Независимый пересчёт: журнал, машинный аудит, скрипт.

Серия Измеренный код Принято Причина
A: 1×4 / 2×2 / 4×1, 4 CPU / 2 GiB API baseline 5c8f605 54 опыта, 18 точек ×3 Законченная матрица baseline; все метрики, ресурсы и повторы согласованы. Исправления after не меняют предмет этого опыта
B: 1×1 / 2×1 / 8×1, рост ресурсов baseline 5c8f605 36 опытов, 12 точек ×3 Та же версия baseline и тот же нагрузочный профиль; 4×1 берётся из A
pool/maxconn baseline 5c8f605 15 опытов, 5 вариантов ×3 Проверяет причину ограничения baseline; SQL/конфигурация этого варианта сохранены
4×1 против 8×0.5 на тех же CPU baseline 5c8f605 12 опытов, 4 точки ×3 Принята только исправленная чередующаяся серия; первоначальные ordered-control-cpus исключены авторами и повторно не включаются
Сравнение before/after на 8×1 5c8f605 / 57744c5 18 опытов, 6 точек ×3 Контролируемое подтверждение кэша компиляции для указанных версий. Это исторический парный результат; его RPS не переименовываются в измерения текущего HEAD

Итого принимаются 135 опытов, 45 троек, 15 строк capacity.csv и 12 PNG. Сверены сырые k6 метрики, requests/30, p50/p95/p99, errors/drops, насыщение, наличие рядов CPU/PG/LB, фактические CPU/RAM/cpuset и отсутствие API-портов. PNG проверены по CRC, таблица пределов пересчитана. Ни один принятый опыт не отмечен disturbed. Сохраняются ограничения коротких окон, роста БД 33,2–4597,3 MiB, случайного профиля 80/20 и ограничения maxVUs. Доказательств, что эти серии искажены фоном, аудит не обнаружил: сохранённые cpu_other, gap и wall-time удовлетворяют прежним правилам отбраковки.

Diff и границы переноса результата

git diff 57744c5 HEAD -- src затрагивает ровно шесть файлов identity/messaging: маркер заполнения и отзыв кэша, SELECT сессии FOR KEY SHARE, NUL и ASCII. Тёплое попадание сессии по-прежнему выполняет один GET и возвращается до новых операций; холодный путь и logout изменены. Проверка NUL выполняется для каждого MessageText, поэтому warmed HTTP-производительность текущей версии требует точечной проверки. CTE записи/чтения истории, кэш компиляции, индексы/миграции, зависимости, Dockerfile, ресурсы compose и профиль k6 не изменились.

Diff 3fb741e..HEAD инфраструктуры меняет только JSON-экранирование ошибок HAProxy и имя/заголовок журнала неуспешного compose up в scaling.py; балансировка, таймауты, pinning и алгоритм измерения неизменны. Нормативные файлы совпадают со skeleton.

Только затронутые и недостающие проверки

Сценарий Причина Действие
PostgreSQL/Valkey: отзыв, потеря маркера, rollback/COMMIT, TTL Исправление major меняет транзакционное взаимодействие Уже выполнен полный student-test: 372 passed; повтор не нужен
NUL и не-ASCII Basic через настоящий LB До этапа были только offline/ASGI-сценарии Уже выполнены сетевые регрессии через обе реплики; PASS
502/503/504 с кавычкой, slash, tab, 200 символами Изменены шаблоны HAProxy Уже выполнено 12 сетевых сценариев с оригинальным cfg; PASS
Smoke, persistence, failover, retry, faults, limits До изменения инструкции выполнены на текущем коде после исправлений Законченные результаты сохранены; повтор не запускается
Detection и две остановки под 100 RPS, rolling Начаты до уточнения инструкции, затрагивают общие сессии и LB Закончены успешно; по 6001 / 6001 / 9001 запросу без ошибок/drops, история совпала; повтор не нужен
Logout после полной замены и повтор миграций Не покрыты завершающей проверкой этой сессии Один короткий сетевой прогон и счётчики до/после Alembic
Холодный/тёплый кэш Новые Lua и блокировка сессии Уже выполнены 30 пар GET: отдельная диагностика, не throughput и не сравнение с baseline
Текущий after на 8×1, 2400/3600/5400 RPS Изменён путь валидации POST; ранее измерен только 57744c5 Только 9 опытов (3 интенсивности ×3), с прежними ресурсами/прогревом/длительностью, без нового baseline

Команда последней строки:

python3 scripts/scaling.py --out evidence/final-validation/current-after --configs 8x1 --api-memory 512 --rates 2400,3600,5400 --variant after

Пороги не меняются: p95 ≤500 мс, HTTP errors ≤1%, dropped iterations ≤1% предложенных, как в исходных REPORT/scaling.py. Это исследовательские границы, а не новый SLO преподавателя. Сами thresholds k6 пусты: exit=0 не заменяет расчёт порогов. Baseline, A/B и контроли повторять запрещено и не требуется.

Сравнение нового after со старым before будет только описательным: изменились дата и размер БД, поэтому новый процент ускорения из такого сравнения не выводится. Причинное подтверждение оптимизации остаётся в первоначальном парном опыте. Измерения текущего after дополняют его как проверка применимости после исправлений.

Сохранение прерванной сессии

До уточнения задания создан чистый локальный clone, завершены проверки уровней 3/4, но полный make track1 не запускался. Выполнен только make track1-images — сборка, без нагрузки. На продолжении собственные контейнеры найдены остановленными, оба volumes сохранены; завершённые результаты читаются с диска и не переснимаются. Первый аудит остановился на отсутствии полей warmup/duration в старом формате metadata.json. Исправлен только аудитор: значения получены из сохранённой команды и default аргументов scaling.py на SHA опыта; сырьё не менялось.

Итог точечной проверки

9 новых опытов, аудит: 889651 запрос, 0 HTTP-ошибок, все три повтора на 2400 и 3600 RPS проходят исходные границы; все три на 5400 насыщены по drops (37958–49712 за 30 с). Медианы успешных RPS: 2400,10 / 3585,67 / 3826,87; p95: 5,19 / 82,38 / 325,37 мс. БД 18,7–414,3 MiB. Граница по сетке 3600 RPS, не пик 3826,87. Rejected/disturbed нет. Два новых графика построены штатным plot_track1.py и просмотрены; 12 старых графиков не менялись.

Logout после полной замены, четыре последующих 401 и неизменность данных/версии после Alembic подтверждены в post-rolling.txt. Все обязательства трёх исправлений закрыты в пределах явно описанных методик. Текущему образу сопоставлены SHA-256 74 модулей checkout. Повтор baseline, A/B, контролей или завершённых проверок для документационного коммита не нужен. Код и нормативные файлы не менялись; major не выявлены. Сохраняются два известных minor: суррогат JSON и исторический контекст OpenSpec. Собственные контейнеры остановлены, постоянные volumes сохранены.