Files
mtusi2026labs/evidence/load-validation.md
T

14 KiB
Raw Blame History

Финальная проверка применимости нагрузки

Фаза VALIDATION, 2026-11-07. Исходный HEAD: 1e00d861a803a6d49ef443175b8231cbf048fc02, ветка solution/bpi2303-kostylev, дерево при старте чистое. Публикация не разрешена и не выполнялась. Агент работает один, runner/state не меняет.

Решение о повторной нагрузке

Приняты все 15 сохранённых серий; новых нагрузочных запусков — 0. Отсутствующих, неподтверждённых или затронутых текущими изменениями обязательных серий нет. Трек 1 требует off/on и минимум две настройки sampling/aggregation; представлены off/on/head/tail/balanced, по три повтора согласно принятой методике. Матрица масштабирования и поиск максимального throughput не входят в выбранный трек. Новые SLO не вводятся.

Измеренный код приложения и генератора: bc1d7aa7713858acb5d65b61d07e69a640f1ee97. Независимое ревью: 6ca1c7549978af3127966540385195ab0587f2e1. От измеренного SHA до входного HEAD менялись evidence, документы и спецификации; runtime, зависимости, Makefile, Dockerfile, Compose, конфигурации и генераторы не менялись. После ревью изменены только восемь разрешённых Markdown-файлов отчётного этапа. Этот этап также не меняет реализацию.

Команда аудита: python3 evidence/validation/audit.py. Исходник проверки и машинный результат сохраняют SHA, hashes всех принятых JSON, проверки параметров, времени, ответов, внешних samples, лимитов, counters, traces и пересчёт comparison. Пересчёт использует scripts/obs_cost_summary.py:summarize без запуска генератора/перезаписи сырья; HTTP-ответы, категории и временные окна дополнительно проверены непосредственно по raw JSON. 19 нормативных файлов contracts/tests/README/COURSE/infra README совпадают с корнем skeleton 470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1.

Принятые серии

Источник: методика, raw-файлы и команды, comparison. В каждой серии 40 s ×20 arrivals/s, 800 запросов: 768 normal, 16 ожидаемых 503, 16 slow; 20 прогревочных GET, 35 s ожидания до учёта, 35 s drain после нагрузки, до 64 клиентских потоков. Путь GET users/me и один синтетический пользователь/сессия на серию неизменны. Идентификаторы запросов между сериями не пересекаются.

Границы пригодности взяты из существующей методики, не подобраны заново: load 38..42 s, drain/report 30..45 s, max gap внешних samples <5 s. Каждая принятая серия содержит 21 sample и одинаковые 14 контейнеров внутри своего окна.

Серия Load / drain / max gap, s Решение
off-1 39.977 / 34.379 / 2.048 Принята
off-2 39.968 / 35.243 / 2.048 Принята
off-3 39.970 / 35.211 / 2.048 Принята
on-1 39.961 / 35.310 / 2.044 Принята
on-2 39.967 / 34.754 / 2.046 Принята
on-3 39.962 / 35.339 / 2.045 Принята
head-1 39.960 / 34.749 / 2.045 Принята
head-2 39.959 / 34.537 / 2.050 Принята
head-3 39.965 / 35.036 / 2.051 Принята
tail-1 39.970 / 35.310 / 2.047 Принята
tail-2 39.961 / 34.637 / 2.045 Принята
tail-3 39.968 / 35.043 / 2.047 Принята
balanced-1 39.966 / 34.836 / 2.049 Принята
balanced-2 39.966 / 35.223 / 2.045 Принята
balanced-3 39.966 / 35.354 / 2.045 Принята

Итого 12 000 запросов: 11 760 ответов 200 и 240 намеренных 503; неожиданных ответов нет. Все 15 записей и агрегаты comparison.json совпадают с пересчётом. SDK ended = Collector accepted, failed exports = 0. On сохранил 2400/2400 server traces; balanced — 48/48 error и 48/48 slow, снижение медианного Tempo ingest 92,16998%. Head сохранил 6/48 error и 3/48 slow: намеренный sampling отдельно от потерь экспорта.

Первоначальные on-3 и head-3 остаются исключёнными: drain 932,714 s и нагрузка 938,154 s / gap 900,354 s соответственно. Их четыре исходных JSON/TXT совпали с SHA-256 из invalid-series.json. Уже имеющиеся адресные повторы приняты; оба оригинала и все остальные результаты сохранены. Эти дополнительные 1600 запросов не включены в 12 000.

Конфигурация, ресурсы и dataset

Runtime: image sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d; macOS arm64, 16 CPU, Docker 28.3.2 / 16 CPU / 8 217 190 400 bytes. API ×2, по два процесса; ресурсы каждого контейнера сверены по всем samples с runtime.json. PostgreSQL фактически 768 MiB, отличие от default 1 GiB явно сохранено в REPORT. CPU/RAM измерены извне по cgroups; telemetry-off не лишает их наблюдения.

Настройки сверены с неизменными scripts/obs_cost.py и infra/otel/collector*.yaml: off отключает SDK, on 100%, head 10%; tail ERROR/≥300 ms/10%, balanced ERROR/≥300 ms/5% и метрики раз в 30 s. Decision wait 10 s, bounded queues и memory limiter сохранены. Итоговые defaults восстановлены в defaults-restored.json.

Все шесть снимков conditions и inventory каждой серии содержат только project mtusi2026lab6; host load записан. Это не доказательство полной эксклюзивности macOS. Dataset — HTTP/DB-профиль с сохранёнными volumes, без нормализации полного размера БД; порядок режимов фиксирован. Массовый рендер не включён в этот трек, отдельные PNG-проверки находятся в forward-published. CPU-окно не включает весь drain, RAM — максимум samples, три повтора не дают доказанной статистической значимости малых различий latency. Эти границы не отменяют сравнение ingest и фактический захват контрольных событий.

Остальные обязательные сценарии

Сохранённые smoke/persistence/failover/restore, pipeline (9 сценариев), API/job correlation, W3C chain/retry и worker/SQL-lock firing→resolved относятся к тому же runtime SHA. Они приняты по таблице REPORT и командам/exit code соответствующих raw-файлов; повторного стенда ради неизменного кода не требуется.

Исторические grade3/grade4/track5 не подменяют новые измерения. История telemetry и storage outage переиспользованы только по preserved-mechanisms.json: 21 путь совпал с базой 237a7c93e507b984add5b49c51c6720a6bfca505. Конфигурации хранения и volumes, bounded export и readiness не затронуты поздним переносом. Более ранние добавления sampling/accounting не меняют storage persistence; прежний максимум RAM 252,7 MiB описывает только тот опыт, а не новую гарантию для любого workload. Пять minor независимого ревью остаются в ограничениях REPORT.

Проверки текущего этапа

make check validate lint и openspec validate --all --strict --no-interactive прошли; 26 спецификаций, активных changes нет. Логи: quality, OpenSpec, list. Новые propose/apply/archive не требуются: реализация и спецификации не меняются.

Свежий полный make student-test: 993 passed, 2 skipped, 19 deselected, 2 errors, exit 2, 232,27 s. Обе ошибки — единый session fixture RustFS: таймаут health/ready до выполнения adapter assertions. Первый прогон сохранён и не объявляется успешным.

В диагностике окружения обнаружен системный HTTP/HTTPS-прокси macOS при пустом NO_PROXY и отсутствии proxy env. Штатная обвязка задаёт обход localhost. Команда адресного повтора: scripts/lab6.sh make student-test PYTEST_ARGS="student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size". Результат: 2 passed, exit 0, 0,76 s, лог. Это согласуется с причиной в proxy-окружении; код, assertions и образ не менялись. Остальные 993 успешных теста не повторялись. Совместно два запуска подтверждают 995 тестов, но единый свежий полный зелёный прогон не заявляется. Прежний полный 995/2/19 остаётся отдельным сохранённым результатом реализации.

REPORT дополнен ссылкой на этот аудит; команды чистого clone согласованы с назначенной публикацией в main, команда собственных тестов использует штатный NO_PROXY. Новых implementation findings нет; пять minor сохранены без исправлений. Независимое ревью реализации остаётся применимым.

Проверка tracked-файлов на секреты: secret-scan.json. Запрещённых путей нет; кандидаты DSN классифицированы как синтетические тестовые значения и shell-шаблон без литеральных credentials. Значения секретов не выводились, локальные .env/secrets/ не читались. Это проверка по указанным сигнатурам, не доказательство невозможности любой утечки; minor о Loki structured metadata сохраняется.

В новых TXT заменён абсолютный путь репозитория на <repo>; у stdout pytest удалён конечный пробел строки команды. Результаты, traceback и exit code сохранены. Историческое сырьё не менялось.

Context7 вызван для Collector; ответ Monthly quota exceeded. Проверки применимости основаны на закреплённых локальных конфигурациях и сырье; успешное обращение к внешней документации не заявлено.

Проверены 263 относительные ссылки и синтаксис трёх shell-блоков; git diff --check новых изменений проходит. Снимок завершения: своих работающих контейнеров нет, девять постоянных volumes сохранены. Compose-стенд не поднимался; временные зависимости pytest завершены его fixtures. Чужие контейнеры не останавливались. Изменения этапа ограничены REPORT и evidence; финальный SHA определяется коммитом git log -1 --format=%H -- evidence/load-validation.md. Публикация ожидает отдельной фазы координатора.