Files
mtusi2026labs/evidence/final-validation/method.md
T

4.2 KiB
Raw Blame History

date: 2026-11-06 commit: b063c8780e

План финальной проверки трека

Зафиксировано до запуска новой серии. Исправленный код совпадает с ревью 8c9ec653ed. Код и конфигурация не меняются.

Актуальное решение после уточнения пользователя — аудит применимости. Полный make track1 НЕ запускался. Сохраняются все 135 исторических опытов; новая нагрузка — только текущий after: 8×1, 2400/3600/5400 RPS, три повтора. Команда: python3 scripts/scaling.py --out evidence/final-validation/current-after --configs 8x1 --api-memory 512 --rates 2400,3600,5400 --variant after.

10 с прогрева, 30 с измерения, 5 с паузы, 3 повтора; 20 пользователей, 10 чатов, 80% записи с новым ключом / 20% первой страницы истории (случайная доля). A: 1×4, 2×2, 4×1 при 4 CPU/2048 MiB API; B: 1×1, 2×1, 8×1 при 512 MiB на реплику. Pinning и лимиты снимает metadata.json каждого опыта. Расчётные границы из прежнего REPORT/scripts/scaling.py сохраняются: p95 ≤500 мс, HTTP-ошибки ≤1%, dropped iterations ≤1% предложенных. Это исследовательские границы, а не новые требования преподавателя. При адаптивном поиске остановка после двух полностью насыщенных интенсивностей; в таблицах насыщение определяется большинством повторов.

k6 имеет пустые thresholds для выделения измерительной фазы; сам exit=0 не доказывает соблюдение этих границ. Аудит сверяет summary с сырыми метриками, долю drops, число повторов, флаг disturbed и ресурсы контейнеров. Пик успешных RPS не равен пределу по указанным границам. Паузы/отбраковка не отменяются; отклонённые опыты и неуспехи сохраняются.

До нагрузочной серии завершены student-test и тесты HAProxy, их контейнеры остановлены. Фоновая нагрузка других лабораторных запрещена координатором; проверяется список работающих контейнеров и cpu_other в каждом опыте. Постоянные volumes сохраняются. Сеансы/пользователи только синтетические.

Context7 подтвердил семантику k6 constant-arrival-rate: drops означают отсутствие свободных VU, поэтому они не доказывают только серверное насыщение. Документация k6. Конкурентный SQLAlchemy AsyncSession должен принадлежать отдельной задаче: SQLAlchemy 2.0.45.

30 пар cold/warm GET через LB с FLUSHALL только своего Valkey — отдельная диагностика цены заполнения, без параллельной нагрузки; не сравнение с baseline и не измерение пропускной способности. Холодный запрос использует PostgreSQL, тёплый следует за ним через другую реплику. Время docker exec/FLUSHALL не входит в HTTP-замер. Нагрузка grade4 началась после окончания этих HTTP-замеров.