14 KiB
MODIFIED Requirements
Requirement: Фиксированный стенд
Стенд SHALL состоять из балансировщика (LB), реплик приложения,
PostgreSQL и Valkey. В профиле загрузок к ним SHALL добавляться S3 с
его bootstrap. Число реплик SHALL задаваться методикой, по умолчанию
одна. Приложение SHALL запускаться в контейнерах из образа, собранного
из текущего checkout тем же Dockerfile. Исключения — профиль
поочерёдной замены и вариант «до» профиля загрузок. Они берут образ
commit, заданного методикой: образ собирается тем же Dockerfile из
файлов этого commit без изменения рабочего дерева. Профиль замены
заканчивается на образе текущего checkout. LB SHALL
запускаться из того же образа и с той же конфигурацией, что у рабочего
стенда. PostgreSQL и Valkey SHALL запускаться из тех же образов, что у
рабочего стенда. Valkey получает ту же конфигурацию. PostgreSQL
получает те же настройки образа плюс модуль записи планов, выключенный
вне снятия плана. S3 SHALL запускаться из того же образа и с теми же
аргументами сервера, что у рабочего стенда, а bucket и пользователей
создаёт тот же bootstrap. В сериях трека 1 предел соединений PostgreSQL
(max_connections) — параметр конфигурации серии, по умолчанию 100, как
у образа. Схема БД SHALL применяться миграциями до наполнения.
Лимиты SHALL быть одинаковыми во всех прогонах профиля, а в серии трека 1 — во всех прогонах одной конфигурации:
- у каждой реплики приложения — лимит CPU и памяти без swap, заданный методикой (в профилях лабы 2 — 1 CPU и 2 ГБ, в серии трека 1 — по конфигурации);
- у LB, PostgreSQL, Valkey и S3 — свои лимиты CPU и памяти без swap, заданные методикой; в серии трека 1 они одинаковы во всех конфигурациях;
- у генератора нагрузки в профилях трека 1 — лимит CPU и памяти без swap, заданный методикой; в остальных профилях генератор без лимита.
Буфер приёма сокетов реплик приложения SHALL быть ограничен так же, как
у рабочего стенда (load-balancing, «Загрузки через балансировщик»).
Значение SHALL записываться в паспорт.
Healthcheck образа приложения SHALL быть отключён: готовность реплик
проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки
приложения и хранилищ SHALL браться из методики стенда, а не из .env
и config.toml рабочего стенда. Пароли хранилищ и секреты S3 SHALL
генерироваться на прогон. Генератор нагрузки SHALL работать в той же
docker-сети и обращаться к приложению через LB по имени сервиса, минуя
проброс портов хоста. Стенд SHALL считаться готовым, когда LB видит
готовыми все реплики.
Scenario: Лимиты в паспорте
- WHEN прогон завершён
- THEN паспорт стенда содержит число реплик и лимиты CPU и памяти реплики приложения, LB, PostgreSQL и Valkey, прочитанные у запущенных контейнеров, и они одинаковы для всех размеров
Scenario: Лимиты конфигурации серии
- WHEN серия трека 1 завершена
- THEN паспорт по каждой конфигурации содержит число реплик, лимиты CPU и памяти каждого контейнера стенда и генератора и предел соединений PostgreSQL, прочитанные у запущенных контейнеров, и они одинаковы во всех повторах конфигурации
Scenario: Нехватка памяти
- WHEN процесс приложения превысил лимит памяти и был убит
- THEN прогон помечен как проваленный из-за OOM, а не записан как обычный результат
Scenario: Настройки рабочего стенда не влияют
- WHEN
.envиconfig.tomlрабочего стенда изменены или отсутствуют - THEN стенд запускается с теми же настройками приложения и хранилищ, а окружение приложения в паспорте то же
Scenario: Схема до наполнения
- WHEN начинается наполнение размера
- THEN миграции применены до последней ревизии, и приложение отвечает готовностью
Scenario: Одна реплика за балансировщиком
- WHEN профиль лабы 2 (
full,quick,restore,restore_quick) запущен с одной репликой - THEN все запросы генератора проходят через LB, прогон завершается с кодом 0, а таблицы прогонов и сводка содержат те же столбцы и разделы, что раньше
Scenario: Образ прежнего commit
- WHEN запускается профиль поочерёдной замены
- THEN реплики стартуют на образе commit из методики, схема — на его последней ревизии, рабочее дерево не меняется, а commit и образы до и после записаны в паспорт
Scenario: S3 в профиле загрузок
- WHEN запускается профиль загрузок
- THEN S3 стенда запущен из образа рабочего стенда с его аргументами и лимитами, bootstrap завершился успешно, а образ и лимиты S3 и ограничение буфера приёма реплики записаны в паспорт
ADDED Requirements
Requirement: Профиль загрузок
Команда make bench_uploads (метка UPLOADS_LABEL, по умолчанию
baseline) SHALL на свежем стенде мерить память реплики при
одновременных загрузках вложений. Команда make bench_uploads_quick —
то же короче, метка quick-uploads-…, в git не идёт. Результаты SHALL
сохраняться в evidence/uploads/<метка>/. Занятая метка SHALL давать
отказ до запуска стенда.
Стенд — LB и одна реплика с лимитами рабочего стенда (1 CPU, 512 МБ без swap), PostgreSQL, Valkey и S3 с лимитами рабочего стенда.
Варианты кода:
- «до» — образ commit из методики, последнего до change
upload-memory; - «без лимита» — образ текущего checkout, мест загрузки больше, чем клиентов, очереди нет;
- «с лимитом» — образ текущего checkout с параметрами загрузок по умолчанию.
Тела — настоящие PNG около 1 MiB и около 10 MiB, не больше лимита контракта. Их строит оркестратор, детерминированно от зерна методики.
Прогон — вариант × размер × число одновременных клиентов (1, 10, 20 и
40) × повтор. Повторов в полном профиле три. Каждый прогон SHALL идти на
новом контейнере реплики и новом volume S3. Клиенты загружают без пауз
окно, заданное методикой. На 429 клиент ждёт Retry-After, на прочие
ошибки — секунду.
Для каждого прогона SHALL сохраняться:
- пик памяти реплики за окно — пик cgroup, сброшенный в начале окна, — и память перед окном;
- наибольшие анонимная память и память буферов сокетов реплики;
- было ли завершение реплики из-за памяти;
- ответы по кодам, ошибка соединения — отдельным кодом;
- успешных загрузок в секунду, p50, p95 и p99 успешных;
- пик памяти S3 (в том числе анонимной) и LB.
Прогон с завершением реплики из-за памяти SHALL помечаться oom и
записываться как результат варианта, а не как сбой команды. Следующий
прогон идёт на новой реплике.
Граница чёрного ящика: генератор обращается к приложению только по HTTP через LB, оркестратор управляет стендом через docker CLI. Сверх этого он читает счётчики памяти cgroup контейнеров и пересоздаёт volume S3 с bootstrap между прогонами. К bucket и объектам он не обращается.
В паспорте метки SHALL быть:
- лимиты и образы, в том числе commit варианта «до»;
- окружение приложения каждого варианта без секретов;
- размеры и SHA-256 тел;
- версия ядра ВМ;
- ограничение буфера приёма сокетов реплики;
- состояние хоста.
Scenario: Полный профиль
- WHEN выполнен
make bench_uploads - THEN в
evidence/uploads/<метка>/есть паспорт, таблица прогонов (три варианта × два размера × четыре уровня × три повтора), сводка по ячейкам с медианой и разбросом повторов и сырые итоги генератора, код выхода 0
Scenario: Быстрый профиль
- WHEN выполнен
make bench_uploads_quick - THEN за несколько минут проходят варианты «без лимита» и «с лимитом» на 10 MiB при 1, 10 и 40 клиентах, по одному повтору, код выхода 0, каталог метки в git не попадает
Scenario: Реплика убита из-за памяти
- WHEN в прогоне реплику завершило ядро из-за памяти
- THEN прогон помечен
oom, в таблице есть ответы по кодам до и после завершения, следующий прогон идёт на новой реплике, а команда не прерывается
Scenario: Пик окна без памяти старта
- WHEN реплика при старте заняла больше памяти, чем в окне прогона
- THEN пик прогона отражает только окно, а не старт процесса
Requirement: Загрузки в отчёте
REPORT.md SHALL содержать по профилю загрузок:
- гипотезы о пике памяти с лимитом и без него, о пропускной способности и о сроке записи в S3. Они записаны и зафиксированы commit до первого прогона метки;
- методику: стенд, лимиты, варианты, тела, уровни, окно, повторы;
- таблицу результатов по меткам: пик памяти, завершения из-за памяти, ответы по кодам, загрузок в секунду и p95 — по вариантам, размерам и уровням;
- выводы по каждой гипотезе и ограничения: один хост, ВМ Docker Desktop, генератор на том же хосте, одна нода S3.
Числа в отчёт SHALL переноситься из сводки метки, а не пересчитываться вручную.
Scenario: Гипотезы до прогонов
- WHEN проверяющий смотрит историю
REPORT.mdи каталога метки - THEN commit с гипотезами раньше commit с результатами метки
Scenario: Выводы по метке
- WHEN проверяющий открывает раздел загрузок в
REPORT.md - THEN у каждой гипотезы есть вывод со ссылкой на ячейки сводки метки, а числа совпадают со сводкой