31 KiB
MODIFIED Requirements
Requirement: Фиксированный стенд
Стенд SHALL состоять из балансировщика (LB), реплик приложения,
PostgreSQL и Valkey. В профилях загрузок и сверки к ним SHALL
добавляться S3 с его bootstrap, а в профиле сверки — разовые проходы процесса
уборщика. В профиле очереди к ним SHALL добавляться S3 с его bootstrap, брокер, relay, worker и
уборщик: этот профиль меряет обработку. Остальные профили брокер, relay и worker не запускают: они
меряют реплику, а реплика к брокеру не обращается. Число реплик SHALL
задаваться методикой, по умолчанию одна. Приложение SHALL запускаться в контейнерах из образа,
собранного из текущего checkout тем же Dockerfile. Исключения — профиль
поочерёдной замены и варианты «до» профилей загрузок и сверки. Они берут
образ commit, заданного методикой: образ собирается тем же Dockerfile
из файлов этого commit без изменения рабочего дерева. Профиль замены
заканчивается на образе текущего checkout. LB SHALL
запускаться из того же образа и с той же конфигурацией, что у рабочего
стенда. PostgreSQL и Valkey SHALL запускаться из тех же образов, что у
рабочего стенда. Valkey получает ту же конфигурацию. PostgreSQL
получает те же настройки образа плюс модуль записи планов, выключенный
вне снятия плана. S3 SHALL запускаться из того же образа и с теми же
аргументами сервера, что у рабочего стенда, а bucket и пользователей
создаёт тот же bootstrap. В профиле сверки к аргументам S3 добавляется
порт метрик шлюза: он слушает только loopback контейнера S3, и по нему
оркестратор считает запросы к S3. Брокер SHALL запускаться из того же образа и с той же
конфигурацией, что у рабочего стенда; в профиле очереди к ней добавляются плагин метрик и
интервал статистики в секунду: порт метрик доступен только в сети стенда, на хост не публикуется. В сериях трека 1 предел соединений
PostgreSQL (max_connections) — параметр конфигурации серии, по
умолчанию 100, как у образа. Схема БД SHALL применяться миграциями до
наполнения.
Лимиты SHALL быть одинаковыми во всех прогонах профиля, а в серии трека 1 — во всех прогонах одной конфигурации:
- у каждой реплики приложения — лимит CPU и памяти без swap, заданный методикой (в профилях лабы 2 — 1 CPU и 2 ГБ, в серии трека 1 — по конфигурации);
- у LB, PostgreSQL, Valkey, S3, брокера, relay, worker и уборщика — свои лимиты CPU и памяти без swap, заданные методикой; в серии трека 1 они одинаковы во всех конфигурациях; у уборщика в управляемом опыте профиля сверки — другой лимит CPU, тоже заданный методикой;
- у генератора нагрузки в профилях трека 1 — лимит CPU и памяти без swap, заданный методикой; в остальных профилях генератор без лимита.
Буфер приёма сокетов реплик приложения SHALL быть ограничен так же, как
у рабочего стенда (load-balancing, «Загрузки через балансировщик»).
Значение SHALL записываться в паспорт.
Образ контейнера в паспорте SHALL называться тем значением, по которому образы контейнеров можно сравнивать: меткой манифеста compose, а у контейнера без неё — идентификатором образа.
Healthcheck образа приложения SHALL быть отключён: готовность реплик
проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки
приложения и хранилищ SHALL браться из методики стенда, а не из .env
и config.toml рабочего стенда. Пароли хранилищ, пароль брокера и секреты S3
SHALL генерироваться на прогон. Генератор нагрузки SHALL работать в той же
docker-сети и обращаться к приложению через LB по имени сервиса, минуя
проброс портов хоста. Стенд SHALL считаться готовым, когда LB видит
готовыми все реплики.
Scenario: Лимиты в паспорте
- WHEN прогон завершён
- THEN паспорт стенда содержит число реплик и лимиты CPU и памяти реплики приложения, LB, PostgreSQL и Valkey, прочитанные у запущенных контейнеров, и они одинаковы для всех размеров
Scenario: Лимиты конфигурации серии
- WHEN серия трека 1 завершена
- THEN паспорт по каждой конфигурации содержит число реплик, лимиты CPU и памяти каждого контейнера стенда и генератора и предел соединений PostgreSQL, прочитанные у запущенных контейнеров, и они одинаковы во всех повторах конфигурации
Scenario: Нехватка памяти
- WHEN процесс приложения превысил лимит памяти и был убит
- THEN прогон помечен как проваленный из-за OOM, а не записан как обычный результат
Scenario: Настройки рабочего стенда не влияют
- WHEN
.envиconfig.tomlрабочего стенда изменены или отсутствуют - THEN стенд запускается с теми же настройками приложения и хранилищ, а окружение приложения в паспорте то же
Scenario: Схема до наполнения
- WHEN начинается наполнение размера
- THEN миграции применены до последней ревизии, и приложение отвечает готовностью
Scenario: Одна реплика за балансировщиком
- WHEN профиль лабы 2 (
full,quick,restore,restore_quick) запущен с одной репликой - THEN все запросы генератора проходят через LB, прогон завершается с кодом 0, а таблицы прогонов и сводка содержат те же столбцы и разделы, что раньше
Scenario: Образ прежнего commit
- WHEN запускается профиль поочерёдной замены
- THEN реплики стартуют на образе commit из методики, схема — на его последней ревизии, рабочее дерево не меняется, а commit и образы до и после записаны в паспорт
Scenario: S3 в профиле загрузок
- WHEN запускается профиль загрузок
- THEN S3 стенда запущен из образа рабочего стенда с его аргументами и лимитами, bootstrap завершился успешно, а образ и лимиты S3 и ограничение буфера приёма реплики записаны в паспорт
Scenario: Брокер в профиле загрузок
- WHEN запускается профиль загрузок
- THEN брокер, relay и worker стенда не запущены, а загрузки отвечают 202: задания ждут в PostgreSQL
Scenario: S3 и уборщик в профиле сверки
- WHEN запускается профиль сверки
- THEN S3 стенда запущен из образа рабочего стенда с его аргументами и портом метрик только на loopback своего контейнера, bootstrap завершился успешно, а аргументы S3, образы и лимиты S3 и уборщика записаны в паспорт
Scenario: Конвейер в профиле очереди
- WHEN запускается профиль очереди
- THEN S3, брокер, relay, worker и уборщик запущены из образов рабочего стенда с его лимитами без swap, у worker — политика перезапуска рабочего стенда, порт метрик брокера не опубликован на хосте, а образы, лимиты, значения конкуренции и prefetch и окружение worker и relay записаны в паспорт
Requirement: Профиль загрузок
Команда make bench_uploads (метка UPLOADS_LABEL, по умолчанию
baseline) SHALL на свежем стенде мерить память реплики при
одновременных загрузках вложений. Команда make bench_uploads_quick —
то же короче, метка quick-uploads-…, в git не идёт. Результаты SHALL
сохраняться в evidence/uploads/<метка>/. Занятая метка SHALL давать
отказ до запуска стенда.
Стенд — LB и одна реплика с лимитами рабочего стенда (1 CPU, 512 МБ без
swap), PostgreSQL, Valkey и S3 с лимитами рабочего стенда. Брокер, relay и
worker не запускаются: задания ждут в PostgreSQL. Поэтому у всех вариантов предел
незавершённых заданий выключен (queue-overload): иначе он отклонял бы загрузки, и профиль мерил бы не память
приёма, а этот предел.
Варианты кода:
- «до» — образ commit из методики; у лабы 5 это commit переноса лабы 4, в нём места загрузки уже есть;
- «без лимита» — образ текущего checkout, мест загрузки больше, чем клиентов, очереди нет;
- «с лимитом» — образ текущего checkout с параметрами загрузок по умолчанию.
Успешная загрузка — 202, а у варианта с образом commit до перехода на 202 — 201. Код успеха варианта SHALL быть в паспорте. Столбец успешных загрузок считает код успеха варианта.
Тела — настоящие PNG около 1 MiB и около 10 MiB, не больше лимита контракта. Их строит оркестратор, детерминированно от зерна методики.
Прогон — вариант × размер × число одновременных клиентов (1, 10, 20 и
40) × повтор. Повторов в полном профиле три. Каждый прогон SHALL идти на
новом контейнере реплики и новом volume S3. Клиенты загружают без пауз
окно, заданное методикой. На 429 клиент ждёт Retry-After, на прочие
ошибки — секунду.
Для каждого прогона SHALL сохраняться:
- пик памяти реплики за окно — пик cgroup, сброшенный в начале окна, — и память перед окном;
- наибольшие анонимная память и память буферов сокетов реплики;
- было ли завершение реплики из-за памяти;
- ответы по кодам, ошибка соединения — отдельным кодом;
- успешных загрузок в секунду, p50, p95 и p99 успешных;
- пик памяти S3 (в том числе анонимной) и LB.
Прогон с завершением реплики из-за памяти SHALL помечаться oom и
записываться как результат варианта, а не как сбой команды. Следующий
прогон идёт на новой реплике.
Граница чёрного ящика: генератор обращается к приложению только по HTTP через LB, оркестратор управляет стендом через docker CLI. Сверх этого он читает счётчики памяти cgroup контейнеров и пересоздаёт volume S3 с bootstrap между прогонами. К bucket и объектам он не обращается.
В паспорте метки SHALL быть:
- лимиты и образы, в том числе commit варианта «до»;
- окружение приложения каждого варианта без секретов;
- размеры и SHA-256 тел;
- версия ядра ВМ;
- ограничение буфера приёма сокетов реплики;
- состояние хоста.
Scenario: Полный профиль
- WHEN выполнен
make bench_uploads - THEN в
evidence/uploads/<метка>/есть паспорт, таблица прогонов (три варианта × два размера × четыре уровня × три повтора), сводка по ячейкам с медианой и разбросом повторов и сырые итоги генератора, код выхода 0
Scenario: Быстрый профиль
- WHEN выполнен
make bench_uploads_quick - THEN за несколько минут проходят варианты «без лимита» и «с лимитом» на 10 MiB при 1, 10 и 40 клиентах, по одному повтору, код выхода 0, каталог метки в git не попадает, а успешные загрузки — 202
Scenario: Реплика убита из-за памяти
- WHEN в прогоне реплику завершило ядро из-за памяти
- THEN прогон помечен
oom, в таблице есть ответы по кодам до и после завершения, следующий прогон идёт на новой реплике, а команда не прерывается
Scenario: Пик окна без памяти старта
- WHEN реплика при старте заняла больше памяти, чем в окне прогона
- THEN пик прогона отражает только окно, а не старт процесса
Scenario: Предел заданий не участвует
- WHEN выполнен профиль загрузок, задания не обрабатываются, и их больше значения предела по умолчанию
- THEN ни один ответ 429 не вызван пределом незавершённых заданий: все 429 — от мест загрузки, а в паспорте вариантов предел равен 0
ADDED Requirements
Requirement: Профиль очереди
Команда make bench_queue (метка QUEUE_LABEL, по умолчанию baseline) SHALL мерить конвейер обработки вложений под перегрузкой.
Команда make bench_queue_quick — то же на части ячеек и с короткими окнами, метка quick-queue-…, в git не идёт. Результаты SHALL
сохраняться в evidence/queue/<метка>/. Занятая метка SHALL давать отказ до запуска стенда, кроме продолжения прерванной метки на том же
commit (RESUME=1), как у серий трека 1.
Стенд — требование «Фиксированный стенд»: LB, две реплики, PostgreSQL, Valkey, S3, брокер, relay, worker и уборщик с лимитами рабочего стенда (worker — 1 CPU и 1 ГБ без swap). Worker перезапускается по той же политике, что на рабочем стенде: настройка, которая не помещается в лимит памяти, может стоить завершения его процесса 1 ядром, и ячейка показывает это, а не простаивает. Каждая ячейка — свежий стенд на новых volume.
Настройки (конкуренция, prefetch): 1 и 1; 2 и 2 — значения по умолчанию; 4 и 4; 2 и 256 — большой prefetch.
Классы изображений — настоящие файлы, детерминированно от зерна методики, ни один не тривиален для декодера, размер и SHA-256 — в паспорте:
s— JPEG около 1,9 млн пикселей и 0,5 MiB;m— PNG из шума около 3,5 млн пикселей на границе байтов контракта;lj— JPEG на границе пикселей контракта, около 9 MiB;lp— PNG с альфа-каналом на границе пикселей и байтов контракта.
Ячейки матрицы — настройка × класс × повтор, повторов три, круги с перестановкой от зерна, повтор одной ячейки не идёт подряд. План — в паспорте до первой
ячейки. Большой prefetch — на s и lp, конкуренция 1 — на m и lp, остальные — на всех классах.
Нагрузка ячейки — открытая модель загрузок через LB, интенсивность задана методикой на класс и одинакова для всех настроек: окно ниже потолка worker; окно перегрузки выше потолка; спад до нуля, пока незавершённых заданий нет; снова окно ниже потолка. Ответ не повторяется: 429 считается отказом. Рядом всё время идёт контрольный поток: отправка текста, чтение истории и скачивание готовых вложений с постоянной интенсивностью.
Блоки сверх матрицы, по три повтора, класс s, настройка по умолчанию, если не сказано иное:
- предел: предел незавершённых заданий по умолчанию и выключенный, перегрузка, которая его превышает;
- приём: класс
m, интенсивность выше того, что принимают реплики и S3, окно перегрузки такой длины, что после мест загрузки срабатывает и предел незавершённых заданий; - второй worker: в конце окна перегрузки запускается ещё один worker с теми же настройками, настройки 2 и 2 и 2 и 256;
- рестарты: посреди перегрузки worker завершён сигналом KILL и снова запущен; брокер перезапущен с сохранённым volume.
Для каждой ячейки SHALL сохраняться:
- throughput — готовых вложений в секунду в окне перегрузки и в окне восстановления;
- очередь посекундно и её пики, в трёх местах: неопубликованные задания (outbox) и ждущие срока; очередь брокера — готовые и неподтверждённые сообщения, опубликованные и не
взятые задания; взятые worker —
processingи выданные, но не взятые; - возраст старейшего незавершённого задания, пик и посекундно;
- время от ответа 202 до
readyпо метаданным: p50, p95 и p99 по окнам прихода; - время восстановления: от конца окна перегрузки до нуля незавершённых заданий;
- RSS: пик процесса worker, пик процесса обработки по его отчёту (p50 и наибольший),
memory.peakи наибольшая анонимная память контейнера, завершения ядром из-за памяти, перезапуски контейнера worker; у перезапущенного контейнера — наибольшее и сумма по его жизням; - CPU и троттлинг worker, S3, PostgreSQL, реплик, relay, брокера и уборщика по окнам;
- память брокера и наличие сработавшего предела памяти;
- ответы на загрузку по кодам, недосланные итерации,
failedпо кодам и причинам, попытки сверх одной, пропущенные сообщения по причинам; - контрольный поток: число ответов, ошибки, p50, p95 и p99 по окнам.
Граница чёрного ящика: генератор обращается к приложению только по HTTP через LB, истина о готовности — метаданные GET /attachments/{id}, запрошенные у каждого принятого
вложения после разбора очереди. Сверх этого оркестратор читает: счётчики cgroup; журналы worker, relay, реплик и уборщика; состояние заданий в PostgreSQL стенда — только для измерения; метрики очереди
брокера. Приложение он не импортирует.
Достоверность:
- принятые вложения SHALL совпасть с вложениями стенда: потерянное или зависшее — пометка ячейки, у ячейки блока рестартов и матрицы — и ненулевой код команды в конце метки;
- второго набора вариантов и второго задания у вложения SHALL не быть, иначе так же;
- выборка оригиналов и вариантов SHALL скачиваться с SHA-256 из метаданных;
- k6 с недосланными итерациями, выгрузка хоста в swap и упавшее хранилище — пометки ячейки;
- конкуренция и prefetch в записи о старте worker SHALL совпасть с ячейкой, иначе отказ.
В паспорте метки SHALL быть: лимиты и образы; значения конкуренции, prefetch и окружение worker и relay по ячейкам без секретов; классы и их параметры; интенсивности и окна; контрольный поток; план; версия ядра ВМ; состояние хоста; посторонние контейнеры.
Сводка SHALL давать по каждой ячейке медиану и разброс повторов, таблицы блоков, вывод по каждой гипотезе (требование «Очередь под перегрузкой в отчёте»), рекомендуемую настройку по её правилу и графики.
Scenario: Полный профиль очереди
- WHEN выполнен
make bench_queue - THEN в
evidence/queue/<метка>/есть паспорт, таблица ячеек, посекундная шкала, сводка с выводами по гипотезам и графики, код выхода 0
Scenario: Быстрый профиль очереди
- WHEN выполнен
make bench_queue_quick - THEN за несколько минут проходят ячейки перегрузки на двух классах, большой конкуренции на классе с наибольшей памятью, предела, второго worker и рестарта worker, код выхода 0, каталог метки в git не попадает
Scenario: Вложение потеряно
- WHEN на вложение ответили 202, а после разбора очереди метаданных нет или они не
readyи неfailed - THEN ячейка помечена, число потерянных и зависших названо в сводке, а код команды в конце метки ненулевой
Scenario: Завершение ядром из-за памяти
- WHEN ядро завершает процесс обработки или процесс 1 worker по памяти контейнера
- THEN ячейка помечена
oom, контейнер worker перезапускается сам, если завершён его процесс 1, число завершений, перезапусков и повторов записано как результат настройки, а не как сбой команды, а принятые вложения дошли доreadyили названногоfailed
Scenario: Прерванная метка
- WHEN длинный прогон прерван, и он запущен снова с
RESUME=1на том же commit - THEN готовые ячейки не снимаются заново, а незавершённая снимается с новой попыткой
Requirement: Очередь под перегрузкой в отчёте
REPORT.md SHALL содержать по профилю очереди:
- гипотезы с числовыми порогами «подтверждено / нет», записанные и зафиксированные commit раньше меток замера;
- методику: стенд, лимиты, настройки, классы, интенсивности и окна, контрольный поток, повторы и как читается шум;
- определения: что считается очередью в трёх местах, throughput, время до
ready, восстановление; - таблицы результатов метки: throughput, очередь, p50, p95 и p99 времени до
ready, RSS,memory.peak, CPU и троттлинг — по настройкам и классам; блоки предела, второго worker и рестартов; - backpressure и ограничение принятой работы: где работа перестаёт приниматься и ускоряться и что видит клиент;
- восстановление: время, отсутствие потерянных, зависших и дублей эффекта, контрольный поток;
- вывод по каждой гипотезе, компромисс latency и ресурсов как вывод из данных, рекомендуемую настройку с условиями и решение о значениях по умолчанию с обоснованием;
- обоснование предела незавершённых заданий по измеренному потолку;
- ограничения: один хост, ВМ Docker Desktop, генератор на том же хосте, одна нода S3 на свежем volume, число worker, лимиты контейнеров, синтетические изображения.
Числа в отчёт SHALL переноситься из сводки метки, а не пересчитываться вручную. Метка SHALL быть снята с закоммиченного кода, commit — в шапке.
Scenario: Гипотезы очереди до прогонов
- WHEN проверяющий смотрит историю
REPORT.mdи каталога метки - THEN commit с гипотезами раньше commit с результатами метки
Scenario: Выводы по метке очереди
- WHEN проверяющий открывает раздел очереди в
REPORT.md - THEN у каждой гипотезы есть вывод со ссылкой на ячейки сводки, числа совпадают со сводкой, а рекомендуемая настройка следует из правила и таблиц