167 lines
10 KiB
Markdown
167 lines
10 KiB
Markdown
# Spec Delta
|
||
|
||
## MODIFIED Requirements
|
||
|
||
### Requirement: Фиксированный стенд
|
||
|
||
Стенд SHALL состоять из балансировщика (LB), реплик приложения,
|
||
PostgreSQL и Valkey. Число реплик SHALL задаваться методикой, по
|
||
умолчанию одна. Приложение SHALL запускаться в контейнерах из образа,
|
||
собранного из текущего checkout тем же `Dockerfile`. Исключение —
|
||
профиль поочерёдной замены. Он стартует на образе commit, заданного
|
||
методикой: образ собирается тем же `Dockerfile` из файлов этого commit
|
||
без изменения рабочего дерева. Заканчивается профиль на образе текущего
|
||
checkout. LB SHALL
|
||
запускаться из того же образа и с той же конфигурацией, что у рабочего
|
||
стенда. PostgreSQL и Valkey SHALL запускаться из тех же образов, что у
|
||
рабочего стенда. Valkey получает ту же конфигурацию. PostgreSQL
|
||
получает те же настройки образа плюс модуль записи планов, выключенный
|
||
вне снятия плана. Схема БД SHALL применяться миграциями до наполнения.
|
||
|
||
Лимиты SHALL быть одинаковыми во всех прогонах профиля:
|
||
- у каждой реплики приложения — лимит CPU и памяти без swap, заданный
|
||
методикой (в профилях лабы 2 — 1 CPU и 2 ГБ);
|
||
- у LB, PostgreSQL и Valkey — свои лимиты CPU и памяти без swap,
|
||
заданные методикой.
|
||
|
||
Healthcheck образа приложения SHALL быть отключён: готовность реплик
|
||
проверяет LB. Порты стенда на хост MUST NOT публиковаться. Настройки
|
||
приложения и хранилищ SHALL браться из методики стенда, а не из `.env`
|
||
и `config.toml` рабочего стенда. Пароли хранилищ SHALL генерироваться
|
||
на прогон. Генератор нагрузки SHALL работать в той же docker-сети и
|
||
обращаться к приложению через LB по имени сервиса, минуя проброс
|
||
портов хоста. Стенд SHALL считаться готовым, когда LB видит готовыми
|
||
все реплики.
|
||
|
||
#### Scenario: Лимиты в паспорте
|
||
|
||
- **WHEN** прогон завершён
|
||
- **THEN** паспорт стенда содержит число реплик и лимиты CPU и памяти
|
||
реплики приложения, LB, PostgreSQL и Valkey, прочитанные у запущенных
|
||
контейнеров, и они одинаковы для всех размеров
|
||
|
||
#### Scenario: Нехватка памяти
|
||
|
||
- **WHEN** процесс приложения превысил лимит памяти и был убит
|
||
- **THEN** прогон помечен как проваленный из-за OOM, а не записан как
|
||
обычный результат
|
||
|
||
#### Scenario: Настройки рабочего стенда не влияют
|
||
|
||
- **WHEN** `.env` и `config.toml` рабочего стенда изменены или
|
||
отсутствуют
|
||
- **THEN** стенд запускается с теми же настройками приложения и
|
||
хранилищ, а окружение приложения в паспорте то же
|
||
|
||
#### Scenario: Схема до наполнения
|
||
|
||
- **WHEN** начинается наполнение размера
|
||
- **THEN** миграции применены до последней ревизии, и приложение
|
||
отвечает готовностью
|
||
|
||
#### Scenario: Одна реплика за балансировщиком
|
||
|
||
- **WHEN** профиль лабы 2 (`full`, `quick`, `restore`,
|
||
`restore_quick`) запущен с одной репликой
|
||
- **THEN** все запросы генератора проходят через LB, прогон завершается
|
||
с кодом 0, а таблицы прогонов и сводка содержат те же столбцы и
|
||
разделы, что раньше
|
||
|
||
#### Scenario: Образ прежнего commit
|
||
|
||
- **WHEN** запускается профиль поочерёдной замены
|
||
- **THEN** реплики стартуют на образе commit из методики, схема — на
|
||
его последней ревизии, рабочее дерево не меняется, а commit и образы
|
||
до и после записаны в паспорт
|
||
|
||
## ADDED Requirements
|
||
|
||
### Requirement: Профиль поочерёдной замены
|
||
|
||
Команда `make bench_rollout` (метка `ROLLOUT_LABEL`) SHALL на свежем
|
||
стенде с лимитами рабочего стенда и `API_REPLICAS` по методике
|
||
выполнять поочерёдную замену реплик (`scripts/rolling-update.sh`,
|
||
`load-balancing`) под нагрузкой. Реплики стартуют на образе прежнего
|
||
commit и заменяются на образ текущего checkout. Команда `make
|
||
bench_rollout_quick` делает то же с короткими окнами, метка
|
||
`quick-rollout-…`, в git она не идёт. Результаты SHALL сохраняться в
|
||
`evidence/rollout/<метка>/`. Занятая метка SHALL давать отказ до
|
||
запуска стенда.
|
||
|
||
Нагрузка — постоянная интенсивность, заданная методикой: запись
|
||
сообщения с `Idempotency-Key` и чтение страницы истории. Скрипт
|
||
замены SHALL запускаться через заданное методикой время после начала
|
||
нагрузки. Нагрузка SHALL продолжаться после его завершения. Скрипт
|
||
SHALL быть тем же, что у рабочего стенда, и выполняться против проекта
|
||
compose стенда.
|
||
|
||
SHALL сохраняться посекундная шкала от начала замены (создание
|
||
контейнера миграции):
|
||
- успешные записи и чтения;
|
||
- ошибки по кодам;
|
||
- доля успешных;
|
||
- p50 и p95 задержки успешных;
|
||
- число успешных ответов старых и новых реплик;
|
||
- распределение ответов по `X-Instance-Id`.
|
||
|
||
По каждой заменённой реплике SHALL сохраняться:
|
||
- время от запуска новой реплики до её `UP` в LB;
|
||
- время дренажа старой реплики;
|
||
- время её остановки;
|
||
- время замены целиком.
|
||
|
||
Для прогона целиком SHALL сохраняться:
|
||
- длительность замены;
|
||
- ошибки по кодам до, во время и после замены;
|
||
- минимальная доля успешных в секунде;
|
||
- контейнеры, их образы и ревизия схемы до и после.
|
||
|
||
После прогона каждая неподтверждённая запись SHALL повторяться с тем
|
||
же ключом и телом до 201. Число сообщений чата записи SHALL совпадать
|
||
с числом отправленных ключей, одинаковых текстов MUST NOT быть.
|
||
|
||
Команда SHALL завершаться с ненулевым кодом в случаях:
|
||
- скрипт замены вернул ненулевой код;
|
||
- генератор упал;
|
||
- PostgreSQL или Valkey падал;
|
||
- сверка не сошлась;
|
||
- в конце работает не `API_REPLICAS` реплик;
|
||
- среди работающих реплик есть реплика прежнего образа;
|
||
- не все реплики `UP` в LB.
|
||
|
||
Ошибки клиента при замене — результат, а не отказ команды: они
|
||
считаются и показываются.
|
||
|
||
#### Scenario: Полный профиль
|
||
|
||
- **WHEN** выполнен `make bench_rollout`
|
||
- **THEN** в `evidence/rollout/<метка>/` есть посекундная шкала, таблица
|
||
шагов по каждой заменённой реплике, сводка, контейнеры и образы до и
|
||
после, код выхода 0
|
||
|
||
#### Scenario: Быстрый профиль
|
||
|
||
- **WHEN** выполнен `make bench_rollout_quick`
|
||
- **THEN** за несколько минут проходит замена всех реплик, код выхода 0,
|
||
каталог метки в git не попадает
|
||
|
||
#### Scenario: Версии в ответах
|
||
|
||
- **WHEN** замена завершена
|
||
- **THEN** шкала показывает, как доля ответов старых реплик падает до
|
||
нуля, а новых растёт до всех, а ответов прежних `X-Instance-Id` после
|
||
удаления их контейнеров нет
|
||
|
||
#### Scenario: Без потерь и дублей при замене
|
||
|
||
- **WHEN** нагрузка с записью шла всё время замены
|
||
- **THEN** после повтора неподтверждённых записей с тем же ключом в чате
|
||
записи столько сообщений, сколько отправлено ключей, без одинаковых
|
||
текстов
|
||
|
||
#### Scenario: Замена не удалась
|
||
|
||
- **WHEN** скрипт замены завершился с ненулевым кодом
|
||
- **THEN** команда завершается с ненулевым кодом, называет шаг из
|
||
журнала скрипта, сохраняет частичные результаты и удаляет стенд
|