15 KiB
MODIFIED Requirements
Requirement: Покрытие сценариев основных спеков
Для каждого сценария основных спеков api-conventions,
identification, sessions, users, chats, messages,
pagination, data-storage, chat-cache, health, idempotency, с
лабы 4 attachments и storage-consistency и с лабы 5
attachment-processing, message-broker, job-outbox и queue-overload, который воспроизводится
по HTTP против работающего сервера, в том числе на стенде отказов,
SHALL быть тест. Из имени или описания теста SHALL быть понятно, какой
capability и сценарий он проверяет. Сценарий, который проверяет тест
отказа, SHALL считаться покрытым, хотя make student_test этот тест
не выполняет; итог сверки SHALL называть, сколько сценариев покрыто
проверками отказов. Сценарии, которые по HTTP не воспроизвести, SHALL
быть перечислены с причиной и способом проверки.
Scenario: Сверка покрытия
- WHEN проверяющий берёт любой сценарий перечисленных спеков
- THEN находится проверяющий его тест либо запись в списке исключений с причиной
Scenario: Сценарий отказа в сверке
- WHEN выполняется
make student_test - THEN сверка считает сценарии проверок отказов покрытыми, не требует для них исключений и печатает их число
Requirement: Проверки отказов на отдельном стенде
Сценарии отказов SHALL проверяться автоматически одной командой
make failure_checks:
sessions: «Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном»;data-storage: «Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»;health: «Хранилище не готово», «Кэш недоступен», «Хранилище объектов недоступно», «Брокер и worker недоступны»;chat-cache: «Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша»;idempotency: «Сбой при записи сообщения», «Отказ БД при отправке», «Ключ после срока», «Повтор после failed вложения»;api-conventions: «Лимит одновременных загрузок»;messages: «Вложение в обработке», «Вложение стало failed после отправки»;attachments: «Запись в S3 не удалась», «Отклонённая загрузка ничего не оставляет», «S3 остановлен», «S3 завис», «Незавершённая загрузка не видна», «Сбой записи метаданных», «Фиксация задания не удалась», «Фиксация ready не удалась», «Исход фиксации неизвестен», «Брокер не подтвердил задание», «Обрыв передачи тела», «Отказ раньше очереди», «Все места заняты», «Очередь ожидания полна», «Ожидание места», «Место освобождается», «Медленный клиент», «Медленная передача в срок», «Потерянный оригинал», «Загрузка после простоя S3», «Скачивание до готовности», «Отсутствующий вариант»;attachment-processing: все сценарии, которым нужны остановка worker, relay, брокера или S3, сбой внутри обработки, запуск worker с другими параметрами или команда replay;message-broker: все сценарии, которые не названы исключениями сверки покрытия;job-outbox: все сценарии;storage-consistency: все сценарии;queue-overload: все сценарии требования «Предел незавершённых заданий».
Команда SHALL:
-
собрать образ из рабочего дерева;
-
поднять отдельный стенд со своими PostgreSQL, Valkey, S3 и брокером, применить миграции и bootstrap S3;
-
запустить пять API. У первых четырёх предел незавершённых заданий выключен: проверки копят задания при остановленном worker и под нагрузкой, и предел отклонял бы загрузки чужих проверок:
- с настройками по умолчанию;
- «тесный» — с коротким сроком сессии и ключа идемпотентности и пулом из одного соединения;
- «узкий по загрузкам» — с одним местом загрузки, одной загрузкой в очереди, коротким сроком ожидания места и коротким сроком тела;
- «с коротким сроком S3» — со сроком вызова S3 в одну секунду: простой дольше срока вызова в проверке длится полторы секунды, а не шесть;
- «узкий по заданиям» — с малым пределом незавершённых заданий.
Значения «узких» API и API с коротким сроком S3 SHALL передаваться проверкам, и проверки SHALL сверять с ними стенд;
-
запустить уборщика с коротким grace, интервалом и сроком хранения staging, сравнимыми со временем теста, без плановой сверки, и передать их значения проверкам. Grace при этом SHALL проходить проверку границы живой загрузки (
service-configuration, «Параметры уборщика»). Сверку проверки запускают сами, и плановая сверка не меняет стенд у них за спиной; -
запустить relay с короткими паузой и порогом потерянного сообщения и передать их значения проверкам;
-
запустить worker с короткими сроками и малым числом попыток, сравнимыми со временем теста, и передать их значения проверкам;
-
выполнить проверки отказов;
-
удалить стенд вместе с его данными при любом исходе.
Hook стенда отказов SHALL уметь:
- сообщить вложения стенда в PostgreSQL с их статусами,
idпоследнего вложения в статусе «загружается» иidвложений с потерянным оригиналом; - сообщить задание вложения: идентификатор, состояние, число начатых попыток, число попыток до последнего replay, причину последней ошибки, время следующей попытки, срок аренды и время подтверждения брокером, а также записи аудита replay;
- сообщить число незавершённых заданий стенда;
- сообщить, у каких вложений есть объект в конечном префиксе и в staging bucket стенда, и сколько у вложения объектов вариантов, — по самим объектам, а не по каталогам хранилища, и SHA-256 объекта по ключу;
- внедрить отказ PostgreSQL:
- при записи метаданных загрузки с заданным
filename; - при фиксации её
queued, и задержать такую фиксацию; - при фиксации
readyс заданнымfilename, и задержать такую фиксацию: оператор перевода и сам COMMIT; - при пометке потерянного оригинала такого вложения;
- задержать запись времени подтверждения брокером у задания вложения с заданным
filename;
- при записи метаданных загрузки с заданным
- дождаться, пока COMMIT задержан в PostgreSQL;
- убить и снова запустить обычный API стенда;
- остановить, убить, заморозить и запустить брокер, relay и worker стенда, заморозить процесс 1
контейнера worker сигналом и убить контейнер, запустить отдельный worker или relay с заданными
значениями
WORKER__*иRELAY__*и убрать его; - сообщить состояние очереди: сообщений, готовых, неподтверждённых, потребителей, устойчива ли она;
- прочитать сообщение из очереди без подтверждения, добавить в очередь сообщение и удалить очередь; включить и снять предел памяти брокера;
- убить процесс обработки в контейнере worker и сообщить имена переменных его окружения;
- внести расхождения хранилищ:
- записать объект в bucket стенда мимо API и удалить объект мимо API — только под префиксами вложений и staging базы стенда;
- удалить метаданные вложения, изменить в них размер, SHA-256, ключ staging и время следующей попытки, сдвинуть их время в прошлое и вернуть вложение в статус «загружается» без задания;
- удалить метаданные варианта;
- выполнить разовую сверку — без изменений или с
--apply, с заданным пределом изменений, стратегией обхода, глубиной, пределом скорости и сроком хранения staging — и вернуть её записи и код выхода; - выполнить команду replay с заданным выбором и вернуть её записи и код выхода;
- остановить и запустить уборщика стенда, а также запустить отдельного уборщика с коротким интервалом плановой сверки на заданное время и вернуть его журнал.
Других сведений о хранилищах проверки вложений не получают. Объекты без метаданных проверка находит сравнением двух списков: вложений и объектов. Ключи доступа S3 и пароль брокера hook не получает и не печатает: объект мимо API и сообщение в очередь записывает процесс в контейнере стенда своими ключами.
Порты PostgreSQL, Valkey, S3 и брокера этого стенда MUST NOT публиковаться на
хосте, API — только на 127.0.0.1. Рабочий стенд, его база, кэш,
хранилище объектов, брокер и контейнеры MUST NOT затрагиваться. Код выхода
SHALL быть ненулевым, если не прошла хотя бы одна проверка или уборка.
Параллельный запуск двух прогонов не поддерживается: уборка хвоста в
начале второго удаляет стенд первого.
Точек внедрения сбоя в коде приложения MUST NOT быть: сбои внедряются снаружи, средствами стенда.
Scenario: Успешный прогон
- WHEN рабочий стенд запущен, и выполнен
make failure_checks - THEN все проверки отказов прошли, код выхода 0, контейнеров и volumes стенда отказов после команды нет, а у контейнеров рабочего стенда прежнее время старта, и рабочий API отвечает
Scenario: Упавшая проверка
- WHEN во время
make failure_checksпадает хотя бы одна проверка - THEN код выхода ненулевой, журналы API, уборщика, relay и worker стенда отказов выведены, стенд отказов удалён
Scenario: Прерывание
- WHEN
make failure_checksпрерван Ctrl+C - THEN стенд отказов остановлен и удалён вместе с volumes
Scenario: Хвост прошлого прогона
- WHEN контейнеры или volumes стенда отказов остались от прогона, убитого без уборки
- THEN следующий
make failure_checksудаляет их и начинает заново