6.0 KiB
6.0 KiB
MODIFIED Requirements
Requirement: Проверки отказов на отдельном стенде
Сценарии отказов SHALL проверяться автоматически одной командой
make failure_checks:
sessions: «Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном»;data-storage: «Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»;health: «Хранилище не готово», «Кэш недоступен», «Хранилище объектов недоступно»;chat-cache: «Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша»;idempotency: «Сбой при записи сообщения», «Отказ БД при отправке», «Ключ после срока»;api-conventions: «Лимит одновременных загрузок»;attachments: «Запись в S3 не удалась», «Отклонённая загрузка ничего не оставляет», «S3 остановлен», «S3 завис», «Незавершённая загрузка не видна», «Сбой записи метаданных», «Фиксация ready не удалась», «Обрыв передачи тела», «Отказ раньше очереди», «Все места заняты», «Очередь ожидания полна», «Ожидание места», «Место освобождается», «Медленный клиент», «Медленная передача в срок»;storage-consistency: все сценарии.
Команда SHALL:
- собрать образ из рабочего дерева;
- поднять отдельный стенд со своими PostgreSQL, Valkey и S3, применить миграции и bootstrap S3;
- запустить три API:
- с настройками по умолчанию;
- «тесный» — с коротким сроком сессии и ключа идемпотентности и пулом из одного соединения;
- «узкий по загрузкам» — с одним местом загрузки, одной загрузкой в очереди, коротким сроком ожидания места и коротким сроком тела. Их значения SHALL передаваться проверкам;
- запустить уборщика с коротким grace и интервалом, сравнимыми со
временем теста, и передать их значения проверкам. Grace при этом
SHALL проходить проверку границы живой загрузки (
service- configuration, «Параметры уборщика»); - выполнить проверки отказов;
- удалить стенд вместе с его данными при любом исходе.
Hook стенда отказов SHALL уметь:
- сообщить вложения стенда в PostgreSQL с их статусами и
idпоследнего вложения в статусе «загружается»; - сообщить, у каких вложений есть объект в bucket стенда, — по самим объектам, а не по каталогам хранилища;
- внедрить отказ PostgreSQL при записи метаданных и при фиксации
readyзагрузки с заданнымfilenameи задержать такую фиксацию; - убить и снова запустить обычный API стенда.
Других сведений о хранилищах проверки вложений не получают. Объекты без метаданных проверка находит сравнением этих двух списков.
Порты PostgreSQL, Valkey и S3 этого стенда MUST NOT публиковаться на
хосте, API — только на 127.0.0.1. Рабочий стенд, его база, кэш,
хранилище объектов и контейнеры MUST NOT затрагиваться. Код выхода
SHALL быть ненулевым, если не прошла хотя бы одна проверка или уборка.
Параллельный запуск двух прогонов не поддерживается: уборка хвоста в
начале второго удаляет стенд первого.
Scenario: Успешный прогон
- WHEN рабочий стенд запущен, и выполнен
make failure_checks - THEN все проверки отказов прошли, код выхода 0, контейнеров и volumes стенда отказов после команды нет, а у контейнеров рабочего стенда прежнее время старта, и рабочий API отвечает
Scenario: Упавшая проверка
- WHEN во время
make failure_checksпадает хотя бы одна проверка - THEN код выхода ненулевой, журналы API и уборщика стенда отказов выведены, стенд отказов удалён
Scenario: Прерывание
- WHEN
make failure_checksпрерван Ctrl+C - THEN стенд отказов остановлен и удалён вместе с volumes
Scenario: Хвост прошлого прогона
- WHEN контейнеры или volumes стенда отказов остались от прогона, убитого без уборки
- THEN следующий
make failure_checksудаляет их и начинает заново