14 KiB
Spec Delta
MODIFIED Requirements
Requirement: Обязательные сценарии рубрики
Набор SHALL содержать отдельные тесты для сценариев уровня «4»:
неверный JSON, чужой чат, пустое сообщение, дубликат username, обход
нескольких страниц истории, а с лабы 2 — неверный пароль и logout. С
лабы 4 к ним SHALL добавиться слишком большой файл, повреждённое
изображение, подмена MIME, чужое attachment_id и вложение другого
чата. Каждый такой тест SHALL проверять, что ошибка клиента дала
статус 4xx в формате контракта, а не 500.
Scenario: Неверный JSON
- WHEN тест отправляет тело
{badв эндпоинт, ожидающий JSON - THEN проверяется ответ 400 с
codeinvalid_request
Scenario: Чужой чат
- WHEN пользователь, не состоящий в чате, читает чат, читает историю и пишет в чат
- THEN проверяется, что все три запроса получают 404
not_found
Scenario: Пустое сообщение
- WHEN участник отправляет сообщение с
textпустым и из пробелов - THEN проверяется ответ 400
invalid_request, и сообщение не появляется в истории
Scenario: Дубликат username
- WHEN регистрируется
username, который уже занят - THEN проверяется ответ 409
conflict
Scenario: Обход нескольких страниц
- WHEN история содержит больше сообщений, чем помещается на одну
страницу, и тест обходит её по
next_cursor, в том числе меняяlimitмежду страницами - THEN проверяется, что каждое сообщение встречается ровно один раз
в порядке
(created_at, id), а последняя страница имеетnext_cursornull
Scenario: Неверный пароль в рубрике
- WHEN зарегистрированный пользователь входит с неверным паролем
- THEN проверяется ответ 401 с
WWW-AuthenticateсхемыBasic, и выданного токена в ответе нет
Scenario: Logout в рубрике
- WHEN пользователь выходит, а затем повторяет запрос прежним токеном
- THEN проверяется ответ 204 на выход и 401 с
WWW-AuthenticateсхемыBearerна повтор
Scenario: Слишком большой файл в рубрике
- WHEN участник загружает файл больше 10 MiB с
Content-Lengthи частями без него - THEN проверяется ответ 413
payload_too_largeв обоих случаях
Scenario: Повреждённое изображение в рубрике
- WHEN участник загружает обрезанные PNG и JPEG и PNG с изменённым байтом данных
- THEN проверяется ответ 415
unsupported_media_typeна каждый
Scenario: Подмена MIME в рубрике
- WHEN участник загружает JPEG с
Content-Type: image/pngи текст сContent-Type: image/jpeg - THEN проверяется ответ 415
unsupported_media_typeна оба
Scenario: Чужое attachment_id в рубрике
- WHEN участник отправляет сообщение с вложением чата, где он не состоит, и с неизвестным id вложения, а посторонний читает метаданные и байты вложения
- THEN проверяется ответ 404
not_foundна каждый запрос
Scenario: Вложение другого чата в рубрике
- WHEN участник двух чатов отправляет в один из них сообщение с вложением другого
- THEN проверяется ответ 404
not_found, и сообщение не появляется в истории
Requirement: Покрытие сценариев основных спеков
Для каждого сценария основных спеков api-conventions,
identification, sessions, users, chats, messages,
pagination, data-storage, chat-cache, health, idempotency и с
лабы 4 attachments, который воспроизводится по HTTP против
работающего сервера, в том числе на стенде отказов, SHALL быть тест. Из
имени или описания теста SHALL быть понятно, какой capability и
сценарий он проверяет. Сценарий, который проверяет тест отказа, SHALL
считаться покрытым, хотя make student_test этот тест не выполняет;
итог сверки SHALL называть, сколько сценариев покрыто проверками
отказов. Сценарии, которые по HTTP не воспроизвести, SHALL быть
перечислены с причиной и способом проверки.
Scenario: Сверка покрытия
- WHEN проверяющий берёт любой сценарий перечисленных спеков
- THEN находится проверяющий его тест либо запись в списке исключений с причиной
Scenario: Сценарий отказа в сверке
- WHEN выполняется
make student_test - THEN сверка считает сценарии проверок отказов покрытыми, не требует для них исключений и печатает их число
Requirement: Проверки отказов на отдельном стенде
Сценарии отказов SHALL проверяться автоматически одной командой
make failure_checks:
sessions: «Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном»;data-storage: «Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»;health: «Хранилище не готово», «Кэш недоступен», «Хранилище объектов недоступно»;chat-cache: «Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша»;idempotency: «Сбой при записи сообщения», «Отказ БД при отправке», «Ключ после срока»;attachments: «Запись в S3 не удалась», «Отклонённая загрузка ничего не оставляет», «S3 остановлен», «S3 завис».
Команда SHALL:
- собрать образ из рабочего дерева;
- поднять отдельный стенд со своими PostgreSQL, Valkey и S3, применить миграции и bootstrap S3;
- запустить два API: с настройками по умолчанию и «тесный» — с коротким сроком сессии и ключа идемпотентности и пулом из одного соединения;
- выполнить проверки отказов;
- удалить стенд вместе с его данными при любом исходе.
Hook стенда отказов SHALL уметь сообщить число вложений в PostgreSQL стенда по статусам и число объектов вложений в его bucket. Других сведений о хранилищах проверки вложений не получают.
Порты PostgreSQL, Valkey и S3 этого стенда MUST NOT публиковаться на
хосте, API — только на 127.0.0.1. Рабочий стенд, его база, кэш,
хранилище объектов и контейнеры MUST NOT затрагиваться. Код выхода
SHALL быть ненулевым, если не прошла хотя бы одна проверка или уборка.
Параллельный запуск двух прогонов не поддерживается: уборка хвоста в
начале второго удаляет стенд первого.
Scenario: Успешный прогон
- WHEN рабочий стенд запущен, и выполнен
make failure_checks - THEN все проверки отказов прошли, код выхода 0, контейнеров и volumes стенда отказов после команды нет, а у контейнеров рабочего стенда прежнее время старта, и рабочий API отвечает
Scenario: Упавшая проверка
- WHEN во время
make failure_checksпадает хотя бы одна проверка - THEN код выхода ненулевой, журналы API стенда отказов выведены, стенд отказов удалён
Scenario: Прерывание
- WHEN
make failure_checksпрерван Ctrl+C - THEN стенд отказов остановлен и удалён вместе с volumes
Scenario: Хвост прошлого прогона
- WHEN контейнеры или volumes стенда отказов остались от прогона, убитого без уборки
- THEN следующий
make failure_checksудаляет их и начинает заново
Requirement: Результат прогона сохраняется
Вывод прогона против контейнера (make test_isolated), вывод make student_test против стенда с балансировщиком и вывод make failure_checks SHALL сохраняться в evidence/ с командой, датой,
commit, адресом стенда и итогом. REPORT.md SHALL ссылаться на них в
строках уровня «4»: собственные тесты, 100 сообщений от 10 клиентов,
гонка одного ключа через реплики, автоматические проверки истечения
сессии и недоступности БД и Valkey, а с лабы 4 — негативные тесты
вложений и проверки отказов S3.
Scenario: Доказательство в отчёте
- WHEN проверяющий открывает строку уровня «4» в
REPORT.md - THEN в ней есть команда, наблюдаемый результат и путь к файлу
вывода в
evidence/
Requirement: Доказательства исключений сверки в репозитории
Если способ проверки сценария из списка исключений сверки покрытия
ссылается на файл в evidence/, этот файл SHALL лежать в репозитории
текущей лабы. В нём SHALL быть результат, снятый на стенде этой лабы,
команда, дата и commit. Если способ проверки — команда, которая сама
снимает доказательство на стенде, исключение SHALL её называть.
Сверка покрытия SHALL падать, если файла по ссылке исключения нет, и называть сценарий и путь.
Такое доказательство MUST NOT содержать токенов, паролей и их хэшей целиком, ключей доступа и секретов S3 — только факты, счётчики и префиксы.
Scenario: Ссылка на отсутствующий файл
- WHEN исключение ссылается на файл
evidence/…, которого нет в репозитории - THEN
make student_testзавершается с ненулевым кодом, а сообщение называет сценарий и путь
Scenario: Кэш и хранение секретов на стенде лабы
- WHEN проверяющий открывает файлы, на которые ссылаются исключения
chat-cache«Чтение из кэша», «Срок записи», «Временная база»,sessions«Токена нет в хранилище» иusers«Хэш в БД» - THEN в них вывод названной в исключении команды на стенде с балансировщиком и двумя репликами, дата и commit, а токенов, паролей и полных хэшей нет
Scenario: Вложения на стенде лабы
- WHEN проверяющий открывает файлы, на которые ссылаются исключения
attachments«Принявшая реплика остановлена», «Байты не в БД и не на диске API» и «Рестарт стенда» - THEN в них вывод названной в исключении команды на стенде с балансировщиком, двумя репликами и S3, дата и commit, SHA-256 загруженного и скачанного файла, а токенов и секретов S3 нет