Files
mtusi2026lab4/openspec/changes/attachments/specs/student-tests/spec.md
T
2026-10-20 23:44:50 +03:00

14 KiB
Raw Blame History

Spec Delta

MODIFIED Requirements

Requirement: Обязательные сценарии рубрики

Набор SHALL содержать отдельные тесты для сценариев уровня «4»: неверный JSON, чужой чат, пустое сообщение, дубликат username, обход нескольких страниц истории, а с лабы 2 — неверный пароль и logout. С лабы 4 к ним SHALL добавиться слишком большой файл, повреждённое изображение, подмена MIME, чужое attachment_id и вложение другого чата. Каждый такой тест SHALL проверять, что ошибка клиента дала статус 4xx в формате контракта, а не 500.

Scenario: Неверный JSON

  • WHEN тест отправляет тело {bad в эндпоинт, ожидающий JSON
  • THEN проверяется ответ 400 с code invalid_request

Scenario: Чужой чат

  • WHEN пользователь, не состоящий в чате, читает чат, читает историю и пишет в чат
  • THEN проверяется, что все три запроса получают 404 not_found

Scenario: Пустое сообщение

  • WHEN участник отправляет сообщение с text пустым и из пробелов
  • THEN проверяется ответ 400 invalid_request, и сообщение не появляется в истории

Scenario: Дубликат username

  • WHEN регистрируется username, который уже занят
  • THEN проверяется ответ 409 conflict

Scenario: Обход нескольких страниц

  • WHEN история содержит больше сообщений, чем помещается на одну страницу, и тест обходит её по next_cursor, в том числе меняя limit между страницами
  • THEN проверяется, что каждое сообщение встречается ровно один раз в порядке (created_at, id), а последняя страница имеет next_cursor null

Scenario: Неверный пароль в рубрике

  • WHEN зарегистрированный пользователь входит с неверным паролем
  • THEN проверяется ответ 401 с WWW-Authenticate схемы Basic, и выданного токена в ответе нет

Scenario: Logout в рубрике

  • WHEN пользователь выходит, а затем повторяет запрос прежним токеном
  • THEN проверяется ответ 204 на выход и 401 с WWW-Authenticate схемы Bearer на повтор

Scenario: Слишком большой файл в рубрике

  • WHEN участник загружает файл больше 10 MiB с Content-Length и частями без него
  • THEN проверяется ответ 413 payload_too_large в обоих случаях

Scenario: Повреждённое изображение в рубрике

  • WHEN участник загружает обрезанные PNG и JPEG и PNG с изменённым байтом данных
  • THEN проверяется ответ 415 unsupported_media_type на каждый

Scenario: Подмена MIME в рубрике

  • WHEN участник загружает JPEG с Content-Type: image/png и текст с Content-Type: image/jpeg
  • THEN проверяется ответ 415 unsupported_media_type на оба

Scenario: Чужое attachment_id в рубрике

  • WHEN участник отправляет сообщение с вложением чата, где он не состоит, и с неизвестным id вложения, а посторонний читает метаданные и байты вложения
  • THEN проверяется ответ 404 not_found на каждый запрос

Scenario: Вложение другого чата в рубрике

  • WHEN участник двух чатов отправляет в один из них сообщение с вложением другого
  • THEN проверяется ответ 404 not_found, и сообщение не появляется в истории

Requirement: Покрытие сценариев основных спеков

Для каждого сценария основных спеков api-conventions, identification, sessions, users, chats, messages, pagination, data-storage, chat-cache, health, idempotency и с лабы 4 attachments, который воспроизводится по HTTP против работающего сервера, в том числе на стенде отказов, SHALL быть тест. Из имени или описания теста SHALL быть понятно, какой capability и сценарий он проверяет. Сценарий, который проверяет тест отказа, SHALL считаться покрытым, хотя make student_test этот тест не выполняет; итог сверки SHALL называть, сколько сценариев покрыто проверками отказов. Сценарии, которые по HTTP не воспроизвести, SHALL быть перечислены с причиной и способом проверки.

Scenario: Сверка покрытия

  • WHEN проверяющий берёт любой сценарий перечисленных спеков
  • THEN находится проверяющий его тест либо запись в списке исключений с причиной

Scenario: Сценарий отказа в сверке

  • WHEN выполняется make student_test
  • THEN сверка считает сценарии проверок отказов покрытыми, не требует для них исключений и печатает их число

Requirement: Проверки отказов на отдельном стенде

Сценарии отказов SHALL проверяться автоматически одной командой make failure_checks:

  • sessions: «Истёкший токен», «Срок не продлевается», «БД остановлена при запросе с токеном»;
  • data-storage: «Сбой при добавлении участников», «БД остановлена», «БД вернулась», «Соединения исчерпаны»;
  • health: «Хранилище не готово», «Кэш недоступен», «Хранилище объектов недоступно»;
  • chat-cache: «Valkey остановлен», «Valkey завис», «Valkey вернулся», «Очистка кэша»;
  • idempotency: «Сбой при записи сообщения», «Отказ БД при отправке», «Ключ после срока»;
  • attachments: «Запись в S3 не удалась», «Отклонённая загрузка ничего не оставляет», «S3 остановлен», «S3 завис».

Команда SHALL:

  • собрать образ из рабочего дерева;
  • поднять отдельный стенд со своими PostgreSQL, Valkey и S3, применить миграции и bootstrap S3;
  • запустить два API: с настройками по умолчанию и «тесный» — с коротким сроком сессии и ключа идемпотентности и пулом из одного соединения;
  • выполнить проверки отказов;
  • удалить стенд вместе с его данными при любом исходе.

Hook стенда отказов SHALL уметь сообщить число вложений в PostgreSQL стенда по статусам и число объектов вложений в его bucket. Других сведений о хранилищах проверки вложений не получают.

Порты PostgreSQL, Valkey и S3 этого стенда MUST NOT публиковаться на хосте, API — только на 127.0.0.1. Рабочий стенд, его база, кэш, хранилище объектов и контейнеры MUST NOT затрагиваться. Код выхода SHALL быть ненулевым, если не прошла хотя бы одна проверка или уборка. Параллельный запуск двух прогонов не поддерживается: уборка хвоста в начале второго удаляет стенд первого.

Scenario: Успешный прогон

  • WHEN рабочий стенд запущен, и выполнен make failure_checks
  • THEN все проверки отказов прошли, код выхода 0, контейнеров и volumes стенда отказов после команды нет, а у контейнеров рабочего стенда прежнее время старта, и рабочий API отвечает

Scenario: Упавшая проверка

  • WHEN во время make failure_checks падает хотя бы одна проверка
  • THEN код выхода ненулевой, журналы API стенда отказов выведены, стенд отказов удалён

Scenario: Прерывание

  • WHEN make failure_checks прерван Ctrl+C
  • THEN стенд отказов остановлен и удалён вместе с volumes

Scenario: Хвост прошлого прогона

  • WHEN контейнеры или volumes стенда отказов остались от прогона, убитого без уборки
  • THEN следующий make failure_checks удаляет их и начинает заново

Requirement: Результат прогона сохраняется

Вывод прогона против контейнера (make test_isolated), вывод make student_test против стенда с балансировщиком и вывод make failure_checks SHALL сохраняться в evidence/ с командой, датой, commit, адресом стенда и итогом. REPORT.md SHALL ссылаться на них в строках уровня «4»: собственные тесты, 100 сообщений от 10 клиентов, гонка одного ключа через реплики, автоматические проверки истечения сессии и недоступности БД и Valkey, а с лабы 4 — негативные тесты вложений и проверки отказов S3.

Scenario: Доказательство в отчёте

  • WHEN проверяющий открывает строку уровня «4» в REPORT.md
  • THEN в ней есть команда, наблюдаемый результат и путь к файлу вывода в evidence/

Requirement: Доказательства исключений сверки в репозитории

Если способ проверки сценария из списка исключений сверки покрытия ссылается на файл в evidence/, этот файл SHALL лежать в репозитории текущей лабы. В нём SHALL быть результат, снятый на стенде этой лабы, команда, дата и commit. Если способ проверки — команда, которая сама снимает доказательство на стенде, исключение SHALL её называть.

Сверка покрытия SHALL падать, если файла по ссылке исключения нет, и называть сценарий и путь.

Такое доказательство MUST NOT содержать токенов, паролей и их хэшей целиком, ключей доступа и секретов S3 — только факты, счётчики и префиксы.

Scenario: Ссылка на отсутствующий файл

  • WHEN исключение ссылается на файл evidence/…, которого нет в репозитории
  • THEN make student_test завершается с ненулевым кодом, а сообщение называет сценарий и путь

Scenario: Кэш и хранение секретов на стенде лабы

  • WHEN проверяющий открывает файлы, на которые ссылаются исключения chat-cache «Чтение из кэша», «Срок записи», «Временная база», sessions «Токена нет в хранилище» и users «Хэш в БД»
  • THEN в них вывод названной в исключении команды на стенде с балансировщиком и двумя репликами, дата и commit, а токенов, паролей и полных хэшей нет

Scenario: Вложения на стенде лабы

  • WHEN проверяющий открывает файлы, на которые ссылаются исключения attachments «Принявшая реплика остановлена», «Байты не в БД и не на диске API» и «Рестарт стенда»
  • THEN в них вывод названной в исключении команды на стенде с балансировщиком, двумя репликами и S3, дата и commit, SHA-256 загруженного и скачанного файла, а токенов и секретов S3 нет