- Argon2id password hashes, KDF in a thread with its own limit - POST /auth/sessions with Basic, DELETE /auth/sessions/current - Bearer sessions in PostgreSQL, X-User-Id ignored - migration drops lab 1 data without passwords - student-tests on tokens, sessions spec and synced specs Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
12 KiB
student-tests Specification
Purpose
Собственный набор black-box тестов API мессенджера: одной командой проверяет по HTTP любой запущенный стенд. Покрывает обязательные сценарии рубрики, гонки и сценарии основных спеков, а результат прогона сохраняется как доказательство.
Requirements
Requirement: Запуск одной командой
Весь набор SHALL запускаться одной командой make student_test против
сервера по адресу BASE_URL, по умолчанию http://localhost:8080.
Команда SHALL завершаться с кодом 0, только если прошли все тесты. Если
сервер по BASE_URL не отвечает, набор MUST завершаться с ненулевым
кодом и сообщением о недоступности адреса, а не множеством ошибок
отдельных тестов.
Scenario: Все тесты прошли
- WHEN сервер запущен и
make student_testвыполняется без аргументов - THEN все тесты проходят, команда завершается с кодом 0
Scenario: Другой адрес
- WHEN выполняется
make student_test BASE_URL=http://localhost:8090 - THEN тесты обращаются к
http://localhost:8090
Scenario: Сервер не запущен
- WHEN по
BASE_URLникто не слушает - THEN команда завершается с ненулевым кодом, а вывод называет недоступный адрес
Requirement: Только по HTTP
Тесты SHALL обращаться к сервису только по HTTP и MUST NOT импортировать код приложения, запускать или останавливать сервер. Один и тот же набор SHALL проходить против сервера, запущенного на хосте, и против контейнера.
Scenario: Консоль и контейнер
- WHEN набор запускается сначала против
make run_dev, затем противmake run_docker - THEN оба прогона проходят одинаково
Requirement: Независимость прогонов
Каждый тест SHALL создавать собственных пользователей с уникальным
username и собственные чаты. Результат MUST NOT зависеть от порядка
тестов, от данных, уже лежащих на сервере, и от предыдущих прогонов.
Scenario: Два прогона подряд
- WHEN набор запускается дважды подряд против одного сервера без рестарта
- THEN оба прогона проходят
Requirement: Обязательные сценарии рубрики
Набор SHALL содержать отдельные тесты для сценариев уровня «4»:
неверный JSON, чужой чат, пустое сообщение, дубликат username, обход
нескольких страниц истории, а с лабы 2 — неверный пароль и logout.
Scenario: Неверный JSON
- WHEN тест отправляет тело
{badв эндпоинт, ожидающий JSON - THEN проверяется ответ 400 с
codeinvalid_request
Scenario: Чужой чат
- WHEN пользователь, не состоящий в чате, читает чат, читает историю и пишет в чат
- THEN проверяется, что все три запроса получают 404
not_found
Scenario: Пустое сообщение
- WHEN участник отправляет сообщение с
textпустым и из пробелов - THEN проверяется ответ 400
invalid_request, и сообщение не появляется в истории
Scenario: Дубликат username
- WHEN регистрируется
username, который уже занят - THEN проверяется ответ 409
conflict
Scenario: Обход нескольких страниц
- WHEN история содержит больше сообщений, чем помещается на одну
страницу, и тест обходит её по
next_cursor, в том числе меняяlimitмежду страницами - THEN проверяется, что каждое сообщение встречается ровно один раз
в порядке
(created_at, id), а последняя страница имеетnext_cursornull
Scenario: Неверный пароль в рубрике
- WHEN зарегистрированный пользователь входит с неверным паролем
- THEN проверяется ответ 401 с
WWW-AuthenticateсхемыBasic, и выданного токена в ответе нет
Scenario: Logout в рубрике
- WHEN пользователь выходит, а затем повторяет запрос прежним токеном
- THEN проверяется ответ 204 на выход и 401 с
WWW-AuthenticateсхемыBearerна повтор
Requirement: Тест гонок
Набор SHALL содержать тест гонок с реальной параллельностью: запросы
находятся в обработке одновременно, по отдельным соединениям. 10
клиентов SHALL одновременно отправлять по 10 сообщений в один чат, после
чего полный обход истории SHALL давать ровно 100 сообщений с
уникальными id. Отдельный тест SHALL одновременно регистрировать
одинаковый username несколькими клиентами.
Scenario: 100 сообщений от 10 клиентов
- WHEN 10 клиентов одновременно отправляют по 10 сообщений
- THEN получено 100 ответов 201, полный обход истории возвращает
100 сообщений с уникальными
id, и каждое отправленное сообщение найдено ровно один раз
Scenario: Гонка за username
- WHEN 10 клиентов одновременно регистрируют одинаковый
username - THEN ровно один ответ 201, остальные 409
conflict
Requirement: Покрытие сценариев основных спеков
Для каждого сценария основных спеков api-conventions,
identification, users, chats, messages, pagination,
data-storage и health, который воспроизводится по HTTP против
работающего сервера, SHALL быть тест. Из имени или описания теста SHALL
быть понятно, какой capability и сценарий он проверяет. Сценарии,
которые по HTTP не воспроизвести, SHALL быть перечислены с причиной и
способом проверки.
Scenario: Сверка покрытия
- WHEN проверяющий берёт любой сценарий перечисленных спеков
- THEN находится проверяющий его тест либо запись в списке исключений с причиной
Requirement: Проверка формы ответов
Тесты SHALL проверять не только статус.
- У ошибок: тело — ровно
{"error": {"code", "message", "request_id"}},codeсоответствует статусу,request_idравен заголовкуX-Request-Id. - У успешных ответов: поля совпадают со схемой контракта, лишних нет,
id— UUID в нижнем регистре,created_at— RFC 3339 UTC сZ.
Scenario: Ошибка не в формате контракта
- WHEN сервер отвечает на ошибку телом
{"detail": ...} - THEN тест падает, даже если статус верный
Requirement: Результат прогона сохраняется
Вывод прогона против контейнера SHALL сохраняться в evidence/ с
командой, датой, commit, адресом стенда и итогом. REPORT.md SHALL
ссылаться на него в строках уровня «4»: собственные тесты и 100
сообщений от 10 клиентов.
Scenario: Доказательство в отчёте
- WHEN проверяющий открывает строку уровня «4» в
REPORT.md - THEN в ней есть команда, наблюдаемый результат и путь к файлу
вывода в
evidence/
Requirement: Прогон на временной базе
make test_isolated SHALL проверять образ, собранный из рабочего
дерева, в связке compose на временной базе test_<имя рабочей базы> в
PostgreSQL стенда. Команда SHALL: собрать образ, создать базу заново,
применить к ней миграции сервисом миграций compose, запустить отдельный
контейнер API из определения сервиса compose, в котором подменено только
имя базы, опубликовать его на 127.0.0.1:TEST_APP_PORT из .env,
дождаться готовности, выполнить публичный smoke (make test) и весь
набор (make student_test) против этого контейнера, затем остановить и
удалить контейнер и удалить базу. Код выхода SHALL быть ненулевым, если
не прошёл smoke, набор или уборка. Рабочая база и рабочий контейнер API
MUST NOT затрагиваться. Параллельный запуск двух прогонов не
поддерживается.
Scenario: Успешный прогон
- WHEN в рабочей базе есть данные, рабочий стенд запущен, и
выполнен
make test_isolated - THEN smoke и набор прошли, код выхода 0, ни базы
test_<db>, ни тестового контейнера после команды нет, число строк в таблицах рабочей базы не изменилось, а рабочий API продолжает отвечать
Scenario: Упавшие тесты
- WHEN во время
make test_isolatedпадает хотя бы один тест - THEN код выхода ненулевой, журнал тестового контейнера выведен,
контейнер удалён, база
test_<db>удалена
Scenario: Прерывание
- WHEN
make test_isolatedпрерван Ctrl+C - THEN тестовый контейнер остановлен и удалён, база
test_<db>удалена
Scenario: Хвост прошлого прогона
- WHEN тестовый контейнер или база
test_<db>остались от прогона, убитого без уборки - THEN следующий
make test_isolatedудаляет их и начинает заново
Scenario: Сохранить базу для разбора
- WHEN выполнен
make test_isolated KEEP_TEST_DB=1 - THEN после прогона тестовый контейнер удалён, база
test_<db>остаётся, а команда печатает её имя