12 KiB
Собственные проверки лабораторной 2
Здесь лежит то, что не входит в публичный tests/: проверки уровня 4, эксперименты
с планами запросов и инфраструктурные проверки стенда. Публичные тесты остаются
источником истины по контракту — эти ничего не подменяют и не «исправляют».
# Все проверки одной командой (стенд должен быть поднят):
make student-test BASE_URL=http://127.0.0.1:8080
# Отдельный модуль:
python3 -u -X utf8 -m unittest discover -s student-tests -t student-tests -p 'test_expiry.py' -v
# Проверки, которые останавливают контейнеры, требуют явного разрешения:
ALLOW_OUTAGE=1 python3 -u -X utf8 -m unittest discover -s student-tests -t student-tests -p 'test_dependency_outage.py' -v
# Отказы жёстче остановки (SIGKILL процесса и контейнера) — отдельным скриптом:
python3 -u -X utf8 student-tests/valkey_crash.py
python3 -u -X utf8 не украшение. Первое снимает блочную буферизацию stdout: без
него печать самих тестов собирается в конце и в отчёте unittest оказывается не на
своём месте. Второе задаёт кодировку вывода на Windows, где локаль иначе решает,
что кириллица в консоли — это cp1251.
Почему student-tests/, а не scripts/. scripts/check_contract.py читает
scripts/*.py, tests/*.py и все *.json репозитория вызовом read_text() без
явной кодировки, то есть на Windows — в cp1251. Файл с русскими docstring'ами в
scripts/ уронил бы make check на разборе синтаксиса. Поэтому свои проверки
живут в отдельном каталоге, а scripts/ остаётся ASCII.
Файлы
| Файл | Что проверяет | Тестов |
|---|---|---|
harness.py |
Обвязка: клиент публичного tests/client.py, регистрация и вход, psql и valkey-cli внутри контейнеров, ожидание готовности. Не тест. |
— |
run_all.py |
Запуск всего каталога, включая --pattern для одного модуля. Включает построчный вывод. Не тест. |
— |
test_auth.py |
Пароль обязателен и ограничен 12..128 символами; границы 11/12/128/129; пароль из одних пробелов отклоняется, а пробелы по краям не обрезаются; кириллица и 128 эмодзи (доказательство, что KDF не режет по 72 байтам); : в пароле не ломает Basic; неверный пароль и неизвестный пользователь неразличимы; Basic на бизнес-маршруте → 401 с Bearer-челленджем; X-User-Id не даёт доступа. |
16 |
test_sessions.py |
Форма ответа Session; у одного пользователя несколько независимых сессий; отзыв одной не трогает другую; logout → 204 без тела; повтор logout → 401; 16 входов подряд дают 16 разных токенов. |
10 |
test_expiry.py |
Реальный срок жизни при SESSION_TTL_SECONDS=3: токен, выданный до смены TTL, продолжает работать после пересоздания контейнера; после истечения отвергается и на бизнес-маршруте, и на logout; ключ исчезает из Valkey сам; expires_at в ответе согласован с TTL ключа. Стенд возвращается к прежнему TTL. |
4 |
test_dependency_outage.py |
Остановка Valkey и остановка PostgreSQL: бизнес-маршруты и /health/ready отвечают 503 unavailable быстрее 2 с, /health/live остаётся 200, анонимом никто не становится; после старта тот же токен снова работает, данные на месте. Только при ALLOW_OUTAGE=1. |
3 |
test_registration_race.py |
12 одновременных регистраций одного username → ровно один 201, остальные 409; в базе ровно одна строка. | 3 |
test_chat_atomicity.py |
Создание чата — одна транзакция: неизвестный участник, дубликат в списке и отсутствие создателя дают 400, и чата после этого нет. | 6 |
test_pagination.py |
Keyset-пагинация: каждая запись ровно один раз, порядок из контракта, has_more/next_cursor, лимиты 1 и 100, страница за концом истории, чужой курсор. |
9 |
test_access.py |
Чужой чат и несуществующий чат отвечают одинаково (404, никогда 403); участник видит историю, посторонний — нет. | 9 |
test_validation.py |
Некорректные запросы: всегда конверт {"error":{...}}, никогда 422 или трейсбек; лишние поля запрещены; битый JSON; пустые строки и слишком длинные значения; U+0000 в сохраняемых строках → 400, а не 503. |
16 |
test_health.py |
Что отвечают пробы здоровья, что им нужно для 200 и чего они не делают (live не зависит от зависимостей). | 6 |
verify_stack.py |
Инфраструктура работающего стенда: uid 10001 и PID 1 не от root, порты PG и Valkey не публикуются, секреты файлами и без утечки в compose config, AOF и everysec, схема, индексы и CHECK-ограничения, идемпотентность миграций, отсутствие секретов в логах, лимиты и restart. Не unittest — печатает проверки и возвращает код. |
52 проверки |
valkey_crash.py |
Падение, а не остановка: kill -9 процессу valkey-server внутри контейнера (политика restart поднимает его сама, AOF возвращает сессию) и docker compose kill снаружи (контейнер не поднимается — нужен оператор). Заодно измеряет окно потери около секунды при appendfsync everysec. Управляет контейнерами, поэтому запускается явно. |
11 проверок |
seed_messages.py |
Засев данных для экспериментов: ≥10 000 сообщений, пары с одинаковым created_at для проверки ничьей по id, чаты разной длины. |
— |
explain_queries.py |
Планы запросов: индекс на истории, отказ планировщика от него без индекса, цена OFFSET против keyset, индекс «моих чатов». Пишет PASS/FAIL по каждой проверке. |
20 проверок |
Всего 82 теста unittest: 79 идут всегда, 3 (отказ зависимостей) — только с
ALLOW_OUTAGE=1.
Покрытие критериев уровня 4
| Критерий README | Чем закрыт |
|---|---|
| Valkey реально используется для сессий с TTL | verify_stack.py (ключ = sha256 токена, TTL ключа живой), test_sessions.py, test_expiry.py, доказательства 04 и 05 |
| Persistence, выдерживающее проверяемый рестарт | test_dependency_outage.py::test_valkey_outage (AOF возвращает сессию вместе с TTL), valkey_crash.py (то же после SIGKILL), make test-persistence, доказательства 02 и 05 |
| Параметризованные запросы, ограниченный pool, таймауты | verify_stack.py (лимиты и политика), доказательство 06 (бюджет таймаутов на живом отказе) |
| Гонка регистрации одинакового username | test_registration_race.py |
| Rollback составной операции | test_chat_atomicity.py |
Индекс обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях |
seed_messages.py + explain_queries.py, доказательства 07 и 08 |
| Пагинация не сканирует всю историю | explain_queries.py (keyset против OFFSET), test_pagination.py |
| Автопроверка expiry при коротком TTL | test_expiry.py |
| Logout | test_sessions.py |
| Неверный пароль | test_auth.py |
| Недоступность Redis/БД | test_dependency_outage.py |
Грабли этого стенда
127.0.0.1 вместо localhost. На Windows localhost сначала разрешается в
::1, и каждый запрос к 127.0.0.1:8080 после этого платит за откат IPv6 → IPv4 —
около 2 с на запрос. Для проверок, которые считают время (отказ зависимостей,
истечение срока), это сопоставимо с измеряемым эффектом, поэтому здесь везде
127.0.0.1. Публичные тесты по умолчанию ходят на localhost — это их право.
ALLOW_OUTAGE=1. Модуль отказа останавливает контейнеры. Без флага он
пропускается, и unittest печатает его как skipped, а не как пройденный: пропуск,
выданный за успех, — это ложное доказательство. Каждый тест возвращает контейнеры
на место в finally, а restore() дожидается /health/ready.
Короткий TTL возвращается на место. test_expiry.py пересоздаёт сервис api с
SESSION_TTL_SECONDS=3 и в tearDownClass возвращает прежнее значение; если
тест упал между этими точками, стенд останется с TTL в 3 секунды — лечится
docker compose up -d --force-recreate api.
Make и переменные окружения. В этом окружении (MSYS/Git Bash на Windows) make
не передаёт дочерним процессам ни VAR=... make, ни export VAR — работают
только переопределения переменных Make в командной строке. Поэтому флаги тестов
передаются как PYTHON="python3 -X utf8" и BASE_URL=..., а ALLOW_OUTAGE
приходится задавать при прямом запуске python3 -m unittest, минуя make.
Секреты в выводе. Ни один модуль не печатает токены, пароли и содержимое
secrets/; verify_stack.py отдельно проверяет, что их нет в логах контейнеров.
Доказательства в evidence/ собраны из такого вывода.