Files
mtusi2026lab2/student-tests
kokorindenis c4ffc8dcf3
Skeleton contracts / contracts (pull_request) Canceled after 0s
fix comments
2026-10-23 22:32:15 +03:00
..
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 22:32:15 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 22:32:15 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 22:32:15 +03:00
2026-10-23 17:24:27 +03:00
2026-10-23 17:24:27 +03:00

Собственные проверки лабораторной 2

Здесь лежит то, что не входит в публичный tests/: проверки уровня 4, эксперименты с планами запросов и инфраструктурные проверки стенда. Публичные тесты остаются источником истины по контракту — эти ничего не подменяют и не «исправляют».

# Все проверки одной командой (стенд должен быть поднят):
make student-test BASE_URL=http://127.0.0.1:8080

# Отдельный модуль:
python3 -u -X utf8 -m unittest discover -s student-tests -t student-tests -p 'test_expiry.py' -v

# Проверки, которые останавливают контейнеры, требуют явного разрешения:
ALLOW_OUTAGE=1 python3 -u -X utf8 -m unittest discover -s student-tests -t student-tests -p 'test_dependency_outage.py' -v

# Отказы жёстче остановки (SIGKILL процесса и контейнера) — отдельным скриптом:
python3 -u -X utf8 student-tests/valkey_crash.py

python3 -u -X utf8 не украшение. Первое снимает блочную буферизацию stdout: без него печать самих тестов собирается в конце и в отчёте unittest оказывается не на своём месте. Второе задаёт кодировку вывода на Windows, где локаль иначе решает, что кириллица в консоли — это cp1251.

Почему student-tests/, а не scripts/. scripts/check_contract.py читает scripts/*.py, tests/*.py и все *.json репозитория вызовом read_text() без явной кодировки, то есть на Windows — в cp1251. Файл с русскими docstring'ами в scripts/ уронил бы make check на разборе синтаксиса. Поэтому свои проверки живут в отдельном каталоге, а scripts/ остаётся ASCII.

Файлы

Файл Что проверяет Тестов
harness.py Обвязка: клиент публичного tests/client.py, регистрация и вход, psql и valkey-cli внутри контейнеров, ожидание готовности. Не тест. —
run_all.py Запуск всего каталога, включая --pattern для одного модуля. Включает построчный вывод. Не тест. —
test_auth.py Пароль обязателен и ограничен 12..128 символами; границы 11/12/128/129; пароль из одних пробелов отклоняется, а пробелы по краям не обрезаются; кириллица и 128 эмодзи (доказательство, что KDF не режет по 72 байтам); : в пароле не ломает Basic; неверный пароль и неизвестный пользователь неразличимы; Basic на бизнес-маршруте → 401 с Bearer-челленджем; X-User-Id не даёт доступа. 16
test_sessions.py Форма ответа Session; у одного пользователя несколько независимых сессий; отзыв одной не трогает другую; logout → 204 без тела; повтор logout → 401; 16 входов подряд дают 16 разных токенов. 10
test_expiry.py Реальный срок жизни при SESSION_TTL_SECONDS=3: токен, выданный до смены TTL, продолжает работать после пересоздания контейнера; после истечения отвергается и на бизнес-маршруте, и на logout; ключ исчезает из Valkey сам; expires_at в ответе согласован с TTL ключа. Стенд возвращается к прежнему TTL. 4
test_dependency_outage.py Остановка Valkey и остановка PostgreSQL: бизнес-маршруты и /health/ready отвечают 503 unavailable быстрее 2 с, /health/live остаётся 200, анонимом никто не становится; после старта тот же токен снова работает, данные на месте. Только при ALLOW_OUTAGE=1. 3
test_registration_race.py 12 одновременных регистраций одного username → ровно один 201, остальные 409; в базе ровно одна строка. 3
test_chat_atomicity.py Создание чата — одна транзакция: неизвестный участник, дубликат в списке и отсутствие создателя дают 400, и чата после этого нет. 6
test_pagination.py Keyset-пагинация: каждая запись ровно один раз, порядок из контракта, has_more/next_cursor, лимиты 1 и 100, страница за концом истории, чужой курсор. 9
test_access.py Чужой чат и несуществующий чат отвечают одинаково (404, никогда 403); участник видит историю, посторонний — нет. 9
test_validation.py Некорректные запросы: всегда конверт {"error":{...}}, никогда 422 или трейсбек; лишние поля запрещены; битый JSON; пустые строки и слишком длинные значения; U+0000 в сохраняемых строках → 400, а не 503. 16
test_health.py Что отвечают пробы здоровья, что им нужно для 200 и чего они не делают (live не зависит от зависимостей). 6
verify_stack.py Инфраструктура работающего стенда: uid 10001 и PID 1 не от root, порты PG и Valkey не публикуются, секреты файлами и без утечки в compose config, AOF и everysec, схема, индексы и CHECK-ограничения, идемпотентность миграций, отсутствие секретов в логах, лимиты и restart. Не unittest — печатает проверки и возвращает код. 52 проверки
valkey_crash.py Падение, а не остановка: kill -9 процессу valkey-server внутри контейнера (политика restart поднимает его сама, AOF возвращает сессию) и docker compose kill снаружи (контейнер не поднимается — нужен оператор). Заодно измеряет окно потери около секунды при appendfsync everysec. Управляет контейнерами, поэтому запускается явно. 11 проверок
seed_messages.py Засев данных для экспериментов: ≥10 000 сообщений, пары с одинаковым created_at для проверки ничьей по id, чаты разной длины. —
explain_queries.py Планы запросов: индекс на истории, отказ планировщика от него без индекса, цена OFFSET против keyset, индекс «моих чатов». Пишет PASS/FAIL по каждой проверке. 20 проверок

Всего 82 теста unittest: 79 идут всегда, 3 (отказ зависимостей) — только с ALLOW_OUTAGE=1.

Покрытие критериев уровня 4

Критерий README Чем закрыт
Valkey реально используется для сессий с TTL verify_stack.py (ключ = sha256 токена, TTL ключа живой), test_sessions.py, test_expiry.py, доказательства 04 и 05
Persistence, выдерживающее проверяемый рестарт test_dependency_outage.py::test_valkey_outage (AOF возвращает сессию вместе с TTL), valkey_crash.py (то же после SIGKILL), make test-persistence, доказательства 02 и 05
Параметризованные запросы, ограниченный pool, таймауты verify_stack.py (лимиты и политика), доказательство 06 (бюджет таймаутов на живом отказе)
Гонка регистрации одинакового username test_registration_race.py
Rollback составной операции test_chat_atomicity.py
Индекс обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщениях seed_messages.py + explain_queries.py, доказательства 07 и 08
Пагинация не сканирует всю историю explain_queries.py (keyset против OFFSET), test_pagination.py
Автопроверка expiry при коротком TTL test_expiry.py
Logout test_sessions.py
Неверный пароль test_auth.py
Недоступность Redis/БД test_dependency_outage.py

Грабли этого стенда

127.0.0.1 вместо localhost. На Windows localhost сначала разрешается в ::1, и каждый запрос к 127.0.0.1:8080 после этого платит за откат IPv6 → IPv4 — около 2 с на запрос. Для проверок, которые считают время (отказ зависимостей, истечение срока), это сопоставимо с измеряемым эффектом, поэтому здесь везде 127.0.0.1. Публичные тесты по умолчанию ходят на localhost — это их право.

ALLOW_OUTAGE=1. Модуль отказа останавливает контейнеры. Без флага он пропускается, и unittest печатает его как skipped, а не как пройденный: пропуск, выданный за успех, — это ложное доказательство. Каждый тест возвращает контейнеры на место в finally, а restore() дожидается /health/ready.

Короткий TTL возвращается на место. test_expiry.py пересоздаёт сервис api с SESSION_TTL_SECONDS=3 и в tearDownClass возвращает прежнее значение; если тест упал между этими точками, стенд останется с TTL в 3 секунды — лечится docker compose up -d --force-recreate api.

Make и переменные окружения. В этом окружении (MSYS/Git Bash на Windows) make не передаёт дочерним процессам ни VAR=... make, ни export VAR — работают только переопределения переменных Make в командной строке. Поэтому флаги тестов передаются как PYTHON="python3 -X utf8" и BASE_URL=..., а ALLOW_OUTAGE приходится задавать при прямом запуске python3 -m unittest, минуя make.

Секреты в выводе. Ни один модуль не печатает токены, пароли и содержимое secrets/; verify_stack.py отдельно проверяет, что их нет в логах контейнеров. Доказательства в evidence/ собраны из такого вывода.