Проверки lab2 и заготовки исследований на 5
Для завершённого трека 2 используется отдельный воспроизводимый запуск:
.venv/bin/python student-tests/lab2/research.py --output evidence/grade5-sql-NEW
Из корня репозитория он сам собирает sqlprobe, создаёт два изолированных
PostgreSQL/volumes с синтетическими credentials, выполняет сравнение AB/BA на
100k сообщений, backup/restore и restart новой цели, затем удаляет свои ресурсы.
Образ postgres:18 должен присутствовать локально. Требуются Docker, Go из
go.mod и Python-окружение scripts/setup-tests.sh. Output должен быть новым.
CSV и агрегаты таблиц из сохранённого indexes.json пересчитываются без нового
измерения: python3 student-tests/lab2/summarize_research.py <output-directory>.
Точный метод и проверенные результаты —
исследовательский отчёт.
Общая регрессия API по-прежнему запускается через student-tests/stack.py verify.
Режим sqlprobe compare и приведённые ниже отдельные hooks остаются прототипами
и точками расширения, а не подменой полного исследовательского запуска.
Ниже — тесты и тестовые адаптеры. Код приложения, обязательный контракт, публичные tests/ и основной Compose не меняются. Переносимый runner и активный workflow Gitea описаны в RUNNING.md. Основание: требования лабораторной, README/COURSE, contracts/README и OpenAPI преподавателя. Ожидаемые API-статусы и границы не подгоняются под текущие ответы сервера.
Что уже можно запускать
Python 3.9+, стандартная библиотека. Для SQL-адаптера нужен Go с зависимостями проекта и доступ к явно выбранному тестовому PostgreSQL. Новых Go/Python зависимостей этот набор не добавляет.
python3 student-tests/lab2/run.py --list
python3 -m unittest discover -s student-tests/lab2 -p test_harness.py -v
go test ./student-tests/lab2/sqlprobe -count=1
export LAB2_BASE_URL=http://127.0.0.1:8080
python3 student-tests/lab2/run.py \
--suite business-boundaries --suite business-cursors --suite read-after-write
Команды HTTP создают синтетических пользователей, чаты и сообщения. Удаления через API нет, поэтому нужен отдельный учебный стенд. Бенчмарки не следует проводить на общей/production БД. Этот runner сам Docker-стенд не поднимает.
business-cursors проверяет отдельно историю сообщений и список чатов:
обход GET /chats с limit=2, точный порядок/состав, отсутствие дублей и чужих
объектов, чужой cursor, смену limit 1 → 100 и завершение списка.
business-boundaries включает совместимые JSON/UTF-8 cases из
validation_edges.py с регистрационным password и Bearer; тела запросов с
паролем в отчёт не сохраняются. read-after-write проверяет 100 сообщений от
10 участников с config.concurrency одновременными запросами (по умолчанию 4).
PASS означает прохождение выбранного сценария, FAIL — наблюдаемое нарушение,
BLOCKED — нет конфигурации/адаптера/выбранного трека. Exit: 0/1/2 соответственно;
FAIL имеет приоритет над BLOCKED. Без --suite ничего не запускается. Пустой
config.example.json не выдаёт зелёный результат. Отсутствующие Redis и hooks
также не засчитываются как успешная проверка.
Матрица покрытия
| Блок чек-листа | Автоматические проверки | Где потребуется адаптация/ручное подтверждение |
|---|---|---|
| 1. Auth и ошибки | auth, postgres-failure; существующие Go/auth_tests | Исправления приложения делает автор |
| 2. Воспроизводимость | persistence, compose_action, пример CI | Реальный restart.sh, чистый clone, площадка CI |
| 3. Реальный Redis/Valkey | cache-usage, cache-failure, cache-restart | Роль, адрес, namespace и metrics adapter |
| 4. Бюджеты | query-timeout, pool-timeout | Настоящий SQL lock и насыщение APPLICATION pool |
| 5. SQL ≥10k | sql-plan: реальный repository SQL, первая/глубокая страницы | Обоснование плана и бюджета чтения |
| 6. Регрессия | business-*, read-after-write, auth/expiry/persistence/dependency | Политика конкурентных вставок и дополнительные крайние случаи |
| 7A. Трек cache | cache-experiment + restart/read-after-write | Детерминированный baseline/protected, счётчики, повторы |
| 7B. Трек SQL | sql-experiment, backup-restore, sqlprobe seed | Backup/restore adapters, ресурсы, интерпретация результатов |
| 8. Сдача | Публичные make check/validate/test, образец application CI | REPORT/PR, источники/ИИ, commit, secrets, защита |
В отчёте, корректности экспериментального вывода и объяснении на защите нет достоверной автоматической замены. Заготовки не выставляют оценку 5. Это также не полный fuzz всех UUID/HTTP framing/JSON и вариантов 100 участников. Зелёные офлайн self-tests проверяют инструментарий, а не приложение.
Конфигурация
Скопируй config.example.json в config.local.json (он игнорируется Git).
Укажи base_url, expiry_base_url отдельного API с фактическим TTL=2,
cache_policy (critical/fallback), cache_target (history/chat/me),
track (cache/sql) и выбранные hooks. LAB2_BASE_URL/LAB2_EXPIRY_BASE_URL
могут переопределять адреса. Пути команд hooks разрешаются относительно
директории config-файла. Формат hook — массив argv, shell не вызывается.
Не клади пароли/токены в argv или JSON: строки подключения передаются через env.
python3 student-tests/lab2/run.py --config student-tests/lab2/config.local.json \
--suite all --allow-hooks --output student-tests/lab2/output/full.json
all выбирает общий уровень 3/4 и один указанный трек. При track=null он
добавляет BLOCKED research-track; два исследовательских трека одновременно
для оценки не требуются. Тяжёлые SQL-операции запускаются только выбранной
suite и с явно переданной тестовой БД. Порог данных 10k/100k не уменьшается
автоматически ради прохождения. Размер пула/таймаут в секундах и scan budget —
выбранные инженерные параметры, а не магические числа из задания.
Существующие проверки не дублируются: auth, expiry, persistence и dependency используют student-tests/auth_contract.py и неизменённый teacher client. Публичный make test и Go tests остаются отдельными обязательными шагами.
Договорённости hooks
Все hooks запускаются только с --allow-hooks и только после явной настройки. Обычный успешный hook возвращает 0; ещё не реализованный — 2 (BLOCKED). Остальные ошибки — FAIL. stdout/stderr инфраструктуры не копируются в отчёт. Recovery вызывается даже при частично неудавшемся failure hook; сам hook должен корректно завершаться и при повторном вызове. Восстановление и готовность обязательны. Уменьшение срока жизни сессии рестартом недопустимо.
- restart_stack: перезапустить API и ВСЕ используемые stores, сохранить volumes; прикладывать реальные started_at/volume до и после, а не no-op.
- stop/start_postgres и stop/start/restart_cache: управлять только своим тестовым проектом. compose_action.py — рабочий пример для именованных disposable проектов; параметры сервисов/Compose-файлов явные. Он не создаёт стенд и никогда не выполняет down -v или flush.
- block_query/unblock_query: держать/снимать блокировку SQL, действительно мешающую запросу API. Например ACCESS EXCLUSIVE на нужной таблице в отдельной управляемой транзакции. Не блокировать готовую БД навсегда; иметь cleanup.
- exhaust_pool/release_pool: занять ВСЕ соединения именно пула приложения. Несколько независимых psql-соединений не исчерпывают pgxpool приложения!
- evict_cache: удалить только ключи своего синтетического namespace/fixture, не FLUSHALL. Должен гарантированно охлаждать выбранную cached operation.
- metrics: один JSON stdout с настоящими накопительными целочисленными sql_queries/cache_hits. Runner измеряет delta; сброс счётчика — ошибка. Определи область счётчиков и исключи постороннюю нагрузку. Не выводи ключи, URL с credentials, username/password, токены или данные сообщений.
- prepare_cache_baseline/protected: переключить реальное поведение baseline/ защиты на том же workload и ресурсах, дождаться готовности. Одного вывода «защита включена» недостаточно.
- backup_database/restore_database: настоящий backup и restore в явно указанный пустой целевой storage. Никакого восстановления поверх источника.
Заготовка собственного hook: custom.example.py. Она намеренно возвращает BLOCKED, пока ты не привяжешь её к реализации. Пример массива для Compose (пути относительно config.local.json):
["python3", "adapters/compose_action.py", "--project", "lab2-test-dev", "--file", "../../compose.yaml", "--file", "/path/to/test.override.yaml", "--evidence", "output/restarts.jsonl", "restart-stack"]
В override должны быть собственные порты, secrets и volume тестового проекта. Остановка реальных рабочих сервисов не нужна для этих тестов.
SQL-план и трек 2
LAB2_TEST_DATABASE_URL содержит DSN отдельной тестовой БД. В argv DSN не передаётся. Примеры ниже предполагают, что оператор уже безопасно задал эту env-переменную.
python3 student-tests/lab2/run.py --suite sql-plan --output student-tests/lab2/output/plan.json
python3 student-tests/lab2/run.py --suite sql-experiment --output student-tests/lab2/output/indexes.json
SQL-адаптер создаёт свежую lab2_test_* схему, применяет реальные embedded Goose миграции, генерирует 10k/100k сообщений с распределением чатов 70/20/6/3/1%. Вызов существующего MessageRepository фиксирует реальный sqlc SQL и параметры; EXPLAIN (ANALYZE, BUFFERS, FORMAT JSON) выполняется для первой и глубокой страниц. OFFSET используется только при выборе fixture cursor, не в измеряемом запросе. Бюджет учитывает строки, отфильтрованные под LIMIT, и Actual Loops; это эвристика настройки теста, а не замена прочтению самого плана. Generic prepared plans и другие распределения/состояния cache надо исследовать отдельно при необходимости.
compare меняет индексы ТОЛЬКО внутри своей свежей схемы: chat_id против (chat_id,created_at,id), фиксирует планы/размер индекса и p50/p95/p99 чтения и вставки 200 сообщений с COMMIT. Есть 3 warmup-запроса и заданное число повторов. Очистка вставок может оставить bloat; порядок вариантов и прогретость влияют на результат. Это исходная методика, которую нужно обосновать/повторить, а не гарантированное доказательство превосходства индекса. При обычном завершении схема удаляется; при SIGKILL может потребоваться ручная очистка только созданного тестового namespace. Сбой cleanup не считается PASS.
Для backup/restore нужен сохраняемый источник с 100k сообщений. Команда seed явно оставляет новую тестовую схему и сообщает её имя без DSN:
# LAB2_SQL_DATABASE_URL — env выбранной тестовой БД, не строка в аргументах.
go run ./student-tests/lab2/sqlprobe -mode seed -rows 100000 -schema lab2_test_backup_fixture
Задай sql.source_schema/restore_schema этим именем, LAB2_TEST_DATABASE_URL источником, LAB2_RESTORED_DATABASE_URL новым целевым storage, подключи backup/ restore hooks и запусти --suite backup-restore --allow-hooks. Перед тестом целевые application tables должны отсутствовать. Источник на время проверки должен быть без посторонних записей. Бэкап-файл не добавляется в Git/evidence.
snapshot использует read-only repeatable-read транзакцию и сравнивает количества и SHA-256 упорядоченного содержимого четырёх PostgreSQL-таблиц: users, chats, chat_members, messages. Сессии теперь в Redis; этот SQL backup не обещает их восстановления. Пароли/hash не печатаются: только агрегаты/digest. Состояние источника проверяется повторно; источник и цель должны иметь разные database identity. Это предохранители, но они не доказывают новый volume: приложи создание целевого storage и его scope. В отчёте отдельно объясни время восстановления и возможную потерю данных.
Кэш и трек 1
Выбери cache_experiment.scenario = stale_read или stampede. Для stampede задай обоснованный max_protected_sql_queries с учётом auth и области метрик. Runner синхронизирует конкурентные чтения, измеряет SQL/cache-hit delta и latency до/после; для stale read требуется действительно увидеть отсутствие подтверждённого сообщения. Произвольная ошибка сети не засчитывается как stale read. Защита должна пройти read-after-write и restart cache. Переключение вариантов, scope метрик, размер/прогрев набора данных и повторы остаются частью методики. Под свою выбранную cached operation адаптируй cache_read/fixtures в одном месте.
CI и ручная приёмка
ci.application.example.yml — неактивированный пример job: настоящая PostgreSQL, Go storage/migration tests без пропусков, сборка, миграции, HTTP smoke/business/auth и sql-plan. Redis и исследовательские hooks туда подключаются после выбора реализации. Файл размещён среди тестов; основной workflow не менялся. Для Gitea/GitLab используй эквивалент своей площадки.
Отдельно нужны REPORT.md/описание архитектуры и источников/ИИ, переносимый scripts/restart.sh, чистый clone, версии/ресурсы/commit, реальные доказательства действий hooks, отсутствие secrets в Git и объяснение результатов на защите. Рекомендации production (разделение ролей, secret manager и т.п.) не превращены здесь в новые обязательные критерии lab2. Результат тестов не заменяет эти пункты.
Переносимый запуск
Для текущего PostgreSQL/Redis/auth-набора есть готовый локальный и Gitea сценарий: RUNNING.md. Он поднимает отдельный стенд, выполняет проверки и очищает свои ресурсы. Заготовки исследования на 5 подключаются отдельно.