Files
mtusi2026lab3-fork/student-tests/README.md
T

79 lines
3.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Собственные тесты
Проверки негативных сценариев, конкурентной работы, жизненного цикла
сессий и отказов хранилищ. Отдельно от публичных `tests/`.
Сервер должен быть поднят на `http://localhost:8080`.
## Быстрый прогон
python student-tests/run_all.py --base-url http://localhost:8080
Запускает `test_cases.py`, `test_concurrency.py`, `test_auth.py`.
Это базовый набор, не требующий особой конфигурации стенда.
## Отдельные сценарии
python student-tests/test_expiry.py --base-url http://localhost:8080
Требует стенд с `SESSION_TTL_SECONDS=2`. Проверяет, что сессия
перестаёт работать после истечения TTL. Меняй TTL в `compose.yaml`,
перезапускай api и прогоняй.
python student-tests/test_resilience.py --service redis
python student-tests/test_resilience.py --service postgres
Требуют запущенного Docker и работающего стенда. Скрипт останавливает
указанный сервис через `docker compose stop`, проверяет, что защищённые
endpoint отдают 503 unavailable (не 401 и не 500), и запускает сервис
обратно.
## Данные для EXPLAIN
python student-tests/seed_messages.py --count 10000
student-tests/explain_history.sh <chat_id>
`seed_messages.py` печатает `chat_id`; передай его в `explain_history.sh`,
результат сохранится в `evidence/explain_history.txt`.
## Трек 2: план запроса и восстановление
Исследование на ≥100 000 сообщениях с неравномерными размерами чатов.
python student-tests/seed_large.py
# сохранить chat_id из вывода в evidence/chat_ids.txt
student-tests/explain_history.sh <hot_chat_id>
student-tests/compare_indexes.sh <hot_chat_id>
student-tests/write_bench.sh
student-tests/backup_restore.sh
Результаты попадают в `evidence/`:
- `explain_history.txt` — EXPLAIN (ANALYZE, BUFFERS) ключевого запроса
- `index_comparison.txt` — baseline vs covering vs Seq Scan
- `write_cost.txt` — время 5000 INSERT под разными индексами
- `backup_restore.txt` — pg_dump → pg_restore → сверка счётчиков и md5
Восстановленный контейнер `pg_restore_target` оставлен для ручной проверки
и удаляется вручную после эксперимента.
## Нагрузка (k6)
Open-loop генератор: фиксированный arrival rate, устраняет coordinated
omission, отдельные метрики для POST /messages. Дополняет `tests/load.py`
(closed-loop), а не заменяет его.
k6 run -e RATE=50 -e DURATION=30s student-tests/load-k6.js
k6 run -e RATE=50 -e DURATION=3m \
--summary-export evidence/k6-rolling.json \
student-tests/load-k6.js
Setup регистрирует отдельного пользователя и создаёт чат. Чтобы нагружать
существующий чат (например, из `seed_large.py`), задай `CHAT_ID` и `TOKEN`:
CHAT_ID=... TOKEN=... k6 run -e RATE=50 -e DURATION=1m student-tests/load-k6.js
Summary (`--summary-export`) — JSON с p50/p95/p99 `write_latency_ms`,
`write_errors.rate`, `http_reqs.rate`. Порог `write_errors<1%` встроен в
options.thresholds: k6 вернёт non-zero exit, если под нагрузкой появились
ошибки сверх порога.