79 lines
3.9 KiB
Markdown
79 lines
3.9 KiB
Markdown
# Собственные тесты
|
||
|
||
Проверки негативных сценариев, конкурентной работы, жизненного цикла
|
||
сессий и отказов хранилищ. Отдельно от публичных `tests/`.
|
||
|
||
Сервер должен быть поднят на `http://localhost:8080`.
|
||
|
||
## Быстрый прогон
|
||
|
||
python student-tests/run_all.py --base-url http://localhost:8080
|
||
|
||
Запускает `test_cases.py`, `test_concurrency.py`, `test_auth.py`.
|
||
Это базовый набор, не требующий особой конфигурации стенда.
|
||
|
||
## Отдельные сценарии
|
||
|
||
python student-tests/test_expiry.py --base-url http://localhost:8080
|
||
|
||
Требует стенд с `SESSION_TTL_SECONDS=2`. Проверяет, что сессия
|
||
перестаёт работать после истечения TTL. Меняй TTL в `compose.yaml`,
|
||
перезапускай api и прогоняй.
|
||
|
||
python student-tests/test_resilience.py --service redis
|
||
python student-tests/test_resilience.py --service postgres
|
||
|
||
Требуют запущенного Docker и работающего стенда. Скрипт останавливает
|
||
указанный сервис через `docker compose stop`, проверяет, что защищённые
|
||
endpoint отдают 503 unavailable (не 401 и не 500), и запускает сервис
|
||
обратно.
|
||
|
||
## Данные для EXPLAIN
|
||
|
||
python student-tests/seed_messages.py --count 10000
|
||
student-tests/explain_history.sh <chat_id>
|
||
|
||
`seed_messages.py` печатает `chat_id`; передай его в `explain_history.sh`,
|
||
результат сохранится в `evidence/explain_history.txt`.
|
||
## Трек 2: план запроса и восстановление
|
||
|
||
Исследование на ≥100 000 сообщениях с неравномерными размерами чатов.
|
||
|
||
python student-tests/seed_large.py
|
||
# сохранить chat_id из вывода в evidence/chat_ids.txt
|
||
|
||
student-tests/explain_history.sh <hot_chat_id>
|
||
student-tests/compare_indexes.sh <hot_chat_id>
|
||
student-tests/write_bench.sh
|
||
student-tests/backup_restore.sh
|
||
|
||
Результаты попадают в `evidence/`:
|
||
|
||
- `explain_history.txt` — EXPLAIN (ANALYZE, BUFFERS) ключевого запроса
|
||
- `index_comparison.txt` — baseline vs covering vs Seq Scan
|
||
- `write_cost.txt` — время 5000 INSERT под разными индексами
|
||
- `backup_restore.txt` — pg_dump → pg_restore → сверка счётчиков и md5
|
||
|
||
Восстановленный контейнер `pg_restore_target` оставлен для ручной проверки
|
||
и удаляется вручную после эксперимента.
|
||
|
||
## Нагрузка (k6)
|
||
|
||
Open-loop генератор: фиксированный arrival rate, устраняет coordinated
|
||
omission, отдельные метрики для POST /messages. Дополняет `tests/load.py`
|
||
(closed-loop), а не заменяет его.
|
||
|
||
k6 run -e RATE=50 -e DURATION=30s student-tests/load-k6.js
|
||
k6 run -e RATE=50 -e DURATION=3m \
|
||
--summary-export evidence/k6-rolling.json \
|
||
student-tests/load-k6.js
|
||
|
||
Setup регистрирует отдельного пользователя и создаёт чат. Чтобы нагружать
|
||
существующий чат (например, из `seed_large.py`), задай `CHAT_ID` и `TOKEN`:
|
||
|
||
CHAT_ID=... TOKEN=... k6 run -e RATE=50 -e DURATION=1m student-tests/load-k6.js
|
||
|
||
Summary (`--summary-export`) — JSON с p50/p95/p99 `write_latency_ms`,
|
||
`write_errors.rate`, `http_reqs.rate`. Порог `write_errors<1%` встроен в
|
||
options.thresholds: k6 вернёт non-zero exit, если под нагрузкой появились
|
||
ошибки сверх порога. |