Record 80 HTTP tests and complete pre-submission verification

This commit is contained in:
2026-11-07 08:51:38 +03:00
parent 5e7c93a036
commit e2532247cc
3 changed files with 140 additions and 6 deletions
+1 -1
View File
@@ -8,7 +8,7 @@
Argon2id, постоянные Bearer-сессии, Valkey cache, bounded pool/timeouts.
Запуск: uv sync --locked; make bootstrap; make up; make test test-student.
Проверки: [REPORT.md](../REPORT.md), evidence/clean-clone.json;
77 HTTP-тестов, реальные отказы/rollback, 101110 сообщений и backup/restore.
80 HTTP-тестов, реальные отказы/rollback, 101110 сообщений и backup/restore.
Ограничения: один host, без HA/TLS; snapshot не хранит поздние COMMIT.
Источники: контракт, PostgreSQL/Psycopg/Argon2/Valkey documentation.
Помощь ИИ использована при разборе требований, реализации и проверках;
+22 -5
View File
@@ -121,7 +121,7 @@ Authorization, паролей, токенов, их digest и параметро
| Критерий README | Команда | Факт / evidence |
|---|---|---|
| API ЛР1 + новый auth | `make test`, `make test-student` | Smoke PASS, 77 passed; [http-tests.json](evidence/http-tests.json) |
| API ЛР1 + новый auth | `make test`, `make test-student` | Smoke PASS, 80 passed; [clean-clone-pre-pr.json](evidence/clean-clone-pre-pr.json) |
| Данные и прежний токен после restart всех stores | `make test-persistence`, `make verify` | [public-persistence.txt](evidence/public-persistence.txt), [lifecycle.json](evidence/lifecycle.json); CID/PID/StartedAt до/после |
| PK/FK/UNIQUE и атомарный чат | migrations, регистрационная гонка, injected rollback | [001_core.sql](migrations/001_core.sql), [lifecycle.json](evidence/lifecycle.json); после сбоя строка чата отсутствует |
| Версионируемые миграции и bootstrap | `make verify`, clean clone | Повтор без изменений, секреты сохранены, checksum mismatch отклонён; [clean-clone.json](evidence/clean-clone.json) |
@@ -130,7 +130,7 @@ Authorization, паролей, токенов, их digest и параметро
| Индекс, EXPLAIN ≥10k | `make research` | 90 планов для 5 размеров чата; [query-plan.json](evidence/query-plan.json) |
| Expiry, logout, неверный пароль, отказы | HTTP-тесты, lifecycle | TTL2s →401; stop cache →200; stop PG →503; logout →401 |
| Трек2: ≥100k, индексы/запись/backup | research | 101110 сообщений, 2 индекса, 3 повтора, восстановление и сверка |
| Независимый clean clone | `python scripts/verify_clean.py` | Полный PASS с новыми секретами/volumes, 77 passed; [clean-clone.json](evidence/clean-clone.json) |
| Независимый clean clone | `python scripts/verify_clean.py` | Полный PASS с новыми секретами/volumes, 80 passed; [clean-clone-pre-pr.json](evidence/clean-clone-pre-pr.json) |
Первая проверка не утверждает наличие карточки в cache непосредственно
перед PG fault без дополнительного EXISTS: [границы evidence](evidence/verification-notes.md).
@@ -138,9 +138,10 @@ Authorization, паролей, токенов, их digest и параметро
## Финальный чистый clone
Проверен source commit `8e3e16a8a6ea07f6a2b8615045735f812299e3d1`.
Последняя проверка перед PR: source commit
`5e7c93a0362e667551c8807a674fe04927b20e53`.
Новые `.env`, секреты и volumes; pinned image build; check/validate/lint;
публичный smoke; **77 passed за 86 с**; public persistence; lifecycle,
публичный smoke; **80 passed за 93.23 с**; public persistence; lifecycle,
pool и checksum guard — PASS. Повторно выполнено исследование: 101110
сообщений, 90 EXPLAIN-планов, backup/restore snapshot совпал.
Хэши runtime-модулей совпали; image revision соответствует source commit.
@@ -152,13 +153,29 @@ pool и checksum guard — PASS. Повторно выполнено иссле
Проверка исправлена выбирать свободный **фиксированный** номер порта один
раз; код API/сессий не менялся. Первая попытка не выдана за успешную:
[описание](evidence/clean-attempt1.txt), [диагностика](evidence/port-restart.json).
Итоговый полный повтор — [clean-clone.json](evidence/clean-clone.json).
Прежний полный повтор — [clean-clone.json](evidence/clean-clone.json).
Последний повтор перед PR —
[clean-clone-pre-pr.json](evidence/clean-clone-pre-pr.json).
После проверенного source commit менялись только отчёт, шаблон и evidence;
runtime src, зависимости, Dockerfile и Compose остались теми же.
Добавлен отдельный application workflow для CI; наличие файла не означает
его запуска на Gitea. Публикация, fork/MR и удалённый CI пока не выполнялись.
Повторная сверка выполнена по текущим README, COURSE, contracts/tests
и handoff от 30.10.2026. Все уровни 3/4 и выбранный трек 2 покрыты
таблицей доказательств. Исходные задание, контракт и публичные тесты
сохранены. Исправлены два пограничных дефекта: JSON принимается только
в UTF-8, десятичный `limit=0001` допустим. Три регрессионных теста сначала
упали на прежнем образе, затем прошли в новом чистом clone:
[исходные отказы](evidence/pre-pr-regressions.json).
При повторе также проверены неизменность абсолютного срока сессии,
наличие User в cache перед каждым отказом PG (503 за 4.044/0.011 с),
pool timeout 1.006 с, rollback, checksum миграции и backup/restore.
Исследовательские числа ниже относятся к исходному сохранённому
query-plan.json; новый clean clone независимо повторил методику и сверку,
но его timings не подставлялись в старые таблицы.
## Исследование: методика и результаты
Гипотеза в PLAN закоммичена до замера. Стенд: Apple M1, 8 CPU, 8 GiB RAM,
+117
View File
@@ -0,0 +1,117 @@
{
"date": "2026-11-07T05:47:11.012617+00:00",
"source_commit": "5e7c93a0362e667551c8807a674fe04927b20e53",
"fresh_secrets_environment_and_volumes": true,
"command": "python scripts/verify_clean.py",
"fixed_host_port_for_restart": 51761,
"static_checks": ".venv/bin/python scripts/check_contract.py\nPASS: offline skeleton structure, local refs and Python syntax; application NOT tested.\n.venv/bin/python scripts/validate_openapi.py\nPASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.\nuv run --locked ruff format src student-tests research scripts/bootstrap.py scripts/stand.py scripts/verify_*.py\n27 files left unchanged\nuv run --locked ruff check src student-tests research scripts/bootstrap.py scripts/stand.py scripts/verify_*.py\nAll checks passed!",
"internal_store_ports_not_published": true,
"smoke": "python3 tests/smoke.py --base-url \"http://127.0.0.1:51761\" \nPASS: lab2 public API scenario; infrastructure and grading evidence remain separate.",
"http_tests": "........................................................................ [ 90%]\n........ [100%]\n80 passed in 93.23s (0:01:33)",
"public_persistence": "python3 tests/resilience.py --mode persistence --action-script \"scripts/restart.sh\" --base-url \"http://127.0.0.1:51761\" \nExecuting explicit persistence hook; hook output suppressed to avoid leaking secrets.\nPASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.",
"verify_lifecycle": {
"date": "2026-11-07T05:49:09.842951+00:00",
"commit": "5e7c93a0362e667551c8807a674fe04927b20e53",
"command": "python -m scripts.verify_lifecycle",
"runtime_source_hashes_match": true,
"image_revision": "5e7c93a0362e667551c8807a674fe04927b20e53",
"persistence": {
"absolute_expiry_unchanged": true,
"same_token": true,
"same_message": true,
"before": {
"api": {
"container": "52efca283e03",
"pid": 32752,
"started_at": "2026-11-07T05:49:05.222283053Z"
},
"postgres": {
"container": "4a8a9b88ac4b",
"pid": 32547,
"started_at": "2026-11-07T05:49:04.838047886Z"
},
"cache": {
"container": "590272a808de",
"pid": 32569,
"started_at": "2026-11-07T05:49:04.863209469Z"
}
},
"after": {
"api": {
"container": "52efca283e03",
"pid": 33639,
"started_at": "2026-11-07T05:49:11.700302333Z"
},
"postgres": {
"container": "4a8a9b88ac4b",
"pid": 33460,
"started_at": "2026-11-07T05:49:11.381633375Z"
},
"cache": {
"container": "590272a808de",
"pid": 33501,
"started_at": "2026-11-07T05:49:11.40642775Z"
}
},
"seconds": 5.98190225000144
},
"migration_repeat": "PASS",
"bootstrap_preserves_secrets": true,
"credential_storage": {
"argon2id": true,
"digest_bytes": 32,
"raw_password_and_token_absent_in_dump": true
},
"cache_hits": 20,
"cache_stopped": {
"status": 200,
"seconds": 0.07452341700263787
},
"cache_flush_preserves_truth": true,
"postgres_pause": {
"cache_card_present_before_failure": true,
"status": 503,
"seconds": 4.043605250000837,
"cached_identity_not_trusted": true
},
"postgres_stop": {
"cache_card_present_before_failure": true,
"status": 503,
"seconds": 0.01112437499978114,
"cached_identity_not_trusted": true
},
"chat_transaction_rollback": {
"injected_failure_status": 500,
"remaining_chat_rows": 0
},
"expiry": {
"ttl_seconds": 2,
"status_after_expiry": 401
},
"logout_after_cache_hit": "PASS",
"result": "PASS"
},
"verify_pool": {
"date": "2026-11-07T05:49:46.535430+00:00",
"commit": "5e7c93a0362e667551c8807a674fe04927b20e53",
"command": "python -m scripts.verify_pool",
"pool_size": 1,
"blocked_insert_observed_in_pg_stat_activity": true,
"pool_wait_seconds": 1.005813499999931,
"pool_timeout_status": 503,
"statement_timeout_status": 503,
"failed_write_rolled_back": true,
"write_after_recovery": 201,
"result": "PASS"
},
"applied_migration_checksum_guard": "PASS",
"research_repeated": {
"result": "PASS",
"messages": 101110,
"plans": 90,
"restored_snapshot_equal": true
},
"fsck": "",
"checks_completed": true,
"result": "PASS"
}