From f60297b8e2f252d2b40bf0cdbbcfa6ef5e447496 Mon Sep 17 00:00:00 2001 From: Artyom Date: Sat, 7 Nov 2026 04:41:45 +0300 Subject: [PATCH] Validate preserved load evidence and finalize release checks --- REPORT.md | 16 +- evidence/README.md | 1 + evidence/load-validation.md | 71 ++++++ evidence/validation/audit.py | 220 ++++++++++++++++++ evidence/validation/closure.json | 22 ++ evidence/validation/evidence-audit.json | 217 +++++++++++++++++ evidence/validation/openspec-list.txt | 12 + evidence/validation/openspec.txt | 32 +++ evidence/validation/precommit-lint.txt | 18 ++ evidence/validation/quality.txt | 15 ++ evidence/validation/secret-scan.json | 52 +++++ evidence/validation/student-test-s3-retry.txt | 18 ++ evidence/validation/student-test.txt | 130 +++++++++++ evidence/validation/test-environment.json | 11 + 14 files changed, 830 insertions(+), 5 deletions(-) create mode 100644 evidence/load-validation.md create mode 100644 evidence/validation/audit.py create mode 100644 evidence/validation/closure.json create mode 100644 evidence/validation/evidence-audit.json create mode 100644 evidence/validation/openspec-list.txt create mode 100644 evidence/validation/openspec.txt create mode 100644 evidence/validation/precommit-lint.txt create mode 100644 evidence/validation/quality.txt create mode 100644 evidence/validation/secret-scan.json create mode 100644 evidence/validation/student-test-s3-retry.txt create mode 100644 evidence/validation/student-test.txt create mode 100644 evidence/validation/test-environment.json diff --git a/REPORT.md b/REPORT.md index 9f980033..bb736141 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,9 +2,9 @@ Автор: **Костылев Артём, БПИ2303**. Заявленная оценка — **«5»**, трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка. -Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация/PR выполняются отдельным этапом, здесь не заявлены. +Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация выполняется отдельным этапом, здесь не заявлены. -Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6. +Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md), [финальный аудит нагрузки](evidence/load-validation.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6. ## Запуск из чистого clone @@ -15,7 +15,7 @@ ```sh git clone "$REPOSITORY_URL" mtusi2026lab6 cd mtusi2026lab6 -git switch solution/bpi2303-kostylev +git switch -c solution/bpi2303-kostylev origin/main uv python install 3.14 uv sync --locked --group dev make check validate lint @@ -36,7 +36,7 @@ scripts/lab6.sh make down `make secrets` создаёт локальные `.env` и `secrets/`, не печатая значения; существующие значения сохраняются. `make up` собирает образ и ждёт healthy: PostgreSQL → one-shot `alembic upgrade head`, S3 → `s3-init` (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: `scripts/lab6.sh make migrate`. -Полные собственные тесты запускаются отдельно: `make student-test`. Они создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В этом отчётном этапе использован сохранённый результат, а не новый запуск. Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence. +Полные собственные тесты запускаются отдельно: `scripts/lab6.sh make student-test`. Обвязка задаёт обход localhost через `NO_PROXY`, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в [финальном аудите](evidence/load-validation.md). Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence. `make down` останавливает только выбранный Compose project и сохраняет volumes. Существующая цель `scripts/lab6.sh make reset-data` намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — `mtusi2026lab6` в этом репозитории; временный — только `hlpipe-lab6-*` в разрешённом координатором каталоге, с отдельными портами/volumes. @@ -111,7 +111,7 @@ Upload возвращает `202 queued` после durable acceptance; зада | Критерий | Команда / сценарий | Наблюдение | Файл | | --- | --- | --- | --- | | Структура, контракт, качество | `make check validate lint` | OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | [final-quality.txt](evidence/forward-published/final-quality.txt), [свежая проверка отчёта](evidence/report-audit.md) | -| Собственные регрессии, SQLAlchemy/Alembic | `make student-test` | 995 passed, 2 Linux-only skipped, 19 stack deselected; сохранённый полный прогон | [student-test.txt](evidence/forward-published/student-test.txt) | +| Собственные регрессии, SQLAlchemy/Alembic | `scripts/lab6.sh make student-test` | Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed | [прежний полный](evidence/forward-published/student-test.txt), [свежий полный](evidence/validation/student-test.txt), [повтор S3](evidence/validation/student-test-s3-retry.txt), [разбор](evidence/load-validation.md) | | 3: минимум lab5 при telemetry on | `make test` | Public API PASS; final smoke после возврата defaults | [smoke.txt](evidence/forward-published/smoke.txt), [final-smoke.txt](evidence/forward-published/final-smoke.txt) | | 3: durable pipeline и повторы | `python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json` | 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | [pipeline.txt](evidence/forward-published/pipeline.txt), [pipeline.json](evidence/forward-published/pipeline.json) | | 3: сохранение данных и сессий | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | [persistence.txt](evidence/forward-published/persistence.txt), [hook](scripts/restart.sh) | @@ -235,6 +235,12 @@ OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 После опытов возвращены SDK on/ratio1/interval10s, `collector.yaml`, `COST_EXPERIMENT=false`: [defaults-restored.json](evidence/forward-published/defaults-restored.json). Стенд остановлен без удаления данных, 9 volumes сохранены: [shutdown.txt](evidence/forward-published/shutdown.txt), [closure.json](evidence/forward-published/closure.json). Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker. +### Финальная validation перед публикацией + +На входном HEAD `1e00d861a803a6d49ef443175b8231cbf048fc02` аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. **Нагрузку повторно не запускали.** [Аудит](evidence/load-validation.md) содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям. + +Свежие `make check validate lint` и OpenSpec strict (26 specs) прошли. Свежий полный `make student-test` завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с `NO_PROXY`: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась. + ## Ограничения и следующие шаги Ревью `6ca1c7549978af3127966540385195ab0587f2e1` не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются: diff --git a/evidence/README.md b/evidence/README.md index ee5f5d5d..482f03f4 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -13,6 +13,7 @@ | [track5/notes.md](track5/notes.md) | **Исторический код** `202b985deacda79b6d8df65dcefe8a1af43f1a8e`, измеритель `bc0b1620825b53fd3a3019623326ebf68cbbbeec` | Старые 519 passed, −91,1% Tempo и 15 серий не смешивать с актуальными 995 passed / −92,2%; auth/cache путь изменился и был перемерен | | [review-summary.md](review-summary.md) | Результат независимого review из runner на `6ca1c75…` | 0 major, 5 minor; полный список ограничений, не новое ревью | | [report-audit.md](report-audit.md) | Документационный этап поверх `6ca1c75…` | Только статические проверки и сверка сохранённых чисел; Docker/нагрузка не запускались | +| [load-validation.md](load-validation.md) | Финальная validation поверх `1e00d861a803a6d49ef443175b8231cbf048fc02` | Аудит применимости всех 15 серий, свежие проверки в [validation](validation); новых нагрузочных запусков нет, публикация не выполнялась | [closure.json](forward-published/closure.json) фиксирует окончание реализации: runtime не менялся после замеров, 22 проверяемых тогда файла и прежний evidence сохранены, своих работающих контейнеров нет, 9 volumes оставлены. Число 22 включает документы, которые отчётный этап имеет право обновить; это исторический снимок, не запрет на REPORT/AGENTS/этот индекс. Нормативные contracts/tests/README/COURSE и infra README неизменны. В отчётном этапе raw evidence не переписывается; в старые notes добавлена только отметка исторического кода. diff --git a/evidence/load-validation.md b/evidence/load-validation.md new file mode 100644 index 00000000..cc18ca22 --- /dev/null +++ b/evidence/load-validation.md @@ -0,0 +1,71 @@ +# Финальная проверка применимости нагрузки + +Фаза VALIDATION, 2026-11-07. Исходный HEAD: `1e00d861a803a6d49ef443175b8231cbf048fc02`, ветка `solution/bpi2303-kostylev`, дерево при старте чистое. Публикация не разрешена и не выполнялась. Агент работает один, runner/state не меняет. + +## Решение о повторной нагрузке + +**Приняты все 15 сохранённых серий; новых нагрузочных запусков — 0.** Отсутствующих, неподтверждённых или затронутых текущими изменениями обязательных серий нет. Трек 1 требует off/on и минимум две настройки sampling/aggregation; представлены off/on/head/tail/balanced, по три повтора согласно принятой методике. Матрица масштабирования и поиск максимального throughput не входят в выбранный трек. Новые SLO не вводятся. + +Измеренный код приложения и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Независимое ревью: `6ca1c7549978af3127966540385195ab0587f2e1`. От измеренного SHA до входного HEAD менялись evidence, документы и спецификации; runtime, зависимости, Makefile, Dockerfile, Compose, конфигурации и генераторы не менялись. После ревью изменены только восемь разрешённых Markdown-файлов отчётного этапа. Этот этап также не меняет реализацию. + +Команда аудита: `python3 evidence/validation/audit.py`. [Исходник проверки](validation/audit.py) и [машинный результат](validation/evidence-audit.json) сохраняют SHA, hashes всех принятых JSON, проверки параметров, времени, ответов, внешних samples, лимитов, counters, traces и пересчёт comparison. Пересчёт использует `scripts/obs_cost_summary.py:summarize` без запуска генератора/перезаписи сырья; HTTP-ответы, категории и временные окна дополнительно проверены непосредственно по raw JSON. 19 нормативных файлов contracts/tests/README/COURSE/infra README совпадают с корнем skeleton `470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1`. + +## Принятые серии + +Источник: [методика](forward-published/cost/method.md), [raw-файлы и команды](README.md#трек-1-только-пригодные-серии), [comparison](forward-published/cost/comparison.json). В каждой серии 40 s ×20 arrivals/s, 800 запросов: 768 normal, 16 ожидаемых 503, 16 slow; 20 прогревочных GET, 35 s ожидания до учёта, 35 s drain после нагрузки, до 64 клиентских потоков. Путь GET users/me и один синтетический пользователь/сессия на серию неизменны. Идентификаторы запросов между сериями не пересекаются. + +Границы пригодности взяты из существующей методики, не подобраны заново: load 38..42 s, drain/report 30..45 s, max gap внешних samples <5 s. Каждая принятая серия содержит 21 sample и одинаковые 14 контейнеров внутри своего окна. + +| Серия | Load / drain / max gap, s | Решение | +| --- | --- | --- | +| off-1 | 39.977 / 34.379 / 2.048 | Принята | +| off-2 | 39.968 / 35.243 / 2.048 | Принята | +| off-3 | 39.970 / 35.211 / 2.048 | Принята | +| on-1 | 39.961 / 35.310 / 2.044 | Принята | +| on-2 | 39.967 / 34.754 / 2.046 | Принята | +| on-3 | 39.962 / 35.339 / 2.045 | Принята | +| head-1 | 39.960 / 34.749 / 2.045 | Принята | +| head-2 | 39.959 / 34.537 / 2.050 | Принята | +| head-3 | 39.965 / 35.036 / 2.051 | Принята | +| tail-1 | 39.970 / 35.310 / 2.047 | Принята | +| tail-2 | 39.961 / 34.637 / 2.045 | Принята | +| tail-3 | 39.968 / 35.043 / 2.047 | Принята | +| balanced-1 | 39.966 / 34.836 / 2.049 | Принята | +| balanced-2 | 39.966 / 35.223 / 2.045 | Принята | +| balanced-3 | 39.966 / 35.354 / 2.045 | Принята | + +Итого 12 000 запросов: 11 760 ответов 200 и 240 намеренных 503; неожиданных ответов нет. Все 15 записей и агрегаты `comparison.json` совпадают с пересчётом. SDK ended = Collector accepted, failed exports = 0. On сохранил 2400/2400 server traces; balanced — 48/48 error и 48/48 slow, снижение медианного Tempo ingest **92,16998%**. Head сохранил 6/48 error и 3/48 slow: намеренный sampling отдельно от потерь экспорта. + +Первоначальные `on-3` и `head-3` остаются исключёнными: drain 932,714 s и нагрузка 938,154 s / gap 900,354 s соответственно. Их четыре исходных JSON/TXT совпали с SHA-256 из [invalid-series.json](forward-published/cost/invalid-series.json). Уже имеющиеся адресные повторы приняты; оба оригинала и все остальные результаты сохранены. Эти дополнительные 1600 запросов не включены в 12 000. + +## Конфигурация, ресурсы и dataset + +[Runtime](forward-published/runtime.json): image `sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d`; macOS arm64, 16 CPU, Docker 28.3.2 / 16 CPU / 8 217 190 400 bytes. API ×2, по два процесса; ресурсы каждого контейнера сверены по всем samples с runtime.json. PostgreSQL фактически 768 MiB, отличие от default 1 GiB явно сохранено в REPORT. CPU/RAM измерены извне по cgroups; telemetry-off не лишает их наблюдения. + +Настройки сверены с неизменными `scripts/obs_cost.py` и `infra/otel/collector*.yaml`: off отключает SDK, on 100%, head 10%; tail ERROR/≥300 ms/10%, balanced ERROR/≥300 ms/5% и метрики раз в 30 s. Decision wait 10 s, bounded queues и memory limiter сохранены. Итоговые defaults восстановлены в [defaults-restored.json](forward-published/defaults-restored.json). + +Все шесть снимков conditions и inventory каждой серии содержат только project mtusi2026lab6; host load записан. Это не доказательство полной эксклюзивности macOS. Dataset — HTTP/DB-профиль с сохранёнными volumes, без нормализации полного размера БД; порядок режимов фиксирован. Массовый рендер не включён в этот трек, отдельные PNG-проверки находятся в forward-published. CPU-окно не включает весь drain, RAM — максимум samples, три повтора не дают доказанной статистической значимости малых различий latency. Эти границы не отменяют сравнение ingest и фактический захват контрольных событий. + +## Остальные обязательные сценарии + +Сохранённые smoke/persistence/failover/restore, pipeline (9 сценариев), API/job correlation, W3C chain/retry и worker/SQL-lock firing→resolved относятся к тому же runtime SHA. Они приняты по [таблице REPORT](../REPORT.md#доказательства-критериев) и командам/exit code соответствующих raw-файлов; повторного стенда ради неизменного кода не требуется. + +Исторические `grade3/grade4/track5` не подменяют новые измерения. История telemetry и storage outage переиспользованы только по [preserved-mechanisms.json](forward-published/preserved-mechanisms.json): 21 путь совпал с базой `237a7c93e507b984add5b49c51c6720a6bfca505`. Конфигурации хранения и volumes, bounded export и readiness не затронуты поздним переносом. Более ранние добавления sampling/accounting не меняют storage persistence; прежний максимум RAM 252,7 MiB описывает только тот опыт, а не новую гарантию для любого workload. Пять minor независимого ревью остаются в [ограничениях REPORT](../REPORT.md#ограничения-и-следующие-шаги). + +## Проверки текущего этапа + +`make check validate lint` и `openspec validate --all --strict --no-interactive` прошли; 26 спецификаций, активных changes нет. Логи: [quality](validation/quality.txt), [OpenSpec](validation/openspec.txt), [list](validation/openspec-list.txt). Новые propose/apply/archive не требуются: реализация и спецификации не меняются. + +Свежий полный `make student-test`: **993 passed, 2 skipped, 19 deselected, 2 errors**, exit 2, 232,27 s. Обе ошибки — единый session fixture RustFS: таймаут health/ready до выполнения adapter assertions. Первый прогон [сохранён](validation/student-test.txt) и не объявляется успешным. + +В [диагностике окружения](validation/test-environment.json) обнаружен системный HTTP/HTTPS-прокси macOS при пустом `NO_PROXY` и отсутствии proxy env. Штатная обвязка задаёт обход localhost. Команда адресного повтора: `scripts/lab6.sh make student-test PYTEST_ARGS="student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size"`. Результат: **2 passed, exit 0, 0,76 s**, [лог](validation/student-test-s3-retry.txt). Это согласуется с причиной в proxy-окружении; код, assertions и образ не менялись. Остальные 993 успешных теста не повторялись. Совместно два запуска подтверждают 995 тестов, но единый свежий полный зелёный прогон не заявляется. Прежний полный 995/2/19 остаётся отдельным сохранённым результатом реализации. + +REPORT дополнен ссылкой на этот аудит; команды чистого clone согласованы с назначенной публикацией в `main`, команда собственных тестов использует штатный `NO_PROXY`. Новых implementation findings нет; пять minor сохранены без исправлений. Независимое ревью реализации остаётся применимым. + +Проверка tracked-файлов на секреты: [secret-scan.json](validation/secret-scan.json). Запрещённых путей нет; кандидаты DSN классифицированы как синтетические тестовые значения и shell-шаблон без литеральных credentials. Значения секретов не выводились, локальные `.env`/`secrets/` не читались. Это проверка по указанным сигнатурам, не доказательство невозможности любой утечки; minor о Loki structured metadata сохраняется. + +В новых TXT заменён абсолютный путь репозитория на ``; у stdout pytest удалён конечный пробел строки команды. Результаты, traceback и exit code сохранены. Историческое сырьё не менялось. + +Context7 вызван для Collector; ответ `Monthly quota exceeded`. Проверки применимости основаны на закреплённых локальных конфигурациях и сырье; успешное обращение к внешней документации не заявлено. + +Проверены 263 относительные ссылки и синтаксис трёх shell-блоков; `git diff --check` новых изменений проходит. [Снимок завершения](validation/closure.json): своих работающих контейнеров нет, девять постоянных volumes сохранены. Compose-стенд не поднимался; временные зависимости pytest завершены его fixtures. Чужие контейнеры не останавливались. Изменения этапа ограничены REPORT и evidence; финальный SHA определяется коммитом `git log -1 --format=%H -- evidence/load-validation.md`. Публикация ожидает отдельной фазы координатора. diff --git a/evidence/validation/audit.py b/evidence/validation/audit.py new file mode 100644 index 00000000..9aa55f73 --- /dev/null +++ b/evidence/validation/audit.py @@ -0,0 +1,220 @@ +import importlib.util +import json +import statistics +import subprocess +from collections import Counter +from datetime import datetime, timezone +from hashlib import sha256 +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[2] +COST = ROOT / "evidence/forward-published/cost" +MEASURED = "bc1d7aa7713858acb5d65b61d07e69a640f1ee97" +REVIEWED = "6ca1c7549978af3127966540385195ab0587f2e1" +ENTRY = "1e00d861a803a6d49ef443175b8231cbf048fc02" +SKELETON = "470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1" + + +def git(*args): + return subprocess.check_output(["git", *args], cwd=ROOT, text=True).strip() + + +def read(path): + return json.loads(path.read_text()) + + +def digest(path): + return sha256(path.read_bytes()).hexdigest() + + +def main(): + changed = git("diff", "--name-only", MEASURED, "HEAD").splitlines() + runtime_changes = [ + p + for p in changed + if not p.startswith(("evidence/", "openspec/")) and p not in {"AGENTS.md", "REPORT.md"} + ] + assert not runtime_changes, runtime_changes + reviewed_changes = git("diff", "--name-only", REVIEWED, "HEAD").splitlines() + assert all( + p in {"AGENTS.md", "REPORT.md"} or p.startswith("evidence/") for p in reviewed_changes + ) + protected = [ + p + for p in git("ls-tree", "-r", "--name-only", SKELETON).splitlines() + if p.startswith(("contracts/", "tests/")) + or p in {"README.md", "COURSE.md", "infra/README.md", "infra/otel/README.md"} + ] + assert not git("diff", "--name-only", SKELETON, "HEAD", "--", *protected) + preserved = read(ROOT / "evidence/forward-published/preserved-mechanisms.json") + assert not git( + "diff", + "--name-only", + preserved["base_sha"], + "HEAD", + "--", + *preserved["unchanged_telemetry_paths"], + ) + spec = importlib.util.spec_from_file_location("summary", ROOT / "scripts/obs_cost_summary.py") + module = importlib.util.module_from_spec(spec) + spec.loader.exec_module(module) + comparison = read(COST / "comparison.json") + saved = {r["file"]: r for r in comparison["runs"]} + timing = {r["file"]: r for r in read(COST / "measurement-audit.json")["runs"]} + runtime = read(ROOT / "evidence/forward-published/runtime.json") + assert runtime["application_sha"] == MEASURED + limits = {c["name"]: c["memory"] for c in runtime["containers"]} + results = [] + summaries = [] + all_ids = set() + modes = ("off", "on", "head", "tail", "balanced") + for mode in modes: + for repeat in range(1, 4): + path = COST / (mode + "-" + str(repeat) + ".json") + run = read(path) + summary = module.summarize(path) + assert summary == saved[path.name], path.name + assert (run["sha"], run["mode"], run["repeat"], run["duration"], run["rate"]) == ( + MEASURED, + mode, + repeat, + 40, + 20, + ) + assert run["result"] == "PASS" and run["unexpected_responses"] == 0 + assert Counter(r["category"] for r in run["requests"]) == { + "normal": 768, + "error": 16, + "slow": 16, + } + assert all( + r["status"] == (503 if r["category"] == "error" else 200) for r in run["requests"] + ) + ids = {r["id"] for r in run["requests"]} + assert len(ids) == 800 and not ids & all_ids + all_ids.update(ids) + load = run["finished"] - run["started"] + drain = ( + datetime.fromisoformat(run["utc"].replace("Z", "+00:00")).timestamp() + - run["finished"] + ) + samples = run["resources"] + gap = max(b["at"] - a["at"] for a, b in zip(samples, samples[1:])) + assert 38 <= load <= 42 and 30 <= drain <= 45 and gap < 5 + assert timing[path.name] == { + "file": path.name, + "load_seconds": load, + "finish_to_report_seconds": drain, + "max_resource_gap_seconds": gap, + "result": "usable", + } + assert len(samples) == 21 + container_ids = {c["id"] for c in samples[0]["containers"]} + assert len(container_ids) == 14 + for sample in samples: + assert {c["id"] for c in sample["containers"]} == container_ids + assert all(c["memory_limit"] == limits[c["name"]] for c in sample["containers"]) + assert all(row.endswith(" mtusi2026lab6") for row in run["background"]) + assert summary["sdk_ended_spans"] == summary["collector_spans"]["accepted"] + assert summary["collector_spans"]["failed"] == 0 + if mode in {"on", "tail", "balanced"}: + assert all(summary["traces"][kind]["retained"] == 16 for kind in ("error", "slow")) + if mode == "on": + assert summary["traces"]["normal"]["retained"] == 768 + log = path.with_suffix(".txt").read_text() + assert MEASURED in log and "exit_code: 0" in log + assert "--mode " + mode + " --repeat " + str(repeat) + " --duration 40 --rate 20" in log + summaries.append(summary) + results.append( + { + "file": str(path.relative_to(ROOT)), + "sha256": digest(path), + "requests": 800, + "load_seconds": load, + "drain_seconds": drain, + "max_resource_gap_seconds": gap, + "result": "accepted", + } + ) + groups = { + mode: { + key: { + "median": statistics.median(r[key] for r in summaries if r["mode"] == mode), + "min": min(r[key] for r in summaries if r["mode"] == mode), + "max": max(r[key] for r in summaries if r["mode"] == mode), + } + for key in ("p50_ms", "p95_ms", "p99_ms", "normal_p95_ms") + } + for mode in modes + } + assert groups == comparison["latency_ranges"] + excluded = read(COST / "invalid-series.json") + for run in excluded["runs"]: + for name, expected in run["files"].items(): + assert digest(COST / "invalid-time-gap" / name) == expected + conditions = [] + for path in sorted(COST.glob("conditions-*.json")): + data = read(path) + assert data["runtime_sha"] == MEASURED and data["other_projects"] == {} + assert (data["host_cpus"], data["architecture"], data["own_project"]) == ( + 16, + "arm64", + "mtusi2026lab6", + ) + conditions.append({"file": str(path.relative_to(ROOT)), "sha256": digest(path)}) + medians = { + mode: statistics.median( + r["ingest"]["tempo"]["tempo_distributor_bytes_received_total"] + for r in summaries + if r["mode"] == mode + ) + for mode in modes + } + output = { + "at": datetime.now(timezone.utc).isoformat(), + "entry_sha": ENTRY, + "measured_sha": MEASURED, + "reviewed_sha": REVIEWED, + "runtime_changes": runtime_changes, + "reviewed_changes": reviewed_changes, + "protected_files": len(protected), + "unchanged_telemetry_paths": len(preserved["unchanged_telemetry_paths"]), + "accepted": results, + "excluded_hashes_verified": 4, + "condition_snapshots": conditions, + "total_requests": len(all_ids), + "unexpected_responses": 0, + "comparison_matches_raw": True, + "balanced_tempo_reduction_percent": 100 * (1 - medians["balanced"] / medians["on"]), + "retained": { + mode: { + kind: sum(r["traces"][kind]["retained"] for r in summaries if r["mode"] == mode) + for kind in ("normal", "error", "slow") + } + for mode in modes + }, + "new_load_runs": 0, + "missing_or_invalid_required_series": [], + "result": "PASS", + } + target = Path(__file__).with_name("evidence-audit.json") + target.write_text(json.dumps(output, ensure_ascii=False, indent=2) + "\n") + print( + json.dumps( + { + k: output[k] + for k in ( + "result", + "total_requests", + "balanced_tempo_reduction_percent", + "new_load_runs", + "protected_files", + ) + }, + ensure_ascii=False, + ) + ) + + +if __name__ == "__main__": + main() diff --git a/evidence/validation/closure.json b/evidence/validation/closure.json new file mode 100644 index 00000000..0b4dfe51 --- /dev/null +++ b/evidence/validation/closure.json @@ -0,0 +1,22 @@ +{ + "at": "2026-11-07T01:40:09.124618+00:00", + "relative_links_checked": 263, + "missing_links": [], + "shell_blocks_checked": 3, + "own_running_containers": [], + "running_container_count": 0, + "persistent_volumes_preserved": [ + "mtusi2026lab6_broker-data", + "mtusi2026lab6_grafana-data", + "mtusi2026lab6_healthtools", + "mtusi2026lab6_loki-data", + "mtusi2026lab6_pgdata", + "mtusi2026lab6_prometheus-data", + "mtusi2026lab6_s3data", + "mtusi2026lab6_tempo-data", + "mtusi2026lab6_valkeydata" + ], + "stage_started_compose_projects": [], + "stage_removed_persistent_volumes": false, + "publication_performed": false +} diff --git a/evidence/validation/evidence-audit.json b/evidence/validation/evidence-audit.json new file mode 100644 index 00000000..9282a6be --- /dev/null +++ b/evidence/validation/evidence-audit.json @@ -0,0 +1,217 @@ +{ + "at": "2026-11-07T01:38:25.374708+00:00", + "entry_sha": "1e00d861a803a6d49ef443175b8231cbf048fc02", + "measured_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97", + "reviewed_sha": "6ca1c7549978af3127966540385195ab0587f2e1", + "runtime_changes": [], + "reviewed_changes": [ + "AGENTS.md", + "REPORT.md", + "evidence/README.md", + "evidence/grade3/notes.md", + "evidence/grade4/notes.md", + "evidence/report-audit.md", + "evidence/review-summary.md", + "evidence/track5/notes.md" + ], + "protected_files": 19, + "unchanged_telemetry_paths": 21, + "accepted": [ + { + "file": "evidence/forward-published/cost/off-1.json", + "sha256": "3002a99d8ff629682ded12762188f906dd0c2647b96ca974ec5c736133c0fafa", + "requests": 800, + "load_seconds": 39.9768009185791, + "drain_seconds": 34.378885984420776, + "max_resource_gap_seconds": 2.047776937484741, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/off-2.json", + "sha256": "c5c59cd419ad6ffe14686ce58afe2898fe0f49c36ac6b5b027c44f5179858b24", + "requests": 800, + "load_seconds": 39.96762013435364, + "drain_seconds": 35.243422985076904, + "max_resource_gap_seconds": 2.048405885696411, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/off-3.json", + "sha256": "d4f8b4da853854b841f361fc3dba60896a56306324f76e6bf272848b5517a250", + "requests": 800, + "load_seconds": 39.97038507461548, + "drain_seconds": 35.21114897727966, + "max_resource_gap_seconds": 2.0483851432800293, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/on-1.json", + "sha256": "7968f68a66e2159ec1a10cee21a43d2dfd93107d3fb0515d9ac9353225c486be", + "requests": 800, + "load_seconds": 39.960899114608765, + "drain_seconds": 35.31035900115967, + "max_resource_gap_seconds": 2.0440289974212646, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/on-2.json", + "sha256": "470e617c36cbf2be5df5ab24f8701bd16b37e447ac35fc1a7d2c04132fcc5c89", + "requests": 800, + "load_seconds": 39.967061042785645, + "drain_seconds": 34.75409412384033, + "max_resource_gap_seconds": 2.045710802078247, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/on-3.json", + "sha256": "b461a8336156904dfaa22b63ae806f349566c961a0fd447d592fac2cb4f8ca2f", + "requests": 800, + "load_seconds": 39.961934089660645, + "drain_seconds": 35.3386869430542, + "max_resource_gap_seconds": 2.0448179244995117, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/head-1.json", + "sha256": "827ce337e05ae312803e542036eb37abd6b6e3596aa7291d18bab2d48edc0532", + "requests": 800, + "load_seconds": 39.960408210754395, + "drain_seconds": 34.749109983444214, + "max_resource_gap_seconds": 2.0449328422546387, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/head-2.json", + "sha256": "7dce2ebfa73dc3b27514c6a55a0d74331ceba4e269c6cbc9fa87e8995374a5cf", + "requests": 800, + "load_seconds": 39.95907402038574, + "drain_seconds": 34.537447929382324, + "max_resource_gap_seconds": 2.0501198768615723, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/head-3.json", + "sha256": "41d8d9575bbe1aca87fc5a923451739a31a5b064efe582bc3c0b6bacfa766a4b", + "requests": 800, + "load_seconds": 39.96534299850464, + "drain_seconds": 35.03631401062012, + "max_resource_gap_seconds": 2.0513830184936523, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/tail-1.json", + "sha256": "81b9f2f2710923d94d3a6e35b7a838d4086b8a1b153f45e1e2a83cd6b035e4e0", + "requests": 800, + "load_seconds": 39.969640254974365, + "drain_seconds": 35.31044888496399, + "max_resource_gap_seconds": 2.0470268726348877, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/tail-2.json", + "sha256": "7dd0025cc87f6415970820ed68572686f4c841c5916cc1f8810a5ff8bc356a9a", + "requests": 800, + "load_seconds": 39.96142888069153, + "drain_seconds": 34.63654613494873, + "max_resource_gap_seconds": 2.0448548793792725, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/tail-3.json", + "sha256": "4de48be26aac53386d9cf987d21762035cb450c1d6be3a13f871894a60e33194", + "requests": 800, + "load_seconds": 39.968284130096436, + "drain_seconds": 35.04265284538269, + "max_resource_gap_seconds": 2.047273874282837, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/balanced-1.json", + "sha256": "db64e72d83f7394dfc2198f5b11c47280c15bbcdcdedf76ab255b9418cce682a", + "requests": 800, + "load_seconds": 39.965638160705566, + "drain_seconds": 34.83575201034546, + "max_resource_gap_seconds": 2.0490190982818604, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/balanced-2.json", + "sha256": "cf833ff61138dff1687bc61e4673d31a356a53fbc3d123486ccb7e5cd7dcd0b0", + "requests": 800, + "load_seconds": 39.96572422981262, + "drain_seconds": 35.22300386428833, + "max_resource_gap_seconds": 2.0449130535125732, + "result": "accepted" + }, + { + "file": "evidence/forward-published/cost/balanced-3.json", + "sha256": "bf523810f79f4a5280d34878c3c67d7b36e37697490eb7f67e0776ffa60a1354", + "requests": 800, + "load_seconds": 39.96644401550293, + "drain_seconds": 35.353606939315796, + "max_resource_gap_seconds": 2.0450639724731445, + "result": "accepted" + } + ], + "excluded_hashes_verified": 4, + "condition_snapshots": [ + { + "file": "evidence/forward-published/cost/conditions-repeat-end.json", + "sha256": "3ac62e66e05cd82f5749b16a936211faf030a14b3f475107f5f879c5ce788a78" + }, + { + "file": "evidence/forward-published/cost/conditions-repeat-start.json", + "sha256": "a54a4668ce1b07723ed167ed896c1c1781ac419183d695408c2f6f79abd20b20" + }, + { + "file": "evidence/forward-published/cost/conditions-round-1.json", + "sha256": "a12baa84b38b0adc2a1dae6c24148041481223b230e19adfcc6e18f17c36f4a8" + }, + { + "file": "evidence/forward-published/cost/conditions-round-2.json", + "sha256": "9561fee169bc98b76c2c578628011e96b6afa25bde282c3a00e30975dd1dafcd" + }, + { + "file": "evidence/forward-published/cost/conditions-round-3.json", + "sha256": "4ec5fe9f1982892c828712fc8eb9af4d9637f21921645aa4a0aad03b441a3b81" + }, + { + "file": "evidence/forward-published/cost/conditions-start.json", + "sha256": "b372d02a9c308382c8b2015fafb0405dfa24ba7262b1180a4e6d1a01c4693415" + } + ], + "total_requests": 12000, + "unexpected_responses": 0, + "comparison_matches_raw": true, + "balanced_tempo_reduction_percent": 92.16997926079115, + "retained": { + "off": { + "normal": 0, + "error": 0, + "slow": 0 + }, + "on": { + "normal": 2304, + "error": 48, + "slow": 48 + }, + "head": { + "normal": 237, + "error": 6, + "slow": 3 + }, + "tail": { + "normal": 235, + "error": 48, + "slow": 48 + }, + "balanced": { + "normal": 101, + "error": 48, + "slow": 48 + } + }, + "new_load_runs": 0, + "missing_or_invalid_required_series": [], + "result": "PASS" +} diff --git a/evidence/validation/openspec-list.txt b/evidence/validation/openspec-list.txt new file mode 100644 index 00000000..ca1f1ca8 --- /dev/null +++ b/evidence/validation/openspec-list.txt @@ -0,0 +1,12 @@ +UTC: 2026-11-07T01:34:49.066068+00:00 +SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02 +$ openspec list --json +{ + "changes": [], + "root": { + "path": "", + "source": "nearest" + } +} + +exit_code: 0 diff --git a/evidence/validation/openspec.txt b/evidence/validation/openspec.txt new file mode 100644 index 00000000..932bd2e9 --- /dev/null +++ b/evidence/validation/openspec.txt @@ -0,0 +1,32 @@ +UTC: 2026-11-07T01:34:48.355155+00:00 +SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02 +$ openspec validate --all --strict --no-interactive +✓ spec/lab1-event-publication +✓ spec/lab1-messenger-chats +✓ spec/lab1-messenger-history +✓ spec/lab1-messenger-identity +✓ spec/lab1-service-operability +✓ spec/lab2-auth-sessions +✓ spec/lab2-dependency-failures +✓ spec/lab2-history-index +✓ spec/lab2-persistent-storage +✓ spec/lab2-session-cache +✓ spec/lab3-failover-operations +✓ spec/lab3-idempotent-messages +✓ spec/lab3-load-balancing +✓ spec/lab4-attachments +✓ spec/lab4-object-storage +✓ spec/lab4-storage-reconciler +✓ spec/lab4-upload-resilience +✓ spec/lab5-attachment-pipeline +✓ spec/lab5-image-variants +✓ spec/lab5-job-delivery +✓ spec/lab5-job-recovery +✓ spec/lab5-versioned-pipeline +✓ spec/lab6-observability-cost +✓ spec/lab6-observability-resilience +✓ spec/lab6-service-telemetry +✓ spec/lab6-telemetry-stack +Totals: 26 passed, 0 failed (26 items) + +exit_code: 0 diff --git a/evidence/validation/precommit-lint.txt b/evidence/validation/precommit-lint.txt new file mode 100644 index 00000000..70758f42 --- /dev/null +++ b/evidence/validation/precommit-lint.txt @@ -0,0 +1,18 @@ +UTC: 2026-11-07T01:40:55.212270+00:00 +$ make lint +.venv/bin/ruff check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +All checks passed! +.venv/bin/ruff format --check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +216 files already formatted +.venv/bin/ty check src student-tests alembic +All checks passed! + +exit_code: 0 + +$ make check validate +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. + +exit_code: 0 diff --git a/evidence/validation/quality.txt b/evidence/validation/quality.txt new file mode 100644 index 00000000..cdd464a5 --- /dev/null +++ b/evidence/validation/quality.txt @@ -0,0 +1,15 @@ +UTC: 2026-11-07T01:34:47.753014+00:00 +SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02 +$ make check validate lint +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +.venv/bin/ruff check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +All checks passed! +.venv/bin/ruff format --check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +216 files already formatted +.venv/bin/ty check src student-tests alembic +All checks passed! + +exit_code: 0 diff --git a/evidence/validation/secret-scan.json b/evidence/validation/secret-scan.json new file mode 100644 index 00000000..d34abfec --- /dev/null +++ b/evidence/validation/secret-scan.json @@ -0,0 +1,52 @@ +{ + "at": "2026-11-07T01:41:45.877410+00:00", + "tracked_files": 714, + "forbidden_paths": [], + "candidate_locations": [ + { + "file": "evidence/grade4/student-tests-first.txt", + "line": 205, + "rule": "dsn_credentials", + "classification": "Synthetic test fixture DSN; no deployed credentials" + }, + { + "file": "scripts/broker-secrets.sh", + "line": 17, + "rule": "dsn_credentials", + "classification": "Shell template with variable substitution, no literal credentials" + }, + { + "file": "student-tests/adapters/test_rabbitmq.py", + "line": 105, + "rule": "dsn_credentials", + "classification": "Synthetic test fixture DSN; no deployed credentials" + }, + { + "file": "student-tests/api/test_operability.py", + "line": 131, + "rule": "dsn_credentials", + "classification": "Synthetic test fixture DSN; no deployed credentials" + }, + { + "file": "student-tests/api/test_operability.py", + "line": 143, + "rule": "dsn_credentials", + "classification": "Synthetic test fixture DSN; no deployed credentials" + }, + { + "file": "student-tests/conftest.py", + "line": 141, + "rule": "dsn_credentials", + "classification": "Synthetic test fixture DSN; no deployed credentials" + } + ], + "confirmed_secrets": 0, + "method": "Pattern scan of tracked text; no secret values emitted, no untracked .env/secrets read. Candidates require classification; not an exhaustive guarantee.", + "patterns": [ + "provider_token", + "private_key_payload", + "signed_s3_url", + "literal_bearer", + "dsn_credentials" + ] +} diff --git a/evidence/validation/student-test-s3-retry.txt b/evidence/validation/student-test-s3-retry.txt new file mode 100644 index 00000000..debbcad2 --- /dev/null +++ b/evidence/validation/student-test-s3-retry.txt @@ -0,0 +1,18 @@ +UTC: 2026-11-07T01:39:03.333906+00:00 +SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02 +Reason: retry only two RustFS fixture readiness errors with loopback proxy bypass; implementation unchanged. +$ scripts/lab6.sh make student-test PYTEST_ARGS="student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size" +.venv/bin/pytest student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size +============================= test session starts ============================== +platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 +rootdir: +configfile: pyproject.toml +plugins: asyncio-1.4.0, anyio-4.15.1 +asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function +collected 2 items + +student-tests/adapters/test_s3_storage.py .. [100%] + +============================== 2 passed in 0.76s =============================== + +exit_code: 0 diff --git a/evidence/validation/student-test.txt b/evidence/validation/student-test.txt new file mode 100644 index 00000000..ed5d0796 --- /dev/null +++ b/evidence/validation/student-test.txt @@ -0,0 +1,130 @@ +UTC: 2026-11-07T01:34:49.887449+00:00 +SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02 +$ make student-test +.venv/bin/pytest +============================= test session starts ============================== +platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 +rootdir: +configfile: pyproject.toml +testpaths: student-tests +plugins: asyncio-1.4.0, anyio-4.15.1 +asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function +collected 1016 items / 19 deselected / 997 selected + +student-tests/adapters/test_rabbitmq.py ..... [ 0%] +student-tests/adapters/test_s3_storage.py EE. [ 0%] +student-tests/api/test_access.py ......... [ 1%] +student-tests/api/test_attachments.py .................................. [ 5%] +...... [ 5%] +student-tests/api/test_bounded_contexts.py .................... [ 7%] +student-tests/api/test_cache.py ............ [ 8%] +student-tests/api/test_concurrency.py .... [ 9%] +student-tests/api/test_consistency.py ........ [ 10%] +student-tests/api/test_cost_experiment.py ... [ 10%] +student-tests/api/test_drain.py .. [ 10%] +student-tests/api/test_events.py ...... [ 11%] +student-tests/api/test_http_telemetry.py . [ 11%] +student-tests/api/test_idempotency.py ............... [ 12%] +student-tests/api/test_instance.py .... [ 13%] +student-tests/api/test_job_returning.py . [ 13%] +student-tests/api/test_message_attachments.py ............. [ 14%] +student-tests/api/test_migrations.py ................................... [ 18%] +. [ 18%] +student-tests/api/test_negative.py ..................................... [ 21%] + [ 21%] +student-tests/api/test_nul_validation.py ................. [ 23%] +student-tests/api/test_operability.py .............. [ 25%] +student-tests/api/test_pagination.py .................. [ 26%] +student-tests/api/test_pipeline.py ............. [ 28%] +student-tests/api/test_pool.py ............ [ 29%] +student-tests/api/test_reconciler.py ........... [ 30%] +student-tests/api/test_recovery.py ............ [ 31%] +student-tests/api/test_sessions.py ...................... [ 33%] +student-tests/api/test_timeout.py ........ [ 34%] +student-tests/api/test_trace_context.py . [ 34%] +student-tests/api/test_upload_consistency.py ......... [ 35%] +student-tests/api/test_versioned_pipeline.py ........... [ 36%] +student-tests/api/test_wire_format.py .. [ 37%] +student-tests/unit/test_attachments_domain.py .......................... [ 39%] +. [ 39%] +student-tests/unit/test_authentication.py ............................. [ 42%] +student-tests/unit/test_cursor.py ........... [ 43%] +student-tests/unit/test_domain.py ...................................... [ 47%] +.. [ 47%] +student-tests/unit/test_haproxy_errors.py ............... [ 49%] +student-tests/unit/test_image_inspection.py ............................ [ 52%] +........................................................................ [ 59%] +........................................................................ [ 66%] +..................................................... [ 71%] +student-tests/unit/test_job_observer.py . [ 71%] +student-tests/unit/test_nul_inputs.py ...................... [ 74%] +student-tests/unit/test_pipeline_domain.py ....................... [ 76%] +student-tests/unit/test_png_memory.py ....s [ 76%] +student-tests/unit/test_png_transparency.py ............................ [ 79%] +........................................................................ [ 86%] +.............................................. [ 91%] +student-tests/unit/test_png_upload.py .. [ 91%] +student-tests/unit/test_probe.py .............. [ 93%] +student-tests/unit/test_reconcile_measurements.py ...... [ 93%] +student-tests/unit/test_render_pool.py .....s. [ 94%] +student-tests/unit/test_renderer.py .............................. [ 97%] +student-tests/unit/test_scaling.py ..... [ 97%] +student-tests/unit/test_session_cache.py .......... [ 98%] +student-tests/unit/test_telemetry_platform.py ..... [ 99%] +student-tests/unit/test_timeouts.py . [ 99%] +student-tests/unit/test_worker_delivery.py .... [100%] + +==================================== ERRORS ==================================== +___________ ERROR at setup of test_round_trip_of_the_largest_object ____________ + + @pytest.fixture(scope="session") + def rustfs() -> Iterator[str]: + name = f"mtusi-lab6-test-rustfs-{uuid4().hex[:8]}" + keys = ["-e", f"RUSTFS_ACCESS_KEY={ROOT_KEY}", "-e", f"RUSTFS_SECRET_KEY={ROOT_SECRET}"] + container(name, *keys, "-p", f"127.0.0.1:{free_port()}:9000", image(RUSTFS_IMAGE)) + try: + endpoint = f"http://127.0.0.1:{published(name, 9000)}" + deadline = time.monotonic() + STARTUP_SECONDS + while True: + try: + if httpx.get(f"{endpoint}/health/ready", timeout=1).status_code == 200: + break + except httpx.TransportError: + pass +> assert time.monotonic() < deadline, "RustFS не стал готов" +E AssertionError: RustFS не стал готов +E assert 1263360.179650416 < 1263359.923121166 +E + where 1263360.179650416 = () +E + where = time.monotonic + +student-tests/adapters/test_s3_storage.py:36: AssertionError +__ ERROR at setup of test_listing_is_paged_in_byte_order_and_stat_reads_size ___ + + @pytest.fixture(scope="session") + def rustfs() -> Iterator[str]: + name = f"mtusi-lab6-test-rustfs-{uuid4().hex[:8]}" + keys = ["-e", f"RUSTFS_ACCESS_KEY={ROOT_KEY}", "-e", f"RUSTFS_SECRET_KEY={ROOT_SECRET}"] + container(name, *keys, "-p", f"127.0.0.1:{free_port()}:9000", image(RUSTFS_IMAGE)) + try: + endpoint = f"http://127.0.0.1:{published(name, 9000)}" + deadline = time.monotonic() + STARTUP_SECONDS + while True: + try: + if httpx.get(f"{endpoint}/health/ready", timeout=1).status_code == 200: + break + except httpx.TransportError: + pass +> assert time.monotonic() < deadline, "RustFS не стал готов" +E AssertionError: RustFS не стал готов +E assert 1263360.179650416 < 1263359.923121166 +E + where 1263360.179650416 = () +E + where = time.monotonic + +student-tests/adapters/test_s3_storage.py:36: AssertionError +=========================== short test summary info ============================ +ERROR student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object +ERROR student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size +===== 993 passed, 2 skipped, 19 deselected, 2 errors in 232.27s (0:03:52) ====== +make: *** [student-test] Error 1 + +exit_code: 2 diff --git a/evidence/validation/test-environment.json b/evidence/validation/test-environment.json new file mode 100644 index 00000000..2ba2acbb --- /dev/null +++ b/evidence/validation/test-environment.json @@ -0,0 +1,11 @@ +{ + "at": "2026-11-07T01:39:14.026824+00:00", + "proxy_env_present": false, + "system_proxy_hosts": { + "http": "127.0.0.1", + "https": "127.0.0.1" + }, + "initial_loopback_bypass": "", + "retry_environment": "scripts/lab6.sh exports NO_PROXY=localhost,127.0.0.1,::1", + "failed_fixture": "student-tests/adapters/test_s3_storage.py:36 readiness timeout before adapter assertions" +}