forked from mtusi2026/mtusi2026lab6
Validate preserved load evidence and finalize release checks
This commit is contained in:
@@ -2,9 +2,9 @@
|
||||
|
||||
Автор: **Костылев Артём, БПИ2303**. Заявленная оценка — **«5»**, трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка.
|
||||
|
||||
Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация/PR выполняются отдельным этапом, здесь не заявлены.
|
||||
Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация выполняется отдельным этапом, здесь не заявлены.
|
||||
|
||||
Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.
|
||||
Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md), [финальный аудит нагрузки](evidence/load-validation.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
@@ -15,7 +15,7 @@
|
||||
```sh
|
||||
git clone "$REPOSITORY_URL" mtusi2026lab6
|
||||
cd mtusi2026lab6
|
||||
git switch solution/bpi2303-kostylev
|
||||
git switch -c solution/bpi2303-kostylev origin/main
|
||||
uv python install 3.14
|
||||
uv sync --locked --group dev
|
||||
make check validate lint
|
||||
@@ -36,7 +36,7 @@ scripts/lab6.sh make down
|
||||
|
||||
`make secrets` создаёт локальные `.env` и `secrets/`, не печатая значения; существующие значения сохраняются. `make up` собирает образ и ждёт healthy: PostgreSQL → one-shot `alembic upgrade head`, S3 → `s3-init` (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: `scripts/lab6.sh make migrate`.
|
||||
|
||||
Полные собственные тесты запускаются отдельно: `make student-test`. Они создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В этом отчётном этапе использован сохранённый результат, а не новый запуск. Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.
|
||||
Полные собственные тесты запускаются отдельно: `scripts/lab6.sh make student-test`. Обвязка задаёт обход localhost через `NO_PROXY`, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в [финальном аудите](evidence/load-validation.md). Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.
|
||||
|
||||
`make down` останавливает только выбранный Compose project и сохраняет volumes. Существующая цель `scripts/lab6.sh make reset-data` намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — `mtusi2026lab6` в этом репозитории; временный — только `hlpipe-lab6-*` в разрешённом координатором каталоге, с отдельными портами/volumes.
|
||||
|
||||
@@ -111,7 +111,7 @@ Upload возвращает `202 queued` после durable acceptance; зада
|
||||
| Критерий | Команда / сценарий | Наблюдение | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Структура, контракт, качество | `make check validate lint` | OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | [final-quality.txt](evidence/forward-published/final-quality.txt), [свежая проверка отчёта](evidence/report-audit.md) |
|
||||
| Собственные регрессии, SQLAlchemy/Alembic | `make student-test` | 995 passed, 2 Linux-only skipped, 19 stack deselected; сохранённый полный прогон | [student-test.txt](evidence/forward-published/student-test.txt) |
|
||||
| Собственные регрессии, SQLAlchemy/Alembic | `scripts/lab6.sh make student-test` | Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed | [прежний полный](evidence/forward-published/student-test.txt), [свежий полный](evidence/validation/student-test.txt), [повтор S3](evidence/validation/student-test-s3-retry.txt), [разбор](evidence/load-validation.md) |
|
||||
| 3: минимум lab5 при telemetry on | `make test` | Public API PASS; final smoke после возврата defaults | [smoke.txt](evidence/forward-published/smoke.txt), [final-smoke.txt](evidence/forward-published/final-smoke.txt) |
|
||||
| 3: durable pipeline и повторы | `python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json` | 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | [pipeline.txt](evidence/forward-published/pipeline.txt), [pipeline.json](evidence/forward-published/pipeline.json) |
|
||||
| 3: сохранение данных и сессий | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | [persistence.txt](evidence/forward-published/persistence.txt), [hook](scripts/restart.sh) |
|
||||
@@ -235,6 +235,12 @@ OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000
|
||||
|
||||
После опытов возвращены SDK on/ratio1/interval10s, `collector.yaml`, `COST_EXPERIMENT=false`: [defaults-restored.json](evidence/forward-published/defaults-restored.json). Стенд остановлен без удаления данных, 9 volumes сохранены: [shutdown.txt](evidence/forward-published/shutdown.txt), [closure.json](evidence/forward-published/closure.json). Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker.
|
||||
|
||||
### Финальная validation перед публикацией
|
||||
|
||||
На входном HEAD `1e00d861a803a6d49ef443175b8231cbf048fc02` аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. **Нагрузку повторно не запускали.** [Аудит](evidence/load-validation.md) содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям.
|
||||
|
||||
Свежие `make check validate lint` и OpenSpec strict (26 specs) прошли. Свежий полный `make student-test` завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с `NO_PROXY`: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Ревью `6ca1c7549978af3127966540385195ab0587f2e1` не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются:
|
||||
|
||||
@@ -13,6 +13,7 @@
|
||||
| [track5/notes.md](track5/notes.md) | **Исторический код** `202b985deacda79b6d8df65dcefe8a1af43f1a8e`, измеритель `bc0b1620825b53fd3a3019623326ebf68cbbbeec` | Старые 519 passed, −91,1% Tempo и 15 серий не смешивать с актуальными 995 passed / −92,2%; auth/cache путь изменился и был перемерен |
|
||||
| [review-summary.md](review-summary.md) | Результат независимого review из runner на `6ca1c75…` | 0 major, 5 minor; полный список ограничений, не новое ревью |
|
||||
| [report-audit.md](report-audit.md) | Документационный этап поверх `6ca1c75…` | Только статические проверки и сверка сохранённых чисел; Docker/нагрузка не запускались |
|
||||
| [load-validation.md](load-validation.md) | Финальная validation поверх `1e00d861a803a6d49ef443175b8231cbf048fc02` | Аудит применимости всех 15 серий, свежие проверки в [validation](validation); новых нагрузочных запусков нет, публикация не выполнялась |
|
||||
|
||||
[closure.json](forward-published/closure.json) фиксирует окончание реализации: runtime не менялся после замеров, 22 проверяемых тогда файла и прежний evidence сохранены, своих работающих контейнеров нет, 9 volumes оставлены. Число 22 включает документы, которые отчётный этап имеет право обновить; это исторический снимок, не запрет на REPORT/AGENTS/этот индекс. Нормативные contracts/tests/README/COURSE и infra README неизменны. В отчётном этапе raw evidence не переписывается; в старые notes добавлена только отметка исторического кода.
|
||||
|
||||
|
||||
@@ -0,0 +1,71 @@
|
||||
# Финальная проверка применимости нагрузки
|
||||
|
||||
Фаза VALIDATION, 2026-11-07. Исходный HEAD: `1e00d861a803a6d49ef443175b8231cbf048fc02`, ветка `solution/bpi2303-kostylev`, дерево при старте чистое. Публикация не разрешена и не выполнялась. Агент работает один, runner/state не меняет.
|
||||
|
||||
## Решение о повторной нагрузке
|
||||
|
||||
**Приняты все 15 сохранённых серий; новых нагрузочных запусков — 0.** Отсутствующих, неподтверждённых или затронутых текущими изменениями обязательных серий нет. Трек 1 требует off/on и минимум две настройки sampling/aggregation; представлены off/on/head/tail/balanced, по три повтора согласно принятой методике. Матрица масштабирования и поиск максимального throughput не входят в выбранный трек. Новые SLO не вводятся.
|
||||
|
||||
Измеренный код приложения и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Независимое ревью: `6ca1c7549978af3127966540385195ab0587f2e1`. От измеренного SHA до входного HEAD менялись evidence, документы и спецификации; runtime, зависимости, Makefile, Dockerfile, Compose, конфигурации и генераторы не менялись. После ревью изменены только восемь разрешённых Markdown-файлов отчётного этапа. Этот этап также не меняет реализацию.
|
||||
|
||||
Команда аудита: `python3 evidence/validation/audit.py`. [Исходник проверки](validation/audit.py) и [машинный результат](validation/evidence-audit.json) сохраняют SHA, hashes всех принятых JSON, проверки параметров, времени, ответов, внешних samples, лимитов, counters, traces и пересчёт comparison. Пересчёт использует `scripts/obs_cost_summary.py:summarize` без запуска генератора/перезаписи сырья; HTTP-ответы, категории и временные окна дополнительно проверены непосредственно по raw JSON. 19 нормативных файлов contracts/tests/README/COURSE/infra README совпадают с корнем skeleton `470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1`.
|
||||
|
||||
## Принятые серии
|
||||
|
||||
Источник: [методика](forward-published/cost/method.md), [raw-файлы и команды](README.md#трек-1-только-пригодные-серии), [comparison](forward-published/cost/comparison.json). В каждой серии 40 s ×20 arrivals/s, 800 запросов: 768 normal, 16 ожидаемых 503, 16 slow; 20 прогревочных GET, 35 s ожидания до учёта, 35 s drain после нагрузки, до 64 клиентских потоков. Путь GET users/me и один синтетический пользователь/сессия на серию неизменны. Идентификаторы запросов между сериями не пересекаются.
|
||||
|
||||
Границы пригодности взяты из существующей методики, не подобраны заново: load 38..42 s, drain/report 30..45 s, max gap внешних samples <5 s. Каждая принятая серия содержит 21 sample и одинаковые 14 контейнеров внутри своего окна.
|
||||
|
||||
| Серия | Load / drain / max gap, s | Решение |
|
||||
| --- | --- | --- |
|
||||
| off-1 | 39.977 / 34.379 / 2.048 | Принята |
|
||||
| off-2 | 39.968 / 35.243 / 2.048 | Принята |
|
||||
| off-3 | 39.970 / 35.211 / 2.048 | Принята |
|
||||
| on-1 | 39.961 / 35.310 / 2.044 | Принята |
|
||||
| on-2 | 39.967 / 34.754 / 2.046 | Принята |
|
||||
| on-3 | 39.962 / 35.339 / 2.045 | Принята |
|
||||
| head-1 | 39.960 / 34.749 / 2.045 | Принята |
|
||||
| head-2 | 39.959 / 34.537 / 2.050 | Принята |
|
||||
| head-3 | 39.965 / 35.036 / 2.051 | Принята |
|
||||
| tail-1 | 39.970 / 35.310 / 2.047 | Принята |
|
||||
| tail-2 | 39.961 / 34.637 / 2.045 | Принята |
|
||||
| tail-3 | 39.968 / 35.043 / 2.047 | Принята |
|
||||
| balanced-1 | 39.966 / 34.836 / 2.049 | Принята |
|
||||
| balanced-2 | 39.966 / 35.223 / 2.045 | Принята |
|
||||
| balanced-3 | 39.966 / 35.354 / 2.045 | Принята |
|
||||
|
||||
Итого 12 000 запросов: 11 760 ответов 200 и 240 намеренных 503; неожиданных ответов нет. Все 15 записей и агрегаты `comparison.json` совпадают с пересчётом. SDK ended = Collector accepted, failed exports = 0. On сохранил 2400/2400 server traces; balanced — 48/48 error и 48/48 slow, снижение медианного Tempo ingest **92,16998%**. Head сохранил 6/48 error и 3/48 slow: намеренный sampling отдельно от потерь экспорта.
|
||||
|
||||
Первоначальные `on-3` и `head-3` остаются исключёнными: drain 932,714 s и нагрузка 938,154 s / gap 900,354 s соответственно. Их четыре исходных JSON/TXT совпали с SHA-256 из [invalid-series.json](forward-published/cost/invalid-series.json). Уже имеющиеся адресные повторы приняты; оба оригинала и все остальные результаты сохранены. Эти дополнительные 1600 запросов не включены в 12 000.
|
||||
|
||||
## Конфигурация, ресурсы и dataset
|
||||
|
||||
[Runtime](forward-published/runtime.json): image `sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d`; macOS arm64, 16 CPU, Docker 28.3.2 / 16 CPU / 8 217 190 400 bytes. API ×2, по два процесса; ресурсы каждого контейнера сверены по всем samples с runtime.json. PostgreSQL фактически 768 MiB, отличие от default 1 GiB явно сохранено в REPORT. CPU/RAM измерены извне по cgroups; telemetry-off не лишает их наблюдения.
|
||||
|
||||
Настройки сверены с неизменными `scripts/obs_cost.py` и `infra/otel/collector*.yaml`: off отключает SDK, on 100%, head 10%; tail ERROR/≥300 ms/10%, balanced ERROR/≥300 ms/5% и метрики раз в 30 s. Decision wait 10 s, bounded queues и memory limiter сохранены. Итоговые defaults восстановлены в [defaults-restored.json](forward-published/defaults-restored.json).
|
||||
|
||||
Все шесть снимков conditions и inventory каждой серии содержат только project mtusi2026lab6; host load записан. Это не доказательство полной эксклюзивности macOS. Dataset — HTTP/DB-профиль с сохранёнными volumes, без нормализации полного размера БД; порядок режимов фиксирован. Массовый рендер не включён в этот трек, отдельные PNG-проверки находятся в forward-published. CPU-окно не включает весь drain, RAM — максимум samples, три повтора не дают доказанной статистической значимости малых различий latency. Эти границы не отменяют сравнение ingest и фактический захват контрольных событий.
|
||||
|
||||
## Остальные обязательные сценарии
|
||||
|
||||
Сохранённые smoke/persistence/failover/restore, pipeline (9 сценариев), API/job correlation, W3C chain/retry и worker/SQL-lock firing→resolved относятся к тому же runtime SHA. Они приняты по [таблице REPORT](../REPORT.md#доказательства-критериев) и командам/exit code соответствующих raw-файлов; повторного стенда ради неизменного кода не требуется.
|
||||
|
||||
Исторические `grade3/grade4/track5` не подменяют новые измерения. История telemetry и storage outage переиспользованы только по [preserved-mechanisms.json](forward-published/preserved-mechanisms.json): 21 путь совпал с базой `237a7c93e507b984add5b49c51c6720a6bfca505`. Конфигурации хранения и volumes, bounded export и readiness не затронуты поздним переносом. Более ранние добавления sampling/accounting не меняют storage persistence; прежний максимум RAM 252,7 MiB описывает только тот опыт, а не новую гарантию для любого workload. Пять minor независимого ревью остаются в [ограничениях REPORT](../REPORT.md#ограничения-и-следующие-шаги).
|
||||
|
||||
## Проверки текущего этапа
|
||||
|
||||
`make check validate lint` и `openspec validate --all --strict --no-interactive` прошли; 26 спецификаций, активных changes нет. Логи: [quality](validation/quality.txt), [OpenSpec](validation/openspec.txt), [list](validation/openspec-list.txt). Новые propose/apply/archive не требуются: реализация и спецификации не меняются.
|
||||
|
||||
Свежий полный `make student-test`: **993 passed, 2 skipped, 19 deselected, 2 errors**, exit 2, 232,27 s. Обе ошибки — единый session fixture RustFS: таймаут health/ready до выполнения adapter assertions. Первый прогон [сохранён](validation/student-test.txt) и не объявляется успешным.
|
||||
|
||||
В [диагностике окружения](validation/test-environment.json) обнаружен системный HTTP/HTTPS-прокси macOS при пустом `NO_PROXY` и отсутствии proxy env. Штатная обвязка задаёт обход localhost. Команда адресного повтора: `scripts/lab6.sh make student-test PYTEST_ARGS="student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size"`. Результат: **2 passed, exit 0, 0,76 s**, [лог](validation/student-test-s3-retry.txt). Это согласуется с причиной в proxy-окружении; код, assertions и образ не менялись. Остальные 993 успешных теста не повторялись. Совместно два запуска подтверждают 995 тестов, но единый свежий полный зелёный прогон не заявляется. Прежний полный 995/2/19 остаётся отдельным сохранённым результатом реализации.
|
||||
|
||||
REPORT дополнен ссылкой на этот аудит; команды чистого clone согласованы с назначенной публикацией в `main`, команда собственных тестов использует штатный `NO_PROXY`. Новых implementation findings нет; пять minor сохранены без исправлений. Независимое ревью реализации остаётся применимым.
|
||||
|
||||
Проверка tracked-файлов на секреты: [secret-scan.json](validation/secret-scan.json). Запрещённых путей нет; кандидаты DSN классифицированы как синтетические тестовые значения и shell-шаблон без литеральных credentials. Значения секретов не выводились, локальные `.env`/`secrets/` не читались. Это проверка по указанным сигнатурам, не доказательство невозможности любой утечки; minor о Loki structured metadata сохраняется.
|
||||
|
||||
В новых TXT заменён абсолютный путь репозитория на `<repo>`; у stdout pytest удалён конечный пробел строки команды. Результаты, traceback и exit code сохранены. Историческое сырьё не менялось.
|
||||
|
||||
Context7 вызван для Collector; ответ `Monthly quota exceeded`. Проверки применимости основаны на закреплённых локальных конфигурациях и сырье; успешное обращение к внешней документации не заявлено.
|
||||
|
||||
Проверены 263 относительные ссылки и синтаксис трёх shell-блоков; `git diff --check` новых изменений проходит. [Снимок завершения](validation/closure.json): своих работающих контейнеров нет, девять постоянных volumes сохранены. Compose-стенд не поднимался; временные зависимости pytest завершены его fixtures. Чужие контейнеры не останавливались. Изменения этапа ограничены REPORT и evidence; финальный SHA определяется коммитом `git log -1 --format=%H -- evidence/load-validation.md`. Публикация ожидает отдельной фазы координатора.
|
||||
@@ -0,0 +1,220 @@
|
||||
import importlib.util
|
||||
import json
|
||||
import statistics
|
||||
import subprocess
|
||||
from collections import Counter
|
||||
from datetime import datetime, timezone
|
||||
from hashlib import sha256
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
COST = ROOT / "evidence/forward-published/cost"
|
||||
MEASURED = "bc1d7aa7713858acb5d65b61d07e69a640f1ee97"
|
||||
REVIEWED = "6ca1c7549978af3127966540385195ab0587f2e1"
|
||||
ENTRY = "1e00d861a803a6d49ef443175b8231cbf048fc02"
|
||||
SKELETON = "470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1"
|
||||
|
||||
|
||||
def git(*args):
|
||||
return subprocess.check_output(["git", *args], cwd=ROOT, text=True).strip()
|
||||
|
||||
|
||||
def read(path):
|
||||
return json.loads(path.read_text())
|
||||
|
||||
|
||||
def digest(path):
|
||||
return sha256(path.read_bytes()).hexdigest()
|
||||
|
||||
|
||||
def main():
|
||||
changed = git("diff", "--name-only", MEASURED, "HEAD").splitlines()
|
||||
runtime_changes = [
|
||||
p
|
||||
for p in changed
|
||||
if not p.startswith(("evidence/", "openspec/")) and p not in {"AGENTS.md", "REPORT.md"}
|
||||
]
|
||||
assert not runtime_changes, runtime_changes
|
||||
reviewed_changes = git("diff", "--name-only", REVIEWED, "HEAD").splitlines()
|
||||
assert all(
|
||||
p in {"AGENTS.md", "REPORT.md"} or p.startswith("evidence/") for p in reviewed_changes
|
||||
)
|
||||
protected = [
|
||||
p
|
||||
for p in git("ls-tree", "-r", "--name-only", SKELETON).splitlines()
|
||||
if p.startswith(("contracts/", "tests/"))
|
||||
or p in {"README.md", "COURSE.md", "infra/README.md", "infra/otel/README.md"}
|
||||
]
|
||||
assert not git("diff", "--name-only", SKELETON, "HEAD", "--", *protected)
|
||||
preserved = read(ROOT / "evidence/forward-published/preserved-mechanisms.json")
|
||||
assert not git(
|
||||
"diff",
|
||||
"--name-only",
|
||||
preserved["base_sha"],
|
||||
"HEAD",
|
||||
"--",
|
||||
*preserved["unchanged_telemetry_paths"],
|
||||
)
|
||||
spec = importlib.util.spec_from_file_location("summary", ROOT / "scripts/obs_cost_summary.py")
|
||||
module = importlib.util.module_from_spec(spec)
|
||||
spec.loader.exec_module(module)
|
||||
comparison = read(COST / "comparison.json")
|
||||
saved = {r["file"]: r for r in comparison["runs"]}
|
||||
timing = {r["file"]: r for r in read(COST / "measurement-audit.json")["runs"]}
|
||||
runtime = read(ROOT / "evidence/forward-published/runtime.json")
|
||||
assert runtime["application_sha"] == MEASURED
|
||||
limits = {c["name"]: c["memory"] for c in runtime["containers"]}
|
||||
results = []
|
||||
summaries = []
|
||||
all_ids = set()
|
||||
modes = ("off", "on", "head", "tail", "balanced")
|
||||
for mode in modes:
|
||||
for repeat in range(1, 4):
|
||||
path = COST / (mode + "-" + str(repeat) + ".json")
|
||||
run = read(path)
|
||||
summary = module.summarize(path)
|
||||
assert summary == saved[path.name], path.name
|
||||
assert (run["sha"], run["mode"], run["repeat"], run["duration"], run["rate"]) == (
|
||||
MEASURED,
|
||||
mode,
|
||||
repeat,
|
||||
40,
|
||||
20,
|
||||
)
|
||||
assert run["result"] == "PASS" and run["unexpected_responses"] == 0
|
||||
assert Counter(r["category"] for r in run["requests"]) == {
|
||||
"normal": 768,
|
||||
"error": 16,
|
||||
"slow": 16,
|
||||
}
|
||||
assert all(
|
||||
r["status"] == (503 if r["category"] == "error" else 200) for r in run["requests"]
|
||||
)
|
||||
ids = {r["id"] for r in run["requests"]}
|
||||
assert len(ids) == 800 and not ids & all_ids
|
||||
all_ids.update(ids)
|
||||
load = run["finished"] - run["started"]
|
||||
drain = (
|
||||
datetime.fromisoformat(run["utc"].replace("Z", "+00:00")).timestamp()
|
||||
- run["finished"]
|
||||
)
|
||||
samples = run["resources"]
|
||||
gap = max(b["at"] - a["at"] for a, b in zip(samples, samples[1:]))
|
||||
assert 38 <= load <= 42 and 30 <= drain <= 45 and gap < 5
|
||||
assert timing[path.name] == {
|
||||
"file": path.name,
|
||||
"load_seconds": load,
|
||||
"finish_to_report_seconds": drain,
|
||||
"max_resource_gap_seconds": gap,
|
||||
"result": "usable",
|
||||
}
|
||||
assert len(samples) == 21
|
||||
container_ids = {c["id"] for c in samples[0]["containers"]}
|
||||
assert len(container_ids) == 14
|
||||
for sample in samples:
|
||||
assert {c["id"] for c in sample["containers"]} == container_ids
|
||||
assert all(c["memory_limit"] == limits[c["name"]] for c in sample["containers"])
|
||||
assert all(row.endswith(" mtusi2026lab6") for row in run["background"])
|
||||
assert summary["sdk_ended_spans"] == summary["collector_spans"]["accepted"]
|
||||
assert summary["collector_spans"]["failed"] == 0
|
||||
if mode in {"on", "tail", "balanced"}:
|
||||
assert all(summary["traces"][kind]["retained"] == 16 for kind in ("error", "slow"))
|
||||
if mode == "on":
|
||||
assert summary["traces"]["normal"]["retained"] == 768
|
||||
log = path.with_suffix(".txt").read_text()
|
||||
assert MEASURED in log and "exit_code: 0" in log
|
||||
assert "--mode " + mode + " --repeat " + str(repeat) + " --duration 40 --rate 20" in log
|
||||
summaries.append(summary)
|
||||
results.append(
|
||||
{
|
||||
"file": str(path.relative_to(ROOT)),
|
||||
"sha256": digest(path),
|
||||
"requests": 800,
|
||||
"load_seconds": load,
|
||||
"drain_seconds": drain,
|
||||
"max_resource_gap_seconds": gap,
|
||||
"result": "accepted",
|
||||
}
|
||||
)
|
||||
groups = {
|
||||
mode: {
|
||||
key: {
|
||||
"median": statistics.median(r[key] for r in summaries if r["mode"] == mode),
|
||||
"min": min(r[key] for r in summaries if r["mode"] == mode),
|
||||
"max": max(r[key] for r in summaries if r["mode"] == mode),
|
||||
}
|
||||
for key in ("p50_ms", "p95_ms", "p99_ms", "normal_p95_ms")
|
||||
}
|
||||
for mode in modes
|
||||
}
|
||||
assert groups == comparison["latency_ranges"]
|
||||
excluded = read(COST / "invalid-series.json")
|
||||
for run in excluded["runs"]:
|
||||
for name, expected in run["files"].items():
|
||||
assert digest(COST / "invalid-time-gap" / name) == expected
|
||||
conditions = []
|
||||
for path in sorted(COST.glob("conditions-*.json")):
|
||||
data = read(path)
|
||||
assert data["runtime_sha"] == MEASURED and data["other_projects"] == {}
|
||||
assert (data["host_cpus"], data["architecture"], data["own_project"]) == (
|
||||
16,
|
||||
"arm64",
|
||||
"mtusi2026lab6",
|
||||
)
|
||||
conditions.append({"file": str(path.relative_to(ROOT)), "sha256": digest(path)})
|
||||
medians = {
|
||||
mode: statistics.median(
|
||||
r["ingest"]["tempo"]["tempo_distributor_bytes_received_total"]
|
||||
for r in summaries
|
||||
if r["mode"] == mode
|
||||
)
|
||||
for mode in modes
|
||||
}
|
||||
output = {
|
||||
"at": datetime.now(timezone.utc).isoformat(),
|
||||
"entry_sha": ENTRY,
|
||||
"measured_sha": MEASURED,
|
||||
"reviewed_sha": REVIEWED,
|
||||
"runtime_changes": runtime_changes,
|
||||
"reviewed_changes": reviewed_changes,
|
||||
"protected_files": len(protected),
|
||||
"unchanged_telemetry_paths": len(preserved["unchanged_telemetry_paths"]),
|
||||
"accepted": results,
|
||||
"excluded_hashes_verified": 4,
|
||||
"condition_snapshots": conditions,
|
||||
"total_requests": len(all_ids),
|
||||
"unexpected_responses": 0,
|
||||
"comparison_matches_raw": True,
|
||||
"balanced_tempo_reduction_percent": 100 * (1 - medians["balanced"] / medians["on"]),
|
||||
"retained": {
|
||||
mode: {
|
||||
kind: sum(r["traces"][kind]["retained"] for r in summaries if r["mode"] == mode)
|
||||
for kind in ("normal", "error", "slow")
|
||||
}
|
||||
for mode in modes
|
||||
},
|
||||
"new_load_runs": 0,
|
||||
"missing_or_invalid_required_series": [],
|
||||
"result": "PASS",
|
||||
}
|
||||
target = Path(__file__).with_name("evidence-audit.json")
|
||||
target.write_text(json.dumps(output, ensure_ascii=False, indent=2) + "\n")
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
k: output[k]
|
||||
for k in (
|
||||
"result",
|
||||
"total_requests",
|
||||
"balanced_tempo_reduction_percent",
|
||||
"new_load_runs",
|
||||
"protected_files",
|
||||
)
|
||||
},
|
||||
ensure_ascii=False,
|
||||
)
|
||||
)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,22 @@
|
||||
{
|
||||
"at": "2026-11-07T01:40:09.124618+00:00",
|
||||
"relative_links_checked": 263,
|
||||
"missing_links": [],
|
||||
"shell_blocks_checked": 3,
|
||||
"own_running_containers": [],
|
||||
"running_container_count": 0,
|
||||
"persistent_volumes_preserved": [
|
||||
"mtusi2026lab6_broker-data",
|
||||
"mtusi2026lab6_grafana-data",
|
||||
"mtusi2026lab6_healthtools",
|
||||
"mtusi2026lab6_loki-data",
|
||||
"mtusi2026lab6_pgdata",
|
||||
"mtusi2026lab6_prometheus-data",
|
||||
"mtusi2026lab6_s3data",
|
||||
"mtusi2026lab6_tempo-data",
|
||||
"mtusi2026lab6_valkeydata"
|
||||
],
|
||||
"stage_started_compose_projects": [],
|
||||
"stage_removed_persistent_volumes": false,
|
||||
"publication_performed": false
|
||||
}
|
||||
@@ -0,0 +1,217 @@
|
||||
{
|
||||
"at": "2026-11-07T01:38:25.374708+00:00",
|
||||
"entry_sha": "1e00d861a803a6d49ef443175b8231cbf048fc02",
|
||||
"measured_sha": "bc1d7aa7713858acb5d65b61d07e69a640f1ee97",
|
||||
"reviewed_sha": "6ca1c7549978af3127966540385195ab0587f2e1",
|
||||
"runtime_changes": [],
|
||||
"reviewed_changes": [
|
||||
"AGENTS.md",
|
||||
"REPORT.md",
|
||||
"evidence/README.md",
|
||||
"evidence/grade3/notes.md",
|
||||
"evidence/grade4/notes.md",
|
||||
"evidence/report-audit.md",
|
||||
"evidence/review-summary.md",
|
||||
"evidence/track5/notes.md"
|
||||
],
|
||||
"protected_files": 19,
|
||||
"unchanged_telemetry_paths": 21,
|
||||
"accepted": [
|
||||
{
|
||||
"file": "evidence/forward-published/cost/off-1.json",
|
||||
"sha256": "3002a99d8ff629682ded12762188f906dd0c2647b96ca974ec5c736133c0fafa",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.9768009185791,
|
||||
"drain_seconds": 34.378885984420776,
|
||||
"max_resource_gap_seconds": 2.047776937484741,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/off-2.json",
|
||||
"sha256": "c5c59cd419ad6ffe14686ce58afe2898fe0f49c36ac6b5b027c44f5179858b24",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.96762013435364,
|
||||
"drain_seconds": 35.243422985076904,
|
||||
"max_resource_gap_seconds": 2.048405885696411,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/off-3.json",
|
||||
"sha256": "d4f8b4da853854b841f361fc3dba60896a56306324f76e6bf272848b5517a250",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.97038507461548,
|
||||
"drain_seconds": 35.21114897727966,
|
||||
"max_resource_gap_seconds": 2.0483851432800293,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/on-1.json",
|
||||
"sha256": "7968f68a66e2159ec1a10cee21a43d2dfd93107d3fb0515d9ac9353225c486be",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.960899114608765,
|
||||
"drain_seconds": 35.31035900115967,
|
||||
"max_resource_gap_seconds": 2.0440289974212646,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/on-2.json",
|
||||
"sha256": "470e617c36cbf2be5df5ab24f8701bd16b37e447ac35fc1a7d2c04132fcc5c89",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.967061042785645,
|
||||
"drain_seconds": 34.75409412384033,
|
||||
"max_resource_gap_seconds": 2.045710802078247,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/on-3.json",
|
||||
"sha256": "b461a8336156904dfaa22b63ae806f349566c961a0fd447d592fac2cb4f8ca2f",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.961934089660645,
|
||||
"drain_seconds": 35.3386869430542,
|
||||
"max_resource_gap_seconds": 2.0448179244995117,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/head-1.json",
|
||||
"sha256": "827ce337e05ae312803e542036eb37abd6b6e3596aa7291d18bab2d48edc0532",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.960408210754395,
|
||||
"drain_seconds": 34.749109983444214,
|
||||
"max_resource_gap_seconds": 2.0449328422546387,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/head-2.json",
|
||||
"sha256": "7dce2ebfa73dc3b27514c6a55a0d74331ceba4e269c6cbc9fa87e8995374a5cf",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.95907402038574,
|
||||
"drain_seconds": 34.537447929382324,
|
||||
"max_resource_gap_seconds": 2.0501198768615723,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/head-3.json",
|
||||
"sha256": "41d8d9575bbe1aca87fc5a923451739a31a5b064efe582bc3c0b6bacfa766a4b",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.96534299850464,
|
||||
"drain_seconds": 35.03631401062012,
|
||||
"max_resource_gap_seconds": 2.0513830184936523,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/tail-1.json",
|
||||
"sha256": "81b9f2f2710923d94d3a6e35b7a838d4086b8a1b153f45e1e2a83cd6b035e4e0",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.969640254974365,
|
||||
"drain_seconds": 35.31044888496399,
|
||||
"max_resource_gap_seconds": 2.0470268726348877,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/tail-2.json",
|
||||
"sha256": "7dd0025cc87f6415970820ed68572686f4c841c5916cc1f8810a5ff8bc356a9a",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.96142888069153,
|
||||
"drain_seconds": 34.63654613494873,
|
||||
"max_resource_gap_seconds": 2.0448548793792725,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/tail-3.json",
|
||||
"sha256": "4de48be26aac53386d9cf987d21762035cb450c1d6be3a13f871894a60e33194",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.968284130096436,
|
||||
"drain_seconds": 35.04265284538269,
|
||||
"max_resource_gap_seconds": 2.047273874282837,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/balanced-1.json",
|
||||
"sha256": "db64e72d83f7394dfc2198f5b11c47280c15bbcdcdedf76ab255b9418cce682a",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.965638160705566,
|
||||
"drain_seconds": 34.83575201034546,
|
||||
"max_resource_gap_seconds": 2.0490190982818604,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/balanced-2.json",
|
||||
"sha256": "cf833ff61138dff1687bc61e4673d31a356a53fbc3d123486ccb7e5cd7dcd0b0",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.96572422981262,
|
||||
"drain_seconds": 35.22300386428833,
|
||||
"max_resource_gap_seconds": 2.0449130535125732,
|
||||
"result": "accepted"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/balanced-3.json",
|
||||
"sha256": "bf523810f79f4a5280d34878c3c67d7b36e37697490eb7f67e0776ffa60a1354",
|
||||
"requests": 800,
|
||||
"load_seconds": 39.96644401550293,
|
||||
"drain_seconds": 35.353606939315796,
|
||||
"max_resource_gap_seconds": 2.0450639724731445,
|
||||
"result": "accepted"
|
||||
}
|
||||
],
|
||||
"excluded_hashes_verified": 4,
|
||||
"condition_snapshots": [
|
||||
{
|
||||
"file": "evidence/forward-published/cost/conditions-repeat-end.json",
|
||||
"sha256": "3ac62e66e05cd82f5749b16a936211faf030a14b3f475107f5f879c5ce788a78"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/conditions-repeat-start.json",
|
||||
"sha256": "a54a4668ce1b07723ed167ed896c1c1781ac419183d695408c2f6f79abd20b20"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/conditions-round-1.json",
|
||||
"sha256": "a12baa84b38b0adc2a1dae6c24148041481223b230e19adfcc6e18f17c36f4a8"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/conditions-round-2.json",
|
||||
"sha256": "9561fee169bc98b76c2c578628011e96b6afa25bde282c3a00e30975dd1dafcd"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/conditions-round-3.json",
|
||||
"sha256": "4ec5fe9f1982892c828712fc8eb9af4d9637f21921645aa4a0aad03b441a3b81"
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-published/cost/conditions-start.json",
|
||||
"sha256": "b372d02a9c308382c8b2015fafb0405dfa24ba7262b1180a4e6d1a01c4693415"
|
||||
}
|
||||
],
|
||||
"total_requests": 12000,
|
||||
"unexpected_responses": 0,
|
||||
"comparison_matches_raw": true,
|
||||
"balanced_tempo_reduction_percent": 92.16997926079115,
|
||||
"retained": {
|
||||
"off": {
|
||||
"normal": 0,
|
||||
"error": 0,
|
||||
"slow": 0
|
||||
},
|
||||
"on": {
|
||||
"normal": 2304,
|
||||
"error": 48,
|
||||
"slow": 48
|
||||
},
|
||||
"head": {
|
||||
"normal": 237,
|
||||
"error": 6,
|
||||
"slow": 3
|
||||
},
|
||||
"tail": {
|
||||
"normal": 235,
|
||||
"error": 48,
|
||||
"slow": 48
|
||||
},
|
||||
"balanced": {
|
||||
"normal": 101,
|
||||
"error": 48,
|
||||
"slow": 48
|
||||
}
|
||||
},
|
||||
"new_load_runs": 0,
|
||||
"missing_or_invalid_required_series": [],
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -0,0 +1,12 @@
|
||||
UTC: 2026-11-07T01:34:49.066068+00:00
|
||||
SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
|
||||
exit_code: 0
|
||||
@@ -0,0 +1,32 @@
|
||||
UTC: 2026-11-07T01:34:48.355155+00:00
|
||||
SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02
|
||||
$ openspec validate --all --strict --no-interactive
|
||||
✓ spec/lab1-event-publication
|
||||
✓ spec/lab1-messenger-chats
|
||||
✓ spec/lab1-messenger-history
|
||||
✓ spec/lab1-messenger-identity
|
||||
✓ spec/lab1-service-operability
|
||||
✓ spec/lab2-auth-sessions
|
||||
✓ spec/lab2-dependency-failures
|
||||
✓ spec/lab2-history-index
|
||||
✓ spec/lab2-persistent-storage
|
||||
✓ spec/lab2-session-cache
|
||||
✓ spec/lab3-failover-operations
|
||||
✓ spec/lab3-idempotent-messages
|
||||
✓ spec/lab3-load-balancing
|
||||
✓ spec/lab4-attachments
|
||||
✓ spec/lab4-object-storage
|
||||
✓ spec/lab4-storage-reconciler
|
||||
✓ spec/lab4-upload-resilience
|
||||
✓ spec/lab5-attachment-pipeline
|
||||
✓ spec/lab5-image-variants
|
||||
✓ spec/lab5-job-delivery
|
||||
✓ spec/lab5-job-recovery
|
||||
✓ spec/lab5-versioned-pipeline
|
||||
✓ spec/lab6-observability-cost
|
||||
✓ spec/lab6-observability-resilience
|
||||
✓ spec/lab6-service-telemetry
|
||||
✓ spec/lab6-telemetry-stack
|
||||
Totals: 26 passed, 0 failed (26 items)
|
||||
|
||||
exit_code: 0
|
||||
@@ -0,0 +1,18 @@
|
||||
UTC: 2026-11-07T01:40:55.212270+00:00
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
216 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
|
||||
exit_code: 0
|
||||
|
||||
$ make check validate
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
|
||||
exit_code: 0
|
||||
@@ -0,0 +1,15 @@
|
||||
UTC: 2026-11-07T01:34:47.753014+00:00
|
||||
SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
216 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
|
||||
exit_code: 0
|
||||
@@ -0,0 +1,52 @@
|
||||
{
|
||||
"at": "2026-11-07T01:41:45.877410+00:00",
|
||||
"tracked_files": 714,
|
||||
"forbidden_paths": [],
|
||||
"candidate_locations": [
|
||||
{
|
||||
"file": "evidence/grade4/student-tests-first.txt",
|
||||
"line": 205,
|
||||
"rule": "dsn_credentials",
|
||||
"classification": "Synthetic test fixture DSN; no deployed credentials"
|
||||
},
|
||||
{
|
||||
"file": "scripts/broker-secrets.sh",
|
||||
"line": 17,
|
||||
"rule": "dsn_credentials",
|
||||
"classification": "Shell template with variable substitution, no literal credentials"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/adapters/test_rabbitmq.py",
|
||||
"line": 105,
|
||||
"rule": "dsn_credentials",
|
||||
"classification": "Synthetic test fixture DSN; no deployed credentials"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 131,
|
||||
"rule": "dsn_credentials",
|
||||
"classification": "Synthetic test fixture DSN; no deployed credentials"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 143,
|
||||
"rule": "dsn_credentials",
|
||||
"classification": "Synthetic test fixture DSN; no deployed credentials"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/conftest.py",
|
||||
"line": 141,
|
||||
"rule": "dsn_credentials",
|
||||
"classification": "Synthetic test fixture DSN; no deployed credentials"
|
||||
}
|
||||
],
|
||||
"confirmed_secrets": 0,
|
||||
"method": "Pattern scan of tracked text; no secret values emitted, no untracked .env/secrets read. Candidates require classification; not an exhaustive guarantee.",
|
||||
"patterns": [
|
||||
"provider_token",
|
||||
"private_key_payload",
|
||||
"signed_s3_url",
|
||||
"literal_bearer",
|
||||
"dsn_credentials"
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,18 @@
|
||||
UTC: 2026-11-07T01:39:03.333906+00:00
|
||||
SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02
|
||||
Reason: retry only two RustFS fixture readiness errors with loopback proxy bypass; implementation unchanged.
|
||||
$ scripts/lab6.sh make student-test PYTEST_ARGS="student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size"
|
||||
.venv/bin/pytest student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0
|
||||
rootdir: <repo>
|
||||
configfile: pyproject.toml
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collected 2 items
|
||||
|
||||
student-tests/adapters/test_s3_storage.py .. [100%]
|
||||
|
||||
============================== 2 passed in 0.76s ===============================
|
||||
|
||||
exit_code: 0
|
||||
@@ -0,0 +1,130 @@
|
||||
UTC: 2026-11-07T01:34:49.887449+00:00
|
||||
SHA: 1e00d861a803a6d49ef443175b8231cbf048fc02
|
||||
$ make student-test
|
||||
.venv/bin/pytest
|
||||
============================= test session starts ==============================
|
||||
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0
|
||||
rootdir: <repo>
|
||||
configfile: pyproject.toml
|
||||
testpaths: student-tests
|
||||
plugins: asyncio-1.4.0, anyio-4.15.1
|
||||
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
|
||||
collected 1016 items / 19 deselected / 997 selected
|
||||
|
||||
student-tests/adapters/test_rabbitmq.py ..... [ 0%]
|
||||
student-tests/adapters/test_s3_storage.py EE. [ 0%]
|
||||
student-tests/api/test_access.py ......... [ 1%]
|
||||
student-tests/api/test_attachments.py .................................. [ 5%]
|
||||
...... [ 5%]
|
||||
student-tests/api/test_bounded_contexts.py .................... [ 7%]
|
||||
student-tests/api/test_cache.py ............ [ 8%]
|
||||
student-tests/api/test_concurrency.py .... [ 9%]
|
||||
student-tests/api/test_consistency.py ........ [ 10%]
|
||||
student-tests/api/test_cost_experiment.py ... [ 10%]
|
||||
student-tests/api/test_drain.py .. [ 10%]
|
||||
student-tests/api/test_events.py ...... [ 11%]
|
||||
student-tests/api/test_http_telemetry.py . [ 11%]
|
||||
student-tests/api/test_idempotency.py ............... [ 12%]
|
||||
student-tests/api/test_instance.py .... [ 13%]
|
||||
student-tests/api/test_job_returning.py . [ 13%]
|
||||
student-tests/api/test_message_attachments.py ............. [ 14%]
|
||||
student-tests/api/test_migrations.py ................................... [ 18%]
|
||||
. [ 18%]
|
||||
student-tests/api/test_negative.py ..................................... [ 21%]
|
||||
[ 21%]
|
||||
student-tests/api/test_nul_validation.py ................. [ 23%]
|
||||
student-tests/api/test_operability.py .............. [ 25%]
|
||||
student-tests/api/test_pagination.py .................. [ 26%]
|
||||
student-tests/api/test_pipeline.py ............. [ 28%]
|
||||
student-tests/api/test_pool.py ............ [ 29%]
|
||||
student-tests/api/test_reconciler.py ........... [ 30%]
|
||||
student-tests/api/test_recovery.py ............ [ 31%]
|
||||
student-tests/api/test_sessions.py ...................... [ 33%]
|
||||
student-tests/api/test_timeout.py ........ [ 34%]
|
||||
student-tests/api/test_trace_context.py . [ 34%]
|
||||
student-tests/api/test_upload_consistency.py ......... [ 35%]
|
||||
student-tests/api/test_versioned_pipeline.py ........... [ 36%]
|
||||
student-tests/api/test_wire_format.py .. [ 37%]
|
||||
student-tests/unit/test_attachments_domain.py .......................... [ 39%]
|
||||
. [ 39%]
|
||||
student-tests/unit/test_authentication.py ............................. [ 42%]
|
||||
student-tests/unit/test_cursor.py ........... [ 43%]
|
||||
student-tests/unit/test_domain.py ...................................... [ 47%]
|
||||
.. [ 47%]
|
||||
student-tests/unit/test_haproxy_errors.py ............... [ 49%]
|
||||
student-tests/unit/test_image_inspection.py ............................ [ 52%]
|
||||
........................................................................ [ 59%]
|
||||
........................................................................ [ 66%]
|
||||
..................................................... [ 71%]
|
||||
student-tests/unit/test_job_observer.py . [ 71%]
|
||||
student-tests/unit/test_nul_inputs.py ...................... [ 74%]
|
||||
student-tests/unit/test_pipeline_domain.py ....................... [ 76%]
|
||||
student-tests/unit/test_png_memory.py ....s [ 76%]
|
||||
student-tests/unit/test_png_transparency.py ............................ [ 79%]
|
||||
........................................................................ [ 86%]
|
||||
.............................................. [ 91%]
|
||||
student-tests/unit/test_png_upload.py .. [ 91%]
|
||||
student-tests/unit/test_probe.py .............. [ 93%]
|
||||
student-tests/unit/test_reconcile_measurements.py ...... [ 93%]
|
||||
student-tests/unit/test_render_pool.py .....s. [ 94%]
|
||||
student-tests/unit/test_renderer.py .............................. [ 97%]
|
||||
student-tests/unit/test_scaling.py ..... [ 97%]
|
||||
student-tests/unit/test_session_cache.py .......... [ 98%]
|
||||
student-tests/unit/test_telemetry_platform.py ..... [ 99%]
|
||||
student-tests/unit/test_timeouts.py . [ 99%]
|
||||
student-tests/unit/test_worker_delivery.py .... [100%]
|
||||
|
||||
==================================== ERRORS ====================================
|
||||
___________ ERROR at setup of test_round_trip_of_the_largest_object ____________
|
||||
|
||||
@pytest.fixture(scope="session")
|
||||
def rustfs() -> Iterator[str]:
|
||||
name = f"mtusi-lab6-test-rustfs-{uuid4().hex[:8]}"
|
||||
keys = ["-e", f"RUSTFS_ACCESS_KEY={ROOT_KEY}", "-e", f"RUSTFS_SECRET_KEY={ROOT_SECRET}"]
|
||||
container(name, *keys, "-p", f"127.0.0.1:{free_port()}:9000", image(RUSTFS_IMAGE))
|
||||
try:
|
||||
endpoint = f"http://127.0.0.1:{published(name, 9000)}"
|
||||
deadline = time.monotonic() + STARTUP_SECONDS
|
||||
while True:
|
||||
try:
|
||||
if httpx.get(f"{endpoint}/health/ready", timeout=1).status_code == 200:
|
||||
break
|
||||
except httpx.TransportError:
|
||||
pass
|
||||
> assert time.monotonic() < deadline, "RustFS не стал готов"
|
||||
E AssertionError: RustFS не стал готов
|
||||
E assert 1263360.179650416 < 1263359.923121166
|
||||
E + where 1263360.179650416 = <built-in function monotonic>()
|
||||
E + where <built-in function monotonic> = time.monotonic
|
||||
|
||||
student-tests/adapters/test_s3_storage.py:36: AssertionError
|
||||
__ ERROR at setup of test_listing_is_paged_in_byte_order_and_stat_reads_size ___
|
||||
|
||||
@pytest.fixture(scope="session")
|
||||
def rustfs() -> Iterator[str]:
|
||||
name = f"mtusi-lab6-test-rustfs-{uuid4().hex[:8]}"
|
||||
keys = ["-e", f"RUSTFS_ACCESS_KEY={ROOT_KEY}", "-e", f"RUSTFS_SECRET_KEY={ROOT_SECRET}"]
|
||||
container(name, *keys, "-p", f"127.0.0.1:{free_port()}:9000", image(RUSTFS_IMAGE))
|
||||
try:
|
||||
endpoint = f"http://127.0.0.1:{published(name, 9000)}"
|
||||
deadline = time.monotonic() + STARTUP_SECONDS
|
||||
while True:
|
||||
try:
|
||||
if httpx.get(f"{endpoint}/health/ready", timeout=1).status_code == 200:
|
||||
break
|
||||
except httpx.TransportError:
|
||||
pass
|
||||
> assert time.monotonic() < deadline, "RustFS не стал готов"
|
||||
E AssertionError: RustFS не стал готов
|
||||
E assert 1263360.179650416 < 1263359.923121166
|
||||
E + where 1263360.179650416 = <built-in function monotonic>()
|
||||
E + where <built-in function monotonic> = time.monotonic
|
||||
|
||||
student-tests/adapters/test_s3_storage.py:36: AssertionError
|
||||
=========================== short test summary info ============================
|
||||
ERROR student-tests/adapters/test_s3_storage.py::test_round_trip_of_the_largest_object
|
||||
ERROR student-tests/adapters/test_s3_storage.py::test_listing_is_paged_in_byte_order_and_stat_reads_size
|
||||
===== 993 passed, 2 skipped, 19 deselected, 2 errors in 232.27s (0:03:52) ======
|
||||
make: *** [student-test] Error 1
|
||||
|
||||
exit_code: 2
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"at": "2026-11-07T01:39:14.026824+00:00",
|
||||
"proxy_env_present": false,
|
||||
"system_proxy_hosts": {
|
||||
"http": "127.0.0.1",
|
||||
"https": "127.0.0.1"
|
||||
},
|
||||
"initial_loopback_bypass": "",
|
||||
"retry_environment": "scripts/lab6.sh exports NO_PROXY=localhost,127.0.0.1,::1",
|
||||
"failed_fixture": "student-tests/adapters/test_s3_storage.py:36 readiness timeout before adapter assertions"
|
||||
}
|
||||
Reference in New Issue
Block a user