Files
mtusi2026lab2/evidence
Artyom 4513d90e48 Finalize lab 3 report and evidence provenance
Tie the grade 5 claim to the final SQLAlchemy revalidation and measured scaling results. Clarify clean-clone setup, failure timings, historical evidence, and operational constraints; record report-stage checks and evidence audits.
2026-11-06 01:29:44 +03:00
..

date: 2026-11-05T22:28:57.204523+00:00 commit: f591fa64e5 (report documentation worktree)

Доказательства

Обезличенные реальные прогоны; пользователи, сообщения и пароли тестов синтетические. Токены, содержимое secrets и дампы не сохраняются. В первой строке текстовых логов — UTC и SHA; grade3-*.txt и grade4-*.txt также содержат команду, окружение, код завершения и длительность. В текстовом выводе удалены пробелы на концах строк Docker/psql; локальный путь заменён на <repo>. В grade4-student-tests.txt замаскирован синтетический неверный Bearer из имени параметризованного теста.

Актуальный итог и финализация отчёта

Заявлена «5», трек 1 «Цена масштабирования». Автор — Костылев Артём, БПИ2303. Приоритет имеют итоговые проверки после оптимизации; таблицы grade3/grade4 ниже сохраняют историю отдельных этапов до кэширования SQL, а не новые прогоны HEAD.

Что проверяется Актуальный источник Код
Уровни «3»/«4», публичные проверки, отказы зависимостей Команды, сценарии 3fb741e, API идентичен 57744c5
Каждая реплика: времена, ошибки, потери, реальные контейнеры a855a190991a, d4dfe6128c9d; action.txt рядом 3fb741e
Rolling под нагрузкой, один migrate, история Результат, действие 5c8f605 → API 57744c5, обвязка 3fb741e
135 измерений, методика и подтверждённое улучшение Методика, аудит, сводка baseline 5c8f605, after 57744c5
Исправление сохранения диагностических журналов Повторные 290 tests и smoke 55b99a2; API не менялся
Проверки этапа report check/validate/lint/student-test/OpenSpec, ссылки, метрики и состав изменений f591fa64e525679a31c9db7f942d36c789e1a12f + только документы

На этапе report нагрузка заново не снималась: код приложения, миграции, образы и конфигурация стенда не изменялись. Ссылки и численные выводы сверены с сохранённым сырьём; собственные тесты выполнены заново. Журналы содержат фактические коды выхода, включая неуспехи. Публикаций и отправок Telegram на этом этапе нет.

Уровень «3» после SQLAlchemy, до оптимизации — 2026-11-05

Код всех итоговых прогонов: 0a1f48bd73e5780c732356880c23fdb476bcff98. Compose-проект mtusi2026lab3-grade3-final-20261105, LB_HTTP_PORT=18083, LB_STATS_PORT=23083, API_REPLICAS=2; BASE_URL автоматически определяется по порту LB. Обе реплики: api-1 8ffe0c70f4ea, api-2 1b4a73f61b07. После прогонов контейнеры остановлены, volumes сохранены. До конца grade4 код приложения после этого SHA не менялся; на этапе grade4 усилена обвязка scripts/probe.py, на track5 добавлен кэш компиляции SQL.

Файл Команда Результат
grade3-start.txt make up, docker compose ps -a, чтение alembic_version Новый проект без прежних volumes, сборка успешна, 2 healthy API, one-shot Alembic вышел с 0, head 0002_idempotency_keys
checks.txt make check, make validate, make lint, uv lock --check, openspec validate --all --strict, diff против upstream Все успешно; нормативные файлы не менялись
smoke.txt make test Публичный smoke PASS
stack.txt, environment.txt, grade3-stack.txt make stack-evidence Порты только у LB, реальные контейнеры и hostname, 2 UP, общие PostgreSQL/Valkey, uid, версии библиотек
grade3-lb-check.txt (актуальный lb-check.json — повтор grade4) make lb-check Один токен 20 + 20 GET; 20 × 8 POST, 160 ответов 201, по одной копии, 20 конфликтов другого body; pass
retry.json, grade3-retry.txt make retry-check Потерянный ответ при живой/убитой реплике, повтор через соседа 201, одна копия; pass
failover-current-1.txt, failover-current-2.txt make test-failover ACTION_SCRIPT=scripts/stop-one.sh и docker compose ps -a По очереди api-1 и api-2 Exited (0); 129/128 записей, 0/0 ошибок, восстановление 2.762/2.817 с
grade3-restore-1.txt, grade3-restore-2.txt make restore Остановленные реплики возвращены в ротацию
persistence.txt, grade3-persistence.txt make persistence-evidence → публичный make test-persistence ACTION_SCRIPT=scripts/restart.sh PASS, IDs прежние, StartedAt всех сервисов обновились, токен и история сохранились
faults.txt make test-faults 12 passed; после PostgreSQL 40 регистраций через 2 реплики без рестарта API
student-tests.txt make student-test PYTEST_ARGS=-vv 271 passed, 12 deselected; стендовые 12 запущены отдельно
schema.txt, migrations.txt, grade3-storage.txt make storage-evidence Схема Alembic, повтор без изменения 70 users / 24 sessions / 6 chats / 12 members / 284 messages / 284 keys / 1 version
kdf.txt, secrets.txt make storage-evidence Argon2id, хеши токенов 32 байта; секреты/.env вне Git
grade3-final-review.txt Финальные проверки после обновления отчёта и архива check/validate/lint/OpenSpec, diff нормативных и исполняемых файлов, отсутствие контейнеров этапа
grade3-stop.txt make down, docker compose ps -a, volumes проектов Контейнеров нет, volumes обоих прогонов сохранены

Исходный JSON уровня «3» сохранён в grade3-lb-check.txt и grade3-retry.txt вместе с датой и полным SHA. lb-check.json обновлён повторным прогоном grade4; retry.json остаётся результатом grade3.

Неуспешные промежуточные прогоны

Они сохранены отдельно, не выдаются за итоговые PASS.

Файл Код / состояние Наблюдение и исправление
grade3-faults.txt 7fc911c332aefe33285ea9e7811c37abd9bb20a6 11 passed / 1 failed: POST users → 503 после PostgreSQL; включён pool_pre_ping
grade3-pool-regression-before.txt 18de595 + новый тест (приложение прежнее) Первый POST после pg_terminate_backend → 503 вместо 201
grade3-pool-regression-after.txt 18de595 + исправления до коммита 0a1f48b 2 passed: закрытое соединение и SIGTERM; затем полный набор проверен на 0a1f48b
grade3-student-tests-interrupted.txt 7fc911c 46 passed, затем прерывание: gunicorn теста использовал порт LB 18083; теперь свободный 23000–23999 и дедлайн
grade3-student-tests-startup.txt.gz 18de595 + исправления до 0a1f48b Полный обезличенный вывод: 70 passed / 201 errors, SQLSTATE 57P03 при старте fixture БД; временный отказ теперь повторяется до дедлайна
grade3-whitespace-before.txt 0a1f48b + evidence/OpenSpec git diff --check нашёл пробелы в конце строк Docker/psql; после нормализации итоговая проверка прошла
grade3-initial-stop.txt 18de595 + WIP Остановка исходного проекта без удаления его volumes перед итоговым прогоном

clean-clone.txt, hooks.txt, failover-fe75c6c37e5a.txt, failover-ff81f93e8b0d.txt и rolling-from-8d28d45/ — история до SQLAlchemy. Прежние версии перезаписанных доказательств доступны через git show 72a1e57:evidence/<имя>. Новые измерения трека приведены ниже; исходный SQLAlchemy change завершён и архивирован 2026-11-06.

Уровень «4» после SQLAlchemy, до оптимизации — 2026-11-05

Код прогонов: 252e3e3ffeea5004cfd9dc342e686af1417a77a2. Проект mtusi2026lab3-grade4-20261105, порты 18083/23083, две реплики по 1 CPU/512 MiB, два воркера и пул 8 на воркер; HAProxy maxconn 64. Локальный HTTP явно обходит системный прокси через NO_PROXY=localhost,127.0.0.1,::1. Команды и исходные результаты сохранены ниже. JSON содержит поля date/commit; первая строка CSV — служебный комментарий с UTC/SHA, который следует пропустить при чтении таблицы. Эти метаданные добавлены после прогонов; результаты не изменялись. Из текстового вывода убраны пробелы на концах строк.

Файл Команда Результат
grade4-start.txt make up, версии пакетов, docker compose ps -a, Alembic head Новый проект с пустыми volumes; SQLAlchemy 2.0.45 / Alembic 1.16.5; migrate Exited (0), head 0002_idempotency_keys
grade4-baseline.txt, lb-check.json, limits.txt make test, make limits, make lb-check Smoke PASS; порты только LB; 160 ответов 201 через обе реплики, 20/20 одинаковых тел/единственных копий/конфликтов другого body
grade4-drain.txt make student-test PYTEST_ARGS='-v -s student-tests/api/test_drain.py student-tests/unit/test_timeouts.py' 3 passed; ready/live 503/200; порт закрыт через 1.05 с, выход через 2.44 с; принятый запрос → 201, зависший → 503 с заголовками контракта
grade4-detection.txt, detection/run{1,2,3}/*.json make detection Все 12 PASS, диапазоны и пределы — в REPORT
grade4-failover-each.txt, failover-each/ make failover-each RATE=100 Каждая реплика Exited (0) и возвращена; по 6001 запросу, 0 ошибок/dropped; 645/642 сообщения зонда полностью сохранены
grade4-runtime-limits.txt docker ps -a и docker inspect во время k6 Фактические CPU/RAM, uid, image ID, порты и read_only всех сервисов, включая k6 и завершённый migrate
grade4-limits-negative.txt, limits-violations.txt scripts/limits.py с временным override из лога, API_REPLICAS=1 только для config Ожидаемый exit 1, все 5 нарушений найдены; override никогда не применялся к контейнерам
grade4-rolling.txt, rolling/ make rolling-update RATE=100 Новые реплики готовы до остановки прежних; один migrate, минимум 2 UP, все checks PASS
grade4-rolling-from-7fc911c.txt, rolling-from-7fc911c/ make rolling-update FROM_REV=7fc911c RATE=100 Переход между SQLAlchemy-версиями; старый/новый image ID каждой реплики в action.txt
grade4-migration-repeat.txt Повторный make migrate, Alembic head и счётчики всех таблиц до/после Результат записан отдельно; миграция выполняется при остановленной нагрузке
grade4-persistence-scoped.txt Публичный persistence и docker inspect до/после IDs контейнеров прежние, StartedAt всех lb/api/postgres/valkey/migrate обновлены
grade4-public.txt Публичные smoke/persistence/failover, restore и реальные контейнеры Итоговые проверки после rolling update
grade4-evidence-audit.txt Сверка result.json с сырыми CSV, проверка количества миграторов, поиск похожих на credentials строк Все 12 detection и 4 нагрузки PASS; численные поля совпадают; один migrate на rolling
grade4-checks.txt, grade4-student-tests.txt check/validate/lint/lock/OpenSpec, полный student-test Итоговые проверки на коде stage4
grade4-stop.txt make down, список контейнеров и volumes проекта Контейнеры остановлены, volumes сохранены

Промежуточные неуспехи не заменяют итоговые результаты:

Файл Наблюдение
grade4-evidence-audit-scan-failed.txt, grade4-evidence-audit-fixture-token.txt Численные сверки PASS. Первый поиск нашёл собственный regex; после уточнения — синтетический неверный Bearer в имени теста. Имя параметра замаскировано, итоговый поиск прошёл
grade4-development.txt Первоначальные E501/ARG005, исправления форматирования, 14 новых регрессионных тестов; уточнение library ID Context7
grade4-baseline-proxy-failed.txt Smoke: RemoteDisconnected из-за системного прокси; прямой curl отвечал 200; повтор с NO_PROXY прошёл
grade4-detection-proxy-interrupted.txt, grade4-detection-proxy-interrupted/ Прогон без NO_PROXY: статистика LB недоступна, SIGTERM честно fail; остановлен во время kill, реплики восстановлены; выполнен полный новый прогон
grade4-public-events-unavailable.txt Дополнительная ретроспективная проверка через docker events не подтвердила рестарт: в оставшемся буфере не было событий start/die нужного окна. Persistence повторён с непосредственным снимком StartedAt до/после
grade4-limits-negative-config-failed.txt, grade4-limits-compose-rejection.txt Compose отклонил сочетание container_name и replicas=2 до проверки политики; отрицательная fixture повторена с replicas=1 (конфигурация не применялась)

Трек «5» на SQLAlchemy — 2026-11-05–06 (МСК)

Текущая производительность измерена в track1-sqlalchemy/; исторический track1/ не входит в новые медианы и графики. API baseline 5c8f605, after 57744c5; код API не менялся в последующих коммитах обвязки. Графики — 3fb741e. Гипотеза: повторная компиляция CTE расходует CPU API; статическое кэширование сохраняет SQL.

Файл Команда Наблюдение
track1-sqlalchemy/README.md, host.txt, runtime-resources.json make track1-host; снимок лимитов Методика, версии, собственный project, CPU pinning, ограничения и происхождение образов
track1-sqlalchemy/series-a/ make track1-a 54 точки: 1×4/2×2/4×1 при 4 CPU/2 GiB; пики 2687/2532/2422 RPS
track1-sqlalchemy/series-b/ make track1-b 36 точек: 1×1/2×1/8×1; вместе с 4×1 из A — сублинейный рост до 3420 RPS
track1-sqlalchemy/compare/ make track1-compare 18 чередующихся точек: при 2400 p95 14.28→4.63 мс; при 5400 throughput +8.7%; min–max не пересекаются
track1-sqlalchemy/control-pool/ первая часть make track1-control 15 точек: пул 16 добавляет Lock и снижает RPS на 13.7%; увеличение maxconn не помогает
track1-sqlalchemy/control-cpus/ CPU-рецепт make track1-control после исправления, corrected-cpus-run.txt 12 чередующихся точек на одинаковых 4 CPU/2 GiB; 8×0.5 медленнее 4×1
track1-sqlalchemy/plots/, plots-run.txt make plots 12 просмотренных PNG, сводка capacity.csv/md; диапазоны повторов, без старых RPS
track1-sqlalchemy/audit.txt полный скрипт и команда внутри 135 основных точек, 8 271 783 ответа; метрики сверены с k6, image IDs и реальными CPU/RAM/cpuset; внешних помех 0
track1-sqlalchemy/explain-history.txt SQLAlchemy EXPLAIN ANALYZE, скрипт внутри Первая страница и keyset используют messages_history_idx; ограничение custom plan отмечено
track1-sqlalchemy/revalidation/ команды и exit codes в commands.txt 290 tests, 12 faults, публичные сценарии, 12/12 detection, оба failover и rolling PASS на 3fb741e; история сохранена
track1-sqlalchemy/openspec-close.txt синхронизация specs, архивация, strict validation Оба change завершены: 11 и 17 задач; перед архивом 16/16, после 14/14; активных changes нет
track1-sqlalchemy/final-checks.txt итоговые команды перед коммитом Проверки окончательных документов и состава evidence

Стек остановлен только в своём project, volumes сохранены (track1-sqlalchemy/stop.txt).

Промежуточные неуспехи и исключённые результаты сохранены:

  • diagnostics/staged-whitespace-failed.txt: проверка staged-файлов нашла CRLF в CSV и пустые строки в конце журналов; нормализованы, равенство CSV-полей проверено.
  • series-b/compose-up-failed.txt, compare/compose-up-failed.txt: три ошибки LB unhealthy при подготовке, до k6; retry восстановил готовность. В 55b99a2 исправлено сохранение будущих журналов, повторные 290 tests и smoke прошли (diagnostics/setup-log-fix-checks.txt).
  • diagnostics/final-audit-log-headers-failed.txt: аудит обнаружил игнорируемые .log; журналы сохранены с provenance, финальный final-audit.txt прошёл.
  • diagnostics/ordered-control-cpus/: 12 завершённых замеров с группировкой конфигураций; исключены из основных графиков и полностью повторены с чередованием.
  • diagnostics/order-regression.txt: тест воспроизвёл неверный порядок (1 failed, 1 passed); order-fix-checks.txt: после исправления check/lint, 290 passed и smoke.
  • diagnostics/audit-image-tag-failed.txt: неверное сравнение старого OCI index с текущим тегом; исправленный аудит использует build ID соответствующего журнала сборки.
  • diagnostics/explain-driver-uuid-failed.txt: диагностический скрипт не преобразовал UUID драйвера в стандартный UUID для literal; повтор соответствует существующему адаптеру и проходит.
  • diagnostics/pilot/: пилот по одному повтору, в выводы о разбросе не входит.
  • При пуле 16 в перегрузке были 0.009–0.016% HTTP-ошибок; они остаются в summary и отчёте. Предупреждения Docker CLI, первоначальные lint/OpenSpec ошибки и их исправления описаны в track1-sqlalchemy/README.md; данные не выданы за проверки без ошибок.

Трек 1 «Цена масштабирования» — исторические результаты до SQLAlchemy

track1/ — серии A и B, сравнение до/после, контрольные прогоны, графики и проверки после улучшения; состав и поля CSV — track1/README.md.

Файл Что доказывает Команда Коммит (код)
track1/host.txt снимок хоста, версии и соседние контейнеры перед сериями make track1-host 67f6d68
track1/series-a/ 1×4, 2×2, 4×1 при 4 CPU / 2 GiB API make track1-a код 107fbbb (до улучшения)
track1/series-b/ 1×1, 2×1, 8×1 по 1 CPU (4×1 — из серии A) make track1-b код 107fbbb
track1/compare/ улучшение: «до» (edc091d) и «после» на 8×1 make track1-compare edc091d против 22f0e62
track1/control-pool/, track1/control-cpus/ контроль: пул и maxconn на 8×1; 8×0,5 против 4×1 на одних CPU make track1-control код b1c80ee (HEAD f5fea5c–a67bc65)
track1/plots/ графики и сводка потолков capacity.md make plots из всех summary.csv
track1/after-checks.txt уровни «3» и «4» на коде с улучшением команды внутри файла dde113b
track1/host-others.csv, track1/aborted/ нагрузка соседних стендов во время замеров, прерванная первая попытка серии A и отброшенная первая попытка контроля размещения см. track1/README.md —