From 4513d90e482e9bb7bb1fd0402cfec45aa7f52d36 Mon Sep 17 00:00:00 2001 From: Artyom Date: Fri, 6 Nov 2026 01:29:44 +0300 Subject: [PATCH] Finalize lab 3 report and evidence provenance Tie the grade 5 claim to the final SQLAlchemy revalidation and measured scaling results. Clarify clean-clone setup, failure timings, historical evidence, and operational constraints; record report-stage checks and evidence audits. --- AGENTS.md | 23 +++++- REPORT.md | 122 +++++++++++++++++++++------- evidence/README.md | 28 ++++++- evidence/report-audit.txt | 161 +++++++++++++++++++++++++++++++++++++ evidence/report-checks.txt | 103 ++++++++++++++++++++++++ openspec/config.yaml | 20 ++++- 6 files changed, 422 insertions(+), 35 deletions(-) create mode 100644 evidence/report-audit.txt create mode 100644 evidence/report-checks.txt diff --git a/AGENTS.md b/AGENTS.md index 440c503f..f414fecc 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -4,6 +4,18 @@ Skeleton лабораторной 3 курса «Мессенджер под н Лаба 3: несколько взаимозаменяемых реплик API за единой точкой входа — **HAProxy**. Реплики не держат состояния: PostgreSQL остаётся источником истины для пользователей, сессий, чатов и сообщений, Valkey — общий кэш сессий. Каждый ответ API несёт `X-Instance-Id` обслужившей реплики, отправка сообщения требует `Idempotency-Key`, а повтор с тем же ключом через любую реплику не создаёт дубль. Остановка одной реплики не прерывает чтение и запись дольше 10 с. +Автор решения — Костылев Артём, БПИ2303. Уровни «3» → «4» → трек «5» завершены последовательно; +активных OpenSpec changes на момент финализации отчёта нет. Актуальные доказательства: + +- `evidence/track1-sqlalchemy/revalidation/` — уровни «3»/«4» после оптимизации, код `3fb741e`; + API идентичен `57744c5`, миграции и инфраструктура с повторного прогона не менялись. +- `evidence/track1-sqlalchemy/` — 135 измерений с тремя повторами и 12 графиков; + baseline `5c8f605`, after `57744c5`; API использует кэш компиляции статического Core CTE. +- `evidence/grade3-*.txt`, `grade4-*.txt` — этапы SQLAlchemy до оптимизации; + `evidence/track1/` и файлы, отмеченные в индексе как raw asyncpg, — исторический код. +- `evidence/report-checks.txt` и `report-audit.txt` — проверки финальных документов; + они не заменяют стендовые и нагрузочные прогоны. + ## Команды ```sh @@ -13,6 +25,7 @@ make install # uv sync --group dev make lint # ruff check + ruff format --check + ty check; обязательно перед commit make student-test # собственные тесты (поднимают одноразовые PostgreSQL и Valkey в Docker) make student-test PYTEST_ARGS='-v -k drain' # выборка тестов с именами +openspec validate --all --strict make secrets # локальные secrets/* и .env из .env.example (не коммитятся) make up # docker compose up -d --build --wait: postgres, valkey, migrate, api ×API_REPLICAS, lb; затем ждёт все реплики UP в LB @@ -35,6 +48,12 @@ make down # остановка без удаления д `tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей. +Стенд запускать только в собственном `COMPOSE_PROJECT_NAME`, с `LB_HTTP_PORT=18083`, +`LB_STATS_PORT=23083` и `NO_PROXY=localhost,127.0.0.1,::1` (также `no_proxy`). Остальные +host-порты — 23000–23999. Проверять занятость до запуска; чужие стенды не останавливать. +Полный трек требует 16 vCPU Docker VM. `make detection` перезаписывает свой каталог evidence: +для дополнительного прогона сохранять старое сырьё и задавать новый путь скрипту. + ## Архитектура skeleton - `lab.json` — единственный источник номера лабы (3). От него зависят `scripts/check_contract.py` (`info.version == 1.3.0`, `X-Instance-Id` во всех ответах) и `tests/client.py` (с lab3 проверяет непустой `X-Instance-Id` на любом ответе и шлёт `Idempotency-Key` в каждом POST сообщения). @@ -53,11 +72,13 @@ make down # остановка без удаления д - Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю. - Код — `src/messenger/`, миграции — `alembic/versions/*.py`, конфигурация LB и нагрузки — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/` (индекс — `evidence/README.md`, первая строка каждого файла — дата и коммит прогона). -- PostgreSQL — SQLAlchemy 2.0 async (`async_sessionmaker`, `DeclarativeBase`); asyncpg только драйвер. ORM/Core остаются в инфраструктуре, домен — dataclass, pydantic — на HTTP-границе. Миграции — только `alembic upgrade head` в one-shot сервисе `migrate`. Старую схему принимает `alembic/legacy.py` после проверки журнала и каталога PostgreSQL; безусловный `stamp` запрещён. Старый журнал сохраняется, volumes не удаляются. +- PostgreSQL — SQLAlchemy 2.0.45 async (`async_sessionmaker`, `DeclarativeBase`), Alembic 1.16.5; версии закреплены в `pyproject.toml` и `uv.lock`, asyncpg только драйвер. ORM/Core остаются в инфраструктуре, домен — dataclass, pydantic — на HTTP-границе. Миграции — только `alembic upgrade head` в one-shot сервисе `migrate`. Старую схему принимает `alembic/legacy.py` после проверки журнала и каталога PostgreSQL; безусловный `stamp` запрещён. Старый журнал сохраняется, volumes не удаляются. - Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`. - Порты реплик API наружу не публикуются: только LB. Нет `container_name`, `hostname` и общего `INSTANCE_ID` у сервиса `api`. - `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов, трек 1, ответы на вопросы защиты. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (`docker ps -a`). Цифры в отчёте берутся только из файлов `evidence/`. +- Старые результаты сохранять с SHA и пометкой версии кода; не смешивать raw asyncpg, baseline SQLAlchemy и SQLAlchemy с кэшем компиляции. Микробенчмарк компиляции не заменяет HTTP-замер, пик RPS не равен пределу SLO. Rolling с no-op миграцией не доказывает произвольный DDL под нагрузкой. - Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, volumes, дампы. +- ЛР1/ЛР2 заморожены; менять только текущую лабораторную, WIP и volumes сохранять. Текущую `.pipeline` и её state не менять. Публикация — отдельный этап, только private в MTUCI-Labs; Telegram отправляет runner. ## Уровни оценки diff --git a/REPORT.md b/REPORT.md index 7f24d1f4..bf48f2a2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,10 +2,13 @@ - Автор, группа: Костылев Артём, БПИ2303 - Целевая оценка: **5**; трек «5» — **трек 1 «Цена масштабирования»** -- Ветка: `solution/bpi2303-kostylev`. Уровень «3» подтверждён на - `0a1f48bd73e5780c732356880c23fdb476bcff98`; уровень «4» подтверждён на - SQLAlchemy 2.0.45 / Alembic 1.16.5, код `252e3e3ffeea5004cfd9dc342e686af1417a77a2`. - Публикация в этом этапе не выполняется. +- Ветка: `solution/bpi2303-kostylev`. Уровни «3» и «4» повторно подтверждены после + оптимизации на `3fb741e6a84d2b187a0266488b018f0b684dcce5`: SQLAlchemy 2.0.45 / Alembic 1.16.5. + [Команды и результаты](evidence/track1-sqlalchemy/revalidation/commands.txt), + [аудит доказательств](evidence/track1-sqlalchemy/final-audit.txt). + Код API, миграции, инфраструктура и lockfile с этого прогона не менялись. + После него `55b99a2` исправил только сохранение диагностических журналов подготовки нагрузки; + [повторные тесты и smoke](evidence/track1-sqlalchemy/diagnostics/setup-log-fix-checks.txt) прошли. - Трек «Цена масштабирования» переснят на SQLAlchemy: baseline `5c8f605`, оптимизация API `57744c5`, обвязка CPU-контроля `07965a2`, графики `3fb741e`. Текущие измерения — `evidence/track1-sqlalchemy/`; старый raw asyncpg хранится отдельно. @@ -17,21 +20,33 @@ `evidence/environment.txt` и `uv.lock`. Документация установленного SQLAlchemy проверена через Context7: [async sessions](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [проверка соединений](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/core/pooling.rst); + [кэширование статического SQL](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/core/connections.rst); Alembic — [async cookbook 1.16.5](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst). Инфраструктура опирается на HAProxy 3.2 Manual, Docker Compose, PostgreSQL и k6. Решение перенесено из собственной ЛР2; текущий этап выполнен с помощью Codex. ## Запуск из чистого clone -Требуются Docker с Compose v2, `make` и `curl`; системный Python 3.9+ — только для публичных проверок и -`scripts/probe.py`. Образы сторонних сервисов закреплены версией и digest, API собирается из исходников. +Требуются Git, Docker с Compose v2, `make`, `curl`, uv и системный Python 3.9+ для публичных +проверок и обвязки. `make install` устанавливает Python 3.14 и зависимости из `uv.lock`. +Образы сторонних сервисов закреплены версией и digest, API собирается из исходников. + +Текущий результат ещё не опубликован. До этапа публикации чистый clone берётся из локального +репозитория с завершёнными коммитами; `LAB3_SOURCE` заменяется своим путём к нему. +Это копирует только Git-данные, без `.env`, secrets, `.venv` и volumes. После публикации +источником может быть private-репозиторий решения в MTUCI-Labs с тем же кодом. ```sh -git clone && cd mtusi2026lab3 && git checkout solution/bpi2303-kostylev +LAB3_SOURCE="$HOME/projects/learning/HL/labs/mtusi2026lab3" +cd "$(mktemp -d)" +git clone --no-local --branch solution/bpi2303-kostylev "$LAB3_SOURCE" mtusi2026lab3 +cd mtusi2026lab3 +git rev-parse HEAD export COMPOSE_PROJECT_NAME=mtusi2026lab3-local export LB_HTTP_PORT=18083 LB_STATS_PORT=23083 API_REPLICAS=2 export NO_PROXY=localhost,127.0.0.1,::1 no_proxy=localhost,127.0.0.1,::1 +make install make secrets # secrets/*: пароли PostgreSQL и Valkey, DATABASE_URL, CACHE_URL, ключ курсора; .env из .env.example docker compose --env-file .env config --quiet make up # docker compose up -d --build --wait: postgres, valkey → migrate (миграции, один раз) → api ×2 → lb, @@ -63,6 +78,10 @@ make down # безопасная остановка: контейне прогон сразу после первого попадает в ту же реплику, поэтому перед ним нужен один запрос через LB (строка `curl …/health/live` выше или `make failover-evidence SHIFT=1`). +До запуска следует проверить занятость 18083/23083 и выбрать свободное имя собственного +Compose-проекта. Чужие контейнеры не останавливаются. Дополнительные порты собственных тестов +автоматически выбираются в 23000–23999. `make reset-data` для воспроизведения не нужен. + Прогон уровня «3» выполнен из рабочего checkout, на новом Compose-проекте `mtusi2026lab3-grade3-final-20261105` и пустых volumes, с указанными портами и без явного `BASE_URL`. `evidence/grade3-start.txt` содержит пустой список volumes перед запуском, сборку, `make up`, @@ -70,7 +89,8 @@ make down # безопасная остановка: контейне Исторический запуск именно из clone сохранён в `evidence/clean-clone.txt` (`e049c26`); он не подменяет проверки текущего SQL-слоя. -Собственные проверки и тулчейн: +Собственные проверки и тулчейн (каталог команд; для стендовых целей начиная с +`make test-faults` предварительно выполнить `make up`, после проверок — `make down`): ```sh make install # uv sync --group dev (Python 3.14 и зависимости из uv.lock) @@ -79,15 +99,20 @@ make student-test # собственные тесты; поднимают од make student-test PYTEST_ARGS=-vv # то же с именами тестов (так снят evidence/student-tests.txt) make check # офлайн-проверка skeleton make validate # полная валидация OpenAPI 3.1 и примеров (openapi-spec-validator из dev-группы .venv) +openspec validate --all --strict make test-faults # тесты стенда лабы 2 (Valkey, PostgreSQL, гонки) через балансировщик make faults-evidence # то же с датой и коммитом → evidence/faults.txt (путь репозитория → ) -make failover-evidence [SHIFT=1] # docker inspect реплик до/после, make test-failover, логи остановленной, restore +make failover-evidence SHIFT=1 # docker inspect реплик до/после, make test-failover, логи остановленной, restore make persistence-evidence # persistence-тест + StartedAt всех контейнеров до и после make stack-evidence # сервисы, порты, hostname ↔ X-Instance-Id, лимиты, сети, взгляд LB make storage-evidence # \d+ схемы, повтор миграций, префикс KDF, правила ignore ``` -Проверки уровня «4» — по одной команде на пункт рубрики; каждая пишет файл в `evidence/` и завершается +Для проверки specs нужен отдельно установленный CLI OpenSpec; это инструмент разработки, +не зависимость API. Проверки `make` используют окружение из `make install`. + +Проверки уровня «4» выполняются после `make up` — по одной команде на пункт рубрики; +после них — `make down`. Каждая пишет файл в `evidence/` и завершается ненулевым кодом при нарушении (`make level4` — все подряд): ```sh @@ -132,7 +157,7 @@ Docker 28.3.2, Compose 2.38.2. Машина — Apple M4 Max, 16 CPU, 48 ГБ RA ``` ┌── api (gunicorn, 2 × UvicornWorker) ──┐ SQLAlchemy async pool, 1–2 с клиент ──HTTP──▶ lb (HAProxy 3.2) ───┤ X-Instance-Id = hostname ├──▶ postgres (источник истины, pgdata) -127.0.0.1:8080 round robin, └── api (gunicorn, 2 × UvicornWorker) ──┘──▶ valkey (кэш сессий, AOF, valkeydata) +127.0.0.1:18083 round robin, └── api (gunicorn, 2 × UvicornWorker) ──┘──▶ valkey (кэш сессий, AOF, valkeydata) httpchk /health/ready migrate (тот же образ, один раз до реплик) ──▶ postgres сеть edge ─────── lb ─────── сеть backend (internal): lb, api, migrate, postgres, valkey ``` @@ -180,8 +205,10 @@ One-shot `migrate` выполняет `alembic upgrade head` под advisory loc **Идемпотентная отправка (зона `messaging`).** Таблица `idempotency_keys (chat_id, user_id, key, fingerprint, message_id, created_at)`, PK `(chat_id, user_id, key)` — область «пользователь + метод + путь чата + ключ» (ключ бывает только у `POST …/messages`), FK `(chat_id, user_id) → chat_members` и `message_id → messages`, -`CHECK` формата ключа и длины отпечатка. После трека 1 отправка — **один изменяющий SQL-оператор**; после перехода на SQLAlchemy он выполняется в транзакции с явным `session.commit()` -(`PostgresMessageLog.post`, порт `MessageLog`; до трека было пять обращений, три из них под блокировкой чата): +`CHECK` формата ключа и длины отпечатка. Отправка — **один изменяющий SQL-оператор** +в транзакции SQLAlchemy с явным `session.commit()` (`PostgresMessageLog.post`, порт `MessageLog`). +CTE появился ещё в историческом треке raw asyncpg; до него было пять обращений, +три под блокировкой чата. Нынешний трек кэширует компиляцию уже существующего CTE: 1. CTE `chat`: строка чата `FOR UPDATE`, соединённая с членством отправителя; нет строки → `404`; 2. `created_at = GREATEST(часы реплики, last_message_at + 1 мкс)` — история чата не идёт назад; @@ -238,7 +265,7 @@ pre-ping и порядок блокировок сохраняются. Цена завершённого к этому сроку, отменяет и выходит с кодом 0. Отмену ловит конвейер: пишет `request.cancelled` и, если ответ ещё не начат, отвечает `503 unavailable` в общем формате с `X-Request-Id` и `X-Instance-Id`, затем пробрасывает отмену дальше (без этого uvicorn отвечал своим `text/plain 500` без заголовков контракта); весь срок — ≤5 с < gunicorn `graceful_timeout` 6 с < -`docker stop -t 7` хука < `stop_grace_period: 8s` < 10 с, поэтому мастер gunicorn не доходит до `SIGKILL` воркера. Результаты текущего кода и счётчики повторов LB приведены в таблице уровня «4» ниже. +`docker stop -t 7` хука < `stop_grace_period: 8s` < 10 с, поэтому мастер gunicorn не доходит до `SIGKILL` воркера. Результаты до и после оптимизации приведены ниже с SHA каждого прогона. Хук останавливает конкретный контейнер, соответствие hostname проверяется через `docker inspect`. На реплику `cpus: 1`, `512m`, 2 воркера, пул 8: 2 × 2 × 8 = 32 соединения < `max_connections=200`. API работает `read_only` с `tmpfs /tmp`. @@ -330,7 +357,13 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и ## Доказательства критериев -Проверки уровня «3» выполнены 2026-11-05 на `0a1f48bd73e5780c732356880c23fdb476bcff98`. +Актуальный итог — повтор всех уровней после кэширования SQL в таблице «Повтор проверок +после оптимизации» ниже и [revalidation](evidence/track1-sqlalchemy/revalidation/commands.txt). +Следующие две таблицы сохраняют отдельное закрытие уровней «3»/«4» **до оптимизации**; +их числа относятся только к названным SHA. Старый raw asyncpg явно отделён в +[индексе evidence](evidence/README.md) и не доказывает текущую производительность. + +Проверки уровня «3» до оптимизации выполнены 2026-11-05 на `0a1f48bd73e5780c732356880c23fdb476bcff98`. Стенд — `mtusi2026lab3-grade3-final-20261105`, LB `127.0.0.1:18083`, статистика `23083`; `BASE_URL` автоматически определяется Makefile. Даты, команды, коды завершения и SHA — в `evidence/`. @@ -349,9 +382,9 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | Контракт, OpenAPI, форматирование и типы | `make check`; `make validate`; `make lint`; `uv lock --check`; `openspec validate --all --strict` | Все успешно; 107 файлов соответствуют формату. Diff нормативных файлов против upstream пуст | `evidence/checks.txt` | | Остановка без удаления данных | `make down`; `docker compose ps -a`; `docker volume ls --filter label=…` | Контейнеров этапа нет; оба volumes финального и исходного прогонов сохранены | `evidence/grade3-stop.txt`, `evidence/grade3-initial-stop.txt` | -**Уровень «4» подтверждён на SQLAlchemy**, код `252e3e3ffeea5004cfd9dc342e686af1417a77a2`. +**Уровень «4» до оптимизации подтверждён на SQLAlchemy**, код `252e3e3ffeea5004cfd9dc342e686af1417a77a2`. Проект `mtusi2026lab3-grade4-20261105`, порты `18083/23083`; запуск и версии — `grade4-start.txt`. -Старые замеры raw asyncpg доступны через `git show ef0b9a3:evidence/<имя>`. +Старые замеры raw asyncpg доступны через `git show 72a1e57:evidence/<имя>`. Нагрузка — k6 open model из `edge` в `lb:8080`: 100 запросов/с, 80 % отправок сообщений, 20 % чтений истории, 20 пользователей и 10 чатов, прогрев 10 с, замер 60/90 с. @@ -386,8 +419,8 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и | Rolling update | RPS | p50/p95/p99, мс | Действие, с | Первый успешный ответ, с | Минимум UP | | --- | --- | --- | --- | --- | --- | -| Текущая сборка | 100.01 | 3.01/3.89/4.53 | 10.734 | 0.055 | 2 | -| `7fc911c` → текущая | 100.01 | 2.99/3.85/4.47 | 13.836 | 0.082 | 2 | +| Сборка `252e3e3` | 100.01 | 3.01/3.89/4.53 | 10.734 | 0.055 | 2 | +| `7fc911c` → `252e3e3` | 100.01 | 2.99/3.85/4.47 | 13.836 | 0.082 | 2 | **Ограничение миграционного доказательства:** `7fc911c` — предыдущая SQLAlchemy-версия до исправления восстановления пула, с той же схемой `0002_idempotency_keys`. Миграция в rolling update — no-op. @@ -423,7 +456,8 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и **Повтор проверок после оптимизации — код `3fb741e`.** API идентичен `57744c5`, образ SQLAlchemy 2.0.45 с активным compiled cache проверен внутри контейнера до и после rolling. Команды и коды завершения — `evidence/track1-sqlalchemy/revalidation/commands.txt`; -это дополнительные проверки текущего кода, предыдущие доказательства уровней «3»/«4» сохранены. +это итоговые проверки поведения API; предыдущие доказательства уровней «3»/«4» сохранены +как история последовательного закрытия критериев. | Проверка | Команда | Результат | Файл внутри `track1-sqlalchemy/` | | --- | --- | --- | --- | @@ -442,9 +476,35 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и Дополнительные 290 тестов и smoke прошли, стенд снова остановлен с сохранением volumes (`diagnostics/setup-log-fix-checks.txt`). Финальный аудит — `final-audit.txt`. +**Финализация отчёта — 2026-11-06.** Изменены только документы и журнал их проверки, +основа — `f591fa64e525679a31c9db7f942d36c789e1a12f`. Повторены `make check`, +`make validate`, `make lint`, `make student-test` (290 passed, 12 deselected), +`uv lock --check`, `openspec validate --all --strict` (14 passed): +[журнал](evidence/report-checks.txt). Стендовые 12 тестов и нагрузка относятся к +revalidation выше; на этапе report они не запускались повторно. +[Аудит](evidence/report-audit.txt) проверяет ссылки, исходные метрики, версии кода +и неизменность нормативных файлов. Публикаций и отправок Telegram не было. + ## Эксперименты и отказы -Текущий уровень «3», код `0a1f48b`; все числа ниже взяты из указанных файлов. +Итоговый код API после оптимизации (`3fb741e`, API идентичен `57744c5`), k6 100 rps. +В каждом failover реально остановленный контейнер и работающий сосед показаны в `action.txt` +рядом с `result.json`. «Первый ответ» отсчитывается от начала действия и не является +временем простоя: ошибок зонда не было, измеренный `recovery_s=0`. + +| Сценарий | RPS; p95/p99, мс | Обнаружение / первый ответ / возврат, с | Ошибки k6 / зонда; dropped; потери / дубли | Evidence | +| --- | --- | --- | --- | --- | +| Остановка `a855a190991a` | 100.00; 4.33/5.15 | 1.018 / 0.058 / 14.480 | 0 / 0; 0; 0 / 0, история 661 = 661 | [result](evidence/track1-sqlalchemy/revalidation/failover-each/a855a190991a/result.json), [контейнеры](evidence/track1-sqlalchemy/revalidation/failover-each/a855a190991a/action.txt) | +| Остановка `d4dfe6128c9d` | 100.02; 4.39/5.23 | 1.145 / 0.096 / 16.127 | 0 / 0; 0; 0 / 0, история 661 = 661 | [result](evidence/track1-sqlalchemy/revalidation/failover-each/d4dfe6128c9d/result.json), [контейнеры](evidence/track1-sqlalchemy/revalidation/failover-each/d4dfe6128c9d/action.txt) | +| Rolling baseline → cached | 100.01; 4.18/5.16 | первый ответ 0.037; действие 11.160; минимум 2 UP | 0 / 0; 0; 0 / 0, история 938 = 938 | [result](evidence/track1-sqlalchemy/revalidation/rolling/result.json), [замены и migrate](evidence/track1-sqlalchemy/revalidation/rolling/action.txt) | + +Возврат реплики включает намеренные 10 с в остановленном состоянии. Отсутствие ошибок +в этих окнах не гарантирует отсутствия более коротких провалов между запросами зонда. +Публичный failover отдельно подтвердил 131 запись, 0 ошибок и первую запись после хука +через 2.624 с; persistence сохранил прежнюю сессию и историю +([журнал](evidence/track1-sqlalchemy/revalidation/commands.txt)). + +История уровня «3» **до оптимизации**, код `0a1f48b`; все числа ниже взяты из указанных файлов. | Сценарий | Наблюдение | Сохранность и возврат | Evidence | | --- | --- | --- | --- | @@ -645,8 +705,9 @@ after 3600; при 3600 проходит один из трёх before и все **Чем отказ процесса отличается от отказа узла?** Отказ процесса — это одна реплика: контейнер остановлен, убит или завис, а host, LB, PostgreSQL и соседняя реплика работают. Его ловит проверка готовности LB, и -трафик уходит на соседа: `SIGTERM` — 1,069–1,266 с, `kill` — 0,886–0,934 с, зависание (`docker pause`) — 2,778–3,215 с по таймауту -проверки (`evidence/detection/`), запись не прерывается (`failover-each`: 0 ошибок под 100 rps). Отказ узла +трафик уходит на соседа: `SIGTERM` — 0,899–1,326 с, `kill` — 0,273–0,795 с, зависание (`docker pause`) — 2,783–3,281 с по таймауту +проверки ([detection после оптимизации](evidence/track1-sqlalchemy/revalidation/detection/)), +в измеренном окне failover-each — 0 ошибок под 100 rps. Отказ узла забирает всё, что на нём запущено, сразу: здесь узел один, поэтому вместе с репликами пропадают LB, PostgreSQL, Valkey и volumes — отказ всего стенда, и никакая реплика его не переживёт. Кроме того, мёртвый узел не отвечает `RST` и не закрывает соединения: обнаружение идёт только по таймаутам, как в сценарии `pause`, а не по отказу @@ -661,15 +722,17 @@ Valkey и volumes — отказ всего стенда, и никакая ре повторов отказавшего соединения на соседа, мягкого вывода из ротации и ответа `503` в формате контракта, когда готовых реплик нет. Всё это делает HAProxy: активная проверка `/health/ready` раз в 1 с с `fall 2`/`rise 2`, round robin, `retry-on conn-failure` и `redispatch`. Пример — остановка PostgreSQL: контейнеры `api` продолжают -работать, а LB исключает обе реплики за 1,196–1,263 с и сам отвечает `503 unavailable` (`detection/run*/postgres.json`). +работать, а LB исключает обе реплики за 1,201–1,255 с и сам отвечает `503 unavailable` +(`evidence/track1-sqlalchemy/revalidation/detection/run*/postgres.json`). **Какие POST можно повторять после timeout и что защищает Idempotency-Key?** Только `POST /api/v1/chats/{chat_id}/messages` с тем же `Idempotency-Key` и тем же телом. Сообщение и квитанция ключа фиксируются одной транзакцией, поэтому повтор после таймаута, обрыва или гибели реплики посреди запроса либо находит квитанцию и получает тот же `201` с тем же `Message`, либо, если исходная запись не зафиксировалась, создаёт сообщение один раз. Одновременные повторы через разные реплики сериализуются блокировкой строки чата: -160 × `201` и одна копия в каждом из 20 раундов (`lb-check.json`). Потерянный ответ воспроизведён на стенде -(`make retry-check`, `retry.json`): запись ждёт блокировку строки чата дольше таймаута клиента, клиент повторяет её +160 × `201` и одна копия в каждом из 20 раундов ([lb-check](evidence/track1-sqlalchemy/revalidation/lb-check.json)). +Потерянный ответ воспроизведён на стенде +(`make retry-check`, [retry](evidence/track1-sqlalchemy/revalidation/retry.json)): запись ждёт блокировку строки чата дольше таймаута клиента, клиент повторяет её с тем же ключом через LB — и когда реплика жива (она сама отвечает `201` уже без клиента), и когда её убили, пока запрос ждал; в обоих случаях повтор получает `201` с тем же `id`, а в истории одна копия. Ключ не защищает от другого тела с тем же ключом (`409`), от повтора через 24 ч и больше (`IDEMPOTENCY_TTL_SECONDS`, ключ начинается заново) и не отменяет @@ -685,8 +748,9 @@ round robin, `retry-on conn-failure` и `redispatch`. Пример — оста persistence с прежним токеном падают. Sticky-сессии лишь маскируют это: при отказе реплики клиенты всё равно теряют вход, а нагрузка распределяется неравномерно. Здесь сессии хранятся в PostgreSQL (только SHA-256 токена) с общим кэшем и отметками отзыва в Valkey: 40 запросов одним токеном — 20 + 20 по репликам -(`lb-check.json`), выход `204` → `401` → `401` через LB (`faults.txt`), прежний токен живёт после рестарта всего -стенда (`persistence.txt`). То же относится к ключам идемпотентности: в памяти реплики повтор через соседа +([lb-check](evidence/track1-sqlalchemy/revalidation/lb-check.json)), выход `204` → `401` → `401` через LB, +прежний токен живёт после рестарта всего стенда +([faults и persistence](evidence/track1-sqlalchemy/revalidation/commands.txt)). То же относится к ключам идемпотентности: в памяти реплики повтор через соседа создал бы дубль. ## Ограничения и следующие шаги @@ -711,7 +775,7 @@ persistence с прежним токеном падают. Sticky-сессии - Время обнаружения измерено тремя прогонами на сценарий; верхняя граница — формула по параметрам проверки. Замер считается от запуска команды отказа и включает задержку docker CLI и период опроса статистики LB, поэтому может превысить формулу на эту величину; допуск замера — 0,25 с. На текущем коде все 12 замеров в пределах - формулы без использования допуска (`evidence/grade4-detection.txt`). + формулы без использования допуска (`evidence/track1-sqlalchemy/revalidation/detection/`). - Rolling update проверен со сменой кода без смены схемы. Миграция, несовместимая с работающей версией (удаление или переименование столбца), потребовала бы двух выпусков expand/contract; в лабе таких нет. - `scripts/rolling-update.sh` и `restore.sh` используют `--no-recreate`: после замены с другим `API_IMAGE` diff --git a/evidence/README.md b/evidence/README.md index acbb05af..45f65c85 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -1,4 +1,4 @@ -date: 2026-11-05T22:01:31.561495+00:00 commit: 3fb741e6a84d2b187a0266488b018f0b684dcce5 +date: 2026-11-05T22:28:57.204523+00:00 commit: f591fa64e525679a31c9db7f942d36c789e1a12f (report documentation worktree) # Доказательства @@ -8,7 +8,27 @@ date: 2026-11-05T22:01:31.561495+00:00 commit: 3fb741e6a84d2b187a0266488b018f0b6 В текстовом выводе удалены пробелы на концах строк Docker/psql; локальный путь заменён на ``. В grade4-student-tests.txt замаскирован синтетический неверный Bearer из имени параметризованного теста. -## Уровень «3» после SQLAlchemy — 2026-11-05 +## Актуальный итог и финализация отчёта + +Заявлена «5», трек 1 «Цена масштабирования». Автор — Костылев Артём, БПИ2303. +Приоритет имеют итоговые проверки после оптимизации; таблицы grade3/grade4 ниже +сохраняют историю отдельных этапов **до кэширования SQL**, а не новые прогоны HEAD. + +| Что проверяется | Актуальный источник | Код | +| --- | --- | --- | +| Уровни «3»/«4», публичные проверки, отказы зависимостей | [Команды](track1-sqlalchemy/revalidation/commands.txt), [сценарии](track1-sqlalchemy/revalidation/) | `3fb741e`, API идентичен `57744c5` | +| Каждая реплика: времена, ошибки, потери, реальные контейнеры | [a855a190991a](track1-sqlalchemy/revalidation/failover-each/a855a190991a/result.json), [d4dfe6128c9d](track1-sqlalchemy/revalidation/failover-each/d4dfe6128c9d/result.json); `action.txt` рядом | `3fb741e` | +| Rolling под нагрузкой, один migrate, история | [Результат](track1-sqlalchemy/revalidation/rolling/result.json), [действие](track1-sqlalchemy/revalidation/rolling/action.txt) | `5c8f605` → API `57744c5`, обвязка `3fb741e` | +| 135 измерений, методика и подтверждённое улучшение | [Методика](track1-sqlalchemy/README.md), [аудит](track1-sqlalchemy/audit.txt), [сводка](track1-sqlalchemy/plots/capacity.md) | baseline `5c8f605`, after `57744c5` | +| Исправление сохранения диагностических журналов | [Повторные 290 tests и smoke](track1-sqlalchemy/diagnostics/setup-log-fix-checks.txt) | `55b99a2`; API не менялся | +| Проверки этапа report | [check/validate/lint/student-test/OpenSpec](report-checks.txt), [ссылки, метрики и состав изменений](report-audit.txt) | `f591fa64e525679a31c9db7f942d36c789e1a12f` + только документы | + +На этапе report нагрузка заново не снималась: код приложения, миграции, образы и +конфигурация стенда не изменялись. Ссылки и численные выводы сверены с сохранённым +сырьём; собственные тесты выполнены заново. Журналы содержат фактические коды выхода, +включая неуспехи. Публикаций и отправок Telegram на этом этапе нет. + +## Уровень «3» после SQLAlchemy, до оптимизации — 2026-11-05 Код всех итоговых прогонов: **`0a1f48bd73e5780c732356880c23fdb476bcff98`**. Compose-проект `mtusi2026lab3-grade3-final-20261105`, `LB_HTTP_PORT=18083`, `LB_STATS_PORT=23083`, @@ -54,10 +74,10 @@ volumes сохранены. До конца grade4 код приложения `clean-clone.txt`, `hooks.txt`, `failover-fe75c6c37e5a.txt`, `failover-ff81f93e8b0d.txt` и `rolling-from-8d28d45/` — история до SQLAlchemy. Прежние версии перезаписанных доказательств -доступны через `git show ef0b9a3:evidence/<имя>`. Новые измерения трека приведены ниже; +доступны через `git show 72a1e57:evidence/<имя>`. Новые измерения трека приведены ниже; исходный SQLAlchemy change завершён и архивирован 2026-11-06. -## Уровень «4» после SQLAlchemy — 2026-11-05 +## Уровень «4» после SQLAlchemy, до оптимизации — 2026-11-05 Код прогонов: **`252e3e3ffeea5004cfd9dc342e686af1417a77a2`**. Проект `mtusi2026lab3-grade4-20261105`, порты `18083/23083`, две реплики по 1 CPU/512 MiB, diff --git a/evidence/report-audit.txt b/evidence/report-audit.txt new file mode 100644 index 00000000..d34db3bb --- /dev/null +++ b/evidence/report-audit.txt @@ -0,0 +1,161 @@ +date: 2026-11-05T22:28:24.183630+00:00 commit: f591fa64e525679a31c9db7f942d36c789e1a12f +worktree: report documentation changes only +$ python3 <<'PY' +import collections +import csv +import json +import re +import subprocess +from pathlib import Path +from statistics import median + +root = Path.cwd() +track = root / "evidence/track1-sqlalchemy" +report = (root / "REPORT.md").read_text() +links = 0 +for name in ("REPORT.md", "AGENTS.md", "evidence/README.md"): + path = root / name + for target in re.findall(r"\]\(([^)]+)\)", path.read_text()): + if "://" in target or target.startswith("#"): + continue + assert (path.parent / target.split("#")[0]).exists(), (name, target) + links += 1 +print("PASS: local Markdown links exist:", links) +for candidate in re.findall(r"`(evidence/[^`\s]+)`", report): + if not any(char in candidate for char in "{}<>"): + assert list(root.glob(candidate)), candidate +print("PASS: explicit evidence paths and globs in REPORT exist") + +all_rows = [] +series_rows = {} +expected_sizes = {"series-a": 54, "series-b": 36, "compare": 18, "control-pool": 15, "control-cpus": 12} +for name, size in expected_sizes.items(): + folder = track / name + rows = list(csv.DictReader(line for line in (folder / "summary.csv").read_text().splitlines() if not line.startswith("#"))) + assert len(rows) == size + groups = collections.defaultdict(list) + for row in rows: + groups[row["variant"], row["config"], row["rate"]].append(row) + raw = folder / row["raw_dir"] + metrics = json.loads((raw / "k6/summary.json").read_text())["metrics"] + count = metrics["http_reqs{scenario:measure}"]["values"]["count"] + failed = metrics["http_req_failed{scenario:measure}"]["values"]["rate"] + dropped = metrics.get("dropped_iterations{scenario:measure}", {}).get("values", {}).get("count", 0) + p95 = metrics["http_req_duration{scenario:measure}"]["values"]["p(95)"] + assert int(row["requests"]) == count + assert abs(float(row["ok_rps"]) - count * (1 - failed) / 30) <= 0.006 + assert abs(float(row["failed_ratio"]) - failed) <= 0.000006 + assert abs(float(row["p95_ms"]) - p95) <= 0.006 + assert int(row["dropped_iterations"]) == dropped + assert row["disturbed"] == "False" and row["k6_exit"] == "0" + metadata = json.loads((raw / "metadata.json").read_text()) + apis = [item for item in metadata["containers"] if "-api-" in item["name"]] + assert len(apis) == int(row["replicas"]) + assert {item["NanoCpus"] for item in apis} == {round(float(row["cpus"]) * 1e9)} + assert {item["Memory"] for item in apis} == {int(row["memory_mb"]) * 2**20} + assert {item["CpusetCpus"] for item in apis} == {row["api_cpuset"]} + assert all(len(items) == 3 and {item["repeat"] for item in items} == {"1", "2", "3"} for items in groups.values()) + series_rows[name] = rows + all_rows.extend(rows) + print("PASS:", name, size, "samples; raw k6 counts/latency/errors, 3 repeats, actual resources") +assert len(all_rows) == 135 +assert sum(int(row["requests"]) for row in all_rows) == 8271783 +assert len(list((track / "plots").glob("*.png"))) == 12 +print("PASS: 135 samples, 8271783 requests, 12 PNG files") + +comparison = {} +for variant in ("before", "after"): + for rate in (2400, 3600, 5400): + rows = [row for row in series_rows["compare"] if row["variant"] == variant and int(row["rate"]) == rate] + values = {field: median(float(row[field]) for row in rows) for field in ("ok_rps", "p95_ms", "p99_ms", "cpu_api")} + comparison[variant, rate] = values + line = next(line for line in report.splitlines() if line.startswith(f"| {rate} | {variant} |")) + for field in ("ok_rps", "p95_ms", "p99_ms"): + assert f"{values[field]:.2f}" in line, (variant, rate, field) + print("PASS: REPORT comparison", variant, rate, values) +for rate, field in ((2400, "p95_ms"), (5400, "ok_rps")): + before = [float(row[field]) for row in series_rows["compare"] if row["variant"] == "before" and int(row["rate"]) == rate] + after = [float(row[field]) for row in series_rows["compare"] if row["variant"] == "after" and int(row["rate"]) == rate] + assert max(after) < min(before) if field == "p95_ms" else min(after) > max(before) +gain = (comparison["after", 5400]["ok_rps"] / comparison["before", 5400]["ok_rps"] - 1) * 100 +cpu = (1 - comparison["after", 2400]["cpu_api"] / comparison["before", 2400]["cpu_api"]) * 100 +assert round(gain, 1) == 8.7 and round(cpu, 1) == 29.3 +print("PASS: non-overlapping ranges; throughput +8.7%, API CPU -29.3%") + +for name in ("series-a", "series-b"): + groups = collections.defaultdict(list) + for row in series_rows[name]: + groups[row["config"], row["rate"]].append(float(row["ok_rps"])) + for config in sorted({key[0] for key in groups}): + peak = max(median(values) for (cfg, rate), values in groups.items() if cfg == config) + assert f"{peak:.2f}" in report, (name, config, peak) + print("PASS: REPORT peak", name, config, f"{peak:.2f}") + +validation = track / "revalidation" +expected = {"a855a190991a": (1.018, 0.058, 14.480, 661), "d4dfe6128c9d": (1.145, 0.096, 16.127, 661)} +for label, values in expected.items(): + folder = validation / "failover-each" / label + data = json.loads((folder / "result.json").read_text()) + assert data["pass"] and all(data["checks"].values()) + assert (data["detection_seconds"], data["probe"]["first_success_s"], data["rejoin_seconds"], data["history"]["confirmed"]) == values + assert data["history"]["confirmed"] == data["history"]["stored"] and data["history"]["exact_match"] and data["history"]["unique"] + assert data["k6"]["failed_ratio"] == data["probe"]["failed_attempts"] == data["k6"]["dropped_iterations"] == 0 + assert label in (folder / "action.txt").read_text() and "Exited (0)" in (folder / "action.txt").read_text() + print("PASS: REPORT failure", label, values, "zero errors/losses/duplicates, stopped container recorded") +rolling = json.loads((validation / "rolling/result.json").read_text()) +assert rolling["pass"] and all(rolling["checks"].values()) +assert rolling["history"]["confirmed"] == rolling["history"]["stored"] == 938 +assert rolling["lb_up_min"] == 2 and rolling["probe"]["first_success_s"] == 0.037 +print("PASS: rolling, 938 messages preserved, minimum 2 UP") +for scenario, expected_range in {"sigterm": (0.899, 1.326), "kill": (0.273, 0.795), "pause": (2.783, 3.281), "postgres": (1.201, 1.255)}.items(): + data = [json.loads(path.read_text()) for path in sorted(validation.glob(f"detection/run*/{scenario}.json"))] + assert len(data) == 3 and all(item["pass"] for item in data) + actual = [item["detection_seconds"] for item in data] + assert (min(actual), max(actual)) == expected_range + print("PASS: REPORT detection", scenario, expected_range) + +paths = ["src", "alembic", "infra", "Dockerfile", "compose.yaml", "pyproject.toml", "uv.lock", "student-tests"] +subprocess.run(["git", "diff", "--exit-code", "3fb741e", "--", *paths], check=True) +subprocess.run(["git", "diff", "--exit-code", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md"], check=True) +subprocess.run(["git", "diff", "--exit-code", "f591fa6", "--", ".pipeline"], check=True) +print("PASS: application/migrations/stack/tests unchanged since revalidation; normative files unchanged from upstream") +subprocess.run(["git", "diff", "--check"], check=True) +print("PASS: git diff --check") +print("Context7 checked: /sqlalchemy/sqlalchemy/rel_2_0_45 lambda_stmt(enable_tracking=False); /sqlalchemy/alembic/rel_1_16_5 async run_sync/upgrade head") +PY + +PASS: local Markdown links exist: 40 +PASS: explicit evidence paths and globs in REPORT exist +PASS: series-a 54 samples; raw k6 counts/latency/errors, 3 repeats, actual resources +PASS: series-b 36 samples; raw k6 counts/latency/errors, 3 repeats, actual resources +PASS: compare 18 samples; raw k6 counts/latency/errors, 3 repeats, actual resources +PASS: control-pool 15 samples; raw k6 counts/latency/errors, 3 repeats, actual resources +PASS: control-cpus 12 samples; raw k6 counts/latency/errors, 3 repeats, actual resources +PASS: 135 samples, 8271783 requests, 12 PNG files +PASS: REPORT comparison before 2400 {'ok_rps': 2400.03, 'p95_ms': 14.28, 'p99_ms': 63.16, 'cpu_api': 573.24} +PASS: REPORT comparison before 3600 {'ok_rps': 3562.0, 'p95_ms': 223.99, 'p99_ms': 283.23, 'cpu_api': 774.41} +PASS: REPORT comparison before 5400 {'ok_rps': 3629.17, 'p95_ms': 373.74, 'p99_ms': 480.28, 'cpu_api': 775.03} +PASS: REPORT comparison after 2400 {'ok_rps': 2400.03, 'p95_ms': 4.63, 'p99_ms': 14.2, 'cpu_api': 405.23} +PASS: REPORT comparison after 3600 {'ok_rps': 3587.4, 'p95_ms': 101.01, 'p99_ms': 156.31, 'cpu_api': 593.03} +PASS: REPORT comparison after 5400 {'ok_rps': 3945.63, 'p95_ms': 317.43, 'p99_ms': 415.68, 'cpu_api': 614.42} +PASS: non-overlapping ranges; throughput +8.7%, API CPU -29.3% +PASS: REPORT peak series-a 1x4 2687.13 +PASS: REPORT peak series-a 2x2 2531.80 +PASS: REPORT peak series-a 4x1 2421.57 +PASS: REPORT peak series-b 1x1 750.93 +PASS: REPORT peak series-b 2x1 1306.80 +PASS: REPORT peak series-b 8x1 3420.37 +PASS: REPORT failure a855a190991a (1.018, 0.058, 14.48, 661) zero errors/losses/duplicates, stopped container recorded +PASS: REPORT failure d4dfe6128c9d (1.145, 0.096, 16.127, 661) zero errors/losses/duplicates, stopped container recorded +PASS: rolling, 938 messages preserved, minimum 2 UP +PASS: REPORT detection sigterm (0.899, 1.326) +PASS: REPORT detection kill (0.273, 0.795) +PASS: REPORT detection pause (2.783, 3.281) +PASS: REPORT detection postgres (1.201, 1.255) +PASS: application/migrations/stack/tests unchanged since revalidation; normative files unchanged from upstream +PASS: git diff --check +Context7 checked: /sqlalchemy/sqlalchemy/rel_2_0_45 lambda_stmt(enable_tracking=False); /sqlalchemy/alembic/rel_1_16_5 async run_sync/upgrade head +exit: 0 + +Final index audit: 40 local Markdown targets exist in git ls-files; exactly six report/documentation files staged. +git diff --cached --check: exit 0 diff --git a/evidence/report-checks.txt b/evidence/report-checks.txt new file mode 100644 index 00000000..eb21b643 --- /dev/null +++ b/evidence/report-checks.txt @@ -0,0 +1,103 @@ +date: 2026-11-05T22:25:56.847995+00:00 commit: f591fa64e525679a31c9db7f942d36c789e1a12f +worktree: report documentation changes only; application and tests unchanged + +$ make check +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +exit: 0 +duration_seconds: 0.100 + +$ make validate +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +exit: 0 +duration_seconds: 0.250 + +$ make lint +.venv/bin/ruff check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools +All checks passed! +.venv/bin/ruff format --check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools +109 files already formatted +.venv/bin/ty check src student-tests alembic +All checks passed! +exit: 0 +duration_seconds: 0.113 + +$ make student-test +.venv/bin/pytest +============================= test session starts ============================== +platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0 +rootdir: +configfile: pyproject.toml +testpaths: student-tests +plugins: asyncio-1.4.0, anyio-4.15.1 +asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function +collected 302 items / 12 deselected / 290 selected + +student-tests/api/test_access.py ......... [ 3%] +student-tests/api/test_bounded_contexts.py .................. [ 9%] +student-tests/api/test_cache.py ...... [ 11%] +student-tests/api/test_concurrency.py .... [ 12%] +student-tests/api/test_consistency.py ........ [ 15%] +student-tests/api/test_drain.py .. [ 16%] +student-tests/api/test_events.py ...... [ 18%] +student-tests/api/test_idempotency.py ............... [ 23%] +student-tests/api/test_instance.py .... [ 24%] +student-tests/api/test_migrations.py ...................... [ 32%] +student-tests/api/test_negative.py ..................................... [ 45%] + [ 45%] +student-tests/api/test_operability.py .............. [ 50%] +student-tests/api/test_pagination.py .................. [ 56%] +student-tests/api/test_pool.py ............ [ 60%] +student-tests/api/test_sessions.py .................. [ 66%] +student-tests/api/test_timeout.py ...... [ 68%] +student-tests/api/test_wire_format.py .. [ 69%] +student-tests/unit/test_authentication.py ..................... [ 76%] +student-tests/unit/test_cursor.py ........... [ 80%] +student-tests/unit/test_domain.py ..................................... [ 93%] +student-tests/unit/test_probe.py .............. [ 97%] +student-tests/unit/test_scaling.py ..... [ 99%] +student-tests/unit/test_timeouts.py . [100%] + +===================== 290 passed, 12 deselected in 31.49s ====================== +exit: 0 +duration_seconds: 32.073 + +$ uv lock --check +Resolved 64 packages in 5ms +exit: 0 +duration_seconds: 0.019 + +$ openspec validate --all --strict +- Validating... +✓ spec/lab1-event-publication +✓ spec/lab1-messenger-chats +✓ spec/lab1-messenger-history +✓ spec/lab1-messenger-identity +✓ spec/lab1-service-operability +✓ spec/lab2-auth-sessions +✓ spec/lab2-dependency-failures +✓ spec/lab2-history-index +✓ spec/lab2-persistent-storage +✓ spec/lab2-session-cache +✓ spec/lab3-failover-operations +✓ spec/lab3-idempotent-messages +✓ spec/lab3-load-balancing +✓ spec/lab3-scaling-cost +Totals: 14 passed, 0 failed (14 items) +exit: 0 +duration_seconds: 0.831 + +$ docker ps --format '{{.ID}} {{.Names}} {{.Ports}}' +(empty) +exit: 0 + +$ make lint +.venv/bin/ruff check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools +All checks passed! +.venv/bin/ruff format --check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools +109 files already formatted +.venv/bin/ty check src student-tests alembic +All checks passed! +exit: 0 +duration_seconds: 0.118 diff --git a/openspec/config.yaml b/openspec/config.yaml index a70d69e9..a51ef5d8 100644 --- a/openspec/config.yaml +++ b/openspec/config.yaml @@ -9,6 +9,14 @@ context: | задание (`README.md`), нормативный контракт (`contracts/`, версия 1.3.0) и публичные black-box проверки (`tests/`). Целевая оценка — «5»: весь уровень 4 плюс трек 1 «Цена масштабирования». + Автор — Костылев Артём, БПИ2303. Уровни 3 → 4 → трек 5 завершены последовательно; + changes SQLAlchemy/Alembic и повторных измерений архивированы, активных changes нет. + Актуальный итог уровней 3/4 — evidence/track1-sqlalchemy/revalidation/ на 3fb741e + (API идентичен 57744c5); трек — evidence/track1-sqlalchemy/, baseline 5c8f605 против + 57744c5, 135 измерений с тремя повторами, 12 графиков. Evidence прежних этапов + grade3/grade4 относится к SQLAlchemy до кэша компиляции; evidence/track1/ — к raw asyncpg. + Итоговые документы и ссылки проверяются отдельно в evidence/report-checks.txt и report-audit.txt. + ## Границы (менять нельзя) In scope лабы 3: несколько взаимозаменяемых реплик API (≥2) за единственной публичной точкой входа — балансировщиком с проверкой готовности backend и обновлением адресов через DNS, без @@ -29,7 +37,8 @@ context: | Python 3.14 (аннотации вычисляются лениво по PEP 649, `TYPE_CHECKING` и `from __future__ import annotations` не используются), FastAPI, gunicorn с несколькими `UvicornWorker` (пакет `uvicorn-worker`), dishka (DI), pydantic v2 + pydantic-settings, structlog, - SQLAlchemy 2.0 async (ORM/Core за портами, asyncpg только драйвер), Alembic, redis-py (`redis.asyncio`) для Valkey, argon2-cffi, + SQLAlchemy 2.0.45 async (ORM/Core за портами, asyncpg только драйвер), Alembic 1.16.5, + redis-py (`redis.asyncio`) для Valkey, argon2-cffi, pytest + pytest-asyncio + httpx. Зависимости — uv и `uv.lock`; ruff и ty обязательны на `src/`, `student-tests/` и Python-обвязке стенда; `scripts/*.py` держат синтаксис Python 3.9 и stdlib. @@ -43,6 +52,13 @@ context: | (LB и генератор нагрузки) и `backend` (internal). Секреты — compose secrets из gitignored `secrets/`, приложение читает их через `*_FILE`. + Локальная работа — только собственный COMPOSE_PROJECT_NAME, LB_HTTP_PORT=18083, + LB_STATS_PORT=23083; прочие host-порты 23000–23999. NO_PROXY и no_proxy включают + localhost,127.0.0.1,::1. Чужие стенды не останавливаются, WIP и volumes сохраняются. + ЛР1/ЛР2 заморожены. Текущую .pipeline и state не менять. До отдельного этапа publish + ничего не публиковать; допустимый адрес публикации — только private MTUCI-Labs. + Telegram выполняет runner. + ## Архитектура Монолит с двумя доменными зонами по книге Персиваля и Грегори (`openspec/notes/architecture-patterns-python.md`), развёрнутый N одинаковыми репликами: @@ -145,6 +161,8 @@ operations: - "Схема меняется только новым файлом миграции; применённую миграцию не редактируют; миграция совместима с работающей предыдущей версией." - "Публичные `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` запускаются против поднятого стенда (`make up`) через LB после готовности всех реплик; после failover реплика возвращается `make restore`." - "Каждый заявленный критерий рубрики подтверждай командой и наблюдаемым результатом в `REPORT.md`; PASS без команды доказательством не считается." + - "Фиксируй SHA кода API и обвязки отдельно; прежнее evidence помечай историческим. Числа отчёта сверяй с сырыми файлами, ссылки должны существовать. Неуспешные попытки сохраняй и объясняй." + - "Проверяй документацию библиотек через Context7 для закреплённых версий SQLAlchemy/Alembic. Не приравнивай микробенчмарк к HTTP throughput, пик RPS к SLO, а no-op миграцию в rolling к проверке изменения схемы." - "Отмечай выполнение в `tasks.md`; резюме держи кратким." archive: guidance: