Finalize lab 3 report and evidence provenance

Tie the grade 5 claim to the final SQLAlchemy revalidation and measured scaling results. Clarify clean-clone setup, failure timings, historical evidence, and operational constraints; record report-stage checks and evidence audits.
This commit is contained in:
Artyom
2026-11-06 01:29:44 +03:00
parent f591fa64e5
commit 4513d90e48
6 changed files with 422 additions and 35 deletions
+22 -1
View File
@@ -4,6 +4,18 @@ Skeleton лабораторной 3 курса «Мессенджер под н
Лаба 3: несколько взаимозаменяемых реплик API за единой точкой входа — **HAProxy**. Реплики не держат состояния: PostgreSQL остаётся источником истины для пользователей, сессий, чатов и сообщений, Valkey — общий кэш сессий. Каждый ответ API несёт `X-Instance-Id` обслужившей реплики, отправка сообщения требует `Idempotency-Key`, а повтор с тем же ключом через любую реплику не создаёт дубль. Остановка одной реплики не прерывает чтение и запись дольше 10 с.
Автор решения — Костылев Артём, БПИ2303. Уровни «3» → «4» → трек «5» завершены последовательно;
активных OpenSpec changes на момент финализации отчёта нет. Актуальные доказательства:
- `evidence/track1-sqlalchemy/revalidation/` — уровни «3»/«4» после оптимизации, код `3fb741e`;
API идентичен `57744c5`, миграции и инфраструктура с повторного прогона не менялись.
- `evidence/track1-sqlalchemy/` — 135 измерений с тремя повторами и 12 графиков;
baseline `5c8f605`, after `57744c5`; API использует кэш компиляции статического Core CTE.
- `evidence/grade3-*.txt`, `grade4-*.txt` — этапы SQLAlchemy до оптимизации;
`evidence/track1/` и файлы, отмеченные в индексе как raw asyncpg, — исторический код.
- `evidence/report-checks.txt` и `report-audit.txt` — проверки финальных документов;
они не заменяют стендовые и нагрузочные прогоны.
## Команды
```sh
@@ -13,6 +25,7 @@ make install # uv sync --group dev
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
make student-test # собственные тесты (поднимают одноразовые PostgreSQL и Valkey в Docker)
make student-test PYTEST_ARGS='-v -k drain' # выборка тестов с именами
openspec validate --all --strict
make secrets # локальные secrets/* и .env из .env.example (не коммитятся)
make up # docker compose up -d --build --wait: postgres, valkey, migrate, api ×API_REPLICAS, lb; затем ждёт все реплики UP в LB
@@ -35,6 +48,12 @@ make down # остановка без удаления д
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей.
Стенд запускать только в собственном `COMPOSE_PROJECT_NAME`, с `LB_HTTP_PORT=18083`,
`LB_STATS_PORT=23083` и `NO_PROXY=localhost,127.0.0.1,::1` (также `no_proxy`). Остальные
host-порты — 23000–23999. Проверять занятость до запуска; чужие стенды не останавливать.
Полный трек требует 16 vCPU Docker VM. `make detection` перезаписывает свой каталог evidence:
для дополнительного прогона сохранять старое сырьё и задавать новый путь скрипту.
## Архитектура skeleton
- `lab.json` — единственный источник номера лабы (3). От него зависят `scripts/check_contract.py` (`info.version == 1.3.0`, `X-Instance-Id` во всех ответах) и `tests/client.py` (с lab3 проверяет непустой `X-Instance-Id` на любом ответе и шлёт `Idempotency-Key` в каждом POST сообщения).
@@ -53,11 +72,13 @@ make down # остановка без удаления д
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
- Код — `src/messenger/`, миграции — `alembic/versions/*.py`, конфигурация LB и нагрузки — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/` (индекс — `evidence/README.md`, первая строка каждого файла — дата и коммит прогона).
- PostgreSQL — SQLAlchemy 2.0 async (`async_sessionmaker`, `DeclarativeBase`); asyncpg только драйвер. ORM/Core остаются в инфраструктуре, домен — dataclass, pydantic — на HTTP-границе. Миграции — только `alembic upgrade head` в one-shot сервисе `migrate`. Старую схему принимает `alembic/legacy.py` после проверки журнала и каталога PostgreSQL; безусловный `stamp` запрещён. Старый журнал сохраняется, volumes не удаляются.
- PostgreSQL — SQLAlchemy 2.0.45 async (`async_sessionmaker`, `DeclarativeBase`), Alembic 1.16.5; версии закреплены в `pyproject.toml` и `uv.lock`, asyncpg только драйвер. ORM/Core остаются в инфраструктуре, домен — dataclass, pydantic — на HTTP-границе. Миграции — только `alembic upgrade head` в one-shot сервисе `migrate`. Старую схему принимает `alembic/legacy.py` после проверки журнала и каталога PostgreSQL; безусловный `stamp` запрещён. Старый журнал сохраняется, volumes не удаляются.
- Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`.
- Порты реплик API наружу не публикуются: только LB. Нет `container_name`, `hostname` и общего `INSTANCE_ID` у сервиса `api`.
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов, трек 1, ответы на вопросы защиты. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (`docker ps -a`). Цифры в отчёте берутся только из файлов `evidence/`.
- Старые результаты сохранять с SHA и пометкой версии кода; не смешивать raw asyncpg, baseline SQLAlchemy и SQLAlchemy с кэшем компиляции. Микробенчмарк компиляции не заменяет HTTP-замер, пик RPS не равен пределу SLO. Rolling с no-op миграцией не доказывает произвольный DDL под нагрузкой.
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, volumes, дампы.
- ЛР1/ЛР2 заморожены; менять только текущую лабораторную, WIP и volumes сохранять. Текущую `.pipeline` и её state не менять. Публикация — отдельный этап, только private в MTUCI-Labs; Telegram отправляет runner.
## Уровни оценки
+93 -29
View File
@@ -2,10 +2,13 @@
- Автор, группа: Костылев Артём, БПИ2303
- Целевая оценка: **5**; трек «5» — **трек 1 «Цена масштабирования»**
- Ветка: `solution/bpi2303-kostylev`. Уровень «3» подтверждён на
`0a1f48bd73e5780c732356880c23fdb476bcff98`; уровень «4» подтверждён на
SQLAlchemy 2.0.45 / Alembic 1.16.5, код `252e3e3ffeea5004cfd9dc342e686af1417a77a2`.
Публикация в этом этапе не выполняется.
- Ветка: `solution/bpi2303-kostylev`. Уровни «3» и «4» повторно подтверждены после
оптимизации на `3fb741e6a84d2b187a0266488b018f0b684dcce5`: SQLAlchemy 2.0.45 / Alembic 1.16.5.
[Команды и результаты](evidence/track1-sqlalchemy/revalidation/commands.txt),
[аудит доказательств](evidence/track1-sqlalchemy/final-audit.txt).
Код API, миграции, инфраструктура и lockfile с этого прогона не менялись.
После него `55b99a2` исправил только сохранение диагностических журналов подготовки нагрузки;
[повторные тесты и smoke](evidence/track1-sqlalchemy/diagnostics/setup-log-fix-checks.txt) прошли.
- Трек «Цена масштабирования» переснят на SQLAlchemy: baseline `5c8f605`,
оптимизация API `57744c5`, обвязка CPU-контроля `07965a2`, графики `3fb741e`.
Текущие измерения — `evidence/track1-sqlalchemy/`; старый raw asyncpg хранится отдельно.
@@ -17,21 +20,33 @@
`evidence/environment.txt` и `uv.lock`. Документация установленного SQLAlchemy проверена через
Context7: [async sessions](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst),
[проверка соединений](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/core/pooling.rst);
[кэширование статического SQL](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/core/connections.rst);
Alembic — [async cookbook 1.16.5](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst).
Инфраструктура опирается на HAProxy 3.2 Manual, Docker Compose, PostgreSQL и k6.
Решение перенесено из собственной ЛР2; текущий этап выполнен с помощью Codex.
## Запуск из чистого clone
Требуются Docker с Compose v2, `make` и `curl`; системный Python 3.9+ — только для публичных проверок и
`scripts/probe.py`. Образы сторонних сервисов закреплены версией и digest, API собирается из исходников.
Требуются Git, Docker с Compose v2, `make`, `curl`, uv и системный Python 3.9+ для публичных
проверок и обвязки. `make install` устанавливает Python 3.14 и зависимости из `uv.lock`.
Образы сторонних сервисов закреплены версией и digest, API собирается из исходников.
Текущий результат ещё не опубликован. До этапа публикации чистый clone берётся из локального
репозитория с завершёнными коммитами; `LAB3_SOURCE` заменяется своим путём к нему.
Это копирует только Git-данные, без `.env`, secrets, `.venv` и volumes. После публикации
источником может быть private-репозиторий решения в MTUCI-Labs с тем же кодом.
```sh
git clone <repo> && cd mtusi2026lab3 && git checkout solution/bpi2303-kostylev
LAB3_SOURCE="$HOME/projects/learning/HL/labs/mtusi2026lab3"
cd "$(mktemp -d)"
git clone --no-local --branch solution/bpi2303-kostylev "$LAB3_SOURCE" mtusi2026lab3
cd mtusi2026lab3
git rev-parse HEAD
export COMPOSE_PROJECT_NAME=mtusi2026lab3-local
export LB_HTTP_PORT=18083 LB_STATS_PORT=23083 API_REPLICAS=2
export NO_PROXY=localhost,127.0.0.1,::1 no_proxy=localhost,127.0.0.1,::1
make install
make secrets # secrets/*: пароли PostgreSQL и Valkey, DATABASE_URL, CACHE_URL, ключ курсора; .env из .env.example
docker compose --env-file .env config --quiet
make up # docker compose up -d --build --wait: postgres, valkey → migrate (миграции, один раз) → api ×2 → lb,
@@ -63,6 +78,10 @@ make down # безопасная остановка: контейне
прогон сразу после первого попадает в ту же реплику, поэтому перед ним нужен один запрос через LB (строка
`curl …/health/live` выше или `make failover-evidence SHIFT=1`).
До запуска следует проверить занятость 18083/23083 и выбрать свободное имя собственного
Compose-проекта. Чужие контейнеры не останавливаются. Дополнительные порты собственных тестов
автоматически выбираются в 23000–23999. `make reset-data` для воспроизведения не нужен.
Прогон уровня «3» выполнен из рабочего checkout, на новом Compose-проекте
`mtusi2026lab3-grade3-final-20261105` и пустых volumes, с указанными портами и без явного `BASE_URL`.
`evidence/grade3-start.txt` содержит пустой список volumes перед запуском, сборку, `make up`,
@@ -70,7 +89,8 @@ make down # безопасная остановка: контейне
Исторический запуск именно из clone сохранён в `evidence/clean-clone.txt` (`e049c26`);
он не подменяет проверки текущего SQL-слоя.
Собственные проверки и тулчейн:
Собственные проверки и тулчейн (каталог команд; для стендовых целей начиная с
`make test-faults` предварительно выполнить `make up`, после проверок — `make down`):
```sh
make install # uv sync --group dev (Python 3.14 и зависимости из uv.lock)
@@ -79,15 +99,20 @@ make student-test # собственные тесты; поднимают од
make student-test PYTEST_ARGS=-vv # то же с именами тестов (так снят evidence/student-tests.txt)
make check # офлайн-проверка skeleton
make validate # полная валидация OpenAPI 3.1 и примеров (openapi-spec-validator из dev-группы .venv)
openspec validate --all --strict
make test-faults # тесты стенда лабы 2 (Valkey, PostgreSQL, гонки) через балансировщик
make faults-evidence # то же с датой и коммитом → evidence/faults.txt (путь репозитория → <repo>)
make failover-evidence [SHIFT=1] # docker inspect реплик до/после, make test-failover, логи остановленной, restore
make failover-evidence SHIFT=1 # docker inspect реплик до/после, make test-failover, логи остановленной, restore
make persistence-evidence # persistence-тест + StartedAt всех контейнеров до и после
make stack-evidence # сервисы, порты, hostname ↔ X-Instance-Id, лимиты, сети, взгляд LB
make storage-evidence # \d+ схемы, повтор миграций, префикс KDF, правила ignore
```
Проверки уровня «4» — по одной команде на пункт рубрики; каждая пишет файл в `evidence/` и завершается
Для проверки specs нужен отдельно установленный CLI OpenSpec; это инструмент разработки,
не зависимость API. Проверки `make` используют окружение из `make install`.
Проверки уровня «4» выполняются после `make up` — по одной команде на пункт рубрики;
после них — `make down`. Каждая пишет файл в `evidence/` и завершается
ненулевым кодом при нарушении (`make level4` — все подряд):
```sh
@@ -132,7 +157,7 @@ Docker 28.3.2, Compose 2.38.2. Машина — Apple M4 Max, 16 CPU, 48 ГБ RA
```
┌── api (gunicorn, 2 × UvicornWorker) ──┐ SQLAlchemy async pool, 1–2 с
клиент ──HTTP──▶ lb (HAProxy 3.2) ───┤ X-Instance-Id = hostname ├──▶ postgres (источник истины, pgdata)
127.0.0.1:8080 round robin, └── api (gunicorn, 2 × UvicornWorker) ──┘──▶ valkey (кэш сессий, AOF, valkeydata)
127.0.0.1:18083 round robin, └── api (gunicorn, 2 × UvicornWorker) ──┘──▶ valkey (кэш сессий, AOF, valkeydata)
httpchk /health/ready migrate (тот же образ, один раз до реплик) ──▶ postgres
сеть edge ─────── lb ─────── сеть backend (internal): lb, api, migrate, postgres, valkey
```
@@ -180,8 +205,10 @@ One-shot `migrate` выполняет `alembic upgrade head` под advisory loc
**Идемпотентная отправка (зона `messaging`).** Таблица `idempotency_keys (chat_id, user_id, key, fingerprint,
message_id, created_at)`, PK `(chat_id, user_id, key)` — область «пользователь + метод + путь чата + ключ»
(ключ бывает только у `POST …/messages`), FK `(chat_id, user_id) → chat_members` и `message_id → messages`,
`CHECK` формата ключа и длины отпечатка. После трека 1 отправка — **один изменяющий SQL-оператор**; после перехода на SQLAlchemy он выполняется в транзакции с явным `session.commit()`
(`PostgresMessageLog.post`, порт `MessageLog`; до трека было пять обращений, три из них под блокировкой чата):
`CHECK` формата ключа и длины отпечатка. Отправка — **один изменяющий SQL-оператор**
в транзакции SQLAlchemy с явным `session.commit()` (`PostgresMessageLog.post`, порт `MessageLog`).
CTE появился ещё в историческом треке raw asyncpg; до него было пять обращений,
три под блокировкой чата. Нынешний трек кэширует компиляцию уже существующего CTE:
1. CTE `chat`: строка чата `FOR UPDATE`, соединённая с членством отправителя; нет строки → `404`;
2. `created_at = GREATEST(часы реплики, last_message_at + 1 мкс)` — история чата не идёт назад;
@@ -238,7 +265,7 @@ pre-ping и порядок блокировок сохраняются. Цена
завершённого к этому сроку, отменяет и выходит с кодом 0. Отмену ловит конвейер: пишет `request.cancelled` и, если
ответ ещё не начат, отвечает `503 unavailable` в общем формате с `X-Request-Id` и `X-Instance-Id`, затем пробрасывает
отмену дальше (без этого uvicorn отвечал своим `text/plain 500` без заголовков контракта); весь срок — ≤5 с < gunicorn `graceful_timeout` 6 с <
`docker stop -t 7` хука < `stop_grace_period: 8s` < 10 с, поэтому мастер gunicorn не доходит до `SIGKILL` воркера. Результаты текущего кода и счётчики повторов LB приведены в таблице уровня «4» ниже.
`docker stop -t 7` хука < `stop_grace_period: 8s` < 10 с, поэтому мастер gunicorn не доходит до `SIGKILL` воркера. Результаты до и после оптимизации приведены ниже с SHA каждого прогона.
Хук останавливает конкретный контейнер, соответствие hostname проверяется через `docker inspect`.
На реплику `cpus: 1`, `512m`, 2 воркера, пул 8: 2 × 2 × 8 = 32 соединения <
`max_connections=200`. API работает `read_only` с `tmpfs /tmp`.
@@ -330,7 +357,13 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и
## Доказательства критериев
Проверки уровня «3» выполнены 2026-11-05 на `0a1f48bd73e5780c732356880c23fdb476bcff98`.
Актуальный итог — повтор всех уровней после кэширования SQL в таблице «Повтор проверок
после оптимизации» ниже и [revalidation](evidence/track1-sqlalchemy/revalidation/commands.txt).
Следующие две таблицы сохраняют отдельное закрытие уровней «3»/«4» **до оптимизации**;
их числа относятся только к названным SHA. Старый raw asyncpg явно отделён в
[индексе evidence](evidence/README.md) и не доказывает текущую производительность.
Проверки уровня «3» до оптимизации выполнены 2026-11-05 на `0a1f48bd73e5780c732356880c23fdb476bcff98`.
Стенд — `mtusi2026lab3-grade3-final-20261105`, LB `127.0.0.1:18083`, статистика `23083`;
`BASE_URL` автоматически определяется Makefile. Даты, команды, коды завершения и SHA — в `evidence/`.
@@ -349,9 +382,9 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и
| Контракт, OpenAPI, форматирование и типы | `make check`; `make validate`; `make lint`; `uv lock --check`; `openspec validate --all --strict` | Все успешно; 107 файлов соответствуют формату. Diff нормативных файлов против upstream пуст | `evidence/checks.txt` |
| Остановка без удаления данных | `make down`; `docker compose ps -a`; `docker volume ls --filter label=…` | Контейнеров этапа нет; оба volumes финального и исходного прогонов сохранены | `evidence/grade3-stop.txt`, `evidence/grade3-initial-stop.txt` |
**Уровень «4» подтверждён на SQLAlchemy**, код `252e3e3ffeea5004cfd9dc342e686af1417a77a2`.
**Уровень «4» до оптимизации подтверждён на SQLAlchemy**, код `252e3e3ffeea5004cfd9dc342e686af1417a77a2`.
Проект `mtusi2026lab3-grade4-20261105`, порты `18083/23083`; запуск и версии — `grade4-start.txt`.
Старые замеры raw asyncpg доступны через `git show ef0b9a3:evidence/<имя>`.
Старые замеры raw asyncpg доступны через `git show 72a1e57:evidence/<имя>`.
Нагрузка — k6 open model из `edge` в `lb:8080`: 100 запросов/с, 80 % отправок сообщений,
20 % чтений истории, 20 пользователей и 10 чатов, прогрев 10 с, замер 60/90 с.
@@ -386,8 +419,8 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и
| Rolling update | RPS | p50/p95/p99, мс | Действие, с | Первый успешный ответ, с | Минимум UP |
| --- | --- | --- | --- | --- | --- |
| Текущая сборка | 100.01 | 3.01/3.89/4.53 | 10.734 | 0.055 | 2 |
| `7fc911c` → текущая | 100.01 | 2.99/3.85/4.47 | 13.836 | 0.082 | 2 |
| Сборка `252e3e3` | 100.01 | 3.01/3.89/4.53 | 10.734 | 0.055 | 2 |
| `7fc911c` → `252e3e3` | 100.01 | 2.99/3.85/4.47 | 13.836 | 0.082 | 2 |
**Ограничение миграционного доказательства:** `7fc911c` — предыдущая SQLAlchemy-версия до исправления
восстановления пула, с той же схемой `0002_idempotency_keys`. Миграция в rolling update — no-op.
@@ -423,7 +456,8 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и
**Повтор проверок после оптимизации — код `3fb741e`.** API идентичен `57744c5`,
образ SQLAlchemy 2.0.45 с активным compiled cache проверен внутри контейнера до и после rolling.
Команды и коды завершения — `evidence/track1-sqlalchemy/revalidation/commands.txt`;
это дополнительные проверки текущего кода, предыдущие доказательства уровней «3»/«4» сохранены.
это итоговые проверки поведения API; предыдущие доказательства уровней «3»/«4» сохранены
как история последовательного закрытия критериев.
| Проверка | Команда | Результат | Файл внутри `track1-sqlalchemy/` |
| --- | --- | --- | --- |
@@ -442,9 +476,35 @@ postgres 2/1g, valkey 0.5/128m, k6 2/512m (`make limits` сверяет их и
Дополнительные 290 тестов и smoke прошли, стенд снова остановлен с сохранением volumes
(`diagnostics/setup-log-fix-checks.txt`). Финальный аудит — `final-audit.txt`.
**Финализация отчёта — 2026-11-06.** Изменены только документы и журнал их проверки,
основа — `f591fa64e525679a31c9db7f942d36c789e1a12f`. Повторены `make check`,
`make validate`, `make lint`, `make student-test` (290 passed, 12 deselected),
`uv lock --check`, `openspec validate --all --strict` (14 passed):
[журнал](evidence/report-checks.txt). Стендовые 12 тестов и нагрузка относятся к
revalidation выше; на этапе report они не запускались повторно.
[Аудит](evidence/report-audit.txt) проверяет ссылки, исходные метрики, версии кода
и неизменность нормативных файлов. Публикаций и отправок Telegram не было.
## Эксперименты и отказы
Текущий уровень «3», код `0a1f48b`; все числа ниже взяты из указанных файлов.
Итоговый код API после оптимизации (`3fb741e`, API идентичен `57744c5`), k6 100 rps.
В каждом failover реально остановленный контейнер и работающий сосед показаны в `action.txt`
рядом с `result.json`. «Первый ответ» отсчитывается от начала действия и не является
временем простоя: ошибок зонда не было, измеренный `recovery_s=0`.
| Сценарий | RPS; p95/p99, мс | Обнаружение / первый ответ / возврат, с | Ошибки k6 / зонда; dropped; потери / дубли | Evidence |
| --- | --- | --- | --- | --- |
| Остановка `a855a190991a` | 100.00; 4.33/5.15 | 1.018 / 0.058 / 14.480 | 0 / 0; 0; 0 / 0, история 661 = 661 | [result](evidence/track1-sqlalchemy/revalidation/failover-each/a855a190991a/result.json), [контейнеры](evidence/track1-sqlalchemy/revalidation/failover-each/a855a190991a/action.txt) |
| Остановка `d4dfe6128c9d` | 100.02; 4.39/5.23 | 1.145 / 0.096 / 16.127 | 0 / 0; 0; 0 / 0, история 661 = 661 | [result](evidence/track1-sqlalchemy/revalidation/failover-each/d4dfe6128c9d/result.json), [контейнеры](evidence/track1-sqlalchemy/revalidation/failover-each/d4dfe6128c9d/action.txt) |
| Rolling baseline → cached | 100.01; 4.18/5.16 | первый ответ 0.037; действие 11.160; минимум 2 UP | 0 / 0; 0; 0 / 0, история 938 = 938 | [result](evidence/track1-sqlalchemy/revalidation/rolling/result.json), [замены и migrate](evidence/track1-sqlalchemy/revalidation/rolling/action.txt) |
Возврат реплики включает намеренные 10 с в остановленном состоянии. Отсутствие ошибок
в этих окнах не гарантирует отсутствия более коротких провалов между запросами зонда.
Публичный failover отдельно подтвердил 131 запись, 0 ошибок и первую запись после хука
через 2.624 с; persistence сохранил прежнюю сессию и историю
([журнал](evidence/track1-sqlalchemy/revalidation/commands.txt)).
История уровня «3» **до оптимизации**, код `0a1f48b`; все числа ниже взяты из указанных файлов.
| Сценарий | Наблюдение | Сохранность и возврат | Evidence |
| --- | --- | --- | --- |
@@ -645,8 +705,9 @@ after 3600; при 3600 проходит один из трёх before и все
**Чем отказ процесса отличается от отказа узла?** Отказ процесса — это одна реплика: контейнер остановлен,
убит или завис, а host, LB, PostgreSQL и соседняя реплика работают. Его ловит проверка готовности LB, и
трафик уходит на соседа: `SIGTERM` — 1,069–1,266 с, `kill` — 0,886–0,934 с, зависание (`docker pause`) — 2,778–3,215 с по таймауту
проверки (`evidence/detection/`), запись не прерывается (`failover-each`: 0 ошибок под 100 rps). Отказ узла
трафик уходит на соседа: `SIGTERM` — 0,899–1,326 с, `kill` — 0,273–0,795 с, зависание (`docker pause`) — 2,783–3,281 с по таймауту
проверки ([detection после оптимизации](evidence/track1-sqlalchemy/revalidation/detection/)),
в измеренном окне failover-each — 0 ошибок под 100 rps. Отказ узла
забирает всё, что на нём запущено, сразу: здесь узел один, поэтому вместе с репликами пропадают LB, PostgreSQL,
Valkey и volumes — отказ всего стенда, и никакая реплика его не переживёт. Кроме того, мёртвый узел не отвечает
`RST` и не закрывает соединения: обнаружение идёт только по таймаутам, как в сценарии `pause`, а не по отказу
@@ -661,15 +722,17 @@ Valkey и volumes — отказ всего стенда, и никакая ре
повторов отказавшего соединения на соседа, мягкого вывода из ротации и ответа `503` в формате контракта, когда
готовых реплик нет. Всё это делает HAProxy: активная проверка `/health/ready` раз в 1 с с `fall 2`/`rise 2`,
round robin, `retry-on conn-failure` и `redispatch`. Пример — остановка PostgreSQL: контейнеры `api` продолжают
работать, а LB исключает обе реплики за 1,196–1,263 с и сам отвечает `503 unavailable` (`detection/run*/postgres.json`).
работать, а LB исключает обе реплики за 1,201–1,255 с и сам отвечает `503 unavailable`
(`evidence/track1-sqlalchemy/revalidation/detection/run*/postgres.json`).
**Какие POST можно повторять после timeout и что защищает Idempotency-Key?** Только `POST
/api/v1/chats/{chat_id}/messages` с тем же `Idempotency-Key` и тем же телом. Сообщение и квитанция ключа
фиксируются одной транзакцией, поэтому повтор после таймаута, обрыва или гибели реплики посреди запроса либо
находит квитанцию и получает тот же `201` с тем же `Message`, либо, если исходная запись не зафиксировалась,
создаёт сообщение один раз. Одновременные повторы через разные реплики сериализуются блокировкой строки чата:
160 × `201` и одна копия в каждом из 20 раундов (`lb-check.json`). Потерянный ответ воспроизведён на стенде
(`make retry-check`, `retry.json`): запись ждёт блокировку строки чата дольше таймаута клиента, клиент повторяет её
160 × `201` и одна копия в каждом из 20 раундов ([lb-check](evidence/track1-sqlalchemy/revalidation/lb-check.json)).
Потерянный ответ воспроизведён на стенде
(`make retry-check`, [retry](evidence/track1-sqlalchemy/revalidation/retry.json)): запись ждёт блокировку строки чата дольше таймаута клиента, клиент повторяет её
с тем же ключом через LB — и когда реплика жива (она сама отвечает `201` уже без клиента), и когда её убили, пока
запрос ждал; в обоих случаях повтор получает `201` с тем же `id`, а в истории одна копия. Ключ не защищает от другого тела с тем же ключом
(`409`), от повтора через 24 ч и больше (`IDEMPOTENCY_TTL_SECONDS`, ключ начинается заново) и не отменяет
@@ -685,8 +748,9 @@ round robin, `retry-on conn-failure` и `redispatch`. Пример — оста
persistence с прежним токеном падают. Sticky-сессии лишь маскируют это: при отказе реплики клиенты всё равно
теряют вход, а нагрузка распределяется неравномерно. Здесь сессии хранятся в PostgreSQL (только SHA-256
токена) с общим кэшем и отметками отзыва в Valkey: 40 запросов одним токеном — 20 + 20 по репликам
(`lb-check.json`), выход `204` → `401` → `401` через LB (`faults.txt`), прежний токен живёт после рестарта всего
стенда (`persistence.txt`). То же относится к ключам идемпотентности: в памяти реплики повтор через соседа
([lb-check](evidence/track1-sqlalchemy/revalidation/lb-check.json)), выход `204` → `401` → `401` через LB,
прежний токен живёт после рестарта всего стенда
([faults и persistence](evidence/track1-sqlalchemy/revalidation/commands.txt)). То же относится к ключам идемпотентности: в памяти реплики повтор через соседа
создал бы дубль.
## Ограничения и следующие шаги
@@ -711,7 +775,7 @@ persistence с прежним токеном падают. Sticky-сессии
- Время обнаружения измерено тремя прогонами на сценарий; верхняя граница — формула по параметрам проверки.
Замер считается от запуска команды отказа и включает задержку docker CLI и период опроса статистики LB, поэтому
может превысить формулу на эту величину; допуск замера — 0,25 с. На текущем коде все 12 замеров в пределах
формулы без использования допуска (`evidence/grade4-detection.txt`).
формулы без использования допуска (`evidence/track1-sqlalchemy/revalidation/detection/`).
- Rolling update проверен со сменой кода без смены схемы. Миграция, несовместимая с работающей версией
(удаление или переименование столбца), потребовала бы двух выпусков expand/contract; в лабе таких нет.
- `scripts/rolling-update.sh` и `restore.sh` используют `--no-recreate`: после замены с другим `API_IMAGE`
+24 -4
View File
@@ -1,4 +1,4 @@
date: 2026-11-05T22:01:31.561495+00:00 commit: 3fb741e6a84d2b187a0266488b018f0b684dcce5
date: 2026-11-05T22:28:57.204523+00:00 commit: f591fa64e525679a31c9db7f942d36c789e1a12f (report documentation worktree)
# Доказательства
@@ -8,7 +8,27 @@ date: 2026-11-05T22:01:31.561495+00:00 commit: 3fb741e6a84d2b187a0266488b018f0b6
В текстовом выводе удалены пробелы на концах строк Docker/psql; локальный путь заменён на `<repo>`.
В grade4-student-tests.txt замаскирован синтетический неверный Bearer из имени параметризованного теста.
## Уровень «3» после SQLAlchemy — 2026-11-05
## Актуальный итог и финализация отчёта
Заявлена «5», трек 1 «Цена масштабирования». Автор — Костылев Артём, БПИ2303.
Приоритет имеют итоговые проверки после оптимизации; таблицы grade3/grade4 ниже
сохраняют историю отдельных этапов **до кэширования SQL**, а не новые прогоны HEAD.
| Что проверяется | Актуальный источник | Код |
| --- | --- | --- |
| Уровни «3»/«4», публичные проверки, отказы зависимостей | [Команды](track1-sqlalchemy/revalidation/commands.txt), [сценарии](track1-sqlalchemy/revalidation/) | `3fb741e`, API идентичен `57744c5` |
| Каждая реплика: времена, ошибки, потери, реальные контейнеры | [a855a190991a](track1-sqlalchemy/revalidation/failover-each/a855a190991a/result.json), [d4dfe6128c9d](track1-sqlalchemy/revalidation/failover-each/d4dfe6128c9d/result.json); `action.txt` рядом | `3fb741e` |
| Rolling под нагрузкой, один migrate, история | [Результат](track1-sqlalchemy/revalidation/rolling/result.json), [действие](track1-sqlalchemy/revalidation/rolling/action.txt) | `5c8f605` → API `57744c5`, обвязка `3fb741e` |
| 135 измерений, методика и подтверждённое улучшение | [Методика](track1-sqlalchemy/README.md), [аудит](track1-sqlalchemy/audit.txt), [сводка](track1-sqlalchemy/plots/capacity.md) | baseline `5c8f605`, after `57744c5` |
| Исправление сохранения диагностических журналов | [Повторные 290 tests и smoke](track1-sqlalchemy/diagnostics/setup-log-fix-checks.txt) | `55b99a2`; API не менялся |
| Проверки этапа report | [check/validate/lint/student-test/OpenSpec](report-checks.txt), [ссылки, метрики и состав изменений](report-audit.txt) | `f591fa64e525679a31c9db7f942d36c789e1a12f` + только документы |
На этапе report нагрузка заново не снималась: код приложения, миграции, образы и
конфигурация стенда не изменялись. Ссылки и численные выводы сверены с сохранённым
сырьём; собственные тесты выполнены заново. Журналы содержат фактические коды выхода,
включая неуспехи. Публикаций и отправок Telegram на этом этапе нет.
## Уровень «3» после SQLAlchemy, до оптимизации — 2026-11-05
Код всех итоговых прогонов: **`0a1f48bd73e5780c732356880c23fdb476bcff98`**.
Compose-проект `mtusi2026lab3-grade3-final-20261105`, `LB_HTTP_PORT=18083`, `LB_STATS_PORT=23083`,
@@ -54,10 +74,10 @@ volumes сохранены. До конца grade4 код приложения
`clean-clone.txt`, `hooks.txt`, `failover-fe75c6c37e5a.txt`, `failover-ff81f93e8b0d.txt`
и `rolling-from-8d28d45/` — история до SQLAlchemy. Прежние версии перезаписанных доказательств
доступны через `git show ef0b9a3:evidence/<имя>`. Новые измерения трека приведены ниже;
доступны через `git show 72a1e57:evidence/<имя>`. Новые измерения трека приведены ниже;
исходный SQLAlchemy change завершён и архивирован 2026-11-06.
## Уровень «4» после SQLAlchemy — 2026-11-05
## Уровень «4» после SQLAlchemy, до оптимизации — 2026-11-05
Код прогонов: **`252e3e3ffeea5004cfd9dc342e686af1417a77a2`**.
Проект `mtusi2026lab3-grade4-20261105`, порты `18083/23083`, две реплики по 1 CPU/512 MiB,
+161
View File
@@ -0,0 +1,161 @@
date: 2026-11-05T22:28:24.183630+00:00 commit: f591fa64e525679a31c9db7f942d36c789e1a12f
worktree: report documentation changes only
$ python3 <<'PY'
import collections
import csv
import json
import re
import subprocess
from pathlib import Path
from statistics import median
root = Path.cwd()
track = root / "evidence/track1-sqlalchemy"
report = (root / "REPORT.md").read_text()
links = 0
for name in ("REPORT.md", "AGENTS.md", "evidence/README.md"):
path = root / name
for target in re.findall(r"\]\(([^)]+)\)", path.read_text()):
if "://" in target or target.startswith("#"):
continue
assert (path.parent / target.split("#")[0]).exists(), (name, target)
links += 1
print("PASS: local Markdown links exist:", links)
for candidate in re.findall(r"`(evidence/[^`\s]+)`", report):
if not any(char in candidate for char in "{}<>"):
assert list(root.glob(candidate)), candidate
print("PASS: explicit evidence paths and globs in REPORT exist")
all_rows = []
series_rows = {}
expected_sizes = {"series-a": 54, "series-b": 36, "compare": 18, "control-pool": 15, "control-cpus": 12}
for name, size in expected_sizes.items():
folder = track / name
rows = list(csv.DictReader(line for line in (folder / "summary.csv").read_text().splitlines() if not line.startswith("#")))
assert len(rows) == size
groups = collections.defaultdict(list)
for row in rows:
groups[row["variant"], row["config"], row["rate"]].append(row)
raw = folder / row["raw_dir"]
metrics = json.loads((raw / "k6/summary.json").read_text())["metrics"]
count = metrics["http_reqs{scenario:measure}"]["values"]["count"]
failed = metrics["http_req_failed{scenario:measure}"]["values"]["rate"]
dropped = metrics.get("dropped_iterations{scenario:measure}", {}).get("values", {}).get("count", 0)
p95 = metrics["http_req_duration{scenario:measure}"]["values"]["p(95)"]
assert int(row["requests"]) == count
assert abs(float(row["ok_rps"]) - count * (1 - failed) / 30) <= 0.006
assert abs(float(row["failed_ratio"]) - failed) <= 0.000006
assert abs(float(row["p95_ms"]) - p95) <= 0.006
assert int(row["dropped_iterations"]) == dropped
assert row["disturbed"] == "False" and row["k6_exit"] == "0"
metadata = json.loads((raw / "metadata.json").read_text())
apis = [item for item in metadata["containers"] if "-api-" in item["name"]]
assert len(apis) == int(row["replicas"])
assert {item["NanoCpus"] for item in apis} == {round(float(row["cpus"]) * 1e9)}
assert {item["Memory"] for item in apis} == {int(row["memory_mb"]) * 2**20}
assert {item["CpusetCpus"] for item in apis} == {row["api_cpuset"]}
assert all(len(items) == 3 and {item["repeat"] for item in items} == {"1", "2", "3"} for items in groups.values())
series_rows[name] = rows
all_rows.extend(rows)
print("PASS:", name, size, "samples; raw k6 counts/latency/errors, 3 repeats, actual resources")
assert len(all_rows) == 135
assert sum(int(row["requests"]) for row in all_rows) == 8271783
assert len(list((track / "plots").glob("*.png"))) == 12
print("PASS: 135 samples, 8271783 requests, 12 PNG files")
comparison = {}
for variant in ("before", "after"):
for rate in (2400, 3600, 5400):
rows = [row for row in series_rows["compare"] if row["variant"] == variant and int(row["rate"]) == rate]
values = {field: median(float(row[field]) for row in rows) for field in ("ok_rps", "p95_ms", "p99_ms", "cpu_api")}
comparison[variant, rate] = values
line = next(line for line in report.splitlines() if line.startswith(f"| {rate} | {variant} |"))
for field in ("ok_rps", "p95_ms", "p99_ms"):
assert f"{values[field]:.2f}" in line, (variant, rate, field)
print("PASS: REPORT comparison", variant, rate, values)
for rate, field in ((2400, "p95_ms"), (5400, "ok_rps")):
before = [float(row[field]) for row in series_rows["compare"] if row["variant"] == "before" and int(row["rate"]) == rate]
after = [float(row[field]) for row in series_rows["compare"] if row["variant"] == "after" and int(row["rate"]) == rate]
assert max(after) < min(before) if field == "p95_ms" else min(after) > max(before)
gain = (comparison["after", 5400]["ok_rps"] / comparison["before", 5400]["ok_rps"] - 1) * 100
cpu = (1 - comparison["after", 2400]["cpu_api"] / comparison["before", 2400]["cpu_api"]) * 100
assert round(gain, 1) == 8.7 and round(cpu, 1) == 29.3
print("PASS: non-overlapping ranges; throughput +8.7%, API CPU -29.3%")
for name in ("series-a", "series-b"):
groups = collections.defaultdict(list)
for row in series_rows[name]:
groups[row["config"], row["rate"]].append(float(row["ok_rps"]))
for config in sorted({key[0] for key in groups}):
peak = max(median(values) for (cfg, rate), values in groups.items() if cfg == config)
assert f"{peak:.2f}" in report, (name, config, peak)
print("PASS: REPORT peak", name, config, f"{peak:.2f}")
validation = track / "revalidation"
expected = {"a855a190991a": (1.018, 0.058, 14.480, 661), "d4dfe6128c9d": (1.145, 0.096, 16.127, 661)}
for label, values in expected.items():
folder = validation / "failover-each" / label
data = json.loads((folder / "result.json").read_text())
assert data["pass"] and all(data["checks"].values())
assert (data["detection_seconds"], data["probe"]["first_success_s"], data["rejoin_seconds"], data["history"]["confirmed"]) == values
assert data["history"]["confirmed"] == data["history"]["stored"] and data["history"]["exact_match"] and data["history"]["unique"]
assert data["k6"]["failed_ratio"] == data["probe"]["failed_attempts"] == data["k6"]["dropped_iterations"] == 0
assert label in (folder / "action.txt").read_text() and "Exited (0)" in (folder / "action.txt").read_text()
print("PASS: REPORT failure", label, values, "zero errors/losses/duplicates, stopped container recorded")
rolling = json.loads((validation / "rolling/result.json").read_text())
assert rolling["pass"] and all(rolling["checks"].values())
assert rolling["history"]["confirmed"] == rolling["history"]["stored"] == 938
assert rolling["lb_up_min"] == 2 and rolling["probe"]["first_success_s"] == 0.037
print("PASS: rolling, 938 messages preserved, minimum 2 UP")
for scenario, expected_range in {"sigterm": (0.899, 1.326), "kill": (0.273, 0.795), "pause": (2.783, 3.281), "postgres": (1.201, 1.255)}.items():
data = [json.loads(path.read_text()) for path in sorted(validation.glob(f"detection/run*/{scenario}.json"))]
assert len(data) == 3 and all(item["pass"] for item in data)
actual = [item["detection_seconds"] for item in data]
assert (min(actual), max(actual)) == expected_range
print("PASS: REPORT detection", scenario, expected_range)
paths = ["src", "alembic", "infra", "Dockerfile", "compose.yaml", "pyproject.toml", "uv.lock", "student-tests"]
subprocess.run(["git", "diff", "--exit-code", "3fb741e", "--", *paths], check=True)
subprocess.run(["git", "diff", "--exit-code", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md"], check=True)
subprocess.run(["git", "diff", "--exit-code", "f591fa6", "--", ".pipeline"], check=True)
print("PASS: application/migrations/stack/tests unchanged since revalidation; normative files unchanged from upstream")
subprocess.run(["git", "diff", "--check"], check=True)
print("PASS: git diff --check")
print("Context7 checked: /sqlalchemy/sqlalchemy/rel_2_0_45 lambda_stmt(enable_tracking=False); /sqlalchemy/alembic/rel_1_16_5 async run_sync/upgrade head")
PY
PASS: local Markdown links exist: 40
PASS: explicit evidence paths and globs in REPORT exist
PASS: series-a 54 samples; raw k6 counts/latency/errors, 3 repeats, actual resources
PASS: series-b 36 samples; raw k6 counts/latency/errors, 3 repeats, actual resources
PASS: compare 18 samples; raw k6 counts/latency/errors, 3 repeats, actual resources
PASS: control-pool 15 samples; raw k6 counts/latency/errors, 3 repeats, actual resources
PASS: control-cpus 12 samples; raw k6 counts/latency/errors, 3 repeats, actual resources
PASS: 135 samples, 8271783 requests, 12 PNG files
PASS: REPORT comparison before 2400 {'ok_rps': 2400.03, 'p95_ms': 14.28, 'p99_ms': 63.16, 'cpu_api': 573.24}
PASS: REPORT comparison before 3600 {'ok_rps': 3562.0, 'p95_ms': 223.99, 'p99_ms': 283.23, 'cpu_api': 774.41}
PASS: REPORT comparison before 5400 {'ok_rps': 3629.17, 'p95_ms': 373.74, 'p99_ms': 480.28, 'cpu_api': 775.03}
PASS: REPORT comparison after 2400 {'ok_rps': 2400.03, 'p95_ms': 4.63, 'p99_ms': 14.2, 'cpu_api': 405.23}
PASS: REPORT comparison after 3600 {'ok_rps': 3587.4, 'p95_ms': 101.01, 'p99_ms': 156.31, 'cpu_api': 593.03}
PASS: REPORT comparison after 5400 {'ok_rps': 3945.63, 'p95_ms': 317.43, 'p99_ms': 415.68, 'cpu_api': 614.42}
PASS: non-overlapping ranges; throughput +8.7%, API CPU -29.3%
PASS: REPORT peak series-a 1x4 2687.13
PASS: REPORT peak series-a 2x2 2531.80
PASS: REPORT peak series-a 4x1 2421.57
PASS: REPORT peak series-b 1x1 750.93
PASS: REPORT peak series-b 2x1 1306.80
PASS: REPORT peak series-b 8x1 3420.37
PASS: REPORT failure a855a190991a (1.018, 0.058, 14.48, 661) zero errors/losses/duplicates, stopped container recorded
PASS: REPORT failure d4dfe6128c9d (1.145, 0.096, 16.127, 661) zero errors/losses/duplicates, stopped container recorded
PASS: rolling, 938 messages preserved, minimum 2 UP
PASS: REPORT detection sigterm (0.899, 1.326)
PASS: REPORT detection kill (0.273, 0.795)
PASS: REPORT detection pause (2.783, 3.281)
PASS: REPORT detection postgres (1.201, 1.255)
PASS: application/migrations/stack/tests unchanged since revalidation; normative files unchanged from upstream
PASS: git diff --check
Context7 checked: /sqlalchemy/sqlalchemy/rel_2_0_45 lambda_stmt(enable_tracking=False); /sqlalchemy/alembic/rel_1_16_5 async run_sync/upgrade head
exit: 0
Final index audit: 40 local Markdown targets exist in git ls-files; exactly six report/documentation files staged.
git diff --cached --check: exit 0
+103
View File
@@ -0,0 +1,103 @@
date: 2026-11-05T22:25:56.847995+00:00 commit: f591fa64e525679a31c9db7f942d36c789e1a12f
worktree: report documentation changes only; application and tests unchanged
$ make check
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
exit: 0
duration_seconds: 0.100
$ make validate
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
exit: 0
duration_seconds: 0.250
$ make lint
.venv/bin/ruff check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools
All checks passed!
.venv/bin/ruff format --check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools
109 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
exit: 0
duration_seconds: 0.113
$ make student-test
.venv/bin/pytest
============================= test session starts ==============================
platform darwin -- Python 3.14.5, pytest-9.1.1, pluggy-1.6.0
rootdir: <repo>
configfile: pyproject.toml
testpaths: student-tests
plugins: asyncio-1.4.0, anyio-4.15.1
asyncio: mode=Mode.AUTO, debug=False, asyncio_default_fixture_loop_scope=function, asyncio_default_test_loop_scope=function
collected 302 items / 12 deselected / 290 selected
student-tests/api/test_access.py ......... [ 3%]
student-tests/api/test_bounded_contexts.py .................. [ 9%]
student-tests/api/test_cache.py ...... [ 11%]
student-tests/api/test_concurrency.py .... [ 12%]
student-tests/api/test_consistency.py ........ [ 15%]
student-tests/api/test_drain.py .. [ 16%]
student-tests/api/test_events.py ...... [ 18%]
student-tests/api/test_idempotency.py ............... [ 23%]
student-tests/api/test_instance.py .... [ 24%]
student-tests/api/test_migrations.py ...................... [ 32%]
student-tests/api/test_negative.py ..................................... [ 45%]
[ 45%]
student-tests/api/test_operability.py .............. [ 50%]
student-tests/api/test_pagination.py .................. [ 56%]
student-tests/api/test_pool.py ............ [ 60%]
student-tests/api/test_sessions.py .................. [ 66%]
student-tests/api/test_timeout.py ...... [ 68%]
student-tests/api/test_wire_format.py .. [ 69%]
student-tests/unit/test_authentication.py ..................... [ 76%]
student-tests/unit/test_cursor.py ........... [ 80%]
student-tests/unit/test_domain.py ..................................... [ 93%]
student-tests/unit/test_probe.py .............. [ 97%]
student-tests/unit/test_scaling.py ..... [ 99%]
student-tests/unit/test_timeouts.py . [100%]
===================== 290 passed, 12 deselected in 31.49s ======================
exit: 0
duration_seconds: 32.073
$ uv lock --check
Resolved 64 packages in 5ms
exit: 0
duration_seconds: 0.019
$ openspec validate --all --strict
- Validating...
✓ spec/lab1-event-publication
✓ spec/lab1-messenger-chats
✓ spec/lab1-messenger-history
✓ spec/lab1-messenger-identity
✓ spec/lab1-service-operability
✓ spec/lab2-auth-sessions
✓ spec/lab2-dependency-failures
✓ spec/lab2-history-index
✓ spec/lab2-persistent-storage
✓ spec/lab2-session-cache
✓ spec/lab3-failover-operations
✓ spec/lab3-idempotent-messages
✓ spec/lab3-load-balancing
✓ spec/lab3-scaling-cost
Totals: 14 passed, 0 failed (14 items)
exit: 0
duration_seconds: 0.831
$ docker ps --format '{{.ID}} {{.Names}} {{.Ports}}'
(empty)
exit: 0
$ make lint
.venv/bin/ruff check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools
All checks passed!
.venv/bin/ruff format --check src student-tests alembic scripts/probe.py scripts/limits.py scripts/scaling.py tools
109 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
exit: 0
duration_seconds: 0.118
+19 -1
View File
@@ -9,6 +9,14 @@ context: |
задание (`README.md`), нормативный контракт (`contracts/`, версия 1.3.0) и публичные black-box
проверки (`tests/`). Целевая оценка — «5»: весь уровень 4 плюс трек 1 «Цена масштабирования».
Автор — Костылев Артём, БПИ2303. Уровни 3 → 4 → трек 5 завершены последовательно;
changes SQLAlchemy/Alembic и повторных измерений архивированы, активных changes нет.
Актуальный итог уровней 3/4 — evidence/track1-sqlalchemy/revalidation/ на 3fb741e
(API идентичен 57744c5); трек — evidence/track1-sqlalchemy/, baseline 5c8f605 против
57744c5, 135 измерений с тремя повторами, 12 графиков. Evidence прежних этапов
grade3/grade4 относится к SQLAlchemy до кэша компиляции; evidence/track1/ — к raw asyncpg.
Итоговые документы и ссылки проверяются отдельно в evidence/report-checks.txt и report-audit.txt.
## Границы (менять нельзя)
In scope лабы 3: несколько взаимозаменяемых реплик API (≥2) за единственной публичной точкой
входа — балансировщиком с проверкой готовности backend и обновлением адресов через DNS, без
@@ -29,7 +37,8 @@ context: |
Python 3.14 (аннотации вычисляются лениво по PEP 649, `TYPE_CHECKING` и
`from __future__ import annotations` не используются), FastAPI, gunicorn с несколькими
`UvicornWorker` (пакет `uvicorn-worker`), dishka (DI), pydantic v2 + pydantic-settings, structlog,
SQLAlchemy 2.0 async (ORM/Core за портами, asyncpg только драйвер), Alembic, redis-py (`redis.asyncio`) для Valkey, argon2-cffi,
SQLAlchemy 2.0.45 async (ORM/Core за портами, asyncpg только драйвер), Alembic 1.16.5,
redis-py (`redis.asyncio`) для Valkey, argon2-cffi,
pytest + pytest-asyncio + httpx. Зависимости — uv и `uv.lock`; ruff и ty обязательны на `src/`,
`student-tests/` и Python-обвязке стенда; `scripts/*.py` держат синтаксис Python 3.9 и stdlib.
@@ -43,6 +52,13 @@ context: |
(LB и генератор нагрузки) и `backend` (internal). Секреты — compose secrets из gitignored
`secrets/`, приложение читает их через `*_FILE`.
Локальная работа — только собственный COMPOSE_PROJECT_NAME, LB_HTTP_PORT=18083,
LB_STATS_PORT=23083; прочие host-порты 23000–23999. NO_PROXY и no_proxy включают
localhost,127.0.0.1,::1. Чужие стенды не останавливаются, WIP и volumes сохраняются.
ЛР1/ЛР2 заморожены. Текущую .pipeline и state не менять. До отдельного этапа publish
ничего не публиковать; допустимый адрес публикации — только private MTUCI-Labs.
Telegram выполняет runner.
## Архитектура
Монолит с двумя доменными зонами по книге Персиваля и Грегори
(`openspec/notes/architecture-patterns-python.md`), развёрнутый N одинаковыми репликами:
@@ -145,6 +161,8 @@ operations:
- "Схема меняется только новым файлом миграции; применённую миграцию не редактируют; миграция совместима с работающей предыдущей версией."
- "Публичные `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh` и `make test-failover ACTION_SCRIPT=scripts/stop-one.sh` запускаются против поднятого стенда (`make up`) через LB после готовности всех реплик; после failover реплика возвращается `make restore`."
- "Каждый заявленный критерий рубрики подтверждай командой и наблюдаемым результатом в `REPORT.md`; PASS без команды доказательством не считается."
- "Фиксируй SHA кода API и обвязки отдельно; прежнее evidence помечай историческим. Числа отчёта сверяй с сырыми файлами, ссылки должны существовать. Неуспешные попытки сохраняй и объясняй."
- "Проверяй документацию библиотек через Context7 для закреплённых версий SQLAlchemy/Alembic. Не приравнивай микробенчмарк к HTTP throughput, пик RPS к SLO, а no-op миграцию в rolling к проверке изменения схемы."
- "Отмечай выполнение в `tasks.md`; резюме держи кратким."
archive:
guidance: