docs: record exclusion evidence and move one-off probes into the driver
Adds worker-memory, freeze-sessions and freeze-lb driver commands, retakes the evidence they produce, and fills the report header. src/ and bench/ are unchanged. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -30,7 +30,8 @@ bucket и БД (расхождения с обеих сторон, dry-run, `--a
|
||||
возврат оригинала; `--apply` под загрузками), `defense-scenario` и
|
||||
`defense-faults` — сценарий защиты лабы 5 и его шаг 4, `broker-check`,
|
||||
`worker-process`, `relay-process` — брокер и процессы, `pipeline-state` — состояние
|
||||
конвейера (раздел «Лаба 5: брокер, relay и worker»). `upload` и
|
||||
конвейера, `worker-memory` — память контейнера worker, `freeze-sessions` и `freeze-lb`
|
||||
— заморозка PostgreSQL (раздел «Лаба 5: брокер, relay и worker»). `upload` и
|
||||
`download` — загрузка и скачивание вложения с SHA-256 на любом
|
||||
сервере. `stop-at-start` — остановка
|
||||
контейнеров образа во время старта, без стенда. Только
|
||||
@@ -136,6 +137,9 @@ python3 $D stop
|
||||
| `worker-process` | только стенд с LB: процесс worker, тот же раздел |
|
||||
| `relay-process` | только стенд с LB: процесс relay, тот же раздел |
|
||||
| `pipeline-state` | стенд compose, только чтение: JSON о конвейере, тот же раздел |
|
||||
| `worker-memory` | только стенд с LB: память контейнера worker на двух файлах разом, тот же раздел |
|
||||
| `freeze-sessions [--rounds 6] [--settle 15]` | стенд compose: сессии PostgreSQL и журнал пула после заморозки через TCP-прокси пробы, сервер не замораживается, тот же раздел |
|
||||
| `freeze-lb [--rounds 3]` | свой временный проект compose, `mtusi-lab5` — код 2: `docker pause` PostgreSQL и цепочка сроков через LB, тот же раздел |
|
||||
| `attachment-failover [--mode stop\|kill]` | только стенд с LB: спек `attachments` «Принявшая реплика остановлена». Синтетические Алиса, Боб, Ева и чат; загрузка `tests/fixtures/sample.png` через LB — 202 и ожидание `ready` (реплика A — `X-Instance-Id` ответа), сообщение со ссылкой, `scripts/stop-one.sh` с `TARGET_INSTANCE_ID=A` и `STOP_MODE`, Боб скачивает через LB (до 30 попыток), пока не ответит другая реплика: SHA-256 совпадает, метаданные равны метаданным `ready`; Ева — 404 на метаданные и байты. В `finally` — `make replicas`, затем ожидание, пока LB снова видит все реплики `UP`. Печатает `docker compose ps` до и после и таблицу «шаг → ожидаемо → получено → реплика» без токенов. Код 1 при расхождении, без LB (порт консольного процесса драйвера) — код 2. Вывод — `evidence/attachments/failover.md` |
|
||||
| `attachment-storage` | только стенд с LB: спек `attachments` «Байты не в БД и не на диске API» и `data-storage` «Ограничения обработки в схеме». Две загрузки fixture через LB, 202 и ожидание `ready`; psql — колонки `attachments`, `message_attachments`, `attachment_jobs`, `attachment_variants` и `attachment_job_replays` (из `bytea` только 32-байтные `sha256` вложения и варианта), `object_key` = `<база>/attachments/<id>/original` без `filename`, `staging_key` = `<база>/staging/<id>/original` или уже пуст: готовое вложение его теряет на проходе уборщика; `weed shell fs.ls -l` — объект и три варианта в bucket, размер; анонимный GET ключа и каждого варианта с `127.0.0.1:S3_OUT_PORT` — 403; скачивание участником — тот же SHA-256; пробы в откатываемой транзакции — второе задание той же версии, второй вариант того же имени, `error_code` у не `failed`, `attachment_job_replays` с неизвестным заданием: каждая вставка отклонена (SQLSTATE и имя ограничения), после проб одна строка задания и три варианта; `docker diff` каждой реплики и worker — ни одного файла оригинала. Код 1 с названной проверкой, без LB — код 2. Вывод — `evidence/attachments/storage.md` |
|
||||
| `upload-consistency` | только стенд с LB: спеки `attachments` «Порядок записи» и `storage-consistency` (design change `upload-consistency`, решение 11; `async-attachments`, решения 3 и 11). Синтетические Алиса, Боб и чат; вложение R — 202 и `ready`. Шаги: (1) `docker compose pause s3` → загрузка через LB — 503 за ~5 с → `unpause` в `finally`; новая строка `pending` по psql (`id`, статус, возраст, ключ); (2) триггер «перевод в `queued` падает» (SQLSTATE 08006) на рабочей базе только для уникального `filename` прогона → загрузка 503 → строка `pending`, объекта staging уже нет (компенсация), триггер снят (`finally`, и остаток прошлого прогона — в начале); (3) метаданные, байты и сообщение со ссылкой на обе строки — 404; (4) после grace прогона 30 с — `docker compose run --rm --no-deps -e CLEANER__PENDING_GRACE_SECONDS=30 cleaner --once`, его JSON-вывод; тот же проход убирает staging R: `staging_key` пуст, объекта нет, метаданные прежние; (5) psql и `weed shell fs.tree` (файлы `original`, а не каталоги, под `attachments/` и `staging/`) — ни строк, ни объектов обеих загрузок, объектов без строки под префиксом вложений рабочей базы нет; R скачивается с тем же SHA-256. Таблица «проверка → ожидаемо → получено» без токенов и секретов; код 1 при расхождении, без LB — код 2. ~45 с. Вывод — `evidence/attachments/consistency.md` |
|
||||
@@ -192,7 +196,7 @@ TARGET_INSTANCE_ID=<x-instance-id> scripts/stop-one.sh # остановить
|
||||
python3 $D --port 8080 kill-inflight # kill реплики во время входов: 502 от LB без повтора
|
||||
python3 $D --port 8080 idle-conns # простаивающие соединения с репликами закрывает LB (~10 с), а не реплика (60 с)
|
||||
python3 $D --port 8080 hang-key # зависшая реплика держит ключ: повтор получает 201 после прерывания транзакции
|
||||
make test_isolated && python3 $D --port 8080 cache-check --require-test-keys # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз
|
||||
make test_isolated; python3 $D --port 8080 cache-check --require-test-keys # кэш карточки: одно чтение chats на 50, TTL, ключи двух баз; `;`, а не `&&`: при первой съёмке набор красный как раз без этого файла, а ключи временной базы остаются
|
||||
python3 $D --port 8080 auth-storage # Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump
|
||||
python3 $D --port 8080 attachment-failover --mode kill # реплика, принявшая файл, убита: скачивание через другую, тот же SHA-256
|
||||
python3 $D --port 8080 attachment-storage # байты только в приватном bucket: схема, ключ, объект, аноним 403, docker diff
|
||||
@@ -212,6 +216,9 @@ make bench_queue_quick # шаг защиты «для 5 —
|
||||
python3 $D broker-check # брокер: образ, volume, порт, предел памяти, очередь, пароль только у rabbitmq, relay, worker, остановка с кодом 0; ~30 с
|
||||
python3 $D --port 8080 worker-process # процесс worker: PID 1, лимиты, Pillow, журнал, неверные настройки, остановка, рестарт хранилищ, остановка под нагрузкой; ~5 мин
|
||||
python3 $D --port 8080 relay-process # процесс relay: то же, окружение без S3 и Valkey; ~2 мин
|
||||
python3 $D --port 8080 worker-memory # два файла разом на границах контракта: memory.peak контейнера, render_peak, OOM нет; ~35 с
|
||||
python3 $D --port 8080 freeze-sessions # заморозка через TCP-прокси пробы: 503 за срок плюс закрытие, сессий сверх пула нет; сервер не трогается; ~2,5 мин
|
||||
python3 $D freeze-lb # docker pause PostgreSQL на временном проекте со своими данными в tmpfs: 503 через LB за ~8 с, 504 нет; ~1,5 мин
|
||||
python3 $D pipeline-state # JSON: задания по состояниям, due, ждут срока, опубликованы и не взяты, истёкшие аренды, очередь
|
||||
make replay # реестр failed, только показ; APPLY=1 ATTACHMENT=<id> — вернуть в работу, код 3 — есть отказы
|
||||
docker compose logs --no-log-prefix relay | tail -3 # relay: Started relay, Relay pass, Recovered expired lease
|
||||
@@ -378,6 +385,49 @@ PostgreSQL и брокере; все четыре задания после эт
|
||||
Коды: 0, в том числе при недоступном брокере (`available: false`, ожидание до 15 с); 1 — нет
|
||||
PostgreSQL или конфигурации стенда, причина в stderr. `python3 $D pipeline-state | jq .due`.
|
||||
|
||||
**`worker-memory`** (`--port <LB>`; спек `attachment-processing`, «Изображение в лимите
|
||||
пикселей»; design change `pipeline-reliability`, решение 7; ~35 с). Девять случаев: PNG из шума
|
||||
10 MiB, шесть типов PNG на 40 Мпкс, RGBA и серый 16 бит на обеих границах контракта разом (файлы
|
||||
— генераторы `student-tests/images.py` в контейнере образа без сети). На случай: `docker stop`
|
||||
worker, две одинаковые загрузки, `docker start` (новая cgroup: `memory.peak` с нуля), оба `ready`
|
||||
(до 90 с), затем `/proc/1/status`, `memory.peak`, `memory.events`, `docker inspect`, записи журнала
|
||||
«Started job attempt» и «Attachment became ready». Строка таблицы на случай и таблица «проверка →
|
||||
ожидаемо → получено»: все 18 `ready`, задания пересеклись во всех случаях, `oom` и `oom_kill` 0,
|
||||
`OOMKilled` false, рестартов нет, наибольший `render_peak` меньше `render_memory_limit_mib`,
|
||||
`memory.peak` и сумма пиков `VmHWM + 2 × render_peak` меньше лимита контейнера. `memory.peak` одного
|
||||
случая плавает на сотни МиБ: зависит от совпадения пиков двух процессов. Коды: 0; 1 — расхождение;
|
||||
130 — сигнал (worker и relay запускаются при любом исходе); 2 — нет стенда или есть незавершённые
|
||||
задания: они добавили бы свой пик. Вывод — `evidence/worker/memory.md`.
|
||||
|
||||
**`freeze-sessions [--rounds 6] [--settle 15]`** (спек `unit-of-work`; design change `unit-of-work`,
|
||||
уточнения 17 и 18; порт не нужен; ~2,5 мин). Заморозка без заморозки сервера: одноразовый контейнер
|
||||
`api` (`docker compose run --rm --no-deps -T --name <проект>-freeze-sessions --entrypoint python
|
||||
api -`, скрипт через stdin, настройки и код образа, ключи в драйвер не попадают), приложение в его
|
||||
процессе без lifespan, вызовы ASGI напрямую (httpx в образе нет), PostgreSQL только через TCP-прокси
|
||||
пробы, закрытые ворота прокси — и есть заморозка. Срок `[database] request_timeout_seconds` 2 с. Режимы:
|
||||
`second-block` (пул 2, ворота закрываются между блоком входа и `GET /chats`), `before-requests`
|
||||
(пачка из четырёх `GET /users/me`, пул 2 и пул 4). После разморозки на раунд: сессии через прокси,
|
||||
занятые соединения, четыре следующих запроса, записи логгера `sqlalchemy.pool`; в конце — занятые
|
||||
соединения, снимок сессий через `--settle` с. Таблица: 503 в срок 2–4,5 с, сессии в пределах пула
|
||||
сразу и после паузы, следующие запросы 200, записей пула 0, сессий брошенной проверки (запрос `;`) 0.
|
||||
Контейнер удаляется при любом исходе, в базе остаётся по одному синтетическому пользователю на режим.
|
||||
Коды: 0; 1 — расхождение; 130 — сигнал; 2 — PostgreSQL проекта не работает. Вывод —
|
||||
`evidence/storage/freeze-sessions.md`.
|
||||
|
||||
**`freeze-lb [--rounds 3]`** (та же запись verify; порт не нужен; ~1,5 мин). Только временный проект
|
||||
compose: `COMPOSE_PROJECT_NAME` или `mtusi-lab5-freeze`, `mtusi-lab5` — отказ, код 2; перед `docker
|
||||
pause` метка проекта контейнера сверяется ещё раз. Команда сама поднимает стенд и убирает его при любом
|
||||
исходе, нужен только образ `mtusi-messenger:lab5` (`make run_docker`, иначе код 2): во временном каталоге
|
||||
файл окружения из `.env.example` со случайными секретами и override — без портов PostgreSQL, Valkey и S3,
|
||||
данные PostgreSQL, Valkey и S3 в tmpfs (volumes нет), `config_example.toml`, порт LB свободный. `up -d
|
||||
--no-build haproxy`, ожидание двух реплик через LB, прогрев пула, синтетические пользователи и чат. На
|
||||
заморозку: сессии `pg_stat_activity`, `docker pause` PostgreSQL, шесть одновременных запросов (`GET
|
||||
/users/me`, история, `POST` сообщения, `GET /chats`, вход, метаданные вложения), `unpause` в `finally`,
|
||||
время до первого 200, через 11 с — снова сессии. Таблица: все ответы 503 `unavailable`, 504 от LB нет,
|
||||
каждый раньше `timeout server` 10 с, восстановление, сессий не больше пулов (20) и не растёт, сессий `;`
|
||||
нет, контейнеров и volumes проекта после `down` 0. Коды: 0; 1 — расхождение; 130 — сигнал; 2 — рабочий
|
||||
проект или нет образа. Вывод — раздел `evidence/storage/freeze-sessions.md`.
|
||||
|
||||
Gotchas:
|
||||
|
||||
- **Сигнал во время `defense-scenario`, `defense-faults`, `worker-process`, `relay-process`.**
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
@@ -489,6 +489,9 @@ structlog (JSON в stdout), redis-py (клиент Valkey), aiobotocore
|
||||
| `driver.py --port <LB> relay-process` | то же у relay: PID 1, нет healthcheck, лимиты, запись о старте, неверные `RELAY__*`, остановка простаивающего, на старте и при замороженном брокере, рестарт хранилищ; `evidence/relay/process.md` |
|
||||
| `driver.py --port <LB> defense-faults` | шаг 4 защиты на рабочем стенде (~4 мин: аренда 70 с): crash после записи объектов и после фиксации до ack, relay убит до публикации и после подтверждения до отметки, replay неудачного и отказ replay готового; триггеры на `filename` прогона снимаются, worker и relay запускаются при любом исходе; `evidence/attachments/defense-faults.md` |
|
||||
| `driver.py --port <LB> pipeline-state` | только чтение, JSON: задания по состояниям, due, ждущие срока, опубликованные и не взятые, истёкшие аренды, возраст старейшего, очередь |
|
||||
| `driver.py --port <LB> worker-memory` | память контейнера worker (~35 с): на девять случаев в пределах контракта два одинаковых файла разом, новая cgroup на случай; `memory.peak`, `VmHWM`, `render_peak`, OOM, сумма пиков меньше 1 ГБ; worker и relay запускаются при любом исходе; `evidence/worker/memory.md` |
|
||||
| `driver.py freeze-sessions [--rounds 6] [--settle 15]` | сессии PostgreSQL и журнал пула после заморозки (~2,5 мин), работает и на рабочем стенде: приложение в процессе одноразового контейнера `api`, PostgreSQL только через TCP-прокси пробы, заморожен прокси, а не сервер; режимы — между блоками и до запросов при пуле 2 и 4; `evidence/storage/freeze-sessions.md` |
|
||||
| `driver.py freeze-lb [--rounds 3]` | только не рабочий проект compose (`COMPOSE_PROJECT_NAME`, по умолчанию `mtusi-lab5-freeze`; `mtusi-lab5` — код 2): сама поднимает стенд с данными в tmpfs (volumes нет) на образе `mtusi-messenger:lab5` и убирает его при любом исходе; `docker pause` PostgreSQL, шесть запросов через LB — 503 за ~8 с, 504 нет, `unpause` в `finally`, сессий не больше пулов (~1,5 мин); раздел `evidence/storage/freeze-sessions.md` |
|
||||
| `make start_db` / `make stop_db` | Postgres стенда: `up -d --wait postgres` / `stop postgres` |
|
||||
| `make start_cache` / `make stop_cache` | Valkey стенда: `up -d --wait valkey` / `stop valkey`; volume нет, кэш после рестарта пуст |
|
||||
| `make start_s3` / `make stop_s3` | S3 стенда: `up -d --wait s3`, затем `up --no-deps --exit-code-from s3-bootstrap s3-bootstrap` (код bootstrap — код цели: `--wait` одноразовый сервис не ждёт) / `stop s3` |
|
||||
@@ -655,12 +658,12 @@ docker-compose.yml # проект mtusi-lab5: postgres, valkey, s3 (Se
|
||||
.dockerignore
|
||||
config_example.toml, .env.example
|
||||
evidence/broker/ # change async-attachments: stand.md (driver.py broker-check), isolated.md (очередь временной базы)
|
||||
evidence/worker/ # change async-attachments: process.md (driver.py worker-process), logs.md (журнал задания)
|
||||
evidence/worker/ # change async-attachments: process.md (driver.py worker-process), logs.md (журнал задания); memory.md (driver.py worker-memory)
|
||||
evidence/attachments/ # change async-attachments: defense.md (driver.py defense-scenario); change attachments: smoke.md, failover.md (driver.py attachment-failover stop и kill), storage.md (driver.py attachment-storage), slow-transfer.md (10 MiB через LB дольше 6 с); change upload-consistency: consistency.md (driver.py upload-consistency и журналы API и уборщика), cleaner-process.md (старт, отказ конфигурации, остановка, окно 0, рестарт хранилищ, отказ S3 во время прохода); по замечанию ревьюера: jpeg-structure.md (варианты JPEG — прежняя и новая проверка, Pillow, djpeg; регрессия на 301 JPEG; время; красный и зелёный прогоны test_undecodable_jpeg)
|
||||
evidence/s3/ # privacy.md — make s3_check на текущем коде; change s3-storage: bootstrap.md (первый запуск, повтор, смена секрета, ошибка шага, до bootstrap), privacy.md (make s3_check, нарушение и исправление, порты, секреты по сервисам), grpc-admin.md (gRPC шлюза без токена), restart.md (restart.sh и SIGKILL S3), client.md (операции, pause/stop, неверный секрет, журнал), memory.md (20 × 10 MiB PUT); change upload-consistency: cleaner-key.md (пользователь уборщика в bootstrap, смена секрета, make s3_check с ключом уборщика, секреты по сервисам); change track2-reconciler: cleaner-list.md (bootstrap с политикой списка по префиксу, неверный префикс, make s3_check со строками списка уборщика, окружение s3-bootstrap)
|
||||
evidence/reconcile/ # change track2-reconciler: cycle.md (driver.py reconcile-cycle), stress.md (driver.py reconcile-stress), service.md (Started cleaner с параметрами сверки, плановая сверка при старте, docker stop во время сверки при pause s3, код 1 разового прохода по сигналу — driver.py reconcile-signal, отказ старта на RECONCILER__*, коды 3 и 0; с change track2-reconcile-cost — остановка во время паузы предела скорости, driver.py reconcile-signal --pace)
|
||||
evidence/reconcile/<метка>/ # результаты make bench_reconcile (change track2-reconcile-cost): meta.json (раздел reconcile: план, этапы и модели, commit и образы «до», аргументы S3), passes.csv, windows.csv, summary.md (H1–H4 и S4), cost-by-n.svg, requests-by-n.svg, background-p95.svg, raw/ (записи уборщика по проходам, итог k6 блока H4)
|
||||
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL
|
||||
evidence/storage/ # отказы БД, пул, statement_timeout, рестарт, порты Postgres, свежий clone; connection-cost.md — цена нового соединения и пинга; freeze-sessions.md — change unit-of-work: сессии и журнал пула после заморозки PostgreSQL (driver.py freeze-sessions и freeze-lb)
|
||||
evidence/migrations/ # миграции с нуля и повторно, ошибка миграции; лаба 4: pending-index.md (ревизия 739b8f04d5fb с нуля, повтор, откат, EXPLAIN общего плана кандидатов уборщика на рабочей базе с откатом, rollout_quick), lost-at.md (ревизия 5c3e1f0a9b7d колонки lost_at: с нуля, повтор, откат, --sql с lock_timeout, make rolling_update с ревизией до и после)
|
||||
evidence/auth/ # passwords-and-tokens.md — driver.py auth-storage на стенде текущей лабы: Argon2id в users, SHA-256 токена в sessions, ни токена, ни пароля в pg_dump (исключения сверки покрытия)
|
||||
evidence/cache/ # hits.md — make test_isolated + driver.py cache-check на стенде текущей лабы: одно чтение chats на 50 через LB, TTL, ключи двух баз (исключения сверки покрытия)
|
||||
|
||||
+9
-5
@@ -42,11 +42,6 @@
|
||||
`mtusi-rsig_postgres_data`, `mtusi-rsig_rabbitmq_data`, `mtusi-rsig_s3_data`.
|
||||
Прогон их не удалял. Перед удалением убедиться, что контейнеров на них нет
|
||||
(`docker ps -a --filter volume=<имя>`), затем `docker volume rm <имя>`.
|
||||
- `make student_test` красный по `test_exclusion_evidence_exists` не только из-за
|
||||
`evidence/queue/baseline2/summary.md`: в репозитории нет и `evidence/auth/passwords-and-tokens.md`,
|
||||
`evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md` (их нет и на
|
||||
`5b5f59a`; снимаются по AGENTS.md, «Переход в следующую лабу»). Стадия apply в `evidence/` не
|
||||
пишет: снять перед отчётом.
|
||||
- На хосте 150 анонимных volumes. Чьи они, не проверялось, часть может быть
|
||||
чужой, поэтому `docker volume prune` без просмотра запускать не стоит.
|
||||
- Остались volumes пробы стадии propose `track1-queue-overload`:
|
||||
@@ -254,6 +249,13 @@
|
||||
- **Правки verify: лишняя строка в базе — отказ метки, как `lost`, но условие H6 не расширено:** пометка `unexpected` вне записанного до метки списка H6; строка, которую объясняет 5xx или обрыв, пометку не даёт (там же, п. 10).
|
||||
- **Правки verify: `UP 1/2` — реплика ещё в балансировке:** она получает запросы, `lb_down` на неё не срабатывает. Опора — сценарий «реплики MUST NOT выводиться из балансировщика» (там же, п. 11).
|
||||
- **Метка `baseline2` не основная, снимается `baseline3`:** за съёмку хост выгрузил в swap 309 432 страницы, пять ячеек с `host_swap`, в четырёх задержка вышла за разброс соседних повторов. Указание пользователя «забить» касается косяков хоста, явно не меняющих результат, а здесь результат ячеек изменился. Без пяти ячеек вердикты H1–H9 и рекомендация те же, но правило (design, решение 11; `bench.md`) записано до метки и не смягчается после. Каталог `baseline2` остаётся в git как запись. Если выгрузка повторится, третьей пересъёмки нет: основной станет метка с меньшим числом задетых ячеек, они будут названы в отчёте (задача 10.20а).
|
||||
- **Финальные доказательства вне бенчмарка, команды драйвера.** Разовые пробы перенесены тремя командами, а не двумя: `worker-memory` (рабочий стенд, через LB), `freeze-sessions` (работает и на рабочем стенде: заморожен только прокси пробы) и `freeze-lb` (`docker pause` — запрещён на рабочем PostgreSQL). `freeze-lb` сама поднимает и убирает временный проект `mtusi-lab5-freeze`, а не ждёт его по окружению, как `reconcile-signal`: иначе проверяющему пришлось бы собирать стенд руками; данные в tmpfs, поэтому `down` без `-v` ничего не оставляет. Значения — случайные, из `.env.example`: `.env` не читается.
|
||||
- **`freeze-sessions` идёт в одноразовом контейнере `api`, а не из дерева кода через `uv run`:** так пробе не нужен `.env` и код образа совпадает со стендом. httpx в образе нет, вызовы ASGI — своим клиентом; остальная логика `double_cancel.py` та же. Прежний файл называл аргументы пробы неверно: `2 6 1` и `2 6 4` — пул 2 и 1 или 4 запроса, а не срок 2 и пул 1 или 4; добавлен режим с настоящим пулом 4.
|
||||
- **`make test_isolated` перед `cache-check` при первой съёмке — код 2.** Его набор требует файлы, которых ещё нет, а ключи временной базы он при этом оставляет: команды шли не через `&&`, причина названа в шапке `evidence/cache/hits.md`.
|
||||
- **Шаги `evidence/idempotency/replay-after-restart.md` — `driver.py req` и `docker compose`,** скрипт только соединил их: отдельной команды драйвера не заводилось, задача её не просила, а шаги повторяются руками.
|
||||
- **Пересняты `evidence/tests/student-test-lb.md` и `evidence/tests/test-isolated.md`:** задача их не называла, но на `d8fe2e8` они показывали единственный красный тест, который эта задача закрыла. `evidence/tests/failure-checks.md` остаётся на `d8fe2e8`: полный прогон на ноутбуке запрещён условиями задачи.
|
||||
- **В `REPORT.md` добавлен вопрос 12 (`PR_SET_DUMPABLE`):** он был вопросом преподавателю в `QUESTIONS.md`, но в нумерованный список отчёта не попал.
|
||||
- **Секреты в новых файлах `evidence/` сверены по токенам и путям, не по значениям `.env`:** файл `.env` в этой работе не читается. `evidence/tests/secrets.md` остаётся на прежнем commit; поиск значений по всему `evidence/` — перед PR.
|
||||
|
||||
### Вопросы
|
||||
|
||||
@@ -265,3 +267,5 @@
|
||||
Вопрос пользователю (основной сессии), прогон не останавливает:
|
||||
|
||||
3. Правило рекомендации требует «без `oom` и `failed`». После правки S5 аварийный перезапуск worker не от ядра (`worker_crash`) это условие не нарушает: раньше такой перезапуск считался `oom` косвенно. Условие не менялось, потому что записано до метки. В метке таких случаев не ждём (пробы: только ядро). Появится — считать настройку некандидатом? Сейчас: пометка в сводке, решение — в отчёте.
|
||||
|
||||
**Решение основной сессии:** правило не менять, оно записано до метки. Если `worker_crash` появится в основной метке, отчёт называет такую настройку отдельно и не рекомендует её, не перекрашивая вердикт правила. В `baseline` и `baseline2` таких случаев нет.
|
||||
|
||||
@@ -2,8 +2,11 @@
|
||||
|
||||
- Автор, группа: Сафронов Роман Николаевич, БВТ2301
|
||||
- Целевая оценка; выбранный трек 5: оценка 5, трек 1 «Очередь под перегрузкой»
|
||||
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`); уровень 5, трек 1 — change `track1-queue-overload`, метка `baseline`, раздел «Очередь под перегрузкой». Открыты три доказательства исключений сверки покрытия («Следующие шаги»)
|
||||
- Commit/PR: трек 1 — код `d667fa3`, метка `7999002` (ветка `feat/track1-queue-overload`); уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на прежних `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств; PR — TODO после публикации
|
||||
- Состояние отчёта: закрыты **уровень 3** (change `async-attachments`) и **уровень 4** (change `pipeline-reliability`); уровень 5, трек 1 — change `track1-queue-overload`, раздел «Очередь под перегрузкой». Все доказательства исключений сверки покрытия сняты на стенде этой лабы
|
||||
- Ветка решения: `solution/bvt2301-safronov`, в неё по очереди вливаются `feat/async-attachments`, `feat/pipeline-reliability`, `feat/unit-of-work`, `feat/track1-queue-overload`
|
||||
- Commit: итоговый `<commit после метки baseline3>`; трек 1 — код и метка в разделе «Очередь под перегрузкой»; уровни 3 и 4 — `d8fe2e8` (ветка `feat/unit-of-work`, перенос на единицу работы и правки verify); снятое на `9639aa1`, `6ba74b1`, `399da05`, `e2a6427` и `ff1a83b` названо в разделе доказательств
|
||||
- PR: по шаблону `.github/pull_request_template.md`, заголовок `ЛР 5 — БВТ2301 — Сафронов — на 5`; номер — после публикации
|
||||
- Согласования с преподавателем: три договорённости лаб 1–4 действуют, новых в лабе 5 нет (раздел «Согласования с преподавателем»). Открытые вопросы преподавателю — 12, раздел «Открытые вопросы преподавателю»; решения без пользователя — `QUESTIONS.md`
|
||||
- Источники, библиотеки и помощь ИИ — последний раздел
|
||||
|
||||
## Запуск из чистого clone
|
||||
@@ -226,7 +229,7 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
|
||||
Настоящий случай «дорогого» файла — прогрессивный JPEG в пределах контракта, один скан повторён 445 227 раз: `test_limit_cpu_scan_bomb`.
|
||||
|
||||
**Бюджет памяти контейнера worker (1 ГБ).** Замер двух файлов разом на `399da05` (`evidence/worker/memory.md`): пик процесса обработки на 40 Мпкс (`render_peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404 МиБ, а на обеих границах контракта сразу, 40 Мпкс и ~10 MiB файла, — 366 и 414 МиБ. `VmHWM` процесса 1 при двух телах ~10 MiB — до 159 МиБ. Самый дорогой случай, два серых 16 бит на обеих границах: `memory.peak` контейнера 905 МиБ, `oom_kill` 0; у двух PNG 10 MiB из шума — 261 МиБ. Верхняя оценка суммой пиков: 159 + 2 × 414 = 987 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.
|
||||
**Бюджет памяти контейнера worker (1 ГБ).** Замер двух файлов разом, команда `driver.py --port 8080 worker-memory`, два прогона на `9639aa1` (`evidence/worker/memory.md`): пик процесса обработки на 40 Мпкс (`render_peak_kib`, лимит 450 МиБ) зависит от типа файла: PNG RGBA и всё, что переводится в RGBA (серый с альфой, RGB с tRNS, палитра с tRNS), — 357 МиБ, серый 16 бит — 404 МиБ, а на обеих границах контракта сразу, 40 Мпкс и ~10 MiB файла, — 367 и 414 МиБ. `VmHWM` процесса 1 при двух телах ~10 MiB — до 159 МиБ. Самый дорогой случай, два серых 16 бит на обеих границах: `memory.peak` контейнера 926 и 705 МиБ в двух прогонах (пик зависит от совпадения пиков двух процессов), `oom_kill` 0; у двух PNG 10 MiB из шума — 262 МиБ. Опора — верхняя оценка суммой пиков: 159 + 2 × 414 = 987 МиБ < 1 ГБ. Если памяти всё же не хватит, ядро убьёт самый большой процесс обработки, а не worker (проба), это временная ошибка.
|
||||
|
||||
### Сервисы стенда и лимиты
|
||||
|
||||
@@ -327,6 +330,7 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
9. **Контракт требует retention «неуспешных и непривязанных исходников», но молчит о конечных объектах, которые успела записать неудачная попытка.** Сделано: по истечении срока удаляются и они, метаданные `failed` остаются. Другой ответ убирает один шаг очистки.
|
||||
10. **Предел незавершённых заданий: 429 или 503?** Контракт называет 429 «ограничением частоты запросов», здесь ограничено количество принятой работы; 503 — «зависимость недоступна». Сделано: 429 `rate_limited` с `Retry-After: 5`, как у занятых мест: зависимости живы, реплика готова. Другой ответ меняет строку `DOMAIN_ERRORS` и сценарии.
|
||||
11. **Как долго загрузка обязана отвечать 202 при остановленном worker?** Рубрика уровня 3 показывает «worker остановлен → upload 202», трек 1 требует ограничить принятую работу. Сделано: пока незавершённых меньше предела (250); дальше 429, а текст, история, метаданные, готовые байты и `/health/ready` работают. Другой ответ — значение настройки.
|
||||
12. **Требуется ли на уровне лабы закрыть чтение секретов worker процессом обработки?** Он идёт под тем же UID и может прочитать `/proc/1/environ` (раздел «Ограничения и следующие шаги»). Сделано: кодом не исправлено, в окружении самого процесса обработки секретов нет. Предложение — `PR_SET_DUMPABLE=0` в процессе worker до запуска процессов обработки: одна строка на старте worker и сценарий.
|
||||
|
||||
### Ответы на вопросы защиты
|
||||
|
||||
@@ -362,18 +366,18 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
|
||||
## Доказательства критериев
|
||||
|
||||
В шапке каждого файла — команда, дата, commit и стенд. На `d8fe2e8` (правки verify: сессии после заморозки, один срок на JSON-запрос, тест одновременных доставок) сняты `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/tests/failure-checks.md`, `evidence/tests/service-tests.md`, `evidence/storage/freeze-sessions.md`. На `6ba74b1` (единица работы, поведение то же) сняты метки `evidence/bench/unit-of-work-after/` и `evidence/rollout/unit-of-work*/`, а ещё `evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`, `evidence/attachments/defense-faults.md`, `evidence/s3/privacy.md`, `evidence/worker/process.md`, `evidence/relay/process.md`. На `399da05` сняты `evidence/worker/memory.md` и таблица «Красные прогоны» в `failure-checks.md`. Остальные файлы уровня 4 сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, а `6ba74b1` поведения не меняет. `d8fe2e8` меняет только путь отказа: метки и файлы на `6ba74b1` не переснимались, потому что на пути без отказа правка убирает один таймер блока и обменов с PostgreSQL не добавляет, а `make failure_checks` на новом commit те же отказы прошёл. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||||
В шапке каждого файла — команда, дата, commit и стенд. На `9639aa1` (код `src/` и `bench/` тот же, что на `5ee3257`, изменён только драйвер скилла: новые команды `worker-memory`, `freeze-sessions`, `freeze-lb`) сняты `evidence/tests/student-test-lb.md`, `evidence/tests/test-isolated.md`, `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/worker/memory.md`, `evidence/storage/freeze-sessions.md`. На `d8fe2e8` (правки verify: сессии после заморозки, один срок на JSON-запрос, тест одновременных доставок) сняты `evidence/tests/failure-checks.md`, `evidence/tests/service-tests.md`. На `6ba74b1` (единица работы, поведение то же) сняты метки `evidence/bench/unit-of-work-after/` и `evidence/rollout/unit-of-work*/`, а ещё `evidence/replicas/test-persistence.md`, `evidence/failover/test-failover.md`, `evidence/attachments/defense-faults.md`, `evidence/s3/privacy.md`, `evidence/worker/process.md`, `evidence/relay/process.md`. На `399da05` снята таблица «Красные прогоны» в `failure-checks.md`. Остальные файлы уровня 4 сняты на `e2a6427`: из кода приложения `399da05` меняет только `src/utils/image_variants.py`, одну ветку перевода в RGBA, а `6ba74b1` поведения не меняет. `d8fe2e8` меняет только путь отказа: метки и файлы на `6ba74b1` не переснимались, потому что на пути без отказа правка убирает один таймер блока и обменов с PostgreSQL не добавляет, а `make failure_checks` на новом commit те же отказы прошёл. Остались снятыми на прежнем коде `ff1a83b` и названы так в шапках: метка `evidence/uploads/baseline/`, `evidence/rollout/async-attachments/`, `evidence/migrations/async-attachments.md`, `evidence/s3/worker-key.md`: это доказательства перехода уровня 3, их поведение уровень 4 не менял.
|
||||
|
||||
### Уровень 3
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | `make test` | `PASS: lab5 public API scenario` | `evidence/tests/test-isolated.md` |
|
||||
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 223 passed, 1 failed (`test_exclusion_evidence_exists`: только файлы последнего шага прогона), реплики выполнены; сверка: 371 сценарий, 349 проверены, 22 исключения | `evidence/tests/student-test-lb.md` |
|
||||
| Тот же набор на временной базе | `make test_isolated` | smoke PASS; 217 passed, 6 skipped (реплики), 1 failed — то же; уборка полная | `evidence/tests/test-isolated.md` |
|
||||
| Минимум лаб 1–4 сохранён с переходом 201 → 202 | `make student_test` через LB | 224 passed, реплики выполнены; сверка: 389 сценариев, 358 проверены, 31 исключение | `evidence/tests/student-test-lb.md` |
|
||||
| Тот же набор на временной базе | `make test_isolated` | smoke PASS; 218 passed, 6 skipped (реплики); уборка полная | `evidence/tests/test-isolated.md` |
|
||||
| Отказы | `make failure_checks` (`d8fe2e8`) | 141 passed, pytest 2214 с, `crash markers 0` | `evidence/tests/failure-checks.md` |
|
||||
| Ветки сервисов и настоящая единица работы | `make service_test`, `make service_test_db` (`d8fe2e8`) | 201 passed за 1,44 с без хранилищ; 75 passed за 32,47 с на временной базе; 16 регрессий дают названный красный | `evidence/tests/service-tests.md` |
|
||||
| Заморозка PostgreSQL: сессий сверх пула нет, одна запись об отказе | разовые пробы вне репозитория `double_cancel.py` в двух режимах и `probe_freeze.py` (`d8fe2e8`, описаны в файле доказательства); повторяются тестами `test_no_sessions_over_pool_after_freeze`, `test_deadline_in_second_block_single_record`, строка через LB — только по файлу | 503 за 4,01 с при сроке 2 с, записей пула нет, сессий через прокси 0 во всех раундах; через LB 503 за 8,01–8,02 с, 504 нет, сессий до и после каждой заморозки поровну | `evidence/storage/freeze-sessions.md` |
|
||||
| Заморозка PostgreSQL: сессий сверх пула нет, одна запись об отказе | `driver.py --port 8080 freeze-sessions` (TCP-прокси пробы, сервер не трогается), `driver.py freeze-lb` (`docker pause` на своём временном проекте, рабочий `mtusi-lab5` — код 2); то же в тестах `test_no_sessions_over_pool_after_freeze`, `test_deadline_in_second_block_single_record` | 503 за 4,00–4,03 с при сроке 2 с, записей пула нет, сессий через прокси 0 во всех раундах; через LB 503 за 8,01–8,09 с, 504 нет, сессий до и после каждой заморозки поровну | `evidence/storage/freeze-sessions.md` |
|
||||
| 202 только после устойчивого приёма и сохранения задания | `test_durable_state_at_202`, `test_upload_with_broker_stopped`, `test_upload_with_broker_paused` | к 202 объект в staging, строка и намерение в одной транзакции; брокер остановлен или заморожен — по-прежнему 202, намерение ждёт (на уровне 3 было 503) | `evidence/tests/failure-checks.md` |
|
||||
| Остановка API после ответа не теряет работу | `test_api_killed_after_202` | реплика убита после 202, вложение становится `ready` | `evidence/tests/failure-checks.md` |
|
||||
| Отдельные broker и worker в общем compose | `driver.py broker-check`, `driver.py worker-process` | образ с тегом и digest, volume, AMQP только на loopback; PID 1 `python -m src.worker`, лимиты 1 CPU / 1 ГБ | `evidence/broker/stand.md`, `evidence/worker/process.md` |
|
||||
@@ -402,7 +406,7 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
| Память реплики при загрузках | `make bench_uploads` (`ff1a83b`) | «с лимитом» 10 MiB: пик 172,9 / 180,1 / 185,6 MiB при 10 / 20 / 40 клиентах, OOM 0, 5xx 0 | `evidence/uploads/baseline/summary.md` |
|
||||
| Секретов в доказательствах нет | поиск значений из `.env` по `evidence/` | 17 значений, 0 совпадений | `evidence/tests/secrets.md` |
|
||||
|
||||
На этом шаге `test_exclusion_evidence_exists` ожидаемо красный: файлы `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md` и `evidence/idempotency/replay-after-restart.md` снимаются на последнем шаге всего прогона лабы.
|
||||
Исключения сверки покрытия подтверждены файлами этой лабы: `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md` сняты на `9639aa1`, `test_exclusion_evidence_exists` зелёный.
|
||||
|
||||
### Уровень 4
|
||||
|
||||
@@ -413,7 +417,7 @@ CPU на успешный запрос при постоянных 200 запр
|
||||
| Лимит по bytes | `test_limit_oversized_staging` | объект больше строки не читается: `processing_failed` | `evidence/tests/failure-checks.md` |
|
||||
| Лимит по пикселям | `test_limit_pixels` | `invalid_image`, причина `limit_pixels` | `evidence/tests/failure-checks.md` |
|
||||
| Лимит по времени | `test_limit_cpu_scan_bomb`, `test_limit_render_timeout` | настоящий дорогой JPEG прерван по CPU: `invalid_image`; срок процесса — временная ошибка | `evidence/tests/failure-checks.md` |
|
||||
| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ; два файла на обеих границах — `memory.peak` 905 МиБ, OOM нет | `evidence/tests/failure-checks.md`, `evidence/worker/process.md`, `evidence/worker/memory.md` |
|
||||
| Лимит по памяти worker | `test_limit_memory`, `test_max_pixels_fit_worker_memory`, `test_pixel_limit_png_modes`, `test_render_killed`, `driver.py worker-process` | `RLIMIT_AS` — `invalid_image`; 40 Мпкс укладывается в любом типе PNG, включая серый с альфой и RGB с tRNS; убитый процесс обработки не роняет worker; лимиты 1 CPU / 1 ГБ; два файла на обеих границах — `memory.peak` 705–926 МиБ, сумма пиков 987 МиБ, OOM нет (`driver.py worker-memory`) | `evidence/tests/failure-checks.md`, `evidence/worker/process.md`, `evidence/worker/memory.md` |
|
||||
| Разрыв PostgreSQL и брокера закрыт outbox | `test_upload_with_broker_stopped`, `test_upload_with_broker_paused`, `test_relay_survives_broker_outage`, `test_relay_survives_database_outage`, `driver.py relay-process`, `broker-check` | 202 без брокера; у реплик нет настроек брокера; relay переживает отказы (тот же `StartedAt`, `RestartCount` 0) | `evidence/tests/failure-checks.md`, `evidence/relay/process.md`, `evidence/broker/stand.md` |
|
||||
| Crash между COMMIT и publish, задача доходит до `ready` без ручного задания | `driver.py defense-faults`, окна «после COMMIT `queued` до publish» и «после подтверждения до отметки»; `test_relay_killed_before_publish`, `test_relay_killed_after_confirm` | `published_at` пуст, 0 сообщений, после запуска relay — `ready`, `attempt` 1; при KILL после confirm — 2 сообщения, `ready`, `attempt` 1, очередь пуста | `evidence/attachments/defense-faults.md`, `evidence/tests/failure-checks.md` |
|
||||
| Состояние намерений видно оператору | `driver.py pipeline-state`, в том числе при замороженном брокере | задания по состояниям, due, аренды; брокер заморожен — `available: false`, код 0 | `evidence/relay/pipeline-state.md` |
|
||||
@@ -763,7 +767,7 @@ Staging при заполненном пределе: 250 × 10 458 117 байт
|
||||
- Ранний ответ при загрузке: `urllib` напрямую к реплике на большом теле теряет ранний ответ; через LB и с httpx или curl — получает.
|
||||
- Keyset-пагинация: порядок задаёт `(created_at, id)`; `created_at` назначает сервер, при расхождении часов реплик порядок вставки возможен только по этому ключу.
|
||||
|
||||
**Следующие шаги.** Снять на итоговом коде оставшиеся доказательства исключений сверки покрытия: `evidence/auth/passwords-and-tokens.md`, `evidence/cache/hits.md`, `evidence/idempotency/replay-after-restart.md`, пока `test_exclusion_evidence_exists` по ним красный. Вне трека и не сделано: приоритет обработки над приёмом в S3, предел по байтам и на пользователя, forkserver, рост памяти S3 с накопленными объектами. Подтверждено замером только то, что есть в разделах выше.
|
||||
**Следующие шаги.** Вне трека и не сделано: приоритет обработки над приёмом в S3, предел по байтам и на пользователя, forkserver, рост памяти S3 с накопленными объектами. Подтверждено замером только то, что есть в разделах выше.
|
||||
|
||||
## Источники, библиотеки и использование ИИ
|
||||
|
||||
@@ -771,4 +775,4 @@ Staging при заполненном пределе: 250 × 10 458 117 байт
|
||||
|
||||
**Библиотеки:** новые — aio-pika 10.2.1, Pillow 13.0.0 (из dev-группы в основную); уровень 4 новых не добавил: WebP уже есть в Pillow (libwebp 1.6.0); единица работы — тоже: `async def` тесты запускает плагин `anyio`, он уже в зависимостях. Остальное — `uv.lock`. Пробы уровня 4 — таблица «Пробы» `openspec/changes/archive/2026-10-31-pipeline-reliability/design.md`.
|
||||
|
||||
**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка; перенос на единицу работы (`unit-of-work`, по указанию пользователя) — так же, проверен наборами `student-tests/` и `make failure_checks` без их правок и временными регрессиями; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Числа в отчёте перенесены из выводов команд на названном commit.
|
||||
**ИИ.** Код, тесты, инструменты, спеки, снятие доказательств и этот отчёт сделаны с помощью Claude Code (Anthropic) по циклу OpenSpec: предложение, реализация, проверка, правки по проверке, архивация; каждую стадию вёл отдельный агент, основная сессия принимала результат и коммитила. Перенос на единицу работы (`unit-of-work`, по указанию пользователя) — так же, проверен наборами `student-tests/` и `make failure_checks` без их правок и временными регрессиями; очередь под перегрузкой (`track1-queue-overload`) — гипотезы и правило рекомендации записаны до метки, метки сняты командой `make bench_queue`; метку `baseline` отменили ошибки инструмента, найденные проверкой, `baseline2` — выгрузка хоста в swap (`QUESTIONS.md`). Выбор оценки, трека, брокера и единицы работы — решения автора; решения и отвергнутые варианты — `design.md`, принятые без пользователя — `QUESTIONS.md`. Каждый файл `evidence/` снят командой из его шапки на стенде этой лабы, а не сгенерирован; числа в отчёте перенесены из выводов команд на названном commit.
|
||||
|
||||
@@ -0,0 +1,19 @@
|
||||
# Хранение паролей и токенов
|
||||
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 auth-storage`
|
||||
- Дата: 2026-11-01, 10:33:45–10:33:46 UTC; код выхода 0
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменён только `.claude/skills/run-mtusi-messenger/driver.py`, команда `auth-storage` не менялась
|
||||
- Стенд: проект compose `mtusi-lab5`, две реплики за HAProxy, собран `make run_docker` из `HEAD`; пользователи синтетические, пароль и токен только в памяти драйвера, в вывод не попадают
|
||||
- Спеки: `users`, «Хэш в БД», `sessions`, «Токена нет в хранилище» (исключения сверки покрытия: схема и дамп по HTTP не видны)
|
||||
|
||||
Итог: в `users` — строки Argon2id с разной солью у одного пароля, в `sessions` — только SHA-256 токена (32 байта); ни токена (текстом и в hex), ни пароля в `pg_dump --data-only` нет.
|
||||
|
||||
```text
|
||||
users auth_… and auth_…: same password P (36 characters with ':' and Cyrillic)
|
||||
password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars)
|
||||
password_hash $argon2id$v=19$m=65536,t=3,p=4$… (97 chars)
|
||||
hashes differ: t
|
||||
session of the first user: token T (43 characters); rows of sessions with token_hash = SHA-256(T): 1, octet_length 32
|
||||
pg_dump --data-only: 12 COPY blocks; T as text: no, T in hex: no, P as text: no
|
||||
PASS: only Argon2id strings and SHA-256 of the token are stored
|
||||
```
|
||||
Vendored
+23
@@ -0,0 +1,23 @@
|
||||
# Кэш карточки чата
|
||||
|
||||
- Команды: `make test_isolated` (ключи временной базы), затем `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 cache-check --require-test-keys`
|
||||
- Дата: 2026-11-01; `make test_isolated` 10:29:02–10:31:48 UTC, `cache-check` 10:33:20–10:33:45 UTC, код выхода `cache-check` 0
|
||||
- Код выхода `make test_isolated` 2 и только по одной причине: 1 failed (`test_exclusion_evidence_exists`: этого файла и двух соседних ещё не было), 217 passed, 6 skipped (тесты реплик), 147 deselected; публичный `make test` в нём — код 0. Снятие файла этой команды требует её прогона, поэтому поменять порядок нельзя
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменён только `.claude/skills/run-mtusi-messenger/driver.py`, команда `cache-check` не менялась
|
||||
- Стенд: проект compose `mtusi-lab5`, две реплики за HAProxy, собран `make run_docker` из `HEAD`; пользователи и чат синтетические
|
||||
- Спеки: `chat-cache`, «Чтение из кэша», «Срок записи», «Временная база» (исключения сверки покрытия: по HTTP ответ из кэша не отличить от ответа из PostgreSQL)
|
||||
|
||||
Итог: на 50 чтений карточки через LB — одно чтение таблицы `chats` (первое, ключ перед этим удалён), +49 попаданий и +1 промах Valkey; срок ключа не больше настроенного, чтения его не продлевают; ключи рабочей и временной базы под разными префиксами.
|
||||
|
||||
```text
|
||||
users alice_… (creator) and bob_… (reader), chat baf5835e-a6d9-430f-81bd-a8133f510fac
|
||||
key messenger:v1:messenger:chat:baf5835e-a6d9-430f-81bd-a8133f510fac
|
||||
right after 201: EXISTS 1, TTL 3600 s (configured [cache] chat_ttl_seconds 3600 s in the replica); value keys ['created_at', 'id', 'member_ids', 'title'], member_ids in creation order: yes
|
||||
DEL key: the first read is a miss; waiting 11 s
|
||||
50 × GET /api/v1/chats/{id} by the reader through LB: 50 equal to the creation response; by replica 5de01d9e5999 25, 7f8add826e12 25
|
||||
after 11 s: reads of table chats (seq_scan + idx_scan) +1, keyspace_hits +49, keyspace_misses +1
|
||||
TTL 3588 s, then 10 more reads, TTL 3588 s: reads do not extend the key
|
||||
keys messenger:v1:messenger:chat:*: 1
|
||||
keys messenger:v1:test_messenger:chat:*: 166
|
||||
PASS: one read of chats, the rest from Valkey; TTL is bounded; temporary database: 166 keys under its own prefix
|
||||
```
|
||||
@@ -0,0 +1,64 @@
|
||||
# Повтор отправки после рестарта API
|
||||
|
||||
- Команды: `driver.py --port 8080 req POST /api/v1/chats/<chat>/messages --token <token> --data '{"text":"replay after restart"}' --key <ключ>`, `docker compose up -d --force-recreate api`, тот же `req` с тем же ключом и токеном, затем `req` с другим телом и `req GET` истории; скрипт шагов вне репозитория, сами шаги выше повторяются руками
|
||||
- Дата: 2026-11-01, 10:34:20–10:34:29 UTC; коды выхода 0
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменён только `.claude/skills/run-mtusi-messenger/driver.py`, команда `req` не менялась
|
||||
- Стенд: проект compose `mtusi-lab5`, две реплики за HAProxy, собран `make run_docker` из `HEAD`; пользователь и чат синтетические
|
||||
- Спек: `idempotency`, «Повтор после рестарта API» (исключение сверки покрытия: тесты сервер не трогают)
|
||||
- Вывод обезличен: ключ заменён на `<key>`; токена и пароля в выводе нет
|
||||
|
||||
Итог: новые контейнеры обеих реплик (другие `id` и `StartedAt`), повтор — тот же 201 и тот же `Message` от реплики, которой при первой отправке не было (`7f8add826e12` → `97b8c4574c46`). В истории одно сообщение; другое тело с тем же ключом — 409. Сессия и ключ лежат в PostgreSQL, поэтому рестарт реплик на них не влияет. Compose пересоздал только реплики, зависимости (`migrate`, `s3-bootstrap`) лишь повторно запустил: их контейнеры прежние, PostgreSQL не перезапускался.
|
||||
|
||||
```text
|
||||
--- before: api containers (name, id, StartedAt)
|
||||
/mtusi-lab5-api-19 7f8add826e12 2026-11-01T10:28:40.349727095Z
|
||||
/mtusi-lab5-api-20 5de01d9e5999 2026-11-01T10:28:40.064694511Z
|
||||
--- first send
|
||||
idempotency-key: <key>
|
||||
201 x-request-id: 5fa5de5420954757bec0dc2e58bc271e x-instance-id: 7f8add826e12
|
||||
{
|
||||
"id": "838a93d9-cffc-4fbe-94e8-413f9ab191fa",
|
||||
"chat_id": "f71fb930-1195-42af-b70e-b80661bc22f6",
|
||||
"sender_id": "1b623133-e1dc-4fca-a8a2-50caf09536ed",
|
||||
"text": "replay after restart",
|
||||
"created_at": "2026-11-01T10:34:21.613999Z",
|
||||
"attachment_ids": []
|
||||
}
|
||||
--- docker compose up -d --force-recreate api
|
||||
Container mtusi-lab5-api-19 Recreated
|
||||
Container mtusi-lab5-api-19 Started
|
||||
Container mtusi-lab5-api-20 Recreated
|
||||
Container mtusi-lab5-api-20 Started
|
||||
Container mtusi-lab5-migrate-1 Started
|
||||
Container mtusi-lab5-s3-bootstrap-1 Started
|
||||
exit 0
|
||||
LB ready: 200
|
||||
--- after: api containers (name, id, StartedAt)
|
||||
/mtusi-lab5-api-19 97b8c4574c46 2026-11-01T10:34:26.712304672Z
|
||||
/mtusi-lab5-api-20 5aecf775f84d 2026-11-01T10:34:26.633759088Z
|
||||
--- repeat with the same key, the same session
|
||||
idempotency-key: <key>
|
||||
201 x-request-id: 22bc07391e784d0883fd07463c6ad179 x-instance-id: 97b8c4574c46
|
||||
{
|
||||
"id": "838a93d9-cffc-4fbe-94e8-413f9ab191fa",
|
||||
"chat_id": "f71fb930-1195-42af-b70e-b80661bc22f6",
|
||||
"sender_id": "1b623133-e1dc-4fca-a8a2-50caf09536ed",
|
||||
"text": "replay after restart",
|
||||
"created_at": "2026-11-01T10:34:21.613999Z",
|
||||
"attachment_ids": []
|
||||
}
|
||||
--- other body with the same key
|
||||
idempotency-key: <key>
|
||||
409 x-request-id: 7b46b5bcc2a5446c8ca84ec664dcfd10 x-instance-id: 97b8c4574c46
|
||||
{
|
||||
"error": {
|
||||
"code": "conflict",
|
||||
"message": "Idempotency key was already used with another request",
|
||||
"request_id": "7b46b5bcc2a5446c8ca84ec664dcfd10"
|
||||
}
|
||||
}
|
||||
--- history
|
||||
{"count":1,"ids":["838a93d9-cffc-4fbe-94e8-413f9ab191fa"]}
|
||||
--- compare
|
||||
Message of the repeat = Message of the first send: yes
|
||||
```
|
||||
@@ -1,87 +1,113 @@
|
||||
# Сессии PostgreSQL и журнал пула после заморозки
|
||||
|
||||
- Команды: `uv run python double_cancel.py 2 6 1 second-block`, `uv run python double_cancel.py 2 6 4` (из корня дерева кода, `SETTLE=15`), `python3 probe_freeze.py http://localhost:8080 mtusi-lab5-postgres-1` трижды с `pg_stat_activity` до и после
|
||||
- Дата: 2026-10-31, 23:03:57–23:06:24 UTC; коды выхода 0
|
||||
- Commit: `d8fe2e8` (ветка `feat/unit-of-work`), рабочее дерево чистое
|
||||
- Стенд: проект compose `mtusi-lab5`, две реплики за HAProxy, собран `make run_docker` из `HEAD`; пользователи синтетические, по одному на прогон пробы
|
||||
- Команды: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 freeze-sessions` (рабочий стенд, заморожен только прокси пробы) и `python3 .claude/skills/run-mtusi-messenger/driver.py freeze-lb` (`docker pause` PostgreSQL — на своём временном проекте)
|
||||
- Дата: 2026-11-01; `freeze-sessions` 10:36:22–10:38:35 UTC, `freeze-lb` 10:41:46–10:43:14 UTC; коды выхода 0
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменён только `.claude/skills/run-mtusi-messenger/driver.py`: в нём и появились эти команды
|
||||
- Стенд `freeze-sessions`: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`; приложение в процессе одноразового контейнера `api` (`docker compose run --rm --no-deps -T --entrypoint python api -`, лимиты реплики), PostgreSQL стенда только через TCP-прокси пробы; в базе остаётся по одному синтетическому пользователю на режим
|
||||
- Стенд `freeze-lb`: проект compose `mtusi-lab5-freeze` с образом `mtusi-messenger:lab5` и лимитами рабочего стенда, две реплики за HAProxy, Valkey, S3 с bootstrap; команда сама его поднимает и убирает: данные в tmpfs, volumes не создаются, окружение — случайные значения из `.env.example` во временном каталоге, конфигурация — `config_example.toml`. `mtusi-lab5` команда отвергает (код 2): рабочий PostgreSQL не замораживается
|
||||
- Change `unit-of-work`, замечания verify C1 и W1: `design.md`, уточнения 17 и 18
|
||||
- Вывод сокращён: у пробы C1 раунды 1–4 совпадают с показанными, в выводе `probe_freeze.py` убрано поле `instance`
|
||||
|
||||
Пробы — разовые скрипты стадии verify, в репозиторий не входят (`bench/` и `student-tests/` этим изменением не меняются). Сценарий воспроизводят тесты `service-tests/db/test_uow.py::test_no_sessions_over_pool_after_freeze` и `service-tests/db/test_request_flow.py::test_deadline_in_second_block_single_record` (`make service_test_db`, `evidence/tests/service-tests.md`).
|
||||
Сценарий заморозки ещё проверяют тесты `service-tests/db/test_uow.py::test_no_sessions_over_pool_after_freeze` и `service-tests/db/test_request_flow.py::test_deadline_in_second_block_single_record` (`make service_test_db`, `evidence/tests/service-tests.md`).
|
||||
|
||||
| Проба | Что делает |
|
||||
| Режим `freeze-sessions` | Что делает |
|
||||
|---|---|
|
||||
| `double_cancel.py <срок> <раунды> <пул> [second-block]` | приложение в процессе (`httpx.ASGITransport`), PostgreSQL стенда только через свой TCP-прокси, замораживается прокси, а не сервер. Срок `[database] request_timeout_seconds` и пул — окружением. С `second-block` заморозка между входом и операцией `GET /chats`, без него — до пачки `GET /users/me` на все соединения пула. После разморозки: сессии через прокси, занятые соединения, следующие запросы, записи логгера `sqlalchemy.pool` |
|
||||
| `probe_freeze.py <адрес LB> <контейнер PostgreSQL>` | через LB: шесть одновременных запросов JSON-ручек и метаданных вложения при `docker pause` PostgreSQL, `unpause` в `finally`, затем время до первого 200 |
|
||||
| `second-block` | заморозка между входом и операцией `GET /chats`, один запрос, пул 2: зазор таймеров — настоящая длительность блока входа |
|
||||
| `before-requests` | заморозка до пачки из четырёх `GET /users/me`, пул 2 и пул 4 |
|
||||
|
||||
Срок `[database] request_timeout_seconds` в пробе 2 с, закрытие соединения добавляет до 2 с. После разморозки в каждом раунде: сессии через прокси (`client_addr` контейнера пробы), занятые соединения, четыре следующих запроса, записи логгера `sqlalchemy.pool`. Прежний файл называл первый аргумент разовой пробы сроком, а третий пулом: на деле это были размер пула и число запросов, поэтому `2 6 1 second-block` и `2 6 4` — режимы 1 и 2 здесь; режим пула 4 добавлен, потому что о нём и говорил прежний заголовок.
|
||||
|
||||
## Срок истёк во втором блоке: W1
|
||||
|
||||
При сроке 2 с, пуле 1. До правки, по выводу verify на `6ba74b1`, те же 6 раундов дали 503 за 2,01 с и две записи пула: `Exception terminating connection` и `The garbage collector is trying to clean up non-checked-in connection`. Теперь записей нет: закрытие дорабатывает, поэтому ответ приходит за срок плюс закрытие.
|
||||
До правки, по выводу verify на `6ba74b1`, те же 6 раундов дали 503 за 2,01 с и две записи пула: `Exception terminating connection` и `The garbage collector is trying to clean up non-checked-in connection`. Теперь записей нет: закрытие дорабатывает, поэтому ответ приходит за срок плюс закрытие.
|
||||
|
||||
```text
|
||||
round 0: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 1: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 2: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 3: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 4: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 5: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
== second-block, pool 2, 1 request(s)
|
||||
round 0: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 1: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 2: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 3: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 4: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 5: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
end: held 0, after gc.collect 0
|
||||
sessions after settle: [('idle', 'ROLLBACK;', 1)]
|
||||
sessions after 15 s: [['idle', 'ROLLBACK;', 1]]
|
||||
```
|
||||
|
||||
## Сессии сверх пула: C1
|
||||
|
||||
При сроке 2 с, пуле 4, 6 заморозок подряд. Сессии через прокси сразу после каждой разморозки, по выводу verify: `9efab79` — 4, 8, 12, 12, 12, 12 (после паузы только 4 рабочих), `6ba74b1` — 4, 8, 12, 16, 20, 24 (после паузы 24 `idle` с запросом `;`). Здесь:
|
||||
6 заморозок подряд. Сессии через прокси сразу после каждой разморозки, по выводу verify: `9efab79` — 4, 8, 12, 12, 12, 12 (после паузы только 4 рабочих), `6ba74b1` — 4, 8, 12, 16, 20, 24 (после паузы 24 `idle` с запросом `;`). Здесь после паузы — только рабочие соединения, не больше пула; следующие запросы шли по очереди.
|
||||
|
||||
```text
|
||||
server sessions via proxy: 0 (все 6 раундов)
|
||||
round 0: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 5: frozen 503 4.01s; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
== before-requests, pool 2, 4 request(s)
|
||||
round 0: frozen 503 4.02s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 1: frozen 503 4.00s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 2: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 3: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 4: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 5: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
end: held 0, after gc.collect 0
|
||||
sessions after settle: [('idle', 'ROLLBACK;', 2)]
|
||||
sessions after 15 s: [['idle', 'ROLLBACK;', 2]]
|
||||
== before-requests, pool 4, 4 request(s)
|
||||
round 0: frozen 503 4.03s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 1: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 2: frozen 503 4.02s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 3: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 4: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
round 5: frozen 503 4.01s; server sessions via proxy 0; held right after 0; next requests [200, 200, 200, 200]; held 0; pool records []
|
||||
end: held 0, after gc.collect 0
|
||||
sessions after 15 s: [['idle', 'ROLLBACK;', 4]]
|
||||
```
|
||||
|
||||
После паузы — только рабочие соединения; следующие запросы шли по очереди, двух соединений им хватило.
|
||||
Итоговая таблица команды: по восьми проверкам на режим (503, время 2–4,5 с, сессии в пределах пула, следующие запросы 200, записей пула 0, занятых соединений 0, сессий брошенной проверки `;` 0) — все совпали, `PASS: after a frozen database: no sessions over the pool, no pool records, the next requests work`.
|
||||
|
||||
## Настоящий PostgreSQL, через LB
|
||||
|
||||
`SELECT state, left(query, 12), count(*) FROM pg_stat_activity WHERE backend_type = 'client backend'` без своей сессии. Цепочка: срок 6 с + закрытие 2 с < `timeout server` 10 с, 504 нет. Сессий `;` нет; числа совпадают до и после каждой заморозки.
|
||||
`SELECT state, left(query, 12), count(*) FROM pg_stat_activity WHERE backend_type = 'client backend'` без своей сессии. Цепочка: срок 6 с + закрытие 2 с < `timeout server` 10 с, 504 нет. Сессий `;` нет; числа совпадают до и после каждой заморозки. Перед первой заморозкой пул реплик прогрет запросами: `idle|ROLLBACK;|20` — по 10 соединений на реплику. Порт LB — свободный на момент запуска.
|
||||
|
||||
```text
|
||||
project mtusi-lab5-freeze: up, LB on 127.0.0.1 port 55557
|
||||
--- before
|
||||
idle|ROLLBACK;|20
|
||||
idle|COMMIT;|2
|
||||
=== freeze 1
|
||||
GET /chats 503 8.01s error=unavailable
|
||||
GET messages 503 8.01s error=unavailable
|
||||
POST login 503 8.01s error=unavailable
|
||||
GET attachment meta 503 8.01s error=unavailable
|
||||
GET /chats 503 8.01s error=unavailable
|
||||
GET messages 503 8.01s error=unavailable
|
||||
GET /users/me 503 8.02s error=unavailable
|
||||
POST message 503 8.02s error=unavailable
|
||||
recovered after unpause: 0.65s
|
||||
recovered after unpause: 0.64s
|
||||
--- after freeze 1 (+11 s)
|
||||
idle|ROLLBACK;|20
|
||||
idle|COMMIT;|2
|
||||
=== freeze 2
|
||||
POST message 503 8.02s error=unavailable
|
||||
POST login 503 8.02s error=unavailable
|
||||
GET /chats 503 8.02s error=unavailable
|
||||
GET messages 503 8.02s error=unavailable
|
||||
GET attachment meta 503 8.02s error=unavailable
|
||||
GET /users/me 503 8.02s error=unavailable
|
||||
recovered after unpause: 0.64s
|
||||
GET attachment meta 503 8.01s error=unavailable
|
||||
POST login 503 8.01s error=unavailable
|
||||
POST message 503 8.01s error=unavailable
|
||||
GET /chats 503 8.01s error=unavailable
|
||||
GET messages 503 8.01s error=unavailable
|
||||
GET /users/me 503 8.01s error=unavailable
|
||||
recovered after unpause: 0.63s
|
||||
--- after freeze 2 (+11 s)
|
||||
idle|ROLLBACK;|20
|
||||
idle|COMMIT;|2
|
||||
=== freeze 3
|
||||
GET messages 503 8.01s error=unavailable
|
||||
POST login 503 8.01s error=unavailable
|
||||
GET /chats 503 8.01s error=unavailable
|
||||
POST message 503 8.02s error=unavailable
|
||||
GET /users/me 503 8.02s error=unavailable
|
||||
GET attachment meta 503 8.02s error=unavailable
|
||||
recovered after unpause: 0.65s
|
||||
GET messages 503 8.09s error=unavailable
|
||||
GET /chats 503 8.09s error=unavailable
|
||||
GET attachment meta 503 8.09s error=unavailable
|
||||
POST login 503 8.09s error=unavailable
|
||||
POST message 503 8.09s error=unavailable
|
||||
GET /users/me 503 8.09s error=unavailable
|
||||
recovered after unpause: 0.64s
|
||||
--- after freeze 3 (+11 s)
|
||||
idle|ROLLBACK;|20
|
||||
idle|COMMIT;|2
|
||||
project mtusi-lab5-freeze: down (no volumes)
|
||||
answers 503 unavailable expected 18 got 18
|
||||
answers from LB 504 expected 0 got 0
|
||||
every answer before timeout server 10 s expected yes got yes
|
||||
recovered within 30 s every time expected yes got yes
|
||||
sessions within the pools (20) after every freeze expected yes got yes
|
||||
sessions do not grow after the first freeze expected yes got yes
|
||||
sessions of an abandoned ping (query ';') expected 0 got 0
|
||||
containers of the project left expected 0 got 0
|
||||
volumes of the project left expected 0 got 0
|
||||
PASS: frozen PostgreSQL: 503 from the replicas before timeout server of LB, no sessions over the pool
|
||||
```
|
||||
|
||||
Отличие от прежнего снятия на `d8fe2e8`: там заморозка шла на рабочем стенде, с `idle|COMMIT;|2` от worker и relay. Здесь их на стенде нет, остальные 20 сессий — те же. Время ответа 8,01–8,09 с против 8,01–8,02 с: третий заход на этом снятии чуть медленнее, 504 нет.
|
||||
|
||||
@@ -1,21 +1,24 @@
|
||||
# Свой набор через LB
|
||||
|
||||
- Команда: `make student_test` (`BASE_URL=http://localhost:8080 EXPECT_REPLICAS=2`)
|
||||
- Дата: 2026-10-31, 23:02:21–23:03:39 UTC; код выхода 2 (код pytest 1)
|
||||
- Commit: `d8fe2e8` (ветка `feat/unit-of-work`), рабочее дерево чистое
|
||||
- Дата: 2026-11-01, 10:46:33–10:47:58 UTC; код выхода 0
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменены `.claude/skills/run-mtusi-messenger/`, отчётные файлы и `evidence/`, в образ они не входят
|
||||
- Стенд: проект compose `mtusi-lab5`, две реплики за HAProxy, relay, worker, собран `make run_docker` из `HEAD`
|
||||
- Итог: **1 failed, 223 passed, 141 deselected, 78,03 с**. 141 deselected — проверки отказов (`evidence/tests/failure-checks.md`)
|
||||
- Единственное красное — ожидаемое `test_exclusion_evidence_exists`, причина ровно `missing_evidence`: файлы старых исключений `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md` снимаются на последнем шаге всего прогона лабы (`QUESTIONS.md`, «Перенос из лабы 4»). Приложение тут ни при чём: проверяется наличие файла в репозитории
|
||||
- `student-tests/` с change `unit-of-work` не менялись (`git diff --stat` пуст): набор доказывает, что поведение то же
|
||||
- Вывод сокращён: убраны строки `PASSED`, заголовки блоков вывода и текст функции теста
|
||||
- Итог: **224 passed, 147 deselected, 84,81 с**. 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`, снят на `d8fe2e8`)
|
||||
- `test_exclusion_evidence_exists` зелёный: файлы исключений сняты на стенде этой лабы (`evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`, `evidence/queue/baseline2/summary.md` и прежние)
|
||||
- Вывод сокращён: убраны строки `PASSED` и заголовки блоков вывода
|
||||
|
||||
```text
|
||||
student-tests/test_coverage.py::test_exclusion_evidence_exists FAILED [ 50%]
|
||||
E AssertionError: exclusion refers to missing evidence/cache/hits.md: chat-cache / Временная база
|
||||
E exclusion refers to missing evidence/cache/hits.md: chat-cache / Срок записи
|
||||
E exclusion refers to missing evidence/cache/hits.md: chat-cache / Чтение из кэша
|
||||
E exclusion refers to missing evidence/idempotency/replay-after-restart.md: idempotency / Повтор после рестарта API
|
||||
E exclusion refers to missing evidence/auth/passwords-and-tokens.md: sessions / Токена нет в хранилище
|
||||
E exclusion refers to missing evidence/auth/passwords-and-tokens.md: users / Хэш в БД
|
||||
=========== 1 failed, 223 passed, 141 deselected in 78.03s (0:01:18) ===========
|
||||
student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%]
|
||||
uploaded via 97b8c4574c46, downloaded via ['5aecf775f84d', '97b8c4574c46']
|
||||
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
|
||||
sent via 97b8c4574c46, replayed via ['5aecf775f84d']
|
||||
409 via ['5aecf775f84d', '97b8c4574c46']
|
||||
one session, 20 requests: {'5aecf775f84d': 10, '97b8c4574c46': 10}
|
||||
written via 97b8c4574c46, read via {'5aecf775f84d': 3, '97b8c4574c46': 3}
|
||||
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
|
||||
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
key race through replicas: {'5aecf775f84d': 5, '97b8c4574c46': 5}
|
||||
================ 224 passed, 147 deselected in 84.81s (0:01:24) ================
|
||||
```
|
||||
|
||||
@@ -1,22 +1,21 @@
|
||||
# Набор на временной базе
|
||||
|
||||
- Команда: `make test_isolated`
|
||||
- Дата: 2026-10-31, 23:00:01–23:02:21 UTC; код выхода 2 (`results: {'test': 0, 'student_test': 2}`)
|
||||
- Commit: `d8fe2e8` (ветка `feat/unit-of-work`), рабочее дерево чистое
|
||||
- Дата: 2026-11-01, 10:48:00–10:50:36 UTC; код выхода 0 (`results: {'test': 0, 'student_test': 0}`)
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменены `.claude/skills/run-mtusi-messenger/`, отчётные файлы и `evidence/`, в образ они не входят
|
||||
- Стенд: образ из рабочего дерева, контейнеры `mtusi-lab5-test-api`, `mtusi-lab5-test-worker`, `mtusi-lab5-test-relay` на базе `test_messenger` поверх хранилищ рабочего стенда, один процесс API, `EXPECT_REPLICAS=1`
|
||||
- Итог: smoke — `PASS: lab5`; набор — **1 failed, 217 passed, 6 skipped, 141 deselected, 121,10 с**
|
||||
- 6 skipped — тесты реплик против одного процесса, причина напечатана
|
||||
- Красное — ожидаемое `test_exclusion_evidence_exists`, только `missing_evidence` по трём файлам, которые снимаются на последнем шаге прогона лабы: `evidence/cache/hits.md`, `evidence/auth/passwords-and-tokens.md`, `evidence/idempotency/replay-after-restart.md`; разбор — `evidence/tests/student-test-lb.md`
|
||||
- Вывод сокращён: убраны лог сборки, строки `PASSED` и журналы контейнеров, которые цель печатает при коде ≠ 0
|
||||
- Итог: smoke — `PASS: lab5`; набор — **218 passed, 6 skipped, 147 deselected, 134,11 с**
|
||||
- 6 skipped — тесты реплик против одного процесса, причина напечатана; 147 deselected — проверки отказов (`evidence/tests/failure-checks.md`, снят на `d8fe2e8`)
|
||||
- Вывод сокращён: убраны лог сборки и строки `PASSED`
|
||||
|
||||
```text
|
||||
python3 tests/smoke.py --base-url "http://localhost:8080"
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
|
||||
student-tests/test_coverage.py::test_exclusion_evidence_exists FAILED [ 50%]
|
||||
two series of 18 requests: {'fed908d45572': 36}
|
||||
ready in 0.44 s
|
||||
coverage: 371 scenarios in 16 specs, 349 tested (164 by make failure_checks), 22 excluded
|
||||
student-tests/test_coverage.py::test_exclusion_evidence_exists PASSED [ 50%]
|
||||
two series of 18 requests: {'d9060d224783': 36}
|
||||
ready in 0.64 s
|
||||
coverage: 389 scenarios in 17 specs, 358 tested (173 by make failure_checks), 31 excluded
|
||||
race: 10 clients x 10 messages, statuses {201: 100}, max in flight 10; history: 100 messages, 100 unique ids, 4 pages by 30
|
||||
username race: 10 clients, statuses {409: 9, 201: 1}, max in flight 10
|
||||
key race: 10 clients, statuses {201: 10}, max in flight 10; history: 1 messages
|
||||
@@ -26,8 +25,8 @@ SKIPPED [1] student-tests/test_idempotency.py:372: one API process (EXPECT_REPLI
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:18: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_load_balancing.py:34: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
SKIPPED [1] student-tests/test_race.py:169: one API process (EXPECT_REPLICAS=1): replica checks need the stand with the load balancer
|
||||
===== 1 failed, 217 passed, 6 skipped, 141 deselected in 121.10s (0:02:01) =====
|
||||
========== 218 passed, 6 skipped, 147 deselected in 134.11s (0:02:14) ==========
|
||||
[test_isolated] cleanup
|
||||
[test_isolated] remove objects /buckets/messenger/test_messenger/ and queue test_messenger.attachment.process.v1
|
||||
[test_isolated] results: {'test': 0, 'student_test': 2}
|
||||
[test_isolated] results: {'test': 0, 'student_test': 0}
|
||||
```
|
||||
|
||||
+57
-18
@@ -1,26 +1,65 @@
|
||||
# Память контейнера worker
|
||||
|
||||
- Команда: разовая проба на рабочем стенде через LB (`student-tests/images.py`, `api_client.py`): для каждого случая `docker stop` worker, две одинаковые загрузки, `docker start` (новая cgroup: `memory.peak` с нуля), ожидание `ready` обоих, затем `/proc/1/status`, `memory.peak`, `memory.events` контейнера, `docker inspect`, журнал worker
|
||||
- Дата: 2026-10-31, 15:57:24–15:57:52 UTC; проба дошла до конца без исключения (код выхода не записан), разовый скрипт в репозиторий не входит. Перед этим прогоном были ещё два: первый — без файлов на обеих границах, те же числа в пределах 2 МиБ у `render_peak` и `VmHWM`, `memory.peak` до 857 МиБ; второй остановился на 413: файл пробы вышел больше 10 MiB, ошибка самой пробы
|
||||
- Commit: `399da05` (ветка `feat/pipeline-reliability`), рабочее дерево чистое
|
||||
- Команда: `python3 .claude/skills/run-mtusi-messenger/driver.py --port 8080 worker-memory` (два прогона подряд: разброс `memory.peak` важен для вывода)
|
||||
- Дата: 2026-11-01, прогон 1 — 10:35:01–10:35:35 UTC, прогон 2 — 10:35:48–10:36:22 UTC; коды выхода 0
|
||||
- Commit: `9639aa1` (ветка `feat/track1-queue-overload`), код `src/` и `bench/` тот же, что на `5ee3257`; на рабочем дереве изменён только `.claude/skills/run-mtusi-messenger/driver.py`: в нём и появилась эта команда
|
||||
- Стенд: проект compose `mtusi-lab5`, собран `make run_docker` из `HEAD`; worker 1 CPU / 1 ГБ без swap, конкуренция 2, `render_memory_limit_mib` 450
|
||||
- Спеки: `attachment-processing` «Изображение в лимите пикселей», design change `pipeline-reliability`, решение 7, «Уточнения apply», п. 13 и 19
|
||||
- Столбцы: `render_peak_kib` записи «Attachment became ready» по двум заданиям; «пересеклись» — оба задания начаты раньше, чем первое стало `ready`; `VmHWM` и `VmRSS` — процесс 1 worker; `memory.peak` — вся cgroup контейнера с процессами обработки. Файлы «40 Мпкс и ~10 MiB»: начало строк — шум, остальное — нули, поэтому обе границы контракта достигнуты разом
|
||||
|
||||
| Два файла разом | Файл, МиБ | `render_peak`, МиБ | `render_ms` | Пересеклись | `VmHWM`, МиБ | `VmRSS`, МиБ | `memory.peak`, МиБ | `oom` / `oom_kill` | `OOMKilled` | Рестарты |
|
||||
|---|---|---|---|---|---|---|---|---|---|---|
|
||||
| PNG из шума 10 MiB, 1868 × 1868 | 9,99 | 84 / 84 | 840 / 856 | да | 159 | 110 | 261 | 0 / 0 | false | 0 |
|
||||
| PNG RGBA 8 бит, 40 Мпкс | 0,15 | 357 / 357 | 872 / 885 | да | 111 | 110 | 794 | 0 / 0 | false | 0 |
|
||||
| PNG серый с альфой 8 бит, 40 Мпкс | 0,07 | 357 / 357 | 723 / 775 | да | 110 | 110 | 795 | 0 / 0 | false | 0 |
|
||||
| PNG RGB 8 бит с tRNS, 40 Мпкс | 0,11 | 357 / 357 | 908 / 929 | да | 110 | 110 | 791 | 0 / 0 | false | 0 |
|
||||
| PNG RGB 16 бит с tRNS, 40 Мпкс | 0,22 | 357 / 357 | 1036 / 1037 | да | 111 | 110 | 795 | 0 / 0 | false | 0 |
|
||||
| PNG палитра с tRNS, 40 Мпкс | 0,04 | 357 / 357 | 740 / 750 | да | 110 | 110 | 794 | 0 / 0 | false | 0 |
|
||||
| PNG серый 16 бит, 40 Мпкс | 0,07 | 404 / 404 | 706 / 712 | да | 110 | 110 | 888 | 0 / 0 | false | 0 |
|
||||
| PNG RGBA 8 бит, 40 Мпкс и ~10 MiB | 9,85 | 366 / 367 | 1226 / 1288 | да | 157 | 111 | 832 | 0 / 0 | false | 0 |
|
||||
| PNG серый 16 бит, 40 Мпкс и ~10 MiB | 9,79 | 414 / 414 | 723 / 730 | да | 154 | 115 | 905 | 0 / 0 | false | 0 |
|
||||
Что делает команда. Для каждого случая: `docker stop` worker, две одинаковые загрузки, `docker start` (новая cgroup: `memory.peak` с нуля), ожидание `ready` обоих, затем `/proc/1/status`, `memory.peak`, `memory.events` контейнера, `docker inspect`, журнал worker. Файлы — генераторы тестов `student-tests/images.py` в контейнере образа без сети. Worker и relay запускаются при любом исходе; при незавершённых заданиях на стенде — код 2, код 1 при расхождении таблицы проверок.
|
||||
|
||||
Итог:
|
||||
Столбцы: `render_peak_kib` записи «Attachment became ready» по двум заданиям; `overlap` — оба задания начаты раньше, чем первое стало `ready`; `VmHWM` и `VmRSS` — процесс 1 worker; `memory.peak` — вся cgroup контейнера с процессами обработки. Файлы «40 Mpx and ~10 MiB»: начало строк — шум, остальное — нули, поэтому обе границы контракта достигнуты разом.
|
||||
|
||||
## Прогон 1
|
||||
|
||||
```text
|
||||
worker mtusi-lab5-worker-1: limit 1024 MiB, concurrency 2, render_memory_limit_mib 450
|
||||
case | file MiB | render_peak MiB | render_ms | overlap | VmHWM | VmRSS | memory.peak | oom / oom_kill | OOMKilled | restarts
|
||||
PNG noise 10 MiB, 1868 x 1868 | 9.99 | 84/84 | 1015/1006 | yes | 155 | 111 | 262 | 0 / 0 | false | 0
|
||||
PNG RGBA 8 bit, 40 Mpx | 0.15 | 357/357 | 1064/1067 | yes | 111 | 111 | 795 | 0 / 0 | false | 0
|
||||
PNG gray with alpha 8 bit, 40 Mpx | 0.07 | 357/357 | 797/800 | yes | 111 | 111 | 795 | 0 / 0 | false | 0
|
||||
PNG RGB 8 bit with tRNS, 40 Mpx | 0.11 | 357/357 | 859/869 | yes | 111 | 111 | 795 | 0 / 0 | false | 0
|
||||
PNG RGB 16 bit with tRNS, 40 Mpx | 0.22 | 357/357 | 1128/1139 | yes | 111 | 111 | 793 | 0 / 0 | false | 0
|
||||
PNG palette with tRNS, 40 Mpx | 0.04 | 357/357 | 739/741 | yes | 111 | 111 | 796 | 0 / 0 | false | 0
|
||||
PNG gray 16 bit, 40 Mpx | 0.07 | 404/404 | 634/645 | yes | 111 | 111 | 816 | 0 / 0 | false | 0
|
||||
PNG RGBA 8 bit, 40 Mpx and ~10 MiB | 9.85 | 367/367 | 908/959 | yes | 159 | 112 | 832 | 0 / 0 | false | 0
|
||||
PNG gray 16 bit, 40 Mpx and ~10 MiB | 9.79 | 414/414 | 684/743 | yes | 159 | 111 | 926 | 0 / 0 | false | 0
|
||||
largest render_peak 414 MiB, largest memory.peak 926 MiB, sum of peaks 159 + 2 x 414 = 987 MiB
|
||||
every generated file within the contract expected yes got yes
|
||||
attachments ready expected 18 got 18
|
||||
cases with both jobs at once expected 9 got 9
|
||||
render_peak records expected 18 got 18
|
||||
oom + oom_kill in all cases expected 0 got 0
|
||||
OOMKilled in any case expected no got no
|
||||
restarts in any case expected no got no
|
||||
render_peak below 450 MiB expected yes got yes
|
||||
memory.peak below 1024 MiB expected yes got yes
|
||||
sum of peaks below 1024 MiB expected yes got yes
|
||||
PASS: two files at once at the contract limits fit the worker container
|
||||
worker and relay running at the end: yes
|
||||
```
|
||||
|
||||
## Прогон 2
|
||||
|
||||
Таблица проверок та же, все совпали.
|
||||
|
||||
```text
|
||||
PNG noise 10 MiB, 1868 x 1868 | 9.99 | 84/84 | 847/847 | yes | 158 | 111 | 262 | 0 / 0 | false | 0
|
||||
PNG RGBA 8 bit, 40 Mpx | 0.15 | 357/357 | 867/873 | yes | 111 | 111 | 795 | 0 / 0 | false | 0
|
||||
PNG gray with alpha 8 bit, 40 Mpx | 0.07 | 357/357 | 735/801 | yes | 111 | 111 | 792 | 0 / 0 | false | 0
|
||||
PNG RGB 8 bit with tRNS, 40 Mpx | 0.11 | 357/357 | 907/950 | yes | 111 | 111 | 793 | 0 / 0 | false | 0
|
||||
PNG RGB 16 bit with tRNS, 40 Mpx | 0.22 | 357/357 | 1037/1048 | yes | 112 | 111 | 794 | 0 / 0 | false | 0
|
||||
PNG palette with tRNS, 40 Mpx | 0.04 | 357/357 | 727/728 | yes | 110 | 110 | 795 | 0 / 0 | false | 0
|
||||
PNG gray 16 bit, 40 Mpx | 0.07 | 404/404 | 627/635 | yes | 111 | 111 | 833 | 0 / 0 | false | 0
|
||||
PNG RGBA 8 bit, 40 Mpx and ~10 MiB | 9.85 | 367/367 | 890/933 | yes | 158 | 111 | 831 | 0 / 0 | false | 0
|
||||
PNG gray 16 bit, 40 Mpx and ~10 MiB | 9.79 | 414/414 | 687/748 | yes | 155 | 111 | 705 | 0 / 0 | false | 0
|
||||
largest render_peak 414 MiB, largest memory.peak 833 MiB, sum of peaks 158 + 2 x 414 = 986 MiB
|
||||
```
|
||||
|
||||
## Итог
|
||||
|
||||
- все задания `ready`; ни одного `oom` и `oom_kill`, `OOMKilled` false, рестартов нет;
|
||||
- самый дорогой файл в пределах контракта — серый 16 бит на обеих границах: `render_peak` 414 МиБ при лимите 450, `memory.peak` контейнера 905 МиБ при лимите 1024;
|
||||
- верхняя оценка суммой пиков, которые на деле не совпадают по времени: 159 + 2 × 414 = 987 МиБ < 1 ГБ.
|
||||
- самый дорогой файл в пределах контракта — серый 16 бит на обеих границах: `render_peak` 414 МиБ при лимите 450;
|
||||
- `memory.peak` контейнера на нём — 926 МиБ в прогоне 1 и 705 МиБ в прогоне 2 при лимите 1024: пик зависит от того, насколько совпали по времени пики двух процессов обработки, поэтому одно значение его не описывает. Опора бюджета — не замер `memory.peak`, а верхняя оценка суммой пиков, которые на деле не совпадают по времени: 159 + 2 × 414 = 987 МиБ < 1 ГБ.
|
||||
|
||||
Сравнение с прежним снятием разовой пробой на `399da05` (2026-10-31): `render_peak` 84 / 357 / 404 / 366–367 / 414 МиБ и `VmHWM` до 159 МиБ — те же (±1 МиБ); `memory.peak` самого дорогого случая был 905 МиБ, теперь 705–926 МиБ, у серого 16 бит на 40 Мпкс 888 против 816–833 МиБ. Числа `REPORT.md` обновлены по этому файлу.
|
||||
|
||||
Reference in New Issue
Block a user