210 lines
45 KiB
Markdown
210 lines
45 KiB
Markdown
# Отчёт — лабораторная работа 5
|
||
|
||
Автор: **Костылев Артём, БПИ2303**. Тема: «Очереди и асинхронная обработка изображений».
|
||
Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Финальная validation заблокирована одним major: новые PNG tRNS на границе 40 Мп получают `processing_failed` при штатных 448 MiB вместо заявленного ready. Остальные адресные проверки завершены. Нужны отдельный fix и review; полное подтверждение «5» и готовность к публикации не заявляются.
|
||
|
||
Ветка: `solution/bpi2303-kostylev`. Проверенный ревью код: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует.
|
||
|
||
Индекс происхождения всех доказательств — [evidence/README.md](evidence/README.md). Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до `4ed889c1e4008e3f6040ae2534bef99262d3b8ce`, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в [forward-port.md](evidence/forward-port.md). Нормативные `contracts/`, `tests/`, `README.md`, `COURSE.md` не изменены.
|
||
|
||
## Воспроизведение из чистого clone
|
||
|
||
Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: первый отчётный этап Docker не запускал; последующая validation использовала существующие volumes, а не чистый clone.
|
||
|
||
Вместо `<PRIVATE_REPOSITORY_URL>` подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров.
|
||
|
||
```sh
|
||
git clone <PRIVATE_REPOSITORY_URL> mtusi2026lab5
|
||
cd mtusi2026lab5
|
||
git checkout 42575281b352d35bda17ee7601bae5548a996e91
|
||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||
export COMPOSE_FILE=compose.yaml
|
||
export API_IMAGE=mtusi-messenger:lab5-reviewed
|
||
export LB_HTTP_PORT=18085
|
||
export LB_STATS_PORT=25085
|
||
export BROKER_MANAGEMENT_PORT=25086
|
||
export BASE_URL=http://127.0.0.1:18085
|
||
export NO_PROXY=localhost,127.0.0.1,::1
|
||
uv sync --frozen --group dev
|
||
make check validate lint
|
||
openspec validate --all --strict
|
||
make secrets
|
||
docker compose --env-file .env config --quiet
|
||
make up
|
||
make test
|
||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||
make restore
|
||
make student-test
|
||
make images
|
||
make suite-preflight
|
||
python3 scripts/pipeline_suite.py --level 4 --output evidence/local-level4.json
|
||
make track2 TRACK2_OUTPUT=evidence/local-track2-run1.json
|
||
make track2 TRACK2_OUTPUT=evidence/local-track2-run2.json
|
||
make track2 TRACK2_OUTPUT=evidence/local-track2-run3.json
|
||
make down
|
||
```
|
||
|
||
`make up` собирает образ и ждёт готовности хранилищ, успешных одноразовых `migrate` и `s3-init`, затем API ×2, relay, worker и LB. `migrate` выполняет **`alembic upgrade head`**. `make secrets` создаёт локальные секреты и `.env`, не предназначенные для Git; их содержимое не входит в evidence. Порты реплик, PostgreSQL, S3 и AMQP наружу не опубликованы. HTTP, статистика LB и UI RabbitMQ слушают только `127.0.0.1`. Экспорты выше имеют приоритет над Compose `.env` и предотвращают случайный выбор старых портов.
|
||
|
||
`make student-test` поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует `infra/compose.faults.yaml`, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают `make down` без удаления постоянных volumes; `reset-data`, `down -v`, `reset/clean` в процедуру не входят.
|
||
|
||
Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=<attachment_id>` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID=<attachment_id> PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты адресной validation и оставшееся исправление приведены ниже; полный повтор пригодных серий не требуется.
|
||
|
||
## Архитектура и решения
|
||
|
||
```text
|
||
Клиент → HAProxy :18085 → API ×2 → проверка → PUT staging в RustFS
|
||
→ COMMIT queued + jobs + outbox → 202
|
||
PostgreSQL outbox → relay → RabbitMQ quorum queue → отдельный worker
|
||
confirm manual ack ↑ после COMMIT
|
||
worker → lease → рендер → originals/ и variants/ в S3 → fenced COMMIT
|
||
```
|
||
|
||
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pydantic, structlog; **SQLAlchemy 2.0.45 async**, драйвер asyncpg 0.32.0, **Alembic 1.16.5**; FastStream 0.7.8 поверх aio-pika 10.2.1, Pillow 13.0.0, aiobotocore, redis-py, argon2-cffi. Версии закреплены в [uv.lock](uv.lock); сохранённая проверка runtime — [runtime.txt](evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt). Образы PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, HAProxy 3.2.26 закреплены digest в [compose.yaml](compose.yaml).
|
||
|
||
Три зоны `identity`, `messaging`, `attachments` имеют домен, application-порты, инфраструктурные адаптеры и entrypoints. `shared` содержит платформу, а сборка — `main.py`, `relay.py`, `worker.py`, `admin.py`. PostgreSQL хранит состояния, версии, сессии и идемпотентность; S3 — байты; Valkey — ускорение проверки сессий; брокер — транспорт. API не подключается к RabbitMQ. Порты зон связаны через DI, а зависимости проверяет `test_bounded_contexts.py`.
|
||
|
||
**SQLAlchemy и миграции.** [Database/UoW](src/messenger/shared/infrastructure/postgres.py) используют `create_async_engine`, `postgresql+asyncpg`, `async_sessionmaker`, `AsyncSession` и явный `commit()`; ORM-модели основаны на `DeclarativeBase`. Репозитории строят параметризованные ORM/Core-запросы, граница API остаётся pydantic. [alembic/env.py](alembic/env.py) запускает миграции через async engine и `run_sync`, сериализует их advisory lock и проверяет legacy-схему перед принятием. Последовательность [alembic/versions](alembic/versions): `0001_init` → `0002_idempotency_keys` → `0003_attachments` → `0004_jobs` → `0005_failed_registry` → `0006_attachment_quarantine`. Старый каталог SQL-миграций и самописный мигратор не являются текущим способом развёртывания.
|
||
|
||
**Граница 202.** Сначала фиксируется внутреннее намерение pending, затем проверенные bytes записываются в приватный `staging/`. Одной транзакцией вложение переводится в queued, создаются job, outbox и audit. Только после COMMIT отдаётся сохранённый снимок `queued`, `variants=[]`, `error_code=null`. Отказ до COMMIT не подтверждён клиенту; оставшееся намерение убирается по grace period. API не ждёт resize. Очередь или worker могут быть недоступны при успешном upload.
|
||
|
||
**Outbox.** Relay выбирает доступные строки по частичному `outbox_pending_idx (available_at, id) WHERE published_at IS NULL` с `FOR UPDATE SKIP LOCKED`. Публикация persistent/mandatory с publisher confirms предшествует отметке `published_at` в той же транзакции. Ошибка публикации оставляет намерение для повтора; сбой после confirm до COMMIT может создать дубль. Цена решения — транзакция остаётся открытой на время сетевой публикации пачки и outbox растёт при недоступном брокере. Нет общей транзакции PostgreSQL/RabbitMQ.
|
||
|
||
**Worker и эффект.** FastStream использует `AckPolicy.MANUAL`, `RabbitMessage`, prefetch=2 при `WORKER_CONCURRENCY=2`. Worker берёт доверенные ключи S3 из БД, захватывает job арендой `lease_token`, продлевает её при работе и рендерит в отдельном процессе. После записи оригинала и всех трёх вариантов условный COMMIT проверяет актуальность аренды. Ключ эффекта — `(attachment_id, pipeline_version, name)`; уникальные ограничения, versioned S3-ключи с хешем и условие `published_version < new_version` предотвращают второй набор и откат новой публикации. `ack()` вызывается после завершения обработчика с COMMIT, включая фиксацию результата/noop. Ошибка БД приводит к задержке 1 с и `nack(requeue=True)`.
|
||
|
||
**Повторы.** После claim временная ошибка назначает новую outbox-попытку с equal jitter: половина экспоненциальной задержки плюс случайная половина; штатная база 2 с, максимум 5 попыток. Постоянные ошибки дают `invalid_image`/`processing_failed`, исчерпание — `retry_exhausted`. Просроченный processing возвращает relay через `jobs_lease_idx`; старый держатель не проходит fencing. Ready не откатывается при upgrade, ошибка v2 оставляет v1 доступной. Невалидное сообщение отвергается в DLQ; реестр failed и replay доступны через CLI.
|
||
|
||
В R policy `delivery-limit=-1` сохраняет инфраструктурные redelivery при длительном отказе БД; прикладной предел `JOB_MAX_ATTEMPTS=5` остаётся. Это исправляет прежний путь queued → DLQ после 10 nack без автоматического восстановления. На V policy подтверждена на существующем volume: 12 requeue после реальной остановки PostgreSQL, затем ready без replay и без роста DLQ — [evidence](evidence/final-validation-2026-11-07/postgres-outage-retry.json); уже лежащие в DLQ сообщения смена policy не возвращает. Произвольное удаление сообщения при уже опубликованном outbox также не исправляется автоматически: outbox/lease не равны универсальной сверке очереди.
|
||
|
||
**Изображения и ресурсы.** Оригинал неизменен. EXIF orientation применяется, прозрачность накладывается на белый фон, EXIF/ICC/XMP не копируются в варианты. Thumbnail — JPEG в 256×256 без увеличения, округление вниз, минимум 1 px; crop — центральный JPEG 128×128; optimized — WebP в 1280×1280 без увеличения. JPEG quality v1/v2 = 85/90, optimize=True; WebP = 80/85, method=4; Lanczos, reducing_gap=3.0. R исправляет tRNS, включая grayscale 2/4/16 и сравнение полных RGB16 samples до потери младших битов.
|
||
|
||
Предел входа — 10 485 760 байт и 40 млн пикселей; renderer — 30 с, Linux `RLIMIT_AS=448 MiB` на процесс, до 100 задач на дочерний процесс. Контейнер worker ограничен 2 CPU / 1 GiB, API — 1 CPU / 512 MiB на реплику, relay — 0.5 CPU / 192 MiB, broker — 1 CPU / 512 MiB, PostgreSQL — 2 CPU / 1 GiB, S3 — 1 CPU / 512 MiB. Старое измерение 423 MiB относится к обычному PNG. На V четыре 40 Мп PNG tRNS дали `processing_failed` на первой попытке; Linux-пробник подтверждает `MemoryError` внутри RLIMIT_AS, несмотря на peak контейнера 640 196 608 байт < 1 GiB. Граничный сценарий остаётся major.
|
||
|
||
**Очистка.** Staging удаляется после безопасной публикации и завершения активных версий; у failed хранится 86400 с, затем replay возвращает expired. Проверка активных jobs и сериализация cleanup/reprocess защищают используемый исходник. Удаление выполняет relay; worker не получает право DeleteObject. Quarantine-миграция поддерживает унаследованную сверку S3, но демонстратор `reconcile_track.py` для квалификации ЛР5 непригоден.
|
||
|
||
## Проверки и таблица критериев
|
||
|
||
Исторические динамические PASS относятся к **D**, 2026-11-06 UTC; более ранняя топология и новые проверки V помечены явно. Это аудит сохранённых прогонов, не новый запуск на R. Новые tRNS и policy дополнительно проверены динамически на V в отдельном блоке ниже; эти результаты не смешиваются с D. Полные команды, environment, exit codes и SHA находятся в связанных файлах.
|
||
|
||
| Критерий | Команда / сценарий | Наблюдение | Файл |
|
||
| --- | --- | --- | --- |
|
||
| Контракт, синтаксис, типы | `make check validate lint` | PASS на R, повторены на этапе отчёта; приложение этим не проверяется | [Аудит отчёта](evidence/report-audit-2026-11-07.md) |
|
||
| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | V: 980 passed, 1 Linux-only skip, 19 stack deselected; полный запуск с real-broker | [student-test.txt](evidence/final-validation-2026-11-07/student-test.txt) |
|
||
| Текущие исправления | Offline-команда с `--confcutdir`, шесть unit-модулей; отдельно `--noconftest` для границ | R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал | [Команды и результаты](evidence/review-trns-depth-2026-11-06/RESULTS.md) |
|
||
| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | 22 спецификации PASS, активных changes нет | [Аудит отчёта](evidence/report-audit-2026-11-07.md) |
|
||
| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB | [final-smoke.txt](evidence/forward-final-2026-11-06/final-smoke.txt) |
|
||
| 3: сессия, исходник и данные после рестарта | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; рестарты своих хранилищ и процессов подтверждены событиями | [persistence.txt](evidence/forward-final-2026-11-06/persistence.txt), [контейнеры](evidence/forward-final-2026-11-06/persistence-containers.txt) |
|
||
| 3: отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен | [failover.txt](evidence/forward-final-2026-11-06/failover.txt), [контейнеры](evidence/forward-final-2026-11-06/failover-containers.txt), [restore.txt](evidence/forward-final-2026-11-06/restore.txt) |
|
||
| 3: отдельный broker/worker, quorum, confirm, manual ack, prefetch | `rabbitmqctl list_queues/list_consumers/list_permissions`; проверки падений suite | Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R | [queues.txt](evidence/sqlalchemy-2026-11-06/grade3/queues.txt), [consumers.txt](evidence/sqlalchemy-2026-11-06/grade3/consumers.txt), [permissions.txt](evidence/sqlalchemy-2026-11-06/grade3/permissions.txt), [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 3: worker down, рестарт API/broker, затем ready | `pipeline_suite.py --level 4`, `worker_down_broker_restart` | 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 3: конечные состояния и повторы | `s3_outage_recovers`, `retry_exhausted`, `duplicate_after_ready` в suite | S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли граничный ready-сценарий, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 4: outbox, crash COMMIT→publish | `crash_commit_publish` | Relay exit 137; outbox не опубликован; после восстановления ready без новой job | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 4: backoff, DLQ, replay | `retry_backoff_jitter`, `malformed_message_dead_lettered`, `replay_failed`, `failed_retention` | Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 4: S3→COMMIT→ack, lease/fencing, cleanup | `crash_after_s3_before_commit`, `crash_after_commit_before_ack`, `lease_expiry_fencing` | Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||
| Все уровни 3/4 в suite | `python3 scripts/pipeline_suite.py --level 4 --output evidence/forward-final-2026-11-06/level4.json` | 17 сценариев / 8 инвариантов PASS; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов | [Команда](evidence/forward-final-2026-11-06/level4-command.txt), [JSON](evidence/forward-final-2026-11-06/level4.json) |
|
||
| 5: трек 2 | `make track2 TRACK2_OUTPUT=evidence/forward-final-2026-11-06/track-runN.json`, N=1,2,3 | 39 сценариев / 24 инварианта PASS; 39 ID / 174 объекта, см. методику | [run1](evidence/forward-final-2026-11-06/track-run1.json), [run2](evidence/forward-final-2026-11-06/track-run2.json), [run3](evidence/forward-final-2026-11-06/track-run3.json) |
|
||
| Поздние исправления ЛР4 | `forward_network.py`, целевые stack-тесты и fixture HAProxy | Basic/NUL/logout; битые PNG до storage; обход Valkey с безопасным logout; 12 корректных JSON для 502/503/504 | [network](evidence/forward-final-2026-11-06/network-regressions.txt), [upload](evidence/forward-final-2026-11-06/upload-negative.txt), [cache](evidence/forward-final-2026-11-06/cache-outage.txt), [HAProxy](evidence/forward-final-2026-11-06/haproxy-errors.txt) |
|
||
|
||
## Отказы: время и сохранность
|
||
|
||
Источник — D: [level4.json](evidence/forward-final-2026-11-06/level4.json) и публичные логи выше. Времена suite — **длительности всего сценария**, включая управление контейнерами и assertions; это не время недоступности API и не p95. «Потерь 0» означает отсутствие потерь принятых ID в выборке, а не доказательство для любых отказов диска/сети.
|
||
|
||
| Воздействие / команда suite | Фактически остановленный контейнер | Наблюдение | Время / потери |
|
||
| --- | --- | --- | --- |
|
||
| `worker_down_broker_restart` | `mtusi2026lab5-worker-1`, `3924574b030d`, exited 0 | 19:36:04.231533Z upload; рестарт API/relay, broker с volume; worker started 19:36:20.143149Z, ready 19:36:20.313903Z | 0.171 с от отметки старта до ready; сценарий 16.6 с; потерь 0 |
|
||
| Persistence, `scripts/restart.sh` | `mtusi2026lab5-{postgres,valkey,s3,broker,lb,api-1,api-2,relay,worker}`; точные ID в events | Данные, сессия и оригинал сохранены | Команда 12.835 с; потерь подтверждённых данных не обнаружено |
|
||
| Failover, `scripts/stop-one.sh` | `mtusi2026lab5-api-2`, exited 0 | 131 запись, 0 ошибок | Первая запись 2.791 с; потерь 0 |
|
||
| `crash_commit_publish` | `mtusi2026lab5-relay-1`, `57ef736182d7`, exited 137 | Неопубликованный outbox → ready с прежней job | Сценарий 9.5 с; потерь 0 |
|
||
| `crash_publish_confirm` | `mtusi2026lab5-relay-1`, `9f63b40078d5`, exited 137 | **После confirm**, до COMMIT отметки outbox; повтор публикации без второго эффекта | Сценарий 9.6 с; потерь 0; потеря confirm не проверялась |
|
||
| `crash_after_s3_before_commit` | `mtusi2026lab5-worker-1`, `c74820bbdab3`, exited 137 | Processing, 0 строк вариантов; повтор → ready | Сценарий 12.6 с; потерь 0 |
|
||
| `crash_after_commit_before_ack` | `mtusi2026lab5-worker-1`, `5accc3314905`, exited 137 | Ready до падения; redelivery без нового набора | Сценарий 10.3 с; потерь 0 |
|
||
| `lease_expiry_fencing` | Worker задержан, не остановлен | claimed(1) → lease_expired(2) → done(2) → fenced(1) | Сценарий 33.2 с при аренде 5 с и stall 15 с; перезаписи нет |
|
||
| `s3_outage_recovers` | S3 остановлен сценарием; отдельного ps с ID в этом JSON нет | После восстановления done на попытке 2 | Сценарий 12.0 с; потерь 0; полнота свидетельства остановки ограничена |
|
||
| `retry_exhausted` / `replay_failed` | Fault-injection, контейнеры не требуется останавливать | 5 попыток → failed; явный replay → ready, повтор → noop | Сценарии 17.6 / 28.4 с; failed — ожидаемый исход, не потерянная job |
|
||
| `worker_limits` | Worker остаётся running | 40 Мп: принудительные время/память → failed; штатный режим → ready | 15.4 с на сценарий; ошибок процесса worker не зафиксировано |
|
||
|
||
Историческая остановка стенда D: `make down` без `-v`, затем пустой список контейнеров project и четыре сохранённых volume — [down.txt](evidence/forward-final-2026-11-06/down.txt), [stopped-containers.txt](evidence/forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](evidence/forward-final-2026-11-06/retained-volumes.txt). В финальной validation стенд снова остановлен без `-v`; контейнеров project нет, четыре volume сохранены — [down](evidence/final-validation-2026-11-07/down.txt), [проверка](evidence/final-validation-2026-11-07/stopped-containers.txt), [volumes](evidence/final-validation-2026-11-07/retained-volumes.txt).
|
||
|
||
## Трек 2: гипотеза, методика и числа
|
||
|
||
**Гипотеза.** At-least-once доставка вместе с lease/fencing, уникальностью эффекта и монотонной публикацией сохраняет принятые задания при проверенных сбоях; старая job не заменяет результат новой версии.
|
||
|
||
**Методика.** На D выполнены три последовательных `make track2`. Каждый повтор создаёт 13 новых вложений и включает контроль `smoke_pipeline`, дубль готовой job, две копии в работе, перестановку attempts и версий, crash до side effect, после S3 и после COMMIT до ack, SIGKILL worker, истечение аренды и позднюю v1 после v2. В `reorder_attempts` меняется порядок транспортных копий, а управляемый номер попытки остаётся фактом БД. Отдельно проверяется outbox до publish и после confirm до COMMIT. Потеря самого confirm не моделируется, несмотря на историческое название сценария.
|
||
|
||
После сценариев suite сверяет SQL и фактический S3 inventory для принятых ID, опрашивает API, скачивает bytes и сравнивает SHA-256, длину и геометрию. Восемь инвариантов: `terminal`, `single_effect`, `no_ready_rollback`, `monotonic_publication`, `bytes_match_metadata`, `bounded_attempts`, `no_orphans`, `no_lost_202`. Наблюдение состояний дискретное, дополнено журналом переходов и SQL-ограничениями. `no_orphans` относится к выборке: исторические failed/DLQ сохранены, глобальная DLQ не обязана быть пустой.
|
||
|
||
| Повтор на D | Сценарии PASS | Инварианты PASS | Уникальные 202 | Объекты S3 | Команда и первичные данные |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| 1 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run1.txt), [json](evidence/forward-final-2026-11-06/track-run1.json) |
|
||
| 2 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run2.txt), [json](evidence/forward-final-2026-11-06/track-run2.json) |
|
||
| 3 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run3.txt), [json](evidence/forward-final-2026-11-06/track-run3.json) |
|
||
| Всего | 39 | 24 | 39 | 174 | [summary.json](evidence/forward-final-2026-11-06/summary.json) |
|
||
|
||
Во всех трёх повторах `stale_after_new_version` сохраняет одинаковый публичный снимок v2 до/после поздней v1. В `reorder_versions` v2 достигает done первой, v1 получает superseded. Для fixture 320×200 версии различимы; размеры и первые 16 hex SHA-256 ниже повторяются во всех трёх JSON:
|
||
|
||
| Вариант | Геометрия | v1, байт | v2, байт | SHA v1 / v2 |
|
||
| --- | --- | --- | --- | --- |
|
||
| crop | 128×128 | 1820 | 2142 | `97bf1400b30a28c1` / `5b6fb2a66216f8ca` |
|
||
| optimized | 320×200 | 2462 | 2790 | `1090d84ed8411226` / `fe520c978bd45fc8` |
|
||
| thumbnail | 256×160 | 4679 | 5628 | `7bc40bf315c8e18e` / `fa0db661078d4da9` |
|
||
|
||
Разница вызвана quality JPEG/WebP, не изменением геометрии; больший файл не является измерением визуального качества. На D в этой матрице не обнаружены потеря 202, второй эффект, откат ready или замена v2 старой job. Это ограниченное подтверждение гипотезы, не exactly-once доставка: commit и подтверждение брокеру не атомарны, поэтому повторная доставка остаётся нормальным исходом сбоя.
|
||
|
||
**Условия.** Darwin arm64, 16 CPU; Docker 28.3.2, VM 16 CPU / 8 217 190 400 байт RAM. Project `mtusi2026lab5`, образ `mtusi-messenger:lab5-forward`, ports 18085/25085/25086; volumes между повторами сохранены. Fault override: lease 5 с, backoff 1 с, outbox poll 0.5 с, sweep 1 с, stall 15 с. [conditions-before.json](evidence/forward-final-2026-11-06/conditions-before.json) и [conditions-track-start.json](evidence/forward-final-2026-11-06/conditions-track-start.json) не показывают других Docker projects в моменты снимков; непрерывного мониторинга CPU хоста нет. Фоновая нагрузка этого этапа не запускалась, ресурсная изоляция производительности не доказана.
|
||
|
||
У run2/3 UTC-интервалы и монотонные elapsed расходятся: 1161.195/186.458 с и 571.513/180.259 с; у run1 — 181.175/181.089 с. Причина не установлена. Эти длительности исключены из SLO, RPS, сравнений производительности и оценок разброса — [clock-observation.json](evidence/forward-final-2026-11-06/clock-observation.json). Трек 2 проверяет идемпотентность, а не throughput; пригодные функциональные серии не требуется повторять из-за спорного времени.
|
||
|
||
Предыдущие 39/174 на `9ba3076fa8ba707de932e053fc22f455d83b3210` — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: [старые результаты](evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md). Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые `evidence/level3.json`, `level4.json` и старые логи относятся к коду до SQLAlchemy и не подтверждают R.
|
||
|
||
## Ограничения и незавершённые подтверждения
|
||
|
||
Пять minor успешного повторного ревью сохранены без исправления; они не блокируют отчёт или передачу следующей фазе:
|
||
|
||
| Файл | Ограничение / доказательство |
|
||
| --- | --- |
|
||
| `src/messenger/attachments/application/pipeline.py:230` | `after_publish_before_confirm` вызывается после `publish()`, уже получившего Basic.Ack. `crash_publish_confirm` проверяет окно после confirm до COMMIT outbox, а не потерю confirm. См. [findings.json](evidence/review-trns-depth-2026-11-06/findings.json). |
|
||
| `scripts/limits.py:10` | Несортированный список secrets сравнивается с отсортированным и даёт два ложных FAIL. [Сохранённый запуск](evidence/sqlalchemy-2026-11-06/grade3/limits.txt) имеет exit_code=1; PASS ему не присваивается. |
|
||
| `scripts/reconcile_track.py:396` | Демонстратор ждёт upload 201 и `attachments/` из ЛР4; для ЛР5 с 202 непригоден и в квалификации не используется. См. [findings.json](evidence/forward-final-2026-11-06/findings.json). |
|
||
| `src/messenger/attachments/application/pipeline.py:333` | Failed upgrade v2 при ready v1 нельзя отдельно повторить replay/reprocess; v1 остаётся доступной. Проверка `test_failed_new_version_keeps_ready_original` — [student-test.txt](evidence/forward-final-2026-11-06/student-test.txt). |
|
||
| `evidence/forward-final-2026-11-06/clock-observation.json` | Расхождение часов в run2/3; время не используется для performance-выводов. |
|
||
|
||
Один host, один PostgreSQL, S3 и узел quorum RabbitMQ не обеспечивают HA. Инфраструктурные redelivery теперь не ограничены числом доставок и при долгом отказе создают повторные обращения/логи; прикладные ошибки после claim ограничены. SIGTERM во время обработки может задержать повтор до истечения аренды. Replay сбрасывает attempt с audit и не ограничивает число ручных запусков. Три повтора не покрывают все чередования событий. Уже опубликованные ready-объекты автоматически новым renderer не переписываются; RGB16+tRNS зависит от tile rawmode Pillow и требует регрессий при обновлении.
|
||
|
||
`openspec/config.yaml` проверен, но не изменён: разрешённый scope отчётной фазы исключает конфиги и OpenSpec. Он уже содержит SQLAlchemy/Alembic и контекст ЛР5; в унаследованном правиле design осталось `201` для PostgreSQL+S3. Для upload ЛР5 нормативен `202` после staging и COMMIT, как в `contracts/`. Эта документационная неточность не меняет HTTP-реализацию.
|
||
|
||
## Финальная validation V: результат и оставшееся исправление
|
||
|
||
Аудит по README, измеренному SHA, diff, конфигурации, ресурсам, dataset, повторам и сырью — [load-validation.md](evidence/load-validation.md). Три пригодных функциональных track2-повтора приняты, вся матрица повторно не запускалась. Изменение только документации не аннулирует эти свидетельства. Новых SLO/throughput-обещаний нет: выбран трек 2.
|
||
|
||
| Проверка на V | Реальный результат | Доказательство |
|
||
| --- | --- | --- |
|
||
| `make check validate lint`, OpenSpec | PASS; 22 спецификации, changes=[] | [checks](evidence/final-validation-2026-11-07/checks.txt), [OpenSpec](evidence/final-validation-2026-11-07/openspec.txt) |
|
||
| Сборка и публичный `make test` | PASS; образ содержит reviewed images.py, версии закреплены | [build](evidence/final-validation-2026-11-07/build.txt), [runtime](evidence/final-validation-2026-11-07/image-runtime.txt), [smoke](evidence/final-validation-2026-11-07/smoke.txt) |
|
||
| Policy на существующем volume и реальная остановка PostgreSQL | PostgreSQL `9f62ea9d176b` exited; 12 `job.requeued`; без replay ready с той же job и attempt=1; DLQ осталась 15; 8 инвариантов PASS | [команда](evidence/final-validation-2026-11-07/postgres-outage-retry.txt), [JSON](evidence/final-validation-2026-11-07/postgres-outage-retry.json) |
|
||
| tRNS HTTP v1/v2, exact neighbor, Adam7/filter/EXIF | 8 изображений, 48 побайтных сравнений вариантов с независимым белым эталоном; исходник, metadata/hash/размеры, stale/duplicate noop; 8 инвариантов PASS | [команда](evidence/final-validation-2026-11-07/png-http.txt), [JSON](evidence/final-validation-2026-11-07/png-http.json) |
|
||
| Адресные duplicate/reorder/fencing, COMMIT/ack, malformed/DLQ, exhaustion/replay | 12 сценариев, 8 инвариантов PASS, 11 ID / 47 объектов; одна ожидаемая новая DLQ от malformed | [команда](evidence/final-validation-2026-11-07/delivery-targeted.txt), [JSON](evidence/final-validation-2026-11-07/delivery-targeted.json) |
|
||
| PNG tRNS 8000×5000 при 448 MiB / 30 с | **4 FAIL**: grayscale 2/4/16 и RGB16 получили 202 → failed/processing_failed, attempt=1. Штатный ready-сценарий не пройден | [команда](evidence/final-validation-2026-11-07/png-limits.txt), [JSON](evidence/final-validation-2026-11-07/png-limits.json), [fixtures](evidence/final-validation-2026-11-07/fixtures) |
|
||
| Принудительные timeout/memory и последующее обычное задание | PASS; worker остаётся жив, обычное задание ready. Это не отменяет четыре FAIL выше | [png-limits.json](evidence/final-validation-2026-11-07/png-limits.json) |
|
||
| Повторная read-only сверка после staging sweep | PASS; нет pending outbox/staging/nonterminal/дублей, 10 объектов совпали с БД для 7 ID. Исходный ранний no_orphans FAIL сохранён | [cleanup-recheck](evidence/final-validation-2026-11-07/cleanup-recheck.json) |
|
||
|
||
**Major:** объявленный [OpenSpec-сценарий PNG на пределе пикселей](openspec/specs/lab5-image-variants/spec.md) требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. [Linux-пробник с импортами worker](evidence/final-validation-2026-11-07/resource-probe-worker.txt) воспроизводит MemoryError в `images.py`: grayscale 2/4 — белый RGB-фон, grayscale16 — `I → L`, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены.
|
||
|
||
Требуется отдельный fix-агент: уложить обработку в ресурсную модель, сохранить точность tRNS и пройти review. Затем повторить только затронутые PNG/ресурсные проверки и сценарии, которые затронет фактический diff. В этой фазе реализация, конфигурация и OpenSpec не менялись. [Findings](evidence/final-validation-2026-11-07/findings.json): один новый major, пять прежних minor и одна документационная неточность.
|
||
|
||
Первый outage-прогон невалиден: `docker compose start worker` автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — [RESULTS](evidence/final-validation-2026-11-07/RESULTS.md).
|
||
|
||
Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены. Публикация до fix/re-review и завершения адресной validation не готова; push и Telegram не выполнялись.
|
||
|
||
## Вопросы защиты
|
||
|
||
- **Что сохранено к 202?** Проверенный оригинал staging, вложение queued, job и outbox после COMMIT. Быстрота worker не меняет снимок ответа.
|
||
- **Confirm и ack — в чём разница?** Confirm подтверждает приём брокером; ack подтверждает устойчивый результат обработки. Между ними возможны дубли.
|
||
- **Почему дубль безопасен?** Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты.
|
||
- **Как отличить долгую работу от смерти?** Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token.
|
||
- **Почему v1 не затирает v2?** Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2.
|
||
- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS на штатной памяти проверены и не прошли, поэтому готовность к публикации не заявляется.
|
||
|
||
Документация сверена через Context7: [SQLAlchemy 2.0.45 async](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [Alembic 1.16.5 async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst), [FastStream 0.7.2 manual ack](https://github.com/ag2ai/faststream/blob/0.7.2/docs/docs/en/getting-started/acknowledgement.md). API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией.
|