forked from mtusi2026/mtusi2026lab2
Compare commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
cd4d64a111 | ||
|
|
f60297b8e2 | ||
|
|
1e00d861a8 | ||
|
|
6ca1c75499 | ||
|
|
bc1d7aa771 | ||
|
|
97feb04b3f | ||
|
|
237a7c93e5 | ||
|
|
ebafbc3099 | ||
|
|
bc0b162082 | ||
|
|
202b985dea | ||
|
|
20e7759f87 | ||
|
|
0fc02496fe | ||
|
|
cd9d91550a | ||
|
|
447a6507f9 | ||
|
|
44d81fd80e | ||
|
|
1a171d0d0f | ||
|
|
2903d9dc73 | ||
|
|
95511002b1 | ||
|
|
12db77133f | ||
|
|
dc9256baf9 | ||
|
|
a8836ce8b5 | ||
|
|
e2ec3fe9af | ||
|
|
e60b4eac98 | ||
|
|
a41d6d39e8 | ||
|
|
5ae3d77152 | ||
|
|
a0d3947710 | ||
|
|
470d9d6f1e |
+23
-3
@@ -23,12 +23,17 @@ WORKER_CONCURRENCY=2
|
||||
JOB_MAX_ATTEMPTS=5
|
||||
JOB_TIMEOUT_SECONDS=60
|
||||
STAGING_RETENTION_SECONDS=86400
|
||||
OTEL_SERVICE_NAME=messenger-api
|
||||
# Worker must set a distinct service.name.
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL=http/protobuf
|
||||
OTEL_RESOURCE_ATTRIBUTES=deployment.environment.name=lab
|
||||
# Solution-specific: published LB ports, replica limits, workers and pool per replica,
|
||||
# LB queue per replica, drain window before closing the listener on SIGTERM, PostgreSQL
|
||||
# limits, load generator limits (profile bench), cursor key file. API_PORT/SHORTTTL_PORT of lab2 are gone:
|
||||
# only the load balancer is published.
|
||||
LB_HTTP_PORT=18085
|
||||
LB_STATS_PORT=25085
|
||||
LB_HTTP_PORT=18086
|
||||
LB_STATS_PORT=26085
|
||||
API_CPUS=1
|
||||
API_MEMORY=512m
|
||||
WEB_CONCURRENCY=2
|
||||
@@ -58,7 +63,7 @@ MALLOC_MMAP_THRESHOLD_=131072
|
||||
# Solution-specific for lab5: RabbitMQ management UI on 127.0.0.1, backoff base of a transient
|
||||
# retry (doubles per attempt up to 60 s), relay poll and sweep intervals, worker limits and the
|
||||
# PostgreSQL pool of relay and worker. FAULT_POINT is set only by infra/compose.faults.yaml.
|
||||
BROKER_MANAGEMENT_PORT=25086
|
||||
BROKER_MANAGEMENT_PORT=26086
|
||||
JOB_BACKOFF_BASE_SECONDS=2
|
||||
OUTBOX_POLL_SECONDS=1
|
||||
SWEEP_INTERVAL_SECONDS=5
|
||||
@@ -71,6 +76,21 @@ PIPELINE_DB_POOL_MAX_SIZE=4
|
||||
RENDER_TIMEOUT_SECONDS=30
|
||||
RENDER_MEMORY_MB=448
|
||||
RENDER_TASKS_PER_CHILD=100
|
||||
# Solution-specific for lab6: host ports of Prometheus, Loki, Tempo and Grafana (127.0.0.1 only),
|
||||
# Prometheus retention, OTLP export timeout in seconds, metric export interval in ms, SDK queue
|
||||
# sizes, the bounded flush on shutdown; OTEL_SDK_DISABLED=true turns the SDK and instrumentations off.
|
||||
# relay and worker get OTEL_SERVICE_NAME messenger-relay and messenger-worker in compose.yaml.
|
||||
PROMETHEUS_PORT=26090
|
||||
LOKI_PORT=26310
|
||||
TEMPO_PORT=26320
|
||||
GRAFANA_PORT=26300
|
||||
PROMETHEUS_RETENTION=7d
|
||||
OTEL_SDK_DISABLED=false
|
||||
OTEL_EXPORTER_OTLP_TIMEOUT=2
|
||||
OTEL_METRIC_EXPORT_INTERVAL=10000
|
||||
OTEL_BSP_MAX_QUEUE_SIZE=2048
|
||||
OTEL_BLRP_MAX_QUEUE_SIZE=2048
|
||||
TELEMETRY_SHUTDOWN_SECONDS=2
|
||||
# Minimal client transfer rate, bytes/s: every body byte moved in either direction extends the
|
||||
# request deadline by 1/rate, so slow but steady uploads and downloads outlive REQUEST_TIMEOUT_SECONDS.
|
||||
MIN_TRANSFER_RATE_BYTES=131072
|
||||
|
||||
@@ -1,4 +1,4 @@
|
||||
## Лабораторная 5
|
||||
## Лабораторная 6
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
|
||||
@@ -1,90 +1,75 @@
|
||||
## Что это за репозиторий
|
||||
|
||||
Skeleton лабораторной 5 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`) и публичные black-box проверки (`tests/`). Реализация API, worker, relay, Dockerfile, compose-стенд, конфигурация балансировщика, S3 и брокера, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 5 построено переносом решения лабы 4.
|
||||
Skeleton лабораторной 6 курса «Мессенджер под нагрузкой» (МТУСИ, 7 независимых лаб) и решение в ветке `solution/bpi2303-kostylev`. Skeleton даёт задание (`README.md`), нормативный контракт (`contracts/`, включая `contracts/observability.md`) и публичные black-box проверки (`tests/`). Реализация API, relay, worker, Dockerfile, compose-стенд, конфигурация балансировщика, S3, брокера и стека наблюдаемости, миграции, хуки отказов и собственные тесты — студенческие; решение лабы 6 построено переносом решения лабы 5.
|
||||
|
||||
Лаба 5: приём вложения отделён от тяжёлой обработки. `POST /api/v1/chats/{chat_id}/attachments` проверяет файл как в лабе 4, кладёт оригинал в приватный префикс `staging/` bucket **RustFS** и одной транзакцией PostgreSQL фиксирует вложение `queued`, задание (`jobs`) и строку **transactional outbox**; только после этого отвечает `202` со снимком `queued`. Отдельный сервис `relay` публикует outbox в **RabbitMQ 4.1** (quorum queue, DLX, publisher confirms, `mandatory`, persistent), отдельный сервис `worker` (тот же образ, свой entrypoint) потребляет очередь через **FastStream** поверх aio-pika с ручным `ack` строго после `COMMIT` результата, захватывает задание арендой (`lease_token`), публикует оригинал в `originals/` и строит варианты Pillow. Источник истины состояний — PostgreSQL, брокер — транспорт и будильник. Остаётся всё из лаб 1–4: HAProxy перед ≥2 репликами, `X-Instance-Id`, `Idempotency-Key`, Basic → Bearer, хуки остановки реплики и рестарта стенда.
|
||||
|
||||
Текущий доступ к PostgreSQL — **SQLAlchemy 2.0.45 async**, `postgresql+asyncpg`, `async_sessionmaker`, ORM/Core и `DeclarativeBase`; миграции — **Alembic 1.16.5**, каталог `alembic/versions/`, async `alembic/env.py`. Compose-service `migrate` выполняет `alembic upgrade head` под advisory lock с проверкой legacy-схемы. Сырой asyncpg и прежние SQL-миграции не являются текущей архитектурой.
|
||||
Лаба 6: наблюдаемость всей системы, включая фоновую обработку. Бизнес-API не меняется (контракт 1.6.0). API, relay и worker инициализируют **OpenTelemetry SDK** в каждом процессе после fork (gunicorn-воркер, процесс relay, процесс worker) и отдают OTLP/HTTP в **OTel Collector** (`otelcol-contrib`); Collector раскладывает метрики в **Prometheus 3** (OTLP-приём), логи в **Loki 3** (OTLP `/otlp`), трассы в **Tempo 2**; **Grafana 12** только показывает и связывает их, datasources и dashboards приходят из provisioning в Git. HTTP-метрики и server spans даёт инструментация FastAPI, client spans БД — инструментация asyncpg под SQLAlchemy 2.0.45 async (ORM/Core, async_sessionmaker, DeclarativeBase); миграции — Alembic 1.16.5, consumer spans — `RabbitTelemetryMiddleware` FastStream. Логи идут через порт `Logger` (structlog → stdout JSON и OTLP) с `trace_id`/`span_id`, без тел сообщений и секретов. Остаётся всё из лаб 1–5: HAProxy перед ≥2 репликами, PostgreSQL, Valkey, RustFS, RabbitMQ, outbox, relay, worker с арендой и вариантами, хуки остановки реплики и рестарта стенда.
|
||||
|
||||
## Команды
|
||||
|
||||
```sh
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.5.0
|
||||
make check # offline: структура skeleton, JSON, локальные $ref, синтаксис Python, версия 1.6.0
|
||||
make validate PYTHON=.venv/bin/python # полная валидация OpenAPI 3.1 и jobs.schema.json (venv с requirements-dev.txt)
|
||||
make install # uv sync --group dev
|
||||
make lint # ruff check + ruff format --check + ty check; обязательно перед commit
|
||||
make student-test # собственные тесты (одноразовые PostgreSQL, Valkey, RustFS и RabbitMQ в Docker)
|
||||
|
||||
make secrets # локальные secrets/* (PostgreSQL, Valkey, S3 root/API/worker, RabbitMQ) и .env
|
||||
make up # docker compose build, затем up -d --wait (relay и worker пересоздаются на новом образе): хранилища и broker → migrate, s3-init → api ×2, relay, worker → lb
|
||||
make test # публичный smoke через LB (BASE_URL=http://127.0.0.1:18085)
|
||||
make secrets # локальные secrets/* (БД, кэш, S3, broker, Grafana) и .env
|
||||
make up # docker compose build, затем up -d --wait: хранилища, broker, стек наблюдаемости → migrate, s3-init → api ×2, relay, worker → lb
|
||||
make obs-validate # otelcol validate, promtool check config, loki/tempo verify, JSON dashboards
|
||||
make telemetry-check # Grafana provisioning, запрос → лог → трасса, job → трасса и лог worker, утечки
|
||||
make test # публичный smoke через LB (через scripts/lab6.sh: http://127.0.0.1:18086)
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh # рестарт lb, api, relay, worker и postgres, valkey, s3, broker с volumes
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh # остановка реплики TARGET_INSTANCE_ID под запросами
|
||||
make restore # вернуть остановленные реплики и дождаться их в ротации LB
|
||||
make worker-stop / worker-start # демонстрация «worker недоступен»
|
||||
make queues # очереди брокера: ready, unacked, consumers
|
||||
make level3 # сценарии уровня «3» suite (scripts/pipeline_suite.py) → evidence/level3.json
|
||||
make level4 # сценарии уровней «3» и «4» suite и инварианты → evidence/level4.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2.json # 13 сценариев и 8 инвариантов трека 2
|
||||
make reprocess ID=… PIPELINE_VERSION=2 # новая версия обработки доступного исходника
|
||||
make failed / make replay ID=… / make dlq # реестр failed, явный replay, просмотр DLQ (python -m messenger.admin, rabbitmqadmin)
|
||||
make down # остановка своего project без удаления постоянных volumes
|
||||
make level3 # сценарии уровня «3» лабы 5 (scripts/pipeline_suite.py) → evidence/level3.json
|
||||
make down # остановка без удаления данных; make reset-data — намеренное удаление volumes
|
||||
```
|
||||
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Данные не удаляются автоматически: каждый прогон smoke создаёт новых синтетических пользователей и вложения.
|
||||
Команды стенда выше запускаются через `scripts/lab6.sh`, например `scripts/lab6.sh make up`. Локальные `make check validate lint` запускаются напрямую; `make student-test` создаёт одноразовые Docker-зависимости и не выполняется в документационной фазе.
|
||||
|
||||
`tests/*.py` и `scripts/*.py` — только stdlib, синтаксис Python 3.9 (`make check` разбирает их системным `python3`). Проверки сами не поднимают стенд. Хуки `scripts/stop-one.sh` и `scripts/restart.sh` запускаются тестом без shell, поэтому исполняемые и с shebang. Адреса Prometheus, Loki, Tempo и Grafana для `scripts/obs_check.py` — переменные `PROMETHEUS_URL`, `LOKI_URL`, `TEMPO_URL`, `GRAFANA_URL` (по умолчанию стандартные порты на `127.0.0.1`).
|
||||
|
||||
## Архитектура skeleton
|
||||
|
||||
- `lab.json` — единственный источник номера лабы (5). От него зависят `scripts/check_contract.py` (`info.version == 1.5.0`) и `tests/client.py` (ветки `LAB>=5`: upload отвечает `202 queued`, сообщение с вложением сразу, ожидание `ready` до 60 с от второго участника, ровно один вариант `thumbnail` 256×160 настоящим JPEG).
|
||||
- `tests/` байт в байт как в лабе 4; поведение переключает только `lab.json`. `tests/resilience.py` после хука рестарта запрашивает метаданные и оригинал один раз с таймаутом 2 с.
|
||||
- `contracts/jobs.schema.json` — формат сообщения брокера (7 обязательных полей, без bytes, URL, ключей S3 и filename); `contracts/attachment-states.md` — машина состояний и окна отказа.
|
||||
- `contracts/infrastructure.json` — роли `api`, `postgres`, `load_balancer`, `s3`, `broker` (persistent volume, at-least-once), `worker` (отдельный процесс). `compose.example.yaml` — только worksheet ролей.
|
||||
- `lab.json` — единственный источник номера лабы (6). От него зависят `scripts/check_contract.py` (`info.version == 1.6.0`) и `tests/client.py` (ветки `LAB>=5`: upload `202 queued`, ожидание `ready` до 60 с, ровно один `thumbnail` 256×160). Публичных проверок телеметрии нет: наблюдаемость доказывается своими скриптами и `evidence/`.
|
||||
- `tests/` байт в байт как в лабе 5. `contracts/openapi.json` отличается только `info.title` и `info.version`.
|
||||
- `contracts/observability.md` — нормативный набор сигналов (уровни «3» и «4»), resource attributes, запрещённые labels метрик и запрещённое содержимое telemetry, alerts и инциденты. `infra/otel/README.md` — что лежит в Git (Collector, storage, provisioning, dashboards, rules).
|
||||
- `contracts/infrastructure.json` — роли лабы 5 плюс `otel_collector`, `telemetry_storage` (метрики, логи, трассы, persistent volume) и `grafana` (provisioning в Git). `compose.example.yaml` — только worksheet ролей.
|
||||
|
||||
## Ключевые правила контракта (lab5)
|
||||
## Ключевые правила контракта (lab6)
|
||||
|
||||
- Upload: те же лимиты и коды, что в лабе 4 (`413`, `415`, `400`, `404`), но успех — `202 Attachment` со снимком `status=queued`, `variants=[]`, `error_code=null`; снимок берётся из записанного объекта, а не перечитывается после публикации. `202` — только после записи оригинала в `staging/` и `COMMIT` вложения, задания и outbox.
|
||||
- Состояния: `queued → processing → ready | failed`; `processing → queued` при временной ошибке или истёкшей аренде; `failed → queued` только явным replay. `ready` не откатывается. `ready` выставляется, только когда записаны оригинал и все обещанные уровнем варианты.
|
||||
- `/content` для `queued`, `processing`, `failed` — `409 conflict` для любого `variant`, включая `original`; неизвестный `variant` — `400`; отсутствующий вариант `ready`-вложения — `404`; посторонний — `404`. Варианты: `thumbnail` JPEG вписан в 256×256 без увеличения, EXIF orientation применяется, alpha на белом, размеры вниз, минимум 1 px.
|
||||
- Сообщение: вложение `queued`/`processing` прикрепляется (`201`), `failed` — `409`, вложение другого чата или неизвестное — `404`.
|
||||
- Сообщение брокера — ровно поля `jobs.schema.json`; `job_id` не меняется при redelivery, `attempt` растёт только при управляемом повторе через outbox. Ключ эффекта — `(attachment_id, pipeline_version, variant)`.
|
||||
- Сохраняются правила lab4 (сырые байты, тип по содержимому, скачивание только через API без redirect), lab3 (`X-Instance-Id`, `Idempotency-Key`, LB не повторяет upload), lab2 (`Basic` только на входе, `Bearer` дальше, `WWW-Authenticate` по пути) и lab1 (формат ошибки, посторонний → `404`, keyset `(created_at, id)`, время RFC 3339 с `Z`).
|
||||
- Resource attributes: `service.name` (`messenger-api`, `messenger-worker`, `messenger-relay`), `service.version`, `service.instance.id` (уникален на процесс: `<hostname>-<pid>`), `deployment.environment.name=lab`.
|
||||
- Метрики не получают labels `user_id`, `chat_id`, `message_id`, `attachment_id`, `request_id`, сырой URL, filename, текст; маршрут — шаблон (`/api/v1/chats/{chat_id}/messages`). HTTP duration — histogram в секундах (`http.server.request.duration`, `OTEL_SEMCONV_STABILITY_OPT_IN=http`).
|
||||
- Логи: timestamp, severity, `service.name`, `event`, `trace_id`/`span_id` при активном span. В telemetry никогда не попадают пароли, `Authorization`, токен сессии, тело сообщения, байты изображения, filename, ключи и подписанные URL; захват HTTP-заголовков выключен, Collector дополнительно редактирует подозрительные ключи.
|
||||
- Экспорт телеметрии никогда не блокирует запрос: только `Batch*Processor` и `PeriodicExportingMetricReader`, короткий таймаут OTLP. `/health/ready` не зависит от Collector, хранилищ телеметрии и Grafana. `OTEL_SDK_DISABLED=true` выключает SDK целиком.
|
||||
- Тело ошибки остаётся `{"error":{"code","message","request_id"}}` с `additionalProperties: false`: `trace_id` в тело и схемы не добавляется.
|
||||
- Сохраняются правила lab5 (outbox, `202 queued`, `ack` после `COMMIT`, ключ эффекта, `409` на `/content` до `ready`), lab4, lab3 (`X-Instance-Id`, `Idempotency-Key`), lab2 и lab1.
|
||||
|
||||
## Правила работы с репозиторием
|
||||
|
||||
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, рубрику. Расхождение оформляется вопросом преподавателю.
|
||||
- Код — `src/messenger/`, миграции — `alembic/versions/`, конфигурация LB, нагрузки, S3 и брокера — `infra/`, хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Не менять и не ослаблять `contracts/`, `tests/`, `README.md`, `COURSE.md`, `infra/README.md`, `infra/otel/README.md`, рубрику. Расхождение оформляется вопросом преподавателю.
|
||||
- Код — `src/messenger/`, миграции — `alembic/versions/`, async `alembic/env.py`, one-shot `alembic upgrade head`; работа с БД — только SQLAlchemy ORM/Core, asyncpg используется как драйвер, конфигурация LB, нагрузки, S3, брокера и наблюдаемости — `infra/` (`infra/otel`, `infra/prometheus`, `infra/loki`, `infra/tempo`, `infra/grafana`), хуки и обвязка стенда — `scripts/`, собственные тесты — `student-tests/`, обезличенные доказательства — `evidence/`.
|
||||
- Без комментариев в коде; отступы — пробелы (`[tool.ruff.format]`); Python 3.14 без `from __future__ import annotations` и `TYPE_CHECKING`.
|
||||
- Порты реплик API, S3, AMQP наружу не публикуются: только LB и UI брокера на `127.0.0.1`. API к брокеру не подключается. Клиенты брокера не объявляют очереди: топология — в `infra/rabbitmq/definitions.json`, права configure есть только у оператора.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов. PASS без команды не доказательство; для отказов — какой контейнер реально остановлен (`docker ps -a`).
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, ключи S3, пароли брокера, volumes, дампы.
|
||||
- Проверять документацию используемых библиотек через Context7. Изменения реализации проходят OpenSpec propose/apply/archive. `openspec/config.yaml` уже описывает SQLAlchemy/Alembic и ЛР5; оставшееся в design правило `201` относится к прежней загрузке ЛР4, нормативный успех ЛР5 — `202`.
|
||||
- Автор работы — Костылев Артём, БПИ2303. Не приписывать авторство Claude. Публикация только в private MTUCI-Labs и только назначенным агентом фазы PUBLICATION; вне неё не делать push и не отправлять Telegram.
|
||||
|
||||
## Порядок этапов и Docker
|
||||
|
||||
- Только runner управляет агентами: один переносит основу и последовательно реализует 3 → 4 → 5 с evidence, затем отдельные review → fix только major → re-review, отчёт, один агент нагрузки и публикации. Review/отчёт предыдущей лабы могут идти параллельно реализации следующей. Самостоятельно фоновых агентов не запускать, runner/state не менять.
|
||||
- Major — доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса или провал обязательного сценария. Остальное — minor: сохранять в findings и ограничениях REPORT, не исправлять без назначения и не блокировать этапы. Обязательный FAIL нельзя объявлять PASS.
|
||||
- Менять только назначенную лабу; другую читать лишь через предоставленный snapshot. Перед итоговым review переносить применимые поздние исправления. Сохранять WIP; `reset/clean` и удаление пользовательских данных запрещены.
|
||||
- Разрешены основной project `mtusi2026lab5` в основном репозитории или `hlpipe-lab5-*` с working_dir под ним либо `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. API — 18085, остальные порты — 25000–25999; текущие значения stats/UI — 25085/25086. Учитывать Compose env, не печатать секреты.
|
||||
- Обычные Docker-этапы работают совместно на отдельных project/портах/volumes; финальная нагрузка получает эксклюзивный доступ через runner. Останавливать только свой стенд, в конце — без `-v`. Фон и условия замеров фиксировать; пригодные серии сохранять, повторять только отсутствующие, затронутые или непригодные.
|
||||
- Отчётная фаза меняет только `REPORT.md`, `AGENTS.md`, `evidence/**/*.md`; не меняет код, конфиги, OpenSpec и сырые измерения. Docker, динамические/нагрузочные прогоны и полный `make student-test` в этой фазе запрещены; лёгкие check/validate/lint и OpenSpec validation допустимы.
|
||||
|
||||
## Состояние доказательств после ревью
|
||||
|
||||
Индекс — [evidence/README.md](evidence/README.md), отчёт — [REPORT.md](REPORT.md). Текущий код после исправления памяти и независимого re-review — `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Последняя полная динамическая квалификация — `0e921116610d289716af0a40ec823376eb8bbcbc` (D); предыдущее review — `42575281b352d35bda17ee7601bae5548a996e91` (R). От D к R менялись renderer PNG и policy RabbitMQ; от R к M из runtime изменён только renderer. Старые PASS не обозначать прогоном M.
|
||||
|
||||
Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) завершила реальный PostgreSQL outage: 12 requeue → ready без replay, policy `delivery-limit=-1` на сохранённом volume, DLQ не выросла. HTTP PNG: 8 fixtures / 48 сравнений вариантов v1/v2 PASS. Delivery subset: 12 сценариев / 8 инвариантов PASS. Student-test: 980 passed / 1 Linux-only skip. Исторический аудит — [evidence/load-validation.md](evidence/load-validation.md), результаты V — [evidence/final-validation-2026-11-07/RESULTS.md](evidence/final-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
**Прежний major закрыт динамически на F `74c33160ac01618f70e9e1c6a121a5e45c3c7155` (runtime = M).** Четыре исходных PNG 8000×5000 и grayscale16 без tRNS прошли Linux с импортами worker при 448 MiB/30 с и HTTP 202 → ready в v1/v2. Два одновременных HTTP jobs: peak 844.41 MiB / 1 GiB, OOM=0. Boundary: 8 сценариев / 8 инвариантов, 11 ID / 59 объектов; малая HTTP-матрица: 8 fixtures / 48 сравнений / 8 инвариантов, 8 ID / 56 объектов. Принудительные лимиты, обычное задание после каждого отказа и cleanup после sweep — PASS. Student-test: 984 passed / 2 Linux-only skipped / 19 deselected; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохранены, лимиты не увеличивались.
|
||||
|
||||
Актуальные команды и сырьё — [evidence/final-memory-validation-2026-11-07/RESULTS.md](evidence/final-memory-validation-2026-11-07/RESULTS.md), аудит применимости — [evidence/load-validation.md](evidence/load-validation.md). Полные track2, PostgreSQL outage и delivery subset приняты без повторения: соответствующий runtime не менялся. Стенд F остановлен, четыре volumes сохранены. Validation завершена; push/Telegram не выполнялись, публикация требует отдельного сообщения координатора с точным SHA. Документационные коммиты после F не меняют измеренный runtime.
|
||||
|
||||
Семь minor последнего review сохраняются в REPORT: crash_publish_confirm фактически после confirm до COMMIT outbox; limits.py имеет ложный FAIL порядка secrets; reconcile_track.py ожидает upload 201 ЛР4; failed upgrade v2 нельзя отдельно повторить при ready v1; UTC/elapsed run2/3 расходятся; design-правило config сохранило 201; JobMessage допускает преобразования типов и null вне jobs.schema.json. Последний minor воспроизведён reviewer в четырёх offline-пробах (bus/ack вместо reject); штатный relay формирует корректные сообщения, критичного последствия не установлено. Происхождение — [аудит обновления отчёта](evidence/report-memory-audit-2026-11-07.md). Корневые старые evidence до SQLAlchemy остаются историей.
|
||||
- Наружу публикуются только LB, UI брокера, Prometheus, Loki, Tempo и Grafana на `127.0.0.1`; порты реплик API, OTLP и self-metrics Collector не публикуются. Порты задаются переменными `.env`/shell: API 18086, HAProxy stats 26085, broker UI 26086, Prometheus 26090, Loki 26310, Tempo 26320, Grafana 26300. Для команд стенда используй `scripts/lab6.sh`, который согласует project, порты, URL проверок и NO_PROXY.
|
||||
- `REPORT.md`: команды из чистого clone, архитектура, таблица «критерий → команда → наблюдение → файл», таблица отказов, сопоставление сигналов `observability.md` реальным именам метрик. PASS без команды не доказательство.
|
||||
- Ветка `solution/bpi2303-kostylev`, коммиты на английском, перед каждым — `make lint`. Никогда не коммитить `.env`, `secrets/`, токены, пароли Grafana, ключи S3, пароли брокера, volumes, дампы.
|
||||
|
||||
## Уровни оценки
|
||||
|
||||
Цель — **«5»**, трек 2 «Доказанная идемпотентность pipeline». Критерии подтверждены совокупностью сохранённых серий D/V и адресной validation F; прежний major закрыт, семь minor сохранены. Таблица доказательств и границы применимости — в `REPORT.md`.
|
||||
Решение заявлено на **«5»** с треком 1 «Цена наблюдаемости»; таблица доказательств — в `REPORT.md`.
|
||||
|
||||
- **3** — `202 queued` после staging и `COMMIT` задания с outbox; отдельные `broker`, `relay`, `worker` в стенде; durable quorum queue, publisher confirm, ручной `ack` после `COMMIT`; состояния `queued/processing/ready/failed`, оригинал в `originals/` и thumbnail; ограниченный retry (`JOB_MAX_ATTEMPTS=5`) и `failed` с `error_code`; повтор job без второго набора вариантов; worker остановлен → upload → сообщение → рестарт API и broker → worker → `ready`; минимум lab4 сохранён.
|
||||
- **4** — crop и optimized WebP, лимиты worker по байтам, пикселям, времени и памяти, crash между `COMMIT` и publish, backoff с jitter и классификация ошибок, DLQ и replay, crash после записи объекта до `ack`, lease и fencing для зависшего `processing`, prefetch, очистка staging.
|
||||
- **5** — трек 2: `pipeline_version` 1 и 2, монотонная публикация, автоматический fault-injection (дубль, reorder, crash до и после side effect, устаревшая job) и проверка инвариантов одной командой.
|
||||
- **3** — минимум lab5 работает при включённой телеметрии; Collector, Prometheus, Loki, Tempo и Grafana в общем стенде с volumes и provisioning из Git; API, relay и worker отдают OTLP; RPS/errors/duration API, jobs по исходу и duration worker; структурные логи с `trace_id`/`span_id`; реальные server и consumer spans; импортируемые dashboards; нет секретов и тел в telemetry; запрос → трасса и лог, job → трасса и лог worker.
|
||||
- **4** — W3C trace context API → outbox → broker → worker (producer/consumer), цепочка до S3/DB с retry; p50/p95/p99 из histogram, доля ошибок, queue depth и возраст старейшей job, DB pool, saturation worker, CPU/RAM; SLI/SLO, alert rules error rate и queue lag (firing → resolved); memory_limiter, batch, ограниченные очереди, отказ хранилищ телеметрии; два разобранных инцидента.
|
||||
- **5** — трек 1: telemetry off / on / head sampling / tail sampling / сбалансированная конфигурация при одинаковой open-loop нагрузке — latency с клиента, CPU/RAM вне телеметрии, объём ingest, потери spans и захват вброшенных ошибок и медленных запросов.
|
||||
|
||||
## Актуальное состояние и границы этапов
|
||||
|
||||
- Автор: Костылев Артём, БПИ2303. Итоговый отчёт — [REPORT.md](REPORT.md), индекс — [evidence/README.md](evidence/README.md).
|
||||
- Актуальный runtime и измеритель: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; успешное независимое ревью: `6ca1c7549978af3127966540385195ab0587f2e1`. Поздние исправления ЛР5 доведены до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`, решения по путям — [forward-port.md](evidence/forward-port.md).
|
||||
- Текущий набор — `evidence/forward-published/`: 995 passed, 2 skipped, 19 deselected в сохранённом полном suite; 15 пригодных серий, 12000 запросов, balanced −92,2% медианного Tempo ingest, 48/48 error и 48/48 slow. Исторические `grade3/grade4/track5` не выдаются за измерение позднего кода. Незатронутые storage/history проверки переиспользуются только с основанием из `preserved-mechanisms.json`.
|
||||
- Пять minor после ревью — [review-summary.md](evidence/review-summary.md) и ограничения REPORT. Исправлять только major: доказанная угроза безопасности, потеря/повреждение данных, недоступность сервиса, неработающий обязательный сценарий. Minor сохранять, не блокировать ими отчёт/release; не объявлять неуспешный тест успешным.
|
||||
- Этапы запускает только runner: один агент переноса/уровней 3→4→5/evidence → review (отдельный fix major и re-review при необходимости) → отдельный отчёт → один агент нагрузки и публикации. Ревью/отчёт предыдущей лабы может идти параллельно реализации следующей. Самостоятельно фоновых агентов не создавать, runner/state не менять.
|
||||
- Обычные Docker-этапы используют отдельные project/порты/volumes совместно с другими лабами; эксклюзивный доступ получает только финальная нагрузка/release. Разрешён `mtusi2026lab6` в основном репозитории либо `hlpipe-lab6-*` в каталоге под ним или `/Users/artemkostylev/projects/learning/HL/labs/.pipeline/.runs/labs`. Чужие контейнеры не трогать; в конце остановить свои без удаления постоянных volumes. Не выполнять reset/clean и удаление пользовательских данных.
|
||||
- Фон и условия измерения фиксировать. Пригодные сохранённые серии переиспользовать после проверки SHA/diff; повторять лишь отсутствующие, неуспешные или признанные непригодными. Изменение только документации не требует новой нагрузки.
|
||||
- Отчётная фаза меняет только REPORT.md, AGENTS.md и Markdown внутри evidence; OpenSpec/config, код и raw measurements не меняет. `openspec/config.yaml` уже содержит актуальный стек; циклы propose/apply/archive закрыты, проверка — `openspec validate --all --strict --no-interactive`.
|
||||
- Публикация только в private MTUCI-Labs на явно назначенном этапе PUBLICATION. Самостоятельные push и Telegram вне назначенной фазы запрещены; для разрешённого Telegram — только `telegram-send`. ЛР1/2 заморожены; другие репозитории читать только через предоставленный snapshot.
|
||||
|
||||
+1
-1
@@ -1,4 +1,4 @@
|
||||
# Памятка преподавателю — лабораторная 5
|
||||
# Памятка преподавателю — лабораторная 6
|
||||
|
||||
## Что подготовлено
|
||||
|
||||
|
||||
@@ -10,11 +10,14 @@ COMPOSE ?= docker compose
|
||||
RATE ?= 100
|
||||
FROM_REV ?=
|
||||
SHIFT ?= 0
|
||||
SCRIPTS_PY = scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
|
||||
SCRIPTS_PY = scripts/obs_cost_summary.py scripts/obs_cost.py scripts/obs_incidents.py scripts/obs_recovery.py scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py \
|
||||
scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py \
|
||||
scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
SCENARIO ?= failover-upload
|
||||
PSQL = $(COMPOSE) exec -T postgres psql -U messenger -d messenger -X -q
|
||||
OBS_CHECK = $(PYTHON) scripts/obs_check.py
|
||||
APP_METRICS = {job=~"messenger-.*"}
|
||||
|
||||
TRACK2_OUTPUT ?= evidence/track2.json
|
||||
TRACK2_SCENARIOS = smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version
|
||||
PIPELINE_VERSION ?= 2
|
||||
@@ -28,6 +31,7 @@ PYTEST_ARGS ?=
|
||||
scenario s3-check attachments-evidence upload-faults upload-memory \
|
||||
images queues topology worker-stop worker-start broker-restart suite-preflight level3 \
|
||||
pipeline-evidence level4 replay failed dlq \
|
||||
obs-validate telemetry-check \
|
||||
faults-evidence retry-check reconcile reconcile-demo reconcile-cost load-evidence \
|
||||
clean-clone-evidence overload-leftovers
|
||||
|
||||
@@ -44,6 +48,8 @@ help:
|
||||
@echo "upload-memory: пик памяти реплик при 10/20/40 одновременных загрузках 1 и 10 MiB → evidence/upload-memory/"
|
||||
@echo "lab5: queues, topology, worker-stop/worker-start, broker-restart, images, suite-preflight, level3, level4"
|
||||
@echo "lab5 оператор: failed (реестр), replay ID=<attachment_id>, dlq (просмотр DLQ без извлечения)"
|
||||
@echo "lab6: obs-validate (конфиги Collector, Prometheus, Loki, Tempo, dashboards); telemetry-check → evidence/*.json"
|
||||
|
||||
@echo "retry-check: потерянный ответ на живой и на убитой реплике, повтор тем же ключом"
|
||||
@echo "lab4-level4 = limits, lb-check, detection, failover-each, rolling-update [FROM_REV=<коммит>]; RATE=$(RATE) rps"
|
||||
@echo "scenario SCENARIO=failover-upload|s3-outage → evidence/<сценарий>.json; s3-check; attachments-evidence"
|
||||
@@ -99,6 +105,7 @@ student-test:
|
||||
secrets:
|
||||
sh scripts/secrets.sh
|
||||
sh scripts/broker-secrets.sh
|
||||
sh scripts/secrets-lab6.sh
|
||||
|
||||
up: secrets
|
||||
$(COMPOSE) build
|
||||
@@ -277,6 +284,20 @@ pipeline-evidence:
|
||||
$(PYTHON) scripts/pipeline_evidence.py --base-url "$(BASE_URL)" > evidence/pipeline-stand.txt; \
|
||||
status=$$?; cat evidence/pipeline-stand.txt; exit $$status
|
||||
|
||||
obs-validate:
|
||||
sh scripts/obs-validate.sh
|
||||
|
||||
telemetry-check:
|
||||
$(OBS_CHECK) grafana > evidence/grafana.json
|
||||
$(OBS_CHECK) dashboards --strict > evidence/dashboards.json
|
||||
$(OBS_CHECK) request --base-url "$(BASE_URL)" > evidence/trace-request.json
|
||||
$(OBS_CHECK) job --base-url "$(BASE_URL)" > evidence/trace-job.json
|
||||
$(OBS_CHECK) leaks --base-url "$(BASE_URL)" > evidence/leaks.json
|
||||
$(OBS_CHECK) query 'count by (__name__, job) ($(APP_METRICS))' \
|
||||
'count by (http_route, http_request_method) (http_server_request_duration_seconds_count)' \
|
||||
'count by (job_type, outcome) (messenger_jobs_processed_total)' > evidence/cardinality.json
|
||||
@echo "telemetry-check: evidence/grafana.json dashboards.json trace-request.json trace-job.json leaks.json cardinality.json"
|
||||
|
||||
.PHONY: track2 reprocess
|
||||
|
||||
track2:
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
# Лабораторная 5. Очереди и асинхронная обработка изображений
|
||||
# Лабораторная 6. Наблюдаемость: OpenTelemetry и Grafana
|
||||
|
||||
Отделить приём файла от тяжёлой обработки, корректно переживать повторную доставку и остановку worker.
|
||||
Научиться находить причину деградации через метрики, логи и трассы всей системы, включая фоновую обработку.
|
||||
|
||||
Это **skeleton**, а не готовый сервер. Здесь есть задание, контракт и публичные проверки. Реализацию приложения, Dockerfile и требуемую инфраструктуру пишет студент. Язык и framework свободные; UI не обязателен.
|
||||
|
||||
@@ -8,42 +8,41 @@
|
||||
|
||||
## Откуда начинаем
|
||||
|
||||
Нужен минимум lab4. POST upload теперь возвращает 202 queued, а готовность выясняется через метаданные. В HTTP upload клиент по-прежнему передаёт все байты.
|
||||
Перенесите минимум lab5. Бизнес-API не меняется. Должны оставаться API-реплики, БД, S3, broker и worker.
|
||||
|
||||
**Архитектура:** API → устойчивый staging + запись задания → брокер → worker → конечный S3 + PostgreSQL. Клиент опрашивает статус.
|
||||
**Архитектура:** API/worker → OTLP → OTel Collector → хранилища metrics/logs/traces → Grafana; queue context связывает API и worker.
|
||||
|
||||
## Что сделать
|
||||
|
||||
1. Выберите RabbitMQ, Redis/Valkey Streams, NATS JetStream или другой брокер с persistence и подтверждениями. Обычный Pub/Sub без хранения не подходит.
|
||||
2. Разделите приём, durable staging, публикацию задания, обработку и фиксацию результата. Прочитайте contracts/attachment-states.md.
|
||||
3. Реализуйте worker отдельно от API: публикация оригинала в конечный S3-prefix и thumbnail 256×256 по правилам контракта.
|
||||
4. Добавьте конечные состояния, ограниченные повторы и идемпотентную запись результатов. Не помещайте bytes или credentials в сообщения брокера.
|
||||
5. Остановите worker, загрузите файл, перезапустите API/worker, убедитесь в завершении принятой задачи. Затем проверьте повторную доставку.
|
||||
1. Выберите хранилища: например Prometheus для метрик, Loki для логов, Tempo для трасс. Разрешена другая совместимая комбинация с Grafana; Grafana сама не хранит все три сигнала.
|
||||
2. Добавьте SDK-инструментацию API и worker и отдельный Collector в общий Compose/Swarm; настройте receivers/processors/exporters и хранение данных.
|
||||
3. Реализуйте набор сигналов contracts/observability.md и импортируемые dashboard/datasources. Не используйте user_id/chat_id/message_id как labels метрик.
|
||||
4. Проверьте связь запроса, структурного лога и обработки задания. Секреты, тела сообщений и изображения не должны попадать в telemetry.
|
||||
5. Создайте нагрузку, внедрите два ограниченных отказа и найдите их причину только с помощью сохранённых наблюдений; приложите доказательства.
|
||||
|
||||
## Оценка «3»: работающий минимум
|
||||
|
||||
- Весь минимум lab4 сохранён с переходом upload 201 → 202. API возвращает 202 только после устойчивого приёма оригинала и сохранения задания; остановка API после ответа не теряет работу.
|
||||
- В общем Compose/Swarm есть отдельные broker и worker. Сообщения durable, доставка at least once, подтверждение только после устойчивого эффекта. Недоступность worker не заставляет API выполнять resize синхронно.
|
||||
- Состояния queued/processing/ready/failed доступны в API. Worker сохраняет оригинал и один thumbnail; original неизменен, thumbnail соответствует контракту. Публичный smoke проходит.
|
||||
- Есть ограниченный retry (конкретное число попыток в конфигурации, например 5), финальное failed с безопасным error_code. Повтор одной job не создаёт второго набора вариантов.
|
||||
- Демонстрация: worker остановлен → upload 202 → сообщение с вложением создано → API перезапущен → worker запущен → ready и доступный thumbnail. Принятое задание не исчезает при рестарте broker с volume.
|
||||
- Весь минимум lab5 работает. Collector, хранилища трёх сигналов и Grafana включены в общий воспроизводимый стенд; конфиги и provisioning лежат в Git, persistent volumes сохраняют нужную историю.
|
||||
- API и worker отдают OTLP в Collector. В Grafana видны: RPS/errors/duration API, успешные/ошибочные jobs и duration worker; доступны структурные логи и реальные трассы API и worker.
|
||||
- Есть импортируемый dashboard, а не только screenshot. Сохраняются низкокардинальные атрибуты и идентификаторы trace/span в логах; содержимое сообщений, пароли/токены не экспортируются.
|
||||
- На контролируемом запросе можно найти trace и связанный лог; на job — worker trace и лог. make test проходит при включённой телеметрии. Объяснено назначение каждого хранилища.
|
||||
|
||||
## Оценка «4»: уровень стажёра/джуна
|
||||
|
||||
Весь уровень 3 **и все** пункты ниже:
|
||||
|
||||
- Добавлены crop 128×128 и optimized WebP по контракту, параметры качества/удаления метаданных описаны. Невалидные/огромные изображения ограничены по bytes, пикселям, времени и памяти worker.
|
||||
- Разрыв между PostgreSQL и broker закрыт transactional outbox или другой доказанной схемой восстановления намерения. Внедрён crash между COMMIT и publish; после восстановления задача доходит до ready без ручного создания нового задания.
|
||||
- Retry использует backoff с jitter, различает постоянные/временные ошибки; есть DLQ/реестр failed и безопасный явный replay. «Повторить» не означает безусловно исполнить дубль уже успешной job.
|
||||
- Проверена остановка worker после записи объекта, но до ack; повтор завершает тот же результат. Есть timeout/lease для зависшего processing, ограниченная конкуренция/prefetch и очистка staging после безопасной фиксации.
|
||||
- W3C trace context переносится API → broker → worker; видны producer/consumer spans с корректной связью parent или link. По одному upload найдена цепочка до S3/DB результата, включая retry.
|
||||
- Dashboard показывает p50/p95/p99, долю ошибок, queue depth/возраст старейшей job, DB pool и saturation worker. Приведены запросы и единицы измерения; percentile вычисляется из histogram, не средних.
|
||||
- Задан проверяемый SLI/SLO и окно; сохранены alert rules минимум для высокого error rate и растущего queue lag. Alerts проверены искусственным отказом; доставка наружу не нужна, достаточно локального состояния firing/resolved.
|
||||
- Collector имеет memory limiter/batch и ограниченную буферизацию/поведение при недоступном backend. Остановка telemetry-хранилища не ломает сообщения и не вызывает бесконечный рост RAM. Отчёт содержит разбор двух инцидентов и шаги диагностики.
|
||||
|
||||
## Оценка «5»: исследование и доказанный результат
|
||||
|
||||
Весь уровень 4 **и один законченный трек на выбор**. Приведите гипотезу, повторяемую методику, результаты и ограничения.
|
||||
|
||||
**Трек 1. Очередь под перегрузкой.** Сравните ≥3 настройки concurrency/prefetch на разных размерах изображений. Измерьте throughput, queue lag, p95 времени до ready и RSS; покажите backpressure и ограничение количества принятой работы. Докажите восстановление после перегрузки, объясните компромисс latency/ресурсы.
|
||||
**Трек 1. Цена наблюдаемости.** Сравните telemetry off/on и ≥2 sampling/aggregation настройки при одинаковой нагрузке: latency, CPU/RAM, объём ingest, потери spans. Объясните, какие ошибки и редкие медленные запросы теряются; предложите и проверьте сбалансированную конфигурацию.
|
||||
|
||||
**Трек 2. Доказанная идемпотентность pipeline.** Постройте versioned pipeline и автоматический fault-injection для дубля, reorder, crash до/после side effect и устаревшей job после новой версии. Зафиксируйте инварианты, покажите отсутствие потери подтверждённых задач и перезаписи нового результата старым. Обсудите почему это не exactly-once доставка.
|
||||
**Трек 2. SLO и обнаружение инцидентов.** Обоснуйте SLO для API и времени до ready, реализуйте burn-rate alerts с несколькими окнами, воспроизведите краткий всплеск и длительную деградацию. Измерьте время обнаружения/восстановления, ложные срабатывания и покажите runbook, по которому другой студент находит причину.
|
||||
|
||||
## Как начать и проверить
|
||||
|
||||
@@ -79,27 +78,28 @@ Smoke не выставляет оценку автоматически. Про
|
||||
|
||||
## Сценарий защиты
|
||||
|
||||
1. Запустить make test: API возвращает 202, GET доходит до ready, оригинал и настоящий JPEG thumbnail проверяются.
|
||||
2. Остановить worker своим скриптом, загрузить файл, убедиться, что content отвечает 409, а другие сообщения продолжают работать.
|
||||
3. Перезапустить API/broker с сохранением volumes, запустить worker; та же запись должна стать ready. Зафиксировать порядок действий и ID без токенов.
|
||||
4. Для 4: воспроизвести crash после side effect до ack, разрыв COMMIT/publish и replay failed; для 5 — выбранный эксперимент.
|
||||
1. С нуля поднять стенд, импортировать provisioning без ручного набора dashboard, запустить smoke и нагрузку.
|
||||
2. Показать свежие метрики, одну трассу и соответствующий структурный лог API и worker; проверить, что это данные своего приложения.
|
||||
3. Для 4: пройти от upload до worker в одном trace/связанных traces, остановить worker или ограничить DB, увидеть firing и затем resolved.
|
||||
4. Остановить telemetry backend, проверить сохранение работы API и ограниченное поведение exporter. Для 5: повторить эксперимент.
|
||||
|
||||
## Что должно быть в PR
|
||||
|
||||
Worker, брокер в общем стенде, схема jobs, migrations/outbox по уровню, конфигурация retry, тесты сбоев и отчёт.
|
||||
Collector configuration, конфиги backend, Grafana provisioning/dashboards, alert rules по уровню, схема сигналов и отчёт инцидентов.
|
||||
|
||||
Заполните `REPORT.md` и [шаблон PR](.github/pull_request_template.md), укажите целевую оценку/трек. Не меняйте обязательный контракт и публичные tests ради зелёного результата. Сохраняйте возможности предыдущих лабораторных в пределах [объявленных переходов](COURSE.md).
|
||||
|
||||
## Вопросы на защите
|
||||
|
||||
- Чем publisher confirm отличается от consumer ack?
|
||||
- Что именно уже сохранено в момент 202?
|
||||
- Почему повторная доставка нормальна и где находится ключ идемпотентности job?
|
||||
- Как отличить зависший worker от долго работающего и не запустить два неконтролируемых дубля?
|
||||
- Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте?
|
||||
- Почему chat_id в labels может исчерпать хранилище?
|
||||
- Как очередь переносит причинную связь между процессами?
|
||||
- Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик?
|
||||
|
||||
## Первичные материалы
|
||||
|
||||
- [RabbitMQ reliability](https://www.rabbitmq.com/docs/reliability)
|
||||
- [Publisher confirms and acknowledgements](https://www.rabbitmq.com/docs/confirms)
|
||||
- [Redis Streams](https://redis.io/docs/latest/develop/data-types/streams/)
|
||||
- [NATS JetStream](https://docs.nats.io/nats-concepts/jetstream)
|
||||
- [OTel Collector configuration](https://opentelemetry.io/docs/collector/configuration/)
|
||||
- [OTel propagation](https://opentelemetry.io/docs/concepts/context-propagation/)
|
||||
- [W3C Trace Context](https://www.w3.org/TR/trace-context/)
|
||||
- [Prometheus histograms](https://prometheus.io/docs/practices/histograms/)
|
||||
- [Grafana provisioning](https://grafana.com/docs/grafana/latest/administration/provisioning/)
|
||||
|
||||
@@ -1,242 +1,281 @@
|
||||
# Отчёт — лабораторная работа 5
|
||||
# Отчёт — лабораторная 6
|
||||
|
||||
Автор: **Костылев Артём, БПИ2303**. Тема: «Очереди и асинхронная обработка изображений».
|
||||
Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Критичный дефект памяти PNG закрыт после отдельного fix/re-review и адресной Linux/HTTP validation. Совокупность сохранённых серий D/V и новых проверок M подтверждает критерии выбранного трека в описанных условиях. Семь minor сохранены; исходные четыре FAIL остаются историей. Validation завершена, публикация требует отдельного разрешения координатора.
|
||||
Автор: **Костылев Артём, БПИ2303**. Заявленная оценка — **«5»**, трек 1 «Цена наблюдаемости»: уровни 3 и 4 подтверждены таблицей ниже, пять режимов наблюдаемости — 15 пригодными сериями. Это заявка по рубрике, а не автоматически выставленная оценка.
|
||||
|
||||
Ветка: `solution/bpi2303-kostylev`. Предыдущее ревью: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — **`6096aa7948b8b666aa3892397a96d044a55f02c6` (M)**; реализация исправления — `1a8020524909ebc5e2e43303436c9d1ce3c1a87b`. От V из runtime изменён только `images.py`, настройки 448 MiB/30 с/concurrency=2 сохранены. Новая validation выполнена на **`74c33160ac01618f70e9e1c6a121a5e45c3c7155` (F, runtime = M)**: 984 passed / 2 Linux-only skipped, Linux-пробник с импортами worker, граничные HTTP и 8 PNG / 48 сравнений PASS. Результаты V не являются прогоном M; новые результаты F сохранены отдельно. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует.
|
||||
Ветка: `solution/bpi2303-kostylev`. Проверенный ревью SHA: `6ca1c7549978af3127966540385195ab0587f2e1`; измеряемый код приложения, инфраструктуры и генератора: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`. Между ними эти файлы не менялись. Документационный коммит определяется через `git log -1 --format=%H -- REPORT.md`; публикация выполняется отдельным этапом, здесь не заявлены.
|
||||
|
||||
Индекс происхождения всех доказательств — [evidence/README.md](evidence/README.md). Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до `4ed889c1e4008e3f6040ae2534bef99262d3b8ce`, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в [forward-port.md](evidence/forward-port.md). Нормативные `contracts/`, `tests/`, `README.md`, `COURSE.md` не изменены.
|
||||
Актуальные результаты: [индекс evidence](evidence/README.md), [перенос поздних исправлений](evidence/forward-port.md), [сводка ревью](evidence/review-summary.md), [проверки отчёта](evidence/report-audit.md), [финальный аудит нагрузки](evidence/load-validation.md). Основа ЛР5 — `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071`, поздний перенос доведён до immutable source `c7b8feb805d151e878d77b0dff47320a9436b172`; учтены 281 путь source diff. Результаты ЛР5 не выдаются за проверки ЛР6.
|
||||
|
||||
## Воспроизведение из чистого clone
|
||||
## Запуск из чистого clone
|
||||
|
||||
Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V и F использовали существующие volumes, а не чистый clone. Для воспроизведения выбран M.
|
||||
Нужны Git, Docker с Compose v2, uv, Python 3.14 для приложения и Python 3.9+ для stdlib-проверок. OpenSpec CLI нужен только для валидации спецификаций. Проверенный host: macOS arm64, 16 CPU; Docker 28.3.2, 16 vCPU и 8 217 190 400 bytes RAM. Версии зависимостей закреплены в [uv.lock](uv.lock), образы — тегом и digest в [Dockerfile](Dockerfile) и [compose.yaml](compose.yaml).
|
||||
|
||||
Вместо `<PRIVATE_REPOSITORY_URL>` подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров.
|
||||
`REPOSITORY_URL` оператор задаёт адресом своего private fork в MTUCI-Labs. Команды ниже — инструкция воспроизведения; на этапе отчёта Docker и нагрузки не запускались.
|
||||
|
||||
```sh
|
||||
git clone <PRIVATE_REPOSITORY_URL> mtusi2026lab5
|
||||
cd mtusi2026lab5
|
||||
git checkout 6096aa7948b8b666aa3892397a96d044a55f02c6
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-reviewed
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
uv sync --frozen --group dev
|
||||
git clone "$REPOSITORY_URL" mtusi2026lab6
|
||||
cd mtusi2026lab6
|
||||
git switch -c solution/bpi2303-kostylev origin/main
|
||||
uv python install 3.14
|
||||
uv sync --locked --group dev
|
||||
make check validate lint
|
||||
openspec validate --all --strict
|
||||
make secrets
|
||||
docker compose --env-file .env config --quiet
|
||||
make up
|
||||
make test
|
||||
make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
make restore
|
||||
make student-test
|
||||
make images
|
||||
make suite-preflight
|
||||
python3 scripts/pipeline_suite.py --level 4 --output evidence/local-level4.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run1.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run2.json
|
||||
make track2 TRACK2_OUTPUT=evidence/local-track2-run3.json
|
||||
make down
|
||||
openspec validate --all --strict --no-interactive
|
||||
scripts/lab6.sh make secrets
|
||||
scripts/lab6.sh docker compose config --quiet
|
||||
scripts/lab6.sh make up
|
||||
scripts/lab6.sh make ps
|
||||
curl --fail http://127.0.0.1:18086/health/ready
|
||||
scripts/lab6.sh make obs-validate
|
||||
scripts/lab6.sh make test
|
||||
scripts/lab6.sh make telemetry-check
|
||||
scripts/lab6.sh make test-persistence ACTION_SCRIPT=scripts/restart.sh
|
||||
scripts/lab6.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
scripts/lab6.sh make restore
|
||||
scripts/lab6.sh make down
|
||||
```
|
||||
|
||||
`make up` собирает образ и ждёт готовности хранилищ, успешных одноразовых `migrate` и `s3-init`, затем API ×2, relay, worker и LB. `migrate` выполняет **`alembic upgrade head`**. `make secrets` создаёт локальные секреты и `.env`, не предназначенные для Git; их содержимое не входит в evidence. Порты реплик, PostgreSQL, S3 и AMQP наружу не опубликованы. HTTP, статистика LB и UI RabbitMQ слушают только `127.0.0.1`. Экспорты выше имеют приоритет над Compose `.env` и предотвращают случайный выбор старых портов.
|
||||
`make secrets` создаёт локальные `.env` и `secrets/`, не печатая значения; существующие значения сохраняются. `make up` собирает образ и ждёт healthy: PostgreSQL → one-shot `alembic upgrade head`, S3 → `s3-init` (bucket, политики и отдельные роли), RabbitMQ → API ×2 / relay / worker → LB; параллельно поднимаются Collector и хранилища. Ручной SQL, ручное создание datasource/dashboard и внешний S3 не требуются. Повторный запуск миграций: `scripts/lab6.sh make migrate`.
|
||||
|
||||
`make student-test` поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует `infra/compose.faults.yaml`, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают `make down` без удаления постоянных volumes; `reset-data`, `down -v`, `reset/clean` в процедуру не входят.
|
||||
Полные собственные тесты запускаются отдельно: `scripts/lab6.sh make student-test`. Обвязка задаёт обход localhost через `NO_PROXY`, в том числе при системном прокси macOS. Тесты создают одноразовые Docker-зависимости и не должны идти одновременно с измерениями трека. В отчётном этапе использован сохранённый результат; свежий запуск фазы validation описан в [финальном аудите](evidence/load-validation.md). Данные публичного API синтетические. Для повторных экспериментов сохраняйте вывод в новый каталог, не перезаписывая принятые evidence.
|
||||
|
||||
Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=<attachment_id>` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID=<attachment_id> PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты завершённой адресной validation приведены ниже; полный повтор пригодных серий не требуется.
|
||||
`make down` останавливает только выбранный Compose project и сохраняет volumes. Существующая цель `scripts/lab6.sh make reset-data` намеренно удаляет его учебные volumes; она не входит в обычный запуск и в отчётном этапе не выполнялась. Не останавливайте чужие контейнеры. Основной project — `mtusi2026lab6` в этом репозитории; временный — только `hlpipe-lab6-*` в разрешённом координатором каталоге, с отдельными портами/volumes.
|
||||
|
||||
### Порты и настройки
|
||||
|
||||
Все опубликованные порты привязаны к `127.0.0.1`; API-реплики, PostgreSQL, Valkey, S3, AMQP, OTLP и self-metrics Collector доступны только внутри стенда. [scripts/lab6.sh](scripts/lab6.sh) задаёт project, порты, URL проверок и `NO_PROXY`, затем выполняет переданную команду. Перед запуском оператор проверяет доступность портов и отсутствие конфликтующих переменных своего shell.
|
||||
|
||||
| Назначение | Переменная | Host port |
|
||||
| --- | --- | ---: |
|
||||
| API через HAProxy | `LB_HTTP_PORT` | 18086 |
|
||||
| HAProxy stats | `LB_STATS_PORT` | 26085 |
|
||||
| RabbitMQ management | `BROKER_MANAGEMENT_PORT` | 26086 |
|
||||
| Prometheus | `PROMETHEUS_PORT` | 26090 |
|
||||
| Loki | `LOKI_PORT` | 26310 |
|
||||
| Tempo query | `TEMPO_PORT` | 26320 |
|
||||
| Grafana | `GRAFANA_PORT` | 26300 |
|
||||
|
||||
Grafana: пользователь `admin`, пароль из локального `secrets/grafana_admin_password`; его значение не входит в отчёт. Provisioning создаёт datasources `prometheus`, `loki`, `tempo` и dashboards API/pipeline, переходы exemplar → trace и trace ↔ logs.
|
||||
|
||||
| Настройки из `.env.example` | Фактическое применение |
|
||||
| --- | --- |
|
||||
| `APP_HOST`, `APP_PORT`, `APP_ENV` | Логические поля skeleton; Compose не передаёт их приложению. Образ слушает `HOST=0.0.0.0`, `PORT=8080`; окружение OTel задаёт `deployment.environment.name=lab` |
|
||||
| `SESSION_STORE=postgres`, `CACHE_URL_FILE`, `SESSION_TTL_SECONDS` | PostgreSQL — источник сессий; Valkey — адаптер кэша. Переключателя backend через `SESSION_STORE` нет; TTL по умолчанию 3600 s |
|
||||
| `DATABASE_URL_FILE`, `CURSOR_SECRET_FILE`, S3 `*_FILE` | Compose монтирует роли в `/run/secrets`; SQLAlchemy переводит DSN в `postgresql+asyncpg` |
|
||||
| `BROKER_URL_FILE` | В relay и worker одинаковый путь `/run/secrets/broker_url`, но разные secrets `broker_url_api` / `broker_url_worker` и права |
|
||||
| `API_REPLICAS`, `WEB_CONCURRENCY`, `DB_POOL_MAX_SIZE` | 2 реплики ×2 процесса, пул по 8 соединений на процесс; relay/worker по `PIPELINE_DB_POOL_MAX_SIZE=4` |
|
||||
| `MAX_UPLOAD_BYTES`, `MAX_IMAGE_PIXELS`, `WORKER_CONCURRENCY` | 10 MiB, 40 MP, 2 задания; render timeout 30 s, лимит адресного пространства renderer 448 MiB |
|
||||
| `OTEL_*`, `TELEMETRY_SHUTDOWN_SECONDS` | OTLP/HTTP, timeout 2 s, метрики каждые 10 s, очереди SDK по 2048, bounded shutdown 2 s; SDK off через `OTEL_SDK_DISABLED=true` |
|
||||
| `OTEL_TRACE_RATIO`, `OTEL_COLLECTOR_CONFIG`, `COST_EXPERIMENT` | Дополнительные Compose-параметры: по умолчанию 1, `collector.yaml`, false. Генератор включает fault hook лишь на серию и восстанавливает default в `finally` |
|
||||
|
||||
## Архитектура и решения
|
||||
|
||||
```text
|
||||
Клиент → HAProxy :18085 → API ×2 → проверка → PUT staging в RustFS
|
||||
→ COMMIT queued + jobs + outbox → 202
|
||||
PostgreSQL outbox → relay → RabbitMQ quorum queue → отдельный worker
|
||||
confirm manual ack ↑ после COMMIT
|
||||
worker → lease → рендер → originals/ и variants/ в S3 → fenced COMMIT
|
||||
```mermaid
|
||||
flowchart LR
|
||||
Client[Клиент] --> LB[HAProxy]
|
||||
LB --> API[API ×2]
|
||||
API --> PG[(PostgreSQL)]
|
||||
API --> Cache[(Valkey)]
|
||||
API --> S3[(RustFS / S3)]
|
||||
PG --> Relay[Outbox relay]
|
||||
Relay --> Broker[(RabbitMQ)]
|
||||
Broker --> Worker[FastStream worker]
|
||||
Worker --> PG
|
||||
Worker --> S3
|
||||
API -. OTLP .-> Collector[OTel Collector]
|
||||
Relay -. OTLP .-> Collector
|
||||
Worker -. OTLP .-> Collector
|
||||
Collector --> Prom[(Prometheus)]
|
||||
Collector --> Loki[(Loki)]
|
||||
Collector --> Tempo[(Tempo)]
|
||||
Grafana[Grafana] --> Prom
|
||||
Grafana --> Loki
|
||||
Grafana --> Tempo
|
||||
```
|
||||
|
||||
Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pydantic, structlog; **SQLAlchemy 2.0.45 async**, драйвер asyncpg 0.32.0, **Alembic 1.16.5**; FastStream 0.7.8 поверх aio-pika 10.2.1, Pillow 13.0.0, aiobotocore, redis-py, argon2-cffi. Версии закреплены в [uv.lock](uv.lock); сохранённая проверка runtime — [runtime.txt](evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt). Образы PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, HAProxy 3.2.26 закреплены digest в [compose.yaml](compose.yaml).
|
||||
Python 3.14; SQLAlchemy **2.0.45 async**, Alembic **1.16.5**, FastAPI, dishka, structlog, FastStream **0.7.8** + aio-pika **10.2.1**; OTel SDK 1.45.1 и инструментации 0.66b1. Инфраструктура: HAProxy 3.2.26, PostgreSQL 17.11, Valkey 8.1.11, RustFS 1.0.4, RabbitMQ 4.1.8, otelcol-contrib 0.163.2, Prometheus 3.15.1, Loki 3.7.9, Tempo 2.10.10, Grafana 12.4.14. Фактические image IDs, non-root users и лимиты: [runtime.json](evidence/forward-published/runtime.json).
|
||||
|
||||
Три зоны `identity`, `messaging`, `attachments` имеют домен, application-порты, инфраструктурные адаптеры и entrypoints. `shared` содержит платформу, а сборка — `main.py`, `relay.py`, `worker.py`, `admin.py`. PostgreSQL хранит состояния, версии, сессии и идемпотентность; S3 — байты; Valkey — ускорение проверки сессий; брокер — транспорт. API не подключается к RabbitMQ. Порты зон связаны через DI, а зависимости проверяет `test_bounded_contexts.py`.
|
||||
Зоны `identity`, `messaging`, `attachments` разделены на domain/application/infrastructure/entrypoints; домен зависит от портов. `shared` содержит только платформу. `main.py`, `relay.py`, `worker.py` собирают процессы. PostgreSQL хранит пользователей, сессии, сообщения, состояния вложений, jobs и outbox; RustFS — байты, RabbitMQ — доставку, Valkey — ускорение чтения. Prometheus хранит численные временные ряды, Loki — структурные логи, Tempo — spans. Collector принимает/фильтрует/буферизует сигналы, Grafana запрашивает их и связывает; ни один из них не источник бизнес-данных.
|
||||
|
||||
**SQLAlchemy и миграции.** [Database/UoW](src/messenger/shared/infrastructure/postgres.py) используют `create_async_engine`, `postgresql+asyncpg`, `async_sessionmaker`, `AsyncSession` и явный `commit()`; ORM-модели основаны на `DeclarativeBase`. Репозитории строят параметризованные ORM/Core-запросы, граница API остаётся pydantic. [alembic/env.py](alembic/env.py) запускает миграции через async engine и `run_sync`, сериализует их advisory lock и проверяет legacy-схему перед принятием. Последовательность [alembic/versions](alembic/versions): `0001_init` → `0002_idempotency_keys` → `0003_attachments` → `0004_jobs` → `0005_failed_registry` → `0006_attachment_quarantine`. Старый каталог SQL-миграций и самописный мигратор не являются текущим способом развёртывания.
|
||||
Все runtime-запросы PostgreSQL проходят через SQLAlchemy ORM/Core: `DeclarativeBase`, `create_async_engine`, `async_sessionmaker`, отдельная `AsyncSession` на UoW. `asyncpg` остаётся драйвером и точкой инструментации. Миграции — [alembic/env.py](alembic/env.py) и [alembic/versions](alembic/versions): async engine, `run_sync`, advisory lock, legacy adoption, транзакция на ревизию, head `0007` для trace context. Старого исполняемого SQL-мигратора в инструкции запуска нет.
|
||||
|
||||
**Граница 202.** Сначала фиксируется внутреннее намерение pending, затем проверенные bytes записываются в приватный `staging/`. Одной транзакцией вложение переводится в queued, создаются job, outbox и audit. Только после COMMIT отдаётся сохранённый снимок `queued`, `variants=[]`, `error_code=null`. Отказ до COMMIT не подтверждён клиенту; оставшееся намерение убирается по grace period. API не ждёт resize. Очередь или worker могут быть недоступны при успешном upload.
|
||||
Upload возвращает `202 queued` после durable acceptance; задание и outbox фиксируются атомарно. Relay публикует persistent сообщение с confirms через FastStream/aio-pika, затем отмечает outbox. Неустранимое окно между publish и отметкой допускает повторную доставку. Worker использует manual ack **после COMMIT**; lease/fencing и ключ эффекта `(attachment_id, pipeline_version, variant)` не допускают повторной публикации результата. До ready `/content` отвечает 409. Retry/backoff, DLQ, реестр failed и replay сохранены. Цена outbox — дополнительный poll/таблица и eventual consistency; брокер не даёт exactly-once.
|
||||
|
||||
**Outbox.** Relay выбирает доступные строки по частичному `outbox_pending_idx (available_at, id) WHERE published_at IS NULL` с `FOR UPDATE SKIP LOCKED`. Публикация persistent/mandatory с publisher confirms предшествует отметке `published_at` в той же транзакции. Ошибка публикации оставляет намерение для повтора; сбой после confirm до COMMIT может создать дубль. Цена решения — транзакция остаётся открытой на время сетевой публикации пачки и outbox растёт при недоступном брокере. Нет общей транзакции PostgreSQL/RabbitMQ.
|
||||
ЛР6 добавила SDK после fork (без preload приложения в gunicorn), OTLP, корреляцию, resource attributes и наблюдение фоновых задач. `traceparent`/`tracestate` сохраняются отдельно от payload в jobs/outbox и передаются в headers; producer/consumer spans создаёт `RabbitTelemetryMiddleware`. S3 spans показывают операцию без ключей, SQL client spans — работу БД. Retry сохраняет причинную связь, что видно в одной цепочке из 86 spans.
|
||||
|
||||
**Worker и эффект.** FastStream использует `AckPolicy.MANUAL`, `RabbitMessage`, prefetch=2 при `WORKER_CONCURRENCY=2`. Worker берёт доверенные ключи S3 из БД, захватывает job арендой `lease_token`, продлевает её при работе и рендерит в отдельном процессе. После записи оригинала и всех трёх вариантов условный COMMIT проверяет актуальность аренды. Ключ эффекта — `(attachment_id, pipeline_version, name)`; уникальные ограничения, versioned S3-ключи с хешем и условие `published_version < new_version` предотвращают второй набор и откат новой публикации. `ack()` вызывается после завершения обработчика с COMMIT, включая фиксацию результата/noop. Ошибка БД приводит к задержке 1 с и `nack(requeue=True)`.
|
||||
Экспорт выполняют `BatchSpanProcessor`, `BatchLogRecordProcessor`, `PeriodicExportingMetricReader`; network timeout короткий, readiness не проверяет наблюдаемость. Collector: memory limiter 75% / spike 20%, batch 1024/2048 с timeout 2 s, очереди 20 000 spans, 20 000 logs, 50 000 metric points, 2 consumers, retry до 60 s. Буферы конечны и не долговременны: при длительном отказе telemetry теряется, бизнес-запросы продолжаются. `Logger` ограничивает поля, HTTP headers не захватываются, Collector редактирует подозрительные ключи/значения. Границы проверки утечек явно указаны ниже.
|
||||
|
||||
**Повторы.** После claim временная ошибка назначает новую outbox-попытку с equal jitter: половина экспоненциальной задержки плюс случайная половина; штатная база 2 с, максимум 5 попыток. Постоянные ошибки дают `invalid_image`/`processing_failed`, исчерпание — `retry_exhausted`. Просроченный processing возвращает relay через `jobs_lease_idx`; старый держатель не проходит fencing. Ready не откатывается при upgrade, ошибка v2 оставляет v1 доступной. Сообщение, отвергнутое моделью `JobMessage`, отправляется в DLQ; модель не полностью эквивалентна `jobs.schema.json` из-за преобразования типов и nullable-поля (minor ниже). Реестр failed и replay доступны через CLI.
|
||||
## Доказательства критериев
|
||||
|
||||
В R policy `delivery-limit=-1` сохраняет инфраструктурные redelivery при длительном отказе БД; прикладной предел `JOB_MAX_ATTEMPTS=5` остаётся. Это исправляет прежний путь queued → DLQ после 10 nack без автоматического восстановления. На V policy подтверждена на существующем volume: 12 requeue после реальной остановки PostgreSQL, затем ready без replay и без роста DLQ — [evidence](evidence/final-validation-2026-11-07/postgres-outage-retry.json); уже лежащие в DLQ сообщения смена policy не возвращает. Произвольное удаление сообщения при уже опубликованном outbox также не исправляется автоматически: outbox/lease не равны универсальной сверке очереди.
|
||||
|
||||
**Изображения и ресурсы.** Оригинал неизменен. EXIF orientation применяется, прозрачность накладывается на белый фон, EXIF/ICC/XMP не копируются в варианты. Thumbnail — JPEG в 256×256 без увеличения, округление вниз, минимум 1 px; crop — центральный JPEG 128×128; optimized — WebP в 1280×1280 без увеличения. JPEG quality v1/v2 = 85/90, optimize=True; WebP = 80/85, method=4; Lanczos, reducing_gap=3.0. R исправляет tRNS, включая grayscale 2/4/16 и сравнение полных RGB16 samples до потери младших битов.
|
||||
|
||||
Предел входа — 10 485 760 байт и 40 млн пикселей; renderer — 30 с, Linux `RLIMIT_AS=448 MiB` на процесс, до 100 задач на дочерний процесс. Контейнер worker ограничен 2 CPU / 1 GiB, API — 1 CPU / 512 MiB на реплику, relay — 0.5 CPU / 192 MiB, broker — 1 CPU / 512 MiB, PostgreSQL — 2 CPU / 1 GiB, S3 — 1 CPU / 512 MiB. Старое измерение 423 MiB относится к обычному PNG. На V четыре 40 Мп PNG tRNS дали `processing_failed` на первой попытке; Linux-пробник подтверждает `MemoryError` внутри RLIMIT_AS, несмотря на peak контейнера 640 196 608 байт < 1 GiB. Это исходное доказательство major на V; исправление M ещё не подтверждено на той же Linux/HTTP-границе.
|
||||
|
||||
**Исправление памяти M.** Преобразования цвета и RGB-маски вычисляются плитками 256×256; глобальные resize/fit остаются после сборки изображения, чтобы не создавать границы плиток. Low-byte core закрывается перед high-byte decode, маски — до EXIF/resize, grayscale-исходник — после сборки RGB. `Image.close()` уничтожает pixel core; обычный выход из контекста изображения закрывает файл, но сохраняет core — [Pillow 13.0.0](https://github.com/python-pillow/Pillow/blob/13.0.0/docs/reference/open_files.rst). Сохранённое сравнение 132 вариантов побайтно совпало с V, но новые затраты Linux-процесса этим не измерены.
|
||||
|
||||
**Очистка.** Staging удаляется после безопасной публикации и завершения активных версий; у failed хранится 86400 с, затем replay возвращает expired. Проверка активных jobs и сериализация cleanup/reprocess защищают используемый исходник. Удаление выполняет relay; worker не получает право DeleteObject. Quarantine-миграция поддерживает унаследованную сверку S3, но демонстратор `reconcile_track.py` для квалификации ЛР5 непригоден.
|
||||
|
||||
## Проверки и таблица критериев
|
||||
|
||||
Исторические динамические PASS относятся к **D**, 2026-11-06 UTC; более ранняя топология и новые проверки V помечены явно. Это аудит сохранённых прогонов, не новый запуск на M. Новые tRNS и policy дополнительно проверены динамически на V в отдельном блоке ниже; эти результаты не смешиваются с D. Полные команды, environment, exit codes и SHA находятся в связанных файлах.
|
||||
Команды в таблице выполняются с префиксом `scripts/lab6.sh`, если работают со стендом. Полные команды, UTC, SHA и exit code сохранены в указанных логах. **Актуальный набор — `forward-published`**; исторические исключения помечены явно и применяются только к неизменным механизмам согласно [preserved-mechanisms.json](evidence/forward-published/preserved-mechanisms.json).
|
||||
|
||||
| Критерий | Команда / сценарий | Наблюдение | Файл |
|
||||
| --- | --- | --- | --- |
|
||||
| Контракт, синтаксис, типы | `make check validate lint` | PASS на F; приложение этим не проверяется | [checks](evidence/final-memory-validation-2026-11-07/checks.txt) |
|
||||
| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | F: 984 passed, 2 Linux-only skips, 19 stack deselected; real-broker, Linux-эквивалент пропусков выполнен отдельно | [student-test.txt](evidence/final-memory-validation-2026-11-07/student-test.txt), [Linux](evidence/final-memory-validation-2026-11-07/linux.json) |
|
||||
| Предыдущее исправление tRNS | Offline-команда с `--confcutdir`, шесть unit-модулей; отдельно `--noconftest` для границ | R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал | [Команды и результаты](evidence/review-trns-depth-2026-11-06/RESULTS.md) |
|
||||
| Исправление памяти M | `make student-test` с `--confcutdir` и восемью unit-модулями; отдельно `--noconftest` для границ | Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Это offline-результат исправления; новые Linux/HTTP на F приведены ниже | [Команды](evidence/review-png-memory-2026-11-07/RESULTS.md), [offline](evidence/review-png-memory-2026-11-07/offline-tests.txt), [границы](evidence/review-png-memory-2026-11-07/boundaries.txt) |
|
||||
| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | F: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован | [OpenSpec](evidence/final-memory-validation-2026-11-07/openspec.txt) |
|
||||
| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB на F | [smoke.txt](evidence/final-memory-validation-2026-11-07/smoke.txt) |
|
||||
| 3: сессия, исходник и данные после рестарта | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; рестарты своих хранилищ и процессов подтверждены событиями | [persistence.txt](evidence/forward-final-2026-11-06/persistence.txt), [контейнеры](evidence/forward-final-2026-11-06/persistence-containers.txt) |
|
||||
| 3: отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен | [failover.txt](evidence/forward-final-2026-11-06/failover.txt), [контейнеры](evidence/forward-final-2026-11-06/failover-containers.txt), [restore.txt](evidence/forward-final-2026-11-06/restore.txt) |
|
||||
| 3: отдельный broker/worker, quorum, confirm, manual ack, prefetch | `rabbitmqctl list_queues/list_consumers/list_permissions`; проверки падений suite | Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R | [queues.txt](evidence/sqlalchemy-2026-11-06/grade3/queues.txt), [consumers.txt](evidence/sqlalchemy-2026-11-06/grade3/consumers.txt), [permissions.txt](evidence/sqlalchemy-2026-11-06/grade3/permissions.txt), [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 3: worker down, рестарт API/broker, затем ready | `pipeline_suite.py --level 4`, `worker_down_broker_restart` | 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 3: конечные состояния и повторы | `s3_outage_recovers`, `retry_exhausted`, `duplicate_after_ready` в suite | S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли границу; после исправления M адресная validation F проходит, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: outbox, crash COMMIT→publish | `crash_commit_publish` | Relay exit 137; outbox не опубликован; после восстановления ready без новой job | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: backoff, DLQ, replay | `retry_backoff_jitter`, `malformed_message_dead_lettered`, `replay_failed`, `failed_retention` | Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 4: S3→COMMIT→ack, lease/fencing, cleanup | `crash_after_s3_before_commit`, `crash_after_commit_before_ack`, `lease_expiry_fencing` | Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен | [level4.json](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| Все уровни 3/4 в suite | `python3 scripts/pipeline_suite.py --level 4 --output evidence/forward-final-2026-11-06/level4.json` | 17 сценариев / 8 инвариантов PASS; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов | [Команда](evidence/forward-final-2026-11-06/level4-command.txt), [JSON](evidence/forward-final-2026-11-06/level4.json) |
|
||||
| 5: трек 2 | `make track2 TRACK2_OUTPUT=evidence/forward-final-2026-11-06/track-runN.json`, N=1,2,3 | 39 сценариев / 24 инварианта PASS; 39 ID / 174 объекта, см. методику | [run1](evidence/forward-final-2026-11-06/track-run1.json), [run2](evidence/forward-final-2026-11-06/track-run2.json), [run3](evidence/forward-final-2026-11-06/track-run3.json) |
|
||||
| Поздние исправления ЛР4 | `forward_network.py`, целевые stack-тесты и fixture HAProxy | Basic/NUL/logout; битые PNG до storage; обход Valkey с безопасным logout; 12 корректных JSON для 502/503/504 | [network](evidence/forward-final-2026-11-06/network-regressions.txt), [upload](evidence/forward-final-2026-11-06/upload-negative.txt), [cache](evidence/forward-final-2026-11-06/cache-outage.txt), [HAProxy](evidence/forward-final-2026-11-06/haproxy-errors.txt) |
|
||||
| Структура, контракт, качество | `make check validate lint` | OpenAPI 1.6.0 / JSON Schema, ruff, 216 форматированных файлов, ty — PASS | [final-quality.txt](evidence/forward-published/final-quality.txt), [свежая проверка отчёта](evidence/report-audit.md) |
|
||||
| Собственные регрессии, SQLAlchemy/Alembic | `scripts/lab6.sh make student-test` | Сохранённый полный: 995 passed, 2 Linux-only skipped, 19 stack deselected. Свежий validation: 993 passed, 2 ошибки подготовки S3; адресный повтор с NO_PROXY — 2 passed | [прежний полный](evidence/forward-published/student-test.txt), [свежий полный](evidence/validation/student-test.txt), [повтор S3](evidence/validation/student-test-s3-retry.txt), [разбор](evidence/load-validation.md) |
|
||||
| 3: минимум lab5 при telemetry on | `make test` | Public API PASS; final smoke после возврата defaults | [smoke.txt](evidence/forward-published/smoke.txt), [final-smoke.txt](evidence/forward-published/final-smoke.txt) |
|
||||
| 3: durable pipeline и повторы | `python3 scripts/pipeline_suite.py --level 4 --only smoke_pipeline,worker_down_broker_restart,duplicate_after_ready,poison_image,s3_outage_recovers,retry_exhausted,crash_after_s3_before_commit,crash_after_commit_before_ack,malformed_message_dead_lettered --output evidence/reproduction-pipeline.json` | 9 сценариев; 7 принятых заданий достигают ожидаемых состояний, single effect и другие инварианты PASS | [pipeline.txt](evidence/forward-published/pipeline.txt), [pipeline.json](evidence/forward-published/pipeline.json) |
|
||||
| 3: сохранение данных и сессий | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | Подтверждённые данные и прежняя сессия сохранены, 14,386 s на сценарий | [persistence.txt](evidence/forward-published/persistence.txt), [hook](scripts/restart.sh) |
|
||||
| 3: отказ реплики и возврат | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 2 исходные реплики, 130 успешных записей, 0 failed attempts; первый успех через 2,876 s, api-2 возвращена healthy | [failover.txt](evidence/forward-published/failover.txt), [restore.txt](evidence/forward-published/restore.txt) |
|
||||
| 3: воспроизводимый общий стенд | `make up`; `make obs-validate` | Сервисы готовы, Collector/Prometheus/Loki/Tempo и JSON dashboards валидны | [up.txt](evidence/forward-published/up.txt), [obs-config.txt](evidence/forward-published/obs-config.txt), [runtime.json](evidence/forward-published/runtime.json) |
|
||||
| 3: история наблюдаемости в volumes | `python3 scripts/obs_recovery.py` | Исторический прогон: 7 spans до/после, 1 лог, значение метрики 352 сохранено при рестарте storage | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) |
|
||||
| 3: API → лог → trace, реальные server/client spans | `python3 scripts/obs_check.py request --base-url http://127.0.0.1:18086` | `request.handled`, trace/span IDs; 7 spans, включая HTTP server и DB client | [telemetry-request.txt](evidence/forward-published/telemetry-request.txt) |
|
||||
| 3: worker → лог → trace, consumer spans | `python3 scripts/obs_check.py job --base-url http://127.0.0.1:18086` | Attachment ready, 52 spans, `job.processed` / `audit.job_settled` с одним trace_id | [telemetry-job.txt](evidence/forward-published/telemetry-job.txt) |
|
||||
| 3: RED API, jobs outcome/duration, provisioning | `python3 scripts/obs_check.py dashboards --strict` | 32 targets, problems=[], реальные series; два dashboard JSON в Git | [dashboards.txt](evidence/forward-published/dashboards.txt), [dashboards](infra/grafana/dashboards) |
|
||||
| 3: низкая кардинальность / resource attributes | `python3 scripts/obs_check.py query 'count by (__name__, job) ({job=~"messenger-.*"})'` | Шаблон маршрута, method/status, job_type/outcome, service/instance; IDs не используются как labels | [исторические series неизменных инструментов](evidence/grade4/cardinality-series.json), [свежие dashboard queries](evidence/forward-published/dashboards.txt) |
|
||||
| 3: отсутствие запрещённых данных | `python3 scripts/obs_check.py leaks --base-url http://127.0.0.1:18086` | 0 совпадений password/token/text/filename в проверенных log lines и 8 traces за 20 s; metadata Loki этим тестом не покрыта | [telemetry-leaks.txt](evidence/forward-published/telemetry-leaks.txt), [minor M1](evidence/review-summary.md) |
|
||||
| 4: W3C API → outbox → broker → worker → S3/DB | `python3 scripts/obs_incidents.py chain` | 55 spans, producer/consumer, итог done | [incident-chain.txt](evidence/forward-published/incident-chain.txt) |
|
||||
| 4: та же цепочка с retry | `python3 scripts/obs_incidents.py retry` | 86 spans; `retry_scheduled` → `done`, один trace | [incident-retry.txt](evidence/forward-published/incident-retry.txt) |
|
||||
| 4: p50/p95/p99, error ratio, backlog, pool, saturation, CPU/RAM, time-to-ready | `python3 scripts/obs_check.py dashboards --strict` | Все используемые запросы разрешаются; имена/единицы и ограничения приведены ниже | [dashboards.txt](evidence/forward-published/dashboards.txt), [recording rules](infra/prometheus/rules/messenger.recording.yml) |
|
||||
| 4: SLI/SLO, error rate alert | `python3 scripts/obs_incidents.py database` | SQL client ERROR 2002,866 ms, error ratio 0,9181, firing → resolved | [incident-database.txt](evidence/forward-published/incident-database.txt), [alert rules](infra/prometheus/rules/messenger.alerts.yml) |
|
||||
| 4: queue lag alert и восстановление | `python3 scripts/obs_incidents.py worker` | 8 jobs, age 34,470 s, firing → resolved, depth 8 → 0 | [incident-worker.txt](evidence/forward-published/incident-worker.txt) |
|
||||
| 4: ограниченные очереди, отказ telemetry storage | `python3 scripts/obs_incidents.py storage` | Исторический неизменный механизм: smoke PASS, 74 успешных probes, потеря 2 traces, RAM ≤252,7/256 MiB, очереди после recovery =0 | [storage-incident.txt](evidence/grade4/storage-incident.txt), [основание применимости](evidence/forward-published/preserved-mechanisms.json) |
|
||||
| 4: readiness и shutdown при отказе Collector | `python3 scripts/obs_recovery.py` | Исторический прогон: ready=200, smoke PASS, shutdown API 4,592 s, exit 0 | [telemetry-recovery.txt](evidence/grade3/telemetry-recovery.txt) |
|
||||
| Поздние исправления сессий/HTTP | `.venv/bin/python student-tests/tools/forward_network.py`; stack pytest из логов | Негативный Basic/NUL, logout обеих реплик, идемпотентность; Valkey bypass и logout503→204 | [network.txt](evidence/forward-published/network.txt), [cache-outage.txt](evidence/forward-published/cache-outage.txt) |
|
||||
| Поздние исправления доставки/изображений | `env PYTHONPATH=.:scripts:student-tests .venv/bin/python student-tests/tools/forward_runtime.py postgres-outage` (также `png-http`, `png-boundary`) | 12 requeue без роста DLQ, тот же job/attempt; PNG 40 MP, две версии, конкурентный peak 913 227 776 <1 073 741 824 bytes, OOM=0 | [postgres-outage.json](evidence/forward-published/postgres-outage.json), [png-http.json](evidence/forward-published/png-http.json), [png-boundary.json](evidence/forward-published/png-boundary.json) |
|
||||
| 5: off/on/head/tail/balanced, цена и сохранность | `python3 scripts/obs_cost.py --mode MODE --repeat N --duration 40 --rate 20 --output evidence/reproduction/MODE-N.json` | 15 пригодных серий, 12 000 запросов; balanced −92,2% Tempo ingest, 48/48 error и 48/48 slow | [методика](evidence/forward-published/cost/method.md), [comparison.json](evidence/forward-published/cost/comparison.json), [результаты](evidence/forward-published/cost/results.md) |
|
||||
| OpenSpec propose/apply/archive | `openspec list --json`; `openspec validate --all --strict --no-interactive` | 0 active changes, 26 specs PASS; циклы 3/4/5 и поздний перенос архивированы | [архивы](openspec/changes/archive), [spec-sync.json](evidence/forward-published/spec-sync.json), [проверка отчёта](evidence/report-audit.md) |
|
||||
|
||||
## Отказы: время и сохранность
|
||||
`restart.sh` останавливает `lb api relay worker`, перезапускает `postgres valkey s3 broker`, затем ждёт Compose healthy с прежними volumes. Публичный тест подавляет stdout hook: 14,386 s — время всего сценария, а не измеренная длительность недоступности каждого процесса; отдельного timestamp-аудита всех перезапусков в этом логе нет. `restore.txt` непосредственно подтверждает запуск остановленной api-2. История telemetry проверена отдельным `obs_recovery.py`. Старый запуск из чистого clone на `2903d9d` — [clean-clone.txt](evidence/grade3/clean/clean-clone.txt); он не является свежим clean-clone прогоном позднего кода.
|
||||
|
||||
Источник — D: [level4.json](evidence/forward-final-2026-11-06/level4.json) и публичные логи выше. Времена suite — **длительности всего сценария**, включая управление контейнерами и assertions; это не время недоступности API и не p95. «Потерь 0» означает отсутствие потерь принятых ID в выборке, а не доказательство для любых отказов диска/сети.
|
||||
### Сигналы и запросы
|
||||
|
||||
| Воздействие / команда suite | Фактически остановленный контейнер | Наблюдение | Время / потери |
|
||||
| --- | --- | --- | --- |
|
||||
| `worker_down_broker_restart` | `mtusi2026lab5-worker-1`, `3924574b030d`, exited 0 | 19:36:04.231533Z upload; рестарт API/relay, broker с volume; worker started 19:36:20.143149Z, ready 19:36:20.313903Z | 0.171 с от отметки старта до ready; сценарий 16.6 с; потерь 0 |
|
||||
| Persistence, `scripts/restart.sh` | `mtusi2026lab5-{postgres,valkey,s3,broker,lb,api-1,api-2,relay,worker}`; точные ID в events | Данные, сессия и оригинал сохранены | Команда 12.835 с; потерь подтверждённых данных не обнаружено |
|
||||
| Failover, `scripts/stop-one.sh` | `mtusi2026lab5-api-2`, exited 0 | 131 запись, 0 ошибок | Первая запись 2.791 с; потерь 0 |
|
||||
| `crash_commit_publish` | `mtusi2026lab5-relay-1`, `57ef736182d7`, exited 137 | Неопубликованный outbox → ready с прежней job | Сценарий 9.5 с; потерь 0 |
|
||||
| `crash_publish_confirm` | `mtusi2026lab5-relay-1`, `9f63b40078d5`, exited 137 | **После confirm**, до COMMIT отметки outbox; повтор публикации без второго эффекта | Сценарий 9.6 с; потерь 0; потеря confirm не проверялась |
|
||||
| `crash_after_s3_before_commit` | `mtusi2026lab5-worker-1`, `c74820bbdab3`, exited 137 | Processing, 0 строк вариантов; повтор → ready | Сценарий 12.6 с; потерь 0 |
|
||||
| `crash_after_commit_before_ack` | `mtusi2026lab5-worker-1`, `5accc3314905`, exited 137 | Ready до падения; redelivery без нового набора | Сценарий 10.3 с; потерь 0 |
|
||||
| `lease_expiry_fencing` | Worker задержан, не остановлен | claimed(1) → lease_expired(2) → done(2) → fenced(1) | Сценарий 33.2 с при аренде 5 с и stall 15 с; перезаписи нет |
|
||||
| `s3_outage_recovers` | S3 остановлен сценарием; отдельного ps с ID в этом JSON нет | После восстановления done на попытке 2 | Сценарий 12.0 с; потерь 0; полнота свидетельства остановки ограничена |
|
||||
| `retry_exhausted` / `replay_failed` | Fault-injection, контейнеры не требуется останавливать | 5 попыток → failed; явный replay → ready, повтор → noop | Сценарии 17.6 / 28.4 с; failed — ожидаемый исход, не потерянная job |
|
||||
| `worker_limits` | Worker остаётся running | 40 Мп: принудительные время/память → failed; штатный режим → ready | 15.4 с на сценарий; ошибок процесса worker не зафиксировано |
|
||||
Resource: `service.name=messenger-api|messenger-relay|messenger-worker`, `service.version=1.6.0`, уникальный `service.instance.id=<hostname>-<pid>`, `deployment.environment.name=lab`. В Prometheus ресурс виден через `job`, `instance` и `target_info`; в Loki — нормализованные поля, включая `service_name`. Технические request/job IDs допустимы в логах/spans для корреляции синтетических данных, но не в labels метрик.
|
||||
|
||||
Историческая остановка стенда D: `make down` без `-v`, затем пустой список контейнеров project и четыре сохранённых volume — [down.txt](evidence/forward-final-2026-11-06/down.txt), [stopped-containers.txt](evidence/forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](evidence/forward-final-2026-11-06/retained-volumes.txt). В финальной validation стенд снова остановлен без `-v`; контейнеров project нет, четыре volume сохранены — [down](evidence/final-validation-2026-11-07/down.txt), [проверка](evidence/final-validation-2026-11-07/stopped-containers.txt), [volumes](evidence/final-validation-2026-11-07/retained-volumes.txt).
|
||||
| Логический сигнал контракта | Реальное имя / поля | Единицы и измерения / запрос |
|
||||
| --- | --- | --- |
|
||||
| HTTP requests | `http_server_request_duration_seconds_count` | counter наблюдений histogram; `http_request_method`, `http_route`, `http_response_status_code`; `sum(messenger:http_requests:rate2m)` — RPS; recording rule формирует `status_class` |
|
||||
| HTTP duration | `http_server_request_duration_seconds_bucket` | секунды; `histogram_quantile(0.95, sum by (le) (rate(http_server_request_duration_seconds_bucket{job="messenger-api",http_route!~"/health/.*"}[5m])))`; для p50/p99 заменить 0.95 |
|
||||
| HTTP errors | `messenger:http_errors:ratio_rate2m` | 5xx / все бизнес-запросы, без health; 4xx остаются в знаменателе, не считаются отказами |
|
||||
| Jobs processed / failed | `messenger_jobs_processed_total` | доставки, `job_type`, `outcome`; `sum by(job_type,outcome)(rate(messenger_jobs_processed_total[5m]))`; outcome содержит done/retry_scheduled/failed и другие ветки |
|
||||
| Job duration | `messenger_job_duration_seconds_bucket` | секунды обработки доставки, `job_type`, `outcome`; percentile из суммы bucket rates |
|
||||
| Time to ready | `messenger_job_time_to_ready_seconds_bucket` | секунды от Job.created_at до done после commit, `job_type`; учитывает ожидание и retries |
|
||||
| Queue depth / oldest age | `messenger_queue_depth`, `messenger_queue_oldest_age_seconds` | jobs / секунды, `queue_name=attachments.process`; SQLAlchemy poll 5 s, durable queued/processing включая leased/retry, не только AMQP messages_ready |
|
||||
| DB pool | `messenger_db_pool_used`, `_waiting`, `_capacity` | занятые connections / acquisitions / лимит; waiting включает получение/создание соединения, не только очередь слотов |
|
||||
| Worker saturation | `messenger_worker_busy`, `messenger_worker_capacity` | активные deliveries / доступная capacity; отношение сумм даёт долю занятости |
|
||||
| Process CPU / RAM | `process_cpu_time_seconds_total`, `process_memory_usage_bytes` | `sum by(job)(rate(process_cpu_time_seconds_total[2m]))` — cores; `sum by(job)(process_memory_usage_bytes)` — bytes RSS; CPU renderer-детей не входит |
|
||||
| Logs | timestamp, severity, resource service.name, event, trace_id, span_id | `request.handled`, `job.processed`; LogQL `{service_name="messenger-api"} | trace_id="<trace_id>"`; поля OTel представлены structured metadata |
|
||||
| Traces | SERVER, PRODUCER, CONSUMER, CLIENT | Tempo по trace_id; DB/S3 операции, duration/status, связь parent; ссылки из Grafana provisioning |
|
||||
|
||||
## Трек 2: гипотеза, методика и числа
|
||||
HTTP histogram (секунды): 0.005, 0.01, 0.025, 0.05, 0.075, 0.1, 0.25, 0.5, 0.75, 1, 2.5, 5, 7.5, 10, +Inf. Job/time-to-ready: 0.05, 0.1, 0.25, 0.5, 1, 2, 5, 10, 30, 60, +Inf. Они различают быстрый HTTP, таймауты зависимостей и 30-секундный SLO job. Квантили агрегируются по buckets всех реплик; среднее арифметическое p99 реплик не используется. CPU/RAM трека дополнительно измерены извне по cgroups, независимо от состояния SDK.
|
||||
|
||||
**Гипотеза.** At-least-once доставка вместе с lease/fencing, уникальностью эффекта и монотонной публикацией сохраняет принятые задания при проверенных сбоях; старая job не заменяет результат новой версии.
|
||||
## Эксперименты и отказы
|
||||
|
||||
**Методика.** На D выполнены три последовательных `make track2`. Каждый повтор создаёт 13 новых вложений и включает контроль `smoke_pipeline`, дубль готовой job, две копии в работе, перестановку attempts и версий, crash до side effect, после S3 и после COMMIT до ack, SIGKILL worker, истечение аренды и позднюю v1 после v2. В `reorder_attempts` меняется порядок транспортных копий, а управляемый номер попытки остаётся фактом БД. Отдельно проверяется outbox до publish и после confirm до COMMIT. Потеря самого confirm не моделируется, несмотря на историческое название сценария.
|
||||
### SLI/SLO и диагностика
|
||||
|
||||
После сценариев suite сверяет SQL и фактический S3 inventory для принятых ID, опрашивает API, скачивает bytes и сравнивает SHA-256, длину и геометрию. Восемь инвариантов: `terminal`, `single_effect`, `no_ready_rollback`, `monotonic_publication`, `bytes_match_metadata`, `bounded_attempts`, `no_orphans`, `no_lost_202`. Наблюдение состояний дискретное, дополнено журналом переходов и SQL-ограничениями. `no_orphans` относится к выборке: исторические failed/DLQ сохранены, глобальная DLQ не обязана быть пустой.
|
||||
API availability: `1 − 5xx/все бизнес-HTTP` за **1 h**, цель **≥99%**, health исключён. Это SLI приложения: ответы самого HAProxy не входят. Job SLI: доля **завершённых** jobs с time-to-ready **≤30 s** за **1 h**, цель **≥95%**; незавершённые отдельно контролируются возрастом backlog. Эти цели заданы и измеримы, но короткие опыты не доказывают месячный production SLO.
|
||||
|
||||
| Повтор на D | Сценарии PASS | Инварианты PASS | Уникальные 202 | Объекты S3 | Команда и первичные данные |
|
||||
| --- | --- | --- | --- | --- | --- |
|
||||
| 1 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run1.txt), [json](evidence/forward-final-2026-11-06/track-run1.json) |
|
||||
| 2 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run2.txt), [json](evidence/forward-final-2026-11-06/track-run2.json) |
|
||||
| 3 | 13 | 8 | 13 | 58 | [txt](evidence/forward-final-2026-11-06/track-run3.txt), [json](evidence/forward-final-2026-11-06/track-run3.json) |
|
||||
| Всего | 39 | 24 | 39 | 174 | [summary.json](evidence/forward-final-2026-11-06/summary.json) |
|
||||
`MessengerHighErrorRate`: доля 5xx >5% за 1 min, `for: 15s`. `MessengerQueueLag`: max age >15 s и depth >0, `for: 15s`. Проверка rules каждые 5 s; доставка наружу не требуется. [Runbooks](infra/prometheus/runbooks.md) связывают alert с запросами и действиями.
|
||||
|
||||
Во всех трёх повторах `stale_after_new_version` сохраняет одинаковый публичный снимок v2 до/после поздней v1. В `reorder_versions` v2 достигает done первой, v1 получает superseded. Для fixture 320×200 версии различимы; размеры и первые 16 hex SHA-256 ниже повторяются во всех трёх JSON:
|
||||
| Воздействие и доказательство | Ожидание и наблюдение | Время / потери |
|
||||
| --- | --- | --- |
|
||||
| Остановка worker; [свежий лог](evidence/forward-published/incident-worker.txt) | API принимает 8 jobs, backlog=8, oldest=34,470 s; после возврата depth=0, alert resolved | UTC 06.11: stop 23:47:05, firing 23:47:49 (**44 s**), restore 23:47:52, resolved 23:48:04 (**12 s** после возврата). Все 8 jobs обработаны |
|
||||
| Ограниченная SQL-блокировка users; [свежий лог](evidence/forward-published/incident-database.txt) | 168 контролируемых 503; error ratio=0,9181, pool waiting=0; SELECT client ERROR длится 2002,866 ms | UTC 06.11: lock 23:48:16, firing/снятие lock 23:48:59 (**43 s**), resolved 23:49:54 (**55 s**). Блокировка сама данные не меняет; полноценный RPO здесь не измерялся |
|
||||
| S3 временно недоступен; [retry](evidence/forward-published/incident-retry.txt) | Одна цепочка из 86 spans показывает retry_scheduled → done, затем DB commit | Сценарий 23:46:51–23:47:04 UTC (≈13 s); принятое вложение ready, отдельное время unavailable не выделено |
|
||||
| PostgreSQL недоступен worker; [JSON](evidence/forward-published/postgres-outage.json) | 12 requeue, delivery-limit=-1; job_id и attempt=1 сохранены, DLQ 0→0, после восстановления done без replay | Targeted case 20,39 s; это время кейса, не точный RTO. Потери принятого задания не обнаружены |
|
||||
| Остановка одной API-реплики; [failover](evidence/forward-published/failover.txt) | 130 writes, 0 failed attempts, подтверждённые данные и сессия сохранились | Первый успешный запрос после воздействия через 2,876 s; restore завершился за 3,660 s |
|
||||
| Рестарт приложений и business stores; [persistence](evidence/forward-published/persistence.txt) | Сессия и подтверждённые данные сохранены; volumes не удаляются | 14,386 s на весь сценарий; отдельный RTO не измерен |
|
||||
| Остановка Prometheus/Loki/Tempo; **исторический** [storage](evidence/grade4/storage-incident.txt), неизменные механизмы | Smoke PASS, 74 успешных probes; queue logs/metrics/traces=381/1287/465, после recovery 0/0/0; Collector без наблюдаемого OOM | UTC 06.11: 18:14:29–18:16:16 (**107 s**), проверка закончилась 18:16:39. 72/74 traces найдены, **2 потеряны**; RAM 252,7/256 MiB (98,7%) |
|
||||
| Остановка Collector / рестарт telemetry stores; **исторический** [recovery](evidence/grade3/telemetry-recovery.txt) | Ready=200, smoke PASS, ранее сохранённая история доступна | API shutdown 4,592 s, exit 0; 7/7 прежних spans и лог найдены после рестарта |
|
||||
|
||||
| Вариант | Геометрия | v1, байт | v2, байт | SHA v1 / v2 |
|
||||
Первый инцидент диагностируется по растущим depth/age при отсутствии обработки: после возврата worker backlog исчезает, значит узкое место — consumer. Во втором 503 server span содержит PostgreSQL client ERROR около 2 s, при этом pool waiting=0: причина в выполнении SQL, а не в очереди пула или просто медленном HTTP handler. Снятие lock и последующий resolved подтверждают гипотезу. Это разбор сохранённых наблюдений контролируемых отказов; слепой runbook-прогон другого оператора (трек 2) не заявлен.
|
||||
|
||||
При отказе telemetry storage retry ограничен 60 s. В сохранённых counters есть 440 failed span exports, 11 log records и 72 metric points; эти единицы не равны числу потерянных запросов/полных трасс. Непосредственный контроль trace IDs показал 2 потерянные трассы из 74 успешных запросов. Рост памяти ограничен наблюдаемым окном и лимитом контейнера; запаса Collector почти нет, бесконечная устойчивость не доказана.
|
||||
|
||||
### Трек 1: цена наблюдаемости
|
||||
|
||||
Гипотеза: head sampling снижает ingest, но теряет важные события; tail sampling оставляет ERROR/slow и уменьшает запись в Tempo, сохраняя расходы SDK. Сбалансированный режим должен сохранить контрольные события при меньшей записи обычных traces и более редком экспорте метрик.
|
||||
|
||||
Измеряемый SHA: `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`, image ID `sha256:66c7d75903f514e14fea21689d039eeba1d9d85a0d27ef3d70d4ab41288e2f6d`. Серии выполнены 06–07.11.2026 UTC. Нагрузка — GET `/api/v1/users/me` по одному созданному для серии пользователю/сессии; это HTTP/DB-профиль, не массовый рендер изображений. Существующие volumes между режимами сохраняются, полный размер БД не нормировался. Условия, host load и список контейнеров сохранены в [conditions-start.json](evidence/forward-published/cost/conditions-start.json), снимках каждого круга и raw JSON. В снимках других Docker projects нет; эксклюзивность всего host не заявляется.
|
||||
|
||||
| Режим | SDK / выбор traces | Метрики |
|
||||
| --- | --- | --- |
|
||||
| off | SDK полностью выключен | Нет метрик приложения; self-scrapes storage продолжаются |
|
||||
| on | Все server roots и их дочерние spans | Каждые 10 s |
|
||||
| head | ParentBased root ratio 10% | Каждые 10 s |
|
||||
| tail | Все spans до Collector; сохранить ERROR, latency ≥300 ms, 10% остальных | Каждые 10 s |
|
||||
| balanced | Все spans до Collector; ERROR, latency ≥300 ms, 5% остальных | Каждые 30 s |
|
||||
|
||||
По три повтора каждого режима, последовательно off/on/head/tail/balanced. 20 прогревочных GET и 35 s ожидания экспорта; затем **40 s open-loop, 20 arrivals/s, 800 запросов**, максимум 64 клиентских потока. В каждой серии 768 обычных, 16 ожидаемых 503 и 16 задержек 350 ms; после — 35 s drain. Всего **12 000 запросов**, 11 760 ожидаемых 200 и 240 намеренных 503, **0 неожиданных ответов**. Фактическая скорость 20,012–20,020 req/s; максимум schedule lag 61,055 ms. Это заданная нагрузка, не поиск предельного throughput.
|
||||
|
||||
Команда серии и разбор всех параметров — [method.md](evidence/forward-published/cost/method.md). CPU: delta cgroup CPU time / длительность внешних samples; RAM: working set usage−inactive_file, 21 sample с периодом около 2 s. Application = API/relay/worker; observability = Collector/Prometheus/Loki/Tempo/Grafana; business stores/LB считаются отдельно. CPU-окно охватывает нагрузку, но не всю работу tail во время drain. Ingest включает drain; bytes Tempo/Loki и samples Prometheus не складываются в одну единицу.
|
||||
|
||||
Медианы трёх повторов; диапазон normal p95 — min/max, не доверительный интервал. Общие p50/p95/p99 посчитаны клиентом по всем категориям, поэтому p99 отражает вброшенную задержку.
|
||||
|
||||
| Режим | p50 / p95 / p99, ms | normal p95, ms [min;max] | CPU app / obs / stores+LB, cores | RAM app / obs / stores+LB, MiB (median peak) |
|
||||
| --- | --- | --- | --- | --- |
|
||||
| crop | 128×128 | 1820 | 2142 | `97bf1400b30a28c1` / `5b6fb2a66216f8ca` |
|
||||
| optimized | 320×200 | 2462 | 2790 | `1090d84ed8411226` / `fe520c978bd45fc8` |
|
||||
| thumbnail | 256×160 | 4679 | 5628 | `7bc40bf315c8e18e` / `fa0db661078d4da9` |
|
||||
| off | 8,052 / 12,102 / 358,732 | 11,583 [11,572;11,856] | 0,1404 / 0,0256 / 0,1085 | 655,5 / 1013,3 / 419,9 |
|
||||
| on | 7,460 / 13,148 / 359,469 | 12,709 [12,554;12,993] | 0,1726 / 0,0287 / 0,1030 | 706,8 / 1058,5 / 425,5 |
|
||||
| head | 9,195 / 13,116 / 358,373 | 12,556 [12,354;12,652] | 0,1657 / 0,0261 / 0,1023 | 723,8 / 1076,1 / 347,1 |
|
||||
| tail | 8,942 / 13,281 / 359,109 | 12,781 [12,555;12,920] | 0,1717 / 0,0272 / 0,1026 | 721,0 / 1021,2 / 430,6 |
|
||||
| balanced | 8,269 / 13,230 / 359,753 | 12,895 [12,833;13,031] | 0,1749 / 0,0258 / 0,1030 | 707,1 / 1027,9 / 423,1 |
|
||||
|
||||
Разница вызвана quality JPEG/WebP, не изменением геометрии; больший файл не является измерением визуального качества. На D в этой матрице не обнаружены потеря 202, второй эффект, откат ready или замена v2 старой job. Это ограниченное подтверждение гипотезы, не exactly-once доставка: commit и подтверждение брокеру не атомарны, поэтому повторная доставка остаётся нормальным исходом сбоя.
|
||||
Фактические лимиты: API 2×(1 CPU/512 MiB), relay 0,5 CPU/192 MiB, worker 2 CPU/1 GiB; Collector 0,5/256 MiB, Prometheus 0,5/512 MiB, Loki/Tempo/Grafana каждый 0,5/384 MiB; PostgreSQL 2/768 MiB, S3 1/512 MiB, RabbitMQ 1/512 MiB, Valkey 0,5/128 MiB, LB 1/128 MiB. **PG_MEMORY в измерении 768m, в `.env.example` — 1g**: для повторения именно этих условий задайте `PG_MEMORY=768m` до `make up`. Остальные значения сверяйте с [runtime.json](evidence/forward-published/runtime.json).
|
||||
|
||||
**Условия.** Darwin arm64, 16 CPU; Docker 28.3.2, VM 16 CPU / 8 217 190 400 байт RAM. Project `mtusi2026lab5`, образ `mtusi-messenger:lab5-forward`, ports 18085/25085/25086; volumes между повторами сохранены. Fault override: lease 5 с, backoff 1 с, outbox poll 0.5 с, sweep 1 с, stall 15 с. [conditions-before.json](evidence/forward-final-2026-11-06/conditions-before.json) и [conditions-track-start.json](evidence/forward-final-2026-11-06/conditions-track-start.json) не показывают других Docker projects в моменты снимков; непрерывного мониторинга CPU хоста нет. Фоновая нагрузка этого этапа не запускалась, ресурсная изоляция производительности не доказана.
|
||||
| Режим | Tempo / Loki, KiB (median) | Prom samples (median) | SDK ended / sent spans (median) | Найдено normal /2304 | error /48 | slow /48 |
|
||||
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
|
||||
| off | 0,0 / 0,0 | 33118 | 0 / 0 | 0 | 0 | 0 |
|
||||
| on | 1662,2 / 288,3 | 36284 | 5489 / 5489 | 2304 | 48 | 48 |
|
||||
| head | 176,2 / 288,4 | 37234 | 543 / 543 | 237 | 6 | 3 |
|
||||
| tail | 251,8 / 289,7 | 36657 | 5492 / 699 | 235 | 48 | 48 |
|
||||
| balanced | 130,2 / 289,8 | 34459 | 5486 / 352 | 101 | 48 | 48 |
|
||||
|
||||
У run2/3 UTC-интервалы и монотонные elapsed расходятся: 1161.195/186.458 с и 571.513/180.259 с; у run1 — 181.175/181.089 с. Причина не установлена. Эти длительности исключены из SLO, RPS, сравнений производительности и оценок разброса — [clock-observation.json](evidence/forward-final-2026-11-06/clock-observation.json). Трек 2 проверяет идемпотентность, а не throughput; пригодные функциональные серии не требуется повторять из-за спорного времени.
|
||||
Во всех пригодных сериях **SDK ended = Collector accepted**, exporter failures=0. Head намеренно не создал 42/48 error и 45/48 slow server traces; число несозданных дочерних spans неизвестно и не выдумывается. Tail/balanced фильтруют уже созданные spans; accepted−sent здесь не означает неисправность доставки. Off означает отключение SDK. В режиме on найдены все 2400 server traces трёх повторов.
|
||||
|
||||
Предыдущие 39/174 на `9ba3076fa8ba707de932e053fc22f455d83b3210` — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: [старые результаты](evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md). Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые `evidence/level3.json`, `level4.json` и старые логи относятся к коду до SQLAlchemy и не подтверждают R.
|
||||
**Balanced снизил медианный Tempo ingest на 92,2% относительно on**, сохранив 48/48 error и 48/48 slow. Loki почти не изменился; Prometheus включает постоянный фон self-scrapes. Normal p95 у on выше off примерно на 1,127 ms (+9,7%), CPU приложения — 0,1726 против 0,1404 cores; это описательные разности данного опыта, не доказательство статистической значимости. Balanced не устраняет цену SDK и не показал ускорения HTTP. Проверенная рекомендация относится к сокращению записи traces при этом профиле и окне решения tail 10 s.
|
||||
|
||||
## Ограничения
|
||||

|
||||
|
||||
Семь minor последнего независимого ревью M сохранены без исправления; они не блокируют отчёт или передачу следующей фазе. Новый minor JobMessage передан координатором в результате `lab5-release-load0-round1`; в отчётном этапе его offline-пробы не повторялись:
|
||||
[Сырые серии и comparison.json](evidence/forward-published/cost/comparison.json), [сводка](evidence/forward-published/cost/results.md), [аудит пригодности](evidence/forward-published/cost/measurement-audit.json). Первоначальные on-3/head-3 (ещё 1600 запросов) исключены из сравнения из-за разрывов wall clock: 932,714 s после нагрузки и 938,154 s вместо 40 s, gap samples до 900,354 s. Их HTTP PASS не означает пригодность CPU/ingest. Оригиналы с hashes сохранены в [invalid-series.json](evidence/forward-published/cost/invalid-series.json) и [invalid-time-gap](evidence/forward-published/cost/invalid-time-gap); повторены только эти две серии. Причина разрыва времени достоверно не установлена.
|
||||
|
||||
| Файл | Ограничение / доказательство |
|
||||
| --- | --- |
|
||||
| `src/messenger/attachments/application/pipeline.py:230` | `after_publish_before_confirm` вызывается после `publish()`, уже получившего Basic.Ack. `crash_publish_confirm` проверяет окно после confirm до COMMIT outbox, а не потерю confirm. См. [findings.json](evidence/review-trns-depth-2026-11-06/findings.json). |
|
||||
| `scripts/limits.py:10` | Несортированный список secrets сравнивается с отсортированным и даёт два ложных FAIL. [Сохранённый запуск](evidence/sqlalchemy-2026-11-06/grade3/limits.txt) имеет exit_code=1; PASS ему не присваивается. |
|
||||
| `scripts/reconcile_track.py:396` | Демонстратор ждёт upload 201 и `attachments/` из ЛР4; для ЛР5 с 202 непригоден и в квалификации не используется. См. [findings.json](evidence/forward-final-2026-11-06/findings.json). |
|
||||
| `src/messenger/attachments/application/pipeline.py:304` | Failed upgrade v2 при ready v1 нельзя отдельно повторить replay/reprocess; v1 остаётся доступной. Проверка `test_failed_new_version_keeps_ready_original` — [student-test.txt](evidence/forward-final-2026-11-06/student-test.txt). |
|
||||
| `evidence/forward-final-2026-11-06/clock-observation.json` | Расхождение часов в run2/3; время не используется для performance-выводов. |
|
||||
| `openspec/config.yaml:130` | Унаследованное design-правило указывает upload 201 вместо нормативного 202. Конфиг вне scope отчётной фазы. |
|
||||
| `src/messenger/attachments/entrypoints/schemas.py:67` | Модель допускает `attempt="1"`, `pipeline_version=true`, числовой `created_at` и `traceparent=null` вне `jobs.schema.json`. В четырёх offline-пробах ревью вызваны bus/ack, reject=0. Штатный relay формирует корректные сообщения; критичного последствия не установлено. [Источник и границы проверки](evidence/report-memory-audit-2026-11-07.md). |
|
||||
Проверенный запуск balanced:
|
||||
|
||||
Один host, один PostgreSQL, S3 и узел quorum RabbitMQ не обеспечивают HA. Инфраструктурные redelivery теперь не ограничены числом доставок и при долгом отказе создают повторные обращения/логи; прикладные ошибки после claim ограничены. SIGTERM во время обработки может задержать повтор до истечения аренды. Replay сбрасывает attempt с audit и не ограничивает число ручных запусков. Три повтора не покрывают все чередования событий. Уже опубликованные ready-объекты автоматически новым renderer не переписываются; RGB16+tRNS зависит от tile rawmode Pillow и требует регрессий при обновлении.
|
||||
```sh
|
||||
OTEL_COLLECTOR_CONFIG=collector-balanced.yaml OTEL_METRIC_EXPORT_INTERVAL=30000 scripts/lab6.sh docker compose up -d --no-deps --wait otel-collector api relay worker
|
||||
```
|
||||
|
||||
`openspec/config.yaml` проверен, но не изменён: разрешённый scope отчётной фазы исключает конфиги и OpenSpec. Он уже содержит SQLAlchemy/Alembic и контекст ЛР5; в унаследованном правиле design осталось `201` для PostgreSQL+S3. Для upload ЛР5 нормативен `202` после staging и COMMIT, как в `contracts/`. Эта документационная неточность не меняет HTTP-реализацию.
|
||||
После опытов возвращены SDK on/ratio1/interval10s, `collector.yaml`, `COST_EXPERIMENT=false`: [defaults-restored.json](evidence/forward-published/defaults-restored.json). Стенд остановлен без удаления данных, 9 volumes сохранены: [shutdown.txt](evidence/forward-published/shutdown.txt), [closure.json](evidence/forward-published/closure.json). Это зафиксированное состояние окончания реализации, не новое обращение отчётного этапа к Docker.
|
||||
|
||||
## Историческая validation V: завершённые проверки и исходный major
|
||||
### Финальная validation перед публикацией
|
||||
|
||||
Аудит по README, измеренному SHA, diff, конфигурации, ресурсам, dataset, повторам и сырью — [load-validation.md](evidence/load-validation.md). Три пригодных функциональных track2-повтора приняты, вся матрица повторно не запускалась. Изменение только документации не аннулирует эти свидетельства. Новых SLO/throughput-обещаний нет: выбран трек 2.
|
||||
На входном HEAD `1e00d861a803a6d49ef443175b8231cbf048fc02` аудит подтвердил применимость всех 15 серий: runtime и измеритель совпадают с прошедшим ревью кодом. Все raw JSON и comparison пересчитаны, временные окна и hashes исключённых оригиналов проверены. **Нагрузку повторно не запускали.** [Аудит](evidence/load-validation.md) содержит решение по каждой серии, конфигурации, dataset, фону и ограничениям.
|
||||
|
||||
| Проверка на V | Реальный результат | Доказательство |
|
||||
Свежие `make check validate lint` и OpenSpec strict (26 specs) прошли. Свежий полный `make student-test` завершился с 993 passed, 2 skipped, 19 deselected и 2 ошибками подготовки RustFS. В окружении был системный прокси macOS без обхода localhost; только два затронутых теста повторены штатной обвязкой с `NO_PROXY`: 2 passed. Полный первый запуск не объявляется PASS; оба лога сохранены. Код и прежние сырые измерения не менялись; публикация в фазе validation не выполнялась.
|
||||
|
||||
## Ограничения и следующие шаги
|
||||
|
||||
Ревью `6ca1c7549978af3127966540385195ab0587f2e1` не выявило major. Пять minor сохранены; по правилу пользователя они не блокируют отчёт/release и в документационном этапе не исправляются:
|
||||
|
||||
| ID | Ограничение и последствие | Файлы / доказательства |
|
||||
| --- | --- | --- |
|
||||
| `make check validate lint`, OpenSpec | PASS; 22 спецификации, changes=[] | [checks](evidence/final-validation-2026-11-07/checks.txt), [OpenSpec](evidence/final-validation-2026-11-07/openspec.txt) |
|
||||
| Сборка и публичный `make test` | PASS; образ содержит reviewed images.py, версии закреплены | [build](evidence/final-validation-2026-11-07/build.txt), [runtime](evidence/final-validation-2026-11-07/image-runtime.txt), [smoke](evidence/final-validation-2026-11-07/smoke.txt) |
|
||||
| Policy на существующем volume и реальная остановка PostgreSQL | PostgreSQL `9f62ea9d176b` exited; 12 `job.requeued`; без replay ready с той же job и attempt=1; DLQ осталась 15; 8 инвариантов PASS. Сценарий 21.815 с, вся команда 27.330 с; принятое вложение сохранено | [команда](evidence/final-validation-2026-11-07/postgres-outage-retry.txt), [JSON](evidence/final-validation-2026-11-07/postgres-outage-retry.json) |
|
||||
| tRNS HTTP v1/v2, exact neighbor, Adam7/filter/EXIF | 8 изображений, 48 побайтных сравнений вариантов с независимым белым эталоном; исходник, metadata/hash/размеры, stale/duplicate noop; 8 инвариантов PASS | [команда](evidence/final-validation-2026-11-07/png-http.txt), [JSON](evidence/final-validation-2026-11-07/png-http.json) |
|
||||
| Адресные duplicate/reorder/fencing, COMMIT/ack, malformed/DLQ, exhaustion/replay | 12 сценариев, 8 инвариантов PASS, 11 ID / 47 объектов; одна ожидаемая новая DLQ от malformed | [команда](evidence/final-validation-2026-11-07/delivery-targeted.txt), [JSON](evidence/final-validation-2026-11-07/delivery-targeted.json) |
|
||||
| PNG tRNS 8000×5000 при 448 MiB / 30 с | **4 FAIL**: grayscale 2/4/16 и RGB16 получили 202 → failed/processing_failed, attempt=1. Штатный ready-сценарий не пройден | [команда](evidence/final-validation-2026-11-07/png-limits.txt), [JSON](evidence/final-validation-2026-11-07/png-limits.json), [fixtures](evidence/final-validation-2026-11-07/fixtures) |
|
||||
| Принудительные timeout/memory и последующее обычное задание | PASS; worker остаётся жив, обычное задание ready. Это не отменяет четыре FAIL выше | [png-limits.json](evidence/final-validation-2026-11-07/png-limits.json) |
|
||||
| Повторная read-only сверка после staging sweep | PASS; нет pending outbox/staging/nonterminal/дублей, 10 объектов совпали с БД для 7 ID. Исходный ранний no_orphans FAIL сохранён | [cleanup-recheck](evidence/final-validation-2026-11-07/cleanup-recheck.json) |
|
||||
| M1 | Loki leak-check ищет маркеры через line filter, но не во всех attributes/structured metadata. Нулевые hits — ограниченная проверка, не полный аудит отсутствия секретов. Фактическая утечка не обнаружена | [obs_check.py](scripts/obs_check.py), [telemetry.py](src/messenger/shared/infrastructure/telemetry.py), [leaks](evidence/forward-published/telemetry-leaks.txt) |
|
||||
| M2 | Унаследованные allowlists `make limits` и published-port audit CI не учитывают OTel/helper services и отклоняют штатную ЛР6. Весь CI не объявляется зелёным; лимиты проверены отдельно | [limits.py](scripts/limits.py), [workflow](.github/workflows/application.yml), [runtime](evidence/forward-published/runtime.json) |
|
||||
| M3 | API SLI не учитывает 503 HAProxy, rate новой серии может пропустить первый всплеск. Полная пауза БД не вызвала alert; успешен именно отдельный SQL-lock сценарий | [alerts](infra/prometheus/rules/messenger.alerts.yml), [неуспешный старый опыт](evidence/grade4/database-incident.txt), [свежий SQL-lock](evidence/forward-published/incident-database.txt) |
|
||||
| M4 | Collector достиг 98,7% лимита (252,7/256 MiB) без наблюдаемого OOM. Запас мал; опыт не доказывает устойчивость при любой нагрузке/длительности отказа | [collector.yaml](infra/otel/collector.yaml), [compose](compose.yaml), [storage](evidence/grade4/storage-incident.txt) |
|
||||
| M5 | Whitespace в SVG и сыром stdout: ревью получило `git show --check` exit 2, 2320 замечаний. Это косметика артефактов; `make lint` исходников проходит | [comparison.svg](evidence/forward-published/cost/comparison.svg), [whitespace-check.txt](evidence/forward-published/whitespace-check.txt) |
|
||||
|
||||
**Исходный major на V:** объявленный [OpenSpec-сценарий PNG на пределе пикселей](openspec/specs/lab5-image-variants/spec.md) требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. [Linux-пробник с импортами worker](evidence/final-validation-2026-11-07/resource-probe-worker.txt) воспроизводит MemoryError в `images.py`: grayscale 2/4 — белый RGB-фон, grayscale16 — `I → L`, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены.
|
||||
Полный текст и происхождение замечаний — [review-summary.md](evidence/review-summary.md). Улучшения охвата leak-check, CI allowlists, edge SLI и запаса памяти остаются будущей работой; результат их реализации не заявлен.
|
||||
|
||||
Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый [findings.json](evidence/final-validation-2026-11-07/findings.json) сохраняет исходный major и шесть minor как историю; он не перезаписывается. Динамическое закрытие major подтверждено новым прогоном F ниже; исходные FAIL V сохранены.
|
||||
Дополнительные границы: один host, одиночные PostgreSQL/RabbitMQ/S3/Collector и локальные volumes, без HA этих компонентов и disaster recovery. Сбой узла и удаление volumes не покрыты. TLS/mTLS, внешние receivers alerts и multi-window burn-rate относятся к другим задачам. Три повтора, фиксированный порядок, общий host и накопленная история storage ограничивают выводы о CPU/RAM/latency; CPU во время drain и непрерывный пик RAM не измерены. Tail window 10 s не гарантирует полноту очень поздних retry. Queue gauge — durable backlog; time-to-ready SLI не включает pending; process CPU не включает renderer. Full suite имеет 2 macOS skip и 19 deselected stack, поэтому дополнен targeted Docker evidence, но не выдаётся за исполнение всех тестов.
|
||||
|
||||
Первый outage-прогон невалиден: `docker compose start worker` автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — [RESULTS](evidence/final-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. Runtime M дополнительно проверен динамически на F ниже; публикация остаётся отдельной фазой. Push и Telegram не выполнялись.
|
||||
|
||||
## Исправление M и завершённая адресная validation F
|
||||
|
||||
[Результаты исправления](evidence/review-png-memory-2026-11-07/RESULTS.md) сохраняют четыре ожидаемых FAIL регрессии на исходном renderer и PASS после изменения. Счётчик одновременно живущих pixel buffers на 1025×769 дал:
|
||||
|
||||
| PNG tRNS | До, байт | После, байт |
|
||||
| --- | ---: | ---: |
|
||||
| grayscale 2 | 7 882 250 | 4 596 485 |
|
||||
| grayscale 4 | 7 882 250 | 4 596 485 |
|
||||
| grayscale 16 | 7 882 250 | 5 384 710 |
|
||||
| RGB16 | 9 458 700 | 5 517 575 |
|
||||
|
||||
Это модель pixel buffers, не RSS, виртуальная память процесса или проверка 40 Мп под Linux. До — [regression-before.txt](evidence/review-png-memory-2026-11-07/regression-before.txt), после — [offline-tests.txt](evidence/review-png-memory-2026-11-07/offline-tests.txt). Сохранённые 440 + 20 passed и 132 идентичных варианта подтверждают offline-часть. Независимое ревью M по данным координатора повторило 460 проверок с двумя Linux-only skips и не обнаружило major в доступной области. Его семь minor перечислены выше.
|
||||
|
||||
Адресная validation F выполнена после независимого review M. Runtime совпадает с M; от V изменён только renderer, поэтому PostgreSQL outage, delivery subset и три полных track2-повтора приняты без повторения. Аудит применимости — [load-validation](evidence/load-validation.md), команды и методика — [RESULTS](evidence/final-memory-validation-2026-11-07/RESULTS.md).
|
||||
|
||||
| Критерий / команда | Результат F | Доказательство |
|
||||
| --- | --- | --- |
|
||||
| `linux-runner.py`: импорты worker, RLIMIT_AS=448 MiB, 30 с | Четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2, обычный render после каждого — PASS; два параллельных RGB16 render — PASS | [команда](evidence/final-memory-validation-2026-11-07/linux.txt), [JSON](evidence/final-memory-validation-2026-11-07/linux.json) |
|
||||
| `targeted.py png-boundary`: LB/API/relay/broker/worker | 8 сценариев / 8 инвариантов PASS; 202 → ready, original/bytes/hash/геометрия/tRNS, v2, stale/duplicate noop; 11 ID / 59 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-boundary.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
|
||||
| Два одновременных HTTP jobs, v1/v2 | Перекрытие claimed→done; peak worker 885 428 224 байт (844.41 MiB) / 1 GiB; OOM=0 | [concurrent-rgb16](evidence/final-memory-validation-2026-11-07/png-boundary.json) |
|
||||
| Принудительные 0.01 с / 200 MiB и следующие обычные задания | Два ожидаемых failed/processing_failed, worker жив; после каждого обычная загрузка ready; штатные 448 MiB/30 с/concurrency=2 восстановлены | [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json), [условия после](evidence/final-memory-validation-2026-11-07/conditions-after.json) |
|
||||
| `targeted.py png-http`: точный tRNS, Adam7/filter=4/EXIF=6 | 8 fixtures / 48 сравнений v1/v2 с независимым эталоном, 8 инвариантов PASS; 8 ID / 56 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-http.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-http.json) |
|
||||
| Sweep и SQL/S3 inventory обеих серий | Нет pending outbox/staging/дублей для новых ID; 19 ID / 115 объектов согласованы. Историческая DLQ=16 не выросла | Инварианты в двух JSON выше |
|
||||
|
||||
Все 30 SHA пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Peak RSS Linux-процесса — 342 956–406 312 KiB; это не cgroup memory и не виртуальный адресный предел. Диагностический параллельный пробник с дополнительным управляющим процессом дал cgroup peak 1 026 285 568 байт; он отделён от штатных HTTP jobs. Все memory.events=0. Исходные четыре FAIL V закрыты новым динамическим PASS F при неизменных лимитах.
|
||||
|
||||
Условия F: тот же project и сохранённые volumes, Docker VM 16 CPU / 8 217 190 400 байт, worker 2 CPU / 1 GiB. В снимках нет чужих контейнеров; специальный фон не запускался, непрерывного контроля хоста нет. Throughput/SLO не заявляются. [Начальные условия](evidence/final-memory-validation-2026-11-07/conditions.json), [итоговые](evidence/final-memory-validation-2026-11-07/conditions-after.json). Стенд F остановлен через `make down` без `-v`: [команда](evidence/final-memory-validation-2026-11-07/down.txt), [пустой project](evidence/final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](evidence/final-memory-validation-2026-11-07/retained-volumes.txt). Push и Telegram не выполнялись.
|
||||
Старые `grade3`, `grade4`, `track5`, `level3.json` привязаны к своим SHA в [индексе](evidence/README.md); прежние 519 passed и −91,1% Tempo не являются результатом позднего кода. Неуспешные/прерванные smoke, retry, persistence, тесты и измерения сохранены и размечены в исторических notes. Новый clean-clone и динамический прогон в отчётном этапе не выполнялись. Сырые evidence, OpenSpec и реализация не менялись. Конфигурация OpenSpec уже актуальна; новая proposal/apply/archive для документационного этапа не создавалась по его явному ограничению на изменения.
|
||||
|
||||
## Вопросы защиты
|
||||
|
||||
- **Что сохранено к 202?** Проверенный оригинал staging, вложение queued, job и outbox после COMMIT. Быстрота worker не меняет снимок ответа.
|
||||
- **Confirm и ack — в чём разница?** Confirm подтверждает приём брокером; ack подтверждает устойчивый результат обработки. Между ними возможны дубли.
|
||||
- **Почему дубль безопасен?** Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты.
|
||||
- **Как отличить долгую работу от смерти?** Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token.
|
||||
- **Почему v1 не затирает v2?** Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2.
|
||||
- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M подтверждено Linux/HTTP на F. Validation завершена; публикация требует отдельной фазы.
|
||||
1. **Чем отличаются три сигнала?** Метрика показывает рост error rate/backlog, лог даёт событие и технический ID, trace показывает длительность зависимостей и причинную цепочку.
|
||||
2. **Почему нельзя chat_id в labels?** Число series растёт с чатами и комбинациями labels; память/индекс хранилища расходуются даже при малом RPS. Нужен route template; ID оставляют для выборочного поиска логов/traces.
|
||||
3. **Как связаны API и worker?** W3C carrier сохраняется вместе с durable job/outbox, затем идёт в AMQP headers; consumer извлекает parent, retry сохраняет связь. Сбой relay не стирает контекст из БД.
|
||||
4. **Почему ack после COMMIT?** Ранний ack может потерять работу при падении до commit; поздний допускает повтор, который нейтрализуют effect key и fencing.
|
||||
5. **Почему SQLAlchemy и Alembic?** ORM/Core задают единые транзакции/блокировки и пул, Alembic — упорядоченный head с lock/legacy adoption. OTel asyncpg инструментация наблюдает драйвер под SQLAlchemy, не заменяя его.
|
||||
6. **Почему среднее не заменяет p99?** Редкая задержка скрывается средним; p99 реплик нельзя усреднять. Сначала складываются bucket rates, затем вычисляется quantile.
|
||||
7. **Как отличили DB от медленного handler?** В сохранённом trace SELECT client ERROR около 2 s внутри server 503, pool waiting=0; снятие SQL lock убрало причину и затем alert.
|
||||
8. **Почему head потерял ошибки, а balanced сохранил?** Head решает до исхода, tail — после получения ERROR/duration. Цена tail — создание всех spans и ограниченное ожидание в памяти Collector.
|
||||
9. **Почему наблюдаемость может теряться без потери сообщения?** Её очереди и retry конечны и отделены от бизнес-коммита; 2/74 traces потеряны при продолжающем работать API.
|
||||
10. **Что доказано треком?** Сокращение записи в Tempo на 92,2% с сохранением контрольных событий при 20 req/s. Production capacity, статистическое ускорение и полнота всех поздних retry не доказаны.
|
||||
|
||||
Документация сверена через Context7: [SQLAlchemy 2.0.45 async](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [Alembic 1.16.5 async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst), [FastStream 0.7.2 manual ack](https://github.com/ag2ai/faststream/blob/0.7.2/docs/docs/en/getting-started/acknowledgement.md). API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией.
|
||||
## Источники и помощь
|
||||
|
||||
Нормы: [README](README.md), [контракт наблюдаемости](contracts/observability.md), [API](contracts/openapi.json), [COURSE](COURSE.md). Архитектура портов/UoW — [конспект Персиваля—Грегори](openspec/notes/architecture-patterns-python.md). Код и проверенные конфигурации версионируются в этом репозитории.
|
||||
|
||||
SQLAlchemy async sessions/engine и Alembic async `run_sync` сверены с [SQLAlchemy 2.0](https://docs.sqlalchemy.org/en/20/orm/extensions/asyncio.html) и [Alembic cookbook](https://alembic.sqlalchemy.org/en/latest/cookbook.html#using-asyncio-with-alembic). Context7 в этом этапе ответил `Monthly quota exceeded`, поэтому использована официальная документация; закреплённые версии проекта не обновлялись. Остальные первичные материалы OTel, W3C, Prometheus и Grafana перечислены в README; фактические имена/настройки сверены с локальным кодом и evidence.
|
||||
|
||||
Codex использован как инструмент подготовки реализации, проверок, анализа и отчёта; автор работы — Костылев Артём. Независимое ревью получено отдельным этапом runner. Динамические результаты в этом документе — сохранённые измерения исполнителей, а не повторные прогоны агента отчёта.
|
||||
|
||||
@@ -0,0 +1,19 @@
|
||||
import sqlalchemy as sa
|
||||
from alembic import op
|
||||
from sqlalchemy.dialects.postgresql import JSONB
|
||||
|
||||
revision = "0007_trace_context"
|
||||
down_revision = "0006_attachment_quarantine"
|
||||
branch_labels = None
|
||||
depends_on = None
|
||||
|
||||
|
||||
def upgrade() -> None:
|
||||
for table in ("jobs", "outbox"):
|
||||
op.add_column(
|
||||
table, sa.Column("trace_context", JSONB(), nullable=False, server_default="{}")
|
||||
)
|
||||
|
||||
|
||||
def downgrade() -> None:
|
||||
raise RuntimeError("Downgrade would delete trace correlation data")
|
||||
@@ -1,7 +1,7 @@
|
||||
# Topology worksheet, deliberately NOT a runnable stack (no application supplied).
|
||||
# Implement compose.yaml or stack.yaml; do not submit this empty file as deployment.
|
||||
# Service names below are logical roles, not imposed container names.
|
||||
x-lab-number: 5
|
||||
x-lab-number: 6
|
||||
x-required-roles:
|
||||
- api
|
||||
- postgres
|
||||
@@ -9,6 +9,9 @@ x-required-roles:
|
||||
- s3
|
||||
- broker
|
||||
- worker
|
||||
- otel_collector
|
||||
- telemetry_storage
|
||||
- grafana
|
||||
# TODO: implement real images/builds, network wiring, volumes, healthchecks,
|
||||
# credentials and bootstrap. Details: contracts/infrastructure.json and README.md.
|
||||
services: {}
|
||||
|
||||
+197
-5
@@ -44,8 +44,34 @@ x-pipeline: &pipeline
|
||||
broker:
|
||||
condition: service_healthy
|
||||
|
||||
x-otel-env: &otel-env
|
||||
OTEL_TRACE_RATIO: ${OTEL_TRACE_RATIO:-1}
|
||||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||||
OTEL_EXPORTER_OTLP_ENDPOINT: ${OTEL_EXPORTER_OTLP_ENDPOINT:-http://otel-collector:4318}
|
||||
OTEL_EXPORTER_OTLP_PROTOCOL: ${OTEL_EXPORTER_OTLP_PROTOCOL:-http/protobuf}
|
||||
OTEL_EXPORTER_OTLP_TIMEOUT: ${OTEL_EXPORTER_OTLP_TIMEOUT:-2}
|
||||
OTEL_RESOURCE_ATTRIBUTES: ${OTEL_RESOURCE_ATTRIBUTES:-deployment.environment.name=lab}
|
||||
OTEL_SEMCONV_STABILITY_OPT_IN: http
|
||||
OTEL_METRIC_EXPORT_INTERVAL: ${OTEL_METRIC_EXPORT_INTERVAL:-10000}
|
||||
OTEL_BSP_MAX_QUEUE_SIZE: ${OTEL_BSP_MAX_QUEUE_SIZE:-2048}
|
||||
OTEL_BLRP_MAX_QUEUE_SIZE: ${OTEL_BLRP_MAX_QUEUE_SIZE:-2048}
|
||||
TELEMETRY_SHUTDOWN_SECONDS: ${TELEMETRY_SHUTDOWN_SECONDS:-2}
|
||||
|
||||
x-obs-logging: &obs-logging
|
||||
driver: json-file
|
||||
options:
|
||||
max-size: 10m
|
||||
max-file: "3"
|
||||
|
||||
x-obs-hardening: &obs-hardening
|
||||
restart: unless-stopped
|
||||
stop_grace_period: 10s
|
||||
cap_drop: [ALL]
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
logging: *obs-logging
|
||||
|
||||
x-pipeline-env: &pipeline-env
|
||||
<<: *s3-env
|
||||
<<: [*s3-env, *otel-env]
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
BROKER_URL_FILE: /run/secrets/broker_url
|
||||
DB_POOL_MAX_SIZE: ${PIPELINE_DB_POOL_MAX_SIZE:-4}
|
||||
@@ -90,8 +116,8 @@ services:
|
||||
API_SERVER_MAXCONN: ${API_SERVER_MAXCONN:-64}
|
||||
volumes: [./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro]
|
||||
ports:
|
||||
- "127.0.0.1:${LB_HTTP_PORT:-18085}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-25085}:8404"
|
||||
- "127.0.0.1:${LB_HTTP_PORT:-18086}:8080"
|
||||
- "127.0.0.1:${LB_STATS_PORT:-26085}:8404"
|
||||
networks: [edge, backend]
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"]
|
||||
@@ -116,12 +142,14 @@ services:
|
||||
<<: *app
|
||||
build: .
|
||||
environment:
|
||||
<<: *s3-env
|
||||
<<: [*s3-env, *otel-env]
|
||||
OTEL_SERVICE_NAME: ${OTEL_SERVICE_NAME:-messenger-api}
|
||||
DATABASE_URL_FILE: /run/secrets/database_url
|
||||
CACHE_URL_FILE: /run/secrets/cache_url
|
||||
CURSOR_SECRET_FILE: /run/secrets/cursor_secret
|
||||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||||
IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400}
|
||||
COST_EXPERIMENT: ${COST_EXPERIMENT:-false}
|
||||
WEB_CONCURRENCY: ${WEB_CONCURRENCY:-2}
|
||||
DB_POOL_MAX_SIZE: ${DB_POOL_MAX_SIZE:-8}
|
||||
REQUEST_TIMEOUT_SECONDS: ${REQUEST_TIMEOUT_SECONDS:-8}
|
||||
@@ -326,7 +354,7 @@ services:
|
||||
security_opt: ["no-new-privileges:true"]
|
||||
cap_drop: [ALL]
|
||||
ports:
|
||||
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-25086}:15672"
|
||||
- "127.0.0.1:${BROKER_MANAGEMENT_PORT:-26086}:15672"
|
||||
networks: [backend, edge]
|
||||
volumes:
|
||||
- broker-data:/var/lib/rabbitmq
|
||||
@@ -354,6 +382,7 @@ services:
|
||||
command: ["python", "-m", "messenger.relay"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
OTEL_SERVICE_NAME: messenger-relay
|
||||
OUTBOX_POLL_SECONDS: ${OUTBOX_POLL_SECONDS:-1}
|
||||
SWEEP_INTERVAL_SECONDS: ${SWEEP_INTERVAL_SECONDS:-5}
|
||||
secrets:
|
||||
@@ -371,6 +400,7 @@ services:
|
||||
command: ["python", "-m", "messenger.worker"]
|
||||
environment:
|
||||
<<: *pipeline-env
|
||||
OTEL_SERVICE_NAME: messenger-worker
|
||||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2}
|
||||
RENDER_TIMEOUT_SECONDS: ${RENDER_TIMEOUT_SECONDS:-30}
|
||||
RENDER_MEMORY_MB: ${RENDER_MEMORY_MB:-448}
|
||||
@@ -398,6 +428,161 @@ services:
|
||||
resources:
|
||||
limits: {cpus: "${K6_CPUS:-2}", memory: "${K6_MEMORY:-512m}"}
|
||||
|
||||
healthtools:
|
||||
image: busybox:1.37.0-musl@sha256:5cec3fc171c87218698e85a52af7087de727372aae264a787b8112901a5b0092
|
||||
command: ["cp", "/bin/busybox", "/hc/busybox"]
|
||||
restart: "no"
|
||||
network_mode: none
|
||||
volumes:
|
||||
- healthtools:/hc
|
||||
logging: *obs-logging
|
||||
|
||||
otel-collector:
|
||||
<<: *obs-hardening
|
||||
image: otel/opentelemetry-collector-contrib:0.163.2@sha256:7f22d2a6748110ffb6a59bc0df448bccbf501cdb667d610ede4c61d3863d5849
|
||||
command: ["--config=/etc/otelcol/${OTEL_COLLECTOR_CONFIG:-collector.yaml}"]
|
||||
networks: [backend, edge]
|
||||
environment:
|
||||
GOMEMLIMIT: 200MiB
|
||||
volumes:
|
||||
- ./infra/otel:/etc/otelcol:ro
|
||||
- healthtools:/hc:ro
|
||||
depends_on:
|
||||
healthtools:
|
||||
condition: service_completed_successfully
|
||||
healthcheck:
|
||||
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:13133/"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 6
|
||||
start_period: 10s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 256M}
|
||||
|
||||
prometheus:
|
||||
<<: *obs-hardening
|
||||
image: prom/prometheus:v3.15.1@sha256:fa3302279710be2f21a8301ec17a8b4f2301fd829bd113839b3b6b02b6f191a2
|
||||
command:
|
||||
- --config.file=/etc/prometheus/prometheus.yml
|
||||
- --storage.tsdb.path=/prometheus
|
||||
- --storage.tsdb.retention.time=${PROMETHEUS_RETENTION:-7d}
|
||||
- --storage.tsdb.retention.size=1GB
|
||||
- --web.enable-otlp-receiver
|
||||
- --enable-feature=exemplar-storage
|
||||
networks: [backend, edge]
|
||||
volumes:
|
||||
- ./infra/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro
|
||||
- ./infra/prometheus/rules:/etc/prometheus/rules:ro
|
||||
- prometheus-data:/prometheus
|
||||
ports:
|
||||
- "127.0.0.1:${PROMETHEUS_PORT:-26090}:9090"
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:9090/-/ready"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 6
|
||||
start_period: 15s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 512M}
|
||||
|
||||
loki:
|
||||
<<: *obs-hardening
|
||||
image: grafana/loki:3.7.9@sha256:0db216b630ae1f348a1584c67f3cead8b4c1fc839169a39501db664744158e28
|
||||
command: ["-config.file=/etc/loki/loki.yaml"]
|
||||
networks: [edge]
|
||||
environment:
|
||||
GOMEMLIMIT: 300MiB
|
||||
volumes:
|
||||
- ./infra/loki/loki.yaml:/etc/loki/loki.yaml:ro
|
||||
- loki-data:/loki
|
||||
- healthtools:/hc:ro
|
||||
depends_on:
|
||||
healthtools:
|
||||
condition: service_completed_successfully
|
||||
ports:
|
||||
- "127.0.0.1:${LOKI_PORT:-26310}:3100"
|
||||
healthcheck:
|
||||
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3100/ready"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 384M}
|
||||
|
||||
tempo:
|
||||
<<: *obs-hardening
|
||||
image: grafana/tempo:2.10.10@sha256:12b0820f13ffa10ce956b6e9acc3b03f3cffded99109be6cc09d106fe56e5d38
|
||||
command: ["-config.file=/etc/tempo/tempo.yaml"]
|
||||
networks: [edge]
|
||||
environment:
|
||||
GOMEMLIMIT: 300MiB
|
||||
volumes:
|
||||
- ./infra/tempo/tempo.yaml:/etc/tempo/tempo.yaml:ro
|
||||
- tempo-data:/var/tempo
|
||||
- healthtools:/hc:ro
|
||||
depends_on:
|
||||
healthtools:
|
||||
condition: service_completed_successfully
|
||||
ports:
|
||||
- "127.0.0.1:${TEMPO_PORT:-26320}:3200"
|
||||
healthcheck:
|
||||
test: ["CMD", "/hc/busybox", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:3200/ready"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 384M}
|
||||
|
||||
grafana:
|
||||
<<: *obs-hardening
|
||||
image: grafana/grafana:12.4.14@sha256:ae509d9ae8c1021ca32ec370a9ca975d40165eda9fccd1e1102d317ff8787cd7
|
||||
networks: [edge]
|
||||
environment:
|
||||
GF_SECURITY_ADMIN_USER: admin
|
||||
GF_SECURITY_ADMIN_PASSWORD__FILE: /run/secrets/grafana_admin_password
|
||||
GF_USERS_ALLOW_SIGN_UP: "false"
|
||||
GF_AUTH_ANONYMOUS_ENABLED: "false"
|
||||
GF_ANALYTICS_REPORTING_ENABLED: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_UPDATES: "false"
|
||||
GF_ANALYTICS_CHECK_FOR_PLUGIN_UPDATES: "false"
|
||||
GF_NEWS_NEWS_FEED_ENABLED: "false"
|
||||
GF_PLUGINS_PREINSTALL_DISABLED: "true"
|
||||
GF_LOG_LEVEL: warn
|
||||
secrets: [grafana_admin_password]
|
||||
volumes:
|
||||
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
|
||||
- ./infra/grafana/dashboards:/etc/grafana/dashboards:ro
|
||||
- grafana-data:/var/lib/grafana
|
||||
depends_on:
|
||||
prometheus:
|
||||
condition: service_started
|
||||
loki:
|
||||
condition: service_started
|
||||
tempo:
|
||||
condition: service_started
|
||||
ports:
|
||||
- "127.0.0.1:${GRAFANA_PORT:-26300}:3000"
|
||||
healthcheck:
|
||||
test: ["CMD", "curl", "-fsS", "-o", "/dev/null", "http://127.0.0.1:3000/api/health"]
|
||||
interval: 10s
|
||||
timeout: 3s
|
||||
retries: 10
|
||||
start_period: 30s
|
||||
start_interval: 2s
|
||||
deploy:
|
||||
resources:
|
||||
limits: {cpus: "0.50", memory: 384M}
|
||||
|
||||
secrets:
|
||||
postgres_password:
|
||||
file: ./secrets/postgres_password
|
||||
@@ -429,6 +614,8 @@ secrets:
|
||||
file: ./secrets/broker_url_api
|
||||
broker_url_worker:
|
||||
file: ./secrets/broker_url_worker
|
||||
grafana_admin_password:
|
||||
file: ./secrets/grafana_admin_password
|
||||
s3_reconciler_access_key_id:
|
||||
file: ./secrets/s3_reconciler_access_key_id
|
||||
s3_reconciler_secret_access_key:
|
||||
@@ -439,6 +626,11 @@ volumes:
|
||||
valkeydata:
|
||||
s3data:
|
||||
broker-data:
|
||||
healthtools:
|
||||
prometheus-data:
|
||||
loki-data:
|
||||
tempo-data:
|
||||
grafana-data:
|
||||
|
||||
networks:
|
||||
edge:
|
||||
|
||||
@@ -1,5 +1,5 @@
|
||||
{
|
||||
"lab": 5,
|
||||
"lab": 6,
|
||||
"kind": "requirements, not runnable deployment",
|
||||
"required_for_grade_3": [
|
||||
{
|
||||
@@ -43,6 +43,32 @@
|
||||
{
|
||||
"role": "worker",
|
||||
"separate_process": true
|
||||
},
|
||||
{
|
||||
"role": "otel_collector",
|
||||
"signals": [
|
||||
"metrics",
|
||||
"logs",
|
||||
"traces"
|
||||
]
|
||||
},
|
||||
{
|
||||
"role": "telemetry_storage",
|
||||
"signals": [
|
||||
"metrics",
|
||||
"logs",
|
||||
"traces"
|
||||
],
|
||||
"possible_combination": [
|
||||
"Prometheus",
|
||||
"Loki",
|
||||
"Tempo"
|
||||
],
|
||||
"persistent_volume": true
|
||||
},
|
||||
{
|
||||
"role": "grafana",
|
||||
"provisioning_in_git": true
|
||||
}
|
||||
],
|
||||
"optional_components": [
|
||||
|
||||
@@ -0,0 +1,28 @@
|
||||
# Контракт наблюдаемости
|
||||
|
||||
Ниже логические сигналы. Допустимы стандартные semantic conventions выбранного SDK и их native metric names: зафиксируйте соответствие в `REPORT.md`, dashboard обязан ссылаться на реально существующие имена/единицы. Переименование SDK не повод дублировать одну метрику двумя инструментами. Версии SDK, semantic conventions, Collector distribution и backend закрепляются в решении.
|
||||
|
||||
| Сигнал | Минимальные поля/измерения | Уровень |
|
||||
| --- | --- | --- |
|
||||
| HTTP requests | method, route template, status class; counter | 3 |
|
||||
| HTTP duration | histogram в секундах или документированное преобразование из ms | 3 |
|
||||
| Jobs processed / failed | job type, outcome, counter | 3 |
|
||||
| Job processing duration | job type, outcome, histogram | 3 |
|
||||
| API и worker logs | timestamp, severity, service.name, event, trace_id, span_id при активном span | 3 |
|
||||
| API и worker traces | реальные server/consumer spans, duration, outcome; не искусственный статический trace | 3 |
|
||||
| Queue depth / oldest job age | queue name, количество / секунды | 4 |
|
||||
| Pool/saturation | DB pool used/waiting, worker busy/capacity, process/container CPU/RAM | 4 |
|
||||
| Сквозная связь upload → publish → consume → S3/DB | W3C traceparent/tracestate; parent-child или link по выбранной семантике | 4 |
|
||||
| End-to-end time to ready | от durable acceptance до публикации ready, histogram | 4 |
|
||||
|
||||
Resource attributes: `service.name` (messenger-api / messenger-worker), `service.version`, `service.instance.id`, `deployment.environment.name=lab`. Список имён может отличаться, если явно сопоставлен. `X-Request-Id` коррелирует HTTP-ошибку с логом; trace_id — не замена всех request IDs.
|
||||
|
||||
**Не labels метрик:** user_id, chat_id, message_id, attachment_id, request_id, raw URL, filename, текст. Для маршрута используйте `/api/v1/chats/{chat_id}/messages`, не реальный UUID. В логах/трассах допустимы ограниченные технические ID для учебных синтетических данных, если обоснована необходимость; пароли, Authorization, session token, body сообщения, картинка, private key и signed URL запрещены.
|
||||
|
||||
Для HTTP error ratio заранее определите numerator/denominator: например 5xx/все бизнес-запросы, исключая health; не смешивайте неверный пароль клиента с отказом БД. p95 агрегируется из histogram buckets всех нужных реплик, а не средних p95. Границы buckets должны соответствовать ожидаемым задержкам. Backlog — не queue processing latency.
|
||||
|
||||
В Git находятся Collector config, backend configs, datasources/dashboard provisioning, dashboard JSON и на 4 alert rules. У alerts есть условие, окно, порог, `for` при необходимости, описание и локальный runbook. Отправка сообщений в почту/мессенджер не требуется.
|
||||
|
||||
Минимальные контролируемые инциденты для 4: (1) остановить worker и увидеть рост возраста задач; (2) сделать DB медленной/недоступной и отличить её от медленного HTTP handler по trace/метрикам. После восстановления backlog уменьшается, alerts resolved. Третий сценарий — недоступность backend telemetry: SDK/Collector ограничивают RAM/очередь, API сохраняет работу, потери telemetry считаются и объясняются.
|
||||
|
||||
Collector — получатель/обработчик/экспортёр, не долговременная БД. Grafana — интерфейс и запросы к источникам. Логи можно отправлять OTLP в совместимый backend; не закладывайте удалённый/устаревший exporter без проверки текущей сборки. См. [Collector configuration](https://opentelemetry.io/docs/collector/configuration/), [Trace Context](https://www.w3.org/TR/trace-context/) и [histograms](https://prometheus.io/docs/practices/histograms/).
|
||||
@@ -1,8 +1,8 @@
|
||||
{
|
||||
"openapi": "3.1.0",
|
||||
"info": {
|
||||
"title": "MTUSI Messenger — лабораторная 5",
|
||||
"version": "1.5.0",
|
||||
"title": "MTUSI Messenger — лабораторная 6",
|
||||
"version": "1.6.0",
|
||||
"description": "Нормативный минимум на 3. Семантика: contracts/README.md. Расширения на 4/5 не должны менять этот API. Наличие кода ошибки в схеме не требует реализовать факультативную причину его выдачи."
|
||||
},
|
||||
"servers": [
|
||||
|
||||
+53
-37
@@ -1,48 +1,64 @@
|
||||
# Индекс доказательств ЛР5
|
||||
# Индекс доказательств ЛР6
|
||||
|
||||
Актуальный [REPORT.md](../REPORT.md) обновлён после независимого ревью **6096aa7948b8b666aa3892397a96d044a55f02c6 (M)**. Предыдущее review — **42575281b352d35bda17ee7601bae5548a996e91 (R)**; полные динамические серии — **0e921116610d289716af0a40ec823376eb8bbcbc (D)**. Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) подтвердила PostgreSQL outage, delivery subset и HTTP tRNS, но выявила четыре FAIL на 40 Мп PNG при штатной памяти.
|
||||
Автор: Костылев Артём, БПИ2303. Итог: [REPORT.md](../REPORT.md), заявлены уровни 3/4 и трек 1 «Цена наблюдаемости». **Основной актуальный набор — `forward-published/`**. Имя каталога описывает перенос опубликованного источника ЛР5 и не означает публикацию ЛР6.
|
||||
|
||||
В M изменён только renderer: плитки 256×256 и явное освобождение pixel core. 440 offline + 20 границ PASS, 2 Linux-only skips; 132 варианта совпали с V. Re-review не нашло major в статике/offline; **прежний major закрыт Linux/HTTP validation F** (`74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime = M): пять граничных PNG, concurrency=2, принудительные лимиты и HTTP 8/48 PASS. 984 student tests passed / 2 Linux-only skips; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохраняются и не становятся PASS. Аудит применимости V — [load-validation.md](load-validation.md), исходная инструкция адресных проверок — [RESULTS исправления памяти](review-png-memory-2026-11-07/RESULTS.md).
|
||||
## Происхождение и актуальность
|
||||
|
||||
## Как читать каталог
|
||||
|
||||
| Файлы / каталог | Код и роль доказательства | Применимость |
|
||||
| Набор | SHA и назначение | Как использовать |
|
||||
| --- | --- | --- |
|
||||
| [Адресная validation M](final-memory-validation-2026-11-07/RESULTS.md) | F, runtime = M | Linux 448 MiB/30 с, пять 40 Мп PNG × v1/v2; HTTP boundary 8 сценариев / 8 инвариантов и малая матрица 8/48 / 8 инвариантов; 19 ID / 115 объектов; major закрыт, семь minor сохранены |
|
||||
| [Исправление памяти](review-png-memory-2026-11-07/RESULTS.md) | M; реализация `1a8020524909ebc5e2e43303436c9d1ce3c1a87b` | 440 + 20 passed / 2 skips, счётчик pixel buffers, 132 идентичных варианта; 28 хешей. Linux/HTTP выполняет следующий каталог validation F |
|
||||
| [Аудит обновления отчёта](report-memory-audit-2026-11-07.md) | M + только документация | Лёгкие проверки, аудит новых хешей/чисел/ссылок; семь minor последнего review, без новых динамических прогонов |
|
||||
| [Финальная validation](final-validation-2026-11-07/RESULTS.md), [аудит нагрузки](load-validation.md) | V, runtime = R | 980 tests, HTTP PNG и real DB outage; 12 адресных сценариев PASS; четыре 40 Мп PNG FAIL, один major; полный track2 не повторён |
|
||||
| [Первый аудит отчёта](report-audit-2026-11-07.md) | R + изменения документации, до validation V и исправления M | Реальные лёгкие проверки того этапа, ссылки, хеши, арифметика; без Docker и новых динамических тестов |
|
||||
| [forward-final-2026-11-06/RESULTS.md](forward-final-2026-11-06/RESULTS.md) | D, полная динамическая квалификация после поздних исправлений ЛР4 | Основная измеренная база: 819 passed / 1 skip, smoke/persistence/failover, уровень 4 и три повтора трека 2; до исправлений R |
|
||||
| [review-trns-depth-2026-11-06/RESULTS.md](review-trns-depth-2026-11-06/RESULTS.md) | R, исправление глубины PNG tRNS | 430 unit + 20 границ, 114 совместимых вариантов, fixtures и 34 хеша; offline, не Linux/HTTP-квалификация |
|
||||
| [review-fixes-2026-11-06/RESULTS.md](review-fixes-2026-11-06/RESULTS.md) | Реализация `3fad49d6b913afb122d2c1348ea8d9f99e25cc27`, архив `6e97bdbe9638c5a53951337fce639a1a0db7f92e` | История первого исправления: policy сохранена в R, renderer затем дополнен. 57 тестов не доказывали все tRNS; поздние major и исправление описаны в следующем каталоге |
|
||||
| [forward-port.md](forward-port.md), [source-inventory.json](forward-final-2026-11-06/source-inventory.json), [forward-audit.json](forward-final-2026-11-06/forward-audit.json) | Перенос ЛР4 `d7478726a85791c21e065d58f610735a9e687433` → `4ed889c1e4008e3f6040ae2534bef99262d3b8ce` | Решения по 253 файлам и 25 хешей на D. Сверяется snapshot, не другой живой репозиторий |
|
||||
| [sqlalchemy-2026-11-06/grade3/NOTES.md](sqlalchemy-2026-11-06/grade3/NOTES.md) | `24a51744f521aa585e50a931d0a0219d2e960197` | История после перехода на SQLAlchemy, до исправлений track2/forward/review; topology/ack — дополнительное свидетельство, не текущая policy |
|
||||
| [sqlalchemy-2026-11-06/grade4/NOTES.md](sqlalchemy-2026-11-06/grade4/NOTES.md) | `e9ce6d0afacadc16f1666f4bb7d54d3d7377a269` | Исторический уровень 4; `level4-retry.json` — успешный повтор; исходные неуспешные результаты не переименовываются в PASS |
|
||||
| [sqlalchemy-2026-11-06/track2/NOTES.md](sqlalchemy-2026-11-06/track2/NOTES.md) | Несколько промежуточных SHA внутри логов | История диагностики и исправлений; для итоговых чисел используется qualified, затем D |
|
||||
| [sqlalchemy-2026-11-06/track2/qualified/RESULTS.md](sqlalchemy-2026-11-06/track2/qualified/RESULTS.md) | `9ba3076fa8ba707de932e053fc22f455d83b3210` | Старая квалификация 39/174 до позднего forward: run1, run2, run3-retry. Прерванный run3 исключён, повторена только эта серия |
|
||||
| Все корневые `*.txt` и `*.json` в `evidence/` | Историческая реализация до SQLAlchemy/Alembic, даты/старые SHA — внутри файлов и истории Git | **Не подтверждают R, D или M.** Не использовать старые порты, asyncpg-мигратор, результаты и формулировки как текущие |
|
||||
| [forward-port.md](forward-port.md), [source-inventory.json](forward-published/source-inventory.json) | ЛР5 `f88e9ba43cdfd7eb6a5a7ae5feb4247b4e820071` → `c7b8feb805d151e878d77b0dff47320a9436b172`; все 281 путь diff учтены | Карта позднего переноса, исключения и причина повторения измерений |
|
||||
| [forward-published](forward-published) | Runtime/измеритель `bc1d7aa7713858acb5d65b61d07e69a640f1ee97`; evidence-коммит/ревью `6ca1c7549978af3127966540385195ab0587f2e1` | Свежие доказательства после исправлений; runtime между этими SHA не менялся |
|
||||
| [grade3/notes.md](grade3/notes.md), [level3.json](level3.json) | **Исторический код** `95511002b12510178a3cc2a22566b43e2b2b6c81`; чистый clone `2903d9d` | Не свежие smoke/нагрузка. История telemetry и независимость от Collector переиспользуются только для незатронутых механизмов |
|
||||
| [grade4/notes.md](grade4/notes.md) | **Исторический код** `44d81fd80ee13faa42bca069245ee0943f88b2df`, retry harness `447a6507f973596e612f40c1484dda922bf0e50d`; storage incident `cd9d91550aa4eeba31489e07b71ee2767acfc7d8` | Отказ storage и кардинальность применимы в пределах [preserved-mechanisms.json](forward-published/preserved-mechanisms.json); chain/retry/alerts заменены свежими |
|
||||
| [track5/notes.md](track5/notes.md) | **Исторический код** `202b985deacda79b6d8df65dcefe8a1af43f1a8e`, измеритель `bc0b1620825b53fd3a3019623326ebf68cbbbeec` | Старые 519 passed, −91,1% Tempo и 15 серий не смешивать с актуальными 995 passed / −92,2%; auth/cache путь изменился и был перемерен |
|
||||
| [review-summary.md](review-summary.md) | Результат независимого review из runner на `6ca1c75…` | 0 major, 5 minor; полный список ограничений, не новое ревью |
|
||||
| [report-audit.md](report-audit.md) | Документационный этап поверх `6ca1c75…` | Только статические проверки и сверка сохранённых чисел; Docker/нагрузка не запускались |
|
||||
| [load-validation.md](load-validation.md) | Финальная validation поверх `1e00d861a803a6d49ef443175b8231cbf048fc02` | Аудит применимости всех 15 серий, свежие проверки в [validation](validation); новых нагрузочных запусков нет, публикация не выполнялась |
|
||||
|
||||
Последняя строка включает `contract-checks.txt`, `environment.txt`, `failover-upload.json`, `failover.txt`, `level3.json`, `level4.json`, `limits.txt`, `operator.txt`, `persistence.txt`, `pipeline-stand.txt`, `s3-outage.json`, `s3-security.txt`, `smoke.txt`, `stack.txt`, `student-tests.txt`, `topology.txt`, `upload-faults.txt`. Эти файлы оставлены для истории, без изменения сырья. Старые Markdown-итоги также читаются в пределах указанного выше SHA; их прежние заявления о полноте не распространяются на M. В частности, требования «нужен fix/review» в load-validation.md и RESULTS V описывают историческую остановку: fix и re-review M уже выполнены, Linux/HTTP-подтверждение завершено на F; старые документы не переписаны.
|
||||
[closure.json](forward-published/closure.json) фиксирует окончание реализации: runtime не менялся после замеров, 22 проверяемых тогда файла и прежний evidence сохранены, своих работающих контейнеров нет, 9 volumes оставлены. Число 22 включает документы, которые отчётный этап имеет право обновить; это исторический снимок, не запрет на REPORT/AGENTS/этот индекс. Нормативные contracts/tests/README/COURSE и infra README неизменны. В отчётном этапе raw evidence не переписывается; в старые notes добавлена только отметка исторического кода.
|
||||
|
||||
## Основные первичные данные D
|
||||
## Карта актуального набора
|
||||
|
||||
- [level4-command.txt](forward-final-2026-11-06/level4-command.txt), [level4.json](forward-final-2026-11-06/level4.json): 17 сценариев, 8 инвариантов; 33 ID, 28 ready, 5 ожидаемых failed, 116 объектов.
|
||||
- [track-run1.txt](forward-final-2026-11-06/track-run1.txt), [track-run1.json](forward-final-2026-11-06/track-run1.json); [track-run2.txt](forward-final-2026-11-06/track-run2.txt), [track-run2.json](forward-final-2026-11-06/track-run2.json); [track-run3.txt](forward-final-2026-11-06/track-run3.txt), [track-run3.json](forward-final-2026-11-06/track-run3.json): каждый 13 сценариев, 8 инвариантов, 13 ID, 58 объектов. [summary.json](forward-final-2026-11-06/summary.json): всего 39/24/39/174.
|
||||
- [final-smoke.txt](forward-final-2026-11-06/final-smoke.txt), [persistence.txt](forward-final-2026-11-06/persistence.txt), [failover.txt](forward-final-2026-11-06/failover.txt): публичные проверки. [persistence-containers.txt](forward-final-2026-11-06/persistence-containers.txt), [failover-containers.txt](forward-final-2026-11-06/failover-containers.txt), [restore.txt](forward-final-2026-11-06/restore.txt): фактические операции со своим стендом.
|
||||
- [student-test.txt](forward-final-2026-11-06/student-test.txt): 819 passed / 1 skipped до последних двух исправлений. Предыдущие offline-результаты R: [offline-tests.txt](review-trns-depth-2026-11-06/offline-tests.txt), [boundaries.txt](review-trns-depth-2026-11-06/boundaries.txt). Текущие M: [offline-tests.txt](review-png-memory-2026-11-07/offline-tests.txt), [boundaries.txt](review-png-memory-2026-11-07/boundaries.txt).
|
||||
- [conditions-before.json](forward-final-2026-11-06/conditions-before.json), [conditions-track-start.json](forward-final-2026-11-06/conditions-track-start.json), остальные `conditions-*.json`: моментальные срезы общего Docker, не непрерывный контроль фоновой нагрузки.
|
||||
- [down.txt](forward-final-2026-11-06/down.txt), [stopped-containers.txt](forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](forward-final-2026-11-06/retained-volumes.txt): остановка стенда D. Более поздняя остановка V — [down.txt](final-validation-2026-11-07/down.txt), [stopped-containers.txt](final-validation-2026-11-07/stopped-containers.txt), [retained-volumes.txt](final-validation-2026-11-07/retained-volumes.txt): четыре volume сохранены. Исправление M и отчёт Docker не запускали. Последняя остановка F — [down.txt](final-memory-validation-2026-11-07/down.txt), [пустой project](final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](final-memory-validation-2026-11-07/retained-volumes.txt).
|
||||
| Что проверено | Команда / средство | Доказательства |
|
||||
| --- | --- | --- |
|
||||
| Конфигурация, образы, условия и limits | `scripts/lab6.sh make up`; снимки runtime/host | [up.txt](forward-published/up.txt), [runtime.json](forward-published/runtime.json), [conditions-before.json](forward-published/conditions-before.json) |
|
||||
| Структура, схемы, ruff/ty | `make check validate lint` | [quality.txt](forward-published/quality.txt), [final-quality.txt](forward-published/final-quality.txt) |
|
||||
| Полный собственный suite | `make student-test` | [student-test.txt](forward-published/student-test.txt): 995 passed, 2 skipped, 19 deselected; запуск до runtime-коммита на WIP поверх `97feb04…`, зафиксированном затем в `bc1d7aa…` |
|
||||
| Public API, persistent stores, failover | `make test`, `make test-persistence ACTION_SCRIPT=scripts/restart.sh`, `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`, `make restore` | [smoke](forward-published/smoke.txt), [persistence](forward-published/persistence.txt), [failover](forward-published/failover.txt), [restore](forward-published/restore.txt), [final-smoke](forward-published/final-smoke.txt) |
|
||||
| Поздние auth/cache/HTTP регрессии | `student-tests/tools/forward_network.py`, stack tests, точные команды внутри логов | [network](forward-published/network.txt), [cache-outage](forward-published/cache-outage.txt), [HAProxy errors](forward-published/haproxy-errors.txt), [negative upload](forward-published/upload-negative.txt) |
|
||||
| Requeue при отказе PostgreSQL | `student-tests/tools/forward_runtime.py postgres-outage` | [JSON](forward-published/postgres-outage.json), [команда](forward-published/postgres-outage.txt), [worker](forward-published/postgres-outage-worker.txt), [broker policy](forward-published/policy.txt) |
|
||||
| PNG корректность и ограничения памяти | `student-tests/tools/forward_runtime.py png-http` / `png-boundary` | [png-http.json](forward-published/png-http.json), [png-http.txt](forward-published/png-http.txt), [png-boundary.json](forward-published/png-boundary.json), [png-boundary.txt](forward-published/png-boundary.txt) |
|
||||
| Pipeline, retry, COMMIT/ack, DLQ | `scripts/pipeline_suite.py --level 4 --only …` (9 кейсов, полный вызов в txt) | [pipeline.json](forward-published/pipeline.json), [pipeline.txt](forward-published/pipeline.txt) |
|
||||
| Конфиги наблюдаемости и dashboard queries | `make obs-validate`; `scripts/obs_check.py dashboards --strict` | [obs-config](forward-published/obs-config.txt), [dashboards](forward-published/dashboards.txt) |
|
||||
| Корреляция request/job | `scripts/obs_check.py request` / `job` | [telemetry-request](forward-published/telemetry-request.txt), [telemetry-job](forward-published/telemetry-job.txt) |
|
||||
| Контроль запрещённых значений | `scripts/obs_check.py leaks` | [telemetry-leaks](forward-published/telemetry-leaks.txt); ограничение Loki metadata — M1 в review-summary |
|
||||
| Upload trace и retry до результата | `scripts/obs_incidents.py chain` / `retry` | [chain](forward-published/incident-chain.txt), [retry](forward-published/incident-retry.txt): 55/86 spans |
|
||||
| Worker/DB incidents, alerts | `scripts/obs_incidents.py worker` / `database` | [worker](forward-published/incident-worker.txt), [database](forward-published/incident-database.txt): firing → resolved |
|
||||
| История и outage telemetry (исторический код) | `scripts/obs_recovery.py`; `scripts/obs_incidents.py storage` | [recovery](grade3/telemetry-recovery.txt), [storage](grade4/storage-incident.txt), [обоснование неизменности](forward-published/preserved-mechanisms.json) |
|
||||
| OpenSpec | `openspec validate --all --strict --no-interactive`, sync/archive | [validation](forward-published/openspec-validation.txt), [archive](forward-published/openspec-archive.txt), [spec-sync](forward-published/spec-sync.json) |
|
||||
| Завершение без удаления данных | Возврат defaults, `make down` | [defaults-restored](forward-published/defaults-restored.json), [shutdown](forward-published/shutdown.txt), [closure](forward-published/closure.json) |
|
||||
|
||||
## Не считать успехом или измерением производительности
|
||||
## Трек 1: только пригодные серии
|
||||
|
||||
- `crash_publish_confirm` и raw `window: after publish, before confirm` — историческое имя/описание; реальная точка находится **после Basic.Ack и до COMMIT outbox**. Потерю confirm данный сценарий не проверял.
|
||||
- [grade3/limits.txt](sqlalchemy-2026-11-06/grade3/limits.txt) имеет **exit_code=1**, два ложных FAIL из-за порядка secrets. Это не PASS.
|
||||
- [clock-observation.json](forward-final-2026-11-06/clock-observation.json): UTC/elapsed run2 = 1161.195/186.458 с, run3 = 571.513/180.259 с. Причина неизвестна; длительности исключены из RPS/SLO/сравнения разброса. Функциональные результаты пригодны.
|
||||
- `no_orphans` проверяет выборку ID; на D сохранены 15 исторических/ожидаемых сообщений DLQ, после malformed-сценария V их 16; в F это число не выросло. Это не глобально пустые S3/DLQ.
|
||||
- `forward-final-2026-11-06/baseline.txt` — 0 тестов; `baseline-regressions.txt` — ожидаемые 29 FAIL до исправления. `review-fixes-2026-11-06/regressions-fixture-error.txt` — неуспешная промежуточная fixture; `review-trns-depth-2026-11-06/regressions-before.txt` — воспроизведённый дефект. Их сохраняют как диагностику, не суммируют с PASS.
|
||||
- Исторический [findings.json](review-trns-depth-2026-11-06/findings.json) содержит пять minor: окно confirm, limits, legacy reconcile, отдельный replay failed v2 и часы. Дополнительная документационная неточность `201` в `openspec/config.yaml` отражена в REPORT; конфиг этой фазе менять запрещено. Седьмой minor из review M — JobMessage принимает четыре значения вне JSON Schema; источник и ограничения — [аудит отчёта](report-memory-audit-2026-11-07.md). Исторические findings.json с пятью/шестью minor не перезаписываются.
|
||||
[Методика](forward-published/cost/method.md) · [результаты](forward-published/cost/results.md) · [comparison.json](forward-published/cost/comparison.json) · [PNG](forward-published/cost/comparison.png) · [SVG](forward-published/cost/comparison.svg). Все численные сводки берутся из 15 raw JSON на `bc1d7aa…`; TXT той же серии содержит точный вызов, дату/SHA и exit code.
|
||||
|
||||
Нагрузочных RPS/p95 для M здесь не заявлено. Финальный агент выполнил только отсутствующие/затронутые проверки и сохранил пригодные серии. После re-review M повторены только затронутые PNG/ресурсные проверки: четыре 40 Мп tRNS и grayscale16 без tRNS с импортами worker, HTTP subset 8/48, concurrency=2, v1/v2, принудительные лимиты и cleanup после sweep. Выполненная процедура и результаты — [validation F](final-memory-validation-2026-11-07/RESULTS.md). PostgreSQL outage, delivery subset и полный track2 повторно не нужны без нового основания.
|
||||
| Режим | Raw JSON (повторы 1 / 2 / 3) | Команды/вывод |
|
||||
| --- | --- | --- |
|
||||
| off | [1](forward-published/cost/off-1.json) / [2](forward-published/cost/off-2.json) / [3](forward-published/cost/off-3.json) | [1](forward-published/cost/off-1.txt) / [2](forward-published/cost/off-2.txt) / [3](forward-published/cost/off-3.txt) |
|
||||
| on | [1](forward-published/cost/on-1.json) / [2](forward-published/cost/on-2.json) / [3](forward-published/cost/on-3.json) | [1](forward-published/cost/on-1.txt) / [2](forward-published/cost/on-2.txt) / [3](forward-published/cost/on-3.txt) |
|
||||
| head | [1](forward-published/cost/head-1.json) / [2](forward-published/cost/head-2.json) / [3](forward-published/cost/head-3.json) | [1](forward-published/cost/head-1.txt) / [2](forward-published/cost/head-2.txt) / [3](forward-published/cost/head-3.txt) |
|
||||
| tail | [1](forward-published/cost/tail-1.json) / [2](forward-published/cost/tail-2.json) / [3](forward-published/cost/tail-3.json) | [1](forward-published/cost/tail-1.txt) / [2](forward-published/cost/tail-2.txt) / [3](forward-published/cost/tail-3.txt) |
|
||||
| balanced | [1](forward-published/cost/balanced-1.json) / [2](forward-published/cost/balanced-2.json) / [3](forward-published/cost/balanced-3.json) | [1](forward-published/cost/balanced-1.txt) / [2](forward-published/cost/balanced-2.txt) / [3](forward-published/cost/balanced-3.txt) |
|
||||
|
||||
Сохранять только обезличенные команды, exit codes, SHA, условия и агрегаты. Секреты, `.env`, credentials, session tokens/cookies, реальные сообщения, дампы и signed URLs в evidence не входят. Существующие сырые измерения неизменны; новые свидетельства записаны отдельно. Validation завершена, публикация не выполнялась и требует отдельной фазы.
|
||||
[Measurement audit](forward-published/cost/measurement-audit.json) проверяет окно 38..42 s, drain/report 30..45 s и max gap samples <5 s. Два непригодных оригинала — [on-3](forward-published/cost/invalid-time-gap/on-3.json), [head-3](forward-published/cost/invalid-time-gap/head-3.json); причина исключения, hashes и решение повторить только их — [invalid-series.json](forward-published/cost/invalid-series.json). Их 1600 запросов не входят в 12000 пригодных.
|
||||
|
||||
Фон: [start](forward-published/cost/conditions-start.json), [round 1](forward-published/cost/conditions-round-1.json), [round 2](forward-published/cost/conditions-round-2.json), [round 3](forward-published/cost/conditions-round-3.json), [repeat start](forward-published/cost/conditions-repeat-start.json), [repeat end](forward-published/cost/conditions-repeat-end.json). Других Docker projects в снимках нет; общий host остаётся ограничением. Пригодные измерения сохраняются для финального аудита; документационные изменения не основание прогонять их заново.
|
||||
|
||||
## Неуспешные попытки и границы доказательств
|
||||
|
||||
- В [grade3/notes.md](grade3/notes.md) размечены преждевременный smoke и job во время рестарта; успешные повторы лежат рядом. Clean-clone evidence относится только к старому `2903d9d`.
|
||||
- В [grade4/notes.md](grade4/notes.md) сохранены ранние неуспешные student tests, retry без реального отказа, прерванный persistence, неправильный cardinality-вызов и DB pause без firing. Ни один не объявлен PASS итоговым отчётом.
|
||||
- В [track5/notes.md](track5/notes.md) отмечены ранний smoke, ошибка Docker stats до нагрузки и пустые validation-файлы. Все результаты этого каталога исторические.
|
||||
- [Старые findings позднего переноса](forward-published/findings.json) содержат четыре minor; [review-summary.md](review-summary.md) добавляет пятое, про Loki metadata. [Whitespaces](forward-published/whitespace-check.txt) — реальный неуспех косметической проверки, не неуспех `make lint`.
|
||||
|
||||
Не добавлять `.env`, tokens/cookies, credentials, реальные сообщения, raw dumps и signed URLs. Технические IDs в проверках синтетические; они служат корреляции, не являются секретами. Наличие файла/скриншота само по себе не доказательство: нужны команда, SHA, наблюдение и границы применимости.
|
||||
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-10-29T00:36:33Z commit: 0b85edf
|
||||
$ make check
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
$ make validate PYTHON=<venv с requirements-dev.txt>
|
||||
<venv>/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
$ make lint
|
||||
.venv/bin/ruff check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
159 files already formatted
|
||||
.venv/bin/ty check src student-tests
|
||||
All checks passed!
|
||||
@@ -1,58 +0,0 @@
|
||||
date: 2026-10-29T00:36:34Z commit: 0b85edf
|
||||
host: Apple M4 Max, 16 CPU, 48 GiB RAM, macOS 15.1
|
||||
docker: 28.3.2, VM: 16 CPU, 8217190400 bytes
|
||||
compose: 2.38.2-desktop.1
|
||||
images:
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
||||
image: ${API_IMAGE:-mtusi-messenger:lab5}
|
||||
image: rustfs/rc:v0.1.36@sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699
|
||||
image: haproxy:3.2.26-alpine@sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b
|
||||
image: postgres:17.11-alpine@sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b
|
||||
image: valkey/valkey:8.1.11-alpine@sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a
|
||||
image: rustfs/rustfs:1.0.4@sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2
|
||||
image: rabbitmq:4.1.8-management-alpine@sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2
|
||||
image: grafana/k6:2.3.0@sha256:2dd4756ec6e14e62778916e1eb850108e4b499304c02df56760fa0bdb0fba0b8
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS builder
|
||||
COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
FROM python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d AS runtime
|
||||
python in image: Python 3.14.7
|
||||
haproxy: HAProxy version 3.2.26-3e0f11a 2026/10/14 - https://haproxy.org/
|
||||
rustfs: rustfs 1.0.4
|
||||
rabbitmq: 4.1.8
|
||||
packages (uv.lock):
|
||||
fastapi 0.141.1
|
||||
uvicorn 0.54.0
|
||||
uvicorn-worker 0.4.0
|
||||
gunicorn 26.2.0
|
||||
asyncpg 0.32.0
|
||||
argon2-cffi 25.1.0
|
||||
pydantic 2.13.5
|
||||
pydantic-settings 2.15.0
|
||||
dishka 1.10.1
|
||||
structlog 26.1.0
|
||||
redis 8.1.0
|
||||
aiobotocore 3.10.0
|
||||
botocore 1.43.117
|
||||
aiohttp 3.14.5
|
||||
pillow 13.0.0
|
||||
faststream 0.7.8
|
||||
aio-pika 10.2.1
|
||||
aiormq 7.2.4
|
||||
dishka-faststream 0.7.0
|
||||
process users (service uid command):
|
||||
api 10001 python
|
||||
broker 100 beam.smp
|
||||
broker 100 epmd
|
||||
broker 100 erl_child_setup
|
||||
broker 100 inet_gethost
|
||||
broker 100 sh
|
||||
lb 99 haproxy
|
||||
postgres 70 postgres
|
||||
relay 10001 docker-init
|
||||
relay 10001 python
|
||||
s3 10001 rustfs
|
||||
valkey 999 tini
|
||||
valkey 999 valkey-server
|
||||
worker 10001 docker-init
|
||||
worker 10001 python
|
||||
worker limits: 2 CPU, memory.max 1024 MiB; render: WORKER_CONCURRENCY=2 processes, RLIMIT_AS 448 MiB, timeout 30 s, 100 tasks per process
|
||||
@@ -1,10 +0,0 @@
|
||||
{
|
||||
"ok": true,
|
||||
"scenario": "failover-upload",
|
||||
"upload_instance": "70cfba801128",
|
||||
"download_instance": "095cb9cc85bd",
|
||||
"sha256_equal": true,
|
||||
"hook_seconds": 2.877,
|
||||
"download_ok_after_seconds": 2.886,
|
||||
"restored": true
|
||||
}
|
||||
@@ -1,39 +0,0 @@
|
||||
date: 2026-10-29T00:33:32Z commit: 0b85edf
|
||||
== before: api replicas (hostname = X-Instance-Id), state, StartedAt, FinishedAt
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 running started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:03.666460502Z
|
||||
$ make test-failover ACTION_SCRIPT=scripts/stop-one.sh
|
||||
python3 tests/resilience.py --mode failover --action-script "scripts/stop-one.sh" --base-url "http://localhost:18085"
|
||||
Executing explicit failover hook; hook output suppressed to avoid leaking secrets.
|
||||
{"observed_instances_before": 2, "successful_writes": 133, "failed_attempts": 0, "first_recovery_seconds": 3.005}
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
== after: api replicas
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 exited started=2026-10-29T00:33:12.607365173Z finished=2026-10-29T00:33:39.052027754Z
|
||||
== stopped replica: 70cfba801128; shutdown: signal, drain window with readiness 503, close, exit
|
||||
{"event":"Handling signal: term","level":"info","ts":"2026-10-29T00:33:36.479119Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.486455Z"}
|
||||
{"event":"Draining for 2.0 s","level":"info","ts":"2026-10-29T00:33:36.558375Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"b3d9118f93b94471b698d536dda11072","duration_ms":0.772,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.011026Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"3c1324def7e74f3484c4fbd242f7f70b","duration_ms":0.655,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.515877Z"}
|
||||
{"method":"GET","route":"/health/ready","status":503,"request_id":"e56c9504272b45a89b7372020eb80d15","duration_ms":0.733,"event":"request.handled","level":"info","ts":"2026-10-29T00:33:37.588547Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.487910Z"}
|
||||
{"event":"Shutting down","level":"info","ts":"2026-10-29T00:33:38.560300Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.592638Z"}
|
||||
{"event":"Finished server process [13]","level":"info","ts":"2026-10-29T00:33:38.592934Z"}
|
||||
{"event":"Worker (pid:13) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.624866Z"}
|
||||
{"event":"service.stopped","level":"info","ts":"2026-10-29T00:33:38.664775Z"}
|
||||
{"event":"Finished server process [14]","level":"info","ts":"2026-10-29T00:33:38.665027Z"}
|
||||
{"event":"Worker (pid:14) was sent SIGTERM!","level":"info","ts":"2026-10-29T00:33:38.725950Z"}
|
||||
{"event":"Shutting down: Master","level":"info","ts":"2026-10-29T00:33:38.834487Z"}
|
||||
$ scripts/restore.sh
|
||||
Container mtusi2026lab5-api-1 Running
|
||||
Container mtusi2026lab5-api-2 Starting
|
||||
Container mtusi2026lab5-api-2 Started
|
||||
Container mtusi2026lab5-api-1 Waiting
|
||||
Container mtusi2026lab5-api-2 Waiting
|
||||
Container mtusi2026lab5-api-1 Healthy
|
||||
Container mtusi2026lab5-api-2 Healthy
|
||||
== after restore
|
||||
095cb9cc85bd running started=2026-10-29T00:33:12.427394173Z finished=2026-10-29T00:33:03.853644169Z
|
||||
70cfba801128 running started=2026-10-29T00:33:51.687259594Z finished=2026-10-29T00:33:39.052027754Z
|
||||
@@ -1,55 +0,0 @@
|
||||
# Адресная validation исправления памяти PNG
|
||||
|
||||
**PASS. Прежний major закрыт динамически.** Измерен HEAD `74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime побайтно равен прошедшему review `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Реализация, конфигурация и нормативные файлы в этой фазе не менялись. Публикация не выполнялась и требует отдельной фазы.
|
||||
|
||||
Исходные четыре HTTP FAIL и Linux MemoryError на V сохранены в [предыдущей validation](../final-validation-2026-11-07/RESULTS.md). Они не переименованы в PASS: здесь новый образ и новые результаты после отдельного fix/re-review. От V изменён только renderer, поэтому три пригодных повтора track2 на D, PostgreSQL outage и delivery subset на V приняты без повторения. Решения по каждой серии — [load-validation.md](../load-validation.md); SHA, diff, 53 прежних и 28 fix-хешей — [audit.json](audit.json).
|
||||
|
||||
## Условия и методика
|
||||
|
||||
2026-11-07 по локальной дате; UTC команд — 2026-11-06. Darwin arm64, Docker 28.3.2, Linux aarch64, VM 16 CPU / 8 217 190 400 байт. Project `mtusi2026lab5`, API 18085, stats/UI 25085/25086, все published ports на loopback. Использованы сохранённые volumes, не чистый clone. Worker: 2 CPU / 1 GiB; renderer RLIMIT_AS=448 MiB, 30 с, concurrency=2. Значения не повышались. Образ и закреплённые версии — [build.txt](build.txt), [runtime.txt](runtime.txt), [conditions.json](conditions.json).
|
||||
|
||||
Снимки до/после и внутри серий не показывают чужих работающих контейнеров. Специальная фоновая нагрузка не запускалась. Load average хоста: 1.67/2.11/2.34 перед этапом, 2.62/2.65/2.53 перед проверками, 6.41/4.18/3.19 после. Непрерывного контроля хоста нет; throughput, RPS, p95 и новые SLO не заявляются. Длительности — диагностические монотонные интервалы конкретных команд/рендеров, не benchmark. [Условия после](conditions-after.json) подтверждают восстановленные 448 MiB/30 с/concurrency=2 и отсутствие OOM.
|
||||
|
||||
Linux-пробник запускает новые процессы с **импортами messenger.worker**, настоящим RLIMIT_AS и alarm=30 с на каждый рендер. Пять файлов проходят v1/v2, затем обычное изображение в том же процессе. Два дополнительных процесса одновременно рендерят RGB16; пересечение измерено монотонными отметками внутри render. Пробник использует те же четыре сохранённые PNG 8000×5000; пятый получается удалением только tRNS из grayscale16. Входные SHA сохранены. Реальный HTTP использует LB/API/relay/broker/worker и ту же конфигурацию. При concurrency=2 журнал БД подтверждает перекрытие claimed→done в обеих версиях.
|
||||
|
||||
После диагностических процессов worker пересоздан без изменения образа/лимитов для отдельного cgroup peak HTTP — [reset-worker-peak.txt](reset-worker-peak.txt). Это не повтор нагрузки. Ожидаемые отказы создаются только на двух новых заданиях: 0.01 с и 200 MiB. После каждого лимиты восстановлены и обычная загрузка достигает ready. Перед SQL/S3-инвариантами дождались штатного sweep. Старые данные и DLQ не удалялись.
|
||||
|
||||
## Команды и результаты
|
||||
|
||||
Команды выполнялись из корня репозитория. `source evidence/final-memory-validation-2026-11-07/env.sh` задаёт несекретные Compose-параметры. Обёртка `python3 scripts/capture_evidence.py <новый-файл> -- <команда>` сохраняет SHA, команду, exit code и elapsed; существующие результаты не перезаписывает.
|
||||
|
||||
| Команда / проверка | Результат | Первичные данные |
|
||||
| --- | --- | --- |
|
||||
| `make check validate lint` | PASS | [checks.txt](checks.txt) |
|
||||
| `openspec validate --all --strict`; `openspec list --json` | 22 PASS, changes=[] | [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'` | 984 passed, 2 Linux-only skipped, 19 stack deselected; 171.26 с pytest. Пропуски не названы PASS; Linux-эквивалент выполнен отдельно | [student-test.txt](student-test.txt) |
|
||||
| `docker compose build`; `docker compose up -d --wait`; `make test` | Сборка, миграции/готовность и публичный smoke PASS | [build.txt](build.txt), [up.txt](up.txt), [smoke.txt](smoke.txt) |
|
||||
| `.venv/bin/python evidence/final-memory-validation-2026-11-07/linux-runner.py` | Пять 40 Мп PNG × v1/v2 и обычный render после каждого PASS; два параллельных RGB16 × v1/v2 PASS | [linux.txt](linux.txt), [linux.json](linux.json), [child](linux-child.py), [runner](linux-runner.py) |
|
||||
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary` | 8 сценариев и 8 инвариантов PASS; 11 ID, 9 ready, 2 ожидаемых failed, 59 S3-объектов | [команда](png-boundary.txt), [JSON](png-boundary.json), [обвязка](targeted.py) |
|
||||
| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http` | 8 fixtures, 48 сравнений вариантов v1/v2 с независимым белым эталоном; 8 инвариантов PASS, 8 ID / 56 объектов | [команда](png-http.txt), [JSON](png-http.json) |
|
||||
|
||||
Граничные HTTP-проверки: четыре прежних tRNS и grayscale16 без tRNS достигают ready в v1/v2; исходник неизменен; SHA, длина, MIME и размеры вариантов согласованы с байтами. Белая область белая, соседний RGB16 с отличием младшего бита остаётся непрозрачным. Все 30 хешей пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Поздняя v1 и дубль v2 не изменили опубликованный снимок; по шесть строк вариантов на ID. Два одновременных HTTP-вложения также проходят обе версии. Малая матрица включает grayscale 1/2/4/8/16, RGB8/16 и RGB16 Adam7/filter=4/EXIF=6.
|
||||
|
||||
| Linux-файл | Peak RSS процесса, KiB | HTTP: обе версии |
|
||||
| --- | ---: | --- |
|
||||
| grayscale2 tRNS | 343 076 | ready |
|
||||
| grayscale4 tRNS | 342 956 | ready |
|
||||
| grayscale16 tRNS | 365 508 | ready |
|
||||
| grayscale16 без tRNS | 365 492 | ready |
|
||||
| RGB16 tRNS | 406 312 | ready |
|
||||
|
||||
При двух **реальных HTTP jobs** cgroup peak worker = **885 428 224 байт (844.41 MiB) / 1 GiB**, все memory.events=0. Диагностический Linux-запуск, включающий idle worker, управляющий процесс и два дополнительных дочерних процесса, дал другой peak: 1 026 285 568 байт / 1 GiB, также без OOM. Это разные условия; диагностический peak не выдаётся за память штатных HTTP jobs. RSS не равен RLIMIT_AS или cgroup memory.
|
||||
|
||||
Инварианты обеих HTTP-серий проверяют terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans и no_lost_202. После sweep нет staging/pending outbox/дублирующих эффектов для новых ID; S3 inventory согласован с БД. DLQ осталась 16: это сохранённые исторические/ожидаемые записи, не новые ошибки этой серии. Проверка scoped, не глобальная очистка.
|
||||
|
||||
## Завершение и ограничения
|
||||
|
||||
Свои контейнеры остановлены через `make down` без `-v`: [до остановки](final-containers.txt), [down](down.txt), [пустой project](stopped-containers.txt), [четыре volumes](retained-volumes.txt), [пустой общий running list](running-containers-after.txt). [Ретроспективный срез Docker events](container-events.json) ограничен последними 256 событиями daemon и подтверждает финальную остановку; он не используется как полная история промежуточных worker-stop.
|
||||
|
||||
Семь minor независимого review сохранены в [findings.json](findings.json) и ограничениях [REPORT](../../REPORT.md). Новых major не обнаружено. Потеря publisher confirm, все возможные отказы диска/сети и изолированная throughput-матрица не доказаны; выбран трек 2. Исходный major памяти закрывается только для проверенных сценариев и закреплённой версии Pillow.
|
||||
|
||||
Context7 вызван для Pillow, но вернул исчерпание месячной квоты. Использован официальный [Pillow: Image lifecycle](https://pillow.readthedocs.io/en/stable/reference/open_files.html): `Image.close()` уничтожает image core, контекстный менеджер сам core не уничтожает. Эта справка не заменяет выполненные Linux-проверки.
|
||||
|
||||
Перед коммитом проверены разрешённый scope, отсутствие секретов в tracked файлах, локальные ссылки и сохранность runtime/нормативных файлов; результаты — [final-audit.json](final-audit.json), [secret-scan.json](secret-scan.json), [final-checks.txt](final-checks.txt). Контрольные суммы новых артефактов — [sha256.json](sha256.json). Push и Telegram не выполнялись.
|
||||
|
||||
Полный `git diff --cached --check` обнаружил 17 trailing-whitespace строк в сыром выводе smoke и двух HTTP-команд. Вывод сохранён без редактирования; отдельная проверка документов/обвязки проходит. Это формат console output, не результат сценария приложения.
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T22:54:44Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.974
|
||||
@@ -1,153 +0,0 @@
|
||||
import ast
|
||||
import hashlib
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
FOLDER = Path(__file__).resolve().parent.relative_to(ROOT)
|
||||
MEASURED = "74c33160ac01618f70e9e1c6a121a5e45c3c7155"
|
||||
REVIEWED = "6096aa7948b8b666aa3892397a96d044a55f02c6"
|
||||
|
||||
|
||||
def git(*args):
|
||||
return subprocess.check_output(["git", *args], text=True).strip()
|
||||
|
||||
|
||||
assert git("rev-parse", "HEAD") == MEASURED
|
||||
assert git("branch", "--show-current") == "solution/bpi2303-kostylev"
|
||||
paths = git("diff", "--name-only", MEASURED).splitlines()
|
||||
assert all(p in {"REPORT.md", "AGENTS.md"} or p.startswith("evidence/") for p in paths)
|
||||
runtime_diff = git(
|
||||
"diff",
|
||||
"--name-only",
|
||||
REVIEWED,
|
||||
"--",
|
||||
"src",
|
||||
"infra",
|
||||
"compose.yaml",
|
||||
"Dockerfile",
|
||||
"pyproject.toml",
|
||||
"uv.lock",
|
||||
"alembic",
|
||||
"scripts",
|
||||
"student-tests",
|
||||
"openspec",
|
||||
)
|
||||
assert not runtime_diff
|
||||
assert not git(
|
||||
"diff", "--name-only", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md"
|
||||
)
|
||||
subprocess.run(["git", "diff", "--check"], check=True)
|
||||
whitespace = subprocess.run(["git", "diff", "--cached", "--check"], capture_output=True, text=True)
|
||||
raw_whitespace = re.findall(r"^([^\n:]+):\d+: trailing whitespace\.$", whitespace.stdout, re.M)
|
||||
assert whitespace.returncode in (0, 2)
|
||||
assert set(raw_whitespace) <= {
|
||||
str(FOLDER / "png-boundary.txt"),
|
||||
str(FOLDER / "png-http.txt"),
|
||||
str(FOLDER / "smoke.txt"),
|
||||
}
|
||||
subprocess.run(
|
||||
["git", "diff", "--cached", "--check", "--", ".", f":(exclude){FOLDER}/*.txt"],
|
||||
check=True,
|
||||
)
|
||||
tracked = set(git("ls-files").splitlines())
|
||||
docs = [
|
||||
Path("REPORT.md"),
|
||||
Path("AGENTS.md"),
|
||||
Path("evidence/README.md"),
|
||||
Path("evidence/load-validation.md"),
|
||||
FOLDER / "RESULTS.md",
|
||||
]
|
||||
links = 0
|
||||
for doc in docs:
|
||||
content = doc.read_text()
|
||||
assert len(re.findall(r"^```", content, re.M)) % 2 == 0, doc
|
||||
for target in re.findall(r"\]\(([^)]+)\)", content):
|
||||
if re.match(r"(?:https?://|#)", target):
|
||||
continue
|
||||
destination = (doc.parent / target.split("#")[0]).resolve()
|
||||
assert destination.exists(), (doc, target)
|
||||
relative = str(destination.relative_to(ROOT))
|
||||
assert relative in tracked or any(p.startswith(relative + "/") for p in tracked), relative
|
||||
links += 1
|
||||
json_files = 0
|
||||
for name in tracked:
|
||||
if name.endswith(".json"):
|
||||
json.loads(Path(name).read_text())
|
||||
json_files += 1
|
||||
for path in FOLDER.glob("*.py"):
|
||||
ast.parse(path.read_text(), filename=str(path))
|
||||
hashes = 0
|
||||
for manifest, key in [
|
||||
("evidence/final-validation-2026-11-07/sha256.json", None),
|
||||
("evidence/review-png-memory-2026-11-07/checks.json", "sha256"),
|
||||
]:
|
||||
entries = json.loads(Path(manifest).read_text())
|
||||
if key:
|
||||
entries = entries[key]
|
||||
for name, expected in entries.items():
|
||||
assert hashlib.sha256(Path(name).read_bytes()).hexdigest() == expected, name
|
||||
hashes += 1
|
||||
accepted = []
|
||||
for name in [
|
||||
"evidence/forward-final-2026-11-06/level4.json",
|
||||
*[f"evidence/forward-final-2026-11-06/track-run{n}.json" for n in (1, 2, 3)],
|
||||
"evidence/final-validation-2026-11-07/postgres-outage-retry.json",
|
||||
"evidence/final-validation-2026-11-07/delivery-targeted.json",
|
||||
]:
|
||||
data = json.loads(Path(name).read_text())
|
||||
scenarios = data.get("scenarios", data.get("cases"))
|
||||
assert data["result"] == "PASS"
|
||||
assert all(x["result"] == "PASS" for x in scenarios + data["invariants"])
|
||||
accepted.append(
|
||||
{
|
||||
"file": name,
|
||||
"source_sha": data["source_sha"],
|
||||
"scenarios": len(scenarios),
|
||||
"invariants": len(data["invariants"]),
|
||||
}
|
||||
)
|
||||
own_containers = subprocess.check_output(
|
||||
["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=mtusi2026lab5"], text=True
|
||||
).strip()
|
||||
assert not own_containers
|
||||
volumes = subprocess.check_output(
|
||||
[
|
||||
"docker",
|
||||
"volume",
|
||||
"ls",
|
||||
"--filter",
|
||||
"label=com.docker.compose.project=mtusi2026lab5",
|
||||
"--format",
|
||||
"{{.Name}}",
|
||||
],
|
||||
text=True,
|
||||
).splitlines()
|
||||
assert len(volumes) == 4
|
||||
report = {
|
||||
"measured_sha": MEASURED,
|
||||
"reviewed_runtime": REVIEWED,
|
||||
"runtime_equal": True,
|
||||
"normative_equal_to_upstream_main": True,
|
||||
"changed_paths": paths,
|
||||
"local_links_verified": links,
|
||||
"tracked_json_parsed": json_files,
|
||||
"previous_and_fix_hashes_verified": hashes,
|
||||
"raw_diff_check_exit": whitespace.returncode,
|
||||
"preserved_raw_trailing_whitespace_lines": len(raw_whitespace),
|
||||
"docs_and_helpers_diff_check": "PASS",
|
||||
"accepted_without_rerun": accepted,
|
||||
"own_containers": [],
|
||||
"retained_volumes": volumes,
|
||||
"result": "PASS",
|
||||
}
|
||||
(FOLDER / "final-audit.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n")
|
||||
print(
|
||||
json.dumps(
|
||||
{k: v for k, v in report.items() if k not in {"changed_paths", "accepted_without_rerun"}},
|
||||
ensure_ascii=False,
|
||||
indent=2,
|
||||
)
|
||||
)
|
||||
@@ -1,25 +0,0 @@
|
||||
{
|
||||
"head": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
|
||||
"runtime_review_equal": true,
|
||||
"runtime_diff_since_previous_validation": [
|
||||
"src/messenger/attachments/infrastructure/images.py"
|
||||
],
|
||||
"previous_artifact_hashes_verified": 53,
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
1.66796875,
|
||||
2.11279296875,
|
||||
2.3447265625
|
||||
],
|
||||
"docker": "28.3.2 16 8217190400",
|
||||
"running_containers_before": "",
|
||||
"image_fixture_hashes": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
},
|
||||
"fix_hashes_verified": 28,
|
||||
"linux_http_variant_hashes_equal": 30
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
date: 2026-11-06T22:54:41Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose build
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 441B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 1.65kB done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#4 DONE 1.6s
|
||||
|
||||
#5 [internal] load .dockerignore
|
||||
#5 transferring context: 453B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [internal] load build context
|
||||
#8 transferring context: 55.94kB 0.0s done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
|
||||
#9 CACHED
|
||||
|
||||
#10 [builder 3/7] WORKDIR /build
|
||||
#10 CACHED
|
||||
|
||||
#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
#11 CACHED
|
||||
|
||||
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
|
||||
#12 CACHED
|
||||
|
||||
#13 [builder 6/7] COPY src ./src
|
||||
#13 DONE 0.1s
|
||||
|
||||
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
|
||||
#14 0.246 Resolved 84 packages in 9ms
|
||||
#14 0.261 Building mtusi-messenger @ file:///build
|
||||
#14 3.076 Built mtusi-messenger @ file:///build
|
||||
#14 3.081 Prepared 1 package in 2.82s
|
||||
#14 3.086 Installed 1 package in 4ms
|
||||
#14 3.306 Bytecode compiled 2301 files in 220ms
|
||||
#14 3.306 + mtusi-messenger==1.5.0 (from file:///build)
|
||||
#14 DONE 3.3s
|
||||
|
||||
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
#16 DONE 0.7s
|
||||
|
||||
#17 [runtime 4/6] WORKDIR /app
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
|
||||
#18 DONE 0.0s
|
||||
|
||||
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 exporting to image
|
||||
#20 exporting layers
|
||||
#20 exporting layers 3.1s done
|
||||
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882
|
||||
#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882 done
|
||||
#20 exporting config sha256:9ad245995fe138e23bc22e352d3a77ee0bf65ae6979997c6da067bd8d5315782 done
|
||||
#20 exporting attestation manifest sha256:cf7e1da74a249e6859a38405addb0350aab512b93f6e62e66405ae1936db4e38 done
|
||||
#20 exporting manifest list sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608 done
|
||||
#20 naming to docker.io/library/mtusi-messenger:lab5-memory-validation done
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation 0.6s done
|
||||
#20 DONE 3.8s
|
||||
|
||||
#21 resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
exit_code: 0 elapsed_seconds: 14.282
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T22:54:42Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
198 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.650
|
||||
@@ -1,11 +0,0 @@
|
||||
{
|
||||
"at": "2026-11-06T23:18:53.248018+00:00",
|
||||
"host_load": [
|
||||
6.40869140625,
|
||||
4.1806640625,
|
||||
3.1875
|
||||
],
|
||||
"running": "mtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-api-1 Up 6 minutes (healthy)\nmtusi2026lab5-api-2 Up 6 minutes (healthy)\nmtusi2026lab5-relay-1 Up 6 minutes (healthy)\nmtusi2026lab5-broker-1 Up 6 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 6 minutes (healthy)\nmtusi2026lab5-lb-1 Up 6 minutes (healthy)\nmtusi2026lab5-s3-1 Up 6 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 6 minutes (healthy)",
|
||||
"worker_limits": "448\n30\n2",
|
||||
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0"
|
||||
}
|
||||
@@ -1,166 +0,0 @@
|
||||
{
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
2.62109375,
|
||||
2.6455078125,
|
||||
2.53076171875
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 2 minutes (healthy)\nmtusi2026lab5-api-2 Up 2 minutes (healthy)\nmtusi2026lab5-worker-1 Up 2 minutes (healthy)\nmtusi2026lab5-relay-1 Up 2 minutes (healthy)\nmtusi2026lab5-broker-1 Up 2 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 2 minutes (healthy)\nmtusi2026lab5-lb-1 Up 2 minutes (healthy)\nmtusi2026lab5-s3-1 Up 2 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 2 minutes (healthy)",
|
||||
"containers": [
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-1",
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-2",
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-worker-1",
|
||||
"id": "a9afb0e9cc245a54eb871ddd44fcf8661949789de59603ded5236b5f9e9f1d7c",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-relay-1",
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 201326592,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-migrate-1",
|
||||
"id": "34901a09ef7b837c6ce87116d2035d842762d2c86f8562cade96d3915a80e6f0",
|
||||
"image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608",
|
||||
"limits": {
|
||||
"Memory": 268435456,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-init-1",
|
||||
"id": "6e80e83ed5c5470bf22c5a9cd7c835788fbdff94f1f28f8649df6b667c153f89",
|
||||
"image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699",
|
||||
"limits": {
|
||||
"Memory": 67108864,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-broker-1",
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"15672/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25086"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_broker-data"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-postgres-1",
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_pgdata"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-lb-1",
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "18085"
|
||||
}
|
||||
],
|
||||
"8404/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25085"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"volumes": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-1",
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_s3data"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-valkey-1",
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"volumes": [
|
||||
"mtusi2026lab5_valkeydata"
|
||||
]
|
||||
}
|
||||
],
|
||||
"fixture_sha256": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
}
|
||||
}
|
||||
@@ -1,151 +0,0 @@
|
||||
{
|
||||
"command": [
|
||||
"docker",
|
||||
"events",
|
||||
"--since",
|
||||
"2026-11-06T23:15:45Z",
|
||||
"--until",
|
||||
"2026-11-06T23:19:06.697928+00:00",
|
||||
"--filter",
|
||||
"type=container",
|
||||
"--filter",
|
||||
"label=com.docker.compose.project=mtusi2026lab5",
|
||||
"--filter",
|
||||
"event=stop",
|
||||
"--filter",
|
||||
"event=die",
|
||||
"--filter",
|
||||
"event=start",
|
||||
"--format",
|
||||
"{{json .}}"
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"timeNano": 1794007134212820139,
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-lb-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134214724139,
|
||||
"id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-lb-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134242785764,
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-relay-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134243810347,
|
||||
"id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-relay-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134261625889,
|
||||
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-worker-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007134263340222,
|
||||
"id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-worker-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007135530081667,
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-broker-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007135532395875,
|
||||
"id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-broker-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136578760167,
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-api-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136581296250,
|
||||
"id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-api-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136606883084,
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-api-2",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136610714375,
|
||||
"id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-api-2",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136730887167,
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-valkey-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136732779084,
|
||||
"id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-valkey-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136795874292,
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-postgres-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136796859125,
|
||||
"id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-postgres-1",
|
||||
"exitCode": "0"
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136819412875,
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"action": "stop",
|
||||
"name": "mtusi2026lab5-s3-1",
|
||||
"exitCode": null
|
||||
},
|
||||
{
|
||||
"timeNano": 1794007136823326750,
|
||||
"id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3",
|
||||
"action": "die",
|
||||
"name": "mtusi2026lab5-s3-1",
|
||||
"exitCode": "0"
|
||||
}
|
||||
],
|
||||
"limitation": "Docker retains only the last 256 events; this is a partial retrospective snapshot."
|
||||
}
|
||||
@@ -1,53 +0,0 @@
|
||||
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make down
|
||||
docker compose --profile bench --profile tools --profile reconcile down
|
||||
Container mtusi2026lab5-relay-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopping
|
||||
Container mtusi2026lab5-api-2 Stopping
|
||||
Container mtusi2026lab5-api-1 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopped
|
||||
Container mtusi2026lab5-lb-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Stopped
|
||||
Container mtusi2026lab5-relay-1 Removing
|
||||
Container mtusi2026lab5-lb-1 Removed
|
||||
Container mtusi2026lab5-worker-1 Stopped
|
||||
Container mtusi2026lab5-worker-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Removed
|
||||
Container mtusi2026lab5-worker-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopping
|
||||
Container mtusi2026lab5-broker-1 Stopped
|
||||
Container mtusi2026lab5-broker-1 Removing
|
||||
Container mtusi2026lab5-broker-1 Removed
|
||||
Container mtusi2026lab5-api-1 Stopped
|
||||
Container mtusi2026lab5-api-1 Removing
|
||||
Container mtusi2026lab5-api-2 Stopped
|
||||
Container mtusi2026lab5-api-2 Removing
|
||||
Container mtusi2026lab5-api-1 Removed
|
||||
Container mtusi2026lab5-api-2 Removed
|
||||
Container mtusi2026lab5-valkey-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopped
|
||||
Container mtusi2026lab5-migrate-1 Removing
|
||||
Container mtusi2026lab5-s3-init-1 Stopped
|
||||
Container mtusi2026lab5-s3-init-1 Removing
|
||||
Container mtusi2026lab5-migrate-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Stopping
|
||||
Container mtusi2026lab5-valkey-1 Stopped
|
||||
Container mtusi2026lab5-valkey-1 Removing
|
||||
Container mtusi2026lab5-valkey-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopped
|
||||
Container mtusi2026lab5-postgres-1 Removing
|
||||
Container mtusi2026lab5-s3-1 Stopped
|
||||
Container mtusi2026lab5-s3-1 Removing
|
||||
Container mtusi2026lab5-postgres-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Removed
|
||||
Network mtusi2026lab5_edge Removing
|
||||
Network mtusi2026lab5_backend Removing
|
||||
Network mtusi2026lab5_backend Removed
|
||||
Network mtusi2026lab5_edge Removed
|
||||
exit_code: 0 elapsed_seconds: 3.356
|
||||
@@ -1,8 +0,0 @@
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-memory-validation
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
@@ -1,100 +0,0 @@
|
||||
{
|
||||
"measured_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6",
|
||||
"runtime_equal": true,
|
||||
"normative_equal_to_upstream_main": true,
|
||||
"changed_paths": [
|
||||
"AGENTS.md",
|
||||
"REPORT.md",
|
||||
"evidence/README.md",
|
||||
"evidence/final-memory-validation-2026-11-07/RESULTS.md",
|
||||
"evidence/final-memory-validation-2026-11-07/active-changes.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/audit-files.py",
|
||||
"evidence/final-memory-validation-2026-11-07/audit.json",
|
||||
"evidence/final-memory-validation-2026-11-07/build.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/checks.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions-after.json",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions.json",
|
||||
"evidence/final-memory-validation-2026-11-07/container-events.json",
|
||||
"evidence/final-memory-validation-2026-11-07/down.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/env.sh",
|
||||
"evidence/final-memory-validation-2026-11-07/final-audit.json",
|
||||
"evidence/final-memory-validation-2026-11-07/final-checks.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/final-containers.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/findings.json",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-child.py",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-runner.py",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.json",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/openspec.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.json",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.json",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/runtime.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/scan-secrets.py",
|
||||
"evidence/final-memory-validation-2026-11-07/secret-scan.json",
|
||||
"evidence/final-memory-validation-2026-11-07/sha256.json",
|
||||
"evidence/final-memory-validation-2026-11-07/smoke.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/student-test.txt",
|
||||
"evidence/final-memory-validation-2026-11-07/targeted.py",
|
||||
"evidence/final-memory-validation-2026-11-07/up.txt",
|
||||
"evidence/load-validation.md"
|
||||
],
|
||||
"local_links_verified": 208,
|
||||
"tracked_json_parsed": 111,
|
||||
"previous_and_fix_hashes_verified": 81,
|
||||
"raw_diff_check_exit": 2,
|
||||
"preserved_raw_trailing_whitespace_lines": 17,
|
||||
"docs_and_helpers_diff_check": "PASS",
|
||||
"accepted_without_rerun": [
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/level4.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 17,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run1.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run2.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/forward-final-2026-11-06/track-run3.json",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/final-validation-2026-11-07/postgres-outage-retry.json",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"scenarios": 1,
|
||||
"invariants": 8
|
||||
},
|
||||
{
|
||||
"file": "evidence/final-validation-2026-11-07/delivery-targeted.json",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"scenarios": 12,
|
||||
"invariants": 8
|
||||
}
|
||||
],
|
||||
"own_containers": [],
|
||||
"retained_volumes": [
|
||||
"mtusi2026lab5_broker-data",
|
||||
"mtusi2026lab5_pgdata",
|
||||
"mtusi2026lab5_s3data",
|
||||
"mtusi2026lab5_valkeydata"
|
||||
],
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T23:23:20Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
198 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.530
|
||||
@@ -1,15 +0,0 @@
|
||||
date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}}'
|
||||
mtusi2026lab5-api-1 d1dcbda23866 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-api-2 1eaf0fe05de6 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-broker-1 be1942ad69b4 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-lb-1 4ddcc75182e6 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 6 minutes ago
|
||||
mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-relay-1 63225b5eff8e running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-s3-1 29b3e7c3a260 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 6 minutes ago
|
||||
mtusi2026lab5-valkey-1 647882797ca2 running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-worker-1 cb275ee9574b running Up About a minute (healthy)
|
||||
exit_code: 0 elapsed_seconds: 0.127
|
||||
@@ -1,37 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:230",
|
||||
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:10",
|
||||
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/reconcile_track.py:396",
|
||||
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:304",
|
||||
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
|
||||
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "openspec/config.yaml:130",
|
||||
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/entrypoints/schemas.py:67",
|
||||
"problem": "Независимое review M: attempt=\"1\", pipeline_version=true, числовой created_at и traceparent=null принимаются вне jobs.schema.json с bus/ack вместо reject. Штатный relay формирует корректные сообщения; критичного последствия не установлено. Источник: evidence/report-memory-audit-2026-11-07.md; повторные пробы в validation не выполнялись."
|
||||
}
|
||||
]
|
||||
@@ -1,58 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import resource
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
import messenger.worker
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
|
||||
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
|
||||
data = Path(sys.argv[1]).read_bytes()
|
||||
transparent = sys.argv[3] == "true"
|
||||
limits = RenderLimits(10485760, 40000000)
|
||||
versions = []
|
||||
for version in (1, 2):
|
||||
signal.alarm(30)
|
||||
began = time.monotonic()
|
||||
variants = render_variants(data, limits, version)
|
||||
ended = time.monotonic()
|
||||
signal.alarm(0)
|
||||
assert [(v.name, v.width, v.height) for v in variants] == [
|
||||
("thumbnail", 256, 160),
|
||||
("crop", 128, 128),
|
||||
("optimized", 1280, 800),
|
||||
]
|
||||
for variant in variants:
|
||||
with Image.open(BytesIO(variant.data)) as image:
|
||||
assert (image.getpixel((5, image.height // 2)) == (255, 255, 255)) == transparent
|
||||
assert image.getpixel((image.width - 6, image.height // 2)) != (255, 255, 255)
|
||||
versions.append(
|
||||
{
|
||||
"version": version,
|
||||
"started_monotonic": began,
|
||||
"finished_monotonic": ended,
|
||||
"render_seconds": ended - began,
|
||||
"variants": {v.name: hashlib.sha256(v.data).hexdigest() for v in variants},
|
||||
}
|
||||
)
|
||||
signal.alarm(30)
|
||||
assert len(render_variants(Path(sys.argv[2]).read_bytes(), limits)) == 3
|
||||
signal.alarm(0)
|
||||
print(
|
||||
json.dumps(
|
||||
{
|
||||
"file": Path(sys.argv[1]).name,
|
||||
"input_sha256": hashlib.sha256(data).hexdigest(),
|
||||
"versions": versions,
|
||||
"ordinary_after": True,
|
||||
"max_rss_kib": resource.getrusage(resource.RUSAGE_SELF).ru_maxrss,
|
||||
"result": "PASS",
|
||||
}
|
||||
),
|
||||
flush=True,
|
||||
)
|
||||
@@ -1,89 +0,0 @@
|
||||
import base64
|
||||
import hashlib
|
||||
import json
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
folder = Path(__file__).parent
|
||||
fixtures = {
|
||||
p.name: p.read_bytes()
|
||||
for p in Path("evidence/final-validation-2026-11-07/fixtures").glob("*.png")
|
||||
}
|
||||
data = fixtures["gray16-40mp.png"]
|
||||
result, offset = data[:8], 8
|
||||
while offset < len(data):
|
||||
size = int.from_bytes(data[offset : offset + 4], "big") + 12
|
||||
if data[offset + 4 : offset + 8] != b"tRNS":
|
||||
result += data[offset : offset + size]
|
||||
offset += size
|
||||
fixtures["gray16-opaque-40mp.png"] = result
|
||||
fixtures["sample.png"] = Path("tests/fixtures/sample.png").read_bytes()
|
||||
bootstrap = """
|
||||
import base64,json,sys,subprocess,time
|
||||
from pathlib import Path
|
||||
p=json.load(sys.stdin)
|
||||
d=Path('/tmp/png-memory-validation')
|
||||
d.mkdir(exist_ok=True)
|
||||
for name,data in p['fixtures'].items():
|
||||
(d/name).write_bytes(base64.b64decode(data))
|
||||
def command(name):
|
||||
return [sys.executable,'-c',p['code'],str(d/name),str(d/'sample.png'),'false' if 'opaque' in name else 'true']
|
||||
results=[]
|
||||
for name in sorted(p['fixtures']):
|
||||
if name=='sample.png':
|
||||
continue
|
||||
output=subprocess.check_output(command(name),text=True,timeout=65)
|
||||
row=json.loads(output)
|
||||
results.append(row)
|
||||
print(json.dumps({'case':row}),flush=True)
|
||||
children=[subprocess.Popen(command('rgb16-40mp.png'),stdout=subprocess.PIPE,stderr=subprocess.PIPE,text=True) for _ in range(2)]
|
||||
parallel=[]
|
||||
try:
|
||||
for child in children:
|
||||
out,err=child.communicate(timeout=65)
|
||||
assert child.returncode==0,(child.returncode,err)
|
||||
parallel.append(json.loads(out))
|
||||
finally:
|
||||
for child in children:
|
||||
if child.poll() is None:
|
||||
child.kill()
|
||||
child.wait()
|
||||
overlap=any(max(a['started_monotonic'],b['started_monotonic'])<min(a['finished_monotonic'],b['finished_monotonic']) for a in parallel[0]['versions'] for b in parallel[1]['versions'])
|
||||
assert overlap
|
||||
peak=int(Path('/sys/fs/cgroup/memory.peak').read_text())
|
||||
limit=int(Path('/sys/fs/cgroup/memory.max').read_text())
|
||||
assert peak<limit
|
||||
print(json.dumps({'result':'PASS','cases':results,'concurrent':parallel,'render_overlap':overlap,'cgroup_peak':peak,'cgroup_limit':limit,'memory_events':Path('/sys/fs/cgroup/memory.events').read_text()}),flush=True)
|
||||
"""
|
||||
payload = {
|
||||
"code": (folder / "linux-child.py").read_text(),
|
||||
"fixtures": {name: base64.b64encode(data).decode() for name, data in fixtures.items()},
|
||||
}
|
||||
output = folder / "linux.json"
|
||||
if output.exists():
|
||||
raise SystemExit("Result exists; do not repeat completed evidence")
|
||||
process = subprocess.Popen(
|
||||
["docker", "compose", "exec", "-T", "worker", "python", "-c", bootstrap],
|
||||
stdin=subprocess.PIPE,
|
||||
stdout=subprocess.PIPE,
|
||||
stderr=subprocess.STDOUT,
|
||||
text=True,
|
||||
)
|
||||
process.stdin.write(json.dumps(payload))
|
||||
process.stdin.close()
|
||||
lines = []
|
||||
for line in process.stdout:
|
||||
print(line, end="", flush=True)
|
||||
lines.append(line)
|
||||
code = process.wait()
|
||||
report = {
|
||||
"source_sha": subprocess.check_output(["git", "rev-parse", "HEAD"], text=True).strip(),
|
||||
"exit_code": code,
|
||||
"input_sha256": {name: hashlib.sha256(data).hexdigest() for name, data in fixtures.items()},
|
||||
}
|
||||
if code == 0:
|
||||
report.update(json.loads(lines[-1]))
|
||||
else:
|
||||
report["result"] = "FAIL"
|
||||
output.write_text(json.dumps(report, indent=2) + "\n")
|
||||
raise SystemExit(code)
|
||||
@@ -1,238 +0,0 @@
|
||||
{
|
||||
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"exit_code": 0,
|
||||
"input_sha256": {
|
||||
"rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"gray16-opaque-40mp.png": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
|
||||
"sample.png": "99ea7533c441f79cd630d15ce4d58d1ec4e06f6f0efb3b77a5c088305cd1bd75"
|
||||
},
|
||||
"result": "PASS",
|
||||
"cases": [
|
||||
{
|
||||
"file": "gray16-40mp.png",
|
||||
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 192.032995711,
|
||||
"finished_monotonic": 193.256173795,
|
||||
"render_seconds": 1.2231780839999828,
|
||||
"variants": {
|
||||
"thumbnail": "99b591aa444566a5c425692f989a8cee8621615ec6aa7911e273e2c47f07d027",
|
||||
"crop": "8ea8ec6f95dc1d1697327cd4640e59c2adce777564d349703df9f581dde2f450",
|
||||
"optimized": "7667253d3e6bb37c83e75c2955705e4d5b97a7ee515df4aac5099c9ab3f97335"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 193.258607545,
|
||||
"finished_monotonic": 194.489094088,
|
||||
"render_seconds": 1.230486543000012,
|
||||
"variants": {
|
||||
"thumbnail": "a17f036f331d17eb03302ddf06741e2f22a8da3394e85e122194fe45282de352",
|
||||
"crop": "9de07bd2f684859366c50919650f159adc93f9027150de2f51cafac502794daf",
|
||||
"optimized": "e9d888a5186c3f4824ef866fe97606e2d0a486a312551bfd571e02d2f509a4b7"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 365508,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray16-opaque-40mp.png",
|
||||
"input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 195.17374863,
|
||||
"finished_monotonic": 195.46179888,
|
||||
"render_seconds": 0.28805024999999773,
|
||||
"variants": {
|
||||
"thumbnail": "59472ec8f914eb4502ffd2591a59ac68b05cccefeedc678f5ad2919cd2c6a3a2",
|
||||
"crop": "91eed7d7e1f422bfc3827903cc6801a37387d642a1b4fcc08e23b2de4840a3d7",
|
||||
"optimized": "c5216644c9e66c732de7523bef11b7024bf0417adb1d134d8f2ce259fd8b6ed1"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 195.464219338,
|
||||
"finished_monotonic": 195.744785005,
|
||||
"render_seconds": 0.28056566700001895,
|
||||
"variants": {
|
||||
"thumbnail": "13ea6ae5bd526b8b0ad4e88ff72498ff48c6d50f8d12e81ad6773a1eaa9fc177",
|
||||
"crop": "2d5dbe60802e4aa1c3ff20c112df454c70a12e2c9fccc99137802a5556e270bf",
|
||||
"optimized": "38fc10be1e1f56da14304d26c52c11032900002c70de502ea1b7c1639535633e"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 365492,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray2-40mp.png",
|
||||
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 196.461284589,
|
||||
"finished_monotonic": 196.747503755,
|
||||
"render_seconds": 0.2862191659999951,
|
||||
"variants": {
|
||||
"thumbnail": "ce63aabedb566aea34ad71f5a146f8dc8f0fd27c1f28f5ad1a28ffdf4630b053",
|
||||
"crop": "43956a7b626be7786964c28ae7bf0cb96b2b914335a1b8129772c7bd88ee95ed",
|
||||
"optimized": "059fb496f80d0ad3c73ea4d257f754b726f5d8dacfefd42ea7cedd6ff3368b24"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 196.750391839,
|
||||
"finished_monotonic": 197.01864788,
|
||||
"render_seconds": 0.2682560410000008,
|
||||
"variants": {
|
||||
"thumbnail": "efb7970658ce2e7ed86bf5f3d5d695b81cd396e717d699fd9e69ffb294d5d870",
|
||||
"crop": "cb1ce90bf86c1178ac5f0830e3d34ed54296a0e81231b422ba9f622dd22c7daa",
|
||||
"optimized": "38dc2af32b8bbc1f15fbff2fcfeb5fa0d5ac6ed75225afc575e80254d2a54d0c"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 343076,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "gray4-40mp.png",
|
||||
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 197.695555797,
|
||||
"finished_monotonic": 197.978069006,
|
||||
"render_seconds": 0.2825132090000011,
|
||||
"variants": {
|
||||
"thumbnail": "9130484055a59c8c813ea7e48b32e27a3c424b4107ca4f872c8711ad34234610",
|
||||
"crop": "c3bbbc98cc4a63ea0aab370b4e81bdc66a353a8ca7beb9c83a2c28af9f44b641",
|
||||
"optimized": "e23b8d975b6973b848ba57cb68925d6f88156f44d9dcbe52d194e006e49dcefa"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 197.980502798,
|
||||
"finished_monotonic": 198.257521881,
|
||||
"render_seconds": 0.277019082999999,
|
||||
"variants": {
|
||||
"thumbnail": "814c3cc7149871ae2614c4e71f9ffd35e86063bad1c8f94c2aeb5c0dacd516c3",
|
||||
"crop": "beb44557013393b7c1a85b1df2fd74ffaf8bd32606092bad48c300b7d7a676fb",
|
||||
"optimized": "b7a3cf6655e630458fb5341d7a79e742dafcf26590724a0440e3dfe82e4986f7"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 342956,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 198.959187048,
|
||||
"finished_monotonic": 199.736227465,
|
||||
"render_seconds": 0.7770404170000234,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 199.738488423,
|
||||
"finished_monotonic": 200.507796924,
|
||||
"render_seconds": 0.7693085009999834,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 406312,
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"concurrent": [
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 201.216312716,
|
||||
"finished_monotonic": 202.037238716,
|
||||
"render_seconds": 0.8209259999999858,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 202.0398138,
|
||||
"finished_monotonic": 202.834078508,
|
||||
"render_seconds": 0.7942647080000143,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 404584,
|
||||
"result": "PASS"
|
||||
},
|
||||
{
|
||||
"file": "rgb16-40mp.png",
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"started_monotonic": 201.216906382,
|
||||
"finished_monotonic": 202.031220341,
|
||||
"render_seconds": 0.8143139590000033,
|
||||
"variants": {
|
||||
"thumbnail": "be34d8832da928389bfebfc6c1f16a5f871bca150c4cfcb6480c28b9734038ec",
|
||||
"crop": "8d4a59604fea3ea6ad475b5bb12c0c9fd30a48297bd1b7bd41ac1ee82105df96",
|
||||
"optimized": "30e30ca074118f4fd00c1670bdfe93a03b083da861af109fe863f6baab4549af"
|
||||
}
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"started_monotonic": 202.033759216,
|
||||
"finished_monotonic": 202.824064842,
|
||||
"render_seconds": 0.7903056260000199,
|
||||
"variants": {
|
||||
"thumbnail": "ec9b5fc973ee1c36c8bbb4f11fcc376a255a8a2b52067d958b57aeb272eb7f3d",
|
||||
"crop": "6d73d731eff497a00f8535f705e4a2e79a376d08d559d9afeb8b815aa56a3bb2",
|
||||
"optimized": "a1de31c50abed6c9309af3cd7bc4fcabdfefe8d38d2b6eb946f91e52cb69e687"
|
||||
}
|
||||
}
|
||||
],
|
||||
"ordinary_after": true,
|
||||
"max_rss_kib": 404776,
|
||||
"result": "PASS"
|
||||
}
|
||||
],
|
||||
"render_overlap": true,
|
||||
"cgroup_peak": 1026285568,
|
||||
"cgroup_limit": 1073741824,
|
||||
"memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0\n"
|
||||
}
|
||||
File diff suppressed because one or more lines are too long
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T23:15:49Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
gray16 PASS
|
||||
rgb16 PASS
|
||||
gray16-without-trns PASS
|
||||
concurrent-rgb16 PASS
|
||||
forced-timeout PASS
|
||||
forced-memory PASS
|
||||
exit_code: 0 elapsed_seconds: 95.742
|
||||
@@ -1,742 +0,0 @@
|
||||
{
|
||||
"mode": "png-http",
|
||||
"source_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155",
|
||||
"started_at": "2026-11-06T23:17:43.287659Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2",
|
||||
"started_at": "2026-11-06T23:17:44.380294Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-5f46-7727-8fb2-3d557bcfe643",
|
||||
"input_sha256": "80754a3aa0c8a6014dc7a282b2009d49d064a5c02ed48e634d05d01c0aa3df6b",
|
||||
"input_bytes": 189,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "def030bc04042aa23362c895a36b18d1d9748360df045decaf68eaeb0aa68deb",
|
||||
"bytes": 1324,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fd49dc2d33e7b7963cd8f8f6ef0f0b80117e2c4a7dfb4fd2ee79285e47ff789a",
|
||||
"bytes": 98,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1b6f714677aa69673da7ed9eefba73376b8df42eae70a3d91002d2aab7272d9e",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "d14b6cc6fe415bd8c4fef55402a4fb196bc4f39d493ee505d536594b28841697",
|
||||
"bytes": 1489,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "c8f23e1adbf1add646f23531e270dc25d5108453d50947dec3e73700b0d6741f",
|
||||
"bytes": 96,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "93107a3ba1a8aba475f8993dfb0d03658cef12a416c08a230653370921dcc00b",
|
||||
"bytes": 335,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.395
|
||||
},
|
||||
{
|
||||
"name": "gray4",
|
||||
"started_at": "2026-11-06T23:17:48.776246Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-706a-74da-b85b-267a032e36ab",
|
||||
"input_sha256": "d0ed5b64b3b875be881dd286bedb7948fd06570f9ef1d2cfe41b665a838e426b",
|
||||
"input_bytes": 263,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "43323e552e3c79e1a1688478d72c2ce370c21e55f1560958f9f6a225bc32f909",
|
||||
"bytes": 1034,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "dbc0ec3736c18df42f26b8f396b2eb243a18c6a0f5b6bbef8bf4ff7e563032c3",
|
||||
"bytes": 90,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d594ebb80ca7939643379ba54392070444eb900ca40bec9c6beee75175fd81ab",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "16e27d4c1df7aac7185381a1f4c8c9cceb05647e98f941c41e38f4dfe4c5ec75",
|
||||
"bytes": 1197,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cd31de25056767d9050108c4475d4b72ccd1ab3c36c1c96159b104019e4e3493",
|
||||
"bytes": 92,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "86afdaf8b40f77c2426ebf10c8d603535d75caa4fc720462be9acc43e39d4fbd",
|
||||
"bytes": 330,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.114
|
||||
},
|
||||
{
|
||||
"name": "rgb16",
|
||||
"started_at": "2026-11-06T23:17:52.890838Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-807d-7398-8d62-e5d3486f1e9c",
|
||||
"input_sha256": "e8e5f64cf3a0312b17549aed29f062e3cb03d0c1bf327396c6a25c4b88dec89f",
|
||||
"input_bytes": 724,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "6386114c3d0b89c4df88745eec318b5db1a779d488e1b08f34ac34138c7feb99",
|
||||
"bytes": 671,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "fed7e1bf230e91296a5ea9a85b51d190152639bb2963b661f872029d852cc4ad",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "af0a65a6596a0905a79403a9a6ef32a1301671a98ae3c8b5c3d6ced2d20a1009",
|
||||
"bytes": 332,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dedcbac123226e3012a4dbd178b7aae7a7aba4f2c44c91be274c86804238b208",
|
||||
"bytes": 696,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "bc09a1696563daae4385190d2c52afac8230e18fff4b5eba701a42f0facde043",
|
||||
"bytes": 94,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "218bc7fd6fa995a3c4cf725016714408073699d13f39d0d364ffe3595856d272",
|
||||
"bytes": 333,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.989
|
||||
},
|
||||
{
|
||||
"name": "gray1",
|
||||
"started_at": "2026-11-06T23:17:57.880356Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-93fd-7099-8ab3-600c201aa01d",
|
||||
"input_sha256": "1bf59ee41fbd12bf572ac294e0505cc00b904363dd479d643b43062199dd67e3",
|
||||
"input_bytes": 154,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "315ce3f53ac2012226bbeb906c7d37997a7f6fabb3d0ede23a797e66fe4b51ee",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "c5745603d7848377a38bb5228f7817f5d4d4f5af26dadd7d3b2fb97b6a598a8e",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
|
||||
"bytes": 380,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "8c5e7cc56874d00f7d5731a6a89461b264ef4e3b450899b63f4608231180b5aa",
|
||||
"bytes": 66,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "19305cfd18dc8f3e504d6ef5667ddd7be788836e16317dba5b2c6f590b6a2667",
|
||||
"bytes": 308,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.969
|
||||
},
|
||||
{
|
||||
"name": "gray8",
|
||||
"started_at": "2026-11-06T23:18:01.850592Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-a380-7186-b76d-46a83b6ad53f",
|
||||
"input_sha256": "31cb54aacd9e1c324b14e38377f83a21d4084dc134aa3d3e1e5c40e3d9c5dd2f",
|
||||
"input_bytes": 286,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "14a6e4afbe7e4cf766330007adda1c14168f16957f9409f402a8699a0e5de62f",
|
||||
"bytes": 621,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "d35d7d59302099ea5fea9e91a405f4ebf8823aae1f53a59f88a09015619136fa",
|
||||
"bytes": 74,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d8fac3c82defab08dbb276681b1a7fb2545d883830dae5f965349474897373c7",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "dba34622f93edcd2d3449e217eb9605b1fac739c7c873a875af5d88d8e76bf2e",
|
||||
"bytes": 637,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "3d4823a2da9971a444b16cf060be5f0b2b7a16bf50a26e7343283d48b562d105",
|
||||
"bytes": 76,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d9d4ed6ef383acdf227745e511acaffddf6e90c4f100d0f6ea117f5783581d29",
|
||||
"bytes": 324,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.033
|
||||
},
|
||||
{
|
||||
"name": "gray16",
|
||||
"started_at": "2026-11-06T23:18:05.884188Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-b349-7332-b73c-db1221023da8",
|
||||
"input_sha256": "f7fbc2506997045f18891037f3cde42cf1e3b55461948f790779817317574f77",
|
||||
"input_bytes": 344,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "e49a69181bafd0ebb4348db7030ad2cbf632b296a65f0ba05fe984b3d2b1ccdc",
|
||||
"bytes": 632,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "751dc647784804af94b6cda23248840f73cab0cfe03227c4568b75195c00603a",
|
||||
"bytes": 80,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "1bc87b25d02a179dc0cf5a883fb624fda094ba042ed9476c883ae1c12da6f1b6",
|
||||
"bytes": 322,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "a94faef9b08b5ab6ab239b6618c0e92b0ab92abca889acd714d6d9179dde90ef",
|
||||
"bytes": 662,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "b22468814595a3ae63a9b326ed55fefb9a833a0e621be5f366b113ad6cf18a12",
|
||||
"bytes": 72,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "d2267d9adb990db045e8c186737a4bdf66aa4e8d82d785c0bb3d8e87c34c5072",
|
||||
"bytes": 323,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.099
|
||||
},
|
||||
{
|
||||
"name": "rgb8",
|
||||
"started_at": "2026-11-06T23:18:09.984254Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-c34a-7194-8fbd-164055cfd3ef",
|
||||
"input_sha256": "8c27c74500758b1a24ccc96261334265e304d55530780aefc7ef4a1109c11852",
|
||||
"input_bytes": 385,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "c36bf54d185cfcf7abddd219a5e586e11b0c4d10007df5db55978f74ddcad2d0",
|
||||
"bytes": 1069,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "7b78675ebd18218e82922e75072a801eea74b4d5f26cde2b5810407c86509b88",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "f6e37a29401efe000eb8deb1490975d745f621f2ab229f4d85162945189e1791",
|
||||
"bytes": 385,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "fd82664e5924528cd7916b3b9e30b71517fa13c2763a8705e750fd4293f3027c",
|
||||
"bytes": 1184,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "a05ef5a9f1305b2941cc99ab594eb3671bb87babe35d28ac97127791881137bb",
|
||||
"bytes": 120,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "3cac9f1ca274bcac1dc05cf186cd88eb622fd947fb1a7958a1175e77623a96d6",
|
||||
"bytes": 392,
|
||||
"dimensions": [
|
||||
64,
|
||||
64
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 3.994
|
||||
},
|
||||
{
|
||||
"name": "rgb16-adam7-filter4-exif6",
|
||||
"started_at": "2026-11-06T23:18:13.978929Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7",
|
||||
"input_sha256": "b9c1cb1e309024e4578d1f17bf6bb0f0645aad4d8973e16098b65c54cfd4930a",
|
||||
"input_bytes": 1297,
|
||||
"versions": [
|
||||
{
|
||||
"version": 1,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "f257bf8fa4f30f0e4df6672de140799375cebd2bf735a656432cf702663414a1",
|
||||
"bytes": 601,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "cb92af5a047068048eba212d944513edb2c454f64e124339820d46c24e69ea45",
|
||||
"bytes": 112,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "110cf7571f07d2db04821e8ef1861f74b5a16978851a4b0082ca60aedc1d29e4",
|
||||
"bytes": 419,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"version": 2,
|
||||
"variants": [
|
||||
{
|
||||
"name": "crop",
|
||||
"sha256": "0a7fea5640c5877026100e65e39848e7b15ee5eebb93897ebbeb95d441e8d652",
|
||||
"bytes": 675,
|
||||
"dimensions": [
|
||||
128,
|
||||
128
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"sha256": "9d4b7431a72adfc10284e4443c4e56b4cd19a67c0729979041fc8b0bc2c6ca34",
|
||||
"bytes": 116,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"sha256": "529ceb55a8675e5ed870ed7917d7f1a5753c898b689f3e431e403b9b3682a732",
|
||||
"bytes": 440,
|
||||
"dimensions": [
|
||||
63,
|
||||
65
|
||||
]
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"stale_and_duplicate_noop": true
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.082
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
5.41796875,
|
||||
3.67138671875,
|
||||
2.95068359375
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 d1dcbda23866 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 1eaf0fe05de6 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 be1942ad69b4 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 4ddcc75182e6 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 5 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-relay-1 63225b5eff8e running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 29b3e7c3a260 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 5 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 647882797ca2 running Up 5 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 cb275ee9574b running Up 41 seconds (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-worker-1 Up 42 seconds (healthy)\nmtusi2026lab5-api-1 Up 5 minutes (healthy)\nmtusi2026lab5-api-2 Up 5 minutes (healthy)\nmtusi2026lab5-relay-1 Up 5 minutes (healthy)\nmtusi2026lab5-broker-1 Up 5 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 5 minutes (healthy)\nmtusi2026lab5-lb-1 Up 5 minutes (healthy)\nmtusi2026lab5-s3-1 Up 5 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 5 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"accepted_ids": [
|
||||
"01a1b327-5f46-7727-8fb2-3d557bcfe643",
|
||||
"01a1b327-706a-74da-b85b-267a032e36ab",
|
||||
"01a1b327-807d-7398-8d62-e5d3486f1e9c",
|
||||
"01a1b327-93fd-7099-8ab3-600c201aa01d",
|
||||
"01a1b327-a380-7186-b76d-46a83b6ad53f",
|
||||
"01a1b327-b349-7332-b73c-db1221023da8",
|
||||
"01a1b327-c34a-7194-8fbd-164055cfd3ef",
|
||||
"01a1b327-d2e9-72fc-9b7e-a5d8d6e2f8b7"
|
||||
],
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 56,
|
||||
"scoped_attachments": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 8
|
||||
}
|
||||
}
|
||||
],
|
||||
"finished_at": "2026-11-06T23:18:30.279606Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T23:17:43Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
rgb16 PASS
|
||||
gray1 PASS
|
||||
gray8 PASS
|
||||
gray16 PASS
|
||||
rgb8 PASS
|
||||
rgb16-adam7-filter4-exif6 PASS
|
||||
exit_code: 0 elapsed_seconds: 47.160
|
||||
@@ -1,10 +0,0 @@
|
||||
date: 2026-11-06T23:15:46Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose up -d --no-deps --force-recreate --wait worker
|
||||
Container mtusi2026lab5-worker-1 Recreate
|
||||
Container mtusi2026lab5-worker-1 Recreated
|
||||
Container mtusi2026lab5-worker-1 Starting
|
||||
Container mtusi2026lab5-worker-1 Started
|
||||
Container mtusi2026lab5-worker-1 Waiting
|
||||
Container mtusi2026lab5-worker-1 Healthy
|
||||
exit_code: 0 elapsed_seconds: 3.133
|
||||
@@ -1,8 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker volume ls --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Name}}'
|
||||
mtusi2026lab5_broker-data
|
||||
mtusi2026lab5_pgdata
|
||||
mtusi2026lab5_s3data
|
||||
mtusi2026lab5_valkeydata
|
||||
exit_code: 0 elapsed_seconds: 0.024
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker ps --format '{{.Names}} {{.Status}}'
|
||||
exit_code: 0 elapsed_seconds: 0.024
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T23:15:05Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
|
||||
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
|
||||
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
|
||||
images.py sha256 97c6e9c1ef13c8854be9cd2cc11e4279d1d340ba3ab360dfa3e05772923ea743
|
||||
exit_code: 0 elapsed_seconds: 0.380
|
||||
@@ -1,63 +0,0 @@
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
files = set(subprocess.check_output(["git", "ls-files", "-z"]).decode().split("\0")) - {""}
|
||||
files.update(
|
||||
str(p) for p in Path("evidence/final-memory-validation-2026-11-07").rglob("*") if p.is_file()
|
||||
)
|
||||
patterns = {
|
||||
"private_key": r"-----BEGIN (?:RSA |EC |OPENSSH )?PRIVATE KEY-----",
|
||||
"github_token": r"\b(?:gh[pousr]_[A-Za-z0-9]{30,}|github_pat_[A-Za-z0-9_]{50,})\b",
|
||||
"openai_token": r"\bsk-(?:proj-)?[A-Za-z0-9_-]{35,}\b",
|
||||
"aws_key": r"\b(?:AKIA|ASIA)[A-Z0-9]{16}\b",
|
||||
"telegram_token": r"\b[0-9]{8,12}:[A-Za-z0-9_-]{35}\b",
|
||||
"bearer_literal": r"Bearer [A-Za-z0-9_-]{24,}",
|
||||
"credential_url": r"\b(?:amqps?|postgres(?:ql)?|redis|https?)://[^\s\"\'{}$<>:/]+:[^\s\"\'{}$<>@/]+@",
|
||||
"secret_literal": r"""["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']""",
|
||||
}
|
||||
allow = {
|
||||
("contracts/examples.json", 5, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("contracts/openapi.json", 3096, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("examples/requests.http", 20, "secret_literal"): "unchanged skeleton example placeholder",
|
||||
("scripts/broker-secrets.sh", 17, "credential_url"): "printf format; no credential literal",
|
||||
(
|
||||
"student-tests/api/test_operability.py",
|
||||
131,
|
||||
"credential_url",
|
||||
): "synthetic unavailable endpoint u:p",
|
||||
(
|
||||
"student-tests/api/test_operability.py",
|
||||
143,
|
||||
"credential_url",
|
||||
): "synthetic unavailable endpoint u:p",
|
||||
("student-tests/conftest.py", 141, "credential_url"): "ephemeral test database literal",
|
||||
}
|
||||
findings = []
|
||||
for name in sorted(files):
|
||||
if re.search(r"(^|/)(?:\.env|secrets|volumes)(?:/|$)", name):
|
||||
findings.append({"file": name, "rule": "forbidden_path"})
|
||||
try:
|
||||
text = Path(name).read_text()
|
||||
except UnicodeDecodeError, OSError:
|
||||
continue
|
||||
for rule, pattern in patterns.items():
|
||||
for match in re.finditer(pattern, text):
|
||||
line = text.count("\n", 0, match.start()) + 1
|
||||
item = {"file": name, "line": line, "rule": rule}
|
||||
if (name, line, rule) in allow:
|
||||
item["reviewed_non_secret"] = allow[name, line, rule]
|
||||
findings.append(item)
|
||||
report = {
|
||||
"files_scanned": len(files),
|
||||
"patterns": list(patterns),
|
||||
"candidates": findings,
|
||||
"unresolved": sum("reviewed_non_secret" not in f for f in findings),
|
||||
}
|
||||
Path("evidence/final-memory-validation-2026-11-07/secret-scan.json").write_text(
|
||||
json.dumps(report, indent=2) + "\n"
|
||||
)
|
||||
print(json.dumps(report, indent=2))
|
||||
raise SystemExit(bool(report["unresolved"]))
|
||||
@@ -1,58 +0,0 @@
|
||||
{
|
||||
"files_scanned": 804,
|
||||
"patterns": [
|
||||
"private_key",
|
||||
"github_token",
|
||||
"openai_token",
|
||||
"aws_key",
|
||||
"telegram_token",
|
||||
"bearer_literal",
|
||||
"credential_url",
|
||||
"secret_literal"
|
||||
],
|
||||
"candidates": [
|
||||
{
|
||||
"file": "contracts/examples.json",
|
||||
"line": 5,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "contracts/openapi.json",
|
||||
"line": 3096,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "examples/requests.http",
|
||||
"line": 20,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "scripts/broker-secrets.sh",
|
||||
"line": 17,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "printf format; no credential literal"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 131,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 143,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/conftest.py",
|
||||
"line": 141,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "ephemeral test database literal"
|
||||
}
|
||||
],
|
||||
"unresolved": 0
|
||||
}
|
||||
@@ -1,37 +0,0 @@
|
||||
{
|
||||
"evidence/final-memory-validation-2026-11-07/RESULTS.md": "e4dd4dfc47ae8095458028235b1e89373b815edeeceddbd09f116f9ad9f4450b",
|
||||
"evidence/final-memory-validation-2026-11-07/active-changes.txt": "b817c4f054d652d43cc5b0059aa3808fe18d4a4582a3676c34f0d9418efa992d",
|
||||
"evidence/final-memory-validation-2026-11-07/audit-files.py": "864e3a7032755da30afeef71431649e87c955cea4dc48021c14575b5ac243ded",
|
||||
"evidence/final-memory-validation-2026-11-07/audit.json": "68e3f1a5806fe4b65f1e8e8efe0b66c5e55cccd4ce492b7a325d4cc89323ca69",
|
||||
"evidence/final-memory-validation-2026-11-07/build.txt": "62ca4051248a5ba0c1d5380456dc972572da8c08e27b840992b24f500ab57bb7",
|
||||
"evidence/final-memory-validation-2026-11-07/checks.txt": "6a1195478b3eb211d21352cb6ed00e690196ccc54e0db3a3fe3ac4e5f6b19336",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions-after.json": "e72877504561b2e4ab95ffa5ad2e616ff3599ba0887fd10b378f9425cf62376c",
|
||||
"evidence/final-memory-validation-2026-11-07/conditions.json": "c970c484ad92ada00d33f4df86113928b0ef0321b1b7740441a8c1e10f4b5c30",
|
||||
"evidence/final-memory-validation-2026-11-07/container-events.json": "bfce3b6295e23ea06f4f29beb1b83b4a5b2ec5e07c4230d3ba68d1dc0c241d39",
|
||||
"evidence/final-memory-validation-2026-11-07/down.txt": "0b80c02939c9224df3e8f5f98ae6320b6ffc71a8a28c001e7b3ee9ae113a6f39",
|
||||
"evidence/final-memory-validation-2026-11-07/env.sh": "fa41c289402a362827d3edc88bd0e8301e55d279df09f658f800a94bff96b05d",
|
||||
"evidence/final-memory-validation-2026-11-07/final-audit.json": "2c6308899417e6da60875de9c262828fe7caccd30bffb223d8ce53635f5845ad",
|
||||
"evidence/final-memory-validation-2026-11-07/final-checks.txt": "7405e049b92aa01667afe431a64e3c6d5ffc1827c03a4bed480a5158802a08d8",
|
||||
"evidence/final-memory-validation-2026-11-07/final-containers.txt": "dd5432219d35baeee61392605910c2864b71b83e8972377254eff268670422c5",
|
||||
"evidence/final-memory-validation-2026-11-07/findings.json": "a2b9cc2a425aa0326fd72c6bdab9a5dc69ea4d90fef2c3ce239fbbb514e978a1",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-child.py": "c293f49bd273fe7c3c6bb0ac90f2ccb28a02117a4fdae758d04e8c006d4e89ab",
|
||||
"evidence/final-memory-validation-2026-11-07/linux-runner.py": "680052df464d87d97a9717469d53d27f4f2391f740b0aaa23fa52a77a52c9a83",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.json": "febd60518391e7d6f479908e48856a6c0a774fd5763f33cf02655e414d6b1fe3",
|
||||
"evidence/final-memory-validation-2026-11-07/linux.txt": "51f31e560852514bdba1777db1ceade9284ff13610d60afaf7a128f171cd7b29",
|
||||
"evidence/final-memory-validation-2026-11-07/openspec.txt": "dc82d21ab66012b5960a0f76e82eef10d7df082497119d18efb7aed5009efd3d",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.json": "a6452fb7b502597058641878464ee383eab334b0d77377bfe54565aeb4279df1",
|
||||
"evidence/final-memory-validation-2026-11-07/png-boundary.txt": "1aba30dc29b1bae3f7e1d8fb64a7e331effb85fa45a2f3a123ddbe7dd743c6ad",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.json": "0dab50ef2d4ed22425d27ccdefaac316ed4b8c7b0a759c2c616eb9239ebba618",
|
||||
"evidence/final-memory-validation-2026-11-07/png-http.txt": "68ae6e09e67a9df204f0346ebec3b9b185bcf2c67a0a0946aff620408ba867a2",
|
||||
"evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt": "97c9b5d430649b61f83fb7904414690f50e742b0b53e39c9b4324d60c1b6b2f9",
|
||||
"evidence/final-memory-validation-2026-11-07/retained-volumes.txt": "27347d997d6f8466d94b0a5bb06350f183c5e30ef9ad2c3858cdc24a316bf5e4",
|
||||
"evidence/final-memory-validation-2026-11-07/running-containers-after.txt": "44b284098615df613f91d9bc745f236f6ede62f1ea95a9de06e10ed712ffb799",
|
||||
"evidence/final-memory-validation-2026-11-07/runtime.txt": "1f35a3f37a7e4d4689c8154384b08c9800077d4f77251d576f03921605a28b2e",
|
||||
"evidence/final-memory-validation-2026-11-07/scan-secrets.py": "27130687bae2d636d9780759559524b347ec3733aa2df722c837378f2d2f39b1",
|
||||
"evidence/final-memory-validation-2026-11-07/secret-scan.json": "27f7763fd6af6a10d3ddd0c8ae0a3f71dcad4eeb000afa5af5379bb646fb8e30",
|
||||
"evidence/final-memory-validation-2026-11-07/smoke.txt": "ba0b81113210431ecfe0a085024efd650b4963e1eaf21b2837f6163523a70afc",
|
||||
"evidence/final-memory-validation-2026-11-07/stopped-containers.txt": "f543710a6a0f639673d62148635409ecec6bea71c8987dc036017d4692505bed",
|
||||
"evidence/final-memory-validation-2026-11-07/student-test.txt": "1cf669fbca4aee91e87e74089522325f7214ad6406c031013a73c8b935593ac1",
|
||||
"evidence/final-memory-validation-2026-11-07/targeted.py": "cba7c461fded4eb88247f113a2328780fe985a3c1bdc27a26df47277a2374ffc",
|
||||
"evidence/final-memory-validation-2026-11-07/up.txt": "1fd736cd42363f734649be3011f92abee46bc9210b4fd513aa2daba9d5f4a666"
|
||||
}
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T23:15:03Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18085"
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit_code: 0 elapsed_seconds: 1.706
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker ps -a --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Names}} {{.State}}'
|
||||
exit_code: 0 elapsed_seconds: 0.028
|
||||
@@ -1,20 +0,0 @@
|
||||
date: 2026-11-06T22:54:40Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ make student-test 'PYTEST_ARGS=-q --tb=short'
|
||||
.venv/bin/pytest -q --tb=short
|
||||
........................................................................ [ 7%]
|
||||
........................................................................ [ 14%]
|
||||
........................................................................ [ 21%]
|
||||
........................................................................ [ 29%]
|
||||
........................................................................ [ 36%]
|
||||
........................................................................ [ 43%]
|
||||
........................................................................ [ 51%]
|
||||
........................................................................ [ 58%]
|
||||
........................................................................ [ 65%]
|
||||
........................................................................ [ 73%]
|
||||
........................................s............................... [ 80%]
|
||||
........................................................................ [ 87%]
|
||||
......................................................................s. [ 94%]
|
||||
.................................................. [100%]
|
||||
984 passed, 2 skipped, 19 deselected in 171.26s (0:02:51)
|
||||
exit_code: 0 elapsed_seconds: 172.902
|
||||
@@ -1,94 +0,0 @@
|
||||
date: 2026-11-06T23:12:23Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"}
|
||||
$ docker compose up -d --wait
|
||||
Network mtusi2026lab5_backend Creating
|
||||
Network mtusi2026lab5_backend Created
|
||||
Network mtusi2026lab5_edge Creating
|
||||
Network mtusi2026lab5_edge Created
|
||||
Container mtusi2026lab5-valkey-1 Creating
|
||||
Container mtusi2026lab5-broker-1 Creating
|
||||
Container mtusi2026lab5-lb-1 Creating
|
||||
Container mtusi2026lab5-postgres-1 Creating
|
||||
Container mtusi2026lab5-s3-1 Creating
|
||||
Container mtusi2026lab5-s3-1 Created
|
||||
Container mtusi2026lab5-valkey-1 Created
|
||||
Container mtusi2026lab5-s3-init-1 Creating
|
||||
Container mtusi2026lab5-lb-1 Created
|
||||
Container mtusi2026lab5-broker-1 Created
|
||||
Container mtusi2026lab5-postgres-1 Created
|
||||
Container mtusi2026lab5-migrate-1 Creating
|
||||
Container mtusi2026lab5-s3-init-1 Created
|
||||
Container mtusi2026lab5-migrate-1 Created
|
||||
Container mtusi2026lab5-api-2 Creating
|
||||
Container mtusi2026lab5-worker-1 Creating
|
||||
Container mtusi2026lab5-api-1 Creating
|
||||
Container mtusi2026lab5-relay-1 Creating
|
||||
Container mtusi2026lab5-api-2 Created
|
||||
Container mtusi2026lab5-relay-1 Created
|
||||
Container mtusi2026lab5-api-1 Created
|
||||
Container mtusi2026lab5-worker-1 Created
|
||||
Container mtusi2026lab5-broker-1 Starting
|
||||
Container mtusi2026lab5-valkey-1 Starting
|
||||
Container mtusi2026lab5-postgres-1 Starting
|
||||
Container mtusi2026lab5-s3-1 Starting
|
||||
Container mtusi2026lab5-lb-1 Starting
|
||||
Container mtusi2026lab5-s3-1 Started
|
||||
Container mtusi2026lab5-s3-1 Waiting
|
||||
Container mtusi2026lab5-postgres-1 Started
|
||||
Container mtusi2026lab5-postgres-1 Waiting
|
||||
Container mtusi2026lab5-valkey-1 Started
|
||||
Container mtusi2026lab5-broker-1 Started
|
||||
Container mtusi2026lab5-lb-1 Started
|
||||
Container mtusi2026lab5-postgres-1 Healthy
|
||||
Container mtusi2026lab5-migrate-1 Starting
|
||||
Container mtusi2026lab5-migrate-1 Started
|
||||
Container mtusi2026lab5-s3-1 Healthy
|
||||
Container mtusi2026lab5-s3-init-1 Starting
|
||||
Container mtusi2026lab5-s3-init-1 Started
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-api-1 Starting
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-relay-1 Starting
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-worker-1 Starting
|
||||
Container mtusi2026lab5-api-1 Started
|
||||
Container mtusi2026lab5-api-2 Starting
|
||||
Container mtusi2026lab5-worker-1 Started
|
||||
Container mtusi2026lab5-relay-1 Started
|
||||
Container mtusi2026lab5-api-2 Started
|
||||
Container mtusi2026lab5-relay-1 Waiting
|
||||
Container mtusi2026lab5-postgres-1 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Waiting
|
||||
Container mtusi2026lab5-s3-1 Waiting
|
||||
Container mtusi2026lab5-lb-1 Waiting
|
||||
Container mtusi2026lab5-worker-1 Waiting
|
||||
Container mtusi2026lab5-broker-1 Waiting
|
||||
Container mtusi2026lab5-valkey-1 Waiting
|
||||
Container mtusi2026lab5-s3-init-1 Waiting
|
||||
Container mtusi2026lab5-api-1 Waiting
|
||||
Container mtusi2026lab5-api-2 Waiting
|
||||
Container mtusi2026lab5-migrate-1 Exited
|
||||
Container mtusi2026lab5-s3-1 Healthy
|
||||
Container mtusi2026lab5-s3-init-1 Exited
|
||||
Container mtusi2026lab5-broker-1 Healthy
|
||||
Container mtusi2026lab5-postgres-1 Healthy
|
||||
Container mtusi2026lab5-valkey-1 Healthy
|
||||
Container mtusi2026lab5-api-1 Healthy
|
||||
Container mtusi2026lab5-api-2 Healthy
|
||||
Container mtusi2026lab5-worker-1 Healthy
|
||||
Container mtusi2026lab5-relay-1 Healthy
|
||||
Container mtusi2026lab5-lb-1 Healthy
|
||||
exit_code: 0 elapsed_seconds: 11.284
|
||||
@@ -1,60 +0,0 @@
|
||||
# Финальная validation ЛР5
|
||||
|
||||
Измерен HEAD `b30e2f6a84419d1ca64525ffb40df92183cccaef`; runtime совпадает с прошедшим review `42575281b352d35bda17ee7601bae5548a996e91`. Изменяются только документы и evidence. Полные три повтора трека 2 не запускались заново: применимость и первичные хеши проверены в [аудите](../load-validation.md), [audit.json](audit.json) и [historical-hashes.json](historical-hashes.json).
|
||||
|
||||
## Условия
|
||||
|
||||
Дата каталога — 2026-11-07 Europe/Moscow; сырые UTC-метки начинаются 2026-11-06T21:15. Darwin arm64, Docker 28.3.2, Linux VM 16 CPU / 8 217 190 400 байт RAM. Основной project `mtusi2026lab5` изолирован собственными сетями и четырьмя сохранёнными volumes. HTTP 18085, stats 25085, broker UI 25086, только loopback. Чужие контейнеры не запускались и не останавливались.
|
||||
|
||||
Сборка и начальные функциональные проверки частично совпали по времени с собственным `make student-test` (его одноразовые контейнеры отражены в `postgres-outage*.json`). Перед HTTP PNG и проверками памяти student-test завершился, посторонних работающих Docker-контейнеров нет. Нагрузка хоста фиксируется срезами, непрерывного контроля CPU нет; RPS, p95 и новые SLO не заявляются.
|
||||
|
||||
Точные лимиты, image IDs и volumes — [runtime-containers.json](runtime-containers.json). Worker 2 CPU / 1 GiB, render 448 MiB / 30 с, concurrency=2; API ×2 по 1 CPU / 512 MiB. Реальные версии и хеш установленного images.py — [image-runtime.txt](image-runtime.txt). Конфигурация запуска — [env.sh](env.sh), без секретов. Fault-suite использует штатный `infra/compose.faults.yaml` и восстанавливает настройки.
|
||||
|
||||
## Выполнено
|
||||
|
||||
Все `.txt` содержат команду, исходный SHA, UTC и exit code. Команды выполняются из корня после `source evidence/final-validation-2026-11-07/env.sh`.
|
||||
|
||||
| Команда / файл | Наблюдение |
|
||||
| --- | --- |
|
||||
| `make check validate lint`, [checks.txt](checks.txt) | PASS |
|
||||
| `make student-test PYTEST_ARGS='-q --tb=short'`, [student-test.txt](student-test.txt) | 980 passed, 1 Linux-only skip, 19 stack deselected; real-broker тесты включены |
|
||||
| `openspec validate --all --strict`; `openspec list --json`, [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) | 22 PASS, активных changes нет; новый change не создаётся для docs/evidence |
|
||||
| `docker compose build`; `docker compose up -d --wait`, [build.txt](build.txt), [up.txt](up.txt) | PASS; сохранённые volumes, без удаления очередей/данных |
|
||||
| `make test`, [smoke.txt](smoke.txt) | Публичный HTTP smoke PASS |
|
||||
| `rabbitmqctl list_policies/list_queues`, [policy.txt](policy.txt), [queues.txt](queues.txt) | Эффективная policy `delivery-limit=-1` на существующей quorum queue; исходная DLQ=15 |
|
||||
| `.venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry`, [команда](postgres-outage-retry.txt), [результат](postgres-outage-retry.json), [сырые requeue](postgres-outage-worker.log) | PASS: настоящий PostgreSQL exited, 12 `job.requeued`, затем ready без replay; job_id и attempt=1 сохранены, три варианта, DLQ=15; 8 инвариантов PASS |
|
||||
| `targeted.py png-http`, [команда](png-http.txt), [результат](png-http.json) | 8 PNG × v1/v2 × 3 варианта = 48 побайтных сравнений с независимым белым эталоном PASS; оригиналы неизменны, metadata/hash/геометрия, удаление EXIF, stale/duplicate noop; 8 инвариантов PASS |
|
||||
| `pipeline_suite.py --only …`, [команда](delivery-targeted.txt), [результат](delivery-targeted.json) | 12 адресных сценариев и 8 инвариантов PASS; 11 ID, 47 S3-объектов. DLQ 15 → 16 только от ожидаемого malformed message |
|
||||
| `targeted.py png-limits`, [команда](png-limits.txt), [результат](png-limits.json) | Четыре FAIL для 40 Мп tRNS при штатных пределах; принудительные timeout/memory и последующее обычное задание PASS. Не переименовывать весь запуск в PASS |
|
||||
|
||||
PNG HTTP включает grayscale 1/2/4/8/16, RGB8/16, точного непрозрачного соседа 12346 и RGB16 с Adam7/filter=4/EXIF=6. Новые синтетические 40 Мп fixtures сохранены в [fixtures](fixtures); генератор — `large_png` в [targeted.py](targeted.py).
|
||||
|
||||
Policy сверена через Context7 `/rabbitmq/rabbitmq-website`; точная семантика 4.1 дополнительно проверена по [RabbitMQ 4.1](https://www.rabbitmq.com/docs/4.1/quorum-queues#poison-message-handling). Динамическое доказательство относится именно к RabbitMQ 4.1.8, а не к изменённой семантике nack в 4.3.
|
||||
|
||||
## Непригодные промежуточные проверки
|
||||
|
||||
Первый [postgres-outage.txt](postgres-outage.txt) имеет exit 1: `docker compose start worker` запустил зависимости, включая PostgreSQL, поэтому 12 ошибок не возникли. Это ошибка новой проверочной обвязки, а не дефект приложения. Исходная обвязка сохранена в [targeted-initial.py](targeted-initial.py). Повторён только этот сценарий с `docker start` точного ID своего worker; никаких старых пригодных серий не повторялось.
|
||||
|
||||
В `png-limits.json` проверка `no_orphans` выполнена до очередного штатного sweep: после последнего ready ещё оставался staging. Остальные семь инвариантов PASS. Read-only [cleanup-recheck](cleanup-recheck.txt) после sweep подтвердил отсутствие pending outbox/staging/nonterminal/дублей и точное совпадение 10 объектов S3 с БД для семи ID. Тяжёлые PNG не повторялись; исходный `no_orphans FAIL` не переписан.
|
||||
|
||||
## Незавершённая квалификация
|
||||
|
||||
Четыре валидных PNG 8000×5000 с tRNS приняты с 202, но дали failed/processing_failed на первой попытке. Worker жив, последующая обычная загрузка ready. **Major: не выполнен объявленный сценарий «Изображение на пределе пикселей» [OpenSpec](../../openspec/specs/lab5-image-variants/spec.md): PNG 8000×5000 при штатных пределах должен дать ready.** Это вывод о конкретном граничном сценарии, не заявление о потере данных или падении сервиса. Полное подтверждение «5» и готовность к публикации блокируются до отдельного fix/re-review. Реализация не менялась.
|
||||
|
||||
Пять прежних minor и документационная неточность `201` в openspec/config.yaml сохраняются в REPORT. Публикация и Telegram не выполнялись.
|
||||
|
||||
|
||||
[resource-probe-worker.txt](resource-probe-worker.txt) воспроизводит `MemoryError` при 448 MiB и загруженных модулях worker: grayscale 2/4 — `flatten` при выделении белого RGB-фона, grayscale16 — преобразование `I → L`, RGB16 — маски/повторное декодирование в `apply_png_transparency`. Без tRNS gray2/gray4/RGB16 обрабатываются, gray16 всё ещё превышает предел. В облегчённом процессе без импортов worker [resource-probe-retry.txt](resource-probe-retry.txt) проходит grayscale, но падает RGB16: такой изолированный результат не заменяет HTTP-проверку реального worker. RSS пробника — наблюдение процесса, а ограничение — виртуальное адресное пространство RLIMIT_AS.
|
||||
|
||||
При штатном HTTP-прогоне peak контейнера составил 640 196 608 байт < 1 GiB; `MemoryError` возникает внутри ограниченного дочернего процесса. Увеличение лимита без учёта concurrency=2 и памяти worker не считается готовым решением. После исправления нужны ресурсная проверка новых PNG, отсутствие поломки точного tRNS и целевые регрессии. Полную принятую track2-матрицу повторять без нового основания не требуется.
|
||||
|
||||
Первая попытка скопировать диагностические fixtures через `docker compose cp` отклонена read-only rootfs (`probe-copy-*.txt`), последующий запуск отсутствующего файла завершился exit 2 (`resource-probe.txt`). Затем [invoke-probe.py](invoke-probe.py) передал только синтетические fixtures и код через stdin, записал их в разрешённый tmpfs `/tmp` и выполнил пробник. Эти ошибки обвязки не скрыты и не названы тестовыми PASS.
|
||||
|
||||
## Завершение и передача
|
||||
|
||||
Итог — **1 major, 6 сохранённых minor**, [findings.json](findings.json). Фаза validation заблокирована граничной обработкой PNG; назначенный агент должен исправить реализацию через OpenSpec и пройти review. В этой фазе новых изменений реализации/конфигурации/OpenSpec нет. Check/validate/lint, полный student-test и остальные адресные результаты сохраняются для аудита применимости, не становятся автоматически недействительными после документационного коммита.
|
||||
|
||||
`make down` без `-v` выполнен: [down.txt](down.txt), [stopped-containers.txt](stopped-containers.txt); контейнеров своего project нет. Четыре постоянных volume сохранены — [retained-volumes.txt](retained-volumes.txt). Итоговый список работающих Docker-контейнеров пуст — [running-containers-after.txt](running-containers-after.txt). Фоновых агентов и процессов этап не оставил. Push и Telegram не выполнялись.
|
||||
|
||||
|
||||
Финальные `make check validate lint` — PASS ([checks-final.txt](checks-final.txt)); новый код evidence разобран Python AST. Проверены локальные ссылки и совпадение runtime с review, нормативных файлов со skeleton ([final-doc-audit.json](final-doc-audit.json)). Проверка tracked файлов и новых evidence по восьми шаблонам секретов не обнаружила реальных credentials; семь совпадений проверены как skeleton placeholders/тестовые значения ([secret-scan.json](secret-scan.json)). Это проверка содержимого, без чтения `.env` и `secrets/`. Концевые пробелы в новых текстовых логах нормализованы; результаты/значения не изменены, историческое сырьё не редактировалось.
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T21:15:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ openspec list --json
|
||||
{
|
||||
"changes": [],
|
||||
"root": {
|
||||
"path": "<repo>",
|
||||
"source": "nearest"
|
||||
}
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 0.794
|
||||
@@ -1,142 +0,0 @@
|
||||
{
|
||||
"head": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"review_runtime_equal": true,
|
||||
"runtime_diff_from_D": [
|
||||
"infra/rabbitmq/definitions.json",
|
||||
"src/messenger/attachments/infrastructure/images.py"
|
||||
],
|
||||
"platform": "macOS-15.1-arm64-arm-64bit-Mach-O",
|
||||
"host_load": [
|
||||
3.61962890625,
|
||||
2.6328125,
|
||||
2.22509765625
|
||||
],
|
||||
"docker": "28.3.2 16 8217190400",
|
||||
"retained_volumes": [
|
||||
"mtusi2026lab5_broker-data",
|
||||
"mtusi2026lab5_pgdata",
|
||||
"mtusi2026lab5_s3data",
|
||||
"mtusi2026lab5_valkeydata"
|
||||
],
|
||||
"series": [
|
||||
{
|
||||
"name": "level4",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 17,
|
||||
"invariants": 8,
|
||||
"accepted": 33,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 4,
|
||||
"only": "",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run1",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run2",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "track-run3",
|
||||
"source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"scenarios": 13,
|
||||
"invariants": 8,
|
||||
"accepted": 13,
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "smoke_pipeline,duplicate_after_ready,crash_commit_publish,crash_publish_confirm,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,crash_before_side_effect,worker_kill_mid_task,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
}
|
||||
}
|
||||
],
|
||||
"evidence_sha256": {
|
||||
"evidence/forward-final-2026-11-06/upload-negative.txt": "6cb7ad695b0715a2865e81d113bff729bf98d106a29c419e2ff16f7ee067c4b8",
|
||||
"evidence/forward-final-2026-11-06/baseline.txt": "f6520adb750693e1c7ad31cdad2d1de327a302d15a17a763a035f35ea5b759f5",
|
||||
"evidence/forward-final-2026-11-06/student-test.txt": "2976f98e550a14ee2c385f8a1b34a37626fdc602dfc6f848fbf81b0f105834fc",
|
||||
"evidence/forward-final-2026-11-06/summary.json": "406cea849c5a294a7a744e18056ed54a554cccdf3f5b1133d580ea67cdc1a57f",
|
||||
"evidence/forward-final-2026-11-06/track-run1.json": "5e90e87bcbf43115df39a37b95f50141772d92e3005f445e1a0c9b5d04050ad0",
|
||||
"evidence/forward-final-2026-11-06/baseline-regressions.txt": "b0525cea37ce47958dc95e02866c1f014239a6cc8500cf76bf448d2b4f1423c9",
|
||||
"evidence/forward-final-2026-11-06/conditions-level4-middle.json": "677c0e3499a45daf06cc5bc6f46338ceb873f4203ae137b8cb1c9606f13538eb",
|
||||
"evidence/forward-final-2026-11-06/lint-runtime.txt": "5e3c5752c468b6f747e4dbafd91954660f8b80f820b63ff34704641e7d5db970",
|
||||
"evidence/forward-final-2026-11-06/final-containers.txt": "e2ea3d831281e9cc6cc9b03ea1f00172e4eda23fb7244b8d9b60f7d211b5ec64",
|
||||
"evidence/forward-final-2026-11-06/down.txt": "9dbe77c3dc7b1a17798bd117fd1c8b4cb9ab01a6122376ca5ab38d147ac7b9ff",
|
||||
"evidence/forward-final-2026-11-06/stopped-containers.txt": "f7ac8e8c29b18a83193a089a2dd75aa0dfc103e54173e2421b853c00a0113338",
|
||||
"evidence/forward-final-2026-11-06/unit-regressions.txt": "26d5cf96bdf415c5b17fe2a596b9228834995418b1b33a83c146f59617debc5a",
|
||||
"evidence/forward-final-2026-11-06/track-run1.txt": "7966b1f45232223055f58b0031a6eeee987d42d5789798ec17df711f40c207ac",
|
||||
"evidence/forward-final-2026-11-06/track-run3.txt": "4b8254db242784c6db3a0db7a8e363269a1aa486a1b26caaee254100f1ab0a52",
|
||||
"evidence/forward-final-2026-11-06/source-inventory.json": "8977c7883b08b4a2ce7385ddf1c8da11bb4344e586dc71ba637118fcf9d8f506",
|
||||
"evidence/forward-final-2026-11-06/conditions-stopped.json": "5ed4cc9e6c6969cd16b699a24ac747c7b4ee4c8b189be2f57cd610622891f00d",
|
||||
"evidence/forward-final-2026-11-06/forward-audit.json": "675a9fcf1fb817bb043c8bcde35079617294da9c7832a529c4d7bfa2adc8f52d",
|
||||
"evidence/forward-final-2026-11-06/conditions-before.json": "4ef9320729dc38a49b7e8dc3338a862fd69946ceaf64b4aed004bc6ac23ab1cc",
|
||||
"evidence/forward-final-2026-11-06/track-run2.txt": "1ff4b753ab5627ee5393977203d5dc83f59d4c9e990e7171fc63a06061ceecb3",
|
||||
"evidence/forward-final-2026-11-06/level4-command.txt": "2b9e49afc9e9ec0e8a8f2a3c491906b72c7439b4a2e30ff6ed0a96d9be4c73ed",
|
||||
"evidence/forward-final-2026-11-06/level4.json": "904e2c40a6737947b1867c9051a36920c007f49ad59de057a168c1dcc345d87c",
|
||||
"evidence/forward-final-2026-11-06/archive.txt": "54bc70e53d69969580bd0c88f373778f2a029e2329bbccac7844ff16055deceb",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after1.json": "65e7d5a4652e102e6ad8ecbf74356b1c468e2d5ddaee492af21432d646aa4bdf",
|
||||
"evidence/forward-final-2026-11-06/up.txt": "0baaa49727722eaf24ac4d8b3e083c09bbb53e278e557e42551221d0c59e5856",
|
||||
"evidence/forward-final-2026-11-06/checks-before-commit.txt": "1b8bd42a69e070cffb07e12449ec749066ec92407fa5d94bd8ad766f40d93dff",
|
||||
"evidence/forward-final-2026-11-06/checks-final.txt": "d0d3a9f7a24914365c772eabceb4ad2238c5922e30c866a26c5274f8fb570e81",
|
||||
"evidence/forward-final-2026-11-06/failover.txt": "fcd1b67b77aa7936f9f0ae1c48982e9e4ad9f2e8b9705d2b856ff8cf360fdaa9",
|
||||
"evidence/forward-final-2026-11-06/persistence-containers.txt": "229bf4c9809cf0e6a1d9cfd162949b413d7f990f57a30fbcd5f9c5b6e3f81e92",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-start.json": "64e99f2110c3ccf029fba7fe30bd1c9f01615cb5b43ffd77fe4a0f09e7030245",
|
||||
"evidence/forward-final-2026-11-06/final-smoke.txt": "eec6f2507465824cd920fe78bf876dfbf8b905e84ebcd7b9d51e80d16d4c064b",
|
||||
"evidence/forward-final-2026-11-06/findings.json": "2f0db619bebbc615dc33f78599210201e1d9441139adb33687dea7a46fc1f15b",
|
||||
"evidence/forward-final-2026-11-06/network-regressions.txt": "30f0735c6d0bd2370cf39ac6855c06750ba18b282b978dcf6dddcf293145e02b",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after2.json": "fa3a1808cc215afb3a422fe582c2d4cae5cf480411f4150977be30f9e24bf462",
|
||||
"evidence/forward-final-2026-11-06/conditions-track-after3.json": "1054464f5526ee719579fbda81b9e7605a97a660fec9bdfc52f6e68ce94cfad1",
|
||||
"evidence/forward-final-2026-11-06/specs-validation.txt": "79fe9fdb0bb258d6d7788a79d96587b748233001e97f2acd38bf9bfe0376d515",
|
||||
"evidence/forward-final-2026-11-06/cache-outage.txt": "fbe1eb591256b35a93a8fd3f4fb299caf22f57159f0b68c984f7c75e5e8be9fc",
|
||||
"evidence/forward-final-2026-11-06/failover-containers.txt": "4468a88f349073027fb07b2c81406e480e1b503b64fb828e58ecee688d7b2091",
|
||||
"evidence/forward-final-2026-11-06/clock-observation.json": "d7ae11b8c7970cc71775f46fa0a1474e113da4cae9229d8f28bf85312dd8acc4",
|
||||
"evidence/forward-final-2026-11-06/conditions-level4-start.json": "0cb8a9314b3afd4704c762b1b611f80beb9f30795475642ad2a22452f87993c0",
|
||||
"evidence/forward-final-2026-11-06/images.txt": "adb50435b1c24cc0deb913c49ed19e3fdd4287b73719d418accad013ebb7489d",
|
||||
"evidence/forward-final-2026-11-06/retained-volumes.txt": "ef4b62f79ed1cd0dc1e7313d65873c6a6ab35ff933bd8673a3431d3df5691449",
|
||||
"evidence/forward-final-2026-11-06/openspec-final.txt": "a34016edea7844300b98aaf38e713df8b4b217924b515881b33a599cd1603b24",
|
||||
"evidence/forward-final-2026-11-06/track-run3.json": "d190b7a1b4962c520d46931dc63601ed2655f1b4063bc7fea01b78b049a0bede",
|
||||
"evidence/forward-final-2026-11-06/source-name-status.txt": "81abf426ff31f0253a5ced9ae43fdbbf2a56460afe7b5d299a32c6f664196b93",
|
||||
"evidence/forward-final-2026-11-06/haproxy-errors.txt": "bf3b0b33f997fefc542860389e8a0fcc1856bbb17cd25b6103911610e87806a3",
|
||||
"evidence/forward-final-2026-11-06/persistence.txt": "06574967e1dab9742841d54cabb7b0109aa063316e08c8db5525234f084f92de",
|
||||
"evidence/forward-final-2026-11-06/smoke.txt": "709ddeeb3aa1c4e0b516d4b66038b0421929ee519665d79feccc907cc7bc89ac",
|
||||
"evidence/forward-final-2026-11-06/restore.txt": "96805ba0f8cba25cb90f385809d0a0a6c75b468a25f87006d729fedc51759c7d",
|
||||
"evidence/forward-final-2026-11-06/track-run2.json": "16fe12bd42f958a0d4962182da65bd4ee69e4b896fbce47daea724b0a1c618e8"
|
||||
}
|
||||
}
|
||||
@@ -1,90 +0,0 @@
|
||||
date: 2026-11-06T21:16:11Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose build
|
||||
#1 [internal] load local bake definitions
|
||||
#1 reading from stdin 434B done
|
||||
#1 DONE 0.0s
|
||||
|
||||
#2 [internal] load build definition from Dockerfile
|
||||
#2 transferring dockerfile: 1.65kB done
|
||||
#2 DONE 0.0s
|
||||
|
||||
#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#3 DONE 0.0s
|
||||
|
||||
#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#4 DONE 1.7s
|
||||
|
||||
#5 [internal] load .dockerignore
|
||||
#5 transferring context: 453B done
|
||||
#5 DONE 0.0s
|
||||
|
||||
#6 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142
|
||||
#6 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done
|
||||
#6 DONE 0.0s
|
||||
|
||||
#7 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d
|
||||
#7 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done
|
||||
#7 DONE 0.0s
|
||||
|
||||
#8 [internal] load build context
|
||||
#8 transferring context: 51.62kB 0.0s done
|
||||
#8 DONE 0.0s
|
||||
|
||||
#9 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv
|
||||
#9 CACHED
|
||||
|
||||
#10 [builder 4/7] COPY pyproject.toml uv.lock README.md ./
|
||||
#10 CACHED
|
||||
|
||||
#11 [builder 3/7] WORKDIR /build
|
||||
#11 CACHED
|
||||
|
||||
#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable
|
||||
#12 CACHED
|
||||
|
||||
#13 [builder 6/7] COPY src ./src
|
||||
#13 DONE 0.1s
|
||||
|
||||
#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable
|
||||
#14 0.280 Resolved 84 packages in 12ms
|
||||
#14 0.309 Building mtusi-messenger @ file:///build
|
||||
#14 1.851 Built mtusi-messenger @ file:///build
|
||||
#14 1.855 Prepared 1 package in 1.54s
|
||||
#14 1.859 Installed 1 package in 3ms
|
||||
#14 2.080 Bytecode compiled 2301 files in 221ms
|
||||
#14 2.080 + mtusi-messenger==1.5.0 (from file:///build)
|
||||
#14 DONE 2.1s
|
||||
|
||||
#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger
|
||||
#15 CACHED
|
||||
|
||||
#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv
|
||||
#16 DONE 0.4s
|
||||
|
||||
#17 [runtime 4/6] WORKDIR /app
|
||||
#17 DONE 0.0s
|
||||
|
||||
#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./
|
||||
#18 DONE 0.0s
|
||||
|
||||
#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic
|
||||
#19 DONE 0.0s
|
||||
|
||||
#20 exporting to image
|
||||
#20 exporting layers
|
||||
#20 exporting layers 3.0s done
|
||||
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb
|
||||
#20 exporting manifest sha256:5fa47645c125c166f4f83308eeda33e4679510f9548cae36141b4bcff1bec3cb done
|
||||
#20 exporting config sha256:34e5f914cd69e5cff0b7745f9730b4d63d0a62480ef53de7b18914787a51c828 done
|
||||
#20 exporting attestation manifest sha256:043b67091fa616197172d98abd054f1cd803a4b540ceb0bc4a8e30232d37359d done
|
||||
#20 exporting manifest list sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2 done
|
||||
#20 naming to docker.io/library/mtusi-messenger:lab5-validation done
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation
|
||||
#20 unpacking to docker.io/library/mtusi-messenger:lab5-validation 0.6s done
|
||||
#20 DONE 3.6s
|
||||
|
||||
#21 resolving provenance for metadata file
|
||||
#21 DONE 0.0s
|
||||
api Built
|
||||
exit_code: 0 elapsed_seconds: 9.093
|
||||
@@ -1,14 +0,0 @@
|
||||
date: 2026-11-06T21:29:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {}
|
||||
$ make check validate lint
|
||||
python3 scripts/check_contract.py
|
||||
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
|
||||
.venv/bin/python scripts/validate_openapi.py
|
||||
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
|
||||
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
All checks passed!
|
||||
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
|
||||
197 files already formatted
|
||||
.venv/bin/ty check src student-tests alembic
|
||||
All checks passed!
|
||||
exit_code: 0 elapsed_seconds: 0.535
|
||||
@@ -1,32 +0,0 @@
|
||||
{
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"at": "2026-11-06T21:26:03.661679Z",
|
||||
"result": "PASS",
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"rows": {
|
||||
"pending_outbox": [],
|
||||
"staging_left": [],
|
||||
"nonterminal": [],
|
||||
"duplicate_effects": []
|
||||
},
|
||||
"s3_objects": 10,
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
|
||||
}
|
||||
@@ -1,36 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/recheck-cleanup.py
|
||||
{
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"at": "2026-11-06T21:26:03.661679Z",
|
||||
"result": "PASS",
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"rows": {
|
||||
"pending_outbox": [],
|
||||
"staging_left": [],
|
||||
"nonterminal": [],
|
||||
"duplicate_effects": []
|
||||
},
|
||||
"s3_objects": 10,
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"reason": "Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep."
|
||||
}
|
||||
exit_code: 0 elapsed_seconds: 9.044
|
||||
@@ -1,896 +0,0 @@
|
||||
{
|
||||
"suite": "lab5-pipeline-idempotency",
|
||||
"started_at": "2026-11-06T21:22:22.429392Z",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"config": {
|
||||
"base_url": "http://127.0.0.1:18085",
|
||||
"level": 5,
|
||||
"only": "duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version",
|
||||
"expect_variants": "thumbnail,crop,optimized",
|
||||
"max_attempts": 5,
|
||||
"stall_seconds": 15.0,
|
||||
"compose": "docker compose",
|
||||
"compose_faults": "docker compose -f compose.yaml -f infra/compose.faults.yaml"
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 8
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 10
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
16,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 47,
|
||||
"scoped_attachments": 11
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 11
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
|
||||
"01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
|
||||
"01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
|
||||
"01a1b2be-6f6f-7200-a261-63dd237e9ec8",
|
||||
"01a1b2be-a1dc-76f3-9861-667de097c2af",
|
||||
"01a1b2be-c7f7-7326-b272-a341993c5bf9",
|
||||
"01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"01a1b2bf-b3a8-7754-af89-7d174f4540d1",
|
||||
"01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
|
||||
"01a1b2c0-286d-77c5-8019-58526f2e09c5",
|
||||
"01a1b2c0-5422-77cd-88f8-cd2c123fe78d"
|
||||
],
|
||||
"scenarios": [
|
||||
{
|
||||
"name": "duplicate_after_ready",
|
||||
"level": 3,
|
||||
"window": "redelivery of a finished job",
|
||||
"seconds": 4.4,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-dee8-7491-a9c1-90e56c2bb9e4",
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "retry_exhausted",
|
||||
"level": 3,
|
||||
"window": "transient error until JOB_MAX_ATTEMPTS",
|
||||
"seconds": 19.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-fe45-77cf-b9ef-53b5e01c32ac",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bd-fe54-7252-944d-9d5a09b3019d",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 5
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_commit_publish",
|
||||
"level": 4,
|
||||
"window": "after COMMIT, before publish",
|
||||
"seconds": 9.2,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-4b72-71c4-99f1-b93ee6662a6b",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"outbox_published": false,
|
||||
"status": "queued",
|
||||
"containers": [
|
||||
"mtusi2026lab5-relay-1 ee568583263a exited Exited (137) 1 second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-4b72-71c4-99f1-b93ee6662a6b/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_after_s3_before_commit",
|
||||
"level": 4,
|
||||
"window": "after S3 write, before COMMIT",
|
||||
"seconds": 12.4,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-6f6f-7200-a261-63dd237e9ec8",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"status": "processing",
|
||||
"variant_rows": 0,
|
||||
"containers": [
|
||||
"mtusi2026lab5-worker-1 b9de1e78db3d exited Exited (137) Less than a second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-6f6f-7200-a261-63dd237e9ec8/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "crash_after_commit_before_ack",
|
||||
"level": 4,
|
||||
"window": "after COMMIT, before ack",
|
||||
"seconds": 10.3,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-a1dc-76f3-9861-667de097c2af",
|
||||
"exit_code": 137,
|
||||
"after_crash": {
|
||||
"status": "ready",
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"containers": [
|
||||
"mtusi2026lab5-worker-1 b78cddfd65c9 exited Exited (137) 1 second ago"
|
||||
]
|
||||
},
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2be-a1dc-76f3-9861-667de097c2af/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "lease_expiry_fencing",
|
||||
"level": 4,
|
||||
"window": "stalled worker, lease expiry",
|
||||
"seconds": 32.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2be-c7f7-7326-b272-a341993c5bf9",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2be-c805-75f5-95ab-9aabfea704fb",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 2
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "lease_expired",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "fenced",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "replay_failed",
|
||||
"level": 4,
|
||||
"window": "operator replay",
|
||||
"seconds": 24.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"replay": {
|
||||
"result": "replayed",
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"operator": "cli"
|
||||
},
|
||||
"replay_of_ready": {
|
||||
"result": "noop",
|
||||
"attachment_id": "01a1b2bf-47a0-77e8-97ed-907199a6caa7",
|
||||
"operator": "cli"
|
||||
},
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 3
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 3
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 4
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 4
|
||||
},
|
||||
{
|
||||
"kind": "retry_scheduled",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "failed",
|
||||
"attempt": 5
|
||||
},
|
||||
{
|
||||
"kind": "replayed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "replay_noop",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "malformed_message_dead_lettered",
|
||||
"level": 4,
|
||||
"window": "message that is not a job goes to the DLQ",
|
||||
"seconds": 6.5,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"dead_letters": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "duplicate_in_flight",
|
||||
"level": 5,
|
||||
"window": "two copies of one job in flight",
|
||||
"seconds": 14.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-b3a8-7754-af89-7d174f4540d1",
|
||||
"variants": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2bf-b3a8-7754-af89-7d174f4540d1/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "reorder_attempts",
|
||||
"level": 5,
|
||||
"window": "attempt 2 delivered before attempt 1",
|
||||
"seconds": 15.1,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bf-ed3f-721d-ae2a-dd55e7ab970d",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bf-ed46-71ef-85b7-54e89e3b1eec",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"events": [
|
||||
{
|
||||
"kind": "enqueued",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "claimed",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"kind": "duplicate_noop",
|
||||
"attempt": 2
|
||||
},
|
||||
{
|
||||
"kind": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "reorder_versions",
|
||||
"level": 5,
|
||||
"window": "v2 delivered before v1",
|
||||
"seconds": 11.6,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2c0-286d-77c5-8019-58526f2e09c5",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2c0-2874-74f6-b880-6970766e70ee",
|
||||
"pipeline_version": 1,
|
||||
"status": "superseded",
|
||||
"attempt": 1
|
||||
},
|
||||
{
|
||||
"job_id": "01a1b2c0-2bd0-748f-9b84-334656652efc",
|
||||
"pipeline_version": 2,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"v2_before_v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
},
|
||||
"after_v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-286d-77c5-8019-58526f2e09c5/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
}
|
||||
}
|
||||
},
|
||||
{
|
||||
"name": "stale_after_new_version",
|
||||
"level": 5,
|
||||
"window": "v1 job after v2 is published",
|
||||
"seconds": 4.7,
|
||||
"result": "PASS",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2c0-5422-77cd-88f8-cd2c123fe78d",
|
||||
"published_version": 2,
|
||||
"v1": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 1820,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2462,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 4679,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
}
|
||||
],
|
||||
"published": 1
|
||||
},
|
||||
"v2_before_stale": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
},
|
||||
"v2_after_stale": {
|
||||
"status": "ready",
|
||||
"public": [
|
||||
{
|
||||
"name": "crop",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 2142,
|
||||
"width": 128,
|
||||
"height": 128,
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4"
|
||||
},
|
||||
{
|
||||
"name": "optimized",
|
||||
"content_type": "image/webp",
|
||||
"size_bytes": 2790,
|
||||
"width": 320,
|
||||
"height": 200,
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
|
||||
},
|
||||
{
|
||||
"name": "thumbnail",
|
||||
"content_type": "image/jpeg",
|
||||
"size_bytes": 5628,
|
||||
"width": 256,
|
||||
"height": 160,
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308"
|
||||
}
|
||||
],
|
||||
"rows": [
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "crop",
|
||||
"sha256": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
|
||||
"size_bytes": 1820,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/crop-97bf1400b30a28c1.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "optimized",
|
||||
"sha256": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb",
|
||||
"size_bytes": 2462,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/optimized-1090d84ed8411226.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 1,
|
||||
"name": "thumbnail",
|
||||
"sha256": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
|
||||
"size_bytes": 4679,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/1/thumbnail-7bc40bf315c8e18e.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "crop",
|
||||
"sha256": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
|
||||
"size_bytes": 2142,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/crop-5b6fb2a66216f8ca.jpg"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "optimized",
|
||||
"sha256": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957",
|
||||
"size_bytes": 2790,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/optimized-fe520c978bd45fc8.webp"
|
||||
},
|
||||
{
|
||||
"pipeline_version": 2,
|
||||
"name": "thumbnail",
|
||||
"sha256": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
|
||||
"size_bytes": 5628,
|
||||
"object_key": "variants/01a1b2c0-5422-77cd-88f8-cd2c123fe78d/2/thumbnail-fa0db661078d4da9.jpg"
|
||||
}
|
||||
],
|
||||
"published": 2
|
||||
}
|
||||
}
|
||||
}
|
||||
],
|
||||
"result": "PASS",
|
||||
"finished_at": "2026-11-06T21:25:34.062079Z"
|
||||
}
|
||||
@@ -1,29 +0,0 @@
|
||||
date: 2026-11-06T21:22:22Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ python3 scripts/pipeline_suite.py --only duplicate_after_ready,retry_exhausted,crash_commit_publish,crash_after_s3_before_commit,crash_after_commit_before_ack,lease_expiry_fencing,replay_failed,malformed_message_dead_lettered,duplicate_in_flight,reorder_attempts,reorder_versions,stale_after_new_version --output evidence/final-validation-2026-11-07/delivery-targeted.json
|
||||
RUN duplicate_after_ready
|
||||
PASS duplicate_after_ready
|
||||
RUN retry_exhausted
|
||||
PASS retry_exhausted
|
||||
RUN crash_commit_publish
|
||||
PASS crash_commit_publish
|
||||
RUN crash_after_s3_before_commit
|
||||
PASS crash_after_s3_before_commit
|
||||
RUN crash_after_commit_before_ack
|
||||
PASS crash_after_commit_before_ack
|
||||
RUN lease_expiry_fencing
|
||||
PASS lease_expiry_fencing
|
||||
RUN replay_failed
|
||||
PASS replay_failed
|
||||
RUN malformed_message_dead_lettered
|
||||
PASS malformed_message_dead_lettered
|
||||
RUN duplicate_in_flight
|
||||
PASS duplicate_in_flight
|
||||
RUN reorder_attempts
|
||||
PASS reorder_attempts
|
||||
RUN reorder_versions
|
||||
PASS reorder_versions
|
||||
RUN stale_after_new_version
|
||||
PASS stale_after_new_version
|
||||
PASS: lab5 pipeline suite, report evidence/final-validation-2026-11-07/delivery-targeted.json
|
||||
exit_code: 0 elapsed_seconds: 191.693
|
||||
@@ -1,53 +0,0 @@
|
||||
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ make down
|
||||
docker compose --profile bench --profile tools --profile reconcile down
|
||||
Container mtusi2026lab5-api-2 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Stopping
|
||||
Container mtusi2026lab5-relay-1 Stopping
|
||||
Container mtusi2026lab5-api-1 Stopping
|
||||
Container mtusi2026lab5-worker-1 Stopped
|
||||
Container mtusi2026lab5-worker-1 Removing
|
||||
Container mtusi2026lab5-worker-1 Removed
|
||||
Container mtusi2026lab5-relay-1 Stopped
|
||||
Container mtusi2026lab5-relay-1 Removing
|
||||
Container mtusi2026lab5-lb-1 Stopped
|
||||
Container mtusi2026lab5-lb-1 Removing
|
||||
Container mtusi2026lab5-relay-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopping
|
||||
Container mtusi2026lab5-lb-1 Removed
|
||||
Container mtusi2026lab5-broker-1 Stopped
|
||||
Container mtusi2026lab5-broker-1 Removing
|
||||
Container mtusi2026lab5-broker-1 Removed
|
||||
Container mtusi2026lab5-api-2 Stopped
|
||||
Container mtusi2026lab5-api-2 Removing
|
||||
Container mtusi2026lab5-api-1 Stopped
|
||||
Container mtusi2026lab5-api-1 Removing
|
||||
Container mtusi2026lab5-api-2 Removed
|
||||
Container mtusi2026lab5-api-1 Removed
|
||||
Container mtusi2026lab5-migrate-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Stopping
|
||||
Container mtusi2026lab5-valkey-1 Stopping
|
||||
Container mtusi2026lab5-migrate-1 Stopped
|
||||
Container mtusi2026lab5-migrate-1 Removing
|
||||
Container mtusi2026lab5-s3-init-1 Stopped
|
||||
Container mtusi2026lab5-s3-init-1 Removing
|
||||
Container mtusi2026lab5-migrate-1 Removed
|
||||
Container mtusi2026lab5-postgres-1 Stopping
|
||||
Container mtusi2026lab5-s3-init-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Stopping
|
||||
Container mtusi2026lab5-postgres-1 Stopped
|
||||
Container mtusi2026lab5-postgres-1 Removing
|
||||
Container mtusi2026lab5-postgres-1 Removed
|
||||
Container mtusi2026lab5-valkey-1 Stopped
|
||||
Container mtusi2026lab5-valkey-1 Removing
|
||||
Container mtusi2026lab5-s3-1 Stopped
|
||||
Container mtusi2026lab5-s3-1 Removing
|
||||
Container mtusi2026lab5-valkey-1 Removed
|
||||
Container mtusi2026lab5-s3-1 Removed
|
||||
Network mtusi2026lab5_backend Removing
|
||||
Network mtusi2026lab5_edge Removing
|
||||
Network mtusi2026lab5_backend Removed
|
||||
Network mtusi2026lab5_edge Removed
|
||||
exit_code: 0 elapsed_seconds: 3.346
|
||||
@@ -1,8 +0,0 @@
|
||||
export COMPOSE_PROJECT_NAME=mtusi2026lab5
|
||||
export COMPOSE_FILE=compose.yaml
|
||||
export API_IMAGE=mtusi-messenger:lab5-validation
|
||||
export LB_HTTP_PORT=18085
|
||||
export LB_STATS_PORT=25085
|
||||
export BROKER_MANAGEMENT_PORT=25086
|
||||
export BASE_URL=http://127.0.0.1:18085
|
||||
export NO_PROXY=localhost,127.0.0.1,::1
|
||||
@@ -1,15 +0,0 @@
|
||||
date: 2026-11-06T21:26:59Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}} {{.Ports}}'
|
||||
mtusi2026lab5-api-1 fc7d65385119 running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-api-2 a5411e55f06d running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-broker-1 a38bbcf03870 running Up 10 minutes (healthy) 127.0.0.1:25086->15672/tcp
|
||||
mtusi2026lab5-lb-1 f0d01200b1f8 running Up 10 minutes (healthy) 127.0.0.1:18085->8080/tcp, 127.0.0.1:25085->8404/tcp
|
||||
mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 8 minutes ago
|
||||
mtusi2026lab5-postgres-1 9f62ea9d176b running Up 6 minutes (healthy)
|
||||
mtusi2026lab5-relay-1 297a45d2724b running Up About a minute (healthy)
|
||||
mtusi2026lab5-s3-1 9a7684ef147a running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 8 minutes ago
|
||||
mtusi2026lab5-valkey-1 e37f783f9d50 running Up 10 minutes (healthy)
|
||||
mtusi2026lab5-worker-1 c708d0d22a5e running Up About a minute (healthy)
|
||||
exit_code: 0 elapsed_seconds: 0.136
|
||||
@@ -1,702 +0,0 @@
|
||||
{
|
||||
"runtime_review_equal": true,
|
||||
"normative_files_equal_skeleton": true,
|
||||
"new_python_syntax": "PASS",
|
||||
"allowed_changed_files": 58,
|
||||
"local_markdown_links": 173,
|
||||
"links": [
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/README.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-port.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "uv.lock"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "compose.yaml"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "src/messenger/shared/infrastructure/postgres.py"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "alembic/env.py"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "alembic/versions"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/final-smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/persistence.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/persistence-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/failover.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/failover-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/restore.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/queues.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/consumers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/permissions.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4-command.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/network-regressions.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/upload-negative.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/cache-outage.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/haproxy-errors.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/summary.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/conditions-before.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/conditions-track-start.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/clock-observation.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/review-trns-depth-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/sqlalchemy-2026-11-06/grade3/limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/forward-final-2026-11-06/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/checks.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/openspec.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/build.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/image-runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-http.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-http.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/delivery-targeted.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/delivery-targeted.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/fixtures"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/cleanup-recheck.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "openspec/specs/lab5-image-variants/spec.md"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/resource-probe-worker.txt"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "REPORT.md",
|
||||
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/README.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "REPORT.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "AGENTS.md",
|
||||
"target": "evidence/final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "../REPORT.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "report-audit-2026-11-07.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-fixes-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-port.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/source-inventory.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/forward-audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade3/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade4/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/track2/NOTES.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/track2/qualified/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/level4-command.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/level4.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run1.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run1.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run2.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run2.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run3.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/track-run3.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/summary.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/final-smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/persistence.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/failover.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/persistence-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/failover-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/restore.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/offline-tests.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/boundaries.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/conditions-before.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/conditions-track-start.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/down.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "sqlalchemy-2026-11-06/grade3/limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "forward-final-2026-11-06/clock-observation.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-trns-depth-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/README.md",
|
||||
"target": "review-fixes-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "forward-final-2026-11-06/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "final-validation-2026-11-07/RESULTS.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/load-validation.md",
|
||||
"target": "final-validation-2026-11-07/findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "../load-validation.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "historical-hashes.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "runtime-containers.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "image-runtime.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "env.sh"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "checks.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "student-test.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "openspec.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "active-changes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "build.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "up.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "smoke.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "policy.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "queues.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-retry.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage-worker.log"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-http.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-http.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "delivery-targeted.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "delivery-targeted.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-limits.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "png-limits.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "fixtures"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "targeted.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "postgres-outage.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "targeted-initial.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "cleanup-recheck.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "../../openspec/specs/lab5-image-variants/spec.md"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "resource-probe-worker.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "resource-probe-retry.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "invoke-probe.py"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "findings.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "down.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "stopped-containers.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "retained-volumes.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "running-containers-after.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "checks-final.txt"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "final-doc-audit.json"
|
||||
},
|
||||
{
|
||||
"from": "evidence/final-validation-2026-11-07/RESULTS.md",
|
||||
"target": "secret-scan.json"
|
||||
}
|
||||
],
|
||||
"all_link_targets_tracked": true
|
||||
}
|
||||
@@ -1,37 +0,0 @@
|
||||
[
|
||||
{
|
||||
"severity": "major",
|
||||
"file": "src/messenger/attachments/infrastructure/images.py:95",
|
||||
"problem": "Не проходит объявленный обязательный сценарий openspec/specs/lab5-image-variants/spec.md:48: PNG 8000×5000 со штатными пределами должен стать ready. Через LB четыре валидных tRNS PNG (grayscale 2/4/16 и RGB16, 35 759–385 445 байт) получают 202, затем failed/processing_failed на attempt=1 при RENDER_MEMORY_MB=448 и timeout=30. Linux-пробник с импортами worker воспроизводит MemoryError в rgb_mask/apply_png_transparency и flatten; без tRNS gray2/gray4/RGB16 проходят, gray16 требует памяти и без tRNS. Worker остаётся жив; потери данных/падение сервиса не заявляются. Доказательства: evidence/final-validation-2026-11-07/png-limits.json, resource-probe-worker.txt, fixtures/*.png. Нужен отдельный fix, review и повтор только затронутых PNG/ресурсных проверок."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:230",
|
||||
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/limits.py:10",
|
||||
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "scripts/reconcile_track.py:396",
|
||||
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "src/messenger/attachments/application/pipeline.py:333",
|
||||
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
|
||||
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
|
||||
},
|
||||
{
|
||||
"severity": "minor",
|
||||
"file": "openspec/config.yaml:130",
|
||||
"problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation."
|
||||
}
|
||||
]
|
||||
Binary file not shown.
|
Before Width: | Height: | Size: 101 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 35 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 45 KiB |
Binary file not shown.
|
Before Width: | Height: | Size: 376 KiB |
@@ -1,17 +0,0 @@
|
||||
[
|
||||
{
|
||||
"manifest": "evidence/review-trns-depth-2026-11-06/checks.json",
|
||||
"sha": "42575281b352d35bda17ee7601bae5548a996e91",
|
||||
"verified": 34
|
||||
},
|
||||
{
|
||||
"manifest": "evidence/review-fixes-2026-11-06/checks.json",
|
||||
"sha": "6e97bdbe9638c5a53951337fce639a1a0db7f92e",
|
||||
"verified": 5
|
||||
},
|
||||
{
|
||||
"manifest": "evidence/forward-final-2026-11-06/forward-audit.json",
|
||||
"sha": "0e921116610d289716af0a40ec823376eb8bbcbc",
|
||||
"verified": 25
|
||||
}
|
||||
]
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T21:18:41Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T worker python -c 'import hashlib,platform,importlib.metadata; from pathlib import Path; import messenger.attachments.infrastructure.images as m; print(platform.platform()); print({name:importlib.metadata.version(name) for name in ("sqlalchemy","alembic","Pillow","faststream","aio-pika")}); print("images.py sha256",hashlib.sha256(Path(m.__file__).read_bytes()).hexdigest())'
|
||||
Linux-6.10.14-linuxkit-aarch64-with-glibc2.41
|
||||
{'sqlalchemy': '2.0.45', 'alembic': '1.16.5', 'Pillow': '13.0.0', 'faststream': '0.7.8', 'aio-pika': '10.2.1'}
|
||||
images.py sha256 537359101ad6266cc74f8373364ae492675aef984844a07950681cf5032f7de9
|
||||
exit_code: 0 elapsed_seconds: 0.377
|
||||
@@ -1,11 +0,0 @@
|
||||
import base64
|
||||
import json
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
folder = Path(__file__).parent
|
||||
bootstrap = "import sys,json,base64; from pathlib import Path; p=json.load(sys.stdin); d=Path('/tmp/validation-fixtures'); d.mkdir(exist_ok=True); [(d/name).write_bytes(base64.b64decode(data)) for name,data in p['fixtures'].items()]; exec(compile(p['code'],'resource-probe.py','exec'))"
|
||||
payload = {'code': (folder / (sys.argv[1] if len(sys.argv) > 1 else 'resource-probe.py')).read_text(), 'fixtures': {p.name: base64.b64encode(p.read_bytes()).decode() for p in (folder / 'fixtures').glob('*.png')}}
|
||||
result = subprocess.run(['docker', 'compose', 'exec', '-T', 'worker', 'python', '-c', bootstrap], input=json.dumps(payload), text=True, check=False)
|
||||
raise SystemExit(result.returncode)
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T21:20:30Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-http
|
||||
gray2 PASS
|
||||
gray4 PASS
|
||||
rgb16 PASS
|
||||
gray1 PASS
|
||||
gray8 PASS
|
||||
gray16 PASS
|
||||
rgb8 PASS
|
||||
rgb16-adam7-filter4-exif6 PASS
|
||||
exit_code: 0 elapsed_seconds: 47.846
|
||||
@@ -1,242 +0,0 @@
|
||||
{
|
||||
"mode": "png-limits",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:21:18.724252Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "gray2-40mp",
|
||||
"started_at": "2026-11-06T21:21:20.277013Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-cdc1-7315-82e0-39f3e53d87db\", \"input_bytes\": 35759, \"input_sha256\": \"e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-cdc9-7157-b245-f357f81b4d6c\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 1.066
|
||||
},
|
||||
{
|
||||
"name": "gray4-40mp",
|
||||
"started_at": "2026-11-06T21:21:21.343296Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d\", \"input_bytes\": 46441, \"input_sha256\": \"64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d21b-72a6-b463-0fa58bd353a2\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"541655040\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 1.168
|
||||
},
|
||||
{
|
||||
"name": "gray16-40mp",
|
||||
"started_at": "2026-11-06T21:21:22.511903Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-d744-77c1-8352-989f80848cab\", \"input_bytes\": 103565, \"input_sha256\": \"b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-d74e-7582-a9f8-fa827d36c9fe\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"638119936\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 0.955
|
||||
},
|
||||
{
|
||||
"name": "rgb16-40mp",
|
||||
"started_at": "2026-11-06T21:21:23.467422Z",
|
||||
"result": "FAIL",
|
||||
"error": "{\"attachment_id\": \"01a1b2bc-dc37-7249-b7c3-f8901fb298de\", \"input_bytes\": 385445, \"input_sha256\": \"3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7\", \"pixels\": 40000000, \"status\": \"failed\", \"error_code\": \"processing_failed\", \"jobs\": [{\"job_id\": \"01a1b2bc-dc3f-7724-a737-43ad5584c8c7\", \"pipeline_version\": 1, \"status\": \"failed\", \"attempt\": 1}], \"memory_peak\": \"640196608\", \"memory_max\": \"1073741824\"}",
|
||||
"elapsed_seconds": 2.242
|
||||
},
|
||||
{
|
||||
"name": "forced-timeout",
|
||||
"started_at": "2026-11-06T21:21:26.091820Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"error_code": "processing_failed",
|
||||
"worker": "running"
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.233
|
||||
},
|
||||
{
|
||||
"name": "forced-memory",
|
||||
"started_at": "2026-11-06T21:21:30.325405Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"error_code": "processing_failed",
|
||||
"worker": "running"
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 4.766
|
||||
},
|
||||
{
|
||||
"name": "normal-after-limits",
|
||||
"started_at": "2026-11-06T21:21:38.218266Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bd-13b0-712a-9275-1d3cdd2eb49a",
|
||||
"variants": [
|
||||
"crop",
|
||||
"optimized",
|
||||
"thumbnail"
|
||||
]
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 1.618
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
4.66455078125,
|
||||
3.70458984375,
|
||||
2.83203125
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) 3 minutes ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up 59 seconds (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) 3 minutes ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 4 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 4 minutes (healthy)\nmtusi2026lab5-relay-1 Up 4 minutes (healthy)\nmtusi2026lab5-api-2 Up 4 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 4 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 59 seconds (healthy)\nmtusi2026lab5-lb-1 Up 4 minutes (healthy)\nmtusi2026lab5-s3-1 Up 4 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 4 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"large_observations": [
|
||||
{
|
||||
"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"input_bytes": 35759,
|
||||
"input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "541655040",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"input_bytes": 46441,
|
||||
"input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "541655040",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"input_bytes": 103565,
|
||||
"input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "638119936",
|
||||
"memory_max": "1073741824"
|
||||
},
|
||||
{
|
||||
"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"input_bytes": 385445,
|
||||
"input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"pixels": 40000000,
|
||||
"status": "failed",
|
||||
"error_code": "processing_failed",
|
||||
"jobs": [
|
||||
{
|
||||
"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7",
|
||||
"pipeline_version": 1,
|
||||
"status": "failed",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"memory_peak": "640196608",
|
||||
"memory_max": "1073741824"
|
||||
}
|
||||
],
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 7
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 7
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "FAIL",
|
||||
"details": "staging kept after ready: [{'id': '01a1b2bd-13b0-712a-9275-1d3cdd2eb49a'}]"
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 7
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bc-cdc1-7315-82e0-39f3e53d87db",
|
||||
"01a1b2bc-d211-7337-bd57-0ca1f3e33a0d",
|
||||
"01a1b2bc-d744-77c1-8352-989f80848cab",
|
||||
"01a1b2bc-dc37-7249-b7c3-f8901fb298de",
|
||||
"01a1b2bc-f161-7119-986f-bc7c8fd99bf0",
|
||||
"01a1b2bd-0192-70e7-a174-3275ca516e11",
|
||||
"01a1b2bd-13b0-712a-9275-1d3cdd2eb49a"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:21:42.105495Z",
|
||||
"result": "FAIL"
|
||||
}
|
||||
@@ -1,11 +0,0 @@
|
||||
date: 2026-11-06T21:21:18Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py png-limits
|
||||
gray2-40mp FAIL {"attachment_id": "01a1b2bc-cdc1-7315-82e0-39f3e53d87db", "input_bytes": 35759, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-cdc9-7157-b245-f357f81b4d6c", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
|
||||
gray4-40mp FAIL {"attachment_id": "01a1b2bc-d211-7337-bd57-0ca1f3e33a0d", "input_bytes": 46441, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d21b-72a6-b463-0fa58bd353a2", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "541655040", "memory_max": "1073741824"}
|
||||
gray16-40mp FAIL {"attachment_id": "01a1b2bc-d744-77c1-8352-989f80848cab", "input_bytes": 103565, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-d74e-7582-a9f8-fa827d36c9fe", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "638119936", "memory_max": "1073741824"}
|
||||
rgb16-40mp FAIL {"attachment_id": "01a1b2bc-dc37-7249-b7c3-f8901fb298de", "input_bytes": 385445, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "pixels": 40000000, "status": "failed", "error_code": "processing_failed", "jobs": [{"job_id": "01a1b2bc-dc3f-7724-a737-43ad5584c8c7", "pipeline_version": 1, "status": "failed", "attempt": 1}], "memory_peak": "640196608", "memory_max": "1073741824"}
|
||||
forced-timeout PASS
|
||||
forced-memory PASS
|
||||
normal-after-limits PASS
|
||||
exit_code: 1 elapsed_seconds: 23.549
|
||||
@@ -1,199 +0,0 @@
|
||||
{
|
||||
"mode": "postgres-outage-retry",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:20:02.998079Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "published_outbox_database_outage",
|
||||
"started_at": "2026-11-06T21:20:04.036200Z",
|
||||
"observed": {
|
||||
"attachment_id": "01a1b2bb-aa23-72ec-98b1-63582184109f",
|
||||
"jobs_before": [
|
||||
{
|
||||
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
|
||||
"pipeline_version": 1,
|
||||
"status": "queued",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"jobs_after": [
|
||||
{
|
||||
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
|
||||
"pipeline_version": 1,
|
||||
"status": "done",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"requeues": 12,
|
||||
"queues_during": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
1
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"queues_after": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"replay": false,
|
||||
"stopped_containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
|
||||
]
|
||||
},
|
||||
"result": "PASS",
|
||||
"elapsed_seconds": 21.815
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
3.986328125,
|
||||
3.29931640625,
|
||||
2.619140625
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up 3 minutes (healthy)\nmtusi2026lab5-relay-1 Up 3 minutes (healthy)\nmtusi2026lab5-api-2 Up 3 minutes (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up 3 minutes (healthy)\nmtusi2026lab5-postgres-1 Up About a minute (healthy)\nmtusi2026lab5-lb-1 Up 3 minutes (healthy)\nmtusi2026lab5-s3-1 Up 3 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 3 minutes (healthy)\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"outage_checkpoint": {
|
||||
"attachment_id": "01a1b2bb-aa23-72ec-98b1-63582184109f",
|
||||
"jobs_before": [
|
||||
{
|
||||
"job_id": "01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4",
|
||||
"pipeline_version": 1,
|
||||
"status": "queued",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"dlq_before": [
|
||||
15,
|
||||
0
|
||||
],
|
||||
"stopped_containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up 3 minutes (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
|
||||
]
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 4,
|
||||
"scoped_attachments": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2bb-aa23-72ec-98b1-63582184109f"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:20:30.164434Z",
|
||||
"result": "PASS"
|
||||
}
|
||||
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T21:20:02Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage-retry
|
||||
published_outbox_database_outage PASS
|
||||
exit_code: 0 elapsed_seconds: 27.330
|
||||
@@ -1,12 +0,0 @@
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:07.790580Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:08.807054Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:09.821718Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:10.835176Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:11.846077Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:12.851565Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:13.864230Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:14.879944Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:15.885607Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:16.901272Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:17.919394Z"}
|
||||
worker-1 | {"job_id":"01a1b2bb-aa2a-72d3-ad8b-623a79fcbed4","error":"Unavailable","event":"job.requeued","level":"warning","ts":"2026-11-06T21:20:18.933422Z"}
|
||||
@@ -1,146 +0,0 @@
|
||||
{
|
||||
"mode": "postgres-outage",
|
||||
"source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef",
|
||||
"started_at": "2026-11-06T21:18:09.131834Z",
|
||||
"cases": [
|
||||
{
|
||||
"name": "published_outbox_database_outage",
|
||||
"started_at": "2026-11-06T21:18:10.870080Z",
|
||||
"result": "FAIL",
|
||||
"error": "timeout 90s waiting for 12 real database failures",
|
||||
"elapsed_seconds": 97.081
|
||||
}
|
||||
],
|
||||
"conditions": {
|
||||
"host_load": [
|
||||
3.3544921875,
|
||||
3.0048828125,
|
||||
2.4365234375
|
||||
],
|
||||
"containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c running Up About a minute (healthy)"
|
||||
],
|
||||
"running": "mtusi2026lab5-api-1 Up About a minute (healthy)\nmtusi2026lab5-relay-1 Up About a minute (healthy)\nmtusi2026lab5-api-2 Up About a minute (healthy)\nmtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-broker-1 Up About a minute (healthy)\nmtusi2026lab5-postgres-1 Up About a minute (healthy)\nmtusi2026lab5-lb-1 Up About a minute (healthy)\nmtusi2026lab5-s3-1 Up About a minute (healthy)\nmtusi2026lab5-valkey-1 Up About a minute (healthy)\nmtusi-lab5-test-valkey-a93cc36b Up About a minute\nmtusi-lab5-test-1de81872 Up About a minute\nmtusi-lab5-test-rustfs-62f3a9c3 Up About a minute\nmtusi-lab5-test-rabbitmq-675a32e8 Up 2 minutes\n",
|
||||
"worker_limits": "448\n30\n2\n"
|
||||
},
|
||||
"outage_checkpoint": {
|
||||
"attachment_id": "01a1b2b9-f033-76be-ba05-897b08873abd",
|
||||
"jobs_before": [
|
||||
{
|
||||
"job_id": "01a1b2b9-f043-72e8-970c-647fc4a1f2e3",
|
||||
"pipeline_version": 1,
|
||||
"status": "queued",
|
||||
"attempt": 1
|
||||
}
|
||||
],
|
||||
"dlq_before": [
|
||||
15,
|
||||
0
|
||||
],
|
||||
"stopped_containers": [
|
||||
"mtusi2026lab5-api-1 fc7d65385119 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-api-2 a5411e55f06d running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-broker-1 a38bbcf03870 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-lb-1 f0d01200b1f8 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-migrate-1 feca425ac0ae exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-postgres-1 9f62ea9d176b exited Exited (0) Less than a second ago",
|
||||
"mtusi2026lab5-relay-1 4153c8488753 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-1 9a7684ef147a running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-s3-init-1 e5825f3eeafb exited Exited (0) About a minute ago",
|
||||
"mtusi2026lab5-valkey-1 e37f783f9d50 running Up About a minute (healthy)",
|
||||
"mtusi2026lab5-worker-1 ee8f9d678c2c exited Exited (0) 1 second ago"
|
||||
]
|
||||
},
|
||||
"invariants": [
|
||||
{
|
||||
"id": "terminal",
|
||||
"statement": "every 202 reaches its expected terminal state",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "single_effect",
|
||||
"statement": "one variant set per (attachment_id, pipeline_version, variant)",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_ready_rollback",
|
||||
"statement": "ready never returns to queued or processing",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"traced": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "monotonic_publication",
|
||||
"statement": "published_version only moves forward",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"sampled": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bytes_match_metadata",
|
||||
"statement": "sha256, size and real dimensions match served bytes",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"verified": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "bounded_attempts",
|
||||
"statement": "attempt <= JOB_MAX_ATTEMPTS",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"rows": 0
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_orphans",
|
||||
"statement": "no pending outbox, messages, dead letters, staging, objects",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"queues": {
|
||||
"attachments.process": [
|
||||
0,
|
||||
0
|
||||
],
|
||||
"attachments.process.dlq": [
|
||||
15,
|
||||
0
|
||||
]
|
||||
},
|
||||
"s3_objects": 4,
|
||||
"scoped_attachments": 1
|
||||
}
|
||||
},
|
||||
{
|
||||
"id": "no_lost_202",
|
||||
"statement": "every 202 is present in PostgreSQL and the API",
|
||||
"result": "PASS",
|
||||
"details": {
|
||||
"accepted": 1
|
||||
}
|
||||
}
|
||||
],
|
||||
"accepted_ids": [
|
||||
"01a1b2b9-f033-76be-ba05-897b08873abd"
|
||||
],
|
||||
"finished_at": "2026-11-06T21:19:52.189137Z",
|
||||
"result": "FAIL"
|
||||
}
|
||||
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T21:18:08Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ .venv/bin/python evidence/final-validation-2026-11-07/targeted.py postgres-outage
|
||||
published_outbox_database_outage FAIL timeout 90s waiting for 12 real database failures
|
||||
exit_code: 1 elapsed_seconds: 103.241
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose cp evidence/final-validation-2026-11-07/fixtures worker:/tmp/validation-fixtures
|
||||
mtusi2026lab5-worker-1 copy evidence/final-validation-2026-11-07/fixtures to mtusi2026lab5-worker-1:/tmp/validation-fixtures Copying
|
||||
Error response from daemon: container rootfs is marked read-only
|
||||
exit_code: 1 elapsed_seconds: 0.081
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose cp evidence/final-validation-2026-11-07/resource-probe.py worker:/tmp/resource-probe.py
|
||||
mtusi2026lab5-worker-1 copy evidence/final-validation-2026-11-07/resource-probe.py to mtusi2026lab5-worker-1:/tmp/resource-probe.py Copying
|
||||
Error response from daemon: container rootfs is marked read-only
|
||||
exit_code: 1 elapsed_seconds: 0.073
|
||||
@@ -1,7 +0,0 @@
|
||||
date: 2026-11-06T21:17:55Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T broker rabbitmqctl -q list_queues -p messenger name type durable policy effective_policy_definition messages_ready messages_unacknowledged
|
||||
name type durable policy effective_policy_definition messages_ready messages_unacknowledged
|
||||
attachments.process quorum true attachments-process [{<<"dead-letter-exchange">>, attachments.dlx}, {<<"dead-letter-strategy">>, at-least-once}, {<<"delivery-limit">>, -1}, {<<"overflow">>, reject-publish}] 0 0
|
||||
attachments.process.dlq quorum true attachments-dlq [{<<"max-length">>, 100000}, {<<"overflow">>, reject-publish}] 15 0
|
||||
exit_code: 0 elapsed_seconds: 0.578
|
||||
@@ -1,22 +0,0 @@
|
||||
import json
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path.insert(0, str(ROOT / 'scripts'))
|
||||
import pipeline_suite as ps
|
||||
|
||||
stack = ps.Stack(ps.arguments())
|
||||
report = json.loads(Path(__file__).with_name('png-limits.json').read_text())
|
||||
ids = report['accepted_ids']
|
||||
array = '{' + ','.join(ids) + '}'
|
||||
rows = {name: stack.sql(name, ids=array) for name in ('pending_outbox', 'staging_left', 'nonterminal', 'duplicate_effects', 'object_keys')}
|
||||
keys = {row['key'] for row in rows.pop('object_keys')}
|
||||
objects = stack.objects(ids)
|
||||
assert not any(rows.values()), rows
|
||||
assert objects == keys, {'extra': sorted(objects - keys), 'missing': sorted(keys - objects)}
|
||||
queues = stack.queues()
|
||||
assert queues[ps.QUEUE] == (0, 0), queues
|
||||
result = {'source_sha': ps.run(['git', 'rev-parse', 'HEAD']).strip(), 'at': ps.now(), 'result': 'PASS', 'accepted_ids': ids, 'rows': rows, 's3_objects': len(objects), 'queues': queues, 'reason': 'Read-only recheck after scheduled staging sweep; no scenario rerun. Initial no_orphans ran before the sweep.'}
|
||||
Path(__file__).with_name('cleanup-recheck.json').write_text(json.dumps(result, indent=2) + '\n')
|
||||
print(json.dumps(result, indent=2))
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T21:26:09Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ python3 evidence/final-validation-2026-11-07/invoke-probe.py
|
||||
{"file": "gray16-40mp.png", "transparency": true, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 424820}
|
||||
{"file": "gray16-40mp.png", "transparency": false, "input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429016}
|
||||
{"file": "gray2-40mp.png", "transparency": true, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
|
||||
{"file": "gray2-40mp.png", "transparency": false, "input_sha256": "05c65f9a86b01f05b914b6f3f15fcfaf93b2ee4383bef3c3a60c19df1f5b5135", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
|
||||
{"file": "gray4-40mp.png", "transparency": true, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
|
||||
{"file": "gray4-40mp.png", "transparency": false, "input_sha256": "ff963c27cc6fdff1757fc9fa135b7b24ec2af67e042582024ebb88f2066ffaf5", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 429148}
|
||||
{"file": "rgb16-40mp.png", "transparency": true, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 26}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 154}, {"function": "apply_png_transparency", "file": "images.py", "line": 111}, {"function": "rgb_mask", "file": "images.py", "line": 95}, {"function": "getchannel", "file": "Image.py", "line": 2823}], "max_rss_kib": 433500}
|
||||
{"file": "rgb16-40mp.png", "transparency": false, "input_sha256": "f8082d24114c279ab0f9cab2a743e87147a322b7ad50eb402e689640b0761501", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 433500}
|
||||
exit_code: 0 elapsed_seconds: 2.774
|
||||
@@ -1,42 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import resource
|
||||
import traceback
|
||||
import gc
|
||||
import struct
|
||||
from pathlib import Path
|
||||
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
|
||||
import messenger.worker
|
||||
|
||||
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
|
||||
def without_trns(data):
|
||||
result = data[:8]
|
||||
offset = 8
|
||||
while offset < len(data):
|
||||
size = struct.unpack('>I', data[offset:offset + 4])[0] + 12
|
||||
if data[offset + 4:offset + 8] != b'tRNS':
|
||||
result += data[offset:offset + size]
|
||||
offset += size
|
||||
return result
|
||||
|
||||
|
||||
def probe(path, data, transparency):
|
||||
row = {'file': path.name, 'transparency': transparency, 'input_sha256': hashlib.sha256(data).hexdigest(), 'limit_bytes': 448 << 20}
|
||||
try:
|
||||
row['variants'] = [r.name for r in render_variants(data, RenderLimits(10485760, 40000000))]
|
||||
row['result'] = 'ready'
|
||||
except Exception as error:
|
||||
row['error_type'] = type(error).__name__
|
||||
row['frames'] = [{'function': f.name, 'file': Path(f.filename).name, 'line': f.lineno} for f in traceback.extract_tb(error.__traceback__)]
|
||||
row['max_rss_kib'] = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
|
||||
print(json.dumps(row), flush=True)
|
||||
|
||||
|
||||
for path in sorted(Path('/tmp/validation-fixtures').glob('*.png')):
|
||||
data = path.read_bytes()
|
||||
probe(path, data, True)
|
||||
gc.collect()
|
||||
probe(path, without_trns(data), False)
|
||||
gc.collect()
|
||||
@@ -1,12 +0,0 @@
|
||||
date: 2026-11-06T21:26:40Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ python3 evidence/final-validation-2026-11-07/invoke-probe.py resource-probe-worker.py
|
||||
{"file": "gray16-40mp.png", "transparency": true, "input_sha256": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 124}, {"function": "point", "file": "Image.py", "line": 2038}], "max_rss_kib": 426640}
|
||||
{"file": "gray16-40mp.png", "transparency": false, "input_sha256": "e3f239d818da5f02cd7b5d1cc4a2c542ed4fc4a7fbc604598500e7810e246e2f", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 124}, {"function": "point", "file": "Image.py", "line": 2038}], "max_rss_kib": 426640}
|
||||
{"file": "gray2-40mp.png", "transparency": true, "input_sha256": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 128}, {"function": "new", "file": "Image.py", "line": 3254}], "max_rss_kib": 426640}
|
||||
{"file": "gray2-40mp.png", "transparency": false, "input_sha256": "05c65f9a86b01f05b914b6f3f15fcfaf93b2ee4383bef3c3a60c19df1f5b5135", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 426640}
|
||||
{"file": "gray4-40mp.png", "transparency": true, "input_sha256": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 160}, {"function": "flatten", "file": "images.py", "line": 128}, {"function": "new", "file": "Image.py", "line": 3254}], "max_rss_kib": 426640}
|
||||
{"file": "gray4-40mp.png", "transparency": false, "input_sha256": "ff963c27cc6fdff1757fc9fa135b7b24ec2af67e042582024ebb88f2066ffaf5", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 426640}
|
||||
{"file": "rgb16-40mp.png", "transparency": true, "input_sha256": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", "limit_bytes": 469762048, "error_type": "MemoryError", "frames": [{"function": "probe", "file": "resource-probe.py", "line": 28}, {"function": "render_variants", "file": "images.py", "line": 172}, {"function": "decoded", "file": "images.py", "line": 154}, {"function": "apply_png_transparency", "file": "images.py", "line": 111}, {"function": "rgb_mask", "file": "images.py", "line": 95}, {"function": "getchannel", "file": "Image.py", "line": 2814}, {"function": "load", "file": "ImageFile.py", "line": 370}, {"function": "load_prepare", "file": "PngImagePlugin.py", "line": 1010}, {"function": "load_prepare", "file": "ImageFile.py", "line": 451}], "max_rss_kib": 426640}
|
||||
{"file": "rgb16-40mp.png", "transparency": false, "input_sha256": "f8082d24114c279ab0f9cab2a743e87147a322b7ad50eb402e689640b0761501", "limit_bytes": 469762048, "variants": ["thumbnail", "crop", "optimized"], "result": "ready", "max_rss_kib": 426640}
|
||||
exit_code: 0 elapsed_seconds: 2.418
|
||||
@@ -1,40 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import resource
|
||||
import traceback
|
||||
import gc
|
||||
import struct
|
||||
from pathlib import Path
|
||||
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
|
||||
resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20))
|
||||
def without_trns(data):
|
||||
result = data[:8]
|
||||
offset = 8
|
||||
while offset < len(data):
|
||||
size = struct.unpack('>I', data[offset:offset + 4])[0] + 12
|
||||
if data[offset + 4:offset + 8] != b'tRNS':
|
||||
result += data[offset:offset + size]
|
||||
offset += size
|
||||
return result
|
||||
|
||||
|
||||
def probe(path, data, transparency):
|
||||
row = {'file': path.name, 'transparency': transparency, 'input_sha256': hashlib.sha256(data).hexdigest(), 'limit_bytes': 448 << 20}
|
||||
try:
|
||||
row['variants'] = [r.name for r in render_variants(data, RenderLimits(10485760, 40000000))]
|
||||
row['result'] = 'ready'
|
||||
except Exception as error:
|
||||
row['error_type'] = type(error).__name__
|
||||
row['frames'] = [{'function': f.name, 'file': Path(f.filename).name, 'line': f.lineno} for f in traceback.extract_tb(error.__traceback__)]
|
||||
row['max_rss_kib'] = resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
|
||||
print(json.dumps(row), flush=True)
|
||||
|
||||
|
||||
for path in sorted(Path('/tmp/validation-fixtures').glob('*.png')):
|
||||
data = path.read_bytes()
|
||||
probe(path, data, True)
|
||||
gc.collect()
|
||||
probe(path, without_trns(data), False)
|
||||
gc.collect()
|
||||
@@ -1,5 +0,0 @@
|
||||
date: 2026-11-06T21:25:54Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker compose exec -T worker python /tmp/resource-probe.py
|
||||
python: can't open file '/tmp/resource-probe.py': [Errno 2] No such file or directory
|
||||
exit_code: 2 elapsed_seconds: 0.107
|
||||
@@ -1,8 +0,0 @@
|
||||
date: 2026-11-06T21:27:03Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker volume ls --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Name}}'
|
||||
mtusi2026lab5_broker-data
|
||||
mtusi2026lab5_pgdata
|
||||
mtusi2026lab5_s3data
|
||||
mtusi2026lab5_valkeydata
|
||||
exit_code: 0 elapsed_seconds: 0.017
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T21:27:03Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker ps --format '{{.Names}} {{.Status}}'
|
||||
exit_code: 0 elapsed_seconds: 0.018
|
||||
@@ -1,167 +0,0 @@
|
||||
[
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-1",
|
||||
"id": "fc7d65385119449e1e81f5158ddcb2970a4d15a8f0dcc592b7f4cc5d975b4a94",
|
||||
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-relay-1",
|
||||
"id": "4153c8488753a4557fdd65b30243cfe772d1d0cc89abfd443a7f92de2f62d183",
|
||||
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
|
||||
"limits": {
|
||||
"Memory": 201326592,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-api-2",
|
||||
"id": "a5411e55f06d7b51a6570392751f230afb401748d8da638d2e374d30d70efbe5",
|
||||
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-worker-1",
|
||||
"id": "ee8f9d678c2c7e910adef08271f9327710a82050e22358b802a3fa5c207f4453",
|
||||
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-migrate-1",
|
||||
"id": "feca425ac0ae5529007e3cb975c873bef4f882ad5aa71abdb1e198397f403e50",
|
||||
"image": "sha256:9293b3138e99506510e947ba0cfc77ed4301f96344dd937d51d03e8c258121f2",
|
||||
"limits": {
|
||||
"Memory": 268435456,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-init-1",
|
||||
"id": "e5825f3eeafb6c2412d36cde84cfdbf2d69ff02649403e5978557239f854c36c",
|
||||
"image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699",
|
||||
"limits": {
|
||||
"Memory": 67108864,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-broker-1",
|
||||
"id": "a38bbcf038702b1a8063120379ca2341868f0982f70d62f3113046aab641d209",
|
||||
"image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"15672/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25086"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"mounts": [
|
||||
{
|
||||
"name": "mtusi2026lab5_broker-data",
|
||||
"type": "volume",
|
||||
"destination": "/var/lib/rabbitmq"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-postgres-1",
|
||||
"id": "9f62ea9d176b033a9a2218fe15bda597484114af3dc26bc7fdc576b4094d79bd",
|
||||
"image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b",
|
||||
"limits": {
|
||||
"Memory": 1073741824,
|
||||
"NanoCpus": 2000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": [
|
||||
{
|
||||
"name": "mtusi2026lab5_pgdata",
|
||||
"type": "volume",
|
||||
"destination": "/var/lib/postgresql/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-lb-1",
|
||||
"id": "f0d01200b1f88a204c983e37cc078fcc08e54fda9151ca82a3630cd714b2d6f9",
|
||||
"image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {
|
||||
"8080/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "18085"
|
||||
}
|
||||
],
|
||||
"8404/tcp": [
|
||||
{
|
||||
"HostIp": "127.0.0.1",
|
||||
"HostPort": "25085"
|
||||
}
|
||||
]
|
||||
}
|
||||
},
|
||||
"mounts": []
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-s3-1",
|
||||
"id": "9a7684ef147aace715f79446f6e490b40df0c105f1f4d529f5aef9270540aedb",
|
||||
"image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2",
|
||||
"limits": {
|
||||
"Memory": 536870912,
|
||||
"NanoCpus": 1000000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": [
|
||||
{
|
||||
"name": "mtusi2026lab5_s3data",
|
||||
"type": "volume",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "/mtusi2026lab5-valkey-1",
|
||||
"id": "e37f783f9d5014b4f9d96260df10abf1faa26d6373fb6b2487f15340715e9a64",
|
||||
"image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a",
|
||||
"limits": {
|
||||
"Memory": 134217728,
|
||||
"NanoCpus": 500000000,
|
||||
"PortBindings": {}
|
||||
},
|
||||
"mounts": [
|
||||
{
|
||||
"name": "mtusi2026lab5_valkeydata",
|
||||
"type": "volume",
|
||||
"destination": "/data"
|
||||
}
|
||||
]
|
||||
}
|
||||
]
|
||||
@@ -1,46 +0,0 @@
|
||||
import json
|
||||
import re
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path.cwd()
|
||||
files = set(subprocess.check_output(['git', 'ls-files', '-z']).decode().split('\0')) - {''}
|
||||
files.update(str(p) for p in Path('evidence/final-validation-2026-11-07').rglob('*') if p.is_file())
|
||||
patterns = {
|
||||
'private_key': r'-----BEGIN (?:RSA |EC |OPENSSH )?PRIVATE KEY-----',
|
||||
'github_token': r'\b(?:gh[pousr]_[A-Za-z0-9]{30,}|github_pat_[A-Za-z0-9_]{50,})\b',
|
||||
'openai_token': r'\bsk-(?:proj-)?[A-Za-z0-9_-]{35,}\b',
|
||||
'aws_key': r'\b(?:AKIA|ASIA)[A-Z0-9]{16}\b',
|
||||
'telegram_token': r'\b[0-9]{8,12}:[A-Za-z0-9_-]{35}\b',
|
||||
'bearer_literal': r'Bearer [A-Za-z0-9_-]{24,}',
|
||||
'credential_url': r'\b(?:amqps?|postgres(?:ql)?|redis|https?)://[^\s\"\'{}$<>:/]+:[^\s\"\'{}$<>@/]+@',
|
||||
'secret_literal': r'''["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']''',
|
||||
}
|
||||
allow = {
|
||||
('contracts/examples.json', 5, 'secret_literal'): 'unchanged skeleton example placeholder',
|
||||
('contracts/openapi.json', 3096, 'secret_literal'): 'unchanged skeleton example placeholder',
|
||||
('examples/requests.http', 20, 'secret_literal'): 'unchanged skeleton example placeholder',
|
||||
('scripts/broker-secrets.sh', 17, 'credential_url'): 'printf format; no credential literal',
|
||||
('student-tests/api/test_operability.py', 131, 'credential_url'): 'synthetic unavailable endpoint u:p',
|
||||
('student-tests/api/test_operability.py', 143, 'credential_url'): 'synthetic unavailable endpoint u:p',
|
||||
('student-tests/conftest.py', 141, 'credential_url'): 'ephemeral test database literal',
|
||||
}
|
||||
findings = []
|
||||
for name in sorted(files):
|
||||
if re.search(r'(^|/)(?:\.env|secrets|volumes)(?:/|$)', name):
|
||||
findings.append({'file': name, 'rule': 'forbidden_path'})
|
||||
try:
|
||||
text = Path(name).read_text()
|
||||
except (UnicodeDecodeError, OSError):
|
||||
continue
|
||||
for rule, pattern in patterns.items():
|
||||
for match in re.finditer(pattern, text):
|
||||
line = text.count('\n', 0, match.start()) + 1
|
||||
item = {'file': name, 'line': line, 'rule': rule}
|
||||
if (name, line, rule) in allow:
|
||||
item['reviewed_non_secret'] = allow[name, line, rule]
|
||||
findings.append(item)
|
||||
report = {'files_scanned': len(files), 'patterns': list(patterns), 'candidates': findings, 'unresolved': sum('reviewed_non_secret' not in f for f in findings)}
|
||||
Path('evidence/final-validation-2026-11-07/secret-scan.json').write_text(json.dumps(report, indent=2) + '\n')
|
||||
print(json.dumps(report, indent=2))
|
||||
raise SystemExit(bool(report['unresolved']))
|
||||
@@ -1,58 +0,0 @@
|
||||
{
|
||||
"files_scanned": 740,
|
||||
"patterns": [
|
||||
"private_key",
|
||||
"github_token",
|
||||
"openai_token",
|
||||
"aws_key",
|
||||
"telegram_token",
|
||||
"bearer_literal",
|
||||
"credential_url",
|
||||
"secret_literal"
|
||||
],
|
||||
"candidates": [
|
||||
{
|
||||
"file": "contracts/examples.json",
|
||||
"line": 5,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "contracts/openapi.json",
|
||||
"line": 3096,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "examples/requests.http",
|
||||
"line": 20,
|
||||
"rule": "secret_literal",
|
||||
"reviewed_non_secret": "unchanged skeleton example placeholder"
|
||||
},
|
||||
{
|
||||
"file": "scripts/broker-secrets.sh",
|
||||
"line": 17,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "printf format; no credential literal"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 131,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/api/test_operability.py",
|
||||
"line": 143,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "synthetic unavailable endpoint u:p"
|
||||
},
|
||||
{
|
||||
"file": "student-tests/conftest.py",
|
||||
"line": 141,
|
||||
"rule": "credential_url",
|
||||
"reviewed_non_secret": "ephemeral test database literal"
|
||||
}
|
||||
],
|
||||
"unresolved": 0
|
||||
}
|
||||
@@ -1,55 +0,0 @@
|
||||
{
|
||||
"evidence/final-validation-2026-11-07/targeted.py": "0ef9974190761b0226f0c87ba3196f360fa0cb7f9761da14790da0747200b871",
|
||||
"evidence/final-validation-2026-11-07/student-test.txt": "299662f32cd80c0c69e1b4f281b97a38c9d81c44be2501dda6a3be02df692ab8",
|
||||
"evidence/final-validation-2026-11-07/targeted-initial.py": "5ccd725d3d07f82d53b8ee2f7f3614cd22f354891b6c220cb5572f8eb94b64dc",
|
||||
"evidence/final-validation-2026-11-07/audit.json": "6f1202bc4c225513a3cf65f4661f57dff02fa03eb1d3b30e15221096e31b4344",
|
||||
"evidence/final-validation-2026-11-07/final-containers.txt": "eca334ad0581d40039451984bbd5a294adb3367a605f75366b8dddd946006be4",
|
||||
"evidence/final-validation-2026-11-07/down.txt": "994c14a80ffafc46a7a51b16af856cbfdfe4bc518ade4b0d85a1809ed4cf446f",
|
||||
"evidence/final-validation-2026-11-07/stopped-containers.txt": "5e32c5318af95dd450c8bd7420c8cd87e7c63a54cfef0e87d1e62aeef4b73771",
|
||||
"evidence/final-validation-2026-11-07/resource-probe-worker.py": "e0fd41c717ef20143f9b7433197ec4007c23bcb047a20d6f884eda7ba47735f8",
|
||||
"evidence/final-validation-2026-11-07/postgres-outage.json": "6ef2b1a692692d073d5095e308633a57b3f8b77c907ef2a005c3de7405bd03b2",
|
||||
"evidence/final-validation-2026-11-07/recheck-cleanup.py": "d976b607d40be26b2fc9d2ed1a330bc517b099ffce10eff0756629f85ab30a44",
|
||||
"evidence/final-validation-2026-11-07/png-limits.txt": "ec52bf98f582f1db46a573ab2c8f9097108adb55ec8c5ebab653fb22a45ad216",
|
||||
"evidence/final-validation-2026-11-07/postgres-outage.txt": "03ae2413b4d24ca545fe7118dfbca42e19c787df082085be09b57881e8c6ef3b",
|
||||
"evidence/final-validation-2026-11-07/resource-probe-retry.txt": "d2ce23c775e6b460c16ef30fb9ade683508c05a5cfbf700cb2f8f2b5f30ded47",
|
||||
"evidence/final-validation-2026-11-07/postgres-outage-worker.log": "860a8f2c3a41efa2068cd2c0f614c02e605af50b12f13118c0b4f8bba5d0949d",
|
||||
"evidence/final-validation-2026-11-07/final-doc-audit.json": "1bb59e2139b15012e1050a5f67c9cbbb0be886173e7201f3c612c48f8158e0ae",
|
||||
"evidence/final-validation-2026-11-07/invoke-probe.py": "fb4a472315b5b08fa8b312868241902cb3ca827ca4af8fdaf7aabac57722476d",
|
||||
"evidence/final-validation-2026-11-07/runtime-containers.json": "85da009405a52ea1654d6cb396ef9b7a16cd50c37a09888f3ff9c3a358255b4b",
|
||||
"evidence/final-validation-2026-11-07/png-http.txt": "bf399ba45062574f2c7295dfb5255cde84065b2c621d34e91c0682c96ce88c8f",
|
||||
"evidence/final-validation-2026-11-07/build.txt": "12dd0f1dcb5aab6a5ef66aa8aa88466f35ed5d4e6b46c01c4048ef269d260d1f",
|
||||
"evidence/final-validation-2026-11-07/up.txt": "8089a2eacd964d323f040fabee30988d68287b86bffdfb107b7a231b63b4b914",
|
||||
"evidence/final-validation-2026-11-07/probe-copy-fixtures.txt": "f0e163372b70e3550047572dc5d293c73fb971fcb22e84570983a98d41c21297",
|
||||
"evidence/final-validation-2026-11-07/policy.txt": "f47b54dd4b522870ddd464d62a0076bd4fdd7793506834af83167af4d75738b2",
|
||||
"evidence/final-validation-2026-11-07/running-containers-after.txt": "aea44e7b644394fe4dffc8d50afe64ae3189f9c0d1221530e6320e095ee9bd1b",
|
||||
"evidence/final-validation-2026-11-07/cleanup-recheck.json": "dc6162f26b2aa3ec219c2a323bd38fecb7700e10fc1ac26db3b73c6df56c8442",
|
||||
"evidence/final-validation-2026-11-07/checks-final.txt": "c3c7720032cb1ddd357056fb5ceffd481d5b918ca2c618570fef2276341713c4",
|
||||
"evidence/final-validation-2026-11-07/probe-copy-script.txt": "b41b5bbc44740bf143c6a7b3ecd0a11b5278be0c7949085c329c124837a1dc31",
|
||||
"evidence/final-validation-2026-11-07/postgres-outage-retry.txt": "48191931290985ab5ee3a4f606f5871e751af74d92262d9a95375f845a8e528b",
|
||||
"evidence/final-validation-2026-11-07/png-limits.json": "ead7292827f5da0bf87e7d2209c5db26738361b61332b5ae2dd1855a3220f89f",
|
||||
"evidence/final-validation-2026-11-07/delivery-targeted.json": "087921045c843d5ef6b9519ad23ccc4e35fbafa8d0b526fd17b57f2dcc89f2b8",
|
||||
"evidence/final-validation-2026-11-07/delivery-targeted.txt": "ab62360225b4cff3cd99f51abbccd637101699070c4237d672cb198b77a5f9f0",
|
||||
"evidence/final-validation-2026-11-07/findings.json": "1bee1d38c4975c2a5b282131de001a7406751e2373ce29908ad49baf64754f83",
|
||||
"evidence/final-validation-2026-11-07/RESULTS.md": "4d918715650d58f320e0884b17c1d9e32276f07c741d515f2c10ee5f18c583cc",
|
||||
"evidence/final-validation-2026-11-07/secret-scan.json": "e8d73dbc0b91a8545907368c8e99b5bd16dc0ed6e89a9c46c03b59bdbb9fc95b",
|
||||
"evidence/final-validation-2026-11-07/scan-secrets.py": "de87d9de67d0d8addab791b45725b8afe96dfb3bf84fa1d6bec46b7850494e79",
|
||||
"evidence/final-validation-2026-11-07/cleanup-recheck.txt": "238e1c1d2eb739b105f621198c1cce3614d1cbf5f7a01ebaf30a9edbfc84fa93",
|
||||
"evidence/final-validation-2026-11-07/retained-volumes.txt": "dfa358841d4bd6258e01a9d19756596ccfafcc64338a2f1336be41db557ea1ff",
|
||||
"evidence/final-validation-2026-11-07/env.sh": "06cc16c51f3ea5fe5bc703a1c4c44901a1c079a452c4df57e723f0f30f7b666a",
|
||||
"evidence/final-validation-2026-11-07/queues.txt": "269a2934d5b03d25c1028b1677dc7a57b7444bba646ffbb46d374473858cde9e",
|
||||
"evidence/final-validation-2026-11-07/resource-probe-worker.txt": "d3e1e5cfef280cbaddbd915ffee91a109ddf2e19e7fc4771333b79826b95e587",
|
||||
"evidence/final-validation-2026-11-07/resource-probe.txt": "5c4dc9697e8bbfcfd897375ec346c48ade105bdabc4a068406785eac89056df0",
|
||||
"evidence/final-validation-2026-11-07/historical-hashes.json": "865452375e881103a36f9991388a33ae20ca957718222e474f50778bedca53b7",
|
||||
"evidence/final-validation-2026-11-07/openspec.txt": "87a9b001f1780bca8d822372eb43d8b1b6225b66380a235c573a8c12f235f033",
|
||||
"evidence/final-validation-2026-11-07/checks.txt": "f04184507396267b800955824155b4adc52fc561ca7c4427b195b0a28ef0a78d",
|
||||
"evidence/final-validation-2026-11-07/active-changes.txt": "f75e218e916653ad195abc458a187238930ee0cb74b3dff3bceff633f63b3a2f",
|
||||
"evidence/final-validation-2026-11-07/postgres-outage-retry.json": "efd5a60a6d8ac1f0b927f8e4dae35183444c887b12bbc76efc589d4b60b3b608",
|
||||
"evidence/final-validation-2026-11-07/smoke.txt": "f667f89d95ccfc52ac942cae11c2cdd6bfc8d1a192eb9cdf1b24f3ba02a8888d",
|
||||
"evidence/final-validation-2026-11-07/image-runtime.txt": "89b07842b945ac8873e6077a51782be7642b9f36e3fc45bacf5e2811ef1bd90d",
|
||||
"evidence/final-validation-2026-11-07/resource-probe.py": "5ac1b3087a22ce8c9b0d3e988b78a8c5ae385436ef5b8cdf2ccb57fe1a0a0359",
|
||||
"evidence/final-validation-2026-11-07/png-http.json": "8871e5adc7c030edaf8357807597e8f38045d24ca6e20825e73864392451596d",
|
||||
"evidence/final-validation-2026-11-07/fixtures/rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7",
|
||||
"evidence/final-validation-2026-11-07/fixtures/gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd",
|
||||
"evidence/final-validation-2026-11-07/fixtures/gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6",
|
||||
"evidence/final-validation-2026-11-07/fixtures/gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800"
|
||||
}
|
||||
@@ -1,6 +0,0 @@
|
||||
date: 2026-11-06T21:17:56Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ make test
|
||||
python3 tests/smoke.py --base-url "http://127.0.0.1:18085"
|
||||
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
|
||||
exit_code: 0 elapsed_seconds: 1.723
|
||||
@@ -1,4 +0,0 @@
|
||||
date: 2026-11-06T21:27:02Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ docker ps -a --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Names}} {{.Status}}'
|
||||
exit_code: 0 elapsed_seconds: 0.020
|
||||
@@ -1,20 +0,0 @@
|
||||
date: 2026-11-06T21:15:34Z commit: b30e2f6a84419d1ca64525ffb40df92183cccaef
|
||||
environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-validation"}
|
||||
$ make student-test 'PYTEST_ARGS=-q --tb=short'
|
||||
.venv/bin/pytest -q --tb=short
|
||||
........................................................................ [ 7%]
|
||||
........................................................................ [ 14%]
|
||||
........................................................................ [ 22%]
|
||||
........................................................................ [ 29%]
|
||||
........................................................................ [ 36%]
|
||||
........................................................................ [ 44%]
|
||||
........................................................................ [ 51%]
|
||||
........................................................................ [ 58%]
|
||||
........................................................................ [ 66%]
|
||||
........................................................................ [ 73%]
|
||||
........................................................................ [ 80%]
|
||||
........................................................................ [ 88%]
|
||||
.................................................................s...... [ 95%]
|
||||
............................................. [100%]
|
||||
980 passed, 1 skipped, 19 deselected in 180.75s (0:03:00)
|
||||
exit_code: 0 elapsed_seconds: 182.490
|
||||
@@ -1,177 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import struct
|
||||
import sys
|
||||
import time
|
||||
import zlib
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(ROOT / 'scripts'), str(ROOT / 'student-tests')]
|
||||
import pipeline_suite as ps
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
from pictures import SIGNATURE, chunk
|
||||
from png_trns_fixtures import png_with_trns
|
||||
|
||||
MODE = sys.argv.pop(1)
|
||||
OUT = Path(__file__).parent / (MODE + '.json')
|
||||
if OUT.exists():
|
||||
raise SystemExit('Result exists; do not repeat completed evidence')
|
||||
SUITE = ps.Suite(ps.arguments())
|
||||
STACK = SUITE.stack
|
||||
REPORT = {'mode': MODE, 'source_sha': ps.run(['git', 'rev-parse', 'HEAD']).strip(), 'started_at': ps.now(), 'cases': []}
|
||||
LIMITS = RenderLimits(10485760, 40000000)
|
||||
|
||||
|
||||
def save():
|
||||
OUT.write_text(json.dumps(REPORT, ensure_ascii=False, indent=2) + '\n')
|
||||
|
||||
|
||||
def case(name, function):
|
||||
row = {'name': name, 'started_at': ps.now()}
|
||||
REPORT['cases'].append(row)
|
||||
save()
|
||||
began = time.monotonic()
|
||||
try:
|
||||
row['observed'] = function()
|
||||
row['result'] = 'PASS'
|
||||
except Exception as error:
|
||||
row.update(result='FAIL', error=str(error))
|
||||
row['elapsed_seconds'] = round(time.monotonic() - began, 3)
|
||||
save()
|
||||
print(name, row['result'], row.get('error', ''), flush=True)
|
||||
|
||||
|
||||
def containers():
|
||||
return STACK.dc('ps', '-a', '--format', '{{.Name}} {{.ID}} {{.State}} {{.Status}}').splitlines()
|
||||
|
||||
|
||||
def outage():
|
||||
SUITE.drained()
|
||||
before_dlq = STACK.queues()[ps.DLQ]
|
||||
STACK.stop('worker')
|
||||
att = SUITE.api.fixture()
|
||||
ident = att['id']
|
||||
ps.poll(lambda: all(r['published'] for r in STACK.sql('outbox', id=ident)), 30, 'published outbox')
|
||||
jobs = STACK.sql('jobs', id=ident)
|
||||
REPORT['outage_checkpoint'] = {'attachment_id': ident, 'jobs_before': jobs, 'dlq_before': before_dlq}
|
||||
save()
|
||||
STACK.stop('postgres')
|
||||
REPORT['outage_checkpoint']['stopped_containers'] = containers()
|
||||
save()
|
||||
since = ps.now()
|
||||
STACK.dc('start', 'worker')
|
||||
def requeues():
|
||||
logs = STACK.dc('logs', '--no-color', '--since', since, 'worker')
|
||||
rows = [line for line in logs.splitlines() if 'job.requeued' in line and jobs[0]['job_id'] in line]
|
||||
return rows if len(rows) >= 12 else None
|
||||
try:
|
||||
lines = ps.poll(requeues, 90, '12 real database failures', 1)
|
||||
Path(__file__).with_name('postgres-outage-worker.log').write_text('\n'.join(lines) + '\n')
|
||||
during = STACK.queues()
|
||||
finally:
|
||||
STACK.up('postgres')
|
||||
ps.poll(lambda: ps.http_ready(SUITE.args.base_url), 30, 'API after PostgreSQL')
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
SUITE.drained()
|
||||
after = STACK.sql('jobs', id=ident)
|
||||
assert after[0]['job_id'] == jobs[0]['job_id'] and after[0]['attempt'] == jobs[0]['attempt'] == 1
|
||||
assert after[0]['status'] == 'done'
|
||||
assert STACK.queues()[ps.DLQ] == before_dlq
|
||||
assert len(STACK.sql('variants', id=ident)) == 3
|
||||
return {'attachment_id': ident, 'jobs_before': jobs, 'jobs_after': after, 'requeues': len(lines), 'queues_during': during, 'queues_after': STACK.queues(), 'replay': False, 'stopped_containers': REPORT['outage_checkpoint']['stopped_containers']}
|
||||
|
||||
|
||||
def png(name, data, reference):
|
||||
att = SUITE.api.upload(data, name=name + '.png')
|
||||
ident = att['id']
|
||||
results = []
|
||||
for version in (1, 2):
|
||||
if version == 2:
|
||||
STACK.admin('reprocess', '--attachment-id', ident, '--pipeline-version', '2')
|
||||
ps.poll(lambda: SUITE.record(ident)['published_version'] == 2, 90, 'published v2')
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
assert SUITE.api.content(ident)['bytes'] == data
|
||||
expected = {r.name: r for r in render_variants(reference, LIMITS, version)}
|
||||
variants = []
|
||||
for variant in ready['variants']:
|
||||
content = SUITE.api.content(ident, variant['name'])['bytes']
|
||||
assert content == expected[variant['name']].data, variant['name'] + ' differs from independent white reference'
|
||||
with Image.open(BytesIO(content)) as image:
|
||||
assert not image.getexif()
|
||||
assert not any(key in image.info for key in ('icc_profile', 'xmp', 'transparency'))
|
||||
variants.append({'name': variant['name'], 'sha256': hashlib.sha256(content).hexdigest(), 'bytes': len(content), 'dimensions': [variant['width'], variant['height']]})
|
||||
results.append({'version': version, 'variants': variants})
|
||||
before = SUITE.snapshot(ident)
|
||||
STACK.publish(SUITE.payload(ident, 1))
|
||||
STACK.publish(SUITE.payload(ident, 2))
|
||||
SUITE.drained()
|
||||
assert SUITE.snapshot(ident) == before
|
||||
assert len(STACK.sql('variants', id=ident)) == 6
|
||||
return {'attachment_id': ident, 'input_sha256': hashlib.sha256(data).hexdigest(), 'input_bytes': len(data), 'versions': results, 'stale_and_duplicate_noop': True}
|
||||
|
||||
|
||||
def large_png(depth, rgb):
|
||||
transparent = (12345, 23456, 34567) if rgb else (1 if depth < 16 else 12345,)
|
||||
neighbor = (transparent[0] + 1, *transparent[1:])
|
||||
def block(pixel):
|
||||
if depth < 8:
|
||||
value = sum(pixel[0] << shift for shift in range(0, 8, depth))
|
||||
return bytes([value]) * (4000 * depth // 8)
|
||||
return b''.join(v.to_bytes(depth // 8, 'big') for v in pixel) * 4000
|
||||
row = b'\0' + block(transparent) + block(neighbor)
|
||||
compressor = zlib.compressobj()
|
||||
compressed = b''.join(compressor.compress(row) for _ in range(5000)) + compressor.flush()
|
||||
return SIGNATURE + chunk(b'IHDR', struct.pack('>IIBBBBB', 8000, 5000, depth, 2 if rgb else 0, 0, 0, 0)) + chunk(b'tRNS', b''.join(v.to_bytes(2, 'big') for v in transparent)) + chunk(b'IDAT', compressed) + chunk(b'IEND', b'')
|
||||
|
||||
|
||||
def large(name, data):
|
||||
assert len(data) < LIMITS.max_bytes
|
||||
att = SUITE.api.upload(data, name=name + '.png', final=('ready', 'failed'))
|
||||
ready = SUITE.api.wait(att['id'], ('ready', 'failed'))
|
||||
row = {'attachment_id': att['id'], 'input_bytes': len(data), 'input_sha256': hashlib.sha256(data).hexdigest(), 'pixels': 40000000, 'status': ready['status'], 'error_code': ready['error_code'], 'jobs': STACK.sql('jobs', id=att['id']), 'memory_peak': STACK.cgroup('worker', 'memory.peak'), 'memory_max': STACK.cgroup('worker', 'memory.max')}
|
||||
REPORT['large_observations'] = REPORT.get('large_observations', []) + [row]
|
||||
save()
|
||||
assert ready['status'] == 'ready', json.dumps(row)
|
||||
SUITE.verify(ready)
|
||||
assert int(row['memory_peak']) < int(row['memory_max'])
|
||||
return row
|
||||
|
||||
|
||||
try:
|
||||
SUITE.detect_api()
|
||||
SUITE.api = ps.Api(SUITE.args)
|
||||
dead_before = STACK.queues()[ps.DLQ][0]
|
||||
REPORT['conditions'] = {'host_load': os.getloadavg(), 'containers': containers(), 'running': ps.run(['docker', 'ps', '--format', '{{.Names}} {{.Status}}']), 'worker_limits': STACK.dc('exec', '-T', 'worker', 'printenv', 'RENDER_MEMORY_MB', 'RENDER_TIMEOUT_SECONDS', 'WORKER_CONCURRENCY')}
|
||||
save()
|
||||
if MODE == 'postgres-outage':
|
||||
case('published_outbox_database_outage', outage)
|
||||
elif MODE == 'png-http':
|
||||
folder = ROOT / 'evidence/review-trns-depth-2026-11-06/fixtures'
|
||||
for name in ('gray2', 'gray4', 'rgb16'):
|
||||
case(name, lambda name=name: png(name, (folder / (name + '.png')).read_bytes(), (folder / (name + '-white.png')).read_bytes()))
|
||||
for name, depth, color in [('gray1', 1, (0,)), ('gray8', 8, (85,)), ('gray16', 16, (12345,)), ('rgb8', 8, (255, 0, 0))]:
|
||||
case(name, lambda name=name, depth=depth, color=color: png(name, *png_with_trns(depth, color)))
|
||||
case('rgb16-adam7-filter4-exif6', lambda: png('adam7', *png_with_trns(16, (12345, 23456, 34567), size=(65, 63), interlace=1, filtering=4, orientation=6)))
|
||||
elif MODE == 'png-limits':
|
||||
for name, depth, rgb in [('gray2-40mp', 2, False), ('gray4-40mp', 4, False), ('gray16-40mp', 16, False), ('rgb16-40mp', 16, True)]:
|
||||
case(name, lambda name=name, depth=depth, rgb=rgb: large(name, large_png(depth, rgb)))
|
||||
data = large_png(16, True)
|
||||
case('forced-timeout', lambda: SUITE.limited(data, FAULT_RENDER_TIMEOUT_SECONDS='0.01'))
|
||||
case('forced-memory', lambda: SUITE.limited(data, FAULT_RENDER_MEMORY_MB='200'))
|
||||
STACK.restore()
|
||||
case('normal-after-limits', SUITE.smoke_pipeline)
|
||||
REPORT['invariants'] = SUITE.invariants(dead_before)
|
||||
finally:
|
||||
STACK.up('postgres')
|
||||
STACK.restore()
|
||||
REPORT['accepted_ids'] = SUITE.api.accepted if SUITE.api else []
|
||||
REPORT['finished_at'] = ps.now()
|
||||
REPORT['result'] = 'PASS' if REPORT['cases'] and all(x.get('result') == 'PASS' for x in REPORT['cases'] + REPORT.get('invariants', [])) else 'FAIL'
|
||||
save()
|
||||
raise SystemExit(0 if REPORT['result'] == 'PASS' else 1)
|
||||
@@ -1,179 +0,0 @@
|
||||
import hashlib
|
||||
import json
|
||||
import os
|
||||
import struct
|
||||
import sys
|
||||
import time
|
||||
import zlib
|
||||
from io import BytesIO
|
||||
from pathlib import Path
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[2]
|
||||
sys.path[:0] = [str(ROOT / 'scripts'), str(ROOT / 'student-tests')]
|
||||
import pipeline_suite as ps
|
||||
from PIL import Image
|
||||
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
|
||||
from pictures import SIGNATURE, chunk
|
||||
from png_trns_fixtures import png_with_trns
|
||||
|
||||
MODE = sys.argv.pop(1)
|
||||
OUT = Path(__file__).parent / (MODE + '.json')
|
||||
if OUT.exists():
|
||||
raise SystemExit('Result exists; do not repeat completed evidence')
|
||||
SUITE = ps.Suite(ps.arguments())
|
||||
STACK = SUITE.stack
|
||||
REPORT = {'mode': MODE, 'source_sha': ps.run(['git', 'rev-parse', 'HEAD']).strip(), 'started_at': ps.now(), 'cases': []}
|
||||
LIMITS = RenderLimits(10485760, 40000000)
|
||||
|
||||
|
||||
def save():
|
||||
OUT.write_text(json.dumps(REPORT, ensure_ascii=False, indent=2) + '\n')
|
||||
|
||||
|
||||
def case(name, function):
|
||||
row = {'name': name, 'started_at': ps.now()}
|
||||
REPORT['cases'].append(row)
|
||||
save()
|
||||
began = time.monotonic()
|
||||
try:
|
||||
row['observed'] = function()
|
||||
row['result'] = 'PASS'
|
||||
except Exception as error:
|
||||
row.update(result='FAIL', error=str(error))
|
||||
row['elapsed_seconds'] = round(time.monotonic() - began, 3)
|
||||
save()
|
||||
print(name, row['result'], row.get('error', ''), flush=True)
|
||||
|
||||
|
||||
def containers():
|
||||
return STACK.dc('ps', '-a', '--format', '{{.Name}} {{.ID}} {{.State}} {{.Status}}').splitlines()
|
||||
|
||||
|
||||
def outage():
|
||||
SUITE.drained()
|
||||
before_dlq = STACK.queues()[ps.DLQ]
|
||||
STACK.stop('worker')
|
||||
att = SUITE.api.fixture()
|
||||
ident = att['id']
|
||||
ps.poll(lambda: all(r['published'] for r in STACK.sql('outbox', id=ident)), 30, 'published outbox')
|
||||
jobs = STACK.sql('jobs', id=ident)
|
||||
REPORT['outage_checkpoint'] = {'attachment_id': ident, 'jobs_before': jobs, 'dlq_before': before_dlq}
|
||||
save()
|
||||
STACK.stop('postgres')
|
||||
REPORT['outage_checkpoint']['stopped_containers'] = containers()
|
||||
save()
|
||||
since = ps.now()
|
||||
worker_id = STACK.dc('ps', '-aq', 'worker').strip()
|
||||
assert worker_id
|
||||
ps.run(['docker', 'start', worker_id])
|
||||
def requeues():
|
||||
logs = STACK.dc('logs', '--no-color', '--since', since, 'worker')
|
||||
rows = [line for line in logs.splitlines() if 'job.requeued' in line and jobs[0]['job_id'] in line]
|
||||
return rows if len(rows) >= 12 else None
|
||||
try:
|
||||
lines = ps.poll(requeues, 90, '12 real database failures', 1)
|
||||
Path(__file__).with_name('postgres-outage-worker.log').write_text('\n'.join(lines) + '\n')
|
||||
during = STACK.queues()
|
||||
finally:
|
||||
STACK.up('postgres')
|
||||
ps.poll(lambda: ps.http_ready(SUITE.args.base_url), 30, 'API after PostgreSQL')
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
SUITE.drained()
|
||||
after = STACK.sql('jobs', id=ident)
|
||||
assert after[0]['job_id'] == jobs[0]['job_id'] and after[0]['attempt'] == jobs[0]['attempt'] == 1
|
||||
assert after[0]['status'] == 'done'
|
||||
assert STACK.queues()[ps.DLQ] == before_dlq
|
||||
assert len(STACK.sql('variants', id=ident)) == 3
|
||||
return {'attachment_id': ident, 'jobs_before': jobs, 'jobs_after': after, 'requeues': len(lines), 'queues_during': during, 'queues_after': STACK.queues(), 'replay': False, 'stopped_containers': REPORT['outage_checkpoint']['stopped_containers']}
|
||||
|
||||
|
||||
def png(name, data, reference):
|
||||
att = SUITE.api.upload(data, name=name + '.png')
|
||||
ident = att['id']
|
||||
results = []
|
||||
for version in (1, 2):
|
||||
if version == 2:
|
||||
STACK.admin('reprocess', '--attachment-id', ident, '--pipeline-version', '2')
|
||||
ps.poll(lambda: SUITE.record(ident)['published_version'] == 2, 90, 'published v2')
|
||||
ready = SUITE.api.wait(ident)
|
||||
SUITE.verify(ready)
|
||||
assert SUITE.api.content(ident)['bytes'] == data
|
||||
expected = {r.name: r for r in render_variants(reference, LIMITS, version)}
|
||||
variants = []
|
||||
for variant in ready['variants']:
|
||||
content = SUITE.api.content(ident, variant['name'])['bytes']
|
||||
assert content == expected[variant['name']].data, variant['name'] + ' differs from independent white reference'
|
||||
with Image.open(BytesIO(content)) as image:
|
||||
assert not image.getexif()
|
||||
assert not any(key in image.info for key in ('icc_profile', 'xmp', 'transparency'))
|
||||
variants.append({'name': variant['name'], 'sha256': hashlib.sha256(content).hexdigest(), 'bytes': len(content), 'dimensions': [variant['width'], variant['height']]})
|
||||
results.append({'version': version, 'variants': variants})
|
||||
before = SUITE.snapshot(ident)
|
||||
STACK.publish(SUITE.payload(ident, 1))
|
||||
STACK.publish(SUITE.payload(ident, 2))
|
||||
SUITE.drained()
|
||||
assert SUITE.snapshot(ident) == before
|
||||
assert len(STACK.sql('variants', id=ident)) == 6
|
||||
return {'attachment_id': ident, 'input_sha256': hashlib.sha256(data).hexdigest(), 'input_bytes': len(data), 'versions': results, 'stale_and_duplicate_noop': True}
|
||||
|
||||
|
||||
def large_png(depth, rgb):
|
||||
transparent = (12345, 23456, 34567) if rgb else (1 if depth < 16 else 12345,)
|
||||
neighbor = (transparent[0] + 1, *transparent[1:])
|
||||
def block(pixel):
|
||||
if depth < 8:
|
||||
value = sum(pixel[0] << shift for shift in range(0, 8, depth))
|
||||
return bytes([value]) * (4000 * depth // 8)
|
||||
return b''.join(v.to_bytes(depth // 8, 'big') for v in pixel) * 4000
|
||||
row = b'\0' + block(transparent) + block(neighbor)
|
||||
compressor = zlib.compressobj()
|
||||
compressed = b''.join(compressor.compress(row) for _ in range(5000)) + compressor.flush()
|
||||
return SIGNATURE + chunk(b'IHDR', struct.pack('>IIBBBBB', 8000, 5000, depth, 2 if rgb else 0, 0, 0, 0)) + chunk(b'tRNS', b''.join(v.to_bytes(2, 'big') for v in transparent)) + chunk(b'IDAT', compressed) + chunk(b'IEND', b'')
|
||||
|
||||
|
||||
def large(name, data):
|
||||
assert len(data) < LIMITS.max_bytes
|
||||
att = SUITE.api.upload(data, name=name + '.png', final=('ready', 'failed'))
|
||||
ready = SUITE.api.wait(att['id'], ('ready', 'failed'))
|
||||
row = {'attachment_id': att['id'], 'input_bytes': len(data), 'input_sha256': hashlib.sha256(data).hexdigest(), 'pixels': 40000000, 'status': ready['status'], 'error_code': ready['error_code'], 'jobs': STACK.sql('jobs', id=att['id']), 'memory_peak': STACK.cgroup('worker', 'memory.peak'), 'memory_max': STACK.cgroup('worker', 'memory.max')}
|
||||
REPORT['large_observations'] = REPORT.get('large_observations', []) + [row]
|
||||
save()
|
||||
assert ready['status'] == 'ready', json.dumps(row)
|
||||
SUITE.verify(ready)
|
||||
assert int(row['memory_peak']) < int(row['memory_max'])
|
||||
return row
|
||||
|
||||
|
||||
try:
|
||||
SUITE.detect_api()
|
||||
SUITE.api = ps.Api(SUITE.args)
|
||||
dead_before = STACK.queues()[ps.DLQ][0]
|
||||
REPORT['conditions'] = {'host_load': os.getloadavg(), 'containers': containers(), 'running': ps.run(['docker', 'ps', '--format', '{{.Names}} {{.Status}}']), 'worker_limits': STACK.dc('exec', '-T', 'worker', 'printenv', 'RENDER_MEMORY_MB', 'RENDER_TIMEOUT_SECONDS', 'WORKER_CONCURRENCY')}
|
||||
save()
|
||||
if MODE.startswith('postgres-outage'):
|
||||
case('published_outbox_database_outage', outage)
|
||||
elif MODE == 'png-http':
|
||||
folder = ROOT / 'evidence/review-trns-depth-2026-11-06/fixtures'
|
||||
for name in ('gray2', 'gray4', 'rgb16'):
|
||||
case(name, lambda name=name: png(name, (folder / (name + '.png')).read_bytes(), (folder / (name + '-white.png')).read_bytes()))
|
||||
for name, depth, color in [('gray1', 1, (0,)), ('gray8', 8, (85,)), ('gray16', 16, (12345,)), ('rgb8', 8, (255, 0, 0))]:
|
||||
case(name, lambda name=name, depth=depth, color=color: png(name, *png_with_trns(depth, color)))
|
||||
case('rgb16-adam7-filter4-exif6', lambda: png('adam7', *png_with_trns(16, (12345, 23456, 34567), size=(65, 63), interlace=1, filtering=4, orientation=6)))
|
||||
elif MODE == 'png-limits':
|
||||
for name, depth, rgb in [('gray2-40mp', 2, False), ('gray4-40mp', 4, False), ('gray16-40mp', 16, False), ('rgb16-40mp', 16, True)]:
|
||||
case(name, lambda name=name, depth=depth, rgb=rgb: large(name, large_png(depth, rgb)))
|
||||
data = large_png(16, True)
|
||||
case('forced-timeout', lambda: SUITE.limited(data, FAULT_RENDER_TIMEOUT_SECONDS='0.01'))
|
||||
case('forced-memory', lambda: SUITE.limited(data, FAULT_RENDER_MEMORY_MB='200'))
|
||||
STACK.restore()
|
||||
case('normal-after-limits', SUITE.smoke_pipeline)
|
||||
REPORT['invariants'] = SUITE.invariants(dead_before)
|
||||
finally:
|
||||
STACK.up('postgres')
|
||||
STACK.restore()
|
||||
REPORT['accepted_ids'] = SUITE.api.accepted if SUITE.api else []
|
||||
REPORT['finished_at'] = ps.now()
|
||||
REPORT['result'] = 'PASS' if REPORT['cases'] and all(x.get('result') == 'PASS' for x in REPORT['cases'] + REPORT.get('invariants', [])) else 'FAIL'
|
||||
save()
|
||||
raise SystemExit(0 if REPORT['result'] == 'PASS' else 1)
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user