diff --git a/AGENTS.md b/AGENTS.md index b8e429c6..8605f17c 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -75,15 +75,15 @@ make down # остановка своего project без Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) завершила реальный PostgreSQL outage: 12 requeue → ready без replay, policy `delivery-limit=-1` на сохранённом volume, DLQ не выросла. HTTP PNG: 8 fixtures / 48 сравнений вариантов v1/v2 PASS. Delivery subset: 12 сценариев / 8 инвариантов PASS. Student-test: 980 passed / 1 Linux-only skip. Исторический аудит — [evidence/load-validation.md](evidence/load-validation.md), результаты V — [evidence/final-validation-2026-11-07/RESULTS.md](evidence/final-validation-2026-11-07/RESULTS.md). -**Прежний major ожидает динамического закрытия:** на V четыре PNG tRNS 8000×5000 (grayscale 2/4/16 и RGB16) дали 202 → failed/processing_failed при штатных 448 MiB/30 с. В M преобразования ограничены плитками 256×256, pixel core явно освобождаются; конфигурация лимитов не увеличивалась. Сохранённые проверки: 440 offline passed / 2 Linux-only skipped + 20 границ; 132 варианта для 22 изображений побайтно совпали с V. Независимое review M не нашло major в статике/offline. Эти результаты не заменяют ещё не выполненные Linux/HTTP-проверки нового renderer, исходные FAIL сохранены. +**Прежний major закрыт динамически на F `74c33160ac01618f70e9e1c6a121a5e45c3c7155` (runtime = M).** Четыре исходных PNG 8000×5000 и grayscale16 без tRNS прошли Linux с импортами worker при 448 MiB/30 с и HTTP 202 → ready в v1/v2. Два одновременных HTTP jobs: peak 844.41 MiB / 1 GiB, OOM=0. Boundary: 8 сценариев / 8 инвариантов, 11 ID / 59 объектов; малая HTTP-матрица: 8 fixtures / 48 сравнений / 8 инвариантов, 8 ID / 56 объектов. Принудительные лимиты, обычное задание после каждого отказа и cleanup после sweep — PASS. Student-test: 984 passed / 2 Linux-only skipped / 19 deselected; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохранены, лимиты не увеличивались. -Следующая фаза проверяет прежние четыре 40 Мп PNG и grayscale16 без tRNS с импортами worker, обычную работу после отказа, concurrency=2, точный tRNS, HTTP subset 8/48, v1/v2, принудительные лимиты и cleanup после sweep. Точная процедура — [evidence/review-png-memory-2026-11-07/RESULTS.md](evidence/review-png-memory-2026-11-07/RESULTS.md). Полные track2, PostgreSQL outage и delivery subset без нового основания не повторять: соответствующий runtime не менялся. Последний наблюдавшийся стенд V остановлен, четыре volumes сохранены; исправление и отчёт Docker не запускали. +Актуальные команды и сырьё — [evidence/final-memory-validation-2026-11-07/RESULTS.md](evidence/final-memory-validation-2026-11-07/RESULTS.md), аудит применимости — [evidence/load-validation.md](evidence/load-validation.md). Полные track2, PostgreSQL outage и delivery subset приняты без повторения: соответствующий runtime не менялся. Стенд F остановлен, четыре volumes сохранены. Validation завершена; push/Telegram не выполнялись, публикация требует отдельного сообщения координатора с точным SHA. Документационные коммиты после F не меняют измеренный runtime. Семь minor последнего review сохраняются в REPORT: crash_publish_confirm фактически после confirm до COMMIT outbox; limits.py имеет ложный FAIL порядка secrets; reconcile_track.py ожидает upload 201 ЛР4; failed upgrade v2 нельзя отдельно повторить при ready v1; UTC/elapsed run2/3 расходятся; design-правило config сохранило 201; JobMessage допускает преобразования типов и null вне jobs.schema.json. Последний minor воспроизведён reviewer в четырёх offline-пробах (bus/ack вместо reject); штатный relay формирует корректные сообщения, критичного последствия не установлено. Происхождение — [аудит обновления отчёта](evidence/report-memory-audit-2026-11-07.md). Корневые старые evidence до SQLAlchemy остаются историей. ## Уровни оценки -Цель — **«5»**, трек 2 «Доказанная идемпотентность pipeline». Полное подтверждение для текущего кода заявлять только после адресного Linux/HTTP-подтверждения исправления M и окончательного закрытия прежнего major; таблица доказательств и границы применимости — в `REPORT.md`. +Цель — **«5»**, трек 2 «Доказанная идемпотентность pipeline». Критерии подтверждены совокупностью сохранённых серий D/V и адресной validation F; прежний major закрыт, семь minor сохранены. Таблица доказательств и границы применимости — в `REPORT.md`. - **3** — `202 queued` после staging и `COMMIT` задания с outbox; отдельные `broker`, `relay`, `worker` в стенде; durable quorum queue, publisher confirm, ручной `ack` после `COMMIT`; состояния `queued/processing/ready/failed`, оригинал в `originals/` и thumbnail; ограниченный retry (`JOB_MAX_ATTEMPTS=5`) и `failed` с `error_code`; повтор job без второго набора вариантов; worker остановлен → upload → сообщение → рестарт API и broker → worker → `ready`; минимум lab4 сохранён. - **4** — crop и optimized WebP, лимиты worker по байтам, пикселям, времени и памяти, crash между `COMMIT` и publish, backoff с jitter и классификация ошибок, DLQ и replay, crash после записи объекта до `ack`, lease и fencing для зависшего `processing`, prefetch, очистка staging. diff --git a/REPORT.md b/REPORT.md index fdec9df7..76357af7 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,15 +1,15 @@ # Отчёт — лабораторная работа 5 Автор: **Костылев Артём, БПИ2303**. Тема: «Очереди и асинхронная обработка изображений». -Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Причина major с памятью PNG исправлена, независимое повторное ревью не обнаружило major в статике/offline. Окончательное закрытие прежнего дефекта требует адресных Linux/HTTP-проверок нового renderer; они ещё не выполнены. Исходные четыре FAIL сохранены. Полное подтверждение «5» и готовность к публикации пока не заявляются. +Цель — **«5», трек 2 «Доказанная идемпотентность pipeline»**. Критичный дефект памяти PNG закрыт после отдельного fix/re-review и адресной Linux/HTTP validation. Совокупность сохранённых серий D/V и новых проверок M подтверждает критерии выбранного трека в описанных условиях. Семь minor сохранены; исходные четыре FAIL остаются историей. Validation завершена, публикация требует отдельного разрешения координатора. -Ветка: `solution/bpi2303-kostylev`. Предыдущее ревью: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — **`6096aa7948b8b666aa3892397a96d044a55f02c6` (M)**; реализация исправления — `1a8020524909ebc5e2e43303436c9d1ce3c1a87b`. От V из runtime изменён только `images.py`, настройки 448 MiB/30 с/concurrency=2 сохранены. Полный student-test и HTTP-результаты V не являются прогоном M. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует. +Ветка: `solution/bpi2303-kostylev`. Предыдущее ревью: `42575281b352d35bda17ee7601bae5548a996e91` (далее **R**). Последняя полная динамическая квалификация: `0e921116610d289716af0a40ec823376eb8bbcbc` (далее **D**). Между D и R из runtime изменены только `infra/rabbitmq/definitions.json` и `src/messenger/attachments/infrastructure/images.py`; SQLAlchemy, Alembic, outbox, lease/fencing и публикация версий не изменились. Финальные проверки выполнены на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V), runtime которого побайтно совпадает с R. Текущий код после исправления памяти и повторного ревью — **`6096aa7948b8b666aa3892397a96d044a55f02c6` (M)**; реализация исправления — `1a8020524909ebc5e2e43303436c9d1ce3c1a87b`. От V из runtime изменён только `images.py`, настройки 448 MiB/30 с/concurrency=2 сохранены. Новая validation выполнена на **`74c33160ac01618f70e9e1c6a121a5e45c3c7155` (F, runtime = M)**: 984 passed / 2 Linux-only skipped, Linux-пробник с импортами worker, граничные HTTP и 8 PNG / 48 сравнений PASS. Результаты V не являются прогоном M; новые результаты F сохранены отдельно. Документационные коммиты отчёта и evidence не меняют runtime. Публикация — отдельная фаза, только в private MTUCI-Labs; этот этап ничего не публикует. Индекс происхождения всех доказательств — [evidence/README.md](evidence/README.md). Источники решения: skeleton и контракт курса, собственная ЛР4 с поздними исправлениями до `4ed889c1e4008e3f6040ae2534bef99262d3b8ce`, документация библиотек; при подготовке использован Codex. Перенос 253 файлов разобран в [forward-port.md](evidence/forward-port.md). Нормативные `contracts/`, `tests/`, `README.md`, `COURSE.md` не изменены. ## Воспроизведение из чистого clone -Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V использовала существующие volumes, а не чистый clone. Для воспроизведения выбран M. +Нужны доступ к приватному репозиторию, Git, Docker с Compose v2, make, системный Python 3.9+, uv и OpenSpec CLI для проверки спецификаций. Приложение использует Python 3.14. Команды ниже — инструкция, а не заявление о новом прогоне из clone: отчётные этапы Docker не запускали; validation V и F использовали существующие volumes, а не чистый clone. Для воспроизведения выбран M. Вместо `` подставляется URL репозитория ЛР5 в MTUCI-Labs, доступный после публикации. На общей машине запуск разрешён только в выделенной фазе и своём project; занятые порты не освобождают остановкой чужих контейнеров. @@ -49,7 +49,7 @@ make down `make student-test` поднимает одноразовые Docker-зависимости; его нельзя считать offline-проверкой. Suite сам использует `infra/compose.faults.yaml`, временно меняет параметры своих relay/worker и восстанавливает их. Level 4 включает все шесть сценариев уровня 3. Новые JSON сохраняются отдельно от квалификационных файлов. Стенд останавливают `make down` без удаления постоянных volumes; `reset-data`, `down -v`, `reset/clean` в процедуру не входят. -Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID= PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты адресной validation и оставшееся исправление приведены ниже; полный повтор пригодных серий не требуется. +Для защиты и оператора: `make worker-stop`, `make worker-start`, `make queues`, `make topology`, `make failed`, `make dlq`; `make replay ID=` возвращает failed в queued с audit, повтор для ready — noop. `make reprocess ID= PIPELINE_VERSION=2` создаёт новую версию при доступном исходнике. Результаты завершённой адресной validation приведены ниже; полный повтор пригодных серий не требуется. ## Архитектура и решения @@ -91,18 +91,18 @@ Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pyda | Критерий | Команда / сценарий | Наблюдение | Файл | | --- | --- | --- | --- | -| Контракт, синтаксис, типы | `make check validate lint` | PASS на M в повторном отчётном этапе; приложение этим не проверяется | [Аудит обновления](evidence/report-memory-audit-2026-11-07.md) | -| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | V: 980 passed, 1 Linux-only skip, 19 stack deselected; полный запуск с real-broker до M | [student-test.txt](evidence/final-validation-2026-11-07/student-test.txt) | +| Контракт, синтаксис, типы | `make check validate lint` | PASS на F; приложение этим не проверяется | [checks](evidence/final-memory-validation-2026-11-07/checks.txt) | +| Собственные интеграционные тесты | `make student-test PYTEST_ARGS='-q --tb=short'` | F: 984 passed, 2 Linux-only skips, 19 stack deselected; real-broker, Linux-эквивалент пропусков выполнен отдельно | [student-test.txt](evidence/final-memory-validation-2026-11-07/student-test.txt), [Linux](evidence/final-memory-validation-2026-11-07/linux.json) | | Предыдущее исправление tRNS | Offline-команда с `--confcutdir`, шесть unit-модулей; отдельно `--noconftest` для границ | R: сохранённые 430 + 20 passed; 114 прежних вариантов побайтно совпали; Docker не участвовал | [Команды и результаты](evidence/review-trns-depth-2026-11-06/RESULTS.md) | -| Исправление памяти M | `make student-test` с `--confcutdir` и восемью unit-модулями; отдельно `--noconftest` для границ | Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Полный student-test и Linux/HTTP на M не запускались | [Команды](evidence/review-png-memory-2026-11-07/RESULTS.md), [offline](evidence/review-png-memory-2026-11-07/offline-tests.txt), [границы](evidence/review-png-memory-2026-11-07/boundaries.txt) | -| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | M: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован | [Аудит обновления](evidence/report-memory-audit-2026-11-07.md) | -| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB | [final-smoke.txt](evidence/forward-final-2026-11-06/final-smoke.txt) | +| Исправление памяти M | `make student-test` с `--confcutdir` и восемью unit-модулями; отдельно `--noconftest` для границ | Сохранённые 440 passed / 2 Linux-only skipped + 20 passed; 22 изображения / 132 идентичных варианта. Это offline-результат исправления; новые Linux/HTTP на F приведены ниже | [Команды](evidence/review-png-memory-2026-11-07/RESULTS.md), [offline](evidence/review-png-memory-2026-11-07/offline-tests.txt), [границы](evidence/review-png-memory-2026-11-07/boundaries.txt) | +| OpenSpec | `openspec validate --all --strict`; `openspec list --json` | F: 22 спецификации PASS, активных changes нет; цикл исправления памяти архивирован | [OpenSpec](evidence/final-memory-validation-2026-11-07/openspec.txt) | +| 3: минимум lab1–4, 202 и thumbnail | `make test` | Публичный smoke PASS через LB на F | [smoke.txt](evidence/final-memory-validation-2026-11-07/smoke.txt) | | 3: сессия, исходник и данные после рестарта | `make test-persistence ACTION_SCRIPT=scripts/restart.sh` | PASS; рестарты своих хранилищ и процессов подтверждены событиями | [persistence.txt](evidence/forward-final-2026-11-06/persistence.txt), [контейнеры](evidence/forward-final-2026-11-06/persistence-containers.txt) | | 3: отказ реплики | `make test-failover ACTION_SCRIPT=scripts/stop-one.sh`; `make restore` | 131 успешная запись, 0 ошибок, первая после отказа через 2.791 с; api-2 остановлен и восстановлен | [failover.txt](evidence/forward-final-2026-11-06/failover.txt), [контейнеры](evidence/forward-final-2026-11-06/failover-containers.txt), [restore.txt](evidence/forward-final-2026-11-06/restore.txt) | | 3: отдельный broker/worker, quorum, confirm, manual ack, prefetch | `rabbitmqctl list_queues/list_consumers/list_permissions`; проверки падений suite | Топология и prefetch=2 зафиксированы до forward; COMMIT/ack повторно проверен на D. Старый delivery-limit не доказывает policy R | [queues.txt](evidence/sqlalchemy-2026-11-06/grade3/queues.txt), [consumers.txt](evidence/sqlalchemy-2026-11-06/grade3/consumers.txt), [permissions.txt](evidence/sqlalchemy-2026-11-06/grade3/permissions.txt), [level4.json](evidence/forward-final-2026-11-06/level4.json) | | 3: worker down, рестарт API/broker, затем ready | `pipeline_suite.py --level 4`, `worker_down_broker_restart` | 202 queued, content 409, сообщение 201; очередь [1,0] переживает рестарт; тот же ID становится ready | [level4.json](evidence/forward-final-2026-11-06/level4.json) | | 3: конечные состояния и повторы | `s3_outage_recovers`, `retry_exhausted`, `duplicate_after_ready` в suite | S3 восстановлен → done на попытке 2; failed на попытке 5; дубль ready → duplicate_noop | [level4.json](evidence/forward-final-2026-11-06/level4.json) | -| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли граничный ready-сценарий, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) | +| 4: варианты и Linux-лимиты | `image_matrix`, `worker_limits` в suite | 26 fixtures: 17 ready и 9 отклонённых; 40 Мп, 0.5 с / 200 MiB → контролируемый failed, worker жив; штатно ready, peak 423/1024 MiB. Новые tRNS на V не прошли границу; после исправления M адресная validation F проходит, см. ниже | [level4.json](evidence/forward-final-2026-11-06/level4.json) | | 4: outbox, crash COMMIT→publish | `crash_commit_publish` | Relay exit 137; outbox не опубликован; после восстановления ready без новой job | [level4.json](evidence/forward-final-2026-11-06/level4.json) | | 4: backoff, DLQ, replay | `retry_backoff_jitter`, `malformed_message_dead_lettered`, `replay_failed`, `failed_retention` | Задержки 0.722422/1.010937/2.240832/4.845013 с; DLQ +1; replay failed→ready, ready→noop, после retention→expired | [level4.json](evidence/forward-final-2026-11-06/level4.json) | | 4: S3→COMMIT→ack, lease/fencing, cleanup | `crash_after_s3_before_commit`, `crash_after_commit_before_ack`, `lease_expiry_fencing` | Exit 137 в заданных окнах; один набор вариантов; старая аренда fenced; staging ready очищен | [level4.json](evidence/forward-final-2026-11-06/level4.json) | @@ -161,7 +161,7 @@ Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pyda Предыдущие 39/174 на `9ba3076fa8ba707de932e053fc22f455d83b3210` — историческое сравнение сохранности инвариантов до позднего forward, не ускорения: [старые результаты](evidence/sqlalchemy-2026-11-06/track2/qualified/RESULTS.md). Прерванный старый run3 исключён и заменён только третьим повтором; 10 принятых до прерывания ID восстановились. Корневые `evidence/level3.json`, `level4.json` и старые логи относятся к коду до SQLAlchemy и не подтверждают R. -## Ограничения и незавершённые подтверждения +## Ограничения Семь minor последнего независимого ревью M сохранены без исправления; они не блокируют отчёт или передачу следующей фазе. Новый minor JobMessage передан координатором в результате `lab5-release-load0-round1`; в отчётном этапе его offline-пробы не повторялись: @@ -196,13 +196,13 @@ Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pyda **Исходный major на V:** объявленный [OpenSpec-сценарий PNG на пределе пикселей](openspec/specs/lab5-image-variants/spec.md) требует ready при штатных пределах. Новые 40 Мп tRNS fixtures размером 35 759–385 445 байт его не проходят. [Linux-пробник с импортами worker](evidence/final-validation-2026-11-07/resource-probe-worker.txt) воспроизводит MemoryError в `images.py`: grayscale 2/4 — белый RGB-фон, grayscale16 — `I → L`, RGB16 — маски/повторное декодирование. Без tRNS gray2/gray4/RGB16 проходят; gray16 превышает память и без tRNS. Это провал конкретного граничного сценария; потери данных или падение сервиса не обнаружены. -Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый [findings.json](evidence/final-validation-2026-11-07/findings.json) сохраняет исходный major и шесть minor как историю; он не перезаписывается. Закрытие major на динамическом уровне ожидает перечисленных ниже повторов на M. +Этот вывод относится к V. Причина исправлена отдельным агентом в M через OpenSpec, выполнено независимое re-review. Старый [findings.json](evidence/final-validation-2026-11-07/findings.json) сохраняет исходный major и шесть minor как историю; он не перезаписывается. Динамическое закрытие major подтверждено новым прогоном F ниже; исходные FAIL V сохранены. Первый outage-прогон невалиден: `docker compose start worker` автоматически запустил БД; повторён только этот сценарий с точным container ID. Первая передача пробника через docker cp отклонена read-only rootfs, затем использован stdin/tmpfs. Эти ошибки обвязки и ранний cleanup FAIL сохранены отдельно и не объявлены успехом. Все команды, условия, ограничения и остановка — [RESULTS](evidence/final-validation-2026-11-07/RESULTS.md). -Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. На M проверены только offline-пути и статика; публикация ожидает адресную validation. Push и Telegram не выполнялись. +Запуск из чистого clone и отдельная throughput-матрица на V не выполнялись. Полный student-test, HTTP и реальный брокер выполнены именно на V. Runtime M дополнительно проверен динамически на F ниже; публикация остаётся отдельной фазой. Push и Telegram не выполнялись. -## Исправление M и оставшаяся адресная validation +## Исправление M и завершённая адресная validation F [Результаты исправления](evidence/review-png-memory-2026-11-07/RESULTS.md) сохраняют четыре ожидаемых FAIL регрессии на исходном renderer и PASS после изменения. Счётчик одновременно живущих pixel buffers на 1025×769 дал: @@ -215,16 +215,20 @@ Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pyda Это модель pixel buffers, не RSS, виртуальная память процесса или проверка 40 Мп под Linux. До — [regression-before.txt](evidence/review-png-memory-2026-11-07/regression-before.txt), после — [offline-tests.txt](evidence/review-png-memory-2026-11-07/offline-tests.txt). Сохранённые 440 + 20 passed и 132 идентичных варианта подтверждают offline-часть. Независимое ревью M по данным координатора повторило 460 проверок с двумя Linux-only skips и не обнаружило major в доступной области. Его семь minor перечислены выше. -Назначенному финальному агенту остаётся выполнить на M, сохраняя новые результаты отдельно от V: +Адресная validation F выполнена после независимого review M. Runtime совпадает с M; от V изменён только renderer, поэтому PostgreSQL outage, delivery subset и три полных track2-повтора приняты без повторения. Аудит применимости — [load-validation](evidence/load-validation.md), команды и методика — [RESULTS](evidence/final-memory-validation-2026-11-07/RESULTS.md). -1. Linux-пробу с **импортами worker**, RLIMIT_AS=448 MiB и 30 с: четыре прежних 40 Мп tRNS fixtures в v1/v2, grayscale16 без tRNS и обычное задание после них. Команда — `PYTHONPATH=src:student-tests .venv/bin/python -m pytest --confcutdir=student-tests/unit student-tests/unit/test_png_memory.py::test_boundary_pngs_fit_worker_address_space -q -s`; эквивалентный контейнерный пробник допустим по процедуре исправления. -2. HTTP через LB: прежние `gray2/gray4/gray16/rgb16-40mp.png` должны пройти `202 → ready` при штатных лимитах, с неизменным оригиналом, точным tRNS, тремя вариантами и публикацией v2. Проверить одновременные рендеры при concurrency=2, память контейнера, отсутствие дубля эффекта и отката ready. -3. Повторить прежний PNG HTTP subset: восемь fixtures / 48 сравнений с независимым белым эталоном, Adam7/filter=4/EXIF=6, точный непрозрачный сосед. PASS V не выдавать за проверку изменённого renderer M. -4. Принудительные timeout и memory limit, затем обычное задание после каждого отказа. После штатного sweep проверить staging, outbox и дубли для новых ID; ранний no_orphans до sweep не повторять как методику. +| Критерий / команда | Результат F | Доказательство | +| --- | --- | --- | +| `linux-runner.py`: импорты worker, RLIMIT_AS=448 MiB, 30 с | Четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2, обычный render после каждого — PASS; два параллельных RGB16 render — PASS | [команда](evidence/final-memory-validation-2026-11-07/linux.txt), [JSON](evidence/final-memory-validation-2026-11-07/linux.json) | +| `targeted.py png-boundary`: LB/API/relay/broker/worker | 8 сценариев / 8 инвариантов PASS; 202 → ready, original/bytes/hash/геометрия/tRNS, v2, stale/duplicate noop; 11 ID / 59 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-boundary.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json) | +| Два одновременных HTTP jobs, v1/v2 | Перекрытие claimed→done; peak worker 885 428 224 байт (844.41 MiB) / 1 GiB; OOM=0 | [concurrent-rgb16](evidence/final-memory-validation-2026-11-07/png-boundary.json) | +| Принудительные 0.01 с / 200 MiB и следующие обычные задания | Два ожидаемых failed/processing_failed, worker жив; после каждого обычная загрузка ready; штатные 448 MiB/30 с/concurrency=2 восстановлены | [JSON](evidence/final-memory-validation-2026-11-07/png-boundary.json), [условия после](evidence/final-memory-validation-2026-11-07/conditions-after.json) | +| `targeted.py png-http`: точный tRNS, Adam7/filter=4/EXIF=6 | 8 fixtures / 48 сравнений v1/v2 с независимым эталоном, 8 инвариантов PASS; 8 ID / 56 объектов | [команда](evidence/final-memory-validation-2026-11-07/png-http.txt), [JSON](evidence/final-memory-validation-2026-11-07/png-http.json) | +| Sweep и SQL/S3 inventory обеих серий | Нет pending outbox/staging/дублей для новых ID; 19 ID / 115 объектов согласованы. Историческая DLQ=16 не выросла | Инварианты в двух JSON выше | -Полная инструкция — [обязательные проверки](evidence/review-png-memory-2026-11-07/RESULTS.md). Новые данные записываются в новый каталог: старый `targeted.py` защищён от перезаписи. От V изменён только renderer; поэтому прежние пригодные PostgreSQL outage, delivery subset и три полных track2-повтора автоматически не повторяются. Побайтная совместимость sample дополнительно подтверждена в [unchanged-rendering.json](evidence/review-png-memory-2026-11-07/unchanged-rendering.json). Если адресная проверка найдёт новую регрессию, область повторов уточняется по фактическому дефекту. +Все 30 SHA пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Peak RSS Linux-процесса — 342 956–406 312 KiB; это не cgroup memory и не виртуальный адресный предел. Диагностический параллельный пробник с дополнительным управляющим процессом дал cgroup peak 1 026 285 568 байт; он отделён от штатных HTTP jobs. Все memory.events=0. Исходные четыре FAIL V закрыты новым динамическим PASS F при неизменных лимитах. -На текущем отчётном этапе выполнены только лёгкие проверки и аудит сохранённого сырья — [report-memory-audit](evidence/report-memory-audit-2026-11-07.md). Docker, pytest, тяжёлые тесты и нагрузка не запускались. Полное подтверждение уровней 3/4 и «5» ожидает результатов этих проверок; прежние FAIL не объявлены PASS. +Условия F: тот же project и сохранённые volumes, Docker VM 16 CPU / 8 217 190 400 байт, worker 2 CPU / 1 GiB. В снимках нет чужих контейнеров; специальный фон не запускался, непрерывного контроля хоста нет. Throughput/SLO не заявляются. [Начальные условия](evidence/final-memory-validation-2026-11-07/conditions.json), [итоговые](evidence/final-memory-validation-2026-11-07/conditions-after.json). Стенд F остановлен через `make down` без `-v`: [команда](evidence/final-memory-validation-2026-11-07/down.txt), [пустой project](evidence/final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](evidence/final-memory-validation-2026-11-07/retained-volumes.txt). Push и Telegram не выполнялись. ## Вопросы защиты @@ -233,6 +237,6 @@ Python 3.14, FastAPI, gunicorn/uvicorn-worker, dishka и dishka-faststream, pyda - **Почему дубль безопасен?** Job/версия идентифицируются в БД, lease сериализует работу, fencing отвергает старого держателя, уникальный ключ эффекта защищает варианты. - **Как отличить долгую работу от смерти?** Живая работа продлевает lease; истёкшую восстанавливает relay. Поздняя фиксация не проходит lease_token. - **Почему v1 не затирает v2?** Versioned ключи и условие монотонного published_version; ready v1 остаётся доступной до успешной публикации v2. -- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M проверено offline, но его Linux/HTTP-подтверждение отсутствует, поэтому готовность к публикации не заявляется. +- **Что ещё не доказано?** Потеря confirm, все сбои диска/сети, производительность под изолированной нагрузкой. Граничные 40 Мп tRNS не прошли на V; исправление M подтверждено Linux/HTTP на F. Validation завершена; публикация требует отдельной фазы. Документация сверена через Context7: [SQLAlchemy 2.0.45 async](https://github.com/sqlalchemy/sqlalchemy/blob/rel_2_0_45/doc/build/orm/extensions/asyncio.rst), [Alembic 1.16.5 async migrations](https://github.com/sqlalchemy/alembic/blob/rel_1_16_5/docs/build/cookbook.rst), [FastStream 0.7.2 manual ack](https://github.com/ag2ai/faststream/blob/0.7.2/docs/docs/en/getting-started/acknowledgement.md). API 0.7.2 сопоставлен с используемым FastStream 0.7.8; прикладной порядок COMMIT/ack проверяется кодом и evidence, а не одной документацией. diff --git a/evidence/README.md b/evidence/README.md index ec28289f..e4de126c 100644 --- a/evidence/README.md +++ b/evidence/README.md @@ -2,13 +2,14 @@ Актуальный [REPORT.md](../REPORT.md) обновлён после независимого ревью **6096aa7948b8b666aa3892397a96d044a55f02c6 (M)**. Предыдущее review — **42575281b352d35bda17ee7601bae5548a996e91 (R)**; полные динамические серии — **0e921116610d289716af0a40ec823376eb8bbcbc (D)**. Validation на `b30e2f6a84419d1ca64525ffb40df92183cccaef` (V, runtime = R) подтвердила PostgreSQL outage, delivery subset и HTTP tRNS, но выявила четыре FAIL на 40 Мп PNG при штатной памяти. -В M изменён только renderer: плитки 256×256 и явное освобождение pixel core. 440 offline + 20 границ PASS, 2 Linux-only skips; 132 варианта совпали с V. Re-review не нашло major в статике/offline; **окончательное закрытие прежнего major требует Linux/HTTP evidence M**. Исходные FAIL V сохраняются и не становятся PASS. Аудит применимости V — [load-validation.md](load-validation.md), инструкция оставшихся проверок — [RESULTS исправления памяти](review-png-memory-2026-11-07/RESULTS.md). +В M изменён только renderer: плитки 256×256 и явное освобождение pixel core. 440 offline + 20 границ PASS, 2 Linux-only skips; 132 варианта совпали с V. Re-review не нашло major в статике/offline; **прежний major закрыт Linux/HTTP validation F** (`74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime = M): пять граничных PNG, concurrency=2, принудительные лимиты и HTTP 8/48 PASS. 984 student tests passed / 2 Linux-only skips; Linux-эквивалент выполнен отдельно. Исходные FAIL V сохраняются и не становятся PASS. Аудит применимости V — [load-validation.md](load-validation.md), исходная инструкция адресных проверок — [RESULTS исправления памяти](review-png-memory-2026-11-07/RESULTS.md). ## Как читать каталог | Файлы / каталог | Код и роль доказательства | Применимость | | --- | --- | --- | -| [Исправление памяти](review-png-memory-2026-11-07/RESULTS.md) | M; реализация `1a8020524909ebc5e2e43303436c9d1ce3c1a87b` | 440 + 20 passed / 2 skips, счётчик pixel buffers, 132 идентичных варианта; 28 хешей. Linux/HTTP отсутствуют | +| [Адресная validation M](final-memory-validation-2026-11-07/RESULTS.md) | F, runtime = M | Linux 448 MiB/30 с, пять 40 Мп PNG × v1/v2; HTTP boundary 8 сценариев / 8 инвариантов и малая матрица 8/48 / 8 инвариантов; 19 ID / 115 объектов; major закрыт, семь minor сохранены | +| [Исправление памяти](review-png-memory-2026-11-07/RESULTS.md) | M; реализация `1a8020524909ebc5e2e43303436c9d1ce3c1a87b` | 440 + 20 passed / 2 skips, счётчик pixel buffers, 132 идентичных варианта; 28 хешей. Linux/HTTP выполняет следующий каталог validation F | | [Аудит обновления отчёта](report-memory-audit-2026-11-07.md) | M + только документация | Лёгкие проверки, аудит новых хешей/чисел/ссылок; семь minor последнего review, без новых динамических прогонов | | [Финальная validation](final-validation-2026-11-07/RESULTS.md), [аудит нагрузки](load-validation.md) | V, runtime = R | 980 tests, HTTP PNG и real DB outage; 12 адресных сценариев PASS; четыре 40 Мп PNG FAIL, один major; полный track2 не повторён | | [Первый аудит отчёта](report-audit-2026-11-07.md) | R + изменения документации, до validation V и исправления M | Реальные лёгкие проверки того этапа, ссылки, хеши, арифметика; без Docker и новых динамических тестов | @@ -22,7 +23,7 @@ | [sqlalchemy-2026-11-06/track2/qualified/RESULTS.md](sqlalchemy-2026-11-06/track2/qualified/RESULTS.md) | `9ba3076fa8ba707de932e053fc22f455d83b3210` | Старая квалификация 39/174 до позднего forward: run1, run2, run3-retry. Прерванный run3 исключён, повторена только эта серия | | Все корневые `*.txt` и `*.json` в `evidence/` | Историческая реализация до SQLAlchemy/Alembic, даты/старые SHA — внутри файлов и истории Git | **Не подтверждают R, D или M.** Не использовать старые порты, asyncpg-мигратор, результаты и формулировки как текущие | -Последняя строка включает `contract-checks.txt`, `environment.txt`, `failover-upload.json`, `failover.txt`, `level3.json`, `level4.json`, `limits.txt`, `operator.txt`, `persistence.txt`, `pipeline-stand.txt`, `s3-outage.json`, `s3-security.txt`, `smoke.txt`, `stack.txt`, `student-tests.txt`, `topology.txt`, `upload-faults.txt`. Эти файлы оставлены для истории, без изменения сырья. Старые Markdown-итоги также читаются в пределах указанного выше SHA; их прежние заявления о полноте не распространяются на M. В частности, требования «нужен fix/review» в load-validation.md и RESULTS V описывают историческую остановку: fix и re-review M уже выполнены, Linux/HTTP-подтверждение ещё ожидается. +Последняя строка включает `contract-checks.txt`, `environment.txt`, `failover-upload.json`, `failover.txt`, `level3.json`, `level4.json`, `limits.txt`, `operator.txt`, `persistence.txt`, `pipeline-stand.txt`, `s3-outage.json`, `s3-security.txt`, `smoke.txt`, `stack.txt`, `student-tests.txt`, `topology.txt`, `upload-faults.txt`. Эти файлы оставлены для истории, без изменения сырья. Старые Markdown-итоги также читаются в пределах указанного выше SHA; их прежние заявления о полноте не распространяются на M. В частности, требования «нужен fix/review» в load-validation.md и RESULTS V описывают историческую остановку: fix и re-review M уже выполнены, Linux/HTTP-подтверждение завершено на F; старые документы не переписаны. ## Основные первичные данные D @@ -31,17 +32,17 @@ - [final-smoke.txt](forward-final-2026-11-06/final-smoke.txt), [persistence.txt](forward-final-2026-11-06/persistence.txt), [failover.txt](forward-final-2026-11-06/failover.txt): публичные проверки. [persistence-containers.txt](forward-final-2026-11-06/persistence-containers.txt), [failover-containers.txt](forward-final-2026-11-06/failover-containers.txt), [restore.txt](forward-final-2026-11-06/restore.txt): фактические операции со своим стендом. - [student-test.txt](forward-final-2026-11-06/student-test.txt): 819 passed / 1 skipped до последних двух исправлений. Предыдущие offline-результаты R: [offline-tests.txt](review-trns-depth-2026-11-06/offline-tests.txt), [boundaries.txt](review-trns-depth-2026-11-06/boundaries.txt). Текущие M: [offline-tests.txt](review-png-memory-2026-11-07/offline-tests.txt), [boundaries.txt](review-png-memory-2026-11-07/boundaries.txt). - [conditions-before.json](forward-final-2026-11-06/conditions-before.json), [conditions-track-start.json](forward-final-2026-11-06/conditions-track-start.json), остальные `conditions-*.json`: моментальные срезы общего Docker, не непрерывный контроль фоновой нагрузки. -- [down.txt](forward-final-2026-11-06/down.txt), [stopped-containers.txt](forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](forward-final-2026-11-06/retained-volumes.txt): остановка стенда D. Более поздняя остановка V — [down.txt](final-validation-2026-11-07/down.txt), [stopped-containers.txt](final-validation-2026-11-07/stopped-containers.txt), [retained-volumes.txt](final-validation-2026-11-07/retained-volumes.txt): четыре volume сохранены. Исправление M и отчёт это состояние через Docker не перепроверяли. +- [down.txt](forward-final-2026-11-06/down.txt), [stopped-containers.txt](forward-final-2026-11-06/stopped-containers.txt), [retained-volumes.txt](forward-final-2026-11-06/retained-volumes.txt): остановка стенда D. Более поздняя остановка V — [down.txt](final-validation-2026-11-07/down.txt), [stopped-containers.txt](final-validation-2026-11-07/stopped-containers.txt), [retained-volumes.txt](final-validation-2026-11-07/retained-volumes.txt): четыре volume сохранены. Исправление M и отчёт Docker не запускали. Последняя остановка F — [down.txt](final-memory-validation-2026-11-07/down.txt), [пустой project](final-memory-validation-2026-11-07/stopped-containers.txt), [четыре volumes](final-memory-validation-2026-11-07/retained-volumes.txt). ## Не считать успехом или измерением производительности - `crash_publish_confirm` и raw `window: after publish, before confirm` — историческое имя/описание; реальная точка находится **после Basic.Ack и до COMMIT outbox**. Потерю confirm данный сценарий не проверял. - [grade3/limits.txt](sqlalchemy-2026-11-06/grade3/limits.txt) имеет **exit_code=1**, два ложных FAIL из-за порядка secrets. Это не PASS. - [clock-observation.json](forward-final-2026-11-06/clock-observation.json): UTC/elapsed run2 = 1161.195/186.458 с, run3 = 571.513/180.259 с. Причина неизвестна; длительности исключены из RPS/SLO/сравнения разброса. Функциональные результаты пригодны. -- `no_orphans` в итоговой серии проверяет выборку ID; 15 исторических/ожидаемых сообщений DLQ сохранены. Это не глобально пустые S3/DLQ. +- `no_orphans` проверяет выборку ID; на D сохранены 15 исторических/ожидаемых сообщений DLQ, после malformed-сценария V их 16; в F это число не выросло. Это не глобально пустые S3/DLQ. - `forward-final-2026-11-06/baseline.txt` — 0 тестов; `baseline-regressions.txt` — ожидаемые 29 FAIL до исправления. `review-fixes-2026-11-06/regressions-fixture-error.txt` — неуспешная промежуточная fixture; `review-trns-depth-2026-11-06/regressions-before.txt` — воспроизведённый дефект. Их сохраняют как диагностику, не суммируют с PASS. - Исторический [findings.json](review-trns-depth-2026-11-06/findings.json) содержит пять minor: окно confirm, limits, legacy reconcile, отдельный replay failed v2 и часы. Дополнительная документационная неточность `201` в `openspec/config.yaml` отражена в REPORT; конфиг этой фазе менять запрещено. Седьмой minor из review M — JobMessage принимает четыре значения вне JSON Schema; источник и ограничения — [аудит отчёта](report-memory-audit-2026-11-07.md). Исторические findings.json с пятью/шестью minor не перезаписываются. -Нагрузочных RPS/p95 для M здесь не заявлено. Финальный агент выполнил только отсутствующие/затронутые проверки и сохранил пригодные серии. После re-review M повторяются только затронутые PNG/ресурсные проверки: четыре 40 Мп tRNS и grayscale16 без tRNS с импортами worker, HTTP subset 8/48, concurrency=2, v1/v2, принудительные лимиты и cleanup после sweep. Точная актуальная процедура — [исправление памяти](review-png-memory-2026-11-07/RESULTS.md). PostgreSQL outage, delivery subset и полный track2 повторно не нужны без нового основания. +Нагрузочных RPS/p95 для M здесь не заявлено. Финальный агент выполнил только отсутствующие/затронутые проверки и сохранил пригодные серии. После re-review M повторены только затронутые PNG/ресурсные проверки: четыре 40 Мп tRNS и grayscale16 без tRNS с импортами worker, HTTP subset 8/48, concurrency=2, v1/v2, принудительные лимиты и cleanup после sweep. Выполненная процедура и результаты — [validation F](final-memory-validation-2026-11-07/RESULTS.md). PostgreSQL outage, delivery subset и полный track2 повторно не нужны без нового основания. -Сохранять только обезличенные команды, exit codes, SHA, условия и агрегаты. Секреты, `.env`, credentials, session tokens/cookies, реальные сообщения, дампы и signed URLs в evidence не входят. Существующие сырые измерения в отчётной фазе неизменны. +Сохранять только обезличенные команды, exit codes, SHA, условия и агрегаты. Секреты, `.env`, credentials, session tokens/cookies, реальные сообщения, дампы и signed URLs в evidence не входят. Существующие сырые измерения неизменны; новые свидетельства записаны отдельно. Validation завершена, публикация не выполнялась и требует отдельной фазы. diff --git a/evidence/final-memory-validation-2026-11-07/RESULTS.md b/evidence/final-memory-validation-2026-11-07/RESULTS.md new file mode 100644 index 00000000..572631e9 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/RESULTS.md @@ -0,0 +1,55 @@ +# Адресная validation исправления памяти PNG + +**PASS. Прежний major закрыт динамически.** Измерен HEAD `74c33160ac01618f70e9e1c6a121a5e45c3c7155`, runtime побайтно равен прошедшему review `6096aa7948b8b666aa3892397a96d044a55f02c6` (M). Реализация, конфигурация и нормативные файлы в этой фазе не менялись. Публикация не выполнялась и требует отдельной фазы. + +Исходные четыре HTTP FAIL и Linux MemoryError на V сохранены в [предыдущей validation](../final-validation-2026-11-07/RESULTS.md). Они не переименованы в PASS: здесь новый образ и новые результаты после отдельного fix/re-review. От V изменён только renderer, поэтому три пригодных повтора track2 на D, PostgreSQL outage и delivery subset на V приняты без повторения. Решения по каждой серии — [load-validation.md](../load-validation.md); SHA, diff, 53 прежних и 28 fix-хешей — [audit.json](audit.json). + +## Условия и методика + +2026-11-07 по локальной дате; UTC команд — 2026-11-06. Darwin arm64, Docker 28.3.2, Linux aarch64, VM 16 CPU / 8 217 190 400 байт. Project `mtusi2026lab5`, API 18085, stats/UI 25085/25086, все published ports на loopback. Использованы сохранённые volumes, не чистый clone. Worker: 2 CPU / 1 GiB; renderer RLIMIT_AS=448 MiB, 30 с, concurrency=2. Значения не повышались. Образ и закреплённые версии — [build.txt](build.txt), [runtime.txt](runtime.txt), [conditions.json](conditions.json). + +Снимки до/после и внутри серий не показывают чужих работающих контейнеров. Специальная фоновая нагрузка не запускалась. Load average хоста: 1.67/2.11/2.34 перед этапом, 2.62/2.65/2.53 перед проверками, 6.41/4.18/3.19 после. Непрерывного контроля хоста нет; throughput, RPS, p95 и новые SLO не заявляются. Длительности — диагностические монотонные интервалы конкретных команд/рендеров, не benchmark. [Условия после](conditions-after.json) подтверждают восстановленные 448 MiB/30 с/concurrency=2 и отсутствие OOM. + +Linux-пробник запускает новые процессы с **импортами messenger.worker**, настоящим RLIMIT_AS и alarm=30 с на каждый рендер. Пять файлов проходят v1/v2, затем обычное изображение в том же процессе. Два дополнительных процесса одновременно рендерят RGB16; пересечение измерено монотонными отметками внутри render. Пробник использует те же четыре сохранённые PNG 8000×5000; пятый получается удалением только tRNS из grayscale16. Входные SHA сохранены. Реальный HTTP использует LB/API/relay/broker/worker и ту же конфигурацию. При concurrency=2 журнал БД подтверждает перекрытие claimed→done в обеих версиях. + +После диагностических процессов worker пересоздан без изменения образа/лимитов для отдельного cgroup peak HTTP — [reset-worker-peak.txt](reset-worker-peak.txt). Это не повтор нагрузки. Ожидаемые отказы создаются только на двух новых заданиях: 0.01 с и 200 MiB. После каждого лимиты восстановлены и обычная загрузка достигает ready. Перед SQL/S3-инвариантами дождались штатного sweep. Старые данные и DLQ не удалялись. + +## Команды и результаты + +Команды выполнялись из корня репозитория. `source evidence/final-memory-validation-2026-11-07/env.sh` задаёт несекретные Compose-параметры. Обёртка `python3 scripts/capture_evidence.py <новый-файл> -- <команда>` сохраняет SHA, команду, exit code и elapsed; существующие результаты не перезаписывает. + +| Команда / проверка | Результат | Первичные данные | +| --- | --- | --- | +| `make check validate lint` | PASS | [checks.txt](checks.txt) | +| `openspec validate --all --strict`; `openspec list --json` | 22 PASS, changes=[] | [openspec.txt](openspec.txt), [active-changes.txt](active-changes.txt) | +| `make student-test PYTEST_ARGS='-q --tb=short'` | 984 passed, 2 Linux-only skipped, 19 stack deselected; 171.26 с pytest. Пропуски не названы PASS; Linux-эквивалент выполнен отдельно | [student-test.txt](student-test.txt) | +| `docker compose build`; `docker compose up -d --wait`; `make test` | Сборка, миграции/готовность и публичный smoke PASS | [build.txt](build.txt), [up.txt](up.txt), [smoke.txt](smoke.txt) | +| `.venv/bin/python evidence/final-memory-validation-2026-11-07/linux-runner.py` | Пять 40 Мп PNG × v1/v2 и обычный render после каждого PASS; два параллельных RGB16 × v1/v2 PASS | [linux.txt](linux.txt), [linux.json](linux.json), [child](linux-child.py), [runner](linux-runner.py) | +| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-boundary` | 8 сценариев и 8 инвариантов PASS; 11 ID, 9 ready, 2 ожидаемых failed, 59 S3-объектов | [команда](png-boundary.txt), [JSON](png-boundary.json), [обвязка](targeted.py) | +| `PYTHONPATH=src .venv/bin/python evidence/final-memory-validation-2026-11-07/targeted.py png-http` | 8 fixtures, 48 сравнений вариантов v1/v2 с независимым белым эталоном; 8 инвариантов PASS, 8 ID / 56 объектов | [команда](png-http.txt), [JSON](png-http.json) | + +Граничные HTTP-проверки: четыре прежних tRNS и grayscale16 без tRNS достигают ready в v1/v2; исходник неизменен; SHA, длина, MIME и размеры вариантов согласованы с байтами. Белая область белая, соседний RGB16 с отличием младшего бита остаётся непрозрачным. Все 30 хешей пяти файлов × двух версий × трёх вариантов совпали между Linux и HTTP. Поздняя v1 и дубль v2 не изменили опубликованный снимок; по шесть строк вариантов на ID. Два одновременных HTTP-вложения также проходят обе версии. Малая матрица включает grayscale 1/2/4/8/16, RGB8/16 и RGB16 Adam7/filter=4/EXIF=6. + +| Linux-файл | Peak RSS процесса, KiB | HTTP: обе версии | +| --- | ---: | --- | +| grayscale2 tRNS | 343 076 | ready | +| grayscale4 tRNS | 342 956 | ready | +| grayscale16 tRNS | 365 508 | ready | +| grayscale16 без tRNS | 365 492 | ready | +| RGB16 tRNS | 406 312 | ready | + +При двух **реальных HTTP jobs** cgroup peak worker = **885 428 224 байт (844.41 MiB) / 1 GiB**, все memory.events=0. Диагностический Linux-запуск, включающий idle worker, управляющий процесс и два дополнительных дочерних процесса, дал другой peak: 1 026 285 568 байт / 1 GiB, также без OOM. Это разные условия; диагностический peak не выдаётся за память штатных HTTP jobs. RSS не равен RLIMIT_AS или cgroup memory. + +Инварианты обеих HTTP-серий проверяют terminal, single_effect, no_ready_rollback, monotonic_publication, bytes_match_metadata, bounded_attempts, no_orphans и no_lost_202. После sweep нет staging/pending outbox/дублирующих эффектов для новых ID; S3 inventory согласован с БД. DLQ осталась 16: это сохранённые исторические/ожидаемые записи, не новые ошибки этой серии. Проверка scoped, не глобальная очистка. + +## Завершение и ограничения + +Свои контейнеры остановлены через `make down` без `-v`: [до остановки](final-containers.txt), [down](down.txt), [пустой project](stopped-containers.txt), [четыре volumes](retained-volumes.txt), [пустой общий running list](running-containers-after.txt). [Ретроспективный срез Docker events](container-events.json) ограничен последними 256 событиями daemon и подтверждает финальную остановку; он не используется как полная история промежуточных worker-stop. + +Семь minor независимого review сохранены в [findings.json](findings.json) и ограничениях [REPORT](../../REPORT.md). Новых major не обнаружено. Потеря publisher confirm, все возможные отказы диска/сети и изолированная throughput-матрица не доказаны; выбран трек 2. Исходный major памяти закрывается только для проверенных сценариев и закреплённой версии Pillow. + +Context7 вызван для Pillow, но вернул исчерпание месячной квоты. Использован официальный [Pillow: Image lifecycle](https://pillow.readthedocs.io/en/stable/reference/open_files.html): `Image.close()` уничтожает image core, контекстный менеджер сам core не уничтожает. Эта справка не заменяет выполненные Linux-проверки. + +Перед коммитом проверены разрешённый scope, отсутствие секретов в tracked файлах, локальные ссылки и сохранность runtime/нормативных файлов; результаты — [final-audit.json](final-audit.json), [secret-scan.json](secret-scan.json), [final-checks.txt](final-checks.txt). Контрольные суммы новых артефактов — [sha256.json](sha256.json). Push и Telegram не выполнялись. + +Полный `git diff --cached --check` обнаружил 17 trailing-whitespace строк в сыром выводе smoke и двух HTTP-команд. Вывод сохранён без редактирования; отдельная проверка документов/обвязки проходит. Это формат console output, не результат сценария приложения. diff --git a/evidence/final-memory-validation-2026-11-07/active-changes.txt b/evidence/final-memory-validation-2026-11-07/active-changes.txt new file mode 100644 index 00000000..ca9a1016 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/active-changes.txt @@ -0,0 +1,11 @@ +date: 2026-11-06T22:54:44Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {} +$ openspec list --json +{ + "changes": [], + "root": { + "path": "", + "source": "nearest" + } +} +exit_code: 0 elapsed_seconds: 0.974 diff --git a/evidence/final-memory-validation-2026-11-07/audit-files.py b/evidence/final-memory-validation-2026-11-07/audit-files.py new file mode 100644 index 00000000..954d9b7a --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/audit-files.py @@ -0,0 +1,153 @@ +import ast +import hashlib +import json +import re +import subprocess +from pathlib import Path + +ROOT = Path.cwd() +FOLDER = Path(__file__).resolve().parent.relative_to(ROOT) +MEASURED = "74c33160ac01618f70e9e1c6a121a5e45c3c7155" +REVIEWED = "6096aa7948b8b666aa3892397a96d044a55f02c6" + + +def git(*args): + return subprocess.check_output(["git", *args], text=True).strip() + + +assert git("rev-parse", "HEAD") == MEASURED +assert git("branch", "--show-current") == "solution/bpi2303-kostylev" +paths = git("diff", "--name-only", MEASURED).splitlines() +assert all(p in {"REPORT.md", "AGENTS.md"} or p.startswith("evidence/") for p in paths) +runtime_diff = git( + "diff", + "--name-only", + REVIEWED, + "--", + "src", + "infra", + "compose.yaml", + "Dockerfile", + "pyproject.toml", + "uv.lock", + "alembic", + "scripts", + "student-tests", + "openspec", +) +assert not runtime_diff +assert not git( + "diff", "--name-only", "upstream/main", "--", "contracts", "tests", "README.md", "COURSE.md" +) +subprocess.run(["git", "diff", "--check"], check=True) +whitespace = subprocess.run(["git", "diff", "--cached", "--check"], capture_output=True, text=True) +raw_whitespace = re.findall(r"^([^\n:]+):\d+: trailing whitespace\.$", whitespace.stdout, re.M) +assert whitespace.returncode in (0, 2) +assert set(raw_whitespace) <= { + str(FOLDER / "png-boundary.txt"), + str(FOLDER / "png-http.txt"), + str(FOLDER / "smoke.txt"), +} +subprocess.run( + ["git", "diff", "--cached", "--check", "--", ".", f":(exclude){FOLDER}/*.txt"], + check=True, +) +tracked = set(git("ls-files").splitlines()) +docs = [ + Path("REPORT.md"), + Path("AGENTS.md"), + Path("evidence/README.md"), + Path("evidence/load-validation.md"), + FOLDER / "RESULTS.md", +] +links = 0 +for doc in docs: + content = doc.read_text() + assert len(re.findall(r"^```", content, re.M)) % 2 == 0, doc + for target in re.findall(r"\]\(([^)]+)\)", content): + if re.match(r"(?:https?://|#)", target): + continue + destination = (doc.parent / target.split("#")[0]).resolve() + assert destination.exists(), (doc, target) + relative = str(destination.relative_to(ROOT)) + assert relative in tracked or any(p.startswith(relative + "/") for p in tracked), relative + links += 1 +json_files = 0 +for name in tracked: + if name.endswith(".json"): + json.loads(Path(name).read_text()) + json_files += 1 +for path in FOLDER.glob("*.py"): + ast.parse(path.read_text(), filename=str(path)) +hashes = 0 +for manifest, key in [ + ("evidence/final-validation-2026-11-07/sha256.json", None), + ("evidence/review-png-memory-2026-11-07/checks.json", "sha256"), +]: + entries = json.loads(Path(manifest).read_text()) + if key: + entries = entries[key] + for name, expected in entries.items(): + assert hashlib.sha256(Path(name).read_bytes()).hexdigest() == expected, name + hashes += 1 +accepted = [] +for name in [ + "evidence/forward-final-2026-11-06/level4.json", + *[f"evidence/forward-final-2026-11-06/track-run{n}.json" for n in (1, 2, 3)], + "evidence/final-validation-2026-11-07/postgres-outage-retry.json", + "evidence/final-validation-2026-11-07/delivery-targeted.json", +]: + data = json.loads(Path(name).read_text()) + scenarios = data.get("scenarios", data.get("cases")) + assert data["result"] == "PASS" + assert all(x["result"] == "PASS" for x in scenarios + data["invariants"]) + accepted.append( + { + "file": name, + "source_sha": data["source_sha"], + "scenarios": len(scenarios), + "invariants": len(data["invariants"]), + } + ) +own_containers = subprocess.check_output( + ["docker", "ps", "-aq", "--filter", "label=com.docker.compose.project=mtusi2026lab5"], text=True +).strip() +assert not own_containers +volumes = subprocess.check_output( + [ + "docker", + "volume", + "ls", + "--filter", + "label=com.docker.compose.project=mtusi2026lab5", + "--format", + "{{.Name}}", + ], + text=True, +).splitlines() +assert len(volumes) == 4 +report = { + "measured_sha": MEASURED, + "reviewed_runtime": REVIEWED, + "runtime_equal": True, + "normative_equal_to_upstream_main": True, + "changed_paths": paths, + "local_links_verified": links, + "tracked_json_parsed": json_files, + "previous_and_fix_hashes_verified": hashes, + "raw_diff_check_exit": whitespace.returncode, + "preserved_raw_trailing_whitespace_lines": len(raw_whitespace), + "docs_and_helpers_diff_check": "PASS", + "accepted_without_rerun": accepted, + "own_containers": [], + "retained_volumes": volumes, + "result": "PASS", +} +(FOLDER / "final-audit.json").write_text(json.dumps(report, ensure_ascii=False, indent=2) + "\n") +print( + json.dumps( + {k: v for k, v in report.items() if k not in {"changed_paths", "accepted_without_rerun"}}, + ensure_ascii=False, + indent=2, + ) +) diff --git a/evidence/final-memory-validation-2026-11-07/audit.json b/evidence/final-memory-validation-2026-11-07/audit.json new file mode 100644 index 00000000..4d9462aa --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/audit.json @@ -0,0 +1,25 @@ +{ + "head": "74c33160ac01618f70e9e1c6a121a5e45c3c7155", + "reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6", + "runtime_review_equal": true, + "runtime_diff_since_previous_validation": [ + "src/messenger/attachments/infrastructure/images.py" + ], + "previous_artifact_hashes_verified": 53, + "platform": "macOS-15.1-arm64-arm-64bit-Mach-O", + "host_load": [ + 1.66796875, + 2.11279296875, + 2.3447265625 + ], + "docker": "28.3.2 16 8217190400", + "running_containers_before": "", + "image_fixture_hashes": { + "rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", + "gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", + "gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", + "gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800" + }, + "fix_hashes_verified": 28, + "linux_http_variant_hashes_equal": 30 +} diff --git a/evidence/final-memory-validation-2026-11-07/build.txt b/evidence/final-memory-validation-2026-11-07/build.txt new file mode 100644 index 00000000..6f594030 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/build.txt @@ -0,0 +1,90 @@ +date: 2026-11-06T22:54:41Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ docker compose build +#1 [internal] load local bake definitions +#1 reading from stdin 441B done +#1 DONE 0.0s + +#2 [internal] load build definition from Dockerfile +#2 transferring dockerfile: 1.65kB done +#2 DONE 0.0s + +#3 [internal] load metadata for ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 +#3 DONE 0.0s + +#4 [internal] load metadata for docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d +#4 DONE 1.6s + +#5 [internal] load .dockerignore +#5 transferring context: 453B done +#5 DONE 0.0s + +#6 [builder 1/7] FROM docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d +#6 resolve docker.io/library/python:3.14-slim-trixie@sha256:51dafde81dbdb6ebde285137a295cf18a47ca95234fe388a343719cb97305b3d 0.0s done +#6 DONE 0.0s + +#7 FROM ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 +#7 resolve ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 0.0s done +#7 DONE 0.0s + +#8 [internal] load build context +#8 transferring context: 55.94kB 0.0s done +#8 DONE 0.0s + +#9 [builder 4/7] COPY pyproject.toml uv.lock README.md ./ +#9 CACHED + +#10 [builder 3/7] WORKDIR /build +#10 CACHED + +#11 [builder 2/7] COPY --from=ghcr.io/astral-sh/uv:0.9.7@sha256:ba4857bf2a068e9bc0e64eed8563b065908a4cd6bfb66b531a9c424c8e25e142 /uv /usr/local/bin/uv +#11 CACHED + +#12 [builder 5/7] RUN uv sync --locked --no-dev --no-install-project --no-editable +#12 CACHED + +#13 [builder 6/7] COPY src ./src +#13 DONE 0.1s + +#14 [builder 7/7] RUN uv sync --locked --no-dev --no-editable +#14 0.246 Resolved 84 packages in 9ms +#14 0.261 Building mtusi-messenger @ file:///build +#14 3.076 Built mtusi-messenger @ file:///build +#14 3.081 Prepared 1 package in 2.82s +#14 3.086 Installed 1 package in 4ms +#14 3.306 Bytecode compiled 2301 files in 220ms +#14 3.306 + mtusi-messenger==1.5.0 (from file:///build) +#14 DONE 3.3s + +#15 [runtime 2/6] RUN groupadd --system --gid 10001 messenger && useradd --system --uid 10001 --gid messenger --no-create-home --shell /usr/sbin/nologin messenger +#15 CACHED + +#16 [runtime 3/6] COPY --from=builder --chown=root:root /opt/venv /opt/venv +#16 DONE 0.7s + +#17 [runtime 4/6] WORKDIR /app +#17 DONE 0.0s + +#18 [runtime 5/6] COPY --chown=root:root alembic.ini ./ +#18 DONE 0.0s + +#19 [runtime 6/6] COPY --chown=root:root alembic ./alembic +#19 DONE 0.0s + +#20 exporting to image +#20 exporting layers +#20 exporting layers 3.1s done +#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882 +#20 exporting manifest sha256:822ff6808de5ef24f7f560bfbf7d074f03882cf60f79ec17b72ec20b27fcb882 done +#20 exporting config sha256:9ad245995fe138e23bc22e352d3a77ee0bf65ae6979997c6da067bd8d5315782 done +#20 exporting attestation manifest sha256:cf7e1da74a249e6859a38405addb0350aab512b93f6e62e66405ae1936db4e38 done +#20 exporting manifest list sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608 done +#20 naming to docker.io/library/mtusi-messenger:lab5-memory-validation done +#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation +#20 unpacking to docker.io/library/mtusi-messenger:lab5-memory-validation 0.6s done +#20 DONE 3.8s + +#21 resolving provenance for metadata file +#21 DONE 0.0s + api Built +exit_code: 0 elapsed_seconds: 14.282 diff --git a/evidence/final-memory-validation-2026-11-07/checks.txt b/evidence/final-memory-validation-2026-11-07/checks.txt new file mode 100644 index 00000000..798d90d9 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/checks.txt @@ -0,0 +1,14 @@ +date: 2026-11-06T22:54:42Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {} +$ make check validate lint +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +All checks passed! +.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +198 files already formatted +.venv/bin/ty check src student-tests alembic +All checks passed! +exit_code: 0 elapsed_seconds: 0.650 diff --git a/evidence/final-memory-validation-2026-11-07/conditions-after.json b/evidence/final-memory-validation-2026-11-07/conditions-after.json new file mode 100644 index 00000000..9116b7ca --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/conditions-after.json @@ -0,0 +1,11 @@ +{ + "at": "2026-11-06T23:18:53.248018+00:00", + "host_load": [ + 6.40869140625, + 4.1806640625, + 3.1875 + ], + "running": "mtusi2026lab5-worker-1 Up About a minute (healthy)\nmtusi2026lab5-api-1 Up 6 minutes (healthy)\nmtusi2026lab5-api-2 Up 6 minutes (healthy)\nmtusi2026lab5-relay-1 Up 6 minutes (healthy)\nmtusi2026lab5-broker-1 Up 6 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 6 minutes (healthy)\nmtusi2026lab5-lb-1 Up 6 minutes (healthy)\nmtusi2026lab5-s3-1 Up 6 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 6 minutes (healthy)", + "worker_limits": "448\n30\n2", + "memory_events": "low 0\nhigh 0\nmax 0\noom 0\noom_kill 0\noom_group_kill 0" +} diff --git a/evidence/final-memory-validation-2026-11-07/conditions.json b/evidence/final-memory-validation-2026-11-07/conditions.json new file mode 100644 index 00000000..dc12f43e --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/conditions.json @@ -0,0 +1,166 @@ +{ + "platform": "macOS-15.1-arm64-arm-64bit-Mach-O", + "host_load": [ + 2.62109375, + 2.6455078125, + 2.53076171875 + ], + "running": "mtusi2026lab5-api-1 Up 2 minutes (healthy)\nmtusi2026lab5-api-2 Up 2 minutes (healthy)\nmtusi2026lab5-worker-1 Up 2 minutes (healthy)\nmtusi2026lab5-relay-1 Up 2 minutes (healthy)\nmtusi2026lab5-broker-1 Up 2 minutes (healthy)\nmtusi2026lab5-postgres-1 Up 2 minutes (healthy)\nmtusi2026lab5-lb-1 Up 2 minutes (healthy)\nmtusi2026lab5-s3-1 Up 2 minutes (healthy)\nmtusi2026lab5-valkey-1 Up 2 minutes (healthy)", + "containers": [ + { + "name": "/mtusi2026lab5-api-1", + "id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d", + "image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608", + "limits": { + "Memory": 536870912, + "NanoCpus": 1000000000, + "PortBindings": {} + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-api-2", + "id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e", + "image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608", + "limits": { + "Memory": 536870912, + "NanoCpus": 1000000000, + "PortBindings": {} + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-worker-1", + "id": "a9afb0e9cc245a54eb871ddd44fcf8661949789de59603ded5236b5f9e9f1d7c", + "image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608", + "limits": { + "Memory": 1073741824, + "NanoCpus": 2000000000, + "PortBindings": {} + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-relay-1", + "id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577", + "image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608", + "limits": { + "Memory": 201326592, + "NanoCpus": 500000000, + "PortBindings": {} + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-migrate-1", + "id": "34901a09ef7b837c6ce87116d2035d842762d2c86f8562cade96d3915a80e6f0", + "image": "sha256:9a4299f2f673c414d67c3cc1f1debf4a56d9358f4a1ae85703152d48e8ef1608", + "limits": { + "Memory": 268435456, + "NanoCpus": 500000000, + "PortBindings": {} + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-s3-init-1", + "id": "6e80e83ed5c5470bf22c5a9cd7c835788fbdff94f1f28f8649df6b667c153f89", + "image": "sha256:ab024bfebee49a750ce886b4c70963ccd9ddaa03f491704a90710641d7a26699", + "limits": { + "Memory": 67108864, + "NanoCpus": 500000000, + "PortBindings": {} + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-broker-1", + "id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377", + "image": "sha256:54ef5ff505352c1beef05a97ee9bd6ab95b3559a76629ba0119b1d63d8d6e4b2", + "limits": { + "Memory": 536870912, + "NanoCpus": 1000000000, + "PortBindings": { + "15672/tcp": [ + { + "HostIp": "127.0.0.1", + "HostPort": "25086" + } + ] + } + }, + "volumes": [ + "mtusi2026lab5_broker-data" + ] + }, + { + "name": "/mtusi2026lab5-postgres-1", + "id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed", + "image": "sha256:266d3c257594e195b309ae9d1805e54c788f1d7b375f56bf6c367aac6c917e7b", + "limits": { + "Memory": 1073741824, + "NanoCpus": 2000000000, + "PortBindings": {} + }, + "volumes": [ + "mtusi2026lab5_pgdata" + ] + }, + { + "name": "/mtusi2026lab5-lb-1", + "id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111", + "image": "sha256:5893840576071e6217cd52ebdcc14f454c6f7a631056fa6f4e0f40d3cac4215b", + "limits": { + "Memory": 134217728, + "NanoCpus": 1000000000, + "PortBindings": { + "8080/tcp": [ + { + "HostIp": "127.0.0.1", + "HostPort": "18085" + } + ], + "8404/tcp": [ + { + "HostIp": "127.0.0.1", + "HostPort": "25085" + } + ] + } + }, + "volumes": [] + }, + { + "name": "/mtusi2026lab5-s3-1", + "id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3", + "image": "sha256:ed9210d6411d77ffceb70d94b964a3cb7d225983368bc25bebe01e995293dcc2", + "limits": { + "Memory": 536870912, + "NanoCpus": 1000000000, + "PortBindings": {} + }, + "volumes": [ + "mtusi2026lab5_s3data" + ] + }, + { + "name": "/mtusi2026lab5-valkey-1", + "id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6", + "image": "sha256:2602ace2be6569bc2bbb06f873776516ab9089821525be34f4305c67eb9db02a", + "limits": { + "Memory": 134217728, + "NanoCpus": 500000000, + "PortBindings": {} + }, + "volumes": [ + "mtusi2026lab5_valkeydata" + ] + } + ], + "fixture_sha256": { + "rgb16-40mp.png": "3c4418a6f6a7676298b30b70ebbde9d12929f1345152f4fae979caf5ba1cb3f7", + "gray4-40mp.png": "64e665928c08ac3721324af4f8e2e9d2e98230dc1be389dde7bbf365650b08cd", + "gray2-40mp.png": "e1238de6a5be9dbce36abee904f7233f8ff7be59e405b528671940630cce11f6", + "gray16-40mp.png": "b59784ae916d50b41b15afa4bdd474a8699f099da55efd53580d3f97180f3800" + } +} diff --git a/evidence/final-memory-validation-2026-11-07/container-events.json b/evidence/final-memory-validation-2026-11-07/container-events.json new file mode 100644 index 00000000..905b6971 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/container-events.json @@ -0,0 +1,151 @@ +{ + "command": [ + "docker", + "events", + "--since", + "2026-11-06T23:15:45Z", + "--until", + "2026-11-06T23:19:06.697928+00:00", + "--filter", + "type=container", + "--filter", + "label=com.docker.compose.project=mtusi2026lab5", + "--filter", + "event=stop", + "--filter", + "event=die", + "--filter", + "event=start", + "--format", + "{{json .}}" + ], + "events": [ + { + "timeNano": 1794007134212820139, + "id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111", + "action": "stop", + "name": "mtusi2026lab5-lb-1", + "exitCode": null + }, + { + "timeNano": 1794007134214724139, + "id": "4ddcc75182e6044288c7a8c7bddca7b8c5fc6dab9b18c429e61ab1d292680111", + "action": "die", + "name": "mtusi2026lab5-lb-1", + "exitCode": "0" + }, + { + "timeNano": 1794007134242785764, + "id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577", + "action": "stop", + "name": "mtusi2026lab5-relay-1", + "exitCode": null + }, + { + "timeNano": 1794007134243810347, + "id": "63225b5eff8e1eb2870376c487b8925f9dbbe9bb8a636f4e2cdc12a24becf577", + "action": "die", + "name": "mtusi2026lab5-relay-1", + "exitCode": "0" + }, + { + "timeNano": 1794007134261625889, + "id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce", + "action": "stop", + "name": "mtusi2026lab5-worker-1", + "exitCode": null + }, + { + "timeNano": 1794007134263340222, + "id": "cb275ee9574b376bec77f26bdc24d2149568a272094f374b866d89d42b8067ce", + "action": "die", + "name": "mtusi2026lab5-worker-1", + "exitCode": "0" + }, + { + "timeNano": 1794007135530081667, + "id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377", + "action": "stop", + "name": "mtusi2026lab5-broker-1", + "exitCode": null + }, + { + "timeNano": 1794007135532395875, + "id": "be1942ad69b426f8b7c9189b0209021b169c6c8d0ee633f302d6d659a4143377", + "action": "die", + "name": "mtusi2026lab5-broker-1", + "exitCode": "0" + }, + { + "timeNano": 1794007136578760167, + "id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d", + "action": "stop", + "name": "mtusi2026lab5-api-1", + "exitCode": null + }, + { + "timeNano": 1794007136581296250, + "id": "d1dcbda238669764840b38a8b9cf22d889ffc356945e165f019c4814bb96553d", + "action": "die", + "name": "mtusi2026lab5-api-1", + "exitCode": "0" + }, + { + "timeNano": 1794007136606883084, + "id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e", + "action": "stop", + "name": "mtusi2026lab5-api-2", + "exitCode": null + }, + { + "timeNano": 1794007136610714375, + "id": "1eaf0fe05de650a1c2f7ced3e360aabbf8ad59566f40beefc2d745fa5277688e", + "action": "die", + "name": "mtusi2026lab5-api-2", + "exitCode": "0" + }, + { + "timeNano": 1794007136730887167, + "id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6", + "action": "stop", + "name": "mtusi2026lab5-valkey-1", + "exitCode": null + }, + { + "timeNano": 1794007136732779084, + "id": "647882797ca28a7e07453f00bd198433c80d8a8b8e7013279bc8954eafe11db6", + "action": "die", + "name": "mtusi2026lab5-valkey-1", + "exitCode": "0" + }, + { + "timeNano": 1794007136795874292, + "id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed", + "action": "stop", + "name": "mtusi2026lab5-postgres-1", + "exitCode": null + }, + { + "timeNano": 1794007136796859125, + "id": "a0b9f2742b9737ac0e32423d767438cab12af55a00cc1d68515ca9f07c2758ed", + "action": "die", + "name": "mtusi2026lab5-postgres-1", + "exitCode": "0" + }, + { + "timeNano": 1794007136819412875, + "id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3", + "action": "stop", + "name": "mtusi2026lab5-s3-1", + "exitCode": null + }, + { + "timeNano": 1794007136823326750, + "id": "29b3e7c3a260f035ba99f5ce5f3e8a8b7077c56377b17e25503f16fb7fbad7c3", + "action": "die", + "name": "mtusi2026lab5-s3-1", + "exitCode": "0" + } + ], + "limitation": "Docker retains only the last 256 events; this is a partial retrospective snapshot." +} diff --git a/evidence/final-memory-validation-2026-11-07/down.txt b/evidence/final-memory-validation-2026-11-07/down.txt new file mode 100644 index 00000000..56286008 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/down.txt @@ -0,0 +1,53 @@ +date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ make down +docker compose --profile bench --profile tools --profile reconcile down + Container mtusi2026lab5-relay-1 Stopping + Container mtusi2026lab5-lb-1 Stopping + Container mtusi2026lab5-api-2 Stopping + Container mtusi2026lab5-api-1 Stopping + Container mtusi2026lab5-worker-1 Stopping + Container mtusi2026lab5-lb-1 Stopped + Container mtusi2026lab5-lb-1 Removing + Container mtusi2026lab5-relay-1 Stopped + Container mtusi2026lab5-relay-1 Removing + Container mtusi2026lab5-lb-1 Removed + Container mtusi2026lab5-worker-1 Stopped + Container mtusi2026lab5-worker-1 Removing + Container mtusi2026lab5-relay-1 Removed + Container mtusi2026lab5-worker-1 Removed + Container mtusi2026lab5-broker-1 Stopping + Container mtusi2026lab5-broker-1 Stopped + Container mtusi2026lab5-broker-1 Removing + Container mtusi2026lab5-broker-1 Removed + Container mtusi2026lab5-api-1 Stopped + Container mtusi2026lab5-api-1 Removing + Container mtusi2026lab5-api-2 Stopped + Container mtusi2026lab5-api-2 Removing + Container mtusi2026lab5-api-1 Removed + Container mtusi2026lab5-api-2 Removed + Container mtusi2026lab5-valkey-1 Stopping + Container mtusi2026lab5-migrate-1 Stopping + Container mtusi2026lab5-s3-init-1 Stopping + Container mtusi2026lab5-migrate-1 Stopped + Container mtusi2026lab5-migrate-1 Removing + Container mtusi2026lab5-s3-init-1 Stopped + Container mtusi2026lab5-s3-init-1 Removing + Container mtusi2026lab5-migrate-1 Removed + Container mtusi2026lab5-postgres-1 Stopping + Container mtusi2026lab5-s3-init-1 Removed + Container mtusi2026lab5-s3-1 Stopping + Container mtusi2026lab5-valkey-1 Stopped + Container mtusi2026lab5-valkey-1 Removing + Container mtusi2026lab5-valkey-1 Removed + Container mtusi2026lab5-postgres-1 Stopped + Container mtusi2026lab5-postgres-1 Removing + Container mtusi2026lab5-s3-1 Stopped + Container mtusi2026lab5-s3-1 Removing + Container mtusi2026lab5-postgres-1 Removed + Container mtusi2026lab5-s3-1 Removed + Network mtusi2026lab5_edge Removing + Network mtusi2026lab5_backend Removing + Network mtusi2026lab5_backend Removed + Network mtusi2026lab5_edge Removed +exit_code: 0 elapsed_seconds: 3.356 diff --git a/evidence/final-memory-validation-2026-11-07/env.sh b/evidence/final-memory-validation-2026-11-07/env.sh new file mode 100644 index 00000000..fd5d615d --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/env.sh @@ -0,0 +1,8 @@ +export COMPOSE_PROJECT_NAME=mtusi2026lab5 +export COMPOSE_FILE=compose.yaml +export API_IMAGE=mtusi-messenger:lab5-memory-validation +export LB_HTTP_PORT=18085 +export LB_STATS_PORT=25085 +export BROKER_MANAGEMENT_PORT=25086 +export BASE_URL=http://127.0.0.1:18085 +export NO_PROXY=localhost,127.0.0.1,::1 diff --git a/evidence/final-memory-validation-2026-11-07/final-audit.json b/evidence/final-memory-validation-2026-11-07/final-audit.json new file mode 100644 index 00000000..f7abd6c3 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/final-audit.json @@ -0,0 +1,100 @@ +{ + "measured_sha": "74c33160ac01618f70e9e1c6a121a5e45c3c7155", + "reviewed_runtime": "6096aa7948b8b666aa3892397a96d044a55f02c6", + "runtime_equal": true, + "normative_equal_to_upstream_main": true, + "changed_paths": [ + "AGENTS.md", + "REPORT.md", + "evidence/README.md", + "evidence/final-memory-validation-2026-11-07/RESULTS.md", + "evidence/final-memory-validation-2026-11-07/active-changes.txt", + "evidence/final-memory-validation-2026-11-07/audit-files.py", + "evidence/final-memory-validation-2026-11-07/audit.json", + "evidence/final-memory-validation-2026-11-07/build.txt", + "evidence/final-memory-validation-2026-11-07/checks.txt", + "evidence/final-memory-validation-2026-11-07/conditions-after.json", + "evidence/final-memory-validation-2026-11-07/conditions.json", + "evidence/final-memory-validation-2026-11-07/container-events.json", + "evidence/final-memory-validation-2026-11-07/down.txt", + "evidence/final-memory-validation-2026-11-07/env.sh", + "evidence/final-memory-validation-2026-11-07/final-audit.json", + "evidence/final-memory-validation-2026-11-07/final-checks.txt", + "evidence/final-memory-validation-2026-11-07/final-containers.txt", + "evidence/final-memory-validation-2026-11-07/findings.json", + "evidence/final-memory-validation-2026-11-07/linux-child.py", + "evidence/final-memory-validation-2026-11-07/linux-runner.py", + "evidence/final-memory-validation-2026-11-07/linux.json", + "evidence/final-memory-validation-2026-11-07/linux.txt", + "evidence/final-memory-validation-2026-11-07/openspec.txt", + "evidence/final-memory-validation-2026-11-07/png-boundary.json", + "evidence/final-memory-validation-2026-11-07/png-boundary.txt", + "evidence/final-memory-validation-2026-11-07/png-http.json", + "evidence/final-memory-validation-2026-11-07/png-http.txt", + "evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt", + "evidence/final-memory-validation-2026-11-07/retained-volumes.txt", + "evidence/final-memory-validation-2026-11-07/running-containers-after.txt", + "evidence/final-memory-validation-2026-11-07/runtime.txt", + "evidence/final-memory-validation-2026-11-07/scan-secrets.py", + "evidence/final-memory-validation-2026-11-07/secret-scan.json", + "evidence/final-memory-validation-2026-11-07/sha256.json", + "evidence/final-memory-validation-2026-11-07/smoke.txt", + "evidence/final-memory-validation-2026-11-07/stopped-containers.txt", + "evidence/final-memory-validation-2026-11-07/student-test.txt", + "evidence/final-memory-validation-2026-11-07/targeted.py", + "evidence/final-memory-validation-2026-11-07/up.txt", + "evidence/load-validation.md" + ], + "local_links_verified": 208, + "tracked_json_parsed": 111, + "previous_and_fix_hashes_verified": 81, + "raw_diff_check_exit": 2, + "preserved_raw_trailing_whitespace_lines": 17, + "docs_and_helpers_diff_check": "PASS", + "accepted_without_rerun": [ + { + "file": "evidence/forward-final-2026-11-06/level4.json", + "source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc", + "scenarios": 17, + "invariants": 8 + }, + { + "file": "evidence/forward-final-2026-11-06/track-run1.json", + "source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc", + "scenarios": 13, + "invariants": 8 + }, + { + "file": "evidence/forward-final-2026-11-06/track-run2.json", + "source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc", + "scenarios": 13, + "invariants": 8 + }, + { + "file": "evidence/forward-final-2026-11-06/track-run3.json", + "source_sha": "0e921116610d289716af0a40ec823376eb8bbcbc", + "scenarios": 13, + "invariants": 8 + }, + { + "file": "evidence/final-validation-2026-11-07/postgres-outage-retry.json", + "source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef", + "scenarios": 1, + "invariants": 8 + }, + { + "file": "evidence/final-validation-2026-11-07/delivery-targeted.json", + "source_sha": "b30e2f6a84419d1ca64525ffb40df92183cccaef", + "scenarios": 12, + "invariants": 8 + } + ], + "own_containers": [], + "retained_volumes": [ + "mtusi2026lab5_broker-data", + "mtusi2026lab5_pgdata", + "mtusi2026lab5_s3data", + "mtusi2026lab5_valkeydata" + ], + "result": "PASS" +} diff --git a/evidence/final-memory-validation-2026-11-07/final-checks.txt b/evidence/final-memory-validation-2026-11-07/final-checks.txt new file mode 100644 index 00000000..e7569af6 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/final-checks.txt @@ -0,0 +1,14 @@ +date: 2026-11-06T23:23:20Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ make check validate lint +python3 scripts/check_contract.py +PASS: offline skeleton structure, local refs and Python syntax; application NOT tested. +.venv/bin/python scripts/validate_openapi.py +PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. +.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +All checks passed! +.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py +198 files already formatted +.venv/bin/ty check src student-tests alembic +All checks passed! +exit_code: 0 elapsed_seconds: 0.530 diff --git a/evidence/final-memory-validation-2026-11-07/final-containers.txt b/evidence/final-memory-validation-2026-11-07/final-containers.txt new file mode 100644 index 00000000..09a3967c --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/final-containers.txt @@ -0,0 +1,15 @@ +date: 2026-11-06T23:18:53Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ docker compose ps -a --format '{{.Name}} {{.ID}} {{.State}} {{.Status}}' +mtusi2026lab5-api-1 d1dcbda23866 running Up 6 minutes (healthy) +mtusi2026lab5-api-2 1eaf0fe05de6 running Up 6 minutes (healthy) +mtusi2026lab5-broker-1 be1942ad69b4 running Up 6 minutes (healthy) +mtusi2026lab5-lb-1 4ddcc75182e6 running Up 6 minutes (healthy) +mtusi2026lab5-migrate-1 34901a09ef7b exited Exited (0) 6 minutes ago +mtusi2026lab5-postgres-1 a0b9f2742b97 running Up 6 minutes (healthy) +mtusi2026lab5-relay-1 63225b5eff8e running Up 6 minutes (healthy) +mtusi2026lab5-s3-1 29b3e7c3a260 running Up 6 minutes (healthy) +mtusi2026lab5-s3-init-1 6e80e83ed5c5 exited Exited (0) 6 minutes ago +mtusi2026lab5-valkey-1 647882797ca2 running Up 6 minutes (healthy) +mtusi2026lab5-worker-1 cb275ee9574b running Up About a minute (healthy) +exit_code: 0 elapsed_seconds: 0.127 diff --git a/evidence/final-memory-validation-2026-11-07/findings.json b/evidence/final-memory-validation-2026-11-07/findings.json new file mode 100644 index 00000000..5ab9a6e9 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/findings.json @@ -0,0 +1,37 @@ +[ + { + "severity": "minor", + "file": "src/messenger/attachments/application/pipeline.py:230", + "problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения." + }, + { + "severity": "minor", + "file": "scripts/limits.py:10", + "problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS." + }, + { + "severity": "minor", + "file": "scripts/reconcile_track.py:396", + "problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют." + }, + { + "severity": "minor", + "file": "src/messenger/attachments/application/pipeline.py:304", + "problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original." + }, + { + "severity": "minor", + "file": "evidence/forward-final-2026-11-06/clock-observation.json", + "problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности." + }, + { + "severity": "minor", + "file": "openspec/config.yaml:130", + "problem": "Сохранена документационная неточность: design требует upload 201 вместо нормативного 202 ЛР5; конфиг вне scope validation." + }, + { + "severity": "minor", + "file": "src/messenger/attachments/entrypoints/schemas.py:67", + "problem": "Независимое review M: attempt=\"1\", pipeline_version=true, числовой created_at и traceparent=null принимаются вне jobs.schema.json с bus/ack вместо reject. Штатный relay формирует корректные сообщения; критичного последствия не установлено. Источник: evidence/report-memory-audit-2026-11-07.md; повторные пробы в validation не выполнялись." + } +] diff --git a/evidence/final-memory-validation-2026-11-07/linux-child.py b/evidence/final-memory-validation-2026-11-07/linux-child.py new file mode 100644 index 00000000..68009794 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/linux-child.py @@ -0,0 +1,58 @@ +import hashlib +import json +import resource +import signal +import sys +import time +from io import BytesIO +from pathlib import Path + +import messenger.worker +from PIL import Image +from messenger.attachments.infrastructure.images import RenderLimits, render_variants + +resource.setrlimit(resource.RLIMIT_AS, (448 << 20, 448 << 20)) +data = Path(sys.argv[1]).read_bytes() +transparent = sys.argv[3] == "true" +limits = RenderLimits(10485760, 40000000) +versions = [] +for version in (1, 2): + signal.alarm(30) + began = time.monotonic() + variants = render_variants(data, limits, version) + ended = time.monotonic() + signal.alarm(0) + assert [(v.name, v.width, v.height) for v in variants] == [ + ("thumbnail", 256, 160), + ("crop", 128, 128), + ("optimized", 1280, 800), + ] + for variant in variants: + with Image.open(BytesIO(variant.data)) as image: + assert (image.getpixel((5, image.height // 2)) == (255, 255, 255)) == transparent + assert image.getpixel((image.width - 6, image.height // 2)) != (255, 255, 255) + versions.append( + { + "version": version, + "started_monotonic": began, + "finished_monotonic": ended, + "render_seconds": ended - began, + "variants": {v.name: hashlib.sha256(v.data).hexdigest() for v in variants}, + } + ) +signal.alarm(30) +assert len(render_variants(Path(sys.argv[2]).read_bytes(), limits)) == 3 +signal.alarm(0) +print( + json.dumps( + { + "file": Path(sys.argv[1]).name, + "input_sha256": hashlib.sha256(data).hexdigest(), + "versions": versions, + "ordinary_after": True, + "max_rss_kib": resource.getrusage(resource.RUSAGE_SELF).ru_maxrss, + "result": "PASS", + } + ), + flush=True, +) diff --git a/evidence/final-memory-validation-2026-11-07/linux-runner.py b/evidence/final-memory-validation-2026-11-07/linux-runner.py new file mode 100644 index 00000000..aa4be944 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/linux-runner.py @@ -0,0 +1,89 @@ +import base64 +import hashlib +import json +import subprocess +from pathlib import Path + +folder = Path(__file__).parent +fixtures = { + p.name: p.read_bytes() + for p in Path("evidence/final-validation-2026-11-07/fixtures").glob("*.png") +} +data = fixtures["gray16-40mp.png"] +result, offset = data[:8], 8 +while offset < len(data): + size = int.from_bytes(data[offset : offset + 4], "big") + 12 + if data[offset + 4 : offset + 8] != b"tRNS": + result += data[offset : offset + size] + offset += size +fixtures["gray16-opaque-40mp.png"] = result +fixtures["sample.png"] = Path("tests/fixtures/sample.png").read_bytes() +bootstrap = """ +import base64,json,sys,subprocess,time +from pathlib import Path +p=json.load(sys.stdin) +d=Path('/tmp/png-memory-validation') +d.mkdir(exist_ok=True) +for name,data in p['fixtures'].items(): + (d/name).write_bytes(base64.b64decode(data)) +def command(name): + return [sys.executable,'-c',p['code'],str(d/name),str(d/'sample.png'),'false' if 'opaque' in name else 'true'] +results=[] +for name in sorted(p['fixtures']): + if name=='sample.png': + continue + output=subprocess.check_output(command(name),text=True,timeout=65) + row=json.loads(output) + results.append(row) + print(json.dumps({'case':row}),flush=True) +children=[subprocess.Popen(command('rgb16-40mp.png'),stdout=subprocess.PIPE,stderr=subprocess.PIPE,text=True) for _ in range(2)] +parallel=[] +try: + for child in children: + out,err=child.communicate(timeout=65) + assert child.returncode==0,(child.returncode,err) + parallel.append(json.loads(out)) +finally: + for child in children: + if child.poll() is None: + child.kill() + child.wait() +overlap=any(max(a['started_monotonic'],b['started_monotonic']):/]+:[^\s\"\'{}$<>@/]+@", + "secret_literal": r"""["'](?:password|secret|token|access_token|secret_access_key)["']\s*:\s*["'][A-Za-z0-9_+/=-]{24,}["']""", +} +allow = { + ("contracts/examples.json", 5, "secret_literal"): "unchanged skeleton example placeholder", + ("contracts/openapi.json", 3096, "secret_literal"): "unchanged skeleton example placeholder", + ("examples/requests.http", 20, "secret_literal"): "unchanged skeleton example placeholder", + ("scripts/broker-secrets.sh", 17, "credential_url"): "printf format; no credential literal", + ( + "student-tests/api/test_operability.py", + 131, + "credential_url", + ): "synthetic unavailable endpoint u:p", + ( + "student-tests/api/test_operability.py", + 143, + "credential_url", + ): "synthetic unavailable endpoint u:p", + ("student-tests/conftest.py", 141, "credential_url"): "ephemeral test database literal", +} +findings = [] +for name in sorted(files): + if re.search(r"(^|/)(?:\.env|secrets|volumes)(?:/|$)", name): + findings.append({"file": name, "rule": "forbidden_path"}) + try: + text = Path(name).read_text() + except UnicodeDecodeError, OSError: + continue + for rule, pattern in patterns.items(): + for match in re.finditer(pattern, text): + line = text.count("\n", 0, match.start()) + 1 + item = {"file": name, "line": line, "rule": rule} + if (name, line, rule) in allow: + item["reviewed_non_secret"] = allow[name, line, rule] + findings.append(item) +report = { + "files_scanned": len(files), + "patterns": list(patterns), + "candidates": findings, + "unresolved": sum("reviewed_non_secret" not in f for f in findings), +} +Path("evidence/final-memory-validation-2026-11-07/secret-scan.json").write_text( + json.dumps(report, indent=2) + "\n" +) +print(json.dumps(report, indent=2)) +raise SystemExit(bool(report["unresolved"])) diff --git a/evidence/final-memory-validation-2026-11-07/secret-scan.json b/evidence/final-memory-validation-2026-11-07/secret-scan.json new file mode 100644 index 00000000..ee32715b --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/secret-scan.json @@ -0,0 +1,58 @@ +{ + "files_scanned": 804, + "patterns": [ + "private_key", + "github_token", + "openai_token", + "aws_key", + "telegram_token", + "bearer_literal", + "credential_url", + "secret_literal" + ], + "candidates": [ + { + "file": "contracts/examples.json", + "line": 5, + "rule": "secret_literal", + "reviewed_non_secret": "unchanged skeleton example placeholder" + }, + { + "file": "contracts/openapi.json", + "line": 3096, + "rule": "secret_literal", + "reviewed_non_secret": "unchanged skeleton example placeholder" + }, + { + "file": "examples/requests.http", + "line": 20, + "rule": "secret_literal", + "reviewed_non_secret": "unchanged skeleton example placeholder" + }, + { + "file": "scripts/broker-secrets.sh", + "line": 17, + "rule": "credential_url", + "reviewed_non_secret": "printf format; no credential literal" + }, + { + "file": "student-tests/api/test_operability.py", + "line": 131, + "rule": "credential_url", + "reviewed_non_secret": "synthetic unavailable endpoint u:p" + }, + { + "file": "student-tests/api/test_operability.py", + "line": 143, + "rule": "credential_url", + "reviewed_non_secret": "synthetic unavailable endpoint u:p" + }, + { + "file": "student-tests/conftest.py", + "line": 141, + "rule": "credential_url", + "reviewed_non_secret": "ephemeral test database literal" + } + ], + "unresolved": 0 +} diff --git a/evidence/final-memory-validation-2026-11-07/sha256.json b/evidence/final-memory-validation-2026-11-07/sha256.json new file mode 100644 index 00000000..4488bef0 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/sha256.json @@ -0,0 +1,37 @@ +{ + "evidence/final-memory-validation-2026-11-07/RESULTS.md": "e4dd4dfc47ae8095458028235b1e89373b815edeeceddbd09f116f9ad9f4450b", + "evidence/final-memory-validation-2026-11-07/active-changes.txt": "b817c4f054d652d43cc5b0059aa3808fe18d4a4582a3676c34f0d9418efa992d", + "evidence/final-memory-validation-2026-11-07/audit-files.py": "864e3a7032755da30afeef71431649e87c955cea4dc48021c14575b5ac243ded", + "evidence/final-memory-validation-2026-11-07/audit.json": "68e3f1a5806fe4b65f1e8e8efe0b66c5e55cccd4ce492b7a325d4cc89323ca69", + "evidence/final-memory-validation-2026-11-07/build.txt": "62ca4051248a5ba0c1d5380456dc972572da8c08e27b840992b24f500ab57bb7", + "evidence/final-memory-validation-2026-11-07/checks.txt": "6a1195478b3eb211d21352cb6ed00e690196ccc54e0db3a3fe3ac4e5f6b19336", + "evidence/final-memory-validation-2026-11-07/conditions-after.json": "e72877504561b2e4ab95ffa5ad2e616ff3599ba0887fd10b378f9425cf62376c", + "evidence/final-memory-validation-2026-11-07/conditions.json": "c970c484ad92ada00d33f4df86113928b0ef0321b1b7740441a8c1e10f4b5c30", + "evidence/final-memory-validation-2026-11-07/container-events.json": "bfce3b6295e23ea06f4f29beb1b83b4a5b2ec5e07c4230d3ba68d1dc0c241d39", + "evidence/final-memory-validation-2026-11-07/down.txt": "0b80c02939c9224df3e8f5f98ae6320b6ffc71a8a28c001e7b3ee9ae113a6f39", + "evidence/final-memory-validation-2026-11-07/env.sh": "fa41c289402a362827d3edc88bd0e8301e55d279df09f658f800a94bff96b05d", + "evidence/final-memory-validation-2026-11-07/final-audit.json": "2c6308899417e6da60875de9c262828fe7caccd30bffb223d8ce53635f5845ad", + "evidence/final-memory-validation-2026-11-07/final-checks.txt": "7405e049b92aa01667afe431a64e3c6d5ffc1827c03a4bed480a5158802a08d8", + "evidence/final-memory-validation-2026-11-07/final-containers.txt": "dd5432219d35baeee61392605910c2864b71b83e8972377254eff268670422c5", + "evidence/final-memory-validation-2026-11-07/findings.json": "a2b9cc2a425aa0326fd72c6bdab9a5dc69ea4d90fef2c3ce239fbbb514e978a1", + "evidence/final-memory-validation-2026-11-07/linux-child.py": "c293f49bd273fe7c3c6bb0ac90f2ccb28a02117a4fdae758d04e8c006d4e89ab", + "evidence/final-memory-validation-2026-11-07/linux-runner.py": "680052df464d87d97a9717469d53d27f4f2391f740b0aaa23fa52a77a52c9a83", + "evidence/final-memory-validation-2026-11-07/linux.json": "febd60518391e7d6f479908e48856a6c0a774fd5763f33cf02655e414d6b1fe3", + "evidence/final-memory-validation-2026-11-07/linux.txt": "51f31e560852514bdba1777db1ceade9284ff13610d60afaf7a128f171cd7b29", + "evidence/final-memory-validation-2026-11-07/openspec.txt": "dc82d21ab66012b5960a0f76e82eef10d7df082497119d18efb7aed5009efd3d", + "evidence/final-memory-validation-2026-11-07/png-boundary.json": "a6452fb7b502597058641878464ee383eab334b0d77377bfe54565aeb4279df1", + "evidence/final-memory-validation-2026-11-07/png-boundary.txt": "1aba30dc29b1bae3f7e1d8fb64a7e331effb85fa45a2f3a123ddbe7dd743c6ad", + "evidence/final-memory-validation-2026-11-07/png-http.json": "0dab50ef2d4ed22425d27ccdefaac316ed4b8c7b0a759c2c616eb9239ebba618", + "evidence/final-memory-validation-2026-11-07/png-http.txt": "68ae6e09e67a9df204f0346ebec3b9b185bcf2c67a0a0946aff620408ba867a2", + "evidence/final-memory-validation-2026-11-07/reset-worker-peak.txt": "97c9b5d430649b61f83fb7904414690f50e742b0b53e39c9b4324d60c1b6b2f9", + "evidence/final-memory-validation-2026-11-07/retained-volumes.txt": "27347d997d6f8466d94b0a5bb06350f183c5e30ef9ad2c3858cdc24a316bf5e4", + "evidence/final-memory-validation-2026-11-07/running-containers-after.txt": "44b284098615df613f91d9bc745f236f6ede62f1ea95a9de06e10ed712ffb799", + "evidence/final-memory-validation-2026-11-07/runtime.txt": "1f35a3f37a7e4d4689c8154384b08c9800077d4f77251d576f03921605a28b2e", + "evidence/final-memory-validation-2026-11-07/scan-secrets.py": "27130687bae2d636d9780759559524b347ec3733aa2df722c837378f2d2f39b1", + "evidence/final-memory-validation-2026-11-07/secret-scan.json": "27f7763fd6af6a10d3ddd0c8ae0a3f71dcad4eeb000afa5af5379bb646fb8e30", + "evidence/final-memory-validation-2026-11-07/smoke.txt": "ba0b81113210431ecfe0a085024efd650b4963e1eaf21b2837f6163523a70afc", + "evidence/final-memory-validation-2026-11-07/stopped-containers.txt": "f543710a6a0f639673d62148635409ecec6bea71c8987dc036017d4692505bed", + "evidence/final-memory-validation-2026-11-07/student-test.txt": "1cf669fbca4aee91e87e74089522325f7214ad6406c031013a73c8b935593ac1", + "evidence/final-memory-validation-2026-11-07/targeted.py": "cba7c461fded4eb88247f113a2328780fe985a3c1bdc27a26df47277a2374ffc", + "evidence/final-memory-validation-2026-11-07/up.txt": "1fd736cd42363f734649be3011f92abee46bc9210b4fd513aa2daba9d5f4a666" +} diff --git a/evidence/final-memory-validation-2026-11-07/smoke.txt b/evidence/final-memory-validation-2026-11-07/smoke.txt new file mode 100644 index 00000000..7f1aa6f3 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/smoke.txt @@ -0,0 +1,6 @@ +date: 2026-11-06T23:15:03Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ make test +python3 tests/smoke.py --base-url "http://127.0.0.1:18085" +PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. +exit_code: 0 elapsed_seconds: 1.706 diff --git a/evidence/final-memory-validation-2026-11-07/stopped-containers.txt b/evidence/final-memory-validation-2026-11-07/stopped-containers.txt new file mode 100644 index 00000000..016f7e6f --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/stopped-containers.txt @@ -0,0 +1,4 @@ +date: 2026-11-06T23:19:15Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ docker ps -a --filter label=com.docker.compose.project=mtusi2026lab5 --format '{{.Names}} {{.State}}' +exit_code: 0 elapsed_seconds: 0.028 diff --git a/evidence/final-memory-validation-2026-11-07/student-test.txt b/evidence/final-memory-validation-2026-11-07/student-test.txt new file mode 100644 index 00000000..b054ffd8 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/student-test.txt @@ -0,0 +1,20 @@ +date: 2026-11-06T22:54:40Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ make student-test 'PYTEST_ARGS=-q --tb=short' +.venv/bin/pytest -q --tb=short +........................................................................ [ 7%] +........................................................................ [ 14%] +........................................................................ [ 21%] +........................................................................ [ 29%] +........................................................................ [ 36%] +........................................................................ [ 43%] +........................................................................ [ 51%] +........................................................................ [ 58%] +........................................................................ [ 65%] +........................................................................ [ 73%] +........................................s............................... [ 80%] +........................................................................ [ 87%] +......................................................................s. [ 94%] +.................................................. [100%] +984 passed, 2 skipped, 19 deselected in 171.26s (0:02:51) +exit_code: 0 elapsed_seconds: 172.902 diff --git a/evidence/final-memory-validation-2026-11-07/targeted.py b/evidence/final-memory-validation-2026-11-07/targeted.py new file mode 100644 index 00000000..f723b2d4 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/targeted.py @@ -0,0 +1,310 @@ +import hashlib +import json +import os +import struct +import sys +import time +from io import BytesIO +from pathlib import Path + +ROOT = Path(__file__).resolve().parents[2] +sys.path[:0] = [str(ROOT / "scripts"), str(ROOT / "student-tests")] +import pipeline_suite as ps +from PIL import Image +from messenger.attachments.infrastructure.images import RenderLimits, render_variants +from png_trns_fixtures import png_with_trns + +MODE = sys.argv.pop(1) +OUT = Path(__file__).parent / (MODE + ".json") +if OUT.exists(): + raise SystemExit("Result exists; do not repeat completed evidence") +SUITE = ps.Suite(ps.arguments()) +STACK = SUITE.stack +REPORT = { + "mode": MODE, + "source_sha": ps.run(["git", "rev-parse", "HEAD"]).strip(), + "started_at": ps.now(), + "cases": [], +} +LIMITS = RenderLimits(10485760, 40000000) + + +def save(): + REPORT["accepted_ids"] = SUITE.api.accepted if SUITE.api else [] + OUT.write_text(json.dumps(REPORT, ensure_ascii=False, indent=2) + "\n") + + +def case(name, function): + row = {"name": name, "started_at": ps.now()} + REPORT["cases"].append(row) + save() + began = time.monotonic() + try: + row["observed"] = function() + row["result"] = "PASS" + except Exception as error: + row.update(result="FAIL", error=str(error)) + row["elapsed_seconds"] = round(time.monotonic() - began, 3) + save() + print(name, row["result"], row.get("error", ""), flush=True) + + +def containers(): + return STACK.dc("ps", "-a", "--format", "{{.Name}} {{.ID}} {{.State}} {{.Status}}").splitlines() + + +def png(name, data, reference): + att = SUITE.api.upload(data, name=name + ".png") + ident = att["id"] + results = [] + for version in (1, 2): + if version == 2: + STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2") + ps.poll(lambda: SUITE.record(ident)["published_version"] == 2, 90, "published v2") + ready = SUITE.api.wait(ident) + SUITE.verify(ready) + assert SUITE.api.content(ident)["bytes"] == data + expected = {r.name: r for r in render_variants(reference, LIMITS, version)} + variants = [] + for variant in ready["variants"]: + content = SUITE.api.content(ident, variant["name"])["bytes"] + assert content == expected[variant["name"]].data, ( + variant["name"] + " differs from independent white reference" + ) + with Image.open(BytesIO(content)) as image: + assert not image.getexif() + assert not any(key in image.info for key in ("icc_profile", "xmp", "transparency")) + variants.append( + { + "name": variant["name"], + "sha256": hashlib.sha256(content).hexdigest(), + "bytes": len(content), + "dimensions": [variant["width"], variant["height"]], + } + ) + results.append({"version": version, "variants": variants}) + before = SUITE.snapshot(ident) + STACK.publish(SUITE.payload(ident, 1)) + STACK.publish(SUITE.payload(ident, 2)) + SUITE.drained() + assert SUITE.snapshot(ident) == before + assert len(STACK.sql("variants", id=ident)) == 6 + return { + "attachment_id": ident, + "input_sha256": hashlib.sha256(data).hexdigest(), + "input_bytes": len(data), + "versions": results, + "stale_and_duplicate_noop": True, + } + + +FIXTURES = ROOT / "evidence/final-validation-2026-11-07/fixtures" +ps.SQL["timed_events"] = ( + "SELECT attachment_id,job_id,kind,at FROM job_events WHERE attachment_id = ANY(:'ids'::uuid[]) AND kind IN ('claimed','done') ORDER BY id" +) + + +def without_trns(data): + result, offset = data[:8], 8 + while offset < len(data): + size = struct.unpack(">I", data[offset : offset + 4])[0] + 12 + if data[offset + 4 : offset + 8] != b"tRNS": + result += data[offset : offset + size] + offset += size + return result + + +def verify_large(ident, data, transparent): + ready = SUITE.api.wait(ident) + SUITE.verify(ready) + assert SUITE.api.content(ident)["bytes"] == data + variants = [] + for variant in ready["variants"]: + content = SUITE.api.content(ident, variant["name"])["bytes"] + with Image.open(BytesIO(content)) as image: + left = image.getpixel((5, image.height // 2)) + right = image.getpixel((image.width - 6, image.height // 2)) + assert (left == (255, 255, 255)) == transparent + assert right != (255, 255, 255) + assert not image.getexif() + variants.append({**variant, "left_pixel": left, "right_pixel": right}) + return variants + + +def duplicate_check(ident): + before = SUITE.snapshot(ident) + STACK.publish(SUITE.payload(ident, 1)) + STACK.publish(SUITE.payload(ident, 2)) + SUITE.drained() + assert SUITE.snapshot(ident) == before + assert len(STACK.sql("variants", id=ident)) == 6 + + +def large(name, data, transparent=True): + att = SUITE.api.upload(data, name=name + ".png") + ident = att["id"] + versions = [{"version": 1, "variants": verify_large(ident, data, transparent)}] + STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2") + ps.poll(lambda: SUITE.record(ident)["published_version"] == 2, 90, "v2 publication") + versions.append({"version": 2, "variants": verify_large(ident, data, transparent)}) + duplicate_check(ident) + return { + "attachment_id": ident, + "input_sha256": hashlib.sha256(data).hexdigest(), + "bytes": len(data), + "versions": versions, + "memory_peak": int(STACK.cgroup("worker", "memory.peak")), + "memory_max": int(STACK.cgroup("worker", "memory.max")), + } + + +def concurrent(): + data = (FIXTURES / "rgb16-40mp.png").read_bytes() + SUITE.drained() + STACK.stop("worker") + try: + ids = [SUITE.api.upload(data, name="concurrent-rgb16.png")["id"] for _ in range(2)] + SUITE.queued(2) + finally: + ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()]) + versions = [] + for version in (1, 2): + if version == 2: + STACK.stop("worker") + try: + for ident in ids: + STACK.admin("reprocess", "--attachment-id", ident, "--pipeline-version", "2") + SUITE.queued(2) + finally: + ps.run(["docker", "start", STACK.dc("ps", "-aq", "worker").strip()]) + for ident in ids: + ps.poll( + lambda: SUITE.record(ident)["published_version"] == version, + 90, + "concurrent publication", + ) + variants = {ident: verify_large(ident, data, True) for ident in ids} + events = STACK.sql("timed_events", ids="{" + ",".join(ids) + "}") + job_ids = { + row["job_id"] + for ident in ids + for row in STACK.sql("jobs", id=ident) + if row["pipeline_version"] == version + } + selected = [e for e in events if e["job_id"] in job_ids] + claims = [e["at"] for e in selected if e["kind"] == "claimed"] + done = [e["at"] for e in selected if e["kind"] == "done"] + assert len(claims) == len(done) == 2 + assert max(claims) < min(done), selected + versions.append( + { + "version": version, + "events": selected, + "processing_overlapped": True, + "variants": variants, + } + ) + for ident in ids: + duplicate_check(ident) + peak, limit = (int(STACK.cgroup("worker", name)) for name in ("memory.peak", "memory.max")) + assert peak < limit + return { + "attachment_ids": ids, + "versions": versions, + "memory_peak": peak, + "memory_max": limit, + "memory_events": STACK.cgroup("worker", "memory.events"), + } + + +def forced(name, **overrides): + data = (FIXTURES / "rgb16-40mp.png").read_bytes() + result = SUITE.limited(data, **overrides) + STACK.restore() + result["next_normal"] = SUITE.smoke_pipeline() + return result + + +try: + SUITE.detect_api() + SUITE.api = ps.Api(SUITE.args) + dead_before = STACK.queues()[ps.DLQ][0] + REPORT["conditions"] = { + "host_load": os.getloadavg(), + "containers": containers(), + "running": ps.run(["docker", "ps", "--format", "{{.Names}} {{.Status}}"]), + "worker_limits": STACK.dc( + "exec", + "-T", + "worker", + "printenv", + "RENDER_MEMORY_MB", + "RENDER_TIMEOUT_SECONDS", + "WORKER_CONCURRENCY", + ), + } + save() + if MODE == "png-http": + folder = ROOT / "evidence/review-trns-depth-2026-11-06/fixtures" + for name in ("gray2", "gray4", "rgb16"): + case( + name, + lambda name=name: png( + name, + (folder / (name + ".png")).read_bytes(), + (folder / (name + "-white.png")).read_bytes(), + ), + ) + for name, depth, color in [ + ("gray1", 1, (0,)), + ("gray8", 8, (85,)), + ("gray16", 16, (12345,)), + ("rgb8", 8, (255, 0, 0)), + ]: + case( + name, + lambda name=name, depth=depth, color=color: png(name, *png_with_trns(depth, color)), + ) + case( + "rgb16-adam7-filter4-exif6", + lambda: png( + "adam7", + *png_with_trns( + 16, + (12345, 23456, 34567), + size=(65, 63), + interlace=1, + filtering=4, + orientation=6, + ), + ), + ) + elif MODE == "png-boundary": + for name in ("gray2", "gray4", "gray16", "rgb16"): + case( + name, lambda name=name: large(name, (FIXTURES / (name + "-40mp.png")).read_bytes()) + ) + case( + "gray16-without-trns", + lambda: large( + "gray16-opaque", without_trns((FIXTURES / "gray16-40mp.png").read_bytes()), False + ), + ) + case("concurrent-rgb16", concurrent) + case("forced-timeout", lambda: forced("timeout", FAULT_RENDER_TIMEOUT_SECONDS="0.01")) + case("forced-memory", lambda: forced("memory", FAULT_RENDER_MEMORY_MB="200")) + ids = "{" + ",".join(SUITE.api.accepted) + "}" + ps.poll(lambda: not STACK.sql("staging_left", ids=ids), 45, "staging sweep") + SUITE.drained() + REPORT["invariants"] = SUITE.invariants(dead_before) +finally: + STACK.restore() + REPORT["finished_at"] = ps.now() + REPORT["result"] = ( + "PASS" + if REPORT["cases"] + and all(x.get("result") == "PASS" for x in REPORT["cases"] + REPORT.get("invariants", [])) + else "FAIL" + ) + save() +raise SystemExit(0 if REPORT["result"] == "PASS" else 1) diff --git a/evidence/final-memory-validation-2026-11-07/up.txt b/evidence/final-memory-validation-2026-11-07/up.txt new file mode 100644 index 00000000..ceeef497 --- /dev/null +++ b/evidence/final-memory-validation-2026-11-07/up.txt @@ -0,0 +1,94 @@ +date: 2026-11-06T23:12:23Z commit: 74c33160ac01618f70e9e1c6a121a5e45c3c7155 +environment: {"COMPOSE_PROJECT_NAME": "mtusi2026lab5", "COMPOSE_FILE": "compose.yaml", "LB_HTTP_PORT": "18085", "LB_STATS_PORT": "25085", "BASE_URL": "http://127.0.0.1:18085", "NO_PROXY": "localhost,127.0.0.1,::1", "API_IMAGE": "mtusi-messenger:lab5-memory-validation"} +$ docker compose up -d --wait + Network mtusi2026lab5_backend Creating + Network mtusi2026lab5_backend Created + Network mtusi2026lab5_edge Creating + Network mtusi2026lab5_edge Created + Container mtusi2026lab5-valkey-1 Creating + Container mtusi2026lab5-broker-1 Creating + Container mtusi2026lab5-lb-1 Creating + Container mtusi2026lab5-postgres-1 Creating + Container mtusi2026lab5-s3-1 Creating + Container mtusi2026lab5-s3-1 Created + Container mtusi2026lab5-valkey-1 Created + Container mtusi2026lab5-s3-init-1 Creating + Container mtusi2026lab5-lb-1 Created + Container mtusi2026lab5-broker-1 Created + Container mtusi2026lab5-postgres-1 Created + Container mtusi2026lab5-migrate-1 Creating + Container mtusi2026lab5-s3-init-1 Created + Container mtusi2026lab5-migrate-1 Created + Container mtusi2026lab5-api-2 Creating + Container mtusi2026lab5-worker-1 Creating + Container mtusi2026lab5-api-1 Creating + Container mtusi2026lab5-relay-1 Creating + Container mtusi2026lab5-api-2 Created + Container mtusi2026lab5-relay-1 Created + Container mtusi2026lab5-api-1 Created + Container mtusi2026lab5-worker-1 Created + Container mtusi2026lab5-broker-1 Starting + Container mtusi2026lab5-valkey-1 Starting + Container mtusi2026lab5-postgres-1 Starting + Container mtusi2026lab5-s3-1 Starting + Container mtusi2026lab5-lb-1 Starting + Container mtusi2026lab5-s3-1 Started + Container mtusi2026lab5-s3-1 Waiting + Container mtusi2026lab5-postgres-1 Started + Container mtusi2026lab5-postgres-1 Waiting + Container mtusi2026lab5-valkey-1 Started + Container mtusi2026lab5-broker-1 Started + Container mtusi2026lab5-lb-1 Started + Container mtusi2026lab5-postgres-1 Healthy + Container mtusi2026lab5-migrate-1 Starting + Container mtusi2026lab5-migrate-1 Started + Container mtusi2026lab5-s3-1 Healthy + Container mtusi2026lab5-s3-init-1 Starting + Container mtusi2026lab5-s3-init-1 Started + Container mtusi2026lab5-s3-init-1 Waiting + Container mtusi2026lab5-migrate-1 Waiting + Container mtusi2026lab5-broker-1 Waiting + Container mtusi2026lab5-migrate-1 Waiting + Container mtusi2026lab5-s3-init-1 Waiting + Container mtusi2026lab5-broker-1 Waiting + Container mtusi2026lab5-migrate-1 Waiting + Container mtusi2026lab5-s3-init-1 Waiting + Container mtusi2026lab5-s3-init-1 Exited + Container mtusi2026lab5-migrate-1 Exited + Container mtusi2026lab5-s3-init-1 Exited + Container mtusi2026lab5-s3-init-1 Exited + Container mtusi2026lab5-migrate-1 Exited + Container mtusi2026lab5-migrate-1 Exited + Container mtusi2026lab5-api-1 Starting + Container mtusi2026lab5-broker-1 Healthy + Container mtusi2026lab5-relay-1 Starting + Container mtusi2026lab5-broker-1 Healthy + Container mtusi2026lab5-worker-1 Starting + Container mtusi2026lab5-api-1 Started + Container mtusi2026lab5-api-2 Starting + Container mtusi2026lab5-worker-1 Started + Container mtusi2026lab5-relay-1 Started + Container mtusi2026lab5-api-2 Started + Container mtusi2026lab5-relay-1 Waiting + Container mtusi2026lab5-postgres-1 Waiting + Container mtusi2026lab5-migrate-1 Waiting + Container mtusi2026lab5-s3-1 Waiting + Container mtusi2026lab5-lb-1 Waiting + Container mtusi2026lab5-worker-1 Waiting + Container mtusi2026lab5-broker-1 Waiting + Container mtusi2026lab5-valkey-1 Waiting + Container mtusi2026lab5-s3-init-1 Waiting + Container mtusi2026lab5-api-1 Waiting + Container mtusi2026lab5-api-2 Waiting + Container mtusi2026lab5-migrate-1 Exited + Container mtusi2026lab5-s3-1 Healthy + Container mtusi2026lab5-s3-init-1 Exited + Container mtusi2026lab5-broker-1 Healthy + Container mtusi2026lab5-postgres-1 Healthy + Container mtusi2026lab5-valkey-1 Healthy + Container mtusi2026lab5-api-1 Healthy + Container mtusi2026lab5-api-2 Healthy + Container mtusi2026lab5-worker-1 Healthy + Container mtusi2026lab5-relay-1 Healthy + Container mtusi2026lab5-lb-1 Healthy +exit_code: 0 elapsed_seconds: 11.284 diff --git a/evidence/load-validation.md b/evidence/load-validation.md index 67d7b22a..86925245 100644 --- a/evidence/load-validation.md +++ b/evidence/load-validation.md @@ -1,5 +1,17 @@ # Аудит применимости измерений ЛР5 +## Продолжение после исправления памяти + +Измеренный HEAD `74c33160ac01618f70e9e1c6a121a5e45c3c7155` содержит reviewed runtime M `6096aa7948b8b666aa3892397a96d044a55f02c6`. От предыдущей validation изменён только images.py; Compose, ресурсы, зависимости, dataset, API, SQL/outbox/lease/fencing и broker не менялись. Проверены 53 хеша прежних артефактов. Подробности — [audit.json](final-memory-validation-2026-11-07/audit.json). + +Принимаются три повтора track2 на D, PostgreSQL outage и 12 delivery-сценариев на V: повтор не нужен. Побайтная совместимость sample и 22 изображений подтверждена 132 вариантами в исправлении M. Прежний PNG HTTP PASS не переносится на M, а четыре граничных FAIL остаются историческими. + +Выполнены только затронутые проверки: Linux 448 MiB/30 с с импортами worker (четыре прежних 40 Мп tRNS и grayscale16 без tRNS, v1/v2); HTTP тех же PNG и одновременных jobs при concurrency=2; прежние 8 PNG/48 сравнений; принудительные лимиты и обычное задание после каждого отказа; cleanup после sweep. Полный student-test повторён из-за нового renderer и тестов, это не повтор нагрузочной матрицы. Новые SLO не вводятся. + +Новые результаты — `final-memory-validation-2026-11-07/`; старые файлы не перезаписываются. Статус: **validation PASS, прежний major закрыт динамически**. Пять граничных PNG × v1/v2 прошли Linux/HTTP; concurrency=2 без OOM; 8 малых PNG / 48 сравнений PASS. Обе HTTP-серии: по 8 сценариев и 8 инвариантов, 19 ID / 115 объектов. Student-test: 984 passed / 2 Linux-only skips, покрытых отдельным Linux-пробником. Свой стенд остановлен, четыре volumes сохранены. [Итог и команды](final-memory-validation-2026-11-07/RESULTS.md). Семь minor сохранены; публикация требует отдельной фазы. + +## Исторический аудит первой validation + Фаза validation, 2026-11-07. Исходный HEAD `b30e2f6a84419d1ca64525ffb40df92183cccaef`, runtime прошёл review на `42575281b352d35bda17ee7601bae5548a996e91` (R). Diff R → HEAD содержит только REPORT, AGENTS и два документа evidence. Реализация в этой фазе не меняется; push запрещён. Выбран трек 2 README — идемпотентность pipeline. Матрица throughput/prefetch и SLO относятся к невыбранному треку 1; новые SLO не вводятся.