Preserve infrastructure redeliveries and flatten PNG transparency

This commit is contained in:
Artyom
2026-11-06 23:33:51 +03:00
parent ef55f9ac0a
commit 3fad49d6b9
19 changed files with 592 additions and 17 deletions
@@ -0,0 +1,89 @@
# Исправления major после первого ревью ЛР5
Исходный snapshot: `544b9c78d39d0e9dd07f841894c390895896605a`.
Этап выполнялся в основном репозитории, в существующем `.venv`, без установки окружений,
Docker, нагрузки, фоновых процессов и публикации. REPORT оформляет отдельный агент.
## Что исправлено
1. В `infra/rabbitmq/definitions.json` рабочая очередь получила `delivery-limit=-1`.
При ошибке PostgreSQL до claim consumer продолжает delayed nack с теми же `job_id`/`attempt`;
брокер больше не должен отправлять сообщение в DLQ по числу доставок. `JOB_MAX_ATTEMPTS=5`,
backoff/jitter после claim, reject невалидных сообщений в DLX и ack после COMMIT сохранены.
Поддержка политики сверена с [документацией RabbitMQ 4.1](https://www.rabbitmq.com/docs/4.1/quorum-queues#poison-message-handling)
и [исходником RabbitMQ v4.1.8](https://github.com/rabbitmq/rabbitmq-server/blob/v4.1.8/deps/rabbit/src/rabbit_quorum_queue.erl)
(`args_policy_lookup`, `resolve_delivery_limit`). Это проверка кода/документации, не запуск брокера.
2. `flatten` учитывает PNG tRNS в RGB/L/1/P и точное значение 16-битного grayscale до нормализации.
Все три варианта обеих версий имеют белые прозрачные области и сохраняют непрозрачные пиксели.
Соседние grayscale 12345/12346 проверены отдельно, чтобы нормализация не создала ложную прозрачность.
## Выполненные проверки
| Команда | Наблюдение | Файл |
| --- | --- | --- |
| `PYTHONPATH=src:student-tests .venv/bin/python -m pytest --confcutdir=student-tests/unit student-tests/unit/test_renderer.py student-tests/unit/test_worker_delivery.py -q --tb=short` до исправления | 9 failed, 25 passed: RGB/L/1/16-bit и delivery-limit | `regressions-before.txt` |
| Та же команда с добавлением `student-tests/unit/test_pipeline_domain.py` после первого исправления | 2 failed, 55 passed: ошибка 16-битной тестовой fixture, см. ниже | `regressions-fixture-error.txt` |
| `PYTHONPATH=src:student-tests .venv/bin/python -m pytest --confcutdir=student-tests/unit student-tests/unit/test_renderer.py student-tests/unit/test_worker_delivery.py student-tests/unit/test_pipeline_domain.py -q --tb=short` после исправления fixture | 57 passed, без загрузки общего conftest | `regressions-after.txt` |
| `PYTHONPATH=src:student-tests .venv/bin/python -m pytest --noconftest student-tests/api/test_bounded_contexts.py -q --tb=short` | 20 passed: зоны, транспорт, SQLAlchemy | `boundaries.txt` |
| `make check` | PASS, приложение не тестировалось | `check.txt` |
| `make validate` | PASS OpenAPI/JSON Schema | `validate.txt` |
| `make lint` | PASS ruff check/format и ty | `lint.txt` |
| `openspec validate --all --strict` до архивации | 23 passed, 0 failed | `openspec.txt` |
| `git diff --check` | exit 0 | `diff.txt` |
В offline consumer-тесте 12 ошибок приводят к 12 nack и нулю ack/reject, затем успешный
bus-вызов даёт один ack; все 13 вызовов получают одно и то же задание. Пауза заменена AsyncMock.
Это не моделирует сервер RabbitMQ, реальное подключение к БД или COMMIT.
Промежуточная fixture создавала правую половину `I;16` через `paste(12346, box)`, получая
14906 из-за семантики Pillow для скалярной заливки. Заменена на вставку `Image.new('I;16', …, 12346)`
с явной проверкой исходного пикселя. Производственный код для исправления этого теста не менялся.
Неуспешные логи сохранены и не считаются PASS.
Дополнительно в одном offline Python-процессе исходный модуль из
`git show 544b9c78d39d0e9dd07f841894c390895896605a:src/messenger/attachments/infrastructure/images.py`
загружен в отдельный `ModuleType` и сопоставлен с текущим `render_variants`:
9 fixture × 2 версии × 3 варианта = **54 побайтно одинаковых варианта**.
Проверены sample, RGB/CMYK JPEG, RGBA/LA PNG, P с/без transparency, L и I;16 без tRNS.
Хеши — `unchanged-rendering.json`. Это подтверждает сохранение этих путей рендера, не throughput.
Точные SHA-256 затронутых файлов и exit codes — `checks.json`.
## Обязательные проверки финального агента
Эти проверки **НЕ запускались**. Архивация OpenSpec закрывает реализацию и offline-часть,
а не динамическую квалификацию исправления.
1. На разрешённом стенде RabbitMQ **4.1.8**, с существующим volume, применить definitions без
пересоздания очередей/удаления данных. Сохранить `rabbitmqctl list_policies -p messenger`
и эффективную policy очереди `attachments.process`, исходную глубину DLQ. Убедиться в `delivery-limit=-1`.
Старые сообщения, уже попавшие в DLQ, смена политики автоматически не возвращает.
2. Выполнить `make student-test PYTEST_ARGS='student-tests/adapters/test_rabbitmq.py -q'`:
real-broker тест теперь включает 1 и 12 инфраструктурных ошибок, ждёт завершения и проверяет,
что DLQ не выросла. Также проверить reject невалидного сообщения, publisher confirms и права worker.
3. Проверить полную цепочку с настоящим отказом БД: остановить worker, upload → `202 queued`,
дождаться опубликованного outbox, остановить PostgreSQL **своего project**, запустить worker,
получить более 10 записей `job.requeued`, восстановить PostgreSQL. Без replay получить `ready`
с прежними `job_id`/`attempt`, одним набором вариантов, совпадающими хешами и неизменной DLQ.
Сохранить ID, сырые логи и `docker ps -a` для фактически остановленных контейнеров.
4. Через LB загрузить RGB/L/1/16-bit PNG с tRNS, получить `202 → ready`, проверить белые/непрозрачные
контрольные пиксели, метаданные и хеши thumbnail/crop/optimized для pipeline v1 и v2.
Проверить tRNS-путь на пределе 40 Мпикс под Linux с заданными лимитами памяти/времени.
5. Повторить затронутые сценарии pipeline: invalid-message/DLQ, retry-exhaustion/replay,
crash до/после COMMIT и ack, duplicate/reorder/lease fencing, v1/v2, инварианты single_effect,
bounded_attempts/no_lost_202. Достаточны адресные серии suite с сохранением их команд и условий;
прежние пригодные нагрузочные серии для изображений без tRNS этим изменением не аннулированы.
Имена конкретных сценариев suite доступны в `scripts/pipeline_suite.py`; перед финальным запуском
использовать его штатные `--only`/`--output`. Прогоны public smoke/persistence/failover повторять,
если финальный аудит найдёт отсутствующее или затронутое подтверждение; прежние данные не стирать.
## Ограничения для отдельного REPORT
Пять minor первого ревью сохранены в `findings.json`. Они не исправлялись и не блокируют следующий
этап. В частности, `crash_publish_confirm` доказывает сбой после confirm до отметки outbox, старый
limits exit 1 не является PASS, reconcile_track для ЛР5 непригоден, failed upgrade не повторяется
отдельно, а спорные длительности track2 исключены из выводов о производительности.
Неограниченные инфраструктурные redelivery сохраняют сообщение при длительном отказе БД ценой
повторных попыток/записей журнала; постоянные ошибки после claim остаются ограниченными.
Для 16-битного tRNS добавляется маска 1 байт/пиксель и LUT 65536 значений; её пределы требуют Linux-прогона.
@@ -0,0 +1,2 @@
.................... [100%]
20 passed in 0.15s
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
@@ -0,0 +1,55 @@
{
"baseline_sha": "544b9c78d39d0e9dd07f841894c390895896605a",
"checks": [
{
"command": [
"make",
"check"
],
"exit_code": 0,
"output": "check.txt"
},
{
"command": [
"make",
"validate"
],
"exit_code": 0,
"output": "validate.txt"
},
{
"command": [
"make",
"lint"
],
"exit_code": 0,
"output": "lint.txt"
},
{
"command": [
"openspec",
"validate",
"--all",
"--strict"
],
"exit_code": 0,
"output": "openspec.txt"
},
{
"command": [
"git",
"diff",
"--check"
],
"exit_code": 0,
"output": "diff.txt"
}
],
"sha256": {
"src/messenger/attachments/infrastructure/images.py": "987f1e2d638412fcb4062924245314d1f16ffb8f3600c111867a5e21127f8257",
"infra/rabbitmq/definitions.json": "91c430622ed4f4d9c446d9c81b70d1b431fbad87c18b3dedd1feb34454d4b2a8",
"student-tests/unit/test_worker_delivery.py": "3b14dfbc40ca704c67b6f18bba37045dfeab1f45447ec89655e1f260ff33c2d1",
"student-tests/unit/test_renderer.py": "4c70ee4fac2b7430d21682d05e5381b4867f522cec5b764c92c781d9d9e78a92",
"student-tests/adapters/test_rabbitmq.py": "d18b135dc387077d9e165169a1b04050c9241349a7bafc2cd92fdf3227593def"
}
}
@@ -0,0 +1,27 @@
[
{
"severity": "minor",
"file": "src/messenger/attachments/application/pipeline.py:230",
"problem": "Сохранено из ревью 544b9c78d39d0e9dd07f841894c390895896605a: after_publish_before_confirm вызывается после publish(), уже проверившего Basic.Ack. crash_publish_confirm доказывает сбой после confirm до COMMIT outbox, а не потерю подтверждения."
},
{
"severity": "minor",
"file": "scripts/limits.py:10",
"problem": "Сохранено из первого ревью: S3_CLIENT_SECRETS не отсортирован, сравнение с sorted(secrets) даёт ложные FAIL. evidence/sqlalchemy-2026-11-06/grade3/limits.txt содержит exit_code=1; этот запуск нельзя обозначать PASS."
},
{
"severity": "minor",
"file": "scripts/reconcile_track.py:396",
"problem": "Сохранено из первого ревью: демонстратор ожидает upload 201 и attachments/, поэтому непригоден для квалификации ЛР5 с 202 queued. Текущие pipeline evidence его не используют."
},
{
"severity": "minor",
"file": "src/messenger/attachments/application/pipeline.py:333",
"problem": "Сохранено из первого ревью: failed upgrade v2 при опубликованной ready v1 нельзя отдельно повторить через replay/reprocess. V1 остаётся доступной; подтверждение исходного ревью — test_failed_new_version_keeps_ready_original."
},
{
"severity": "minor",
"file": "evidence/forward-final-2026-11-06/clock-observation.json",
"problem": "Сохранено из первого ревью: в повторах 2/3 UTC-интервалы расходятся с elapsed (1161.195/186.458 с и 571.513/180.259 с). Причина не установлена; длительности исключены из выводов о производительности."
}
]
@@ -0,0 +1,6 @@
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py scripts/make_images.py scripts/pipeline_suite.py scripts/pipeline_evidence.py
195 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
@@ -0,0 +1,25 @@
✓ spec/lab1-event-publication
✓ spec/lab1-messenger-chats
✓ spec/lab1-messenger-history
✓ spec/lab1-messenger-identity
✓ spec/lab1-service-operability
✓ spec/lab2-auth-sessions
✓ spec/lab2-dependency-failures
✓ spec/lab2-history-index
✓ spec/lab2-persistent-storage
✓ spec/lab2-session-cache
✓ spec/lab3-failover-operations
✓ spec/lab3-idempotent-messages
✓ spec/lab3-load-balancing
✓ spec/lab4-attachments
✓ spec/lab4-object-storage
✓ spec/lab4-storage-reconciler
✓ spec/lab4-upload-resilience
✓ spec/lab5-attachment-pipeline
✓ change/lab5-critical-review-fixes
✓ spec/lab5-image-variants
✓ spec/lab5-job-delivery
✓ spec/lab5-job-recovery
✓ spec/lab5-versioned-pipeline
Totals: 23 passed, 0 failed (23 items)
- Validating...
@@ -0,0 +1,2 @@
......................................................... [100%]
57 passed in 0.32s
@@ -0,0 +1,73 @@
...........FFFFFF..FF.........F... [100%]
=================================== FAILURES ===================================
_ test_png_trns_is_white_without_changing_opaque_pixels[RGB-transparent0-opaque0-expected0-1] _
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (254, 0, 0) == (255, 255, 255)
E
E At index 0 diff: 254 != 255
E Use -v to get more diff
_ test_png_trns_is_white_without_changing_opaque_pixels[RGB-transparent0-opaque0-expected0-2] _
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (254, 0, 0) == (255, 255, 255)
E
E At index 0 diff: 254 != 255
E Use -v to get more diff
__ test_png_trns_is_white_without_changing_opaque_pixels[L-0-96-expected1-1] ___
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (0, 0, 0) == (255, 255, 255)
E
E At index 0 diff: 0 != 255
E Use -v to get more diff
__ test_png_trns_is_white_without_changing_opaque_pixels[L-0-96-expected1-2] ___
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (0, 0, 0) == (255, 255, 255)
E
E At index 0 diff: 0 != 255
E Use -v to get more diff
__ test_png_trns_is_white_without_changing_opaque_pixels[1-0-255-expected2-1] __
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (0, 0, 0) == (255, 255, 255)
E
E At index 0 diff: 0 != 255
E Use -v to get more diff
__ test_png_trns_is_white_without_changing_opaque_pixels[1-0-255-expected2-2] __
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (0, 0, 0) == (255, 255, 255)
E
E At index 0 diff: 0 != 255
E Use -v to get more diff
_ test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-1] _
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (48, 48, 48) == (255, 255, 255)
E
E At index 0 diff: 48 != 255
E Use -v to get more diff
_ test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-2] _
student-tests/unit/test_renderer.py:119: in test_png_trns_is_white_without_changing_opaque_pixels
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
E assert (48, 48, 48) == (255, 255, 255)
E
E At index 0 diff: 48 != 255
E Use -v to get more diff
_ test_infrastructure_requeues_preserve_the_message_and_dead_letter_rejections _
student-tests/unit/test_worker_delivery.py:21: in test_infrastructure_requeues_preserve_the_message_and_dead_letter_rejections
assert policy["definition"]["delivery-limit"] == -1
E assert 10 == -1
=========================== short test summary info ============================
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[RGB-transparent0-opaque0-expected0-1]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[RGB-transparent0-opaque0-expected0-2]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[L-0-96-expected1-1]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[L-0-96-expected1-2]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[1-0-255-expected2-1]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[1-0-255-expected2-2]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-1]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-2]
FAILED student-tests/unit/test_worker_delivery.py::test_infrastructure_requeues_preserve_the_message_and_dead_letter_rejections
9 failed, 25 passed in 0.35s
@@ -0,0 +1,16 @@
...................FF.................................... [100%]
=================================== FAILURES ===================================
_ test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-1] _
student-tests/unit/test_renderer.py:122: in test_png_trns_is_white_without_changing_opaque_pixels
assert all(abs(a - b) <= 3 for a, b in zip(pixel, expected, strict=True))
E assert False
E + where False = all(<generator object test_png_trns_is_white_without_changing_opaque_pixels.<locals>.<genexpr> at 0x10707d120>)
_ test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-2] _
student-tests/unit/test_renderer.py:122: in test_png_trns_is_white_without_changing_opaque_pixels
assert all(abs(a - b) <= 3 for a, b in zip(pixel, expected, strict=True))
E assert False
E + where False = all(<generator object test_png_trns_is_white_without_changing_opaque_pixels.<locals>.<genexpr> at 0x10707e2f0>)
=========================== short test summary info ============================
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-1]
FAILED student-tests/unit/test_renderer.py::test_png_trns_is_white_without_changing_opaque_pixels[I;16-12345-12346-expected4-2]
2 failed, 55 passed in 0.34s
@@ -0,0 +1,168 @@
{
"baseline_sha": "544b9c78d39d0e9dd07f841894c390895896605a",
"result": "PASS",
"cases": [
{
"fixture": "sample",
"pipeline_version": 1,
"variants": {
"thumbnail": "7bc40bf315c8e18e907889b23514d978be213a44223d64b737290188ee808594",
"crop": "97bf1400b30a28c19420a30161c944f57b5e7d613533b76afe6ab2531cba0143",
"optimized": "1090d84ed8411226010ae498b08e1b9e6d81c8eee02ee77143a0dc327b894beb"
}
},
{
"fixture": "sample",
"pipeline_version": 2,
"variants": {
"thumbnail": "fa0db661078d4da91b241edc8b416de7755db9c9c79ae704a620ca7ad534e308",
"crop": "5b6fb2a66216f8ca038542acdd8482fca9d1ad79193d60ae74de3989048ec0a4",
"optimized": "fe520c978bd45fc8f1b85863dc9dc6fc98954b45d7fe803e8e4c6b681ddc1957"
}
},
{
"fixture": "RGB",
"pipeline_version": 1,
"variants": {
"thumbnail": "28b0b092da0f4313332e7f58d2dd6e034c2a38d85c11e25a14e4cc31c7668c36",
"crop": "a7cfd98a348315426838146dbf7fb6cd7ea6fc54f2a1592d56237afe1046f606",
"optimized": "be8caf69fbbf3f646d4740292539d9e0b1de7505e4680c338077e484587160c7"
}
},
{
"fixture": "RGB",
"pipeline_version": 2,
"variants": {
"thumbnail": "ff097b7c5dafd8b71338e4e4dd24bf3228ee7696e4ef1379f540de74710a5af3",
"crop": "c21b40cfe64d62de988e486561ae8f0deea620908815cdeda9a5a59eea311a02",
"optimized": "fedebf785bddbf2e97e52752bb6c1b21624b6d5b7914d4d110cb483ed4a5d346"
}
},
{
"fixture": "CMYK",
"pipeline_version": 1,
"variants": {
"thumbnail": "ac5daf302b42a618e045732a586dd4d9945b769c9a8caa94bc2839ccfe298a5b",
"crop": "48d4de523377b98cf270e9345ff04e5c019b0763d0bc94f32611122ff1856fed",
"optimized": "bee9468dbcad822590916056bfa3767c35b897ce60f44499b1f39e67b891b833"
}
},
{
"fixture": "CMYK",
"pipeline_version": 2,
"variants": {
"thumbnail": "cb3972a0ea283d66bc0b5dfc8feb36281331643f0f3ed9db2d70e8956718dd6c",
"crop": "a8ff9b14ffa3ac3988eda569a39c9a6f7d56a56d509b21cbe972ebab648317da",
"optimized": "ea6f686cd1c2e483931a97ea94ded0c344339609f0d9afcbbdfe157507ae9b0a"
}
},
{
"fixture": "RGBA",
"pipeline_version": 1,
"variants": {
"thumbnail": "6d7c38650088487bba025b4c98561d4b1c04406bb03c52c4a9184835f69abeef",
"crop": "ef07355eb9b8d8fe466be550c516377ba8a7c5b43609744653db23cb34df8646",
"optimized": "c006b2e2616bbce71269ff932b0a023d8925e733b32e7e222c2595b9cdada473"
}
},
{
"fixture": "RGBA",
"pipeline_version": 2,
"variants": {
"thumbnail": "9fead8d0bfffdb7a2f68777d357d843f5ab4f2393491e1756badfa68f0120d5b",
"crop": "e5ac07fd10c308b5d314deb893cf0c010de8a934959d576516c8f6323dca0d49",
"optimized": "c3b4f1b532c6689d4f056e020749243d81bd79eae603d0148bafad38c0ba29a0"
}
},
{
"fixture": "LA",
"pipeline_version": 1,
"variants": {
"thumbnail": "93da2f71167ac8929e41ba5cb354a1fb4564b33010888c7e7e7dfa6f93472640",
"crop": "672dacf96ca8abdcd70664de71bfd0540d26b018d99e216c7e2a0ed994ba19cf",
"optimized": "eeed993fc15f9e6234f7184cd243e09b382884d48ac557016480d28d02877fed"
}
},
{
"fixture": "LA",
"pipeline_version": 2,
"variants": {
"thumbnail": "94ea37336fe9457bcadfe98333142d37007863c30bc1b261524a856dfe9b9787",
"crop": "854e3d20ab31d217525ae5997144e0b498cef1fc22bca3707dbc74cdd3343dbf",
"optimized": "dd0af1c14848abf14e41b364eb576615b88da373734ef44c6446ce12431833c3"
}
},
{
"fixture": "P",
"pipeline_version": 1,
"variants": {
"thumbnail": "cdadbef863c5819a1bd7a03bb67c8fa22be4b26fe3709fb66006429459585e41",
"crop": "4fb3b365a5278998ed1e11afc2d4d5deca2c06ebd5c45b28eaeebb56619343b4",
"optimized": "292ee17f29c203733ba10623a751d1a786befeb84dd8d53c48b30b1964dc58df"
}
},
{
"fixture": "P",
"pipeline_version": 2,
"variants": {
"thumbnail": "96ea77f747af17185f3b8ff64c0d4280df4130c5b64f7ed6af18b56ab6c97409",
"crop": "4703e8731b7d52cf95d7e6db1ba2c000aa9a0f9aa3b851b31a24a7be4bcf7281",
"optimized": "4126871c04e218d2219b8db7a1aa1f650fcb0869d563d8dc8b2170369002b1a0"
}
},
{
"fixture": "L",
"pipeline_version": 1,
"variants": {
"thumbnail": "97670517bb36708901f9ed484ea66c5637597059871f73508233e44911e0f0c8",
"crop": "fbbf2c3d52ac9797b96cae8185591d5eeee051c0294c4b2a2654cde711499b36",
"optimized": "ce9bf66572832bc634564343e604866518dd665c86c9fbe079943db1de717840"
}
},
{
"fixture": "L",
"pipeline_version": 2,
"variants": {
"thumbnail": "5dcd5590c17fb7f2eb647f17bcdeb510c97dfe56bb1ccfb2264fcb4646475848",
"crop": "792f7709fa29acd44ead9a90322fa6c14e344105f4db4b5f8744cfaf33eaf51e",
"optimized": "0ebefcaf44fb7fc0b330a34826a419fc7fbc88a15ba805873b4fdf6fa1e662b8"
}
},
{
"fixture": "I;16",
"pipeline_version": 1,
"variants": {
"thumbnail": "59472ec8f914eb4502ffd2591a59ac68b05cccefeedc678f5ad2919cd2c6a3a2",
"crop": "91eed7d7e1f422bfc3827903cc6801a37387d642a1b4fcc08e23b2de4840a3d7",
"optimized": "43938a0dc7ba6e835d20c40b8293309b3bad9677eba406cf77b8011f8dcd2b63"
}
},
{
"fixture": "I;16",
"pipeline_version": 2,
"variants": {
"thumbnail": "13ea6ae5bd526b8b0ad4e88ff72498ff48c6d50f8d12e81ad6773a1eaa9fc177",
"crop": "2d5dbe60802e4aa1c3ff20c112df454c70a12e2c9fccc99137802a5556e270bf",
"optimized": "25badf5c956bd1f36fc4ce2fdfff541e03191c12a54eab6f4d9be6942fd69053"
}
},
{
"fixture": "P-transparent",
"pipeline_version": 1,
"variants": {
"thumbnail": "85e14fe759886d5d9585503889ce2838048fa6c00157c8f8aa179d2253d13dc2",
"crop": "1b88218fd7e3ff00d6fa3e4bb732411617126591b2b6837aecdcaef426327eda",
"optimized": "c460bd3f650faca539921742e03810591f2c81179eb3d46313a21c6ea7884448"
}
},
{
"fixture": "P-transparent",
"pipeline_version": 2,
"variants": {
"thumbnail": "f83468520aba20e724ed58d892a3d17882f3323f1be94eef371193d200812f9e",
"crop": "45eac1bd54dba273142a01a3f01a1530787db5a9fe04aa2483862256dbf16132",
"optimized": "b52d93eeb4ae525d61a463bce9a00ccd554de0e9519b1e1e122afe47a3a4def5"
}
}
]
}
@@ -0,0 +1,2 @@
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
+1 -1
View File
@@ -26,7 +26,7 @@
"dead-letter-exchange": "attachments.dlx",
"dead-letter-strategy": "at-least-once",
"overflow": "reject-publish",
"delivery-limit": 10
"delivery-limit": -1
}
},
{
@@ -1,15 +1,15 @@
## 1. Доставка уровня «3»
- [ ] 1.1 Изменить политику рабочей очереди для инфраструктурных повторов, сохранив DLX и конечные application retries.
- [ ] 1.2 Добавить offline-регрессию consumer и политики; расширить реальный RabbitMQ-тест до 12 ошибок, не запуская Docker. Проверить offline consumer через pytest.
- [x] 1.1 Изменить политику рабочей очереди для инфраструктурных повторов, сохранив DLX и конечные application retries.
- [x] 1.2 Добавить offline-регрессию consumer и политики; расширить реальный RabbitMQ-тест до 12 ошибок, не запуская Docker. Проверить offline consumer через pytest.
## 2. Прозрачность вариантов уровней «3»/«4» и версий трека «5»
- [ ] 2.1 Исправить tRNS в Pillow до композиции на белый фон, сохранив непрозрачные оттенки.
- [ ] 2.2 Добавить и выполнить offline-регрессии всех вариантов v1/v2 для RGB/L/1/16-bit PNG, а также прежние renderer/domain тесты.
- [x] 2.1 Исправить tRNS в Pillow до композиции на белый фон, сохранив непрозрачные оттенки.
- [x] 2.2 Добавить и выполнить offline-регрессии всех вариантов v1/v2 для RGB/L/1/16-bit PNG, а также прежние renderer/domain тесты.
## 3. Проверки и передача
- [ ] 3.1 Выполнить make check, make validate, make lint и строгую валидацию OpenSpec; сохранить реальные результаты offline-проверок.
- [ ] 3.2 Зафиксировать обязательные динамические проверки для финального агента и прежние minor для отчёта; не объявлять их исправленными или проверенными.
- [x] 3.1 Выполнить make check, make validate, make lint и строгую валидацию OpenSpec; сохранить реальные результаты offline-проверок.
- [x] 3.2 Зафиксировать обязательные динамические проверки для финального агента и прежние minor для отчёта; не объявлять их исправленными или проверенными.
- [ ] 3.3 Синхронизировать specs и архивировать завершённый цикл с датой и lab: 5; проверить отсутствие активного change.
@@ -88,10 +88,13 @@ class PillowImageInspector:
def flatten(image: Image.Image) -> Image.Image:
if image.mode in WIDE_MODES:
image = image.convert("I").point(lambda value: value / 256, "L")
if image.mode == "P":
image = image.convert("RGBA" if "transparency" in image.info else "RGB")
if image.mode in ALPHA_MODES:
image = image.convert("I")
if (transparent := image.info.pop("transparency", None)) is not None:
mask = [0] * 65536
mask[transparent] = 255
image.paste(65535, mask=image.point(mask, "L"))
image = image.point(lambda value: value / 256, "L")
if image.mode in ALPHA_MODES or "transparency" in image.info:
image = image.convert("RGBA")
if image.mode == "RGBA":
background = Image.new("RGB", image.size, "white")
+9 -3
View File
@@ -242,14 +242,20 @@ async def test_message_off_the_schema_goes_to_the_dead_letter_queue(
assert depth(rabbitmq, "attachments.process") == 0
async def test_failed_processing_is_requeued_and_retried(rabbitmq: dict[str, Any]) -> None:
@pytest.mark.parametrize("failures", [1, 12])
async def test_failed_processing_is_requeued_and_retried(
rabbitmq: dict[str, Any], failures: int
) -> None:
recorder, sent = Recorder(), job()
recorder.failures = 1
recorder.failures = failures
before = depth(rabbitmq, "attachments.process.dlq")
async with publisher(rabbitmq) as jobs:
await jobs.publish(sent.id, body(sent.payload()))
async with worker(rabbitmq, recorder):
await wait_for(lambda: recorder.jobs)
await wait_for(lambda: recorder.jobs, seconds=40)
await wait_for(lambda: depth(rabbitmq, "attachments.process") == 0)
assert recorder.jobs == [sent]
assert depth(rabbitmq, "attachments.process.dlq") == before
async def test_worker_account_cannot_publish(rabbitmq: dict[str, Any]) -> None:
+39 -3
View File
@@ -5,7 +5,12 @@ from PIL import Image
from messenger.attachments.application.ports import Rendition
from messenger.attachments.domain.errors import ImageTooDemanding, UnreadableImage
from messenger.attachments.infrastructure.images import RenderLimits, render_variants
from messenger.attachments.domain.values import ImageKind
from messenger.attachments.infrastructure.images import (
PillowImageInspector,
RenderLimits,
render_variants,
)
from pictures import SAMPLE
LIMITS = RenderLimits(max_bytes=10_485_760, max_pixels=40_000_000)
@@ -22,8 +27,8 @@ def encoded(image: Image.Image, kind: str = "PNG", **options: object) -> bytes:
return buffer.getvalue()
def rendered(data: bytes) -> dict[str, Image.Image]:
renditions: list[Rendition] = render_variants(data, LIMITS)
def rendered(data: bytes, version: int = 1) -> dict[str, Image.Image]:
renditions: list[Rendition] = render_variants(data, LIMITS, version)
assert [rendition.name for rendition in renditions] == ["thumbnail", "crop", "optimized"]
images = {}
for rendition in renditions:
@@ -87,6 +92,37 @@ def test_palette_transparency_is_composed_on_white() -> None:
assert image.convert("RGB").getpixel((5, 5)) == (255, 255, 255)
@pytest.mark.parametrize("version", [1, 2])
@pytest.mark.parametrize(
("mode", "transparent", "opaque", "expected"),
[
("RGB", (255, 0, 0), (32, 96, 160), (32, 96, 160)),
("L", 0, 96, (96, 96, 96)),
("1", 0, 255, (255, 255, 255)),
("1", 255, 0, (0, 0, 0)),
("I;16", 12345, 12346, (48, 48, 48)),
],
)
async def test_png_trns_is_white_without_changing_opaque_pixels(
version: int,
mode: str,
transparent: int | tuple[int, int, int],
opaque: int | tuple[int, int, int],
expected: tuple[int, int, int],
) -> None:
source = Image.new(mode, (64, 64), transparent)
source.paste(Image.new(mode, (32, 64), opaque), (32, 0))
assert source.getpixel((58, 32)) == opaque
data = encoded(source, transparency=transparent)
info = await PillowImageInspector(LIMITS.max_pixels, 1).inspect(data, ImageKind.PNG)
assert (info.width, info.height) == (64, 64)
for image in rendered(data, version).values():
assert image.getpixel((5, image.height // 2)) == (255, 255, 255)
pixel = image.getpixel((image.width - 6, image.height // 2))
assert isinstance(pixel, tuple)
assert all(abs(a - b) <= 3 for a, b in zip(pixel, expected, strict=True))
@pytest.mark.parametrize(
("orientation", "thumbnail", "optimized"),
[(6, (128, 256), (200, 400)), (3, (256, 128), (400, 200))],
@@ -0,0 +1,63 @@
import asyncio
import json
from datetime import UTC, datetime
from pathlib import Path
from unittest.mock import AsyncMock, Mock, call
from uuid import uuid4
import pytest
from messenger.attachments.application.commands import ProcessJob
from messenger.attachments.domain.jobs import Job, Outcome
from messenger.attachments.entrypoints.worker import REQUEUE_DELAY_SECONDS, handle_job
from messenger.shared.application.errors import Unavailable
def test_infrastructure_requeues_preserve_the_message_and_dead_letter_rejections() -> None:
path = Path(__file__).resolve().parents[2] / "infra/rabbitmq/definitions.json"
definitions = json.loads(path.read_text())
policy = next(p for p in definitions["policies"] if p["name"] == "attachments-process")
queue = next(q for q in definitions["queues"] if q["name"] == "attachments.process")
assert policy["definition"]["delivery-limit"] == -1
assert "x-delivery-limit" not in queue["arguments"]
assert policy["definition"]["dead-letter-exchange"] == "attachments.dlx"
assert policy["definition"]["dead-letter-strategy"] == "at-least-once"
async def test_database_outage_never_acks_and_recovery_keeps_job_and_attempt(
monkeypatch: pytest.MonkeyPatch,
) -> None:
job = Job(uuid4(), uuid4(), 1, 1, datetime.now(UTC))
message = AsyncMock(body=json.dumps(job.payload()).encode())
bus, logger, sleep = AsyncMock(), Mock(), AsyncMock()
monkeypatch.setattr("messenger.attachments.entrypoints.worker.asyncio.sleep", sleep)
bus.execute.side_effect = [Unavailable("database unavailable")] * 12 + [Outcome.DONE]
for _ in range(12):
await handle_job(message, bus, logger)
message.ack.assert_not_awaited()
message.reject.assert_not_awaited()
assert message.nack.await_args_list == [call(requeue=True)] * 12
assert sleep.await_args_list == [call(REQUEUE_DELAY_SECONDS)] * 12
await handle_job(message, bus, logger)
message.ack.assert_awaited_once_with()
assert bus.execute.await_args_list == [call(ProcessJob(job))] * 13
async def test_invalid_message_is_dead_lettered_without_calling_the_bus() -> None:
message, bus = AsyncMock(body=b"{}"), AsyncMock()
await handle_job(message, bus, Mock())
message.reject.assert_awaited_once_with(requeue=False)
message.ack.assert_not_awaited()
message.nack.assert_not_awaited()
bus.execute.assert_not_awaited()
async def test_cancelled_handler_leaves_delivery_unacknowledged() -> None:
job = Job(uuid4(), uuid4(), 1, 1, datetime.now(UTC))
message, bus = AsyncMock(body=json.dumps(job.payload()).encode()), AsyncMock()
bus.execute.side_effect = asyncio.CancelledError
with pytest.raises(asyncio.CancelledError):
await handle_job(message, bus, Mock())
message.ack.assert_not_awaited()
message.nack.assert_not_awaited()
message.reject.assert_not_awaited()