Archive the PNG validation fix and record offline evidence

This commit is contained in:
Artyom
2026-11-06 13:00:51 +03:00
parent 9387c3d82a
commit 7342d5d97a
21 changed files with 279 additions and 2 deletions
+8
View File
@@ -1,3 +1,11 @@
# Исправление PNG после независимого ревью
Код: `9387c3d82ab77ea376eecce19a36a22803d35efb`.
[Причина, offline-регрессии и обязательные финальные проверки](png-validation-fix/NOTES.md).
Повреждённый IDAT с корректными CRC отклоняется до записи; новый путь распаковки требует
повторного динамического подтверждения загрузок и памяти. Прежние измерения ниже сохранены
с исходными SHA и не объявляются замерами нового инспектора.
# Поздние исправления источника
После исходной SQLAlchemy-серии перенесён диапазон f591fa6→ba78cf6 финальной ЛР3.
+65
View File
@@ -0,0 +1,65 @@
# Исправление major: PNG с целыми CRC и повреждённым IDAT
Проверяемый исходный snapshot: `8bc2da2c094afc7e5f5e97c7beb5f278e76253fd`.
OpenSpec proposal: `f0521fa1e05bb3ecdccebffc208e704437c10a80`.
Исправленный код и тесты: `9387c3d82ab77ea376eecce19a36a22803d35efb`.
Среда: существующая `.venv`, Python 3.14.5, Pillow 13.0.0, macOS; окружения не устанавливались.
## Причина и исправление
`Image.verify()` проверял CRC/структуру PNG без распаковки IDAT. Файл RGB8 1×1 из 74 байт с `IDAT=b'not a zlib stream'` проходил инспектор, хотя независимый `Image.load()` выдавал `OSError: broken data stream`.
После CRC адаптер проверяет завершённость zlib и Adler-32, точную длину строк и допустимость фильтров 0–4. Поддержаны все разрешённые цветовые типы/глубины, семь проходов Adam7 и разделение IDAT в произвольных местах. Дополнительная память ограничена входными и выходными блоками по 64 KiB; ни изображение, ни одна широкая строка не собираются целиком. После завершения zlib неиспользованный хвост игнорируется без накопления, как предписывает PNG §11.2.3. Лимит 40 MP проверяется первым.
Проверка остаётся за `ImageInspector` в зоне attachments и выполняется до intent/COMMIT/PUT. Схема, SQLAlchemy/Alembic, JPEG, контейнеры и настройки слотов не менялись. Это исправляет негативный критерий уровней «3»/«4»; окончательное подтверждение на стенде относится к финальному этапу.
Документация: Context7 `/python-pillow/pillow/13.0.0` (`verify` не декодирует изображение); [PNG §7–11](https://www.w3.org/TR/png-3/). Собственные малые PNG проверены независимым `Image.load()`, а не только новым валидатором.
## Реально выполненные проверки
| Команда | Наблюдение | Файл |
| --- | --- | --- |
| `.venv/bin/pytest -q student-tests/unit/test_image_inspection.py` до изменения приложения | 1 failed: `UnsupportedImage` не возникло; CRC проходят, `Image.load()` падает | `before.txt` |
| `make student-test PYTEST_ARGS='-q --tb=short student-tests/unit'` | 383 passed, включая 203 новые проверки | `unit-final.txt` |
| `make lint` перед коммитом реализации | ruff check, format (166 файлов), ty — PASS | `lint-final.txt` |
| `make check` | структура, refs, синтаксис — PASS, в том числе после архивации | `check.txt`, `check-final.txt` |
| `make validate` | OpenAPI 3.1 / JSON Schema — PASS | `validate.txt` |
| Прямой вызов 19 функций `test_*` из `student-tests/api/test_bounded_contexts.py` через `runpy.run_path` | 19 PASS, без pytest-fixture БД | `boundaries.txt` |
| `openspec validate --all --strict --no-interactive` | 18 спецификаций PASS после синхронизации и архивации | `openspec-final.txt` |
`manifest.json` фиксирует SHA и Git blob-хеши всех семи изменённых файлов приложения/тестов. Архивный коммит меняет только документацию и evidence; исходники проверок и реализации совпадают с указанным коммитом. Цикл завершён в `openspec/changes/archive/2026-11-06-fix-png-pixel-validation/`.
ASGI-регрессия использует настоящий upload-роутер, шину, handler, инспектор и обработчики ошибок, подменяя членство и порты хранилищ: ответ `415 unsupported_media_type`, корректные `X-Request-Id`/`X-Instance-Id`, ни транзакции, ни вызовов БД/S3, ни событий. Это не проверка реальных PostgreSQL/S3 или LB.
Unit-проверки памяти ограничивают Python-аллокации двумя MB при 8 MB распакованного потока (включая одну широкую строку), запрещают вызов полного PNG `load()` и проверяют раннее отклонение лишних распакованных байтов. Это не измерения RSS/cgroup или конкурентной HTTP-нагрузки. Проверены ровно 40 MP и `413` до распаковки при превышении.
`unit.txt` (381 passed) и `lint.txt` — промежуточный WIP до уточнения допустимого хвоста IDAT; итог относится к `*-final.txt`. При разработке независимый Pillow обнаружил ошибку в новой тестовой матрице Adam7; шаблон исправлен до итогового прогона. Исходный failed-тест сохранён отдельно.
Команда статической проверки границ:
```sh
.venv/bin/python - <<'PY'
import runpy
namespace = runpy.run_path('student-tests/api/test_bounded_contexts.py')
tests = [(name, check) for name, check in namespace.items() if name.startswith('test_')]
for name, check in tests:
check()
print('PASS', name)
print(len(tests), 'static boundary checks passed; no pytest API database fixture invoked')
PY
```
## Обязательный финальный прогон: затронутые проверки
Docker и нагрузка на этапе исправления запрещены и не запускались. Фон Docker неизвестен: инвентаризация контейнеров не выполнялась, результаты других лабораторных не использовались. Следующие пункты **не проверены этим этапом**:
1. Выполнить `make student-test PYTEST_ARGS='-q student-tests/api/test_attachments.py student-tests/api/test_message_attachments.py student-tests/api/test_upload_consistency.py'`. Новая регрессия включена в негативную матрицу API: настоящий PostgreSQL, S3 подменён тестовым портом. Проверка с настоящим S3 — следующий пункт.
2. `make test` и `make upload-faults` через LB. В негативный suite добавлен именно 74-байтовый PNG из ревью. Сохранить raw-ответы, отсутствие `500`, число строк и отсутствие новых объектов. Положительные загрузки PNG/JPEG должны по-прежнему давать `201`, скачивание — исходные байты.
3. Повторить затронутую матрицу памяти: 3 слота × 1/10 MiB × 10/20/40 загрузок, три серии, например `make upload-memory ARGS='--slots 3 --out evidence/png-validation-final/upload-memory/run1'` и новые каталоги run2/run3. Дополнить случаем сильно сжатого PNG на 40 MP с высокой глубиной цвета при ≥10 одновременных загрузках: штатные лимиты, все корректные запросы `201`, без OOM, пик ниже `API_MEMORY`. Стандартный генератор upload-memory не заменяет этот дополнительный случай. Записать фон, cgroup, число успехов, ошибки и таймауты. Если отчёт заявляет новое сравнение 64/3 слота, повторить и затронутую контрольную серию либо явно оставить её исторической с исходным SHA.
4. В `make reconcile-demo` затронута часть upload во время сверки: повторить именно эту часть на новом инспекторе с проверкой сохранности готовых загрузок. Чистый обход, карантин, SQL и стоимость 1k/10k/30k/100k не изменены; повторять 27 пригодных измерений стоимости из-за этого фикса не нужно.
Пути скачивания, persistence/failover, bootstrap и права S3 не менялись. Прежние подтверждения этих свойств сохраняются с исходными SHA; финальный агент сверяет их применимость, не выдавая за новые прогоны. Все прежние upload-memory числа остаются историческими и не доказывают расход нового инспектора. Не удалять volumes/пользовательские данные ради подготовки измерений.
## Ограничения для отчётного агента
Известный minor `src/messenger/messaging/entrypoints/schemas.py:35` с непарными Unicode-суррогатами не входит в назначенное исправление и сохранён: первичное доказательство `evidence/forward-final-2026-11-06/known-minor-http.txt`. Новых minor этим исправлением не заявлено. Итоговый `REPORT.md` и публикация остаются отдельными этапами runner.
+18
View File
@@ -0,0 +1,18 @@
F [100%]
=================================== FAILURES ===================================
_____________ test_png_with_valid_crc_and_invalid_zlib_is_rejected _____________
async def test_png_with_valid_crc_and_invalid_zlib_is_rejected() -> None:
assert len(BROKEN_PNG) == 74
with Image.open(BytesIO(BROKEN_PNG)) as image:
image.verify()
with Image.open(BytesIO(BROKEN_PNG)) as image, pytest.raises(OSError):
image.load()
> with pytest.raises(UnsupportedImage):
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
E Failed: DID NOT RAISE UnsupportedImage
student-tests/unit/test_image_inspection.py:18: Failed
=========================== short test summary info ============================
FAILED student-tests/unit/test_image_inspection.py::test_png_with_valid_crc_and_invalid_zlib_is_rejected
1 failed in 0.15s
@@ -0,0 +1,20 @@
PASS test_identity_does_not_know_about_messaging
PASS test_attachments_and_other_zones_do_not_import_each_other
PASS test_domains_do_not_import_infrastructure
PASS test_core_layers_do_not_import_pydantic
PASS test_shared_knows_nothing_about_zones
PASS test_shared_core_is_free_of_transport
PASS test_shared_core_holds_only_platform
PASS test_shared_entrypoints_hold_only_transport
PASS test_every_zone_owns_its_errors_events_and_commands
PASS test_every_zone_owns_its_http_layer
PASS test_only_main_knows_several_zones
PASS test_application_has_no_separate_entrypoints_root
PASS test_shared_source_mentions_no_domain_vocabulary
PASS test_shared_declares_no_concrete_commands_or_events
PASS test_shared_has_no_test_doubles
PASS test_zone_errors_do_not_leak_transport_codes
PASS test_sql_of_each_zone_reads_only_its_tables
PASS test_messaging_does_not_import_identity_at_all
PASS test_sqlalchemy_stays_in_infrastructure_and_asyncpg_is_only_a_driver
19 static boundary checks passed; no pytest API database fixture invoked
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
+2
View File
@@ -0,0 +1,2 @@
python3 scripts/check_contract.py
PASS: offline skeleton structure, local refs and Python syntax; application NOT tested.
@@ -0,0 +1,6 @@
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
166 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
@@ -0,0 +1,6 @@
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
166 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
+6
View File
@@ -0,0 +1,6 @@
.venv/bin/ruff check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
All checks passed!
.venv/bin/ruff format --check src student-tests scripts/capture_evidence.py alembic scripts/scaling.py tools scripts/probe.py scripts/limits.py scripts/lab4_scenarios.py scripts/lab4_seed.py scripts/upload_memory.py scripts/reconcile_check.py scripts/reconcile_track.py
166 files already formatted
.venv/bin/ty check src student-tests alembic
All checks passed!
+76
View File
@@ -0,0 +1,76 @@
{
"recorded_at": "2026-11-06T10:00:26.157913+00:00",
"input_review_sha": "8bc2da2c094afc7e5f5e97c7beb5f278e76253fd",
"proposal_sha": "f0521fa1e05bb3ecdccebffc208e704437c10a80",
"implementation_sha": "9387c3d82ab77ea376eecce19a36a22803d35efb",
"environment": {
"python": "3.14.5",
"pillow": "13.0.0",
"system": "Darwin"
},
"validated_blobs": {
"src/messenger/attachments/infrastructure/images.py": "9f9dae5e36a2af3dbbeabf24c1208b9acf35c7c8",
"src/messenger/attachments/infrastructure/png.py": "4e3aa4f9a0a85556948ddf387f8e20d1b227d2fb",
"student-tests/api/test_attachments.py": "055eccdc4628dfa462a0a8315924fb5615c3e6e3",
"student-tests/pictures.py": "9b97353fdc1fa5e4a8562280a23e18042a070b99",
"student-tests/stack/test_attachment_faults.py": "dcc70ef0feda511dd711770eb1be76c76814660d",
"student-tests/unit/test_image_inspection.py": "d1498d75673f67d9da0138dff40f2eb978b50359",
"student-tests/unit/test_png_upload.py": "b55e9b2a8679a473248c36eac525101f53f9361f"
},
"checks": [
{
"command": ".venv/bin/pytest -q student-tests/unit/test_image_inspection.py",
"stage": "before application fix",
"exit_code": 1,
"log": "before.txt"
},
{
"command": "make student-test PYTEST_ARGS='-q --tb=short student-tests/unit'",
"exit_code": 0,
"log": "unit-final.txt",
"passed": 383
},
{
"command": "make lint",
"exit_code": 0,
"log": "lint-final.txt"
},
{
"command": "make check",
"exit_code": 0,
"log": "check.txt"
},
{
"command": "make validate",
"exit_code": 0,
"log": "validate.txt"
},
{
"command": "runpy.run_path + direct test_* calls; exact command in NOTES.md",
"exit_code": 0,
"log": "boundaries.txt",
"passed": 19
},
{
"command": "openspec validate --all --strict --no-interactive",
"exit_code": 0,
"log": "openspec-final.txt",
"passed": 18
},
{
"command": "make check",
"stage": "after archive",
"exit_code": 0,
"log": "check-final.txt"
},
{
"command": "make lint",
"stage": "before archive commit",
"exit_code": 0,
"log": "lint-archive.txt"
}
],
"docker_invoked": false,
"load_invoked": false,
"dynamic_validation": "pending final runner stage; see NOTES.md"
}
@@ -0,0 +1,19 @@
✓ spec/lab1-event-publication
✓ spec/lab1-messenger-chats
✓ spec/lab1-messenger-history
✓ spec/lab1-messenger-identity
✓ spec/lab1-service-operability
✓ spec/lab2-auth-sessions
✓ spec/lab2-dependency-failures
✓ spec/lab2-history-index
✓ spec/lab2-persistent-storage
✓ spec/lab2-session-cache
✓ spec/lab3-failover-operations
✓ spec/lab3-idempotent-messages
✓ spec/lab3-load-balancing
✓ spec/lab4-attachments
✓ spec/lab4-evidence-runs
✓ spec/lab4-object-storage
✓ spec/lab4-storage-reconciler
✓ spec/lab4-upload-resilience
Totals: 18 passed, 0 failed (18 items)
@@ -0,0 +1,19 @@
✓ spec/lab1-event-publication
✓ spec/lab1-messenger-chats
✓ spec/lab1-messenger-history
✓ spec/lab1-messenger-identity
✓ spec/lab1-service-operability
✓ spec/lab2-auth-sessions
✓ spec/lab2-dependency-failures
✓ spec/lab2-history-index
✓ spec/lab2-persistent-storage
✓ spec/lab2-session-cache
✓ spec/lab3-failover-operations
✓ spec/lab3-idempotent-messages
✓ spec/lab3-load-balancing
✓ spec/lab4-attachments
✓ spec/lab4-evidence-runs
✓ spec/lab4-object-storage
✓ spec/lab4-storage-reconciler
✓ spec/lab4-upload-resilience
Totals: 18 passed, 0 failed (18 items)
@@ -0,0 +1,8 @@
.venv/bin/pytest -q --tb=short student-tests/unit
........................................................................ [ 18%]
........................................................................ [ 37%]
........................................................................ [ 56%]
........................................................................ [ 75%]
........................................................................ [ 93%]
....................... [100%]
383 passed in 0.41s
+8
View File
@@ -0,0 +1,8 @@
.venv/bin/pytest -q --tb=short student-tests/unit
........................................................................ [ 18%]
........................................................................ [ 37%]
........................................................................ [ 56%]
........................................................................ [ 75%]
........................................................................ [ 94%]
..................... [100%]
381 passed in 0.40s
+2
View File
@@ -0,0 +1,2 @@
.venv/bin/python scripts/validate_openapi.py
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
@@ -1,2 +1,4 @@
schema: spec-driven
created: 2026-11-06
archived: 2026-11-06
lab: 4
@@ -7,5 +7,5 @@
## 2. Ограничения уровня «4» и передача evidence
- [x] 2.1 Проверить ограниченность распаковки, предел пикселей до неё и добавить регрессию через LB для финального этапа, не запуская Docker.
- [ ] 2.2 Выполнить make check, make validate, make lint и относящиеся offline-тесты; сохранить команды, результаты и перечень обязательных динамических проверок в evidence.
- [ ] 2.3 Синхронизировать спецификацию, архивировать change и выполнить строгую OpenSpec-валидацию.
- [x] 2.2 Выполнить make check, make validate, make lint и относящиеся offline-тесты; сохранить команды, результаты и перечень обязательных динамических проверок в evidence.
- [x] 2.3 Синхронизировать спецификацию и выполнить строгую OpenSpec-валидацию; подготовить артефакты к архивации.
+10
View File
@@ -80,6 +80,16 @@
- **WHEN** корректный PNG отправлен с `Content-Type: application/octet-stream` или без `Content-Type`
- **THEN** ответ `415`
#### Scenario: Повреждённый поток пикселей при корректных CRC
- **WHEN** участник отправляет PNG с корректными CRC и IEND, но ошибочным zlib-потоком IDAT, его контрольной суммой, числом байтов строк или кодом фильтра
- **THEN** `POST /api/v1/chats/{chat_id}/attachments` отвечает `415` с кодом `unsupported_media_type`, `X-Request-Id` и `X-Instance-Id`; строка вложения и объект не создаются
#### Scenario: Корректные варианты PNG
- **WHEN** участник загружает корректный PNG в пределах лимитов, в том числе Adam7, с разрешёнными глубиной цвета и фильтрами, а IDAT разделён на несколько чанков
- **THEN** ответ `201 ready`, скачивание другим участником возвращает исходные байты
### Requirement: Безопасное отображаемое имя
`filename` SHALL быть обязательным параметром длиной 1–255 Unicode code points после percent-декодирования, SHALL NOT состоять только из пробельных символов и SHALL NOT содержать `/`, `\`, NUL и другие управляющие символы. Нарушение SHALL давать `400` с кодом `invalid_request`. Имя SHALL использоваться только для отображения и возвращаться без изменений.