From a2047b59b2bda2e77e629a3783aa0a6223d5992f Mon Sep 17 00:00:00 2001 From: anastasia Date: Fri, 30 Oct 2026 18:46:03 +0300 Subject: [PATCH] fix: reject JPEG scans without image data --- AGENTS.md | 2 +- REPORT.md | 24 ++++++++-- evidence/AGENTS.md | 5 ++ evidence/tests/jpeg-validation.txt | 77 ++++++++++++++++++++++++++++++ src/images.py | 9 +++- student-tests/images.py | 9 ++++ student-tests/test_attachments.py | 24 ++++++++++ 7 files changed, 143 insertions(+), 7 deletions(-) create mode 100644 evidence/tests/jpeg-validation.txt diff --git a/AGENTS.md b/AGENTS.md index 7a6027cb..11cd76e1 100644 --- a/AGENTS.md +++ b/AGENTS.md @@ -7,7 +7,7 @@ PostgreSQL — источник истины (в том числе метада через API, `attachment_ids`, уборщик, сверка bucket и БД. Цель — **«5»**: уровни 3 и 4 `README.md` и трек 2 «Согласованность двух хранилищ». -**Состояние (27 октября 2026).** Работа на оценку «5», трек 2 завершена. Доказательства без нагрузки — `evidence/`; на машине замеров повторно прошли 130 тестов и 24 проверки отказов (`evidence/tests/measurement-host.txt`). Полные метки: `evidence/uploads/baseline/` — 48 прогонов; `evidence/reconcile/baseline/` — 45 проходов, `model_ok=True` везде, предупреждений о хосте нет. Таблицы и итоги U1–U4, H1–H5 — в `REPORT.md`; H4 опровергнута. Пики uploads — выборки 0,2 с (`peak_sampled`, ядро Docker 6.10.14), краткие всплески между ними не проверены. Гипотезы и код приложения не менялись. Git: ветка `solution/bvt2301-vladimirceva`. +**Состояние (30 октября 2026).** Работа на «5», трек 2 завершена. Исправлена JPEG-валидация: пустой скан после SOS (в том числе одни RST) — 415; добавлены 4 HTTP-теста. Прогон: 134 теста, все `results` 0 (`evidence/tests/jpeg-validation.txt`). Метки до правки: `evidence/uploads/baseline/` — 48 прогонов; `evidence/reconcile/baseline/` — 45 проходов, `model_ok=True`, предупреждений нет. Итоги U1–U4, H1–H5 — в `REPORT.md`; H4 опровергнута. Пики uploads — выборки 0,2 с (`peak_sampled`, Docker Linux 6.10.14), всплески между ними не проверены. Гипотезы не менялись. Ветка `solution/bvt2301-vladimirceva`. Стек: Python 3.13, FastAPI, uvicorn, pydantic v2, SQLAlchemy Core 2.1 + asyncpg, alembic, argon2-cffi, redis-py, aiobotocore 3.x; PostgreSQL diff --git a/REPORT.md b/REPORT.md index 29c215f2..5127b7d2 100644 --- a/REPORT.md +++ b/REPORT.md @@ -16,7 +16,7 @@ изменений, свежие и используемые вложения не трогаются). Память загрузок ограничена местами процесса, а не числом клиентов. -Все проверки без нагрузки сняты на машине разработки 23 октября 2026 +Основные проверки без нагрузки сняты на машине разработки 23 октября 2026 (раздел 3). Замеры под нагрузкой — профили `uploads` (уровень 4: пик памяти при ≥ 10 одновременных загрузках) и `reconcile` (трек 2: стоимость обхода) — сняты 27 октября 2026 по `bench/RUNBOOK.md`: 48 прогонов uploads, 45 проходов reconcile. При 40 клиентах и 10 MiB наблюдаемый медианный пик с лимитом — 159,8 MiB без OOM, без лимита — 509,6 MiB и OOM 3/3; пики — выборки 0,2 с. Batch на 100 000 объектах — 21,495 с; плановая конфигурация под нагрузкой — 55,499 с. Сводки подтверждают U1–U4 и H1–H3, H5; численная граница U1 проверена только для наблюдаемых выборок, H4 опровергнута. Гипотезы U1–U4 и H1–H5 @@ -148,7 +148,8 @@ S3 и только на loopback. Консоли нет. больше 10 MiB). Затем место загрузки (иначе очередь до 5 с и 429 с `Retry-After`), тело потоком в один `BytesIO` со счётчиком (больше 10 MiB — 413 сразу) и сроком 30 с (400); структурная проверка PNG/JPEG -без декодирования пикселей: чанки и CRC PNG, маркеры JPEG до SOS и EOI, +без декодирования пикселей: чанки и CRC PNG, маркеры JPEG до EOI и наличие +данных каждого скана после SOS (одних маркеров перезапуска недостаточно), размеры из заголовка до любой распаковки (больше 40 млн пикселей — 413, повреждено, не тот формат, MIME не совпал с содержимым — 415). Потом строка `pending` → PUT → `ready` → 201. @@ -305,7 +306,7 @@ finished …`): вызовы S3 по операциям, ключи списка ## 3. Доказательства критериев -Код всех файлов ниже — `src_sha256` +Код исторических доказательств 23–27 октября ниже — `src_sha256` `bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe` (при снятии этих файлов проект ещё не был под Git), машина разработки: Apple M3 Pro, macOS 26.6.2, Docker 29.9.2. На машине замеров 27 октября тот же код повторно прошёл 130 тестов через LB и 24 проверки отказов: [вывод](evidence/tests/measurement-host.txt). Нагрузочные метки сняты на Apple M4 (раздел 4.4). @@ -328,6 +329,17 @@ finished …`): вызовы S3 по операциям, ключи списка | Трек 2: свежие и используемые вложения не удаляются | `--apply` трижды во время 2 023 загрузок и отправок 4 клиентов — ни одно 201 не удалено и не помечено; строка без объекта, на которую ссылается сообщение, только помечена; глубокая не читает вложения моложе grace | [failure-checks](evidence/tests/failure-checks.txt), [рабочий стенд](evidence/reconcile/working-stand.txt) | | Трек 2: стоимость обхода | 45 проходов, model_ok везде; batch на 100 000 — 214,95 мс/1000 и 953 запроса БД за проход; head на 30 000 — 4086,50 мс/1000; p95 фона в плановой конфигурации / тихих окон 0,98 | [reconcile/baseline](evidence/reconcile/baseline/summary.md) | +**Исправление по замечанию преподавателя, 30 октября 2026.** JPEG-скан +засчитывается только при наличии данных после SOS; пустой скан, одни RST +или заполнители FF дают 415. Добавлены четыре отрицательных HTTP-теста: +точные 27 байт из комментария и три варианта с заголовками и таблицами +настоящего JPEG. До исправления все четыре получали 201; после него +`make test-isolated` — **134 passed**, все пять `results` равны 0; +`make failure-checks` — **24 passed**, `make fmt` и `make lint` без ошибок +([вывод и хеш обновлённого кода](evidence/tests/jpeg-validation.txt)). +Нагрузочные замеры не повторялись: раздел 4 сохраняет результаты для +кода до этой правки, гипотезы и метки не менялись. + ## 4. Эксперименты и отказы ### 4.1. Проверки отказов без нагрузки @@ -605,7 +617,7 @@ cgroup реплики, S3 и LB своим дескриптором (нужно Версии пакетов внутри образа: python 3.13.15; fastapi 0.142.1; starlette 1.7.0; uvicorn 0.54.0; pydantic 2.13.5; sqlalchemy 2.1.1; asyncpg 0.31.0; alembic 1.20.0; redis 8.1.0; argon2-cffi 25.1.0; aiobotocore 3.10.0; botocore 1.43.117; aiohttp 3.14.5. PostgreSQL 18.6, Valkey 9.1.2, HAProxy 3.4.6, SeaweedFS 4.48 — закреплённые образы общего compose. -В обоих образах `src_sha256=bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`, как в доказательствах разработки. Git подключён перед опытами; ветка `solution/bvt2301-vladimirceva`. Оба паспорта указывают коммит `e4cc7ee32fbf0abaf8e15c42370ed1c6c01e4002`; у reconcile `git_dirty=True`, поскольку при его старте ещё не были закоммичены результаты uploads. `git diff e4cc7ee -- src migrations` пуст: измеренный код не менялся. +В обоих образах `src_sha256=bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`, как в доказательствах разработки. Git подключён перед опытами; ветка `solution/bvt2301-vladimirceva`. Оба паспорта указывают коммит `e4cc7ee32fbf0abaf8e15c42370ed1c6c01e4002`; у reconcile `git_dirty=True`, поскольку при его старте ещё не были закоммичены результаты uploads. На момент замеров `git diff e4cc7ee -- src migrations` был пуст: измеренный код не менялся. Ограничение ядра: сброс `memory.peak` появился позже версии 6.10.14, поэтому у всех 48 прогонов uploads источник пика — `sampled`, интервал 0,2 с. Точное максимальное значение между выборками не проверено. Это явно отмечено в таблице, выводе U1 и ограничениях; для точной повторной проверки нужен Docker с ядром не ниже 6.12. @@ -700,3 +712,7 @@ cgroup реплики, S3 и LB своим дескриптором (нужно Замеры под нагрузкой на машине замеров выполнил Codex (OpenAI) 27 октября 2026 по `bench/RUNBOOK.md` — без права менять код, гипотезы и методику; числа в отчёт — только из файлов меток. + +30 октября 2026 Codex (OpenAI) исправил проверку пустого JPEG-скана по +замечанию преподавателя, добавил четыре HTTP-теста и выполнил проверки, +записанные в `evidence/tests/jpeg-validation.txt`. diff --git a/evidence/AGENTS.md b/evidence/AGENTS.md index f1748cdd..4c75f5d9 100644 --- a/evidence/AGENTS.md +++ b/evidence/AGENTS.md @@ -47,6 +47,11 @@ | `tests/measurement-host.txt` | повторная проверка на машине замеров: 130 тестов через LB, все results 0, 24 проверки отказов, самопроверки разбора | | `tests/failure-checks.txt` | проверки отказов (`-rP`, с числами): S3 остановлен и заморожен, компенсация, обрыв между PUT и `ready`, уборщик, места загрузок и 429, срок тела, сверка с обеих сторон под загрузками | +Дополнение 30 октября 2026: `tests/jpeg-validation.txt` — воспроизведение +замечания преподавателя до исправления и полный прогон после него: +134 теста через LB и 24 проверки отказов, все `results` равны 0. Хеш кода указан +отдельно; прежние доказательства и нагрузочные метки сохранены. + Снято Codex 27 октября 2026 на машине замеров (`bench/RUNBOOK.md`): | Каталог | Критерий | diff --git a/evidence/tests/jpeg-validation.txt b/evidence/tests/jpeg-validation.txt new file mode 100644 index 00000000..4a1b60bb --- /dev/null +++ b/evidence/tests/jpeg-validation.txt @@ -0,0 +1,77 @@ +# Что доказывает: JPEG без данных скана отклоняется с 415, включая +# пример преподавателя (27 байт), настоящий заголовок с таблицами, +# одни маркеры RST и одни заполнители FF. Настоящий JPEG принимается +# и скачивается побайтно; остальные проверки вложений и лаб 1–3 проходят. +# Дата: 2026-10-30 (UTC); прогоны начаты после 15:34 UTC. +# Окружение: macOS 26.6.2, arm64; ВМ Docker aarch64, 10 CPU, +# RAM 8218034176 байт; Docker 28.0.4, Compose 2.34.0-desktop.1; +# Python хоста 3.13.7; pytest 9.1.1 (Python 3.13.7). +# Стенд: отдельный vladimirceva-lab4-isolated с HAProxy и 2 репликами, +# PostgreSQL, Valkey, S3 с bootstrap, своими паролями и volume. +# Проверки отказов: vladimirceva-lab4-failures, 3 процесса API, +# PostgreSQL, Valkey, S3 и уборщик; действия через fault_hook.py. +# Уборка автоматическая; рабочий стенд не затрагивается. +# До исправления: src/ и migrations/ из HEAD +# 63378b5cf3c611313d6c9b3beaebcafa4b80527a; добавлены регрессионные тесты. +# После исправления: тот же HEAD с рабочими изменениями, +# src_sha256 fe9b291462a29088511151860ccc8512f89571d1b3b3cd348446de56e3cf788c +# (хеш src/ и migrations/ по алгоритму bench/common.py IMAGE_PROBE). +# Вывод сокращён (...): оставлены результаты, без тел ответов и журналов. + +# До исправления src/images.py: +$ python3 student-tests/stand.py isolated -q student-tests/test_attachments.py -k without_scan_data +... +FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[headers-only] +FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[empty-scan-with-tables] +FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[restart-only] +FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[fill-only] +4 failed, 46 deselected in 1.20s +... +[isolated] results: {'test': 0, 'student-test': 1, 'test-failover': 0, 'attachment-failover': 0, 'test-persistence': 0} +# Все четыре отказа: ожидался 415, фактически 201 ready. + +# После исправления: +$ make fmt && make lint +uv run ruff format . +103 files left unchanged +uv run ruff check --fix . +All checks passed! +uv run ruff format --check . +103 files already formatted +uv run ruff check . +All checks passed! + +$ make test-isolated +python3 student-tests/stand.py isolated +... +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +... +platform darwin -- Python 3.13.7, pytest-9.1.1, pluggy-1.6.0 +... +collected 158 items / 24 deselected / 134 selected +... +===================== 134 passed, 24 deselected in 26.63s ====================== +... +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +... +PASS +... +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +[isolated] cleanup +[isolated] results: {'test': 0, 'student-test': 0, 'test-failover': 0, 'attachment-failover': 0, 'test-persistence': 0} +# Четыре регрессионных случая теперь получают 415 unsupported_media_type +# с корректной формой ошибки и заголовками X-Request-Id, X-Instance-Id. + +$ make failure-checks +... +[failures] pytest -m fault +... +collected 158 items / 134 deselected / 24 selected +... +student-tests/test_failures.py ........................ [100%] + +================ 24 passed, 134 deselected in 208.01s (0:03:28) ================ +[failures] cleanup +[failures] results: {'fault': 0} +# Проверки отказов прошли без повторного запуска. +# Нагрузочные метки 27 октября не перезапускались и не менялись. diff --git a/src/images.py b/src/images.py index ae212af5..52a2a1e0 100644 --- a/src/images.py +++ b/src/images.py @@ -9,7 +9,8 @@ поток zlib завершён и распакован ровно в объём по размерам, глубине и чересстрочности, тип фильтра каждой строки ≤ 4, есть IEND; - JPEG: маркеры и длины сегментов до EOI, один кадр с ненулевыми - размерами, хотя бы один скан после кадра, EOI есть. + размерами, хотя бы один скан после кадра, в каждом скане есть данные + помимо маркеров перезапуска, EOI есть. Байты после IEND и EOI допускаются: они часть оригинала (входят в размер и SHA-256). Искажение внутри сжатых данных скана JPEG не обнаруживается: @@ -77,6 +78,8 @@ _JPEG_TEM = 0x01 _JPEG_RST = frozenset(range(0xD0, 0xD8)) # конец данных скана: FF, за которым не 00 (вставка) и не RST0–7 _JPEG_SCAN_END = re.compile(rb"\xff[^\x00\xd0-\xd7]") +# RST сами по себе не данные; *+ не копит точки возврата на длинной цепочке +_JPEG_EMPTY_SCAN = re.compile(rb"(?:\xff[\xd0-\xd7])*+") class ImageError(ValueError): @@ -358,11 +361,13 @@ def _inspect_jpeg(data: bytes, *, max_pixels: int) -> ImageInfo: if frame is None: raise DamagedImage("scan before frame") _check_sos(segment) - scans += 1 # данные скана: до первого маркера, кроме вставок и RST found = _JPEG_SCAN_END.search(data, pos) if found is None: raise DamagedImage("scan data is not terminated") + if _JPEG_EMPTY_SCAN.fullmatch(data, pos, found.start()) is not None: + raise DamagedImage("scan data is empty") + scans += 1 pos = found.start() diff --git a/student-tests/images.py b/student-tests/images.py index fde6000c..4290063a 100644 --- a/student-tests/images.py +++ b/student-tests/images.py @@ -99,3 +99,12 @@ def jpeg_without_eoi(data: bytes) -> bytes: """JPEG без маркера конца: обрезаны последние два байта.""" assert data.endswith(b"\xff\xd9") return data[:-2] + + +def jpeg_with_scan_data(data: bytes, scan_data: bytes = b"") -> bytes: + """Заменяет данные единственного скана, сохраняя заголовки и таблицы.""" + start = data.index(b"\xff\xda") + 2 + (length,) = struct.unpack_from(">H", data, start) + end = data.index(b"\xff\xd9", start + length) + assert b"\xff\xda" not in data[start + length : end] + return data[: start + length] + scan_data + data[end:] diff --git a/student-tests/test_attachments.py b/student-tests/test_attachments.py index 066d94b4..5031e109 100644 --- a/student-tests/test_attachments.py +++ b/student-tests/test_attachments.py @@ -191,6 +191,30 @@ def test_bad_or_damaged_image_is_415( assert_error(response, 415, "unsupported_media_type") +@pytest.mark.parametrize( + "data", + [ + bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9"), + images.jpeg_with_scan_data(SAMPLE_JPEG), + images.jpeg_with_scan_data(SAMPLE_JPEG, b"\xff\xd0\xff\xd1"), + images.jpeg_with_scan_data(SAMPLE_JPEG, b"\xff\xff"), + ], + ids=["headers-only", "empty-scan-with-tables", "restart-only", "fill-only"], +) +def test_jpeg_without_scan_data_is_415( + client: httpx.Client, members: dict, data: bytes +) -> None: + response = upload( + client, + members["alice"], + members["chat"], + data, + content_type="image/jpeg", + filename="bad.jpg", + ) + assert_error(response, 415, "unsupported_media_type") + + def test_trailing_bytes_are_part_of_original( client: httpx.Client, members: dict ) -> None: