fix: reject JPEG scans without image data

This commit is contained in:
2026-10-30 18:46:03 +03:00
parent 63378b5cf3
commit a2047b59b2
7 changed files with 143 additions and 7 deletions
+1 -1
View File
@@ -7,7 +7,7 @@ PostgreSQL — источник истины (в том числе метада
через API, `attachment_ids`, уборщик, сверка bucket и БД. Цель — **«5»**:
уровни 3 и 4 `README.md` и трек 2 «Согласованность двух хранилищ».
**Состояние (27 октября 2026).** Работа на оценку «5», трек 2 завершена. Доказательства без нагрузки — `evidence/`; на машине замеров повторно прошли 130 тестов и 24 проверки отказов (`evidence/tests/measurement-host.txt`). Полные метки: `evidence/uploads/baseline/` — 48 прогонов; `evidence/reconcile/baseline/` — 45 проходов, `model_ok=True` везде, предупреждений о хосте нет. Таблицы и итоги U1–U4, H1–H5 — в `REPORT.md`; H4 опровергнута. Пики uploads — выборки 0,2 с (`peak_sampled`, ядро Docker 6.10.14), краткие всплески между ними не проверены. Гипотезы и код приложения не менялись. Git: ветка `solution/bvt2301-vladimirceva`.
**Состояние (30 октября 2026).** Работа на «5», трек 2 завершена. Исправлена JPEG-валидация: пустой скан после SOS (в том числе одни RST) — 415; добавлены 4 HTTP-теста. Прогон: 134 теста, все `results` 0 (`evidence/tests/jpeg-validation.txt`). Метки до правки: `evidence/uploads/baseline/` — 48 прогонов; `evidence/reconcile/baseline/` — 45 проходов, `model_ok=True`, предупреждений нет. Итоги U1–U4, H1–H5 — в `REPORT.md`; H4 опровергнута. Пики uploads — выборки 0,2 с (`peak_sampled`, Docker Linux 6.10.14), всплески между ними не проверены. Гипотезы не менялись. Ветка `solution/bvt2301-vladimirceva`.
Стек: Python 3.13, FastAPI, uvicorn, pydantic v2, SQLAlchemy Core 2.1 +
asyncpg, alembic, argon2-cffi, redis-py, aiobotocore 3.x; PostgreSQL
+20 -4
View File
@@ -16,7 +16,7 @@
изменений, свежие и используемые вложения не трогаются). Память загрузок
ограничена местами процесса, а не числом клиентов.
Все проверки без нагрузки сняты на машине разработки 23 октября 2026
Основные проверки без нагрузки сняты на машине разработки 23 октября 2026
(раздел 3). Замеры под нагрузкой — профили `uploads` (уровень 4: пик
памяти при ≥ 10 одновременных загрузках) и `reconcile` (трек 2: стоимость
обхода) — сняты 27 октября 2026 по `bench/RUNBOOK.md`: 48 прогонов uploads, 45 проходов reconcile. При 40 клиентах и 10 MiB наблюдаемый медианный пик с лимитом — 159,8 MiB без OOM, без лимита — 509,6 MiB и OOM 3/3; пики — выборки 0,2 с. Batch на 100 000 объектах — 21,495 с; плановая конфигурация под нагрузкой — 55,499 с. Сводки подтверждают U1–U4 и H1–H3, H5; численная граница U1 проверена только для наблюдаемых выборок, H4 опровергнута. Гипотезы U1–U4 и H1–H5
@@ -148,7 +148,8 @@ S3 и только на loopback. Консоли нет.
больше 10 MiB). Затем место загрузки (иначе очередь до 5 с и 429 с
`Retry-After`), тело потоком в один `BytesIO` со счётчиком (больше
10 MiB — 413 сразу) и сроком 30 с (400); структурная проверка PNG/JPEG
без декодирования пикселей: чанки и CRC PNG, маркеры JPEG до SOS и EOI,
без декодирования пикселей: чанки и CRC PNG, маркеры JPEG до EOI и наличие
данных каждого скана после SOS (одних маркеров перезапуска недостаточно),
размеры из заголовка до любой распаковки (больше 40 млн пикселей —
413, повреждено, не тот формат, MIME не совпал с содержимым — 415).
Потом строка `pending` → PUT → `ready` → 201.
@@ -305,7 +306,7 @@ finished …`): вызовы S3 по операциям, ключи списка
## 3. Доказательства критериев
Код всех файлов ниже — `src_sha256`
Код исторических доказательств 23–27 октября ниже — `src_sha256`
`bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`
(при снятии этих файлов проект ещё не был под Git), машина разработки: Apple M3 Pro, macOS 26.6.2, Docker 29.9.2. На машине замеров 27 октября тот же код повторно прошёл 130 тестов через LB и 24 проверки отказов: [вывод](evidence/tests/measurement-host.txt). Нагрузочные метки сняты на Apple M4 (раздел 4.4).
@@ -328,6 +329,17 @@ finished …`): вызовы S3 по операциям, ключи списка
| Трек 2: свежие и используемые вложения не удаляются | `--apply` трижды во время 2 023 загрузок и отправок 4 клиентов — ни одно 201 не удалено и не помечено; строка без объекта, на которую ссылается сообщение, только помечена; глубокая не читает вложения моложе grace | [failure-checks](evidence/tests/failure-checks.txt), [рабочий стенд](evidence/reconcile/working-stand.txt) |
| Трек 2: стоимость обхода | 45 проходов, model_ok везде; batch на 100 000 — 214,95 мс/1000 и 953 запроса БД за проход; head на 30 000 — 4086,50 мс/1000; p95 фона в плановой конфигурации / тихих окон 0,98 | [reconcile/baseline](evidence/reconcile/baseline/summary.md) |
**Исправление по замечанию преподавателя, 30 октября 2026.** JPEG-скан
засчитывается только при наличии данных после SOS; пустой скан, одни RST
или заполнители FF дают 415. Добавлены четыре отрицательных HTTP-теста:
точные 27 байт из комментария и три варианта с заголовками и таблицами
настоящего JPEG. До исправления все четыре получали 201; после него
`make test-isolated` — **134 passed**, все пять `results` равны 0;
`make failure-checks` — **24 passed**, `make fmt` и `make lint` без ошибок
([вывод и хеш обновлённого кода](evidence/tests/jpeg-validation.txt)).
Нагрузочные замеры не повторялись: раздел 4 сохраняет результаты для
кода до этой правки, гипотезы и метки не менялись.
## 4. Эксперименты и отказы
### 4.1. Проверки отказов без нагрузки
@@ -605,7 +617,7 @@ cgroup реплики, S3 и LB своим дескриптором (нужно
Версии пакетов внутри образа: python 3.13.15; fastapi 0.142.1; starlette 1.7.0; uvicorn 0.54.0; pydantic 2.13.5; sqlalchemy 2.1.1; asyncpg 0.31.0; alembic 1.20.0; redis 8.1.0; argon2-cffi 25.1.0; aiobotocore 3.10.0; botocore 1.43.117; aiohttp 3.14.5. PostgreSQL 18.6, Valkey 9.1.2, HAProxy 3.4.6, SeaweedFS 4.48 — закреплённые образы общего compose.
В обоих образах `src_sha256=bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`, как в доказательствах разработки. Git подключён перед опытами; ветка `solution/bvt2301-vladimirceva`. Оба паспорта указывают коммит `e4cc7ee32fbf0abaf8e15c42370ed1c6c01e4002`; у reconcile `git_dirty=True`, поскольку при его старте ещё не были закоммичены результаты uploads. `git diff e4cc7ee -- src migrations` пуст: измеренный код не менялся.
В обоих образах `src_sha256=bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`, как в доказательствах разработки. Git подключён перед опытами; ветка `solution/bvt2301-vladimirceva`. Оба паспорта указывают коммит `e4cc7ee32fbf0abaf8e15c42370ed1c6c01e4002`; у reconcile `git_dirty=True`, поскольку при его старте ещё не были закоммичены результаты uploads. На момент замеров `git diff e4cc7ee -- src migrations` был пуст: измеренный код не менялся.
Ограничение ядра: сброс `memory.peak` появился позже версии 6.10.14, поэтому у всех 48 прогонов uploads источник пика — `sampled`, интервал 0,2 с. Точное максимальное значение между выборками не проверено. Это явно отмечено в таблице, выводе U1 и ограничениях; для точной повторной проверки нужен Docker с ядром не ниже 6.12.
@@ -700,3 +712,7 @@ cgroup реплики, S3 и LB своим дескриптором (нужно
Замеры под нагрузкой на машине замеров выполнил Codex (OpenAI) 27 октября 2026 по
`bench/RUNBOOK.md` — без права менять код, гипотезы и методику; числа в
отчёт — только из файлов меток.
30 октября 2026 Codex (OpenAI) исправил проверку пустого JPEG-скана по
замечанию преподавателя, добавил четыре HTTP-теста и выполнил проверки,
записанные в `evidence/tests/jpeg-validation.txt`.
+5
View File
@@ -47,6 +47,11 @@
| `tests/measurement-host.txt` | повторная проверка на машине замеров: 130 тестов через LB, все results 0, 24 проверки отказов, самопроверки разбора |
| `tests/failure-checks.txt` | проверки отказов (`-rP`, с числами): S3 остановлен и заморожен, компенсация, обрыв между PUT и `ready`, уборщик, места загрузок и 429, срок тела, сверка с обеих сторон под загрузками |
Дополнение 30 октября 2026: `tests/jpeg-validation.txt` — воспроизведение
замечания преподавателя до исправления и полный прогон после него:
134 теста через LB и 24 проверки отказов, все `results` равны 0. Хеш кода указан
отдельно; прежние доказательства и нагрузочные метки сохранены.
Снято Codex 27 октября 2026 на машине замеров (`bench/RUNBOOK.md`):
| Каталог | Критерий |
+77
View File
@@ -0,0 +1,77 @@
# Что доказывает: JPEG без данных скана отклоняется с 415, включая
# пример преподавателя (27 байт), настоящий заголовок с таблицами,
# одни маркеры RST и одни заполнители FF. Настоящий JPEG принимается
# и скачивается побайтно; остальные проверки вложений и лаб 1–3 проходят.
# Дата: 2026-10-30 (UTC); прогоны начаты после 15:34 UTC.
# Окружение: macOS 26.6.2, arm64; ВМ Docker aarch64, 10 CPU,
# RAM 8218034176 байт; Docker 28.0.4, Compose 2.34.0-desktop.1;
# Python хоста 3.13.7; pytest 9.1.1 (Python 3.13.7).
# Стенд: отдельный vladimirceva-lab4-isolated с HAProxy и 2 репликами,
# PostgreSQL, Valkey, S3 с bootstrap, своими паролями и volume.
# Проверки отказов: vladimirceva-lab4-failures, 3 процесса API,
# PostgreSQL, Valkey, S3 и уборщик; действия через fault_hook.py.
# Уборка автоматическая; рабочий стенд не затрагивается.
# До исправления: src/ и migrations/ из HEAD
# 63378b5cf3c611313d6c9b3beaebcafa4b80527a; добавлены регрессионные тесты.
# После исправления: тот же HEAD с рабочими изменениями,
# src_sha256 fe9b291462a29088511151860ccc8512f89571d1b3b3cd348446de56e3cf788c
# (хеш src/ и migrations/ по алгоритму bench/common.py IMAGE_PROBE).
# Вывод сокращён (...): оставлены результаты, без тел ответов и журналов.
# До исправления src/images.py:
$ python3 student-tests/stand.py isolated -q student-tests/test_attachments.py -k without_scan_data
...
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[headers-only]
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[empty-scan-with-tables]
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[restart-only]
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[fill-only]
4 failed, 46 deselected in 1.20s
...
[isolated] results: {'test': 0, 'student-test': 1, 'test-failover': 0, 'attachment-failover': 0, 'test-persistence': 0}
# Все четыре отказа: ожидался 415, фактически 201 ready.
# После исправления:
$ make fmt && make lint
uv run ruff format .
103 files left unchanged
uv run ruff check --fix .
All checks passed!
uv run ruff format --check .
103 files already formatted
uv run ruff check .
All checks passed!
$ make test-isolated
python3 student-tests/stand.py isolated
...
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
...
platform darwin -- Python 3.13.7, pytest-9.1.1, pluggy-1.6.0
...
collected 158 items / 24 deselected / 134 selected
...
===================== 134 passed, 24 deselected in 26.63s ======================
...
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
...
PASS
...
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
[isolated] cleanup
[isolated] results: {'test': 0, 'student-test': 0, 'test-failover': 0, 'attachment-failover': 0, 'test-persistence': 0}
# Четыре регрессионных случая теперь получают 415 unsupported_media_type
# с корректной формой ошибки и заголовками X-Request-Id, X-Instance-Id.
$ make failure-checks
...
[failures] pytest -m fault
...
collected 158 items / 134 deselected / 24 selected
...
student-tests/test_failures.py ........................ [100%]
================ 24 passed, 134 deselected in 208.01s (0:03:28) ================
[failures] cleanup
[failures] results: {'fault': 0}
# Проверки отказов прошли без повторного запуска.
# Нагрузочные метки 27 октября не перезапускались и не менялись.
+7 -2
View File
@@ -9,7 +9,8 @@
поток zlib завершён и распакован ровно в объём по размерам, глубине и
чересстрочности, тип фильтра каждой строки ≤ 4, есть IEND;
- JPEG: маркеры и длины сегментов до EOI, один кадр с ненулевыми
размерами, хотя бы один скан после кадра, EOI есть.
размерами, хотя бы один скан после кадра, в каждом скане есть данные
помимо маркеров перезапуска, EOI есть.
Байты после IEND и EOI допускаются: они часть оригинала (входят в размер
и SHA-256). Искажение внутри сжатых данных скана JPEG не обнаруживается:
@@ -77,6 +78,8 @@ _JPEG_TEM = 0x01
_JPEG_RST = frozenset(range(0xD0, 0xD8))
# конец данных скана: FF, за которым не 00 (вставка) и не RST0–7
_JPEG_SCAN_END = re.compile(rb"\xff[^\x00\xd0-\xd7]")
# RST сами по себе не данные; *+ не копит точки возврата на длинной цепочке
_JPEG_EMPTY_SCAN = re.compile(rb"(?:\xff[\xd0-\xd7])*+")
class ImageError(ValueError):
@@ -358,11 +361,13 @@ def _inspect_jpeg(data: bytes, *, max_pixels: int) -> ImageInfo:
if frame is None:
raise DamagedImage("scan before frame")
_check_sos(segment)
scans += 1
# данные скана: до первого маркера, кроме вставок и RST
found = _JPEG_SCAN_END.search(data, pos)
if found is None:
raise DamagedImage("scan data is not terminated")
if _JPEG_EMPTY_SCAN.fullmatch(data, pos, found.start()) is not None:
raise DamagedImage("scan data is empty")
scans += 1
pos = found.start()
+9
View File
@@ -99,3 +99,12 @@ def jpeg_without_eoi(data: bytes) -> bytes:
"""JPEG без маркера конца: обрезаны последние два байта."""
assert data.endswith(b"\xff\xd9")
return data[:-2]
def jpeg_with_scan_data(data: bytes, scan_data: bytes = b"") -> bytes:
"""Заменяет данные единственного скана, сохраняя заголовки и таблицы."""
start = data.index(b"\xff\xda") + 2
(length,) = struct.unpack_from(">H", data, start)
end = data.index(b"\xff\xd9", start + length)
assert b"\xff\xda" not in data[start + length : end]
return data[: start + length] + scan_data + data[end:]
+24
View File
@@ -191,6 +191,30 @@ def test_bad_or_damaged_image_is_415(
assert_error(response, 415, "unsupported_media_type")
@pytest.mark.parametrize(
"data",
[
bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9"),
images.jpeg_with_scan_data(SAMPLE_JPEG),
images.jpeg_with_scan_data(SAMPLE_JPEG, b"\xff\xd0\xff\xd1"),
images.jpeg_with_scan_data(SAMPLE_JPEG, b"\xff\xff"),
],
ids=["headers-only", "empty-scan-with-tables", "restart-only", "fill-only"],
)
def test_jpeg_without_scan_data_is_415(
client: httpx.Client, members: dict, data: bytes
) -> None:
response = upload(
client,
members["alice"],
members["chat"],
data,
content_type="image/jpeg",
filename="bad.jpg",
)
assert_error(response, 415, "unsupported_media_type")
def test_trailing_bytes_are_part_of_original(
client: httpx.Client, members: dict
) -> None: