fix: reject JPEG scans without image data
This commit is contained in:
@@ -7,7 +7,7 @@ PostgreSQL — источник истины (в том числе метада
|
||||
через API, `attachment_ids`, уборщик, сверка bucket и БД. Цель — **«5»**:
|
||||
уровни 3 и 4 `README.md` и трек 2 «Согласованность двух хранилищ».
|
||||
|
||||
**Состояние (27 октября 2026).** Работа на оценку «5», трек 2 завершена. Доказательства без нагрузки — `evidence/`; на машине замеров повторно прошли 130 тестов и 24 проверки отказов (`evidence/tests/measurement-host.txt`). Полные метки: `evidence/uploads/baseline/` — 48 прогонов; `evidence/reconcile/baseline/` — 45 проходов, `model_ok=True` везде, предупреждений о хосте нет. Таблицы и итоги U1–U4, H1–H5 — в `REPORT.md`; H4 опровергнута. Пики uploads — выборки 0,2 с (`peak_sampled`, ядро Docker 6.10.14), краткие всплески между ними не проверены. Гипотезы и код приложения не менялись. Git: ветка `solution/bvt2301-vladimirceva`.
|
||||
**Состояние (30 октября 2026).** Работа на «5», трек 2 завершена. Исправлена JPEG-валидация: пустой скан после SOS (в том числе одни RST) — 415; добавлены 4 HTTP-теста. Прогон: 134 теста, все `results` 0 (`evidence/tests/jpeg-validation.txt`). Метки до правки: `evidence/uploads/baseline/` — 48 прогонов; `evidence/reconcile/baseline/` — 45 проходов, `model_ok=True`, предупреждений нет. Итоги U1–U4, H1–H5 — в `REPORT.md`; H4 опровергнута. Пики uploads — выборки 0,2 с (`peak_sampled`, Docker Linux 6.10.14), всплески между ними не проверены. Гипотезы не менялись. Ветка `solution/bvt2301-vladimirceva`.
|
||||
|
||||
Стек: Python 3.13, FastAPI, uvicorn, pydantic v2, SQLAlchemy Core 2.1 +
|
||||
asyncpg, alembic, argon2-cffi, redis-py, aiobotocore 3.x; PostgreSQL
|
||||
|
||||
@@ -16,7 +16,7 @@
|
||||
изменений, свежие и используемые вложения не трогаются). Память загрузок
|
||||
ограничена местами процесса, а не числом клиентов.
|
||||
|
||||
Все проверки без нагрузки сняты на машине разработки 23 октября 2026
|
||||
Основные проверки без нагрузки сняты на машине разработки 23 октября 2026
|
||||
(раздел 3). Замеры под нагрузкой — профили `uploads` (уровень 4: пик
|
||||
памяти при ≥ 10 одновременных загрузках) и `reconcile` (трек 2: стоимость
|
||||
обхода) — сняты 27 октября 2026 по `bench/RUNBOOK.md`: 48 прогонов uploads, 45 проходов reconcile. При 40 клиентах и 10 MiB наблюдаемый медианный пик с лимитом — 159,8 MiB без OOM, без лимита — 509,6 MiB и OOM 3/3; пики — выборки 0,2 с. Batch на 100 000 объектах — 21,495 с; плановая конфигурация под нагрузкой — 55,499 с. Сводки подтверждают U1–U4 и H1–H3, H5; численная граница U1 проверена только для наблюдаемых выборок, H4 опровергнута. Гипотезы U1–U4 и H1–H5
|
||||
@@ -148,7 +148,8 @@ S3 и только на loopback. Консоли нет.
|
||||
больше 10 MiB). Затем место загрузки (иначе очередь до 5 с и 429 с
|
||||
`Retry-After`), тело потоком в один `BytesIO` со счётчиком (больше
|
||||
10 MiB — 413 сразу) и сроком 30 с (400); структурная проверка PNG/JPEG
|
||||
без декодирования пикселей: чанки и CRC PNG, маркеры JPEG до SOS и EOI,
|
||||
без декодирования пикселей: чанки и CRC PNG, маркеры JPEG до EOI и наличие
|
||||
данных каждого скана после SOS (одних маркеров перезапуска недостаточно),
|
||||
размеры из заголовка до любой распаковки (больше 40 млн пикселей —
|
||||
413, повреждено, не тот формат, MIME не совпал с содержимым — 415).
|
||||
Потом строка `pending` → PUT → `ready` → 201.
|
||||
@@ -305,7 +306,7 @@ finished …`): вызовы S3 по операциям, ключи списка
|
||||
|
||||
## 3. Доказательства критериев
|
||||
|
||||
Код всех файлов ниже — `src_sha256`
|
||||
Код исторических доказательств 23–27 октября ниже — `src_sha256`
|
||||
`bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`
|
||||
(при снятии этих файлов проект ещё не был под Git), машина разработки: Apple M3 Pro, macOS 26.6.2, Docker 29.9.2. На машине замеров 27 октября тот же код повторно прошёл 130 тестов через LB и 24 проверки отказов: [вывод](evidence/tests/measurement-host.txt). Нагрузочные метки сняты на Apple M4 (раздел 4.4).
|
||||
|
||||
@@ -328,6 +329,17 @@ finished …`): вызовы S3 по операциям, ключи списка
|
||||
| Трек 2: свежие и используемые вложения не удаляются | `--apply` трижды во время 2 023 загрузок и отправок 4 клиентов — ни одно 201 не удалено и не помечено; строка без объекта, на которую ссылается сообщение, только помечена; глубокая не читает вложения моложе grace | [failure-checks](evidence/tests/failure-checks.txt), [рабочий стенд](evidence/reconcile/working-stand.txt) |
|
||||
| Трек 2: стоимость обхода | 45 проходов, model_ok везде; batch на 100 000 — 214,95 мс/1000 и 953 запроса БД за проход; head на 30 000 — 4086,50 мс/1000; p95 фона в плановой конфигурации / тихих окон 0,98 | [reconcile/baseline](evidence/reconcile/baseline/summary.md) |
|
||||
|
||||
**Исправление по замечанию преподавателя, 30 октября 2026.** JPEG-скан
|
||||
засчитывается только при наличии данных после SOS; пустой скан, одни RST
|
||||
или заполнители FF дают 415. Добавлены четыре отрицательных HTTP-теста:
|
||||
точные 27 байт из комментария и три варианта с заголовками и таблицами
|
||||
настоящего JPEG. До исправления все четыре получали 201; после него
|
||||
`make test-isolated` — **134 passed**, все пять `results` равны 0;
|
||||
`make failure-checks` — **24 passed**, `make fmt` и `make lint` без ошибок
|
||||
([вывод и хеш обновлённого кода](evidence/tests/jpeg-validation.txt)).
|
||||
Нагрузочные замеры не повторялись: раздел 4 сохраняет результаты для
|
||||
кода до этой правки, гипотезы и метки не менялись.
|
||||
|
||||
## 4. Эксперименты и отказы
|
||||
|
||||
### 4.1. Проверки отказов без нагрузки
|
||||
@@ -605,7 +617,7 @@ cgroup реплики, S3 и LB своим дескриптором (нужно
|
||||
|
||||
Версии пакетов внутри образа: python 3.13.15; fastapi 0.142.1; starlette 1.7.0; uvicorn 0.54.0; pydantic 2.13.5; sqlalchemy 2.1.1; asyncpg 0.31.0; alembic 1.20.0; redis 8.1.0; argon2-cffi 25.1.0; aiobotocore 3.10.0; botocore 1.43.117; aiohttp 3.14.5. PostgreSQL 18.6, Valkey 9.1.2, HAProxy 3.4.6, SeaweedFS 4.48 — закреплённые образы общего compose.
|
||||
|
||||
В обоих образах `src_sha256=bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`, как в доказательствах разработки. Git подключён перед опытами; ветка `solution/bvt2301-vladimirceva`. Оба паспорта указывают коммит `e4cc7ee32fbf0abaf8e15c42370ed1c6c01e4002`; у reconcile `git_dirty=True`, поскольку при его старте ещё не были закоммичены результаты uploads. `git diff e4cc7ee -- src migrations` пуст: измеренный код не менялся.
|
||||
В обоих образах `src_sha256=bc10d566e2f63173541445a2f6273b967447e13e5dd7f1fb76900934e5692cbe`, как в доказательствах разработки. Git подключён перед опытами; ветка `solution/bvt2301-vladimirceva`. Оба паспорта указывают коммит `e4cc7ee32fbf0abaf8e15c42370ed1c6c01e4002`; у reconcile `git_dirty=True`, поскольку при его старте ещё не были закоммичены результаты uploads. На момент замеров `git diff e4cc7ee -- src migrations` был пуст: измеренный код не менялся.
|
||||
|
||||
Ограничение ядра: сброс `memory.peak` появился позже версии 6.10.14, поэтому у всех 48 прогонов uploads источник пика — `sampled`, интервал 0,2 с. Точное максимальное значение между выборками не проверено. Это явно отмечено в таблице, выводе U1 и ограничениях; для точной повторной проверки нужен Docker с ядром не ниже 6.12.
|
||||
|
||||
@@ -700,3 +712,7 @@ cgroup реплики, S3 и LB своим дескриптором (нужно
|
||||
Замеры под нагрузкой на машине замеров выполнил Codex (OpenAI) 27 октября 2026 по
|
||||
`bench/RUNBOOK.md` — без права менять код, гипотезы и методику; числа в
|
||||
отчёт — только из файлов меток.
|
||||
|
||||
30 октября 2026 Codex (OpenAI) исправил проверку пустого JPEG-скана по
|
||||
замечанию преподавателя, добавил четыре HTTP-теста и выполнил проверки,
|
||||
записанные в `evidence/tests/jpeg-validation.txt`.
|
||||
|
||||
@@ -47,6 +47,11 @@
|
||||
| `tests/measurement-host.txt` | повторная проверка на машине замеров: 130 тестов через LB, все results 0, 24 проверки отказов, самопроверки разбора |
|
||||
| `tests/failure-checks.txt` | проверки отказов (`-rP`, с числами): S3 остановлен и заморожен, компенсация, обрыв между PUT и `ready`, уборщик, места загрузок и 429, срок тела, сверка с обеих сторон под загрузками |
|
||||
|
||||
Дополнение 30 октября 2026: `tests/jpeg-validation.txt` — воспроизведение
|
||||
замечания преподавателя до исправления и полный прогон после него:
|
||||
134 теста через LB и 24 проверки отказов, все `results` равны 0. Хеш кода указан
|
||||
отдельно; прежние доказательства и нагрузочные метки сохранены.
|
||||
|
||||
Снято Codex 27 октября 2026 на машине замеров (`bench/RUNBOOK.md`):
|
||||
|
||||
| Каталог | Критерий |
|
||||
|
||||
@@ -0,0 +1,77 @@
|
||||
# Что доказывает: JPEG без данных скана отклоняется с 415, включая
|
||||
# пример преподавателя (27 байт), настоящий заголовок с таблицами,
|
||||
# одни маркеры RST и одни заполнители FF. Настоящий JPEG принимается
|
||||
# и скачивается побайтно; остальные проверки вложений и лаб 1–3 проходят.
|
||||
# Дата: 2026-10-30 (UTC); прогоны начаты после 15:34 UTC.
|
||||
# Окружение: macOS 26.6.2, arm64; ВМ Docker aarch64, 10 CPU,
|
||||
# RAM 8218034176 байт; Docker 28.0.4, Compose 2.34.0-desktop.1;
|
||||
# Python хоста 3.13.7; pytest 9.1.1 (Python 3.13.7).
|
||||
# Стенд: отдельный vladimirceva-lab4-isolated с HAProxy и 2 репликами,
|
||||
# PostgreSQL, Valkey, S3 с bootstrap, своими паролями и volume.
|
||||
# Проверки отказов: vladimirceva-lab4-failures, 3 процесса API,
|
||||
# PostgreSQL, Valkey, S3 и уборщик; действия через fault_hook.py.
|
||||
# Уборка автоматическая; рабочий стенд не затрагивается.
|
||||
# До исправления: src/ и migrations/ из HEAD
|
||||
# 63378b5cf3c611313d6c9b3beaebcafa4b80527a; добавлены регрессионные тесты.
|
||||
# После исправления: тот же HEAD с рабочими изменениями,
|
||||
# src_sha256 fe9b291462a29088511151860ccc8512f89571d1b3b3cd348446de56e3cf788c
|
||||
# (хеш src/ и migrations/ по алгоритму bench/common.py IMAGE_PROBE).
|
||||
# Вывод сокращён (...): оставлены результаты, без тел ответов и журналов.
|
||||
|
||||
# До исправления src/images.py:
|
||||
$ python3 student-tests/stand.py isolated -q student-tests/test_attachments.py -k without_scan_data
|
||||
...
|
||||
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[headers-only]
|
||||
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[empty-scan-with-tables]
|
||||
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[restart-only]
|
||||
FAILED student-tests/test_attachments.py::test_jpeg_without_scan_data_is_415[fill-only]
|
||||
4 failed, 46 deselected in 1.20s
|
||||
...
|
||||
[isolated] results: {'test': 0, 'student-test': 1, 'test-failover': 0, 'attachment-failover': 0, 'test-persistence': 0}
|
||||
# Все четыре отказа: ожидался 415, фактически 201 ready.
|
||||
|
||||
# После исправления:
|
||||
$ make fmt && make lint
|
||||
uv run ruff format .
|
||||
103 files left unchanged
|
||||
uv run ruff check --fix .
|
||||
All checks passed!
|
||||
uv run ruff format --check .
|
||||
103 files already formatted
|
||||
uv run ruff check .
|
||||
All checks passed!
|
||||
|
||||
$ make test-isolated
|
||||
python3 student-tests/stand.py isolated
|
||||
...
|
||||
PASS: lab4 public API scenario; infrastructure and grading evidence remain separate.
|
||||
...
|
||||
platform darwin -- Python 3.13.7, pytest-9.1.1, pluggy-1.6.0
|
||||
...
|
||||
collected 158 items / 24 deselected / 134 selected
|
||||
...
|
||||
===================== 134 passed, 24 deselected in 26.63s ======================
|
||||
...
|
||||
PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
...
|
||||
PASS
|
||||
...
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
[isolated] cleanup
|
||||
[isolated] results: {'test': 0, 'student-test': 0, 'test-failover': 0, 'attachment-failover': 0, 'test-persistence': 0}
|
||||
# Четыре регрессионных случая теперь получают 415 unsupported_media_type
|
||||
# с корректной формой ошибки и заголовками X-Request-Id, X-Instance-Id.
|
||||
|
||||
$ make failure-checks
|
||||
...
|
||||
[failures] pytest -m fault
|
||||
...
|
||||
collected 158 items / 134 deselected / 24 selected
|
||||
...
|
||||
student-tests/test_failures.py ........................ [100%]
|
||||
|
||||
================ 24 passed, 134 deselected in 208.01s (0:03:28) ================
|
||||
[failures] cleanup
|
||||
[failures] results: {'fault': 0}
|
||||
# Проверки отказов прошли без повторного запуска.
|
||||
# Нагрузочные метки 27 октября не перезапускались и не менялись.
|
||||
+7
-2
@@ -9,7 +9,8 @@
|
||||
поток zlib завершён и распакован ровно в объём по размерам, глубине и
|
||||
чересстрочности, тип фильтра каждой строки ≤ 4, есть IEND;
|
||||
- JPEG: маркеры и длины сегментов до EOI, один кадр с ненулевыми
|
||||
размерами, хотя бы один скан после кадра, EOI есть.
|
||||
размерами, хотя бы один скан после кадра, в каждом скане есть данные
|
||||
помимо маркеров перезапуска, EOI есть.
|
||||
|
||||
Байты после IEND и EOI допускаются: они часть оригинала (входят в размер
|
||||
и SHA-256). Искажение внутри сжатых данных скана JPEG не обнаруживается:
|
||||
@@ -77,6 +78,8 @@ _JPEG_TEM = 0x01
|
||||
_JPEG_RST = frozenset(range(0xD0, 0xD8))
|
||||
# конец данных скана: FF, за которым не 00 (вставка) и не RST0–7
|
||||
_JPEG_SCAN_END = re.compile(rb"\xff[^\x00\xd0-\xd7]")
|
||||
# RST сами по себе не данные; *+ не копит точки возврата на длинной цепочке
|
||||
_JPEG_EMPTY_SCAN = re.compile(rb"(?:\xff[\xd0-\xd7])*+")
|
||||
|
||||
|
||||
class ImageError(ValueError):
|
||||
@@ -358,11 +361,13 @@ def _inspect_jpeg(data: bytes, *, max_pixels: int) -> ImageInfo:
|
||||
if frame is None:
|
||||
raise DamagedImage("scan before frame")
|
||||
_check_sos(segment)
|
||||
scans += 1
|
||||
# данные скана: до первого маркера, кроме вставок и RST
|
||||
found = _JPEG_SCAN_END.search(data, pos)
|
||||
if found is None:
|
||||
raise DamagedImage("scan data is not terminated")
|
||||
if _JPEG_EMPTY_SCAN.fullmatch(data, pos, found.start()) is not None:
|
||||
raise DamagedImage("scan data is empty")
|
||||
scans += 1
|
||||
pos = found.start()
|
||||
|
||||
|
||||
|
||||
@@ -99,3 +99,12 @@ def jpeg_without_eoi(data: bytes) -> bytes:
|
||||
"""JPEG без маркера конца: обрезаны последние два байта."""
|
||||
assert data.endswith(b"\xff\xd9")
|
||||
return data[:-2]
|
||||
|
||||
|
||||
def jpeg_with_scan_data(data: bytes, scan_data: bytes = b"") -> bytes:
|
||||
"""Заменяет данные единственного скана, сохраняя заголовки и таблицы."""
|
||||
start = data.index(b"\xff\xda") + 2
|
||||
(length,) = struct.unpack_from(">H", data, start)
|
||||
end = data.index(b"\xff\xd9", start + length)
|
||||
assert b"\xff\xda" not in data[start + length : end]
|
||||
return data[: start + length] + scan_data + data[end:]
|
||||
|
||||
@@ -191,6 +191,30 @@ def test_bad_or_damaged_image_is_415(
|
||||
assert_error(response, 415, "unsupported_media_type")
|
||||
|
||||
|
||||
@pytest.mark.parametrize(
|
||||
"data",
|
||||
[
|
||||
bytes.fromhex("ffd8ffc0000b080001000101011100ffda0008010100003f00ffd9"),
|
||||
images.jpeg_with_scan_data(SAMPLE_JPEG),
|
||||
images.jpeg_with_scan_data(SAMPLE_JPEG, b"\xff\xd0\xff\xd1"),
|
||||
images.jpeg_with_scan_data(SAMPLE_JPEG, b"\xff\xff"),
|
||||
],
|
||||
ids=["headers-only", "empty-scan-with-tables", "restart-only", "fill-only"],
|
||||
)
|
||||
def test_jpeg_without_scan_data_is_415(
|
||||
client: httpx.Client, members: dict, data: bytes
|
||||
) -> None:
|
||||
response = upload(
|
||||
client,
|
||||
members["alice"],
|
||||
members["chat"],
|
||||
data,
|
||||
content_type="image/jpeg",
|
||||
filename="bad.jpg",
|
||||
)
|
||||
assert_error(response, 415, "unsupported_media_type")
|
||||
|
||||
|
||||
def test_trailing_bytes_are_part_of_original(
|
||||
client: httpx.Client, members: dict
|
||||
) -> None:
|
||||
|
||||
Reference in New Issue
Block a user