From d922b5b0d9926fb9c416b396689def72ae559efe Mon Sep 17 00:00:00 2001 From: celis Date: Sat, 31 Oct 2026 10:30:56 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9F=D1=80=D0=BE=D0=B2=D0=B5=D1=80=D1=8F?= =?UTF-8?q?=D1=82=D1=8C=20=D1=84=D0=B8=D0=BB=D1=8C=D1=82=D1=80=D1=8B=20?= =?UTF-8?q?=D1=81=D1=82=D1=80=D0=BE=D0=BA=20PNG=20=D0=B8=20=D1=82=D0=B0?= =?UTF-8?q?=D0=B1=D0=BB=D0=B8=D1=86=D1=8B=20JPEG=20=D0=BF=D1=80=D0=B8=20?= =?UTF-8?q?=D0=B7=D0=B0=D0=B3=D1=80=D1=83=D0=B7=D0=BA=D0=B5?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit PNG: тип фильтра каждой строки (с учётом Adam7) только 0–4, длина PLTE кратна 3 и не больше 256 цветов. JPEG: заголовки и таблицы проверяются так же, как в libjpeg-turbo — вид SOF, 8 бит, 1/3/4 компонента, прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан. Файлы из замечаний (PNG 1x1 с фильтром 5, JPEG 27 байт без таблиц и данных скана) теперь получают 415; добавлены тесты. --- REPORT.md | 6 +- evidence/level3/public-checks.txt | 85 +++++++------- src/modules/images.ts | 186 +++++++++++++++++++++++++----- student-tests/attachments.py | 20 ++++ 4 files changed, 226 insertions(+), 71 deletions(-) diff --git a/REPORT.md b/REPORT.md index 851d49cd..7d4d2e09 100644 --- a/REPORT.md +++ b/REPORT.md @@ -25,7 +25,7 @@ make check && make validate PYTHON=.venv/bin/python # venv: python3 -m ven make test BASE_URL=http://localhost:8080 # LB на 127.0.0.1:${LB_PORT:-8080} make test-persistence ACTION_SCRIPT=scripts/restart.sh make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api -python3 student-tests/attachments.py --base-url http://localhost:8080 # 40 негативных/граничных случаев upload +python3 student-tests/attachments.py --base-url http://localhost:8080 # 43 негативных/граничных случая upload python3 student-tests/idempotency_race.py --base-url http://localhost:8080 python3 student-tests/failures.py --base-url http://localhost:8080 # S3 остановлен/завис, down + up python3 student-tests/worker_outage.py --base-url http://localhost:8080 # уровень 3: worker остановлен, рестарт API и брокера @@ -60,7 +60,7 @@ worker ×2 ◄─ consume, prefetch 2, ручной ack ─┘ reconciler (из lab4) ─► сверка БД ↔ S3 по originals/, staging/, variants/ ``` -**Из lab4 перенесено без изменений**: весь API lab1–4, HAProxy с `retry-on conn-failure`, PostgreSQL, SeaweedFS с отдельными S3-identities, потоковый PNG/JPEG-валидатор (CRC, потоковая распаковка со сверкой объёма, лимит пикселей по заголовку), reconciler. **Изменено**: upload 201 → 202, байты сначала пишутся в `staging/`; добавлены брокер, outbox, worker, варианты, повторы и replay; reconciler расширен на `staging/` и `variants/`; исправлен порядок компенсации неудачной загрузки — сначала удаляется pending-строка, потом объект. Иначе при COMMIT с неизвестным исходом можно было удалить объект уже принятого вложения. +**Из lab4 перенесено без изменений**: весь API lab1–4, HAProxy с `retry-on conn-failure`, PostgreSQL, SeaweedFS с отдельными S3-identities, потоковый PNG/JPEG-валидатор (CRC, потоковая распаковка со сверкой объёма, лимит пикселей по заголовку), reconciler. Валидатор доработан по замечаниям к lab4 (как в lab4): PNG — тип фильтра каждой строки только 0–4 и длина PLTE; JPEG — заголовки и таблицы проверяются так же, как в libjpeg-turbo (8 бит, 1/3/4 компонента, прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан). Файлы с фильтром 5 и JPEG без DQT/DHT и данных скана → 415. **Изменено**: upload 201 → 202, байты сначала пишутся в `staging/`; добавлены брокер, outbox, worker, варианты, повторы и replay; reconciler расширен на `staging/` и `variants/`; исправлен порядок компенсации неудачной загрузки — сначала удаляется pending-строка, потом объект. Иначе при COMMIT с неизвестным исходом можно было удалить объект уже принятого вложения. ### Что сохранено в момент 202 (транзакционные границы) @@ -180,7 +180,7 @@ Grace сильно больше аренды, поэтому текущая ра | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke | `make check`, `make validate`, `make test` | PASS lab5 public API scenario: 202, затем ready, SHA-256 оригинала, thumbnail 256×160 по байтам JPEG | `evidence/level3/public-checks.txt` | -| 3: минимум lab4 сохранён, upload 201 → 202 | `attachments.py`, `idempotency_race.py`, `failures.py` | 40 случаев загрузки, ни одного 5xx: 202 queued с `variants=[]`; 413, 415, 400, 401 и 404 по лимитам и правам; PNG 40 Мп обработан worker. Гонка 32 POST с одним ключом через 2 реплики дала одно сообщение. S3 остановлен — 503 за ~1 с, завис — 503 за 8 с, текст и метаданные работают; `down` + `up` данные сохранил | `public-checks.txt`, `evidence/level4/s3-failures.txt` | +| 3: минимум lab4 сохранён, upload 201 → 202 | `attachments.py`, `idempotency_race.py`, `failures.py` | 43 случая загрузки, ни одного 5xx: 202 queued с `variants=[]`; 413, 415 (в том числе PNG с фильтром 5 и JPEG без таблиц), 400, 401 и 404 по лимитам и правам; PNG 40 Мп обработан worker. Гонка 32 POST с одним ключом через 2 реплики дала одно сообщение. S3 остановлен — 503 за ~1 с, завис — 503 за 8 с, текст и метаданные работают; `down` + `up` данные сохранил | `public-checks.txt`, `evidence/level4/s3-failures.txt` | | 3: 202 только после staging и задания; остановка API после ответа не теряет работу | `pipeline_faults.py` S1, S2; `worker_outage.py` | S1 — падение API после staging: клиент 502, задания нет, 202 не было. S2 — падение после COMMIT до publish: клиент 502, но работа дошла до ready. Рестарт обеих реплик API после 202 — ready | `evidence/track2/pipeline-faults.txt`, `evidence/level3/worker-outage.txt` | | 3: отдельные broker и worker; durable at-least-once; ack после эффекта; без worker API не делает resize | `compose.yaml`, `worker_outage.py` | Сервисы `rabbitmq` и `worker`×2. Worker остановлен: upload 202, content 409, сообщения 201. Ack только после COMMIT фиксации, дубли видны в логах worker (S3, S4) | `compose.yaml`, `worker-outage.txt` | | 3: состояния queued/processing/ready/failed, оригинал и thumbnail | smoke, `worker_outage.py`, S12, S13 | queued → ready; failed с `retry_exhausted` и `invalid_image`; оригинал побайтно равен загруженному; thumbnail JPEG 256×160, sha256 = метаданным | `worker-outage.txt`, `pipeline-faults.txt` | diff --git a/evidence/level3/public-checks.txt b/evidence/level3/public-checks.txt index 2df18c06..66614bde 100644 --- a/evidence/level3/public-checks.txt +++ b/evidence/level3/public-checks.txt @@ -4,47 +4,50 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested. python3 tests/smoke.py --base-url "http://localhost:8095" PASS: lab5 public API scenario; infrastructure and grading evidence remain separate. -real JPEG + unicode filename 202 161 ms -PNG 9.90 MiB (noise 1860x1860) 202 450 ms -PNG ровно 40 000 000 px 202 206 ms -PNG 10.33 MiB > 10 MiB 413 payload_too_large 16 ms -10 MiB + 1 байт 413 payload_too_large 21 ms -PNG 40 006 400 px 413 payload_too_large 60 ms -pixel-bomb 30000x30000, файл 106 КБ 413 payload_too_large 102 ms -JPEG SOF 10000x10000 413 payload_too_large 49 ms -zip-bomb в IDAT (64 МБ при 100x100) 415 unsupported_media_type 3408 ms -PNG: байт IDAT испорчен (CRC) 415 unsupported_media_type 115 ms -PNG: корректные CRC, мусор в zlib 415 unsupported_media_type 345 ms -PNG: данных меньше, чем пикселей 415 unsupported_media_type 528 ms -PNG обрезан 415 unsupported_media_type 370 ms -PNG + данные после IEND 415 unsupported_media_type 222 ms -JPEG обрезан (нет EOI) 415 unsupported_media_type 86 ms -PNG под видом image/jpeg 415 unsupported_media_type 65 ms -JPEG под видом image/png 415 unsupported_media_type 76 ms -GIF под видом image/png 415 unsupported_media_type 69 ms -SVG под видом image/png 415 unsupported_media_type 31 ms -Content-Type image/gif 415 unsupported_media_type 9 ms -Content-Type octet-stream 415 unsupported_media_type 10 ms -пустое тело 415 unsupported_media_type 8 ms -filename '../etc/passwd' 400 invalid_request 18 ms -filename 'a/b.png' 400 invalid_request 11 ms -filename 'a\\b.png' 400 invalid_request 7 ms -filename 'nul\x00.png' 400 invalid_request 8 ms -filename 'tab\t.png' 400 invalid_request 11 ms -filename 'line\n.png' 400 invalid_request 11 ms -filename 'c1\x85.png' 400 invalid_request 10 ms -filename '' 400 invalid_request 16 ms -filename ' ' 400 invalid_request 11 ms -filename 'xxxxxxxxxxxxxxxxxxxx' 400 invalid_request 9 ms -без filename 400 invalid_request 15 ms -chunked без Content-Length 400 invalid_request 9 ms -без действительной сессии 401 unauthorized 17 ms -посторонний грузит в чужой чат 404 not_found 17 ms -несуществующий чат 404 not_found 11 ms -chat_id не UUID 400 invalid_request 8 ms -обычный PNG 202 226 ms -PNG в другом чате 202 297 ms -PASS: 40 upload cases, ACL and message linking; no 5xx +real JPEG + unicode filename 202 25 ms +PNG 9.90 MiB (noise 1860x1860) 202 131 ms +PNG ровно 40 000 000 px 202 29 ms +PNG 10.33 MiB > 10 MiB 413 payload_too_large 10 ms +10 MiB + 1 байт 413 payload_too_large 12 ms +PNG 40 006 400 px 413 payload_too_large 15 ms +pixel-bomb 30000x30000, файл 106 КБ 413 payload_too_large 24 ms +JPEG SOF 10000x10000 413 payload_too_large 8 ms +zip-bomb в IDAT (64 МБ при 100x100) 415 unsupported_media_type 62 ms +PNG: байт IDAT испорчен (CRC) 415 unsupported_media_type 13 ms +PNG: корректные CRC, мусор в zlib 415 unsupported_media_type 14 ms +PNG: данных меньше, чем пикселей 415 unsupported_media_type 15 ms +PNG обрезан 415 unsupported_media_type 15 ms +PNG + данные после IEND 415 unsupported_media_type 31 ms +PNG 1x1: фильтр строки 5 (допустимы 0–4) 415 unsupported_media_type 10 ms +JPEG 27 байт: без DQT/DHT и скана 415 unsupported_media_type 17 ms +JPEG без таблиц квантования DQT 415 unsupported_media_type 18 ms +JPEG обрезан (нет EOI) 415 unsupported_media_type 25 ms +PNG под видом image/jpeg 415 unsupported_media_type 15 ms +JPEG под видом image/png 415 unsupported_media_type 11 ms +GIF под видом image/png 415 unsupported_media_type 8 ms +SVG под видом image/png 415 unsupported_media_type 8 ms +Content-Type image/gif 415 unsupported_media_type 4 ms +Content-Type octet-stream 415 unsupported_media_type 4 ms +пустое тело 415 unsupported_media_type 5 ms +filename '../etc/passwd' 400 invalid_request 3 ms +filename 'a/b.png' 400 invalid_request 5 ms +filename 'a\\b.png' 400 invalid_request 3 ms +filename 'nul\x00.png' 400 invalid_request 3 ms +filename 'tab\t.png' 400 invalid_request 3 ms +filename 'line\n.png' 400 invalid_request 3 ms +filename 'c1\x85.png' 400 invalid_request 4 ms +filename '' 400 invalid_request 3 ms +filename ' ' 400 invalid_request 3 ms +filename 'xxxxxxxxxxxxxxxxxxxx' 400 invalid_request 6 ms +без filename 400 invalid_request 3 ms +chunked без Content-Length 400 invalid_request 2 ms +без действительной сессии 401 unauthorized 2 ms +посторонний грузит в чужой чат 404 not_found 3 ms +несуществующий чат 404 not_found 3 ms +chat_id не UUID 400 invalid_request 3 ms +обычный PNG 202 23 ms +PNG в другом чате 202 19 ms +PASS: 43 upload cases, ACL and message linking; no 5xx {"parallel": 32, "replicas_hit": 2, "created_201": 16, "conflict_409": 16, "stored_messages": 1} PASS: concurrent same-key POSTs through different replicas created exactly one message exit 0 diff --git a/src/modules/images.ts b/src/modules/images.ts index 954da24c..f4995c37 100644 --- a/src/modules/images.ts +++ b/src/modules/images.ts @@ -1,9 +1,14 @@ // Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла. // Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу. -// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, поток zlib распаковывается с подсчётом байтов -// (вывод выбрасывается) и сверяется с объёмом, который следует из размеров и формата пикселя. -// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI; энтропийные данные не декодируются. -// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста. +// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, длина PLTE; поток zlib распаковывается с подсчётом байтов +// (вывод выбрасывается, смотрится только байт фильтра 0–4 в начале каждой строки) и сверяется с объёмом, +// который следует из размеров и формата пикселя. +// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI и те же проверки заголовков, на которых +// останавливается libjpeg-turbo (декодер Pillow и браузеров): 8 бит, 1/3/4 компонента, прореживание, таблицы +// DQT/DHT для каждого скана, параметры SOS; скан не пустой. Энтропийные данные не декодируются — битый +// Huffman-код libjpeg тоже считает лишь предупреждением. +// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста +// (у JPEG ещё сегмент заголовка, ≤ 64 KiB). import { finished } from 'node:stream/promises'; import { createInflate, crc32 } from 'node:zlib'; import { tooLarge, unsupported } from '../http/errors.ts'; @@ -31,17 +36,18 @@ const CHANNELS: Record = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 }; const DEPTHS: Record = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] }; const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]]; -// Объём распакованных данных PNG: в каждой строке байт фильтра + пиксели; при interlace — сумма 7 проходов Adam7. -function rawSize(width: number, height: number, bits: number, interlaced: boolean): number { +// Строки распакованных данных PNG как [число строк, байт в строке]: байт фильтра + пиксели; +// при interlace — по одной паре на каждый непустой проход Adam7. +function rowLayout(width: number, height: number, bits: number, interlaced: boolean): [number, number][] { const row = (w: number) => 1 + Math.ceil((w * bits) / 8); - if (!interlaced) return height * row(width); - let total = 0; + if (!interlaced) return [[height, row(width)]]; + const passes: [number, number][] = []; for (const [x0, y0, dx, dy] of ADAM7) { const w = Math.ceil((width - x0) / dx); const h = Math.ceil((height - y0) / dy); - if (w > 0 && h > 0) total += h * row(w); + if (w > 0 && h > 0) passes.push([h, row(w)]); } - return total; + return passes; } function png(maxPixels: number): ImageValidator { @@ -57,11 +63,30 @@ function png(maxPixels: number): ImageValidator { let idat: 'none' | 'open' | 'closed' = 'none'; let expected = 0; let inflated = 0; + let rows: [number, number][] = []; + let pass = 0; // текущий проход Adam7 (без interlace — единственный) + let rowsLeft = 0; // строк до конца прохода + let inRow = 0; // позиция внутри текущей строки + let badFilter = false; const inflate = createInflate(); let zerr: Error | null = null; let wake: (() => void) | null = null; - inflate.on('data', (d: Buffer) => { inflated += d.length; }); + inflate.on('data', (d: Buffer) => { + inflated += d.length; + // Первый байт каждой строки — тип фильтра, допустимы только 0–4 (ISO/IEC 15948, 9.2). + for (let i = 0; i < d.length && pass < rows.length;) { + const len = rows[pass][1]; + if (inRow === 0 && d[i] > 4) badFilter = true; + const step = Math.min(len - inRow, d.length - i); + i += step; + inRow += step; + if (inRow === len) { + inRow = 0; + if (--rowsLeft === 0 && ++pass < rows.length) rowsLeft = rows[pass][0]; + } + } + }); // При ошибке zlib callback write не вызывается: будим ожидающего вручную. inflate.on('error', (e) => { zerr = e; wake?.(); }); const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise((resolve) => { @@ -83,7 +108,10 @@ function png(maxPixels: number): ImageValidator { } else if (idat === 'open') { idat = 'closed'; } - if (type === 'PLTE') palette = true; + if (type === 'PLTE') { + if (palette || !len || len > 256 * 3 || len % 3) throw broken('неверная палитра PLTE'); + palette = true; + } if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND'); } @@ -97,7 +125,9 @@ function png(maxPixels: number): ImageValidator { if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR'); checkPixels(width, height, maxPixels); // до первого байта IDAT dims = { width, height }; - expected = rawSize(width, height, CHANNELS[color] * depth, ihdr[12] === 1); + rows = rowLayout(width, height, CHANNELS[color] * depth, ihdr[12] === 1); + expected = rows.reduce((sum, [h, len]) => sum + h * len, 0); + rowsLeft = rows[0][0]; } state = type === 'IEND' ? 'done' : 'header'; } @@ -127,6 +157,7 @@ function png(maxPixels: number): ImageValidator { if (type === 'IDAT') { await feed(part); if (zerr) throw broken('повреждён поток zlib'); + if (badFilter) throw broken('неверный тип фильтра строки'); if (inflated > expected) throw broken('данных больше, чем пикселей'); } left -= part.length; @@ -161,6 +192,7 @@ function png(maxPixels: number): ImageValidator { } catch { throw broken('поток zlib не завершён'); } + if (badFilter) throw broken('неверный тип фильтра строки'); if (inflated !== expected) throw broken('объём данных не совпадает с размерами'); return dims!; }, @@ -170,16 +202,111 @@ function png(maxPixels: number): ImageValidator { // SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра. const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]); +// Принимается то, что декодирует libjpeg-turbo через обычный 8-битный API: baseline, extended, progressive +// с Huffman- или arithmetic-кодированием. Lossless и hierarchical (C3, C5–C7, CB, CD–CF) отвергаются. +const SUPPORTED_SOF = new Set([0xc0, 0xc1, 0xc2, 0xc9, 0xca]); +const DHT = 0xc4; const SOS = 0xda; +const DQT = 0xdb; +const DRI = 0xdd; +const PARSED = new Set([...SUPPORTED_SOF, DHT, SOS, DQT]); + +type Component = { h: number; v: number; tq: number }; function jpeg(maxPixels: number): ImageValidator { let carry = Buffer.alloc(0); let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi'; let marker = 0; let left = 0; - let head = Buffer.alloc(0); // начало SOF: точность, высота, ширина + let seg = Buffer.alloc(0); // payload разбираемого сегмента (SOF, DHT, DQT, SOS) let dims: Dimensions | null = null; + let progressive = false; + let arithmetic = false; let scanned = false; + let scanData = 0; // байт энтропийных данных в текущем скане + const components = new Map(); + const quant = new Set(); // номера определённых таблиц DQT + const huff = new Set(); // таблицы DHT: класс << 2 | номер + + function frame() { + const [precision, n] = [seg[0], seg[5]]; + const height = seg.readUInt16BE(1); + const width = seg.readUInt16BE(3); + if (!width || !height) throw broken('нулевые размеры'); + if (precision !== 8) throw broken('поддерживается только 8 бит на канал'); + if (![1, 3, 4].includes(n) || seg.length !== 6 + 3 * n) throw broken('неверный SOF'); + for (let i = 6; i < seg.length; i += 3) { + const [id, h, v, tq] = [seg[i], seg[i + 1] >> 4, seg[i + 1] & 15, seg[i + 2]]; + if (components.has(id) || h < 1 || h > 4 || v < 1 || v > 4 || tq > 3) throw broken('неверные компоненты SOF'); + components.set(id, { h, v, tq }); + } + // libjpeg восстанавливает цвет только при целом отношении прореживания к максимальному. + const all = [...components.values()]; + const [maxH, maxV] = [Math.max(...all.map((c) => c.h)), Math.max(...all.map((c) => c.v))]; + if (all.some((c) => maxH % c.h || maxV % c.v)) throw broken('неподдерживаемое прореживание цвета'); + checkPixels(width, height, maxPixels); // до энтропийных данных + dims = { width, height }; + progressive = marker === 0xc2 || marker === 0xca; + arithmetic = marker >= 0xc9; + } + + function quantTables() { + for (let i = 0; i < seg.length;) { + const [pq, tq] = [seg[i] >> 4, seg[i] & 15]; + const size = 1 + 64 * (pq + 1); + if (pq > 1 || tq > 3 || i + size > seg.length) throw broken('неверная таблица DQT'); + quant.add(tq); + i += size; + } + } + + function huffmanTables() { + for (let i = 0; i < seg.length;) { + if (i + 17 > seg.length) throw broken('неверная таблица DHT'); + const [tc, th] = [seg[i] >> 4, seg[i] & 15]; + let total = 0; + let code = 0; + for (let len = 1; len <= 16; len++) { + total += seg[i + len]; + code += seg[i + len]; + // Как jpeg_make_d_derived_tbl: коды длины len не должны занять всё пространство (код из одних 1 зарезервирован). + if (code >= 1 << len) throw broken('неверная таблица DHT'); + code <<= 1; + } + const symbols = seg.subarray(i + 17, i + 17 + total); + if (tc > 1 || th > 3 || total > 256 || symbols.length !== total) throw broken('неверная таблица DHT'); + if (tc === 0 && symbols.some((s) => s > 15)) throw broken('неверная таблица DHT'); + huff.add((tc << 2) | th); + i += 17 + total; + } + } + + function scan() { + const n = seg[0]; + if (n < 1 || n > 4 || seg.length !== 4 + 2 * n) throw broken('неверный SOS'); + const [ss, se, ah, al] = [seg[1 + 2 * n], seg[2 + 2 * n], seg[3 + 2 * n] >> 4, seg[3 + 2 * n] & 15]; + if (progressive && (ss === 0 ? se !== 0 : ss > se || se > 63 || n !== 1)) throw broken('неверные параметры скана'); + if (progressive && ((ah && al !== ah - 1) || al > 13)) throw broken('неверные параметры скана'); + const seen = new Set(); + let blocks = 0; + for (let i = 1; i < 1 + 2 * n; i += 2) { + const comp = components.get(seg[i]); + if (!comp || seen.has(seg[i])) throw broken('SOS ссылается на неизвестный компонент'); + seen.add(seg[i]); + blocks += comp.h * comp.v; + if (!quant.has(comp.tq)) throw broken('нет таблицы квантования DQT'); + // Отсутствующие таблицы Хаффмана 0 и 1 libjpeg-turbo заменяет стандартными (Motion JPEG); 2 и 3 — нет. + // У arithmetic-кодирования таблицы условий (DAC) необязательны, проверяется только номер. + const [td, ta] = [seg[i + 1] >> 4, seg[i + 1] & 15]; + const missing = (cls: number, t: number) => t > 3 || (!arithmetic && t > 1 && !huff.has((cls << 2) | t)); + const needDC = !progressive || (ss === 0 && ah === 0); + const needAC = !progressive || ss > 0; + if ((needDC && missing(0, td)) || (needAC && missing(1, ta))) throw broken('нет таблицы энтропийного кодирования'); + } + if (n > 1 && blocks > 10) throw broken('слишком большой MCU'); + scanned = true; + scanData = 0; + } function write(chunk: Buffer) { const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk; @@ -218,32 +345,31 @@ function jpeg(maxPixels: number): ImageValidator { left = buf.readUInt16BE(pos) - 2; pos += 2; if (left < 0) throw broken('неверная длина сегмента'); + if (SOF.has(marker) && !SUPPORTED_SOF.has(marker)) throw broken('неподдерживаемый вид JPEG (lossless, hierarchical)'); if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF'); if (marker === SOS && !dims) throw broken('SOS до SOF'); - head = Buffer.alloc(0); + if (marker === DRI && left !== 2) throw broken('неверный DRI'); + seg = Buffer.alloc(0); state = 'payload'; break; } case 'payload': { const n = Math.min(left, avail); - if (SOF.has(marker) && head.length < 5) head = Buffer.concat([head, buf.subarray(pos, pos + Math.min(n, 5 - head.length))]); + if (PARSED.has(marker)) seg = Buffer.concat([seg, buf.subarray(pos, pos + n)]); pos += n; left -= n; if (left) break; - if (SOF.has(marker)) { - const height = head.readUInt16BE(1); - const width = head.readUInt16BE(3); - if (!width || !height) throw broken('нулевые размеры'); - checkPixels(width, height, maxPixels); // до энтропийных данных - dims = { width, height }; - } - scanned ||= marker === SOS; + if (SUPPORTED_SOF.has(marker)) frame(); + else if (marker === DQT) quantTables(); + else if (marker === DHT) huffmanTables(); + else if (marker === SOS) scan(); state = marker === SOS ? 'scan' : 'marker'; break; } case 'scan': { // Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер. const ff = buf.indexOf(0xff, pos); + scanData += (ff < 0 ? buf.length : ff) - pos; if (ff < 0) { pos = buf.length; } else if (ff + 1 >= buf.length) { @@ -251,9 +377,15 @@ function jpeg(maxPixels: number): ImageValidator { break loop; } else { const next = buf[ff + 1]; - if (next === 0x00 || (next >= 0xd0 && next <= 0xd7)) pos = ff + 2; - else if (next === 0xff) pos = ff + 1; - else { + if (next === 0x00) { + pos = ff + 2; + scanData += 1; + } else if (next >= 0xd0 && next <= 0xd7) { + pos = ff + 2; + } else if (next === 0xff) { + pos = ff + 1; // заполнитель перед маркером + } else { + if (!scanData) throw broken('скан без данных'); pos = ff; state = 'marker'; } diff --git a/student-tests/attachments.py b/student-tests/attachments.py index 6af4adb7..372eeb9a 100644 --- a/student-tests/attachments.py +++ b/student-tests/attachments.py @@ -49,6 +49,23 @@ def jpeg_with_size(data, width, height): return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:] +def jpeg_without(data, marker): + """Вырезать из JPEG все сегменты с маркером marker, стоящие до SOS.""" + out, i = data[:2], 2 + while data[i + 1] != 0xda: + size = 2 + struct.unpack('>H', data[i + 2:i + 4])[0] + if data[i + 1] != marker: + out += data[i:i + size] + i += size + return out + data[i:] + + +def bare_jpeg(): + """27 байт: SOI, SOF0 1x1, SOS, EOI — без таблиц DQT/DHT и без данных скана.""" + return (b'\xff\xd8' + b'\xff\xc0' + struct.pack('>HBHHB', 11, 8, 1, 1, 1) + b'\x01\x11\x00' + + b'\xff\xda' + struct.pack('>HB', 8, 1) + b'\x01\x00\x00\x3f\x00' + b'\xff\xd9') + + def main(): args = arguments('Attachment negative suite') c = Client(args.base_url, args.ca_file, timeout=30) @@ -106,6 +123,9 @@ def main(): upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей') upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан') upload(SAMPLE_PNG + b'', 415, label='PNG + данные после IEND') + upload(png(1, 1, b'\x05\0\0\0'), 415, label='PNG 1x1: фильтр строки 5 (допустимы 0–4)') + upload(bare_jpeg(), 415, 'image/jpeg', 'bare.jpg', label='JPEG 27 байт: без DQT/DHT и скана') + upload(jpeg_without(SAMPLE_JPG, 0xdb), 415, 'image/jpeg', 'nodqt.jpg', label='JPEG без таблиц квантования DQT') upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)') upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg') upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png')