Проверять фильтры строк PNG и таблицы JPEG при загрузке

PNG: тип фильтра каждой строки (с учётом Adam7) только 0–4, длина PLTE
кратна 3 и не больше 256 цветов. JPEG: заголовки и таблицы проверяются
так же, как в libjpeg-turbo — вид SOF, 8 бит, 1/3/4 компонента,
прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан.
Файлы из замечаний (PNG 1x1 с фильтром 5, JPEG 27 байт без таблиц и
данных скана) теперь получают 415; добавлены тесты.
This commit is contained in:
celis
2026-10-31 10:30:56 +03:00
parent a4a7b9d41a
commit d922b5b0d9
4 changed files with 226 additions and 71 deletions
+3 -3
View File
@@ -25,7 +25,7 @@ make check && make validate PYTHON=.venv/bin/python # venv: python3 -m ven
make test BASE_URL=http://localhost:8080 # LB на 127.0.0.1:${LB_PORT:-8080}
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh && docker compose start api
python3 student-tests/attachments.py --base-url http://localhost:8080 # 40 негативных/граничных случаев upload
python3 student-tests/attachments.py --base-url http://localhost:8080 # 43 негативных/граничных случая upload
python3 student-tests/idempotency_race.py --base-url http://localhost:8080
python3 student-tests/failures.py --base-url http://localhost:8080 # S3 остановлен/завис, down + up
python3 student-tests/worker_outage.py --base-url http://localhost:8080 # уровень 3: worker остановлен, рестарт API и брокера
@@ -60,7 +60,7 @@ worker ×2 ◄─ consume, prefetch 2, ручной ack ─┘
reconciler (из lab4) ─► сверка БД ↔ S3 по originals/, staging/, variants/
```
**Из lab4 перенесено без изменений**: весь API lab1–4, HAProxy с `retry-on conn-failure`, PostgreSQL, SeaweedFS с отдельными S3-identities, потоковый PNG/JPEG-валидатор (CRC, потоковая распаковка со сверкой объёма, лимит пикселей по заголовку), reconciler. **Изменено**: upload 201 → 202, байты сначала пишутся в `staging/`; добавлены брокер, outbox, worker, варианты, повторы и replay; reconciler расширен на `staging/` и `variants/`; исправлен порядок компенсации неудачной загрузки — сначала удаляется pending-строка, потом объект. Иначе при COMMIT с неизвестным исходом можно было удалить объект уже принятого вложения.
**Из lab4 перенесено без изменений**: весь API lab1–4, HAProxy с `retry-on conn-failure`, PostgreSQL, SeaweedFS с отдельными S3-identities, потоковый PNG/JPEG-валидатор (CRC, потоковая распаковка со сверкой объёма, лимит пикселей по заголовку), reconciler. Валидатор доработан по замечаниям к lab4 (как в lab4): PNG — тип фильтра каждой строки только 0–4 и длина PLTE; JPEG — заголовки и таблицы проверяются так же, как в libjpeg-turbo (8 бит, 1/3/4 компонента, прореживание, DQT/DHT для каждого скана, параметры SOS, непустой скан). Файлы с фильтром 5 и JPEG без DQT/DHT и данных скана → 415. **Изменено**: upload 201 → 202, байты сначала пишутся в `staging/`; добавлены брокер, outbox, worker, варианты, повторы и replay; reconciler расширен на `staging/` и `variants/`; исправлен порядок компенсации неудачной загрузки — сначала удаляется pending-строка, потом объект. Иначе при COMMIT с неизвестным исходом можно было удалить объект уже принятого вложения.
### Что сохранено в момент 202 (транзакционные границы)
@@ -180,7 +180,7 @@ Grace сильно больше аренды, поэтому текущая ра
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | `make check`, `make validate`, `make test` | PASS lab5 public API scenario: 202, затем ready, SHA-256 оригинала, thumbnail 256×160 по байтам JPEG | `evidence/level3/public-checks.txt` |
| 3: минимум lab4 сохранён, upload 201 → 202 | `attachments.py`, `idempotency_race.py`, `failures.py` | 40 случаев загрузки, ни одного 5xx: 202 queued с `variants=[]`; 413, 415, 400, 401 и 404 по лимитам и правам; PNG 40 Мп обработан worker. Гонка 32 POST с одним ключом через 2 реплики дала одно сообщение. S3 остановлен — 503 за ~1 с, завис — 503 за 8 с, текст и метаданные работают; `down` + `up` данные сохранил | `public-checks.txt`, `evidence/level4/s3-failures.txt` |
| 3: минимум lab4 сохранён, upload 201 → 202 | `attachments.py`, `idempotency_race.py`, `failures.py` | 43 случая загрузки, ни одного 5xx: 202 queued с `variants=[]`; 413, 415 (в том числе PNG с фильтром 5 и JPEG без таблиц), 400, 401 и 404 по лимитам и правам; PNG 40 Мп обработан worker. Гонка 32 POST с одним ключом через 2 реплики дала одно сообщение. S3 остановлен — 503 за ~1 с, завис — 503 за 8 с, текст и метаданные работают; `down` + `up` данные сохранил | `public-checks.txt`, `evidence/level4/s3-failures.txt` |
| 3: 202 только после staging и задания; остановка API после ответа не теряет работу | `pipeline_faults.py` S1, S2; `worker_outage.py` | S1 — падение API после staging: клиент 502, задания нет, 202 не было. S2 — падение после COMMIT до publish: клиент 502, но работа дошла до ready. Рестарт обеих реплик API после 202 — ready | `evidence/track2/pipeline-faults.txt`, `evidence/level3/worker-outage.txt` |
| 3: отдельные broker и worker; durable at-least-once; ack после эффекта; без worker API не делает resize | `compose.yaml`, `worker_outage.py` | Сервисы `rabbitmq` и `worker`×2. Worker остановлен: upload 202, content 409, сообщения 201. Ack только после COMMIT фиксации, дубли видны в логах worker (S3, S4) | `compose.yaml`, `worker-outage.txt` |
| 3: состояния queued/processing/ready/failed, оригинал и thumbnail | smoke, `worker_outage.py`, S12, S13 | queued → ready; failed с `retry_exhausted` и `invalid_image`; оригинал побайтно равен загруженному; thumbnail JPEG 256×160, sha256 = метаданным | `worker-outage.txt`, `pipeline-faults.txt` |
+44 -41
View File
@@ -4,47 +4,50 @@ PASS: offline skeleton structure, local refs and Python syntax; application NOT
PASS: full OpenAPI 3.1 and JSON Schema validation; application NOT tested.
python3 tests/smoke.py --base-url "http://localhost:8095"
PASS: lab5 public API scenario; infrastructure and grading evidence remain separate.
real JPEG + unicode filename 202 161 ms
PNG 9.90 MiB (noise 1860x1860) 202 450 ms
PNG ровно 40 000 000 px 202 206 ms
PNG 10.33 MiB > 10 MiB 413 payload_too_large 16 ms
10 MiB + 1 байт 413 payload_too_large 21 ms
PNG 40 006 400 px 413 payload_too_large 60 ms
pixel-bomb 30000x30000, файл 106 КБ 413 payload_too_large 102 ms
JPEG SOF 10000x10000 413 payload_too_large 49 ms
zip-bomb в IDAT (64 МБ при 100x100) 415 unsupported_media_type 3408 ms
PNG: байт IDAT испорчен (CRC) 415 unsupported_media_type 115 ms
PNG: корректные CRC, мусор в zlib 415 unsupported_media_type 345 ms
PNG: данных меньше, чем пикселей 415 unsupported_media_type 528 ms
PNG обрезан 415 unsupported_media_type 370 ms
PNG + данные после IEND 415 unsupported_media_type 222 ms
JPEG обрезан (нет EOI) 415 unsupported_media_type 86 ms
PNG под видом image/jpeg 415 unsupported_media_type 65 ms
JPEG под видом image/png 415 unsupported_media_type 76 ms
GIF под видом image/png 415 unsupported_media_type 69 ms
SVG под видом image/png 415 unsupported_media_type 31 ms
Content-Type image/gif 415 unsupported_media_type 9 ms
Content-Type octet-stream 415 unsupported_media_type 10 ms
пустое тело 415 unsupported_media_type 8 ms
filename '../etc/passwd' 400 invalid_request 18 ms
filename 'a/b.png' 400 invalid_request 11 ms
filename 'a\\b.png' 400 invalid_request 7 ms
filename 'nul\x00.png' 400 invalid_request 8 ms
filename 'tab\t.png' 400 invalid_request 11 ms
filename 'line\n.png' 400 invalid_request 11 ms
filename 'c1\x85.png' 400 invalid_request 10 ms
filename '' 400 invalid_request 16 ms
filename ' ' 400 invalid_request 11 ms
filename 'xxxxxxxxxxxxxxxxxxxx' 400 invalid_request 9 ms
без filename 400 invalid_request 15 ms
chunked без Content-Length 400 invalid_request 9 ms
без действительной сессии 401 unauthorized 17 ms
посторонний грузит в чужой чат 404 not_found 17 ms
несуществующий чат 404 not_found 11 ms
chat_id не UUID 400 invalid_request 8 ms
обычный PNG 202 226 ms
PNG в другом чате 202 297 ms
PASS: 40 upload cases, ACL and message linking; no 5xx
real JPEG + unicode filename 202 25 ms
PNG 9.90 MiB (noise 1860x1860) 202 131 ms
PNG ровно 40 000 000 px 202 29 ms
PNG 10.33 MiB > 10 MiB 413 payload_too_large 10 ms
10 MiB + 1 байт 413 payload_too_large 12 ms
PNG 40 006 400 px 413 payload_too_large 15 ms
pixel-bomb 30000x30000, файл 106 КБ 413 payload_too_large 24 ms
JPEG SOF 10000x10000 413 payload_too_large 8 ms
zip-bomb в IDAT (64 МБ при 100x100) 415 unsupported_media_type 62 ms
PNG: байт IDAT испорчен (CRC) 415 unsupported_media_type 13 ms
PNG: корректные CRC, мусор в zlib 415 unsupported_media_type 14 ms
PNG: данных меньше, чем пикселей 415 unsupported_media_type 15 ms
PNG обрезан 415 unsupported_media_type 15 ms
PNG + данные после IEND 415 unsupported_media_type 31 ms
PNG 1x1: фильтр строки 5 (допустимы 0–4) 415 unsupported_media_type 10 ms
JPEG 27 байт: без DQT/DHT и скана 415 unsupported_media_type 17 ms
JPEG без таблиц квантования DQT 415 unsupported_media_type 18 ms
JPEG обрезан (нет EOI) 415 unsupported_media_type 25 ms
PNG под видом image/jpeg 415 unsupported_media_type 15 ms
JPEG под видом image/png 415 unsupported_media_type 11 ms
GIF под видом image/png 415 unsupported_media_type 8 ms
SVG под видом image/png 415 unsupported_media_type 8 ms
Content-Type image/gif 415 unsupported_media_type 4 ms
Content-Type octet-stream 415 unsupported_media_type 4 ms
пустое тело 415 unsupported_media_type 5 ms
filename '../etc/passwd' 400 invalid_request 3 ms
filename 'a/b.png' 400 invalid_request 5 ms
filename 'a\\b.png' 400 invalid_request 3 ms
filename 'nul\x00.png' 400 invalid_request 3 ms
filename 'tab\t.png' 400 invalid_request 3 ms
filename 'line\n.png' 400 invalid_request 3 ms
filename 'c1\x85.png' 400 invalid_request 4 ms
filename '' 400 invalid_request 3 ms
filename ' ' 400 invalid_request 3 ms
filename 'xxxxxxxxxxxxxxxxxxxx' 400 invalid_request 6 ms
без filename 400 invalid_request 3 ms
chunked без Content-Length 400 invalid_request 2 ms
без действительной сессии 401 unauthorized 2 ms
посторонний грузит в чужой чат 404 not_found 3 ms
несуществующий чат 404 not_found 3 ms
chat_id не UUID 400 invalid_request 3 ms
обычный PNG 202 23 ms
PNG в другом чате 202 19 ms
PASS: 43 upload cases, ACL and message linking; no 5xx
{"parallel": 32, "replicas_hit": 2, "created_201": 16, "conflict_409": 16, "stored_messages": 1}
PASS: concurrent same-key POSTs through different replicas created exactly one message
exit 0
+159 -27
View File
@@ -1,9 +1,14 @@
// Потоковая проверка PNG/JPEG по содержимому: без декодирования пикселей и без буферизации файла.
// Размеры берутся из заголовка (IHDR / SOF) и проверяются ДО распаковки данных, поэтому «бомба» отсекается сразу.
// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, поток zlib распаковывается с подсчётом байтов
// (вывод выбрасывается) и сверяется с объёмом, который следует из размеров и формата пикселя.
// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI; энтропийные данные не декодируются.
// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста.
// PNG: сигнатура, порядок chunk-ов, CRC каждого chunk, длина PLTE; поток zlib распаковывается с подсчётом байтов
// (вывод выбрасывается, смотрится только байт фильтра 0–4 в начале каждой строки) и сверяется с объёмом,
// который следует из размеров и формата пикселя.
// JPEG: структура маркеров, ровно один SOF до первого SOS, обязательный EOI и те же проверки заголовков, на которых
// останавливается libjpeg-turbo (декодер Pillow и браузеров): 8 бит, 1/3/4 компонента, прореживание, таблицы
// DQT/DHT для каждого скана, параметры SOS; скан не пустой. Энтропийные данные не декодируются — битый
// Huffman-код libjpeg тоже считает лишь предупреждением.
// Обработанный кусок можно сразу передавать дальше: состояние проверки — несколько чисел и ≤ 13 байт хвоста
// (у JPEG ещё сегмент заголовка, ≤ 64 KiB).
import { finished } from 'node:stream/promises';
import { createInflate, crc32 } from 'node:zlib';
import { tooLarge, unsupported } from '../http/errors.ts';
@@ -31,17 +36,18 @@ const CHANNELS: Record<number, number> = { 0: 1, 2: 3, 3: 1, 4: 2, 6: 4 };
const DEPTHS: Record<number, number[]> = { 0: [1, 2, 4, 8, 16], 2: [8, 16], 3: [1, 2, 4, 8], 4: [8, 16], 6: [8, 16] };
const ADAM7 = [[0, 0, 8, 8], [4, 0, 8, 8], [0, 4, 4, 8], [2, 0, 4, 4], [0, 2, 2, 4], [1, 0, 2, 2], [0, 1, 1, 2]];
// Объём распакованных данных PNG: в каждой строке байт фильтра + пиксели; при interlace — сумма 7 проходов Adam7.
function rawSize(width: number, height: number, bits: number, interlaced: boolean): number {
// Строки распакованных данных PNG как [число строк, байт в строке]: байт фильтра + пиксели;
// при interlace — по одной паре на каждый непустой проход Adam7.
function rowLayout(width: number, height: number, bits: number, interlaced: boolean): [number, number][] {
const row = (w: number) => 1 + Math.ceil((w * bits) / 8);
if (!interlaced) return height * row(width);
let total = 0;
if (!interlaced) return [[height, row(width)]];
const passes: [number, number][] = [];
for (const [x0, y0, dx, dy] of ADAM7) {
const w = Math.ceil((width - x0) / dx);
const h = Math.ceil((height - y0) / dy);
if (w > 0 && h > 0) total += h * row(w);
if (w > 0 && h > 0) passes.push([h, row(w)]);
}
return total;
return passes;
}
function png(maxPixels: number): ImageValidator {
@@ -57,11 +63,30 @@ function png(maxPixels: number): ImageValidator {
let idat: 'none' | 'open' | 'closed' = 'none';
let expected = 0;
let inflated = 0;
let rows: [number, number][] = [];
let pass = 0; // текущий проход Adam7 (без interlace — единственный)
let rowsLeft = 0; // строк до конца прохода
let inRow = 0; // позиция внутри текущей строки
let badFilter = false;
const inflate = createInflate();
let zerr: Error | null = null;
let wake: (() => void) | null = null;
inflate.on('data', (d: Buffer) => { inflated += d.length; });
inflate.on('data', (d: Buffer) => {
inflated += d.length;
// Первый байт каждой строки — тип фильтра, допустимы только 0–4 (ISO/IEC 15948, 9.2).
for (let i = 0; i < d.length && pass < rows.length;) {
const len = rows[pass][1];
if (inRow === 0 && d[i] > 4) badFilter = true;
const step = Math.min(len - inRow, d.length - i);
i += step;
inRow += step;
if (inRow === len) {
inRow = 0;
if (--rowsLeft === 0 && ++pass < rows.length) rowsLeft = rows[pass][0];
}
}
});
// При ошибке zlib callback write не вызывается: будим ожидающего вручную.
inflate.on('error', (e) => { zerr = e; wake?.(); });
const feed = (data: Buffer) => zerr ? Promise.resolve() : new Promise<void>((resolve) => {
@@ -83,7 +108,10 @@ function png(maxPixels: number): ImageValidator {
} else if (idat === 'open') {
idat = 'closed';
}
if (type === 'PLTE') palette = true;
if (type === 'PLTE') {
if (palette || !len || len > 256 * 3 || len % 3) throw broken('неверная палитра PLTE');
palette = true;
}
if (type === 'IEND' && (len !== 0 || idat === 'none')) throw broken('неверный IEND');
}
@@ -97,7 +125,9 @@ function png(maxPixels: number): ImageValidator {
if (!DEPTHS[color]?.includes(depth) || ihdr[10] !== 0 || ihdr[11] !== 0 || ihdr[12] > 1) throw broken('неверные параметры IHDR');
checkPixels(width, height, maxPixels); // до первого байта IDAT
dims = { width, height };
expected = rawSize(width, height, CHANNELS[color] * depth, ihdr[12] === 1);
rows = rowLayout(width, height, CHANNELS[color] * depth, ihdr[12] === 1);
expected = rows.reduce((sum, [h, len]) => sum + h * len, 0);
rowsLeft = rows[0][0];
}
state = type === 'IEND' ? 'done' : 'header';
}
@@ -127,6 +157,7 @@ function png(maxPixels: number): ImageValidator {
if (type === 'IDAT') {
await feed(part);
if (zerr) throw broken('повреждён поток zlib');
if (badFilter) throw broken('неверный тип фильтра строки');
if (inflated > expected) throw broken('данных больше, чем пикселей');
}
left -= part.length;
@@ -161,6 +192,7 @@ function png(maxPixels: number): ImageValidator {
} catch {
throw broken('поток zlib не завершён');
}
if (badFilter) throw broken('неверный тип фильтра строки');
if (inflated !== expected) throw broken('объём данных не совпадает с размерами');
return dims!;
},
@@ -170,16 +202,111 @@ function png(maxPixels: number): ImageValidator {
// SOF0–SOF15 кроме DHT (C4), JPG (C8), DAC (CC): в них ширина и высота кадра.
const SOF = new Set([0xc0, 0xc1, 0xc2, 0xc3, 0xc5, 0xc6, 0xc7, 0xc9, 0xca, 0xcb, 0xcd, 0xce, 0xcf]);
// Принимается то, что декодирует libjpeg-turbo через обычный 8-битный API: baseline, extended, progressive
// с Huffman- или arithmetic-кодированием. Lossless и hierarchical (C3, C5–C7, CB, CD–CF) отвергаются.
const SUPPORTED_SOF = new Set([0xc0, 0xc1, 0xc2, 0xc9, 0xca]);
const DHT = 0xc4;
const SOS = 0xda;
const DQT = 0xdb;
const DRI = 0xdd;
const PARSED = new Set([...SUPPORTED_SOF, DHT, SOS, DQT]);
type Component = { h: number; v: number; tq: number };
function jpeg(maxPixels: number): ImageValidator {
let carry = Buffer.alloc(0);
let state: 'soi' | 'marker' | 'length' | 'payload' | 'scan' | 'done' = 'soi';
let marker = 0;
let left = 0;
let head = Buffer.alloc(0); // начало SOF: точность, высота, ширина
let seg = Buffer.alloc(0); // payload разбираемого сегмента (SOF, DHT, DQT, SOS)
let dims: Dimensions | null = null;
let progressive = false;
let arithmetic = false;
let scanned = false;
let scanData = 0; // байт энтропийных данных в текущем скане
const components = new Map<number, Component>();
const quant = new Set<number>(); // номера определённых таблиц DQT
const huff = new Set<number>(); // таблицы DHT: класс << 2 | номер
function frame() {
const [precision, n] = [seg[0], seg[5]];
const height = seg.readUInt16BE(1);
const width = seg.readUInt16BE(3);
if (!width || !height) throw broken('нулевые размеры');
if (precision !== 8) throw broken('поддерживается только 8 бит на канал');
if (![1, 3, 4].includes(n) || seg.length !== 6 + 3 * n) throw broken('неверный SOF');
for (let i = 6; i < seg.length; i += 3) {
const [id, h, v, tq] = [seg[i], seg[i + 1] >> 4, seg[i + 1] & 15, seg[i + 2]];
if (components.has(id) || h < 1 || h > 4 || v < 1 || v > 4 || tq > 3) throw broken('неверные компоненты SOF');
components.set(id, { h, v, tq });
}
// libjpeg восстанавливает цвет только при целом отношении прореживания к максимальному.
const all = [...components.values()];
const [maxH, maxV] = [Math.max(...all.map((c) => c.h)), Math.max(...all.map((c) => c.v))];
if (all.some((c) => maxH % c.h || maxV % c.v)) throw broken('неподдерживаемое прореживание цвета');
checkPixels(width, height, maxPixels); // до энтропийных данных
dims = { width, height };
progressive = marker === 0xc2 || marker === 0xca;
arithmetic = marker >= 0xc9;
}
function quantTables() {
for (let i = 0; i < seg.length;) {
const [pq, tq] = [seg[i] >> 4, seg[i] & 15];
const size = 1 + 64 * (pq + 1);
if (pq > 1 || tq > 3 || i + size > seg.length) throw broken('неверная таблица DQT');
quant.add(tq);
i += size;
}
}
function huffmanTables() {
for (let i = 0; i < seg.length;) {
if (i + 17 > seg.length) throw broken('неверная таблица DHT');
const [tc, th] = [seg[i] >> 4, seg[i] & 15];
let total = 0;
let code = 0;
for (let len = 1; len <= 16; len++) {
total += seg[i + len];
code += seg[i + len];
// Как jpeg_make_d_derived_tbl: коды длины len не должны занять всё пространство (код из одних 1 зарезервирован).
if (code >= 1 << len) throw broken('неверная таблица DHT');
code <<= 1;
}
const symbols = seg.subarray(i + 17, i + 17 + total);
if (tc > 1 || th > 3 || total > 256 || symbols.length !== total) throw broken('неверная таблица DHT');
if (tc === 0 && symbols.some((s) => s > 15)) throw broken('неверная таблица DHT');
huff.add((tc << 2) | th);
i += 17 + total;
}
}
function scan() {
const n = seg[0];
if (n < 1 || n > 4 || seg.length !== 4 + 2 * n) throw broken('неверный SOS');
const [ss, se, ah, al] = [seg[1 + 2 * n], seg[2 + 2 * n], seg[3 + 2 * n] >> 4, seg[3 + 2 * n] & 15];
if (progressive && (ss === 0 ? se !== 0 : ss > se || se > 63 || n !== 1)) throw broken('неверные параметры скана');
if (progressive && ((ah && al !== ah - 1) || al > 13)) throw broken('неверные параметры скана');
const seen = new Set<number>();
let blocks = 0;
for (let i = 1; i < 1 + 2 * n; i += 2) {
const comp = components.get(seg[i]);
if (!comp || seen.has(seg[i])) throw broken('SOS ссылается на неизвестный компонент');
seen.add(seg[i]);
blocks += comp.h * comp.v;
if (!quant.has(comp.tq)) throw broken('нет таблицы квантования DQT');
// Отсутствующие таблицы Хаффмана 0 и 1 libjpeg-turbo заменяет стандартными (Motion JPEG); 2 и 3 — нет.
// У arithmetic-кодирования таблицы условий (DAC) необязательны, проверяется только номер.
const [td, ta] = [seg[i + 1] >> 4, seg[i + 1] & 15];
const missing = (cls: number, t: number) => t > 3 || (!arithmetic && t > 1 && !huff.has((cls << 2) | t));
const needDC = !progressive || (ss === 0 && ah === 0);
const needAC = !progressive || ss > 0;
if ((needDC && missing(0, td)) || (needAC && missing(1, ta))) throw broken('нет таблицы энтропийного кодирования');
}
if (n > 1 && blocks > 10) throw broken('слишком большой MCU');
scanned = true;
scanData = 0;
}
function write(chunk: Buffer) {
const buf = carry.length ? Buffer.concat([carry, chunk]) : chunk;
@@ -218,32 +345,31 @@ function jpeg(maxPixels: number): ImageValidator {
left = buf.readUInt16BE(pos) - 2;
pos += 2;
if (left < 0) throw broken('неверная длина сегмента');
if (SOF.has(marker) && !SUPPORTED_SOF.has(marker)) throw broken('неподдерживаемый вид JPEG (lossless, hierarchical)');
if (SOF.has(marker) && (dims || left < 6)) throw broken('неверный SOF');
if (marker === SOS && !dims) throw broken('SOS до SOF');
head = Buffer.alloc(0);
if (marker === DRI && left !== 2) throw broken('неверный DRI');
seg = Buffer.alloc(0);
state = 'payload';
break;
}
case 'payload': {
const n = Math.min(left, avail);
if (SOF.has(marker) && head.length < 5) head = Buffer.concat([head, buf.subarray(pos, pos + Math.min(n, 5 - head.length))]);
if (PARSED.has(marker)) seg = Buffer.concat([seg, buf.subarray(pos, pos + n)]);
pos += n;
left -= n;
if (left) break;
if (SOF.has(marker)) {
const height = head.readUInt16BE(1);
const width = head.readUInt16BE(3);
if (!width || !height) throw broken('нулевые размеры');
checkPixels(width, height, maxPixels); // до энтропийных данных
dims = { width, height };
}
scanned ||= marker === SOS;
if (SUPPORTED_SOF.has(marker)) frame();
else if (marker === DQT) quantTables();
else if (marker === DHT) huffmanTables();
else if (marker === SOS) scan();
state = marker === SOS ? 'scan' : 'marker';
break;
}
case 'scan': {
// Внутри энтропийных данных 0xFF допустим только как FF00 (stuffing) и RSTn; иначе начинается маркер.
const ff = buf.indexOf(0xff, pos);
scanData += (ff < 0 ? buf.length : ff) - pos;
if (ff < 0) {
pos = buf.length;
} else if (ff + 1 >= buf.length) {
@@ -251,9 +377,15 @@ function jpeg(maxPixels: number): ImageValidator {
break loop;
} else {
const next = buf[ff + 1];
if (next === 0x00 || (next >= 0xd0 && next <= 0xd7)) pos = ff + 2;
else if (next === 0xff) pos = ff + 1;
else {
if (next === 0x00) {
pos = ff + 2;
scanData += 1;
} else if (next >= 0xd0 && next <= 0xd7) {
pos = ff + 2;
} else if (next === 0xff) {
pos = ff + 1; // заполнитель перед маркером
} else {
if (!scanData) throw broken('скан без данных');
pos = ff;
state = 'marker';
}
+20
View File
@@ -49,6 +49,23 @@ def jpeg_with_size(data, width, height):
return data[:i + 5] + struct.pack('>HH', height, width) + data[i + 9:]
def jpeg_without(data, marker):
"""Вырезать из JPEG все сегменты с маркером marker, стоящие до SOS."""
out, i = data[:2], 2
while data[i + 1] != 0xda:
size = 2 + struct.unpack('>H', data[i + 2:i + 4])[0]
if data[i + 1] != marker:
out += data[i:i + size]
i += size
return out + data[i:]
def bare_jpeg():
"""27 байт: SOI, SOF0 1x1, SOS, EOI — без таблиц DQT/DHT и без данных скана."""
return (b'\xff\xd8' + b'\xff\xc0' + struct.pack('>HBHHB', 11, 8, 1, 1, 1) + b'\x01\x11\x00'
+ b'\xff\xda' + struct.pack('>HB', 8, 1) + b'\x01\x00\x00\x3f\x00' + b'\xff\xd9')
def main():
args = arguments('Attachment negative suite')
c = Client(args.base_url, args.ca_file, timeout=30)
@@ -106,6 +123,9 @@ def main():
upload(png(320, 200, bytes(100)), 415, label='PNG: данных меньше, чем пикселей')
upload(SAMPLE_PNG[:-200], 415, label='PNG обрезан')
upload(SAMPLE_PNG + b'<html>', 415, label='PNG + данные после IEND')
upload(png(1, 1, b'\x05\0\0\0'), 415, label='PNG 1x1: фильтр строки 5 (допустимы 0–4)')
upload(bare_jpeg(), 415, 'image/jpeg', 'bare.jpg', label='JPEG 27 байт: без DQT/DHT и скана')
upload(jpeg_without(SAMPLE_JPG, 0xdb), 415, 'image/jpeg', 'nodqt.jpg', label='JPEG без таблиц квантования DQT')
upload(SAMPLE_JPG[:-500], 415, 'image/jpeg', 'cut.jpg', label='JPEG обрезан (нет EOI)')
upload(SAMPLE_PNG, 415, 'image/jpeg', 'spoof.jpg', label='PNG под видом image/jpeg')
upload(SAMPLE_JPG, 415, 'image/png', 'spoof.png', label='JPEG под видом image/png')