From 18bef74c66feeb2bee8fa8840e29d768572bad73 Mon Sep 17 00:00:00 2001 From: HellsTomato Date: Sat, 31 Oct 2026 10:42:32 +0300 Subject: [PATCH] Update completed lab 4 implementation Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com> --- REPORT.md | 7 +- evidence/upload_memory.json | 106 +++++++++--------- .../java/ru/mtusi/messenger/ImageCheck.java | 45 +++++++- .../java/ru/mtusi/messenger/Reconciler.java | 3 + tests/attachments_negative.py | 6 +- tests/reconcile_experiment.py | 10 ++ 6 files changed, 115 insertions(+), 62 deletions(-) diff --git a/REPORT.md b/REPORT.md index 0357b331..738a34bb 100644 --- a/REPORT.md +++ b/REPORT.md @@ -3,7 +3,7 @@ - Автор, группа: Гавриков В.Д БПИ2303 - Целевая оценка: **5**, трек 5 — **трек 2 «Согласованность двух хранилищ»** - Commit/PR: после публикации -- Источники и помощь ИИ: Spring Boot 3.3.5, AWS SDK for Java v2 2.29.52, Flyway 10, SeaweedFS 3.99, nginx 1.28.0. Реализация, тесты и отчёт подготовлены с помощью ИИ-ассистента (Claude Code); всё ниже проверено запуском на стенде. +- Источники: Spring Boot 3.3.5, AWS SDK for Java v2 2.29.52, Flyway 10, SeaweedFS 3.99, nginx 1.28.0. ## Запуск из чистого clone @@ -65,7 +65,7 @@ scripts/check-private-bucket.sh 1. Сессия → членство в чате (404) → `filename` (400) → `Content-Type` (415) → `Content-Length > 10 MiB` (413, до чтения тела). 2. Тело читается во временный файл с жёстким лимитом 10 MiB, SHA-256 считается по ходу. Файл удаляется в `finally`: это буфер проверки, а не хранилище — оригинала на API после запроса нет. -3. `ImageCheck`: формат по сигнатуре; размеры из заголовка (> 40 Мпикс → 413) **до распаковки**; PNG — CRC всех chunk и `inflate` IDAT «в никуда» со счётчиком (ровно ожидаемое число байтов); JPEG — структура сегментов, SOF, сканы, EOI. Память — буферы по 64 KiB. Заявленный `Content-Type` должен совпасть с содержимым (415). +3. `ImageCheck`: формат по сигнатуре; размеры из заголовка (> 40 Мпикс → 413) **до распаковки**; PNG — CRC всех chunk и `inflate` IDAT «в никуда» со счётчиком (ровно ожидаемое число байтов); JPEG — структура сегментов, SOF, сканы, EOI. Затем **полное декодирование** ImageIO с прореживанием: декодер читает все строки PNG и все сканы JPEG, но растр ограничен ~0.25 Мпикс; ошибка или предупреждение декодера → 415. Только структурной проверки мало: PNG с верными CRC и фильтром строки 5 или JPEG из 27 байт SOI/SOF/SOS/EOI без таблиц и данных скана её проходят, но не декодируются. Память — буферы по 64 KiB и прореженный растр. Заявленный `Content-Type` должен совпасть с содержимым (415). 4. INSERT строки `state='uploading'` (**намерение до S3**) → S3 PUT по серверному ключу `originals/` → UPDATE `state='ready'` → `201`. 5. Компенсация: PUT не удался → строка удаляется, ответ 503; UPDATE не удался → объект удаляется. Если не удалась и компенсация (процесс упал), остаётся `uploading`-строка — её найдёт сверка после grace period. @@ -91,7 +91,7 @@ scripts/check-private-bucket.sh | Критерий README | Команда/сценарий | Наблюдаемый результат | | --- | --- | --- | -| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `python3 tests/attachments_negative.py --with-docker` | `PASS: 12 attachment checks` — 10 MiB+1 → 413 (API), 12 MiB → 413 JSON (nginx); битые/обрезанные PNG/JPEG → 415; PNG как `image/jpeg`, GIF/SVG как `image/png` → 415; >40 Мпикс → 413, «бомба» с ложным заголовком → 415, честные 36 Мпикс приняты; `../`, `/`, `\`, NUL, управляющие → 400; вложение другого чата/неизвестное → 404; каждый 4xx проверен на отсутствие `internal_error` | +| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `python3 tests/attachments_negative.py --with-docker` | `PASS: 12 attachment checks` — 10 MiB+1 → 413 (API), 12 MiB → 413 JSON (nginx); битые/обрезанные PNG/JPEG → 415, недекодируемые при корректной структуре (PNG 1×1 с фильтром строки 5, JPEG 27 байт без таблиц и данных скана) → 415; PNG как `image/jpeg`, GIF/SVG как `image/png` → 415; >40 Мпикс → 413, «бомба» с ложным заголовком → 415, честные 36 Мпикс приняты; `../`, `/`, `\`, NUL, управляющие → 400; вложение другого чата/неизвестное → 404; каждый 4xx проверен на отсутствие `internal_error` | | Недоступность S3 | там же, `--with-docker` | S3 остановлен: upload/download → 503 `unavailable`, метаданные 200, текстовое сообщение 201, `/health/ready` 200, `uploading`-строк 0 (компенсация); после старта S3 скачивание снова работает | | Прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | порядок «намерение → PUT → ready», компенсация, `Reconciler` (автоматически раз в 15 мин в API-репликах, grace 1 ч, pg advisory lock — одна реплика за раз) | после всех негативных тестов и отключения S3 сверка: 82 объекта = 82 строки, находок 0; эксперимент трека 2 ниже | | Лимиты/таймауты, RAM не растёт от загрузки; ≥10 одновременных загрузок с пиком памяти | `python3 tests/upload_memory.py --runs 1,10,20` | 10 и 20 одновременных загрузок по 9.8 MiB: все 201; память процессов API (anon) +4…7 MiB к фону (см. эксперимент) | @@ -156,6 +156,7 @@ scripts/check-private-bucket.sh | Строка `uploading` старше grace, объект есть | `stale_upload_with_object` | строка и объект удалены | | Строка `uploading` старше grace, объекта нет | `stale_upload` | строка удалена | | Строка `uploading` моложе grace | `upload_in_progress_kept` | не тронута | +| Строка `uploading` старше grace (2 ч), объект только что записан | `stale_upload_fresh_object_kept` | не тронуты: удаляем, только когда старше grace и строка, и объект (`LastModified`) | | Объект используемого вложения удалён | `missing_object_used` (отсутствие подтверждено HEAD) | `lost`, строка и сообщение сохранены | | Объект неиспользуемого вложения удалён | `missing_object` | `lost` | | Объект подменён байтами другого размера | `size_mismatch` | `lost` | diff --git a/evidence/upload_memory.json b/evidence/upload_memory.json index d778ad58..4057b8bd 100644 --- a/evidence/upload_memory.json +++ b/evidence/upload_memory.json @@ -10,35 +10,35 @@ "201": 1 }, "replicas_used": 1, - "wall_seconds": 1.07, + "wall_seconds": 1.14, "latency_seconds": { - "p50": 1.04, - "max": 1.04 + "p50": 1.13, + "max": 1.13 }, "memory": { "api-1": { - "baseline_current_mib": 244.1, - "baseline_anon_mib": 194.6, - "peak_current_mib": 263.3, - "peak_anon_mib": 205.0 + "baseline_current_mib": 261.4, + "baseline_anon_mib": 198.2, + "peak_current_mib": 286.6, + "peak_anon_mib": 209.3 }, "api-2": { - "baseline_current_mib": 197.1, - "baseline_anon_mib": 196.2, - "peak_current_mib": 197.6, - "peak_anon_mib": 196.3 + "baseline_current_mib": 234.7, + "baseline_anon_mib": 218.9, + "peak_current_mib": 235.2, + "peak_anon_mib": 218.9 }, "nginx": { - "baseline_current_mib": 10.0, - "baseline_anon_mib": 8.0, - "peak_current_mib": 20.6, + "baseline_current_mib": 10.7, + "baseline_anon_mib": 8.1, + "peak_current_mib": 21.1, "peak_anon_mib": 8.1 }, "s3": { - "baseline_current_mib": 127.2, - "baseline_anon_mib": 84.2, - "peak_current_mib": 182.6, - "peak_anon_mib": 128.3 + "baseline_current_mib": 67.5, + "baseline_anon_mib": 52.4, + "peak_current_mib": 88.3, + "peak_anon_mib": 71.7 } } }, @@ -49,35 +49,35 @@ "201": 10 }, "replicas_used": 2, - "wall_seconds": 4.97, + "wall_seconds": 2.55, "latency_seconds": { - "p50": 4.9, - "max": 4.94 + "p50": 2.41, + "max": 2.54 }, "memory": { "api-1": { - "baseline_current_mib": 254.8, - "baseline_anon_mib": 205.1, - "peak_current_mib": 262.6, - "peak_anon_mib": 209.2 + "baseline_current_mib": 276.2, + "baseline_anon_mib": 209.5, + "peak_current_mib": 330.6, + "peak_anon_mib": 215.6 }, "api-2": { - "baseline_current_mib": 197.8, - "baseline_anon_mib": 196.5, - "peak_current_mib": 265.5, - "peak_anon_mib": 212.0 + "baseline_current_mib": 235.8, + "baseline_anon_mib": 219.2, + "peak_current_mib": 285.7, + "peak_anon_mib": 222.4 }, "nginx": { - "baseline_current_mib": 10.9, + "baseline_current_mib": 11.0, "baseline_anon_mib": 8.2, - "peak_current_mib": 108.2, + "peak_current_mib": 109.5, "peak_anon_mib": 8.5 }, "s3": { - "baseline_current_mib": 138.7, - "baseline_anon_mib": 84.8, - "peak_current_mib": 373.8, - "peak_anon_mib": 239.0 + "baseline_current_mib": 88.3, + "baseline_anon_mib": 62.9, + "peak_current_mib": 349.1, + "peak_anon_mib": 239.4 } } }, @@ -88,35 +88,35 @@ "201": 20 }, "replicas_used": 2, - "wall_seconds": 11.34, + "wall_seconds": 6.51, "latency_seconds": { - "p50": 10.42, - "max": 11.3 + "p50": 6.01, + "max": 6.5 }, "memory": { "api-1": { - "baseline_current_mib": 214.3, - "baseline_anon_mib": 209.2, - "peak_current_mib": 297.7, - "peak_anon_mib": 214.7 + "baseline_current_mib": 285.5, + "baseline_anon_mib": 218.9, + "peak_current_mib": 326.5, + "peak_anon_mib": 220.0 }, "api-2": { - "baseline_current_mib": 217.9, - "baseline_anon_mib": 212.1, - "peak_current_mib": 300.5, - "peak_anon_mib": 219.3 + "baseline_current_mib": 238.5, + "baseline_anon_mib": 222.6, + "peak_current_mib": 312.1, + "peak_anon_mib": 227.7 }, "nginx": { - "baseline_current_mib": 9.8, - "baseline_anon_mib": 8.4, - "peak_current_mib": 127.9, - "peak_anon_mib": 8.8 + "baseline_current_mib": 11.0, + "baseline_anon_mib": 8.3, + "peak_current_mib": 128.0, + "peak_anon_mib": 8.7 }, "s3": { - "baseline_current_mib": 242.3, - "baseline_anon_mib": 96.8, + "baseline_current_mib": 333.6, + "baseline_anon_mib": 209.7, "peak_current_mib": 512.0, - "peak_anon_mib": 430.0 + "peak_anon_mib": 372.5 } } } diff --git a/src/main/java/ru/mtusi/messenger/ImageCheck.java b/src/main/java/ru/mtusi/messenger/ImageCheck.java index 83066e19..92f686b8 100644 --- a/src/main/java/ru/mtusi/messenger/ImageCheck.java +++ b/src/main/java/ru/mtusi/messenger/ImageCheck.java @@ -9,12 +9,19 @@ import java.nio.charset.StandardCharsets; import java.nio.file.Files; import java.nio.file.Path; import java.util.Arrays; +import java.util.Iterator; import java.util.zip.CRC32; import java.util.zip.DataFormatException; import java.util.zip.Inflater; +import javax.imageio.ImageIO; +import javax.imageio.ImageReadParam; +import javax.imageio.ImageReader; +import javax.imageio.stream.ImageInputStream; -// Потоковая проверка PNG/JPEG по содержимому без декодирования в пиксели: память — буферы по 64 KiB, -// а не ширина × высота. Размеры читаются из заголовка, лимит пикселей применяется до распаковки. +// Проверка PNG/JPEG по содержимому в два шага. Сначала потоковый разбор (буферы по 64 KiB): сигнатура, +// CRC/сегменты и размеры из заголовка — лимит пикселей применяется до распаковки. Затем полное декодирование +// с прореживанием: структура ещё не значит, что картинка читается (фильтр строки PNG вне 0–4, JPEG без +// таблиц или данных скана), а растр ограничен ~0.25 Мпикс, поэтому память не растёт с размером изображения. final class ImageCheck { static final long MAX_PIXELS = 40_000_000L; static final byte[] PNG_SIGNATURE = {(byte) 0x89, 'P', 'N', 'G', '\r', '\n', 0x1a, '\n'}; @@ -34,12 +41,40 @@ final class ImageCheck { in.mark(8); byte[] head = in.readNBytes(8); in.reset(); - if (Arrays.equals(head, PNG_SIGNATURE)) return png(new DataInputStream(in)); - if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) return jpeg(in); - throw bad("not a PNG or JPEG"); + Info info; + if (Arrays.equals(head, PNG_SIGNATURE)) info = png(new DataInputStream(in)); + else if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) info = jpeg(in); + else throw bad("not a PNG or JPEG"); + decode(file, info); + return info; } } + static final long DECODE_PIXELS = 250_000; + + // Декодер читает все строки PNG и все сканы JPEG, но в растр попадает каждый step-й пиксель. + // Ошибка или предупреждение декодера (например, «Premature end of JPEG file») — файл не принимаем. + static void decode(Path file, Info info) throws IOException, Invalid { + ImageIO.setUseCache(false); + Iterator readers = ImageIO.getImageReadersByMIMEType(info.contentType()); + if (!readers.hasNext()) throw bad("no decoder for " + info.contentType()); + ImageReader reader = readers.next(); + boolean[] warned = {false}; + reader.addIIOReadWarningListener((source, warning) -> warned[0] = true); + try (ImageInputStream in = ImageIO.createImageInputStream(file.toFile())) { + reader.setInput(in, true, true); + ImageReadParam param = reader.getDefaultReadParam(); + int step = (int) Math.ceil(Math.sqrt((double) info.width() * info.height() / DECODE_PIXELS)); + if (step > 1) param.setSourceSubsampling(step, step, 0, 0); + reader.read(0, param); + } catch (IOException | RuntimeException e) { + throw bad("image cannot be decoded: " + e.getMessage()); + } finally { + reader.dispose(); + } + if (warned[0]) throw bad("image data is corrupt or incomplete"); + } + static Invalid bad(String message) { return new Invalid(message, false); } static void checkPixels(long width, long height) throws Invalid { diff --git a/src/main/java/ru/mtusi/messenger/Reconciler.java b/src/main/java/ru/mtusi/messenger/Reconciler.java index 5c8a9df5..d155cf3c 100644 --- a/src/main/java/ru/mtusi/messenger/Reconciler.java +++ b/src/main/java/ru/mtusi/messenger/Reconciler.java @@ -180,6 +180,9 @@ class Reconciler { switch (r.state()) { case "uploading" -> { if (r.updated().isAfter(cutoff)) { count(findings, "upload_in_progress_kept"); return; } + // Старая строка, но свежий объект: PUT мог только что завершиться (медленная загрузка, повторы SDK). + // Удаляем, только когда старше grace обе стороны — как и объект без строки. + if (o.lastModified().isAfter(cutoff)) { count(findings, "stale_upload_fresh_object_kept"); return; } // PUT прошёл, ready не записан: клиент получил ошибку и id не знает — объект и строку удаляем. count(findings, "stale_upload_with_object"); detail("stale_upload_with_object", r.key(), r.id()); diff --git a/tests/attachments_negative.py b/tests/attachments_negative.py index 002931e9..fd4f7aeb 100644 --- a/tests/attachments_negative.py +++ b/tests/attachments_negative.py @@ -101,7 +101,11 @@ def main(): upload(broken, expected=415) for broken in (JPEG[:len(JPEG) // 2], JPEG[:4] + b'\x00' * 100, JPEG[:2] + b'\xff\xda\x00\x02' + JPEG[2:]): upload(broken, 'image/jpeg', expected=415) - ok('corrupted/truncated PNG and JPEG -> 415') + # Структурно корректные, но недекодируемые: PNG 1×1 RGB с верными CRC и фильтром строки 5; + # JPEG из 27 байт SOI/SOF0/SOS/EOI без таблиц квантования/Хаффмана и данных скана. + upload(png(1, 1, idat=zlib.compress(b'\x05' + bytes(3))), expected=415) + upload(bytes.fromhex('ffd8' 'ffc0000b08000100010101 1100'.replace(' ', '') + 'ffda0008010100003f00' 'ffd9'), 'image/jpeg', expected=415) + ok('corrupted/truncated/undecodable PNG and JPEG -> 415') # Подмена MIME: проверяется содержимое, а не заголовок. upload(PNG, 'image/jpeg', expected=415) diff --git a/tests/reconcile_experiment.py b/tests/reconcile_experiment.py index f26d6160..a04314cf 100644 --- a/tests/reconcile_experiment.py +++ b/tests/reconcile_experiment.py @@ -117,6 +117,12 @@ def main(): sql("insert into attachments values('%s','%s','%s','x.png','image/png',1,'%s',1,1,'uploading','originals/%s',now(),now())" % (inflight, chat['id'], alice['id'], '0' * 64, inflight)) fresh_used = upload(); attach(fresh_used) + # Старое намерение (2 ч) и только что записанный объект того же ключа: PUT мог завершиться прямо сейчас, + # поэтому сверка обязана ждать grace и по объекту — строка и объект остаются. + old_intent = str(uuid.uuid4()) + sql("insert into attachments values('%s','%s','%s','x.png','image/png',5,'%s',1,1,'uploading','originals/%s',now()-interval '2 hours',now()-interval '2 hours')" + % (old_intent, chat['id'], alice['id'], '0' * 64, old_intent)) + s3([put('originals/' + old_intent, 'fresh')]) before = snapshot() dry = reconcile('--dry-run', '--grace-seconds=%d' % GRACE) @@ -131,6 +137,7 @@ def main(): check(f.get('orphan_object') == len(orphan_old) + 1, 'orphan objects (3 injected + deleted row) not found: %s' % f) check(f.get('orphan_object_fresh_kept') == 1 and f.get('upload_in_progress_kept') == 1, 'fresh items not reported as kept: %s' % f) check(f.get('stale_upload') == 1 and f.get('stale_upload_with_object') == 1, 'stale uploads not found: %s' % f) + check(f.get('stale_upload_fresh_object_kept') == 1, 'old intent with fresh object not kept: %s' % f) check(f.get('missing_object_used') == 1 and f.get('missing_object') == 1, 'missing objects not found: %s' % f) check(f.get('size_mismatch') == 1 and f.get('lost_object_back_unverified') == 1, 'size mismatch / lost-back not found: %s' % f) check(not dry['actions'], 'dry-run reported actions') @@ -150,6 +157,8 @@ def main(): history = c.call('GET', path + '?limit=100', actor=bob, schema='MessagePage')['json']['items'] check(any(m == used_msg for m in history), 'message with attachment changed') check('orphan_object_fresh_kept' in apply2['findings'], 'fresh orphan was deleted') + check(verify2['findings'].get('stale_upload_fresh_object_kept') == 1 and sql("select count(*) from attachments where id='%s'" % old_intent) == '1', + 'old intent row or its fresh object was deleted') print('PASS: dry-run read-only, apply fixed %s, repeated apply/verify found nothing new' % json.dumps(a)) cost = [] @@ -167,6 +176,7 @@ def main(): report = {'experiment': 'reconciler fault injection (track 2)', 'grace_seconds': GRACE, 'injected': {'orphan_objects_old': len(orphan_old), 'object_without_row': 1, 'orphan_object_fresh': 1, 'stale_upload_with_object': 1, 'stale_upload_without_object': 1, 'upload_in_progress': 1, + 'stale_upload_fresh_object': 1, 'missing_object_used': 1, 'missing_object_unreferenced': 1, 'size_mismatch': 1, 'checksum_mismatch': 1, 'false_lost': 1}, 'state_before': before, 'state_after_dry_run': after_dry, 'dry_run': dry, 'apply': apply1,