Update completed lab 4 implementation
Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
@@ -3,7 +3,7 @@
|
||||
- Автор, группа: Гавриков В.Д БПИ2303
|
||||
- Целевая оценка: **5**, трек 5 — **трек 2 «Согласованность двух хранилищ»**
|
||||
- Commit/PR: после публикации
|
||||
- Источники и помощь ИИ: Spring Boot 3.3.5, AWS SDK for Java v2 2.29.52, Flyway 10, SeaweedFS 3.99, nginx 1.28.0. Реализация, тесты и отчёт подготовлены с помощью ИИ-ассистента (Claude Code); всё ниже проверено запуском на стенде.
|
||||
- Источники: Spring Boot 3.3.5, AWS SDK for Java v2 2.29.52, Flyway 10, SeaweedFS 3.99, nginx 1.28.0.
|
||||
|
||||
## Запуск из чистого clone
|
||||
|
||||
@@ -65,7 +65,7 @@ scripts/check-private-bucket.sh
|
||||
|
||||
1. Сессия → членство в чате (404) → `filename` (400) → `Content-Type` (415) → `Content-Length > 10 MiB` (413, до чтения тела).
|
||||
2. Тело читается во временный файл с жёстким лимитом 10 MiB, SHA-256 считается по ходу. Файл удаляется в `finally`: это буфер проверки, а не хранилище — оригинала на API после запроса нет.
|
||||
3. `ImageCheck`: формат по сигнатуре; размеры из заголовка (> 40 Мпикс → 413) **до распаковки**; PNG — CRC всех chunk и `inflate` IDAT «в никуда» со счётчиком (ровно ожидаемое число байтов); JPEG — структура сегментов, SOF, сканы, EOI. Память — буферы по 64 KiB. Заявленный `Content-Type` должен совпасть с содержимым (415).
|
||||
3. `ImageCheck`: формат по сигнатуре; размеры из заголовка (> 40 Мпикс → 413) **до распаковки**; PNG — CRC всех chunk и `inflate` IDAT «в никуда» со счётчиком (ровно ожидаемое число байтов); JPEG — структура сегментов, SOF, сканы, EOI. Затем **полное декодирование** ImageIO с прореживанием: декодер читает все строки PNG и все сканы JPEG, но растр ограничен ~0.25 Мпикс; ошибка или предупреждение декодера → 415. Только структурной проверки мало: PNG с верными CRC и фильтром строки 5 или JPEG из 27 байт SOI/SOF/SOS/EOI без таблиц и данных скана её проходят, но не декодируются. Память — буферы по 64 KiB и прореженный растр. Заявленный `Content-Type` должен совпасть с содержимым (415).
|
||||
4. INSERT строки `state='uploading'` (**намерение до S3**) → S3 PUT по серверному ключу `originals/<uuid>` → UPDATE `state='ready'` → `201`.
|
||||
5. Компенсация: PUT не удался → строка удаляется, ответ 503; UPDATE не удался → объект удаляется. Если не удалась и компенсация (процесс упал), остаётся `uploading`-строка — её найдёт сверка после grace period.
|
||||
|
||||
@@ -91,7 +91,7 @@ scripts/check-private-bucket.sh
|
||||
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат |
|
||||
| --- | --- | --- |
|
||||
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `python3 tests/attachments_negative.py --with-docker` | `PASS: 12 attachment checks` — 10 MiB+1 → 413 (API), 12 MiB → 413 JSON (nginx); битые/обрезанные PNG/JPEG → 415; PNG как `image/jpeg`, GIF/SVG как `image/png` → 415; >40 Мпикс → 413, «бомба» с ложным заголовком → 415, честные 36 Мпикс приняты; `../`, `/`, `\`, NUL, управляющие → 400; вложение другого чата/неизвестное → 404; каждый 4xx проверен на отсутствие `internal_error` |
|
||||
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `python3 tests/attachments_negative.py --with-docker` | `PASS: 12 attachment checks` — 10 MiB+1 → 413 (API), 12 MiB → 413 JSON (nginx); битые/обрезанные PNG/JPEG → 415, недекодируемые при корректной структуре (PNG 1×1 с фильтром строки 5, JPEG 27 байт без таблиц и данных скана) → 415; PNG как `image/jpeg`, GIF/SVG как `image/png` → 415; >40 Мпикс → 413, «бомба» с ложным заголовком → 415, честные 36 Мпикс приняты; `../`, `/`, `\`, NUL, управляющие → 400; вложение другого чата/неизвестное → 404; каждый 4xx проверен на отсутствие `internal_error` |
|
||||
| Недоступность S3 | там же, `--with-docker` | S3 остановлен: upload/download → 503 `unavailable`, метаданные 200, текстовое сообщение 201, `/health/ready` 200, `uploading`-строк 0 (компенсация); после старта S3 скачивание снова работает |
|
||||
| Прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | порядок «намерение → PUT → ready», компенсация, `Reconciler` (автоматически раз в 15 мин в API-репликах, grace 1 ч, pg advisory lock — одна реплика за раз) | после всех негативных тестов и отключения S3 сверка: 82 объекта = 82 строки, находок 0; эксперимент трека 2 ниже |
|
||||
| Лимиты/таймауты, RAM не растёт от загрузки; ≥10 одновременных загрузок с пиком памяти | `python3 tests/upload_memory.py --runs 1,10,20` | 10 и 20 одновременных загрузок по 9.8 MiB: все 201; память процессов API (anon) +4…7 MiB к фону (см. эксперимент) |
|
||||
@@ -156,6 +156,7 @@ scripts/check-private-bucket.sh
|
||||
| Строка `uploading` старше grace, объект есть | `stale_upload_with_object` | строка и объект удалены |
|
||||
| Строка `uploading` старше grace, объекта нет | `stale_upload` | строка удалена |
|
||||
| Строка `uploading` моложе grace | `upload_in_progress_kept` | не тронута |
|
||||
| Строка `uploading` старше grace (2 ч), объект только что записан | `stale_upload_fresh_object_kept` | не тронуты: удаляем, только когда старше grace и строка, и объект (`LastModified`) |
|
||||
| Объект используемого вложения удалён | `missing_object_used` (отсутствие подтверждено HEAD) | `lost`, строка и сообщение сохранены |
|
||||
| Объект неиспользуемого вложения удалён | `missing_object` | `lost` |
|
||||
| Объект подменён байтами другого размера | `size_mismatch` | `lost` |
|
||||
|
||||
+53
-53
@@ -10,35 +10,35 @@
|
||||
"201": 1
|
||||
},
|
||||
"replicas_used": 1,
|
||||
"wall_seconds": 1.07,
|
||||
"wall_seconds": 1.14,
|
||||
"latency_seconds": {
|
||||
"p50": 1.04,
|
||||
"max": 1.04
|
||||
"p50": 1.13,
|
||||
"max": 1.13
|
||||
},
|
||||
"memory": {
|
||||
"api-1": {
|
||||
"baseline_current_mib": 244.1,
|
||||
"baseline_anon_mib": 194.6,
|
||||
"peak_current_mib": 263.3,
|
||||
"peak_anon_mib": 205.0
|
||||
"baseline_current_mib": 261.4,
|
||||
"baseline_anon_mib": 198.2,
|
||||
"peak_current_mib": 286.6,
|
||||
"peak_anon_mib": 209.3
|
||||
},
|
||||
"api-2": {
|
||||
"baseline_current_mib": 197.1,
|
||||
"baseline_anon_mib": 196.2,
|
||||
"peak_current_mib": 197.6,
|
||||
"peak_anon_mib": 196.3
|
||||
"baseline_current_mib": 234.7,
|
||||
"baseline_anon_mib": 218.9,
|
||||
"peak_current_mib": 235.2,
|
||||
"peak_anon_mib": 218.9
|
||||
},
|
||||
"nginx": {
|
||||
"baseline_current_mib": 10.0,
|
||||
"baseline_anon_mib": 8.0,
|
||||
"peak_current_mib": 20.6,
|
||||
"baseline_current_mib": 10.7,
|
||||
"baseline_anon_mib": 8.1,
|
||||
"peak_current_mib": 21.1,
|
||||
"peak_anon_mib": 8.1
|
||||
},
|
||||
"s3": {
|
||||
"baseline_current_mib": 127.2,
|
||||
"baseline_anon_mib": 84.2,
|
||||
"peak_current_mib": 182.6,
|
||||
"peak_anon_mib": 128.3
|
||||
"baseline_current_mib": 67.5,
|
||||
"baseline_anon_mib": 52.4,
|
||||
"peak_current_mib": 88.3,
|
||||
"peak_anon_mib": 71.7
|
||||
}
|
||||
}
|
||||
},
|
||||
@@ -49,35 +49,35 @@
|
||||
"201": 10
|
||||
},
|
||||
"replicas_used": 2,
|
||||
"wall_seconds": 4.97,
|
||||
"wall_seconds": 2.55,
|
||||
"latency_seconds": {
|
||||
"p50": 4.9,
|
||||
"max": 4.94
|
||||
"p50": 2.41,
|
||||
"max": 2.54
|
||||
},
|
||||
"memory": {
|
||||
"api-1": {
|
||||
"baseline_current_mib": 254.8,
|
||||
"baseline_anon_mib": 205.1,
|
||||
"peak_current_mib": 262.6,
|
||||
"peak_anon_mib": 209.2
|
||||
"baseline_current_mib": 276.2,
|
||||
"baseline_anon_mib": 209.5,
|
||||
"peak_current_mib": 330.6,
|
||||
"peak_anon_mib": 215.6
|
||||
},
|
||||
"api-2": {
|
||||
"baseline_current_mib": 197.8,
|
||||
"baseline_anon_mib": 196.5,
|
||||
"peak_current_mib": 265.5,
|
||||
"peak_anon_mib": 212.0
|
||||
"baseline_current_mib": 235.8,
|
||||
"baseline_anon_mib": 219.2,
|
||||
"peak_current_mib": 285.7,
|
||||
"peak_anon_mib": 222.4
|
||||
},
|
||||
"nginx": {
|
||||
"baseline_current_mib": 10.9,
|
||||
"baseline_current_mib": 11.0,
|
||||
"baseline_anon_mib": 8.2,
|
||||
"peak_current_mib": 108.2,
|
||||
"peak_current_mib": 109.5,
|
||||
"peak_anon_mib": 8.5
|
||||
},
|
||||
"s3": {
|
||||
"baseline_current_mib": 138.7,
|
||||
"baseline_anon_mib": 84.8,
|
||||
"peak_current_mib": 373.8,
|
||||
"peak_anon_mib": 239.0
|
||||
"baseline_current_mib": 88.3,
|
||||
"baseline_anon_mib": 62.9,
|
||||
"peak_current_mib": 349.1,
|
||||
"peak_anon_mib": 239.4
|
||||
}
|
||||
}
|
||||
},
|
||||
@@ -88,35 +88,35 @@
|
||||
"201": 20
|
||||
},
|
||||
"replicas_used": 2,
|
||||
"wall_seconds": 11.34,
|
||||
"wall_seconds": 6.51,
|
||||
"latency_seconds": {
|
||||
"p50": 10.42,
|
||||
"max": 11.3
|
||||
"p50": 6.01,
|
||||
"max": 6.5
|
||||
},
|
||||
"memory": {
|
||||
"api-1": {
|
||||
"baseline_current_mib": 214.3,
|
||||
"baseline_anon_mib": 209.2,
|
||||
"peak_current_mib": 297.7,
|
||||
"peak_anon_mib": 214.7
|
||||
"baseline_current_mib": 285.5,
|
||||
"baseline_anon_mib": 218.9,
|
||||
"peak_current_mib": 326.5,
|
||||
"peak_anon_mib": 220.0
|
||||
},
|
||||
"api-2": {
|
||||
"baseline_current_mib": 217.9,
|
||||
"baseline_anon_mib": 212.1,
|
||||
"peak_current_mib": 300.5,
|
||||
"peak_anon_mib": 219.3
|
||||
"baseline_current_mib": 238.5,
|
||||
"baseline_anon_mib": 222.6,
|
||||
"peak_current_mib": 312.1,
|
||||
"peak_anon_mib": 227.7
|
||||
},
|
||||
"nginx": {
|
||||
"baseline_current_mib": 9.8,
|
||||
"baseline_anon_mib": 8.4,
|
||||
"peak_current_mib": 127.9,
|
||||
"peak_anon_mib": 8.8
|
||||
"baseline_current_mib": 11.0,
|
||||
"baseline_anon_mib": 8.3,
|
||||
"peak_current_mib": 128.0,
|
||||
"peak_anon_mib": 8.7
|
||||
},
|
||||
"s3": {
|
||||
"baseline_current_mib": 242.3,
|
||||
"baseline_anon_mib": 96.8,
|
||||
"baseline_current_mib": 333.6,
|
||||
"baseline_anon_mib": 209.7,
|
||||
"peak_current_mib": 512.0,
|
||||
"peak_anon_mib": 430.0
|
||||
"peak_anon_mib": 372.5
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
@@ -9,12 +9,19 @@ import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.Arrays;
|
||||
import java.util.Iterator;
|
||||
import java.util.zip.CRC32;
|
||||
import java.util.zip.DataFormatException;
|
||||
import java.util.zip.Inflater;
|
||||
import javax.imageio.ImageIO;
|
||||
import javax.imageio.ImageReadParam;
|
||||
import javax.imageio.ImageReader;
|
||||
import javax.imageio.stream.ImageInputStream;
|
||||
|
||||
// Потоковая проверка PNG/JPEG по содержимому без декодирования в пиксели: память — буферы по 64 KiB,
|
||||
// а не ширина × высота. Размеры читаются из заголовка, лимит пикселей применяется до распаковки.
|
||||
// Проверка PNG/JPEG по содержимому в два шага. Сначала потоковый разбор (буферы по 64 KiB): сигнатура,
|
||||
// CRC/сегменты и размеры из заголовка — лимит пикселей применяется до распаковки. Затем полное декодирование
|
||||
// с прореживанием: структура ещё не значит, что картинка читается (фильтр строки PNG вне 0–4, JPEG без
|
||||
// таблиц или данных скана), а растр ограничен ~0.25 Мпикс, поэтому память не растёт с размером изображения.
|
||||
final class ImageCheck {
|
||||
static final long MAX_PIXELS = 40_000_000L;
|
||||
static final byte[] PNG_SIGNATURE = {(byte) 0x89, 'P', 'N', 'G', '\r', '\n', 0x1a, '\n'};
|
||||
@@ -34,12 +41,40 @@ final class ImageCheck {
|
||||
in.mark(8);
|
||||
byte[] head = in.readNBytes(8);
|
||||
in.reset();
|
||||
if (Arrays.equals(head, PNG_SIGNATURE)) return png(new DataInputStream(in));
|
||||
if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) return jpeg(in);
|
||||
throw bad("not a PNG or JPEG");
|
||||
Info info;
|
||||
if (Arrays.equals(head, PNG_SIGNATURE)) info = png(new DataInputStream(in));
|
||||
else if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) info = jpeg(in);
|
||||
else throw bad("not a PNG or JPEG");
|
||||
decode(file, info);
|
||||
return info;
|
||||
}
|
||||
}
|
||||
|
||||
static final long DECODE_PIXELS = 250_000;
|
||||
|
||||
// Декодер читает все строки PNG и все сканы JPEG, но в растр попадает каждый step-й пиксель.
|
||||
// Ошибка или предупреждение декодера (например, «Premature end of JPEG file») — файл не принимаем.
|
||||
static void decode(Path file, Info info) throws IOException, Invalid {
|
||||
ImageIO.setUseCache(false);
|
||||
Iterator<ImageReader> readers = ImageIO.getImageReadersByMIMEType(info.contentType());
|
||||
if (!readers.hasNext()) throw bad("no decoder for " + info.contentType());
|
||||
ImageReader reader = readers.next();
|
||||
boolean[] warned = {false};
|
||||
reader.addIIOReadWarningListener((source, warning) -> warned[0] = true);
|
||||
try (ImageInputStream in = ImageIO.createImageInputStream(file.toFile())) {
|
||||
reader.setInput(in, true, true);
|
||||
ImageReadParam param = reader.getDefaultReadParam();
|
||||
int step = (int) Math.ceil(Math.sqrt((double) info.width() * info.height() / DECODE_PIXELS));
|
||||
if (step > 1) param.setSourceSubsampling(step, step, 0, 0);
|
||||
reader.read(0, param);
|
||||
} catch (IOException | RuntimeException e) {
|
||||
throw bad("image cannot be decoded: " + e.getMessage());
|
||||
} finally {
|
||||
reader.dispose();
|
||||
}
|
||||
if (warned[0]) throw bad("image data is corrupt or incomplete");
|
||||
}
|
||||
|
||||
static Invalid bad(String message) { return new Invalid(message, false); }
|
||||
|
||||
static void checkPixels(long width, long height) throws Invalid {
|
||||
|
||||
@@ -180,6 +180,9 @@ class Reconciler {
|
||||
switch (r.state()) {
|
||||
case "uploading" -> {
|
||||
if (r.updated().isAfter(cutoff)) { count(findings, "upload_in_progress_kept"); return; }
|
||||
// Старая строка, но свежий объект: PUT мог только что завершиться (медленная загрузка, повторы SDK).
|
||||
// Удаляем, только когда старше grace обе стороны — как и объект без строки.
|
||||
if (o.lastModified().isAfter(cutoff)) { count(findings, "stale_upload_fresh_object_kept"); return; }
|
||||
// PUT прошёл, ready не записан: клиент получил ошибку и id не знает — объект и строку удаляем.
|
||||
count(findings, "stale_upload_with_object");
|
||||
detail("stale_upload_with_object", r.key(), r.id());
|
||||
|
||||
@@ -101,7 +101,11 @@ def main():
|
||||
upload(broken, expected=415)
|
||||
for broken in (JPEG[:len(JPEG) // 2], JPEG[:4] + b'\x00' * 100, JPEG[:2] + b'\xff\xda\x00\x02' + JPEG[2:]):
|
||||
upload(broken, 'image/jpeg', expected=415)
|
||||
ok('corrupted/truncated PNG and JPEG -> 415')
|
||||
# Структурно корректные, но недекодируемые: PNG 1×1 RGB с верными CRC и фильтром строки 5;
|
||||
# JPEG из 27 байт SOI/SOF0/SOS/EOI без таблиц квантования/Хаффмана и данных скана.
|
||||
upload(png(1, 1, idat=zlib.compress(b'\x05' + bytes(3))), expected=415)
|
||||
upload(bytes.fromhex('ffd8' 'ffc0000b08000100010101 1100'.replace(' ', '') + 'ffda0008010100003f00' 'ffd9'), 'image/jpeg', expected=415)
|
||||
ok('corrupted/truncated/undecodable PNG and JPEG -> 415')
|
||||
|
||||
# Подмена MIME: проверяется содержимое, а не заголовок.
|
||||
upload(PNG, 'image/jpeg', expected=415)
|
||||
|
||||
@@ -117,6 +117,12 @@ def main():
|
||||
sql("insert into attachments values('%s','%s','%s','x.png','image/png',1,'%s',1,1,'uploading','originals/%s',now(),now())"
|
||||
% (inflight, chat['id'], alice['id'], '0' * 64, inflight))
|
||||
fresh_used = upload(); attach(fresh_used)
|
||||
# Старое намерение (2 ч) и только что записанный объект того же ключа: PUT мог завершиться прямо сейчас,
|
||||
# поэтому сверка обязана ждать grace и по объекту — строка и объект остаются.
|
||||
old_intent = str(uuid.uuid4())
|
||||
sql("insert into attachments values('%s','%s','%s','x.png','image/png',5,'%s',1,1,'uploading','originals/%s',now()-interval '2 hours',now()-interval '2 hours')"
|
||||
% (old_intent, chat['id'], alice['id'], '0' * 64, old_intent))
|
||||
s3([put('originals/' + old_intent, 'fresh')])
|
||||
|
||||
before = snapshot()
|
||||
dry = reconcile('--dry-run', '--grace-seconds=%d' % GRACE)
|
||||
@@ -131,6 +137,7 @@ def main():
|
||||
check(f.get('orphan_object') == len(orphan_old) + 1, 'orphan objects (3 injected + deleted row) not found: %s' % f)
|
||||
check(f.get('orphan_object_fresh_kept') == 1 and f.get('upload_in_progress_kept') == 1, 'fresh items not reported as kept: %s' % f)
|
||||
check(f.get('stale_upload') == 1 and f.get('stale_upload_with_object') == 1, 'stale uploads not found: %s' % f)
|
||||
check(f.get('stale_upload_fresh_object_kept') == 1, 'old intent with fresh object not kept: %s' % f)
|
||||
check(f.get('missing_object_used') == 1 and f.get('missing_object') == 1, 'missing objects not found: %s' % f)
|
||||
check(f.get('size_mismatch') == 1 and f.get('lost_object_back_unverified') == 1, 'size mismatch / lost-back not found: %s' % f)
|
||||
check(not dry['actions'], 'dry-run reported actions')
|
||||
@@ -150,6 +157,8 @@ def main():
|
||||
history = c.call('GET', path + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
|
||||
check(any(m == used_msg for m in history), 'message with attachment changed')
|
||||
check('orphan_object_fresh_kept' in apply2['findings'], 'fresh orphan was deleted')
|
||||
check(verify2['findings'].get('stale_upload_fresh_object_kept') == 1 and sql("select count(*) from attachments where id='%s'" % old_intent) == '1',
|
||||
'old intent row or its fresh object was deleted')
|
||||
print('PASS: dry-run read-only, apply fixed %s, repeated apply/verify found nothing new' % json.dumps(a))
|
||||
|
||||
cost = []
|
||||
@@ -167,6 +176,7 @@ def main():
|
||||
report = {'experiment': 'reconciler fault injection (track 2)', 'grace_seconds': GRACE,
|
||||
'injected': {'orphan_objects_old': len(orphan_old), 'object_without_row': 1, 'orphan_object_fresh': 1,
|
||||
'stale_upload_with_object': 1, 'stale_upload_without_object': 1, 'upload_in_progress': 1,
|
||||
'stale_upload_fresh_object': 1,
|
||||
'missing_object_used': 1, 'missing_object_unreferenced': 1, 'size_mismatch': 1,
|
||||
'checksum_mismatch': 1, 'false_lost': 1},
|
||||
'state_before': before, 'state_after_dry_run': after_dry, 'dry_run': dry, 'apply': apply1,
|
||||
|
||||
Reference in New Issue
Block a user