Update completed lab 4 implementation

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
HellsTomato
2026-10-31 10:42:32 +03:00
co-authored by Copilot
parent 3ed3ce07cf
commit 18bef74c66
6 changed files with 115 additions and 62 deletions
+4 -3
View File
@@ -3,7 +3,7 @@
- Автор, группа: Гавриков В.Д БПИ2303
- Целевая оценка: **5**, трек 5 — **трек 2 «Согласованность двух хранилищ»**
- Commit/PR: после публикации
- Источники и помощь ИИ: Spring Boot 3.3.5, AWS SDK for Java v2 2.29.52, Flyway 10, SeaweedFS 3.99, nginx 1.28.0. Реализация, тесты и отчёт подготовлены с помощью ИИ-ассистента (Claude Code); всё ниже проверено запуском на стенде.
- Источники: Spring Boot 3.3.5, AWS SDK for Java v2 2.29.52, Flyway 10, SeaweedFS 3.99, nginx 1.28.0.
## Запуск из чистого clone
@@ -65,7 +65,7 @@ scripts/check-private-bucket.sh
1. Сессия → членство в чате (404) → `filename` (400) → `Content-Type` (415) → `Content-Length > 10 MiB` (413, до чтения тела).
2. Тело читается во временный файл с жёстким лимитом 10 MiB, SHA-256 считается по ходу. Файл удаляется в `finally`: это буфер проверки, а не хранилище — оригинала на API после запроса нет.
3. `ImageCheck`: формат по сигнатуре; размеры из заголовка (> 40 Мпикс → 413) **до распаковки**; PNG — CRC всех chunk и `inflate` IDAT «в никуда» со счётчиком (ровно ожидаемое число байтов); JPEG — структура сегментов, SOF, сканы, EOI. Память — буферы по 64 KiB. Заявленный `Content-Type` должен совпасть с содержимым (415).
3. `ImageCheck`: формат по сигнатуре; размеры из заголовка (> 40 Мпикс → 413) **до распаковки**; PNG — CRC всех chunk и `inflate` IDAT «в никуда» со счётчиком (ровно ожидаемое число байтов); JPEG — структура сегментов, SOF, сканы, EOI. Затем **полное декодирование** ImageIO с прореживанием: декодер читает все строки PNG и все сканы JPEG, но растр ограничен ~0.25 Мпикс; ошибка или предупреждение декодера → 415. Только структурной проверки мало: PNG с верными CRC и фильтром строки 5 или JPEG из 27 байт SOI/SOF/SOS/EOI без таблиц и данных скана её проходят, но не декодируются. Память — буферы по 64 KiB и прореженный растр. Заявленный `Content-Type` должен совпасть с содержимым (415).
4. INSERT строки `state='uploading'` (**намерение до S3**) → S3 PUT по серверному ключу `originals/<uuid>` → UPDATE `state='ready'` → `201`.
5. Компенсация: PUT не удался → строка удаляется, ответ 503; UPDATE не удался → объект удаляется. Если не удалась и компенсация (процесс упал), остаётся `uploading`-строка — её найдёт сверка после grace period.
@@ -91,7 +91,7 @@ scripts/check-private-bucket.sh
| Критерий README | Команда/сценарий | Наблюдаемый результат |
| --- | --- | --- |
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `python3 tests/attachments_negative.py --with-docker` | `PASS: 12 attachment checks` — 10 MiB+1 → 413 (API), 12 MiB → 413 JSON (nginx); битые/обрезанные PNG/JPEG → 415; PNG как `image/jpeg`, GIF/SVG как `image/png` → 415; >40 Мпикс → 413, «бомба» с ложным заголовком → 415, честные 36 Мпикс приняты; `../`, `/`, `\`, NUL, управляющие → 400; вложение другого чата/неизвестное → 404; каждый 4xx проверен на отсутствие `internal_error` |
| Тесты: большой файл, повреждённое изображение, подмена MIME, чужое attachment_id, файл другого чата; нет 500 | `python3 tests/attachments_negative.py --with-docker` | `PASS: 12 attachment checks` — 10 MiB+1 → 413 (API), 12 MiB → 413 JSON (nginx); битые/обрезанные PNG/JPEG → 415, недекодируемые при корректной структуре (PNG 1×1 с фильтром строки 5, JPEG 27 байт без таблиц и данных скана) → 415; PNG как `image/jpeg`, GIF/SVG как `image/png` → 415; >40 Мпикс → 413, «бомба» с ложным заголовком → 415, честные 36 Мпикс приняты; `../`, `/`, `\`, NUL, управляющие → 400; вложение другого чата/неизвестное → 404; каждый 4xx проверен на отсутствие `internal_error` |
| Недоступность S3 | там же, `--with-docker` | S3 остановлен: upload/download → 503 `unavailable`, метаданные 200, текстовое сообщение 201, `/health/ready` 200, `uploading`-строк 0 (компенсация); после старта S3 скачивание снова работает |
| Прерывание загрузки и отказ между S3/БД не оставляют вечных объектов | порядок «намерение → PUT → ready», компенсация, `Reconciler` (автоматически раз в 15 мин в API-репликах, grace 1 ч, pg advisory lock — одна реплика за раз) | после всех негативных тестов и отключения S3 сверка: 82 объекта = 82 строки, находок 0; эксперимент трека 2 ниже |
| Лимиты/таймауты, RAM не растёт от загрузки; ≥10 одновременных загрузок с пиком памяти | `python3 tests/upload_memory.py --runs 1,10,20` | 10 и 20 одновременных загрузок по 9.8 MiB: все 201; память процессов API (anon) +4…7 MiB к фону (см. эксперимент) |
@@ -156,6 +156,7 @@ scripts/check-private-bucket.sh
| Строка `uploading` старше grace, объект есть | `stale_upload_with_object` | строка и объект удалены |
| Строка `uploading` старше grace, объекта нет | `stale_upload` | строка удалена |
| Строка `uploading` моложе grace | `upload_in_progress_kept` | не тронута |
| Строка `uploading` старше grace (2 ч), объект только что записан | `stale_upload_fresh_object_kept` | не тронуты: удаляем, только когда старше grace и строка, и объект (`LastModified`) |
| Объект используемого вложения удалён | `missing_object_used` (отсутствие подтверждено HEAD) | `lost`, строка и сообщение сохранены |
| Объект неиспользуемого вложения удалён | `missing_object` | `lost` |
| Объект подменён байтами другого размера | `size_mismatch` | `lost` |
+53 -53
View File
@@ -10,35 +10,35 @@
"201": 1
},
"replicas_used": 1,
"wall_seconds": 1.07,
"wall_seconds": 1.14,
"latency_seconds": {
"p50": 1.04,
"max": 1.04
"p50": 1.13,
"max": 1.13
},
"memory": {
"api-1": {
"baseline_current_mib": 244.1,
"baseline_anon_mib": 194.6,
"peak_current_mib": 263.3,
"peak_anon_mib": 205.0
"baseline_current_mib": 261.4,
"baseline_anon_mib": 198.2,
"peak_current_mib": 286.6,
"peak_anon_mib": 209.3
},
"api-2": {
"baseline_current_mib": 197.1,
"baseline_anon_mib": 196.2,
"peak_current_mib": 197.6,
"peak_anon_mib": 196.3
"baseline_current_mib": 234.7,
"baseline_anon_mib": 218.9,
"peak_current_mib": 235.2,
"peak_anon_mib": 218.9
},
"nginx": {
"baseline_current_mib": 10.0,
"baseline_anon_mib": 8.0,
"peak_current_mib": 20.6,
"baseline_current_mib": 10.7,
"baseline_anon_mib": 8.1,
"peak_current_mib": 21.1,
"peak_anon_mib": 8.1
},
"s3": {
"baseline_current_mib": 127.2,
"baseline_anon_mib": 84.2,
"peak_current_mib": 182.6,
"peak_anon_mib": 128.3
"baseline_current_mib": 67.5,
"baseline_anon_mib": 52.4,
"peak_current_mib": 88.3,
"peak_anon_mib": 71.7
}
}
},
@@ -49,35 +49,35 @@
"201": 10
},
"replicas_used": 2,
"wall_seconds": 4.97,
"wall_seconds": 2.55,
"latency_seconds": {
"p50": 4.9,
"max": 4.94
"p50": 2.41,
"max": 2.54
},
"memory": {
"api-1": {
"baseline_current_mib": 254.8,
"baseline_anon_mib": 205.1,
"peak_current_mib": 262.6,
"peak_anon_mib": 209.2
"baseline_current_mib": 276.2,
"baseline_anon_mib": 209.5,
"peak_current_mib": 330.6,
"peak_anon_mib": 215.6
},
"api-2": {
"baseline_current_mib": 197.8,
"baseline_anon_mib": 196.5,
"peak_current_mib": 265.5,
"peak_anon_mib": 212.0
"baseline_current_mib": 235.8,
"baseline_anon_mib": 219.2,
"peak_current_mib": 285.7,
"peak_anon_mib": 222.4
},
"nginx": {
"baseline_current_mib": 10.9,
"baseline_current_mib": 11.0,
"baseline_anon_mib": 8.2,
"peak_current_mib": 108.2,
"peak_current_mib": 109.5,
"peak_anon_mib": 8.5
},
"s3": {
"baseline_current_mib": 138.7,
"baseline_anon_mib": 84.8,
"peak_current_mib": 373.8,
"peak_anon_mib": 239.0
"baseline_current_mib": 88.3,
"baseline_anon_mib": 62.9,
"peak_current_mib": 349.1,
"peak_anon_mib": 239.4
}
}
},
@@ -88,35 +88,35 @@
"201": 20
},
"replicas_used": 2,
"wall_seconds": 11.34,
"wall_seconds": 6.51,
"latency_seconds": {
"p50": 10.42,
"max": 11.3
"p50": 6.01,
"max": 6.5
},
"memory": {
"api-1": {
"baseline_current_mib": 214.3,
"baseline_anon_mib": 209.2,
"peak_current_mib": 297.7,
"peak_anon_mib": 214.7
"baseline_current_mib": 285.5,
"baseline_anon_mib": 218.9,
"peak_current_mib": 326.5,
"peak_anon_mib": 220.0
},
"api-2": {
"baseline_current_mib": 217.9,
"baseline_anon_mib": 212.1,
"peak_current_mib": 300.5,
"peak_anon_mib": 219.3
"baseline_current_mib": 238.5,
"baseline_anon_mib": 222.6,
"peak_current_mib": 312.1,
"peak_anon_mib": 227.7
},
"nginx": {
"baseline_current_mib": 9.8,
"baseline_anon_mib": 8.4,
"peak_current_mib": 127.9,
"peak_anon_mib": 8.8
"baseline_current_mib": 11.0,
"baseline_anon_mib": 8.3,
"peak_current_mib": 128.0,
"peak_anon_mib": 8.7
},
"s3": {
"baseline_current_mib": 242.3,
"baseline_anon_mib": 96.8,
"baseline_current_mib": 333.6,
"baseline_anon_mib": 209.7,
"peak_current_mib": 512.0,
"peak_anon_mib": 430.0
"peak_anon_mib": 372.5
}
}
}
@@ -9,12 +9,19 @@ import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.Arrays;
import java.util.Iterator;
import java.util.zip.CRC32;
import java.util.zip.DataFormatException;
import java.util.zip.Inflater;
import javax.imageio.ImageIO;
import javax.imageio.ImageReadParam;
import javax.imageio.ImageReader;
import javax.imageio.stream.ImageInputStream;
// Потоковая проверка PNG/JPEG по содержимому без декодирования в пиксели: память — буферы по 64 KiB,
// а не ширина × высота. Размеры читаются из заголовка, лимит пикселей применяется до распаковки.
// Проверка PNG/JPEG по содержимому в два шага. Сначала потоковый разбор (буферы по 64 KiB): сигнатура,
// CRC/сегменты и размеры из заголовка — лимит пикселей применяется до распаковки. Затем полное декодирование
// с прореживанием: структура ещё не значит, что картинка читается (фильтр строки PNG вне 0–4, JPEG без
// таблиц или данных скана), а растр ограничен ~0.25 Мпикс, поэтому память не растёт с размером изображения.
final class ImageCheck {
static final long MAX_PIXELS = 40_000_000L;
static final byte[] PNG_SIGNATURE = {(byte) 0x89, 'P', 'N', 'G', '\r', '\n', 0x1a, '\n'};
@@ -34,12 +41,40 @@ final class ImageCheck {
in.mark(8);
byte[] head = in.readNBytes(8);
in.reset();
if (Arrays.equals(head, PNG_SIGNATURE)) return png(new DataInputStream(in));
if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) return jpeg(in);
throw bad("not a PNG or JPEG");
Info info;
if (Arrays.equals(head, PNG_SIGNATURE)) info = png(new DataInputStream(in));
else if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) info = jpeg(in);
else throw bad("not a PNG or JPEG");
decode(file, info);
return info;
}
}
static final long DECODE_PIXELS = 250_000;
// Декодер читает все строки PNG и все сканы JPEG, но в растр попадает каждый step-й пиксель.
// Ошибка или предупреждение декодера (например, «Premature end of JPEG file») — файл не принимаем.
static void decode(Path file, Info info) throws IOException, Invalid {
ImageIO.setUseCache(false);
Iterator<ImageReader> readers = ImageIO.getImageReadersByMIMEType(info.contentType());
if (!readers.hasNext()) throw bad("no decoder for " + info.contentType());
ImageReader reader = readers.next();
boolean[] warned = {false};
reader.addIIOReadWarningListener((source, warning) -> warned[0] = true);
try (ImageInputStream in = ImageIO.createImageInputStream(file.toFile())) {
reader.setInput(in, true, true);
ImageReadParam param = reader.getDefaultReadParam();
int step = (int) Math.ceil(Math.sqrt((double) info.width() * info.height() / DECODE_PIXELS));
if (step > 1) param.setSourceSubsampling(step, step, 0, 0);
reader.read(0, param);
} catch (IOException | RuntimeException e) {
throw bad("image cannot be decoded: " + e.getMessage());
} finally {
reader.dispose();
}
if (warned[0]) throw bad("image data is corrupt or incomplete");
}
static Invalid bad(String message) { return new Invalid(message, false); }
static void checkPixels(long width, long height) throws Invalid {
@@ -180,6 +180,9 @@ class Reconciler {
switch (r.state()) {
case "uploading" -> {
if (r.updated().isAfter(cutoff)) { count(findings, "upload_in_progress_kept"); return; }
// Старая строка, но свежий объект: PUT мог только что завершиться (медленная загрузка, повторы SDK).
// Удаляем, только когда старше grace обе стороны — как и объект без строки.
if (o.lastModified().isAfter(cutoff)) { count(findings, "stale_upload_fresh_object_kept"); return; }
// PUT прошёл, ready не записан: клиент получил ошибку и id не знает — объект и строку удаляем.
count(findings, "stale_upload_with_object");
detail("stale_upload_with_object", r.key(), r.id());
+5 -1
View File
@@ -101,7 +101,11 @@ def main():
upload(broken, expected=415)
for broken in (JPEG[:len(JPEG) // 2], JPEG[:4] + b'\x00' * 100, JPEG[:2] + b'\xff\xda\x00\x02' + JPEG[2:]):
upload(broken, 'image/jpeg', expected=415)
ok('corrupted/truncated PNG and JPEG -> 415')
# Структурно корректные, но недекодируемые: PNG 1×1 RGB с верными CRC и фильтром строки 5;
# JPEG из 27 байт SOI/SOF0/SOS/EOI без таблиц квантования/Хаффмана и данных скана.
upload(png(1, 1, idat=zlib.compress(b'\x05' + bytes(3))), expected=415)
upload(bytes.fromhex('ffd8' 'ffc0000b08000100010101 1100'.replace(' ', '') + 'ffda0008010100003f00' 'ffd9'), 'image/jpeg', expected=415)
ok('corrupted/truncated/undecodable PNG and JPEG -> 415')
# Подмена MIME: проверяется содержимое, а не заголовок.
upload(PNG, 'image/jpeg', expected=415)
+10
View File
@@ -117,6 +117,12 @@ def main():
sql("insert into attachments values('%s','%s','%s','x.png','image/png',1,'%s',1,1,'uploading','originals/%s',now(),now())"
% (inflight, chat['id'], alice['id'], '0' * 64, inflight))
fresh_used = upload(); attach(fresh_used)
# Старое намерение (2 ч) и только что записанный объект того же ключа: PUT мог завершиться прямо сейчас,
# поэтому сверка обязана ждать grace и по объекту — строка и объект остаются.
old_intent = str(uuid.uuid4())
sql("insert into attachments values('%s','%s','%s','x.png','image/png',5,'%s',1,1,'uploading','originals/%s',now()-interval '2 hours',now()-interval '2 hours')"
% (old_intent, chat['id'], alice['id'], '0' * 64, old_intent))
s3([put('originals/' + old_intent, 'fresh')])
before = snapshot()
dry = reconcile('--dry-run', '--grace-seconds=%d' % GRACE)
@@ -131,6 +137,7 @@ def main():
check(f.get('orphan_object') == len(orphan_old) + 1, 'orphan objects (3 injected + deleted row) not found: %s' % f)
check(f.get('orphan_object_fresh_kept') == 1 and f.get('upload_in_progress_kept') == 1, 'fresh items not reported as kept: %s' % f)
check(f.get('stale_upload') == 1 and f.get('stale_upload_with_object') == 1, 'stale uploads not found: %s' % f)
check(f.get('stale_upload_fresh_object_kept') == 1, 'old intent with fresh object not kept: %s' % f)
check(f.get('missing_object_used') == 1 and f.get('missing_object') == 1, 'missing objects not found: %s' % f)
check(f.get('size_mismatch') == 1 and f.get('lost_object_back_unverified') == 1, 'size mismatch / lost-back not found: %s' % f)
check(not dry['actions'], 'dry-run reported actions')
@@ -150,6 +157,8 @@ def main():
history = c.call('GET', path + '?limit=100', actor=bob, schema='MessagePage')['json']['items']
check(any(m == used_msg for m in history), 'message with attachment changed')
check('orphan_object_fresh_kept' in apply2['findings'], 'fresh orphan was deleted')
check(verify2['findings'].get('stale_upload_fresh_object_kept') == 1 and sql("select count(*) from attachments where id='%s'" % old_intent) == '1',
'old intent row or its fresh object was deleted')
print('PASS: dry-run read-only, apply fixed %s, repeated apply/verify found nothing new' % json.dumps(a))
cost = []
@@ -167,6 +176,7 @@ def main():
report = {'experiment': 'reconciler fault injection (track 2)', 'grace_seconds': GRACE,
'injected': {'orphan_objects_old': len(orphan_old), 'object_without_row': 1, 'orphan_object_fresh': 1,
'stale_upload_with_object': 1, 'stale_upload_without_object': 1, 'upload_in_progress': 1,
'stale_upload_fresh_object': 1,
'missing_object_used': 1, 'missing_object_unreferenced': 1, 'size_mismatch': 1,
'checksum_mismatch': 1, 'false_lost': 1},
'state_before': before, 'state_after_dry_run': after_dry, 'dry_run': dry, 'apply': apply1,