Update completed lab 4 implementation

Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
HellsTomato
2026-10-31 10:42:32 +03:00
co-authored by Copilot
parent 3ed3ce07cf
commit 18bef74c66
6 changed files with 115 additions and 62 deletions
@@ -9,12 +9,19 @@ import java.nio.charset.StandardCharsets;
import java.nio.file.Files;
import java.nio.file.Path;
import java.util.Arrays;
import java.util.Iterator;
import java.util.zip.CRC32;
import java.util.zip.DataFormatException;
import java.util.zip.Inflater;
import javax.imageio.ImageIO;
import javax.imageio.ImageReadParam;
import javax.imageio.ImageReader;
import javax.imageio.stream.ImageInputStream;
// Потоковая проверка PNG/JPEG по содержимому без декодирования в пиксели: память — буферы по 64 KiB,
// а не ширина × высота. Размеры читаются из заголовка, лимит пикселей применяется до распаковки.
// Проверка PNG/JPEG по содержимому в два шага. Сначала потоковый разбор (буферы по 64 KiB): сигнатура,
// CRC/сегменты и размеры из заголовка — лимит пикселей применяется до распаковки. Затем полное декодирование
// с прореживанием: структура ещё не значит, что картинка читается (фильтр строки PNG вне 0–4, JPEG без
// таблиц или данных скана), а растр ограничен ~0.25 Мпикс, поэтому память не растёт с размером изображения.
final class ImageCheck {
static final long MAX_PIXELS = 40_000_000L;
static final byte[] PNG_SIGNATURE = {(byte) 0x89, 'P', 'N', 'G', '\r', '\n', 0x1a, '\n'};
@@ -34,12 +41,40 @@ final class ImageCheck {
in.mark(8);
byte[] head = in.readNBytes(8);
in.reset();
if (Arrays.equals(head, PNG_SIGNATURE)) return png(new DataInputStream(in));
if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) return jpeg(in);
throw bad("not a PNG or JPEG");
Info info;
if (Arrays.equals(head, PNG_SIGNATURE)) info = png(new DataInputStream(in));
else if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) info = jpeg(in);
else throw bad("not a PNG or JPEG");
decode(file, info);
return info;
}
}
static final long DECODE_PIXELS = 250_000;
// Декодер читает все строки PNG и все сканы JPEG, но в растр попадает каждый step-й пиксель.
// Ошибка или предупреждение декодера (например, «Premature end of JPEG file») — файл не принимаем.
static void decode(Path file, Info info) throws IOException, Invalid {
ImageIO.setUseCache(false);
Iterator<ImageReader> readers = ImageIO.getImageReadersByMIMEType(info.contentType());
if (!readers.hasNext()) throw bad("no decoder for " + info.contentType());
ImageReader reader = readers.next();
boolean[] warned = {false};
reader.addIIOReadWarningListener((source, warning) -> warned[0] = true);
try (ImageInputStream in = ImageIO.createImageInputStream(file.toFile())) {
reader.setInput(in, true, true);
ImageReadParam param = reader.getDefaultReadParam();
int step = (int) Math.ceil(Math.sqrt((double) info.width() * info.height() / DECODE_PIXELS));
if (step > 1) param.setSourceSubsampling(step, step, 0, 0);
reader.read(0, param);
} catch (IOException | RuntimeException e) {
throw bad("image cannot be decoded: " + e.getMessage());
} finally {
reader.dispose();
}
if (warned[0]) throw bad("image data is corrupt or incomplete");
}
static Invalid bad(String message) { return new Invalid(message, false); }
static void checkPixels(long width, long height) throws Invalid {
@@ -180,6 +180,9 @@ class Reconciler {
switch (r.state()) {
case "uploading" -> {
if (r.updated().isAfter(cutoff)) { count(findings, "upload_in_progress_kept"); return; }
// Старая строка, но свежий объект: PUT мог только что завершиться (медленная загрузка, повторы SDK).
// Удаляем, только когда старше grace обе стороны — как и объект без строки.
if (o.lastModified().isAfter(cutoff)) { count(findings, "stale_upload_fresh_object_kept"); return; }
// PUT прошёл, ready не записан: клиент получил ошибку и id не знает — объект и строку удаляем.
count(findings, "stale_upload_with_object");
detail("stale_upload_with_object", r.key(), r.id());