Update completed lab 4 implementation
Co-authored-by: Copilot <223556219+Copilot@users.noreply.github.com>
This commit is contained in:
@@ -9,12 +9,19 @@ import java.nio.charset.StandardCharsets;
|
||||
import java.nio.file.Files;
|
||||
import java.nio.file.Path;
|
||||
import java.util.Arrays;
|
||||
import java.util.Iterator;
|
||||
import java.util.zip.CRC32;
|
||||
import java.util.zip.DataFormatException;
|
||||
import java.util.zip.Inflater;
|
||||
import javax.imageio.ImageIO;
|
||||
import javax.imageio.ImageReadParam;
|
||||
import javax.imageio.ImageReader;
|
||||
import javax.imageio.stream.ImageInputStream;
|
||||
|
||||
// Потоковая проверка PNG/JPEG по содержимому без декодирования в пиксели: память — буферы по 64 KiB,
|
||||
// а не ширина × высота. Размеры читаются из заголовка, лимит пикселей применяется до распаковки.
|
||||
// Проверка PNG/JPEG по содержимому в два шага. Сначала потоковый разбор (буферы по 64 KiB): сигнатура,
|
||||
// CRC/сегменты и размеры из заголовка — лимит пикселей применяется до распаковки. Затем полное декодирование
|
||||
// с прореживанием: структура ещё не значит, что картинка читается (фильтр строки PNG вне 0–4, JPEG без
|
||||
// таблиц или данных скана), а растр ограничен ~0.25 Мпикс, поэтому память не растёт с размером изображения.
|
||||
final class ImageCheck {
|
||||
static final long MAX_PIXELS = 40_000_000L;
|
||||
static final byte[] PNG_SIGNATURE = {(byte) 0x89, 'P', 'N', 'G', '\r', '\n', 0x1a, '\n'};
|
||||
@@ -34,12 +41,40 @@ final class ImageCheck {
|
||||
in.mark(8);
|
||||
byte[] head = in.readNBytes(8);
|
||||
in.reset();
|
||||
if (Arrays.equals(head, PNG_SIGNATURE)) return png(new DataInputStream(in));
|
||||
if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) return jpeg(in);
|
||||
throw bad("not a PNG or JPEG");
|
||||
Info info;
|
||||
if (Arrays.equals(head, PNG_SIGNATURE)) info = png(new DataInputStream(in));
|
||||
else if (head.length >= 3 && (head[0] & 0xff) == 0xff && (head[1] & 0xff) == 0xd8 && (head[2] & 0xff) == 0xff) info = jpeg(in);
|
||||
else throw bad("not a PNG or JPEG");
|
||||
decode(file, info);
|
||||
return info;
|
||||
}
|
||||
}
|
||||
|
||||
static final long DECODE_PIXELS = 250_000;
|
||||
|
||||
// Декодер читает все строки PNG и все сканы JPEG, но в растр попадает каждый step-й пиксель.
|
||||
// Ошибка или предупреждение декодера (например, «Premature end of JPEG file») — файл не принимаем.
|
||||
static void decode(Path file, Info info) throws IOException, Invalid {
|
||||
ImageIO.setUseCache(false);
|
||||
Iterator<ImageReader> readers = ImageIO.getImageReadersByMIMEType(info.contentType());
|
||||
if (!readers.hasNext()) throw bad("no decoder for " + info.contentType());
|
||||
ImageReader reader = readers.next();
|
||||
boolean[] warned = {false};
|
||||
reader.addIIOReadWarningListener((source, warning) -> warned[0] = true);
|
||||
try (ImageInputStream in = ImageIO.createImageInputStream(file.toFile())) {
|
||||
reader.setInput(in, true, true);
|
||||
ImageReadParam param = reader.getDefaultReadParam();
|
||||
int step = (int) Math.ceil(Math.sqrt((double) info.width() * info.height() / DECODE_PIXELS));
|
||||
if (step > 1) param.setSourceSubsampling(step, step, 0, 0);
|
||||
reader.read(0, param);
|
||||
} catch (IOException | RuntimeException e) {
|
||||
throw bad("image cannot be decoded: " + e.getMessage());
|
||||
} finally {
|
||||
reader.dispose();
|
||||
}
|
||||
if (warned[0]) throw bad("image data is corrupt or incomplete");
|
||||
}
|
||||
|
||||
static Invalid bad(String message) { return new Invalid(message, false); }
|
||||
|
||||
static void checkPixels(long width, long height) throws Invalid {
|
||||
|
||||
@@ -180,6 +180,9 @@ class Reconciler {
|
||||
switch (r.state()) {
|
||||
case "uploading" -> {
|
||||
if (r.updated().isAfter(cutoff)) { count(findings, "upload_in_progress_kept"); return; }
|
||||
// Старая строка, но свежий объект: PUT мог только что завершиться (медленная загрузка, повторы SDK).
|
||||
// Удаляем, только когда старше grace обе стороны — как и объект без строки.
|
||||
if (o.lastModified().isAfter(cutoff)) { count(findings, "stale_upload_fresh_object_kept"); return; }
|
||||
// PUT прошёл, ready не записан: клиент получил ошибку и id не знает — объект и строку удаляем.
|
||||
count(findings, "stale_upload_with_object");
|
||||
detail("stale_upload_with_object", r.key(), r.id());
|
||||
|
||||
Reference in New Issue
Block a user