From e3d441c6297c2034f2de91645d72011908842978 Mon Sep 17 00:00:00 2001 From: eqktrin Date: Sat, 31 Oct 2026 11:02:37 +0300 Subject: [PATCH] =?UTF-8?q?=D0=B8=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=B8?= =?UTF-8?q?=D0=BB=D0=B0=20=D0=B7=D0=B0=D0=BC=D0=B5=D1=87=D0=B0=D0=BD=D0=B8?= =?UTF-8?q?=D1=8F?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 2 +- app/attachments.py | 78 ++++++++++++---------- app/idempotency.py | 31 +++++---- app/repo.py | 6 +- main.py | 16 ++++- student-tests/test_attachments_negative.py | 71 +++++++++++++++----- 6 files changed, 127 insertions(+), 77 deletions(-) diff --git a/REPORT.md b/REPORT.md index 2f5376e..45fd66a 100644 --- a/REPORT.md +++ b/REPORT.md @@ -2,7 +2,7 @@ - Автор, группа: Никифорова Екатерина, БВТ2301 - Целевая оценка: **4** (уровни 3 и 4, трек 5 не заявлен) -- Commit/PR: https://gitea.privcloud.tech/eqktrin/mtusi2026lab4/pulls (PR после публикации) +- Commit/PR: https://gitea.privcloud.tech/mtusi2026lab4/pulls (PR после публикации) - Источники, библиотеки, помощь ИИ: FastAPI 0.115, Uvicorn 0.30, PostgreSQL 17.6, Valkey 8.1.3, Silo (`pgsty/silo` — поддерживаемый форк MinIO: официальные образы MinIO удалены с Docker Hub и Quay в 2025), diff --git a/app/attachments.py b/app/attachments.py index 6d977c5..0128e29 100644 --- a/app/attachments.py +++ b/app/attachments.py @@ -1,5 +1,6 @@ """Логика вложений: проверка изображений, загрузка в S3, компенсация.""" import logging +import threading import uuid from PIL import Image, UnidentifiedImageError @@ -11,59 +12,67 @@ log = logging.getLogger("attachments") ALLOWED_FORMATS = {"PNG": "image/png", "JPEG": "image/jpeg"} -# PIL отказывается читать изображение с числом пикселей больше лимита, -# ещё до полной распаковки — это защита от decompression bomb. +# PIL отказывается читать изображение с числом пикселей больше лимита. Image.MAX_IMAGE_PIXELS = config.MAX_IMAGE_PIXELS +# Ограничиваем одновременные декодирования, чтобы пик RAM +# (≤ MAX_IMAGE_PIXELS × 4 байт на каждое) укладывался в mem_limit контейнера. +_decode_slots = threading.BoundedSemaphore(3) + def validate_filename(filename): - """Отображаемое имя; ключ S3 формирует сервер.""" + """Отображаемое имя; ключ S3 формирует сервер. + + Запрещены / \\ NUL и любые control-символы 0x00–0x1F и DEL 0x7F. + """ if not isinstance(filename, str) or not (1 <= len(filename) <= 255): raise bad_request("Некорректное имя файла") - if any(c in filename for c in ("/", "\\", "\x00")) or any(ord(c) < 0x20 for c in filename): - raise bad_request("Недопустимое имя файла") + for c in filename: + if c in ("/", "\\", "\x00") or ord(c) < 0x20 or ord(c) == 0x7F: + raise bad_request("Недопустимое имя файла") return filename def _inspect_image(fileobj): - """Формат и размеры из заголовка, затем целостность через verify(). + """Полная валидация: заголовок → лимиты → load(). - verify() не декодирует пиксели, только проверяет CRC/структуру. + load() декодирует IDAT (PNG) / энтропийные данные (JPEG). Битый поток + даёт OSError('broken data stream') → 415. Память ограничена + MAX_IMAGE_PIXELS × 4 байт и семафором _decode_slots. """ - try: - with Image.open(fileobj) as img: - fmt = img.format - width, height = img.size - img.verify() - except UnidentifiedImageError: - raise ApiError(415, "unsupported_media_type", "Неизвестный формат изображения") - except Image.DecompressionBombError: - raise ApiError(413, "payload_too_large", "Слишком много пикселей") - except Exception: - raise ApiError(415, "unsupported_media_type", "Повреждённое изображение") - - if fmt not in ALLOWED_FORMATS: - raise ApiError(415, "unsupported_media_type", "Ожидается PNG или JPEG") - if width <= 0 or height <= 0: - raise ApiError(415, "unsupported_media_type", "Повреждённое изображение") - if width * height > config.MAX_IMAGE_PIXELS: - raise ApiError(413, "payload_too_large", "Слишком много пикселей") - return ALLOWED_FORMATS[fmt] + with _decode_slots: + try: + with Image.open(fileobj) as img: + fmt = img.format + width, height = img.size + if fmt not in ALLOWED_FORMATS: + raise ApiError(415, "unsupported_media_type", "Ожидается PNG или JPEG") + if width <= 0 or height <= 0: + raise ApiError(415, "unsupported_media_type", "Повреждённое изображение") + if width * height > config.MAX_IMAGE_PIXELS: + raise ApiError(413, "payload_too_large", "Слишком много пикселей") + # Полное декодирование: проверяет целостность IDAT-потока, + # а не только CRC чанков (как verify()). + img.load() + return ALLOWED_FORMATS[fmt] + except UnidentifiedImageError: + raise ApiError(415, "unsupported_media_type", "Неизвестный формат изображения") + except Image.DecompressionBombError: + raise ApiError(413, "payload_too_large", "Слишком много пикселей") + except (OSError, SyntaxError, ValueError): + raise ApiError(415, "unsupported_media_type", "Повреждённое изображение") + finally: + fileobj.seek(0) def inspect_image_file(fileobj, total_bytes): - """Проверяет уже прочитанное тело. Возвращает фактический content_type. - - fileobj должен быть seekable; после вызова позиция = 0. - """ + """Проверяет уже прочитанное тело. Возвращает фактический content_type.""" if total_bytes == 0: raise bad_request("Пустой файл") if total_bytes > config.MAX_UPLOAD_BYTES: raise ApiError(413, "payload_too_large", "Файл больше 10 MiB") fileobj.seek(0) - content_type = _inspect_image(fileobj) - fileobj.seek(0) - return content_type + return _inspect_image(fileobj) def upload_stream(chat_id, owner_id, filename, fileobj, total_bytes, digest, content_type): @@ -84,7 +93,6 @@ def upload_stream(chat_id, owner_id, filename, fileobj, total_bytes, digest, con s3.put_object(object_key, fileobj, content_type, content_length=total_bytes) except Exception as exc: log.warning("S3 PUT failed for %s: %s", attachment_id, type(exc).__name__) - # Компенсация: удаляем возможный частичный объект. s3.delete_object(object_key) with db.connection() as conn: repo.mark_attachment_failed(conn, attachment_id, "storage_unavailable") @@ -94,8 +102,6 @@ def upload_stream(chat_id, owner_id, filename, fileobj, total_bytes, digest, con with db.connection() as conn: ready = repo.mark_attachment_ready(conn, attachment_id) except Exception: - # Объект уже в S3, но COMMIT в БД не прошёл → orphan-pending. - # scripts/reconcile_s3.py найдёт и удалит после grace period. log.error("S3 object %s left orphaned after DB failure", object_key) raise if ready is None: diff --git a/app/idempotency.py b/app/idempotency.py index d1d233c..20bc7da 100644 --- a/app/idempotency.py +++ b/app/idempotency.py @@ -1,28 +1,34 @@ """Логика идемпотентности для POST запросов.""" import hashlib import json +import re + from .errors import ApiError, bad_request +# Контракт: ASCII [A-Za-z0-9._:-]{1,128} +_IDEM_KEY_RE = re.compile(r"[A-Za-z0-9._:-]{1,128}") + def get_request_hash(data: dict) -> str: - """Хеш тела запроса, независимый от порядка ключей.""" - return hashlib.sha256(json.dumps(data, sort_keys=True).encode("utf-8")).hexdigest() + """Хеш тела, независимый от порядка ключей. + + Отсутствующий attachment_ids семантически равен [] — нормализуем, + иначе {"text":"x"} и {"text":"x","attachment_ids":[]} дают разные хеши. + """ + normalized = dict(data) + normalized.setdefault("attachment_ids", []) + return hashlib.sha256(json.dumps(normalized, sort_keys=True).encode("utf-8")).hexdigest() def check_and_lock(conn, user_id: str, method: str, path: str, key: str, req_hash: str): - """ - Блокирует ключ идемпотентности через advisory lock в PostgreSQL. - """ if not key: raise bad_request("Missing Idempotency-Key") - if not isinstance(key, str) or not (1 <= len(key) <= 128): + if not _IDEM_KEY_RE.fullmatch(key): raise bad_request("Invalid Idempotency-Key format") - # Берем блокировку на уровне БД по хешу ключа. lock_id = f"{user_id}:{method}:{path}:{key}" conn.execute("SELECT pg_advisory_xact_lock(hashtext(%s))", (lock_id,)) - # Проверяем, есть ли уже такой ключ row = conn.execute(""" SELECT request_hash, status_code, response_body FROM idempotency_keys @@ -30,22 +36,16 @@ def check_and_lock(conn, user_id: str, method: str, path: str, key: str, req_has """, (user_id, method, path, key)).fetchone() if row: - # Ключ уже существует if row["request_hash"] != req_hash: raise ApiError(409, "conflict", "Idempotency-Key conflict: body differs") - - # Если запрос уже был успешно обработан, возвращаем сохраненный ответ if row["status_code"] is not None and row["response_body"] is not None: return False, json.loads(row["response_body"]) - - # Если status_code пустой, значит первая транзакция упала. Разрешаем перезапись. return True, None return True, None -def save_result(conn, user_id: str, method: str, path: str, key: str, req_hash: str, status_code: int, response_body: dict): - """Сохраняет результат выполнения запроса для будущих повторных вызовов.""" +def save_result(conn, user_id, method, path, key, req_hash, status_code, response_body): conn.execute(""" INSERT INTO idempotency_keys (user_id, method, path, key, request_hash, status_code, response_body) VALUES (%s, %s, %s, %s, %s, %s, %s) @@ -55,7 +55,6 @@ def save_result(conn, user_id: str, method: str, path: str, key: str, req_hash: def cleanup(conn, ttl_seconds: int): - """Оппортунистическая очистка старых ключей (через подзапрос, т.к. DELETE LIMIT в PG нет).""" conn.execute(""" DELETE FROM idempotency_keys WHERE (user_id, method, path, key) IN ( diff --git a/app/repo.py b/app/repo.py index 626e34f..f06105c 100644 --- a/app/repo.py +++ b/app/repo.py @@ -2,8 +2,8 @@ import uuid from . import cursor, security -from .errors import bad_request from .sessions import fmt_ts +from .errors import bad_request, not_found def username_exists(conn, username): @@ -90,14 +90,14 @@ def insert_message(conn, chat_id, sender_id, text, attachment_ids=None): """Создаёт сообщение и связывает вложения в одной транзакции.""" attachment_ids = attachment_ids or [] if attachment_ids: - # Все вложения должны принадлежать этому чату и быть ready. rows = conn.execute( """SELECT id, status FROM attachments WHERE id = ANY(%s) AND chat_id = %s""", (attachment_ids, chat_id)).fetchall() by_id = {r["id"]: r for r in rows} if len(by_id) != len(attachment_ids): - raise bad_request("Неизвестное вложение") + # Чужое или неизвестное вложение — 404 (не раскрывать существование). + raise not_found() for att_id in attachment_ids: if by_id[att_id]["status"] == "failed": raise bad_request("Нельзя прикрепить failed-вложение") diff --git a/main.py b/main.py index 34c3ef3..3424ff3 100644 --- a/main.py +++ b/main.py @@ -47,7 +47,11 @@ def _rid(request): def error_response(request, status, code, message, headers=None): rid = _rid(request) - out = {"X-Request-Id": rid, "Cache-Control": "no-store"} + out = { + "X-Request-Id": rid, + "X-Instance-Id": INSTANCE_ID, + "Cache-Control": "no-store", + } out.update(headers or {}) return JSONResponse(status_code=status, content=make_error(code, message, rid), headers=out) @@ -131,8 +135,14 @@ def live(): @app.get("/health/ready") def ready(): - db.ping() - s3.ping() + try: + db.ping() + except Exception: + raise ApiError(503, "unavailable", "PostgreSQL недоступен") + try: + s3.ping() + except Exception: + raise ApiError(503, "unavailable", "S3 недоступен") return {"status": "ok"} diff --git a/student-tests/test_attachments_negative.py b/student-tests/test_attachments_negative.py index 18be2ef..490b7d1 100644 --- a/student-tests/test_attachments_negative.py +++ b/student-tests/test_attachments_negative.py @@ -1,7 +1,9 @@ #!/usr/bin/env python3 """Негативные сценарии вложений. Запускается против запущенного стенда.""" +import struct import sys import uuid +import zlib from pathlib import Path from urllib.parse import quote @@ -13,6 +15,17 @@ from client import Client, Failure, arguments, check, run # noqa: E402 PNG_MAGIC = b"\x89PNG\r\n\x1a\n" +def make_broken_png(): + """PNG с корректными CRC чанков, но битым потоком IDAT.""" + def chunk(t, d): + c = t + d + return struct.pack(">I", len(d)) + c + struct.pack(">I", zlib.crc32(c) & 0xFFFFFFFF) + ihdr = struct.pack(">IIBBBBB", 64, 64, 8, 2, 0, 0, 0) + # Валидный zlib-заголовок + мусор: decompress() упадёт. + bad_idat = b"\x78\x9c" + b"\xff" * 100 + return PNG_MAGIC + chunk(b"IHDR", ihdr) + chunk(b"IDAT", bad_idat) + chunk(b"IEND", b"") + + def main(): args = arguments("Lab4 attachment negative tests") c = Client(args.base_url, args.ca_file) @@ -23,42 +36,49 @@ def main(): base = "/api/v1/chats/%s/attachments" % chat["id"] png_fixture = (ROOT / "tests/fixtures/sample.png").read_bytes() - # 1. Слишком большой файл: 10 MiB + 1 байт, Content-Length сразу отвергается. - big = PNG_MAGIC + b"\x00" * (10485760) - r = c.call("POST", base + "?filename=big.png", 413, actor=alice, raw=big, - headers={"Content-Type": "image/png"}) - check(r["status"] == 413, "oversize not rejected") + # 1. Слишком большой файл. + big = PNG_MAGIC + b"\x00" * 10485760 + c.call("POST", base + "?filename=big.png", 413, actor=alice, raw=big, + headers={"Content-Type": "image/png"}) - # 2. Подмена MIME: объявляем image/png, а байты не PNG. - r = c.call("POST", base + "?filename=x.png", 415, actor=alice, - raw=b"not an image at all", - headers={"Content-Type": "image/png"}) - check(r["status"] == 415, "mime mismatch not rejected") + # 2. Подмена MIME. + c.call("POST", base + "?filename=x.png", 415, actor=alice, + raw=b"not an image at all", headers={"Content-Type": "image/png"}) - # 3. Повреждённый PNG: валидный заголовок, битая структура. + # 3. Повреждённый PNG (валидный заголовок, битая структура). broken = png_fixture[:20] + b"\x00" * 32 + png_fixture[52:] c.call("POST", base + "?filename=broken.png", 415, actor=alice, raw=broken, headers={"Content-Type": "image/png"}) - # 4. Опасное имя файла. URL-кодируем: NUL, /, \ в URL напрямую запрещены - # клиентом (http.client), но после декодирования сервер обязан отклонить. - for bad in ("../etc/passwd", "a\\b.png", "a\x00b.png", "a/b.png"): + # 3b. PNG с корректными CRC, но битым IDAT — ловится только load(). + c.call("POST", base + "?filename=broken-idat.png", 415, actor=alice, + raw=make_broken_png(), headers={"Content-Type": "image/png"}) + + # 4. Опасные имена: path traversal, \, NUL, DEL 0x7F, control 0x01. + for bad in ("../etc/passwd", "a\\b.png", "a\x00b.png", "a/b.png", + "a\x7fb.png", "a\x01b.png"): c.call("POST", base + "?filename=" + quote(bad, safe=""), 400, actor=alice, raw=png_fixture, headers={"Content-Type": "image/png"}) - # 5. Чужой чат: eve не участник — 404 до чтения тела. + # 5. Чужой чат — 404 до чтения тела. c.call("POST", base + "?filename=sample.png", 404, actor=eve, raw=png_fixture, headers={"Content-Type": "image/png"}) - # 6. Сослаться на чужое вложение в сообщении. + # 6. Сослаться на чужое вложение — 404 (не 400). foreign = c.call("POST", "/api/v1/chats/%s/attachments?filename=s.png" % other_chat["id"], 201, actor=bob, raw=png_fixture, headers={"Content-Type": "image/png"}, schema="Attachment")["json"] - c.call("POST", "/api/v1/chats/%s/messages" % chat["id"], 400, + c.call("POST", "/api/v1/chats/%s/messages" % chat["id"], 404, actor=alice, body={"text": "hi", "attachment_ids": [foreign["id"]]}, headers={"Idempotency-Key": uuid.uuid4().hex}) + # 6b. Случайный UUID вложения — тоже 404. + c.call("POST", "/api/v1/chats/%s/messages" % chat["id"], 404, + actor=alice, + body={"text": "hi", "attachment_ids": [str(uuid.uuid4())]}, + headers={"Idempotency-Key": uuid.uuid4().hex}) + # 7. Чтение чужого attachment_id — 404 на metadata и bytes. c.call("GET", "/api/v1/attachments/" + foreign["id"], 404, actor=eve) c.call("GET", "/api/v1/attachments/" + foreign["id"] + "/content", 404, actor=eve) @@ -68,7 +88,22 @@ def main(): c.call("GET", "/api/v1/attachments/" + ghost, 404, actor=alice) c.call("GET", "/api/v1/attachments/" + ghost + "/content", 404, actor=alice) - print("PASS: 8 negative attachment scenarios") + # 9. Идемпотентность: {"text":"x"} и {"text":"x","attachment_ids":[]} равны. + key = uuid.uuid4().hex + m1 = c.message(alice, chat, "idem-normalize", key=key)["json"] + m2 = c.call("POST", "/api/v1/chats/%s/messages" % chat["id"], 201, + actor=alice, + body={"text": "idem-normalize", "attachment_ids": []}, + headers={"Idempotency-Key": key}, schema="Message")["json"] + check(m1["id"] == m2["id"], "idempotency: attachment_ids=[] must equal absent") + + # 10. Idempotency-Key с пробелом — 400. + c.call("POST", "/api/v1/chats/%s/messages" % chat["id"], 400, + actor=alice, + body={"text": "x"}, + headers={"Idempotency-Key": "contains space"}) + + print("PASS: 10 negative attachment scenarios") if __name__ == "__main__":