From d235255cf3ad87e1f11a69b5aa9e4824db90c4b3 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=D0=92=D0=B0=D1=81=D0=B8=D0=BB=D1=8C=D0=B5=D0=B2=20=D0=9D?= =?UTF-8?q?=D0=B8=D0=BA=D0=B8=D1=82=D0=B0?= Date: Fri, 6 Nov 2026 18:57:16 +0300 Subject: [PATCH] Enforce UTF-8 JSON encoding before any business write --- REPORT.md | 5 +- evidence/json-encoding-runtime.json | 22 +++++ evidence/json-encoding.txt | 2 + evidence/tests-final.txt | 6 +- research/README.md | 4 + src/messenger/app.py | 19 ++++ student-tests/test_json_encoding.py | 140 ++++++++++++++++++++++++++++ 7 files changed, 193 insertions(+), 5 deletions(-) create mode 100644 evidence/json-encoding-runtime.json create mode 100644 evidence/json-encoding.txt create mode 100644 student-tests/test_json_encoding.py diff --git a/REPORT.md b/REPORT.md index 69a830ad..14915eeb 100644 --- a/REPORT.md +++ b/REPORT.md @@ -64,7 +64,8 @@ ConnecttimeoutLB1s, server8s, client10s, queuetimeout2s, transparent retries0. U ## Проверки уровней3–4 - [Публичный контракт и схема](evidence/contract-validation.txt):PASS. -- [Собственные тесты](evidence/tests-final.txt):98PASS, включая11unit-регрессий форматаcursor,10HTTP-регрессийcursorнаобоихмаршрутах,20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки. +- [Собственные тесты](evidence/tests-final.txt):124PASS, включая26HTTP-проверокJSONкодировкибезпобочныхзаписей,11unit-регрессий форматаcursor,10HTTP-регрессийcursorнаобоихмаршрутах,20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки. +- [JSONUTF-8](evidence/json-encoding.txt):8вариантовUTF-16/32/BOM/LE/BEна3маршрутахотклонены400беззаписи; validUTF-8иUTF-8BOM,UnicodeиescapedNULприняты. - [Независимые HTTP-регрессии](evidence/independent-http.json):61PASS. - [Независимые отказы](evidence/independent-faults.json):4PASS — ACLдоreplay, исчезновение обязательной таблицы, pausedPG с503примерно3.08s и восстановлением, logout под блокировкой с последующим отзывом. - [LB без готовых API](evidence/lb-no-ready-api.json):503JSON, новыйX-Request-Idсовпадаетсerror.request_id, фиктивногоX-Instance-Idнет; прежняя сессия работает после восстановления. @@ -134,7 +135,7 @@ Rolling-target отличается revision-label, функциональный [Ресурсные графики](evidence/scaling-final-resources.svg) показывают CPUБД, CPUгенератора и droppedslots. Калибровочныеpilotфайлы сохранены отдельно и в63основных прогона не входят; обратный контроль —ещё3отдельныхпрогона. -Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в [manifest](evidence/research-runner-manifest.json). После измерений добавлены JSON503для случая отсутствия готовых backend и строгая валидация некорректногоcursor (ISOweek/basic/не-T,True/1.0вместоцелойверсии). Измеренный профиль отправки сообщений cursorне использует; прежняя конфигурация сохранена в [haproxy-benchmark.cfg](evidence/haproxy-benchmark.cfg). Это изменение пути отказа не является измеренным улучшениемthroughput. +Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в [manifest](evidence/research-runner-manifest.json). После измерений добавлены JSON503для случая отсутствия готовых backend и строгая валидация некорректногоcursor (ISOweek/basic/не-T,True/1.0вместоцелойверсии). Измеренный профиль отправки сообщений cursorне использует; прежняя конфигурация сохранена в [haproxy-benchmark.cfg](evidence/haproxy-benchmark.cfg). После повторного review также добавлен строгий UTF-8 encodingguard на обычном POSTпути users/chats/messages: UTF-16/32 и literalNULотклоняются до записи, escapedJSON\u0000 и UTF-8/BOM сохраняются. Binaryattachments этим guardне затрагиваются. Числа исследования относятся к зафиксированному snapshot029bf9bдо этого guard; его накладные расходы в исходной матрице не измерялись. Последующие исправления корректности не заявляются как измеренное улучшениеthroughput, rawданные не переписывались. После опыта штатные2API и PostgreSQL1CPUвосстановлены. Копии результатов не содержат токенов и секретов. diff --git a/evidence/json-encoding-runtime.json b/evidence/json-encoding-runtime.json new file mode 100644 index 00000000..a58c72ff --- /dev/null +++ b/evidence/json-encoding-runtime.json @@ -0,0 +1,22 @@ +{ + "pass": true, + "api_count": 2, + "containers": [ + "492e68cf4865e27c8d2a945ee2abd55b5f06b646070b2e2a97a22fd5327139da", + "d4670b5fd787a9b298fe6b56504a6b9f669961d6d25f638c16e43b4dc7c5cfe3" + ], + "source_manifest": { + "src/messenger/__init__.py": "9a72a49106367ca514cc6147d0e727e62c4d33fefd61572d209a5c9494551a2c", + "src/messenger/__main__.py": "ba9a59ad44ee8884cd65cf88d5ea15cbd7051b10f7c729043ddd44ca2f34defe", + "src/messenger/app.py": "77c8defefc6316b2bf1f91f6129e3959a2ac0e3b9d45ff8978f051e9e942f1c8", + "src/messenger/config.py": "e4d4aaf674ede8b5abdc361f77c7793ee94d8d7856030c28834eb7c95291b193", + "src/messenger/domain.py": "7bf6f177ab5bdeea09b303dc886160335d348f64f47912b9bba45355db378bef", + "src/messenger/migrate.py": "eb5cad7ac6abe38dd40b2db307d298b297abe9543b3928c36bab8ef06283664e", + "src/messenger/models.py": "0ca8f9a3a43833ebf0c0b14e05d77c3e1ab48394d15c6b6d678689d40b4cd416", + "src/messenger/postgres.py": "449ac90643222e5e1437df2f33ed3584dc9ccb7579c10beae4e8d710a4aae052", + "migrations/001_initial.sql": "5d88cd12ef9fda008832dc0b886fa0cf5d886738fe9b77180cdc65adac50dfd9", + "migrations/002_idempotency.sql": "82b41be828ad55ec5c1d991775528e7fe6766c362fa58a2c4f46690459b2c00d", + "migrations/003_unicode_storage.sql": "7282a55da4aa081f7d3d99692e11eeb7a49feab9c9f829a09d3d72dc74009643" + }, + "note": "Actual runtime sources match the UTF8-guard working tree before final source commit; full124 and encoding26 HTTP tests passed." +} diff --git a/evidence/json-encoding.txt b/evidence/json-encoding.txt new file mode 100644 index 00000000..3f1d2962 --- /dev/null +++ b/evidence/json-encoding.txt @@ -0,0 +1,2 @@ +.......................... [100%] +26 passed in 2.12s diff --git a/evidence/tests-final.txt b/evidence/tests-final.txt index a19c0fd7..3d75ab00 100644 --- a/evidence/tests-final.txt +++ b/evidence/tests-final.txt @@ -1,4 +1,4 @@ BASE_URL=http://127.0.0.1:8083 uv run --locked pytest -q -........................................................................ [ 73%] -.......................... [100%] -98 passed in 31.45s +........................................................................ [ 58%] +.................................................... [100%] +124 passed in 24.37s diff --git a/research/README.md b/research/README.md index ee1285bb..d02ed51b 100644 --- a/research/README.md +++ b/research/README.md @@ -46,3 +46,7 @@ HTTPxpilot при300offered/s показал schedulerlag312ms и633drops. Он ## Дополнительный обратный контроль После основной матрицы `uv run --locked python research/reversal.py` возвращает PostgreSQL0.25CPUпри техже4API, выполняет3×6sна900offered/s и восстанавливает штатный стенд. Результат отдельно в evidence/scaling-reversal.json, в63основных прогона он не включается. После основного опыта CPUконтроль далмедиану465.411RPSпротив881.06при0.5CPU, что снижает риск объяснить выигрыш только поздним прогревом. + +## Snapshot и последующие исправления + +Сохранённая матрица измерена на runtime029bf9b; его SHA256manifest присутствует в rawJSON. После измерений добавлены формат LB503, строгая валидация malformedcursor и UTF-8guard JSONPOST. Последний guard выполняется и на нормальном пути POST, поэтому опубликованные значения относятся именно к recorded snapshot, а не к замеру финального runtime после guard. Его отдельная накладная стоимость не измерялась; запуск runner на текущем HEAD даст новые измерения. Исходные JSON и графики исторического опыта не переписывались. diff --git a/src/messenger/app.py b/src/messenger/app.py index 7f1a820f..bb514b9a 100644 --- a/src/messenger/app.py +++ b/src/messenger/app.py @@ -60,6 +60,23 @@ def error(request, status, message, headers=None): ) +async def invalid_json_encoding(request: Request): + path = request.url.path + if request.method != "POST" or not ( + path in {"/api/v1/users", "/api/v1/chats"} + or re.fullmatch(r"/api/v1/chats/[^/]+/messages", path) + ): + return False + raw = await request.body() + try: + raw.decode("utf-8") + except UnicodeDecodeError: + return True + # Literal NUL is invalid JSON; it also prevents json.loads(bytes) from + # autodetecting BOM-less UTF-16/32. Escaped JSON \u0000 remains valid. + return b"\x00" in raw + + @app.middleware("http") async def request_log(request: Request, call_next): request.state.request_id = str(uuid4()) @@ -67,6 +84,8 @@ async def request_log(request: Request, call_next): try: if request.method == "POST" and request.url.path == "/api/v1/auth/sessions" and await request.body(): response = error(request, 400, "Вход не принимает тело запроса") + elif await invalid_json_encoding(request): + response = error(request, 400, "JSON должен быть закодирован в UTF-8") else: response = await call_next(request) except Exception: diff --git a/student-tests/test_json_encoding.py b/student-tests/test_json_encoding.py new file mode 100644 index 00000000..b614d873 --- /dev/null +++ b/student-tests/test_json_encoding.py @@ -0,0 +1,140 @@ +import base64 +import codecs +import json +import os +import uuid + +import pytest +from client import Client + +ENCODINGS = [ + "utf-16", + "utf-16-le", + "utf-16-be", + "utf-16-be-bom", + "utf-32", + "utf-32-le", + "utf-32-be", + "utf-32-be-bom", +] + + +def encoded(body, encoding): + text = json.dumps(body, ensure_ascii=False) + if encoding == "utf-16-be-bom": + return codecs.BOM_UTF16_BE + text.encode("utf-16-be") + if encoding == "utf-32-be-bom": + return codecs.BOM_UTF32_BE + text.encode("utf-32-be") + return text.encode(encoding) + + +@pytest.fixture(scope="module") +def encoding_scenario(): + c = Client(os.environ["BASE_URL"]) + return c, *c.bootstrap() + + +@pytest.mark.parametrize("encoding", ENCODINGS) +def test_non_utf8_registration_has_no_write(encoding_scenario, encoding): + c, *_ = encoding_scenario + body = { + "username": "enc_" + uuid.uuid4().hex[:14], + "display_name": "Никита\u0000имя", + "password": "Пароль:тестовый-12345", + } + c.call( + "POST", + "/api/v1/users", + 400, + raw=encoded(body, encoding), + headers={"Content-Type": "application/json"}, + ) + # UNIQUE username proves the rejected request did not insert a user. + created = c.call("POST", "/api/v1/users", 201, body=body, schema="User")["json"] + assert created["display_name"] == body["display_name"] + + +@pytest.mark.parametrize("encoding", ENCODINGS) +def test_non_utf8_chat_has_no_write(encoding_scenario, encoding): + c, alice, *_ = encoding_scenario + before = c.call("GET", "/api/v1/chats?limit=100", actor=alice, schema="ChatPage")["json"] + body = {"title": "Чат\u0000" + uuid.uuid4().hex, "member_ids": [alice["id"]]} + c.call( + "POST", + "/api/v1/chats", + 400, + actor=alice, + raw=encoded(body, encoding), + headers={"Content-Type": "application/json"}, + ) + after = c.call("GET", "/api/v1/chats?limit=100", actor=alice, schema="ChatPage")["json"] + assert before == after + assert ( + c.call("POST", "/api/v1/chats", 201, actor=alice, body=body, schema="Chat")["json"]["title"] + == body["title"] + ) + + +@pytest.mark.parametrize("encoding", ENCODINGS) +def test_non_utf8_message_has_no_write(encoding_scenario, encoding): + c, alice, _, _, chat = encoding_scenario + path = f"/api/v1/chats/{chat['id']}/messages" + key = uuid.uuid4().hex + body = {"text": "Сообщение\u0000" + key} + c.call( + "POST", + path, + 400, + actor=alice, + raw=encoded(body, encoding), + headers={"Content-Type": "application/json", "Idempotency-Key": key}, + ) + history = c.call("GET", path + "?limit=100", actor=alice, schema="MessagePage")["json"]["items"] + assert all(item["text"] != body["text"] for item in history) + good = c.call( + "POST", + path, + 201, + actor=alice, + body=body, + headers={"Idempotency-Key": key}, + schema="Message", + )["json"] + repeat = c.call( + "POST", + path, + 201, + actor=alice, + body=body, + headers={"Idempotency-Key": key}, + schema="Message", + )["json"] + assert good == repeat and good["text"] == body["text"] + + +@pytest.mark.parametrize("encoding", ["utf-8", "utf-8-sig"]) +def test_valid_utf8_registration_and_login(encoding_scenario, encoding): + c, *_ = encoding_scenario + body = { + "username": "utf8_" + uuid.uuid4().hex[:14], + "display_name": "Юникод\u0000😀", + "password": "Пароль:тестовый-12345", + } + user = c.call( + "POST", + "/api/v1/users", + 201, + raw=encoded(body, encoding), + headers={"Content-Type": "application/json"}, + schema="User", + )["json"] + assert user["display_name"] == body["display_name"] + credential = base64.b64encode((body["username"] + ":" + body["password"]).encode()).decode() + session = c.call( + "POST", + "/api/v1/auth/sessions", + 201, + headers={"Authorization": "Basic " + credential}, + schema="Session", + )["json"] + assert session["user"] == user