Enforce UTF-8 JSON encoding before any business write

This commit is contained in:
2026-11-06 18:57:16 +03:00
parent d7d1bbaff8
commit d235255cf3
7 changed files with 193 additions and 5 deletions
+3 -2
View File
@@ -64,7 +64,8 @@ ConnecttimeoutLB1s, server8s, client10s, queuetimeout2s, transparent retries0. U
## Проверки уровней3–4
- [Публичный контракт и схема](evidence/contract-validation.txt):PASS.
- [Собственные тесты](evidence/tests-final.txt):98PASS, включая11unit-регрессий форматаcursor,10HTTP-регрессийcursorнаобоихмаршрутах,20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки.
- [Собственные тесты](evidence/tests-final.txt):124PASS, включая26HTTP-проверокJSONкодировкибезпобочныхзаписей,11unit-регрессий форматаcursor,10HTTP-регрессийcursorнаобоихмаршрутах,20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки.
- [JSONUTF-8](evidence/json-encoding.txt):8вариантовUTF-16/32/BOM/LE/BEна3маршрутахотклонены400беззаписи; validUTF-8иUTF-8BOM,UnicodeиescapedNULприняты.
- [Независимые HTTP-регрессии](evidence/independent-http.json):61PASS.
- [Независимые отказы](evidence/independent-faults.json):4PASS — ACLдоreplay, исчезновение обязательной таблицы, pausedPG с503примерно3.08s и восстановлением, logout под блокировкой с последующим отзывом.
- [LB без готовых API](evidence/lb-no-ready-api.json):503JSON, новыйX-Request-Idсовпадаетсerror.request_id, фиктивногоX-Instance-Idнет; прежняя сессия работает после восстановления.
@@ -134,7 +135,7 @@ Rolling-target отличается revision-label, функциональный
[Ресурсные графики](evidence/scaling-final-resources.svg) показывают CPUБД, CPUгенератора и droppedslots. Калибровочныеpilotфайлы сохранены отдельно и в63основных прогона не входят; обратный контроль —ещё3отдельныхпрогона.
Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в [manifest](evidence/research-runner-manifest.json). После измерений добавлены JSON503для случая отсутствия готовых backend и строгая валидация некорректногоcursor (ISOweek/basic/не-T,True/1.0вместоцелойверсии). Измеренный профиль отправки сообщений cursorне использует; прежняя конфигурация сохранена в [haproxy-benchmark.cfg](evidence/haproxy-benchmark.cfg). Это изменение пути отказа не является измеренным улучшениемthroughput.
Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в [manifest](evidence/research-runner-manifest.json). После измерений добавлены JSON503для случая отсутствия готовых backend и строгая валидация некорректногоcursor (ISOweek/basic/не-T,True/1.0вместоцелойверсии). Измеренный профиль отправки сообщений cursorне использует; прежняя конфигурация сохранена в [haproxy-benchmark.cfg](evidence/haproxy-benchmark.cfg). После повторного review также добавлен строгий UTF-8 encodingguard на обычном POSTпути users/chats/messages: UTF-16/32 и literalNULотклоняются до записи, escapedJSON\u0000 и UTF-8/BOM сохраняются. Binaryattachments этим guardне затрагиваются. Числа исследования относятся к зафиксированному snapshot029bf9bдо этого guard; его накладные расходы в исходной матрице не измерялись. Последующие исправления корректности не заявляются как измеренное улучшениеthroughput, rawданные не переписывались.
После опыта штатные2API и PostgreSQL1CPUвосстановлены. Копии результатов не содержат токенов и секретов.
+22
View File
@@ -0,0 +1,22 @@
{
"pass": true,
"api_count": 2,
"containers": [
"492e68cf4865e27c8d2a945ee2abd55b5f06b646070b2e2a97a22fd5327139da",
"d4670b5fd787a9b298fe6b56504a6b9f669961d6d25f638c16e43b4dc7c5cfe3"
],
"source_manifest": {
"src/messenger/__init__.py": "9a72a49106367ca514cc6147d0e727e62c4d33fefd61572d209a5c9494551a2c",
"src/messenger/__main__.py": "ba9a59ad44ee8884cd65cf88d5ea15cbd7051b10f7c729043ddd44ca2f34defe",
"src/messenger/app.py": "77c8defefc6316b2bf1f91f6129e3959a2ac0e3b9d45ff8978f051e9e942f1c8",
"src/messenger/config.py": "e4d4aaf674ede8b5abdc361f77c7793ee94d8d7856030c28834eb7c95291b193",
"src/messenger/domain.py": "7bf6f177ab5bdeea09b303dc886160335d348f64f47912b9bba45355db378bef",
"src/messenger/migrate.py": "eb5cad7ac6abe38dd40b2db307d298b297abe9543b3928c36bab8ef06283664e",
"src/messenger/models.py": "0ca8f9a3a43833ebf0c0b14e05d77c3e1ab48394d15c6b6d678689d40b4cd416",
"src/messenger/postgres.py": "449ac90643222e5e1437df2f33ed3584dc9ccb7579c10beae4e8d710a4aae052",
"migrations/001_initial.sql": "5d88cd12ef9fda008832dc0b886fa0cf5d886738fe9b77180cdc65adac50dfd9",
"migrations/002_idempotency.sql": "82b41be828ad55ec5c1d991775528e7fe6766c362fa58a2c4f46690459b2c00d",
"migrations/003_unicode_storage.sql": "7282a55da4aa081f7d3d99692e11eeb7a49feab9c9f829a09d3d72dc74009643"
},
"note": "Actual runtime sources match the UTF8-guard working tree before final source commit; full124 and encoding26 HTTP tests passed."
}
+2
View File
@@ -0,0 +1,2 @@
.......................... [100%]
26 passed in 2.12s
+3 -3
View File
@@ -1,4 +1,4 @@
BASE_URL=http://127.0.0.1:8083 uv run --locked pytest -q
........................................................................ [ 73%]
.......................... [100%]
98 passed in 31.45s
........................................................................ [ 58%]
.................................................... [100%]
124 passed in 24.37s
+4
View File
@@ -46,3 +46,7 @@ HTTPxpilot при300offered/s показал schedulerlag312ms и633drops. Он
## Дополнительный обратный контроль
После основной матрицы `uv run --locked python research/reversal.py` возвращает PostgreSQL0.25CPUпри техже4API, выполняет3×6sна900offered/s и восстанавливает штатный стенд. Результат отдельно в evidence/scaling-reversal.json, в63основных прогона он не включается. После основного опыта CPUконтроль далмедиану465.411RPSпротив881.06при0.5CPU, что снижает риск объяснить выигрыш только поздним прогревом.
## Snapshot и последующие исправления
Сохранённая матрица измерена на runtime029bf9b; его SHA256manifest присутствует в rawJSON. После измерений добавлены формат LB503, строгая валидация malformedcursor и UTF-8guard JSONPOST. Последний guard выполняется и на нормальном пути POST, поэтому опубликованные значения относятся именно к recorded snapshot, а не к замеру финального runtime после guard. Его отдельная накладная стоимость не измерялась; запуск runner на текущем HEAD даст новые измерения. Исходные JSON и графики исторического опыта не переписывались.
+19
View File
@@ -60,6 +60,23 @@ def error(request, status, message, headers=None):
)
async def invalid_json_encoding(request: Request):
path = request.url.path
if request.method != "POST" or not (
path in {"/api/v1/users", "/api/v1/chats"}
or re.fullmatch(r"/api/v1/chats/[^/]+/messages", path)
):
return False
raw = await request.body()
try:
raw.decode("utf-8")
except UnicodeDecodeError:
return True
# Literal NUL is invalid JSON; it also prevents json.loads(bytes) from
# autodetecting BOM-less UTF-16/32. Escaped JSON \u0000 remains valid.
return b"\x00" in raw
@app.middleware("http")
async def request_log(request: Request, call_next):
request.state.request_id = str(uuid4())
@@ -67,6 +84,8 @@ async def request_log(request: Request, call_next):
try:
if request.method == "POST" and request.url.path == "/api/v1/auth/sessions" and await request.body():
response = error(request, 400, "Вход не принимает тело запроса")
elif await invalid_json_encoding(request):
response = error(request, 400, "JSON должен быть закодирован в UTF-8")
else:
response = await call_next(request)
except Exception:
+140
View File
@@ -0,0 +1,140 @@
import base64
import codecs
import json
import os
import uuid
import pytest
from client import Client
ENCODINGS = [
"utf-16",
"utf-16-le",
"utf-16-be",
"utf-16-be-bom",
"utf-32",
"utf-32-le",
"utf-32-be",
"utf-32-be-bom",
]
def encoded(body, encoding):
text = json.dumps(body, ensure_ascii=False)
if encoding == "utf-16-be-bom":
return codecs.BOM_UTF16_BE + text.encode("utf-16-be")
if encoding == "utf-32-be-bom":
return codecs.BOM_UTF32_BE + text.encode("utf-32-be")
return text.encode(encoding)
@pytest.fixture(scope="module")
def encoding_scenario():
c = Client(os.environ["BASE_URL"])
return c, *c.bootstrap()
@pytest.mark.parametrize("encoding", ENCODINGS)
def test_non_utf8_registration_has_no_write(encoding_scenario, encoding):
c, *_ = encoding_scenario
body = {
"username": "enc_" + uuid.uuid4().hex[:14],
"display_name": "Никита\u0000имя",
"password": "Пароль:тестовый-12345",
}
c.call(
"POST",
"/api/v1/users",
400,
raw=encoded(body, encoding),
headers={"Content-Type": "application/json"},
)
# UNIQUE username proves the rejected request did not insert a user.
created = c.call("POST", "/api/v1/users", 201, body=body, schema="User")["json"]
assert created["display_name"] == body["display_name"]
@pytest.mark.parametrize("encoding", ENCODINGS)
def test_non_utf8_chat_has_no_write(encoding_scenario, encoding):
c, alice, *_ = encoding_scenario
before = c.call("GET", "/api/v1/chats?limit=100", actor=alice, schema="ChatPage")["json"]
body = {"title": "Чат\u0000" + uuid.uuid4().hex, "member_ids": [alice["id"]]}
c.call(
"POST",
"/api/v1/chats",
400,
actor=alice,
raw=encoded(body, encoding),
headers={"Content-Type": "application/json"},
)
after = c.call("GET", "/api/v1/chats?limit=100", actor=alice, schema="ChatPage")["json"]
assert before == after
assert (
c.call("POST", "/api/v1/chats", 201, actor=alice, body=body, schema="Chat")["json"]["title"]
== body["title"]
)
@pytest.mark.parametrize("encoding", ENCODINGS)
def test_non_utf8_message_has_no_write(encoding_scenario, encoding):
c, alice, _, _, chat = encoding_scenario
path = f"/api/v1/chats/{chat['id']}/messages"
key = uuid.uuid4().hex
body = {"text": "Сообщение\u0000" + key}
c.call(
"POST",
path,
400,
actor=alice,
raw=encoded(body, encoding),
headers={"Content-Type": "application/json", "Idempotency-Key": key},
)
history = c.call("GET", path + "?limit=100", actor=alice, schema="MessagePage")["json"]["items"]
assert all(item["text"] != body["text"] for item in history)
good = c.call(
"POST",
path,
201,
actor=alice,
body=body,
headers={"Idempotency-Key": key},
schema="Message",
)["json"]
repeat = c.call(
"POST",
path,
201,
actor=alice,
body=body,
headers={"Idempotency-Key": key},
schema="Message",
)["json"]
assert good == repeat and good["text"] == body["text"]
@pytest.mark.parametrize("encoding", ["utf-8", "utf-8-sig"])
def test_valid_utf8_registration_and_login(encoding_scenario, encoding):
c, *_ = encoding_scenario
body = {
"username": "utf8_" + uuid.uuid4().hex[:14],
"display_name": "Юникод\u0000😀",
"password": "Пароль:тестовый-12345",
}
user = c.call(
"POST",
"/api/v1/users",
201,
raw=encoded(body, encoding),
headers={"Content-Type": "application/json"},
schema="User",
)["json"]
assert user["display_name"] == body["display_name"]
credential = base64.b64encode((body["username"] + ":" + body["password"]).encode()).decode()
session = c.call(
"POST",
"/api/v1/auth/sessions",
201,
headers={"Authorization": "Basic " + credential},
schema="Session",
)["json"]
assert session["user"] == user