Enforce UTF-8 JSON encoding before any business write
This commit is contained in:
@@ -64,7 +64,8 @@ ConnecttimeoutLB1s, server8s, client10s, queuetimeout2s, transparent retries0. U
|
||||
## Проверки уровней3–4
|
||||
|
||||
- [Публичный контракт и схема](evidence/contract-validation.txt):PASS.
|
||||
- [Собственные тесты](evidence/tests-final.txt):98PASS, включая11unit-регрессий форматаcursor,10HTTP-регрессийcursorнаобоихмаршрутах,20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки.
|
||||
- [Собственные тесты](evidence/tests-final.txt):124PASS, включая26HTTP-проверокJSONкодировкибезпобочныхзаписей,11unit-регрессий форматаcursor,10HTTP-регрессийcursorнаобоихмаршрутах,20конкурентных повторов через≥2API, bodyconflict, scopes, NUL, Unicode, malformedUTF8, Basicbody, cursor и заголовки.
|
||||
- [JSONUTF-8](evidence/json-encoding.txt):8вариантовUTF-16/32/BOM/LE/BEна3маршрутахотклонены400беззаписи; validUTF-8иUTF-8BOM,UnicodeиescapedNULприняты.
|
||||
- [Независимые HTTP-регрессии](evidence/independent-http.json):61PASS.
|
||||
- [Независимые отказы](evidence/independent-faults.json):4PASS — ACLдоreplay, исчезновение обязательной таблицы, pausedPG с503примерно3.08s и восстановлением, logout под блокировкой с последующим отзывом.
|
||||
- [LB без готовых API](evidence/lb-no-ready-api.json):503JSON, новыйX-Request-Idсовпадаетсerror.request_id, фиктивногоX-Instance-Idнет; прежняя сессия работает после восстановления.
|
||||
@@ -134,7 +135,7 @@ Rolling-target отличается revision-label, функциональный
|
||||
|
||||
[Ресурсные графики](evidence/scaling-final-resources.svg) показывают CPUБД, CPUгенератора и droppedslots. Калибровочныеpilotфайлы сохранены отдельно и в63основных прогона не входят; обратный контроль —ещё3отдельныхпрогона.
|
||||
|
||||
Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в [manifest](evidence/research-runner-manifest.json). После измерений добавлены JSON503для случая отсутствия готовых backend и строгая валидация некорректногоcursor (ISOweek/basic/не-T,True/1.0вместоцелойверсии). Измеренный профиль отправки сообщений cursorне использует; прежняя конфигурация сохранена в [haproxy-benchmark.cfg](evidence/haproxy-benchmark.cfg). Это изменение пути отказа не является измеренным улучшениемthroughput.
|
||||
Runtimeисследования соответствует commit029bf9b, sourceSHA256записаны в JSON. Форматирование runnerбез изменения поведения отражено в [manifest](evidence/research-runner-manifest.json). После измерений добавлены JSON503для случая отсутствия готовых backend и строгая валидация некорректногоcursor (ISOweek/basic/не-T,True/1.0вместоцелойверсии). Измеренный профиль отправки сообщений cursorне использует; прежняя конфигурация сохранена в [haproxy-benchmark.cfg](evidence/haproxy-benchmark.cfg). После повторного review также добавлен строгий UTF-8 encodingguard на обычном POSTпути users/chats/messages: UTF-16/32 и literalNULотклоняются до записи, escapedJSON\u0000 и UTF-8/BOM сохраняются. Binaryattachments этим guardне затрагиваются. Числа исследования относятся к зафиксированному snapshot029bf9bдо этого guard; его накладные расходы в исходной матрице не измерялись. Последующие исправления корректности не заявляются как измеренное улучшениеthroughput, rawданные не переписывались.
|
||||
|
||||
После опыта штатные2API и PostgreSQL1CPUвосстановлены. Копии результатов не содержат токенов и секретов.
|
||||
|
||||
|
||||
@@ -0,0 +1,22 @@
|
||||
{
|
||||
"pass": true,
|
||||
"api_count": 2,
|
||||
"containers": [
|
||||
"492e68cf4865e27c8d2a945ee2abd55b5f06b646070b2e2a97a22fd5327139da",
|
||||
"d4670b5fd787a9b298fe6b56504a6b9f669961d6d25f638c16e43b4dc7c5cfe3"
|
||||
],
|
||||
"source_manifest": {
|
||||
"src/messenger/__init__.py": "9a72a49106367ca514cc6147d0e727e62c4d33fefd61572d209a5c9494551a2c",
|
||||
"src/messenger/__main__.py": "ba9a59ad44ee8884cd65cf88d5ea15cbd7051b10f7c729043ddd44ca2f34defe",
|
||||
"src/messenger/app.py": "77c8defefc6316b2bf1f91f6129e3959a2ac0e3b9d45ff8978f051e9e942f1c8",
|
||||
"src/messenger/config.py": "e4d4aaf674ede8b5abdc361f77c7793ee94d8d7856030c28834eb7c95291b193",
|
||||
"src/messenger/domain.py": "7bf6f177ab5bdeea09b303dc886160335d348f64f47912b9bba45355db378bef",
|
||||
"src/messenger/migrate.py": "eb5cad7ac6abe38dd40b2db307d298b297abe9543b3928c36bab8ef06283664e",
|
||||
"src/messenger/models.py": "0ca8f9a3a43833ebf0c0b14e05d77c3e1ab48394d15c6b6d678689d40b4cd416",
|
||||
"src/messenger/postgres.py": "449ac90643222e5e1437df2f33ed3584dc9ccb7579c10beae4e8d710a4aae052",
|
||||
"migrations/001_initial.sql": "5d88cd12ef9fda008832dc0b886fa0cf5d886738fe9b77180cdc65adac50dfd9",
|
||||
"migrations/002_idempotency.sql": "82b41be828ad55ec5c1d991775528e7fe6766c362fa58a2c4f46690459b2c00d",
|
||||
"migrations/003_unicode_storage.sql": "7282a55da4aa081f7d3d99692e11eeb7a49feab9c9f829a09d3d72dc74009643"
|
||||
},
|
||||
"note": "Actual runtime sources match the UTF8-guard working tree before final source commit; full124 and encoding26 HTTP tests passed."
|
||||
}
|
||||
@@ -0,0 +1,2 @@
|
||||
.......................... [100%]
|
||||
26 passed in 2.12s
|
||||
@@ -1,4 +1,4 @@
|
||||
BASE_URL=http://127.0.0.1:8083 uv run --locked pytest -q
|
||||
........................................................................ [ 73%]
|
||||
.......................... [100%]
|
||||
98 passed in 31.45s
|
||||
........................................................................ [ 58%]
|
||||
.................................................... [100%]
|
||||
124 passed in 24.37s
|
||||
|
||||
@@ -46,3 +46,7 @@ HTTPxpilot при300offered/s показал schedulerlag312ms и633drops. Он
|
||||
## Дополнительный обратный контроль
|
||||
|
||||
После основной матрицы `uv run --locked python research/reversal.py` возвращает PostgreSQL0.25CPUпри техже4API, выполняет3×6sна900offered/s и восстанавливает штатный стенд. Результат отдельно в evidence/scaling-reversal.json, в63основных прогона он не включается. После основного опыта CPUконтроль далмедиану465.411RPSпротив881.06при0.5CPU, что снижает риск объяснить выигрыш только поздним прогревом.
|
||||
|
||||
## Snapshot и последующие исправления
|
||||
|
||||
Сохранённая матрица измерена на runtime029bf9b; его SHA256manifest присутствует в rawJSON. После измерений добавлены формат LB503, строгая валидация malformedcursor и UTF-8guard JSONPOST. Последний guard выполняется и на нормальном пути POST, поэтому опубликованные значения относятся именно к recorded snapshot, а не к замеру финального runtime после guard. Его отдельная накладная стоимость не измерялась; запуск runner на текущем HEAD даст новые измерения. Исходные JSON и графики исторического опыта не переписывались.
|
||||
|
||||
@@ -60,6 +60,23 @@ def error(request, status, message, headers=None):
|
||||
)
|
||||
|
||||
|
||||
async def invalid_json_encoding(request: Request):
|
||||
path = request.url.path
|
||||
if request.method != "POST" or not (
|
||||
path in {"/api/v1/users", "/api/v1/chats"}
|
||||
or re.fullmatch(r"/api/v1/chats/[^/]+/messages", path)
|
||||
):
|
||||
return False
|
||||
raw = await request.body()
|
||||
try:
|
||||
raw.decode("utf-8")
|
||||
except UnicodeDecodeError:
|
||||
return True
|
||||
# Literal NUL is invalid JSON; it also prevents json.loads(bytes) from
|
||||
# autodetecting BOM-less UTF-16/32. Escaped JSON \u0000 remains valid.
|
||||
return b"\x00" in raw
|
||||
|
||||
|
||||
@app.middleware("http")
|
||||
async def request_log(request: Request, call_next):
|
||||
request.state.request_id = str(uuid4())
|
||||
@@ -67,6 +84,8 @@ async def request_log(request: Request, call_next):
|
||||
try:
|
||||
if request.method == "POST" and request.url.path == "/api/v1/auth/sessions" and await request.body():
|
||||
response = error(request, 400, "Вход не принимает тело запроса")
|
||||
elif await invalid_json_encoding(request):
|
||||
response = error(request, 400, "JSON должен быть закодирован в UTF-8")
|
||||
else:
|
||||
response = await call_next(request)
|
||||
except Exception:
|
||||
|
||||
@@ -0,0 +1,140 @@
|
||||
import base64
|
||||
import codecs
|
||||
import json
|
||||
import os
|
||||
import uuid
|
||||
|
||||
import pytest
|
||||
from client import Client
|
||||
|
||||
ENCODINGS = [
|
||||
"utf-16",
|
||||
"utf-16-le",
|
||||
"utf-16-be",
|
||||
"utf-16-be-bom",
|
||||
"utf-32",
|
||||
"utf-32-le",
|
||||
"utf-32-be",
|
||||
"utf-32-be-bom",
|
||||
]
|
||||
|
||||
|
||||
def encoded(body, encoding):
|
||||
text = json.dumps(body, ensure_ascii=False)
|
||||
if encoding == "utf-16-be-bom":
|
||||
return codecs.BOM_UTF16_BE + text.encode("utf-16-be")
|
||||
if encoding == "utf-32-be-bom":
|
||||
return codecs.BOM_UTF32_BE + text.encode("utf-32-be")
|
||||
return text.encode(encoding)
|
||||
|
||||
|
||||
@pytest.fixture(scope="module")
|
||||
def encoding_scenario():
|
||||
c = Client(os.environ["BASE_URL"])
|
||||
return c, *c.bootstrap()
|
||||
|
||||
|
||||
@pytest.mark.parametrize("encoding", ENCODINGS)
|
||||
def test_non_utf8_registration_has_no_write(encoding_scenario, encoding):
|
||||
c, *_ = encoding_scenario
|
||||
body = {
|
||||
"username": "enc_" + uuid.uuid4().hex[:14],
|
||||
"display_name": "Никита\u0000имя",
|
||||
"password": "Пароль:тестовый-12345",
|
||||
}
|
||||
c.call(
|
||||
"POST",
|
||||
"/api/v1/users",
|
||||
400,
|
||||
raw=encoded(body, encoding),
|
||||
headers={"Content-Type": "application/json"},
|
||||
)
|
||||
# UNIQUE username proves the rejected request did not insert a user.
|
||||
created = c.call("POST", "/api/v1/users", 201, body=body, schema="User")["json"]
|
||||
assert created["display_name"] == body["display_name"]
|
||||
|
||||
|
||||
@pytest.mark.parametrize("encoding", ENCODINGS)
|
||||
def test_non_utf8_chat_has_no_write(encoding_scenario, encoding):
|
||||
c, alice, *_ = encoding_scenario
|
||||
before = c.call("GET", "/api/v1/chats?limit=100", actor=alice, schema="ChatPage")["json"]
|
||||
body = {"title": "Чат\u0000" + uuid.uuid4().hex, "member_ids": [alice["id"]]}
|
||||
c.call(
|
||||
"POST",
|
||||
"/api/v1/chats",
|
||||
400,
|
||||
actor=alice,
|
||||
raw=encoded(body, encoding),
|
||||
headers={"Content-Type": "application/json"},
|
||||
)
|
||||
after = c.call("GET", "/api/v1/chats?limit=100", actor=alice, schema="ChatPage")["json"]
|
||||
assert before == after
|
||||
assert (
|
||||
c.call("POST", "/api/v1/chats", 201, actor=alice, body=body, schema="Chat")["json"]["title"]
|
||||
== body["title"]
|
||||
)
|
||||
|
||||
|
||||
@pytest.mark.parametrize("encoding", ENCODINGS)
|
||||
def test_non_utf8_message_has_no_write(encoding_scenario, encoding):
|
||||
c, alice, _, _, chat = encoding_scenario
|
||||
path = f"/api/v1/chats/{chat['id']}/messages"
|
||||
key = uuid.uuid4().hex
|
||||
body = {"text": "Сообщение\u0000" + key}
|
||||
c.call(
|
||||
"POST",
|
||||
path,
|
||||
400,
|
||||
actor=alice,
|
||||
raw=encoded(body, encoding),
|
||||
headers={"Content-Type": "application/json", "Idempotency-Key": key},
|
||||
)
|
||||
history = c.call("GET", path + "?limit=100", actor=alice, schema="MessagePage")["json"]["items"]
|
||||
assert all(item["text"] != body["text"] for item in history)
|
||||
good = c.call(
|
||||
"POST",
|
||||
path,
|
||||
201,
|
||||
actor=alice,
|
||||
body=body,
|
||||
headers={"Idempotency-Key": key},
|
||||
schema="Message",
|
||||
)["json"]
|
||||
repeat = c.call(
|
||||
"POST",
|
||||
path,
|
||||
201,
|
||||
actor=alice,
|
||||
body=body,
|
||||
headers={"Idempotency-Key": key},
|
||||
schema="Message",
|
||||
)["json"]
|
||||
assert good == repeat and good["text"] == body["text"]
|
||||
|
||||
|
||||
@pytest.mark.parametrize("encoding", ["utf-8", "utf-8-sig"])
|
||||
def test_valid_utf8_registration_and_login(encoding_scenario, encoding):
|
||||
c, *_ = encoding_scenario
|
||||
body = {
|
||||
"username": "utf8_" + uuid.uuid4().hex[:14],
|
||||
"display_name": "Юникод\u0000😀",
|
||||
"password": "Пароль:тестовый-12345",
|
||||
}
|
||||
user = c.call(
|
||||
"POST",
|
||||
"/api/v1/users",
|
||||
201,
|
||||
raw=encoded(body, encoding),
|
||||
headers={"Content-Type": "application/json"},
|
||||
schema="User",
|
||||
)["json"]
|
||||
assert user["display_name"] == body["display_name"]
|
||||
credential = base64.b64encode((body["username"] + ":" + body["password"]).encode()).decode()
|
||||
session = c.call(
|
||||
"POST",
|
||||
"/api/v1/auth/sessions",
|
||||
201,
|
||||
headers={"Authorization": "Basic " + credential},
|
||||
schema="Session",
|
||||
)["json"]
|
||||
assert session["user"] == user
|
||||
Reference in New Issue
Block a user