Expand-миграция 0005 (*_raw bytea для text, display_name, title), app/pgtext.py, тест test_nul_in_text_roundtrip в регрессии lab3, раздел в REPORT.md. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
23 lines
1.4 KiB
Python
23 lines
1.4 KiB
Python
"""Точное хранение строк с U+0000 в PostgreSQL.
|
|
|
|
Тип text в PostgreSQL не может содержать байт 0x00, а JSON-контракт допускает "\\u0000" в тексте
|
|
сообщения, display_name и title. Раньше такой INSERT падал с 500 (замечание к lab3, PR #99).
|
|
|
|
Схема (только expand, совместима с предыдущей версией при rolling update):
|
|
- столбец text/display_name/title получает ту же строку, где U+0000 заменён на U+FFFD: длина в code points
|
|
не меняется, поэтому CHECK char_length и прежние реплики продолжают работать;
|
|
- столбец *_raw bytea получает точные UTF-8 байты исходной строки, но ТОЛЬКО если в ней был U+0000
|
|
(иначе NULL, лишнего места не занимает);
|
|
- при чтении API возвращает декодированный *_raw, если он есть, иначе обычный столбец.
|
|
"""
|
|
|
|
|
|
def split(value: str) -> tuple[str, bytes | None]:
|
|
if '\x00' in value:
|
|
return value.replace('\x00', '\ufffd'), value.encode('utf-8')
|
|
return value, None
|
|
|
|
|
|
def join(text: str, raw: bytes | None) -> str:
|
|
return bytes(raw).decode('utf-8') if raw is not None else text
|