diff --git a/REPORT.md b/REPORT.md index 39d7f10e..84933da0 100644 --- a/REPORT.md +++ b/REPORT.md @@ -5,6 +5,12 @@ - Commit/PR: https://gitea.privcloud.tech/mtusi2026/mtusi2026lab3/pulls/99 (ветка `solution/bvt2304-zaporozhets`, коммит 9555684) - Использованные источники, библиотеки и помощь ИИ: документация HAProxy 3.2 (server-template/resolvers, http-check, retry-on, observe), Docker Compose (deploy.replicas/resources, healthcheck), PostgreSQL (INSERT … ON CONFLICT, deferrable constraints, READ COMMITTED); библиотеки FastAPI 0.115, uvicorn 0.34, asyncpg 0.30, argon2-cffi 23.1, redis-py 5.2. Код, конфигурации и тесты написаны с помощью ИИ-ассистента (Claude); решения разобраны и проверены автором. +## Исправления по замечаниям преподавателя + +| Замечание | Причина | Исправление | Проверка | +| --- | --- | --- | --- | +| PR lab3 #99, `app/main.py:380`: `{"text":"abc\u0000def"}` с действующей сессией и новым ключом возвращает 500 вместо 201 | Тип `text` в PostgreSQL не может хранить байт 0x00, INSERT падал с ошибкой кодировки. Та же ошибка была у `display_name` и `title` чата | Миграция `migrations/0004_nul_safe_text.sql` (только expand) добавляет nullable `display_name_raw`, `title_raw`, `text_raw bytea`. Если строка содержит U+0000, в `*_raw` пишутся её точные UTF-8 байты, а в основной столбец — та же строка с U+FFFD вместо U+0000: длина не меняется, CHECK и предыдущая версия при rolling update продолжают работать. При чтении API отдаёт точную строку из `*_raw` (`app/pgtext.py`). Fingerprint идемпотентности считается по исходной строке | `test_nul_in_text_roundtrip`: 201, точный текст в ответе, в истории и в идемпотентном повторе; другой текст с тем же ключом → 409; `display_name` и `title` с NUL сохраняются точно (`evidence/student-tests.txt`) | + ## Запуск из чистого clone **Нужно:** Docker Engine/Desktop с Compose v2.20+ (проверено: Docker 29.8.2, Compose 5.6.0, Windows 11 + Docker Desktop, WSL2) и POSIX-shell (Linux/macOS или Git Bash). Для публичных проверок Python/make на хосте **не нужны** — они запускаются в сервисе `tester`. Python 3.9+ на хосте нужен только для серий отказов под нагрузкой (`student-tests/failover_series.py`), потому что rolling update создаёт контейнеры через compose с bind-путями хоста. diff --git a/app/main.py b/app/main.py index 5907a8a3..befc02a8 100644 --- a/app/main.py +++ b/app/main.py @@ -17,7 +17,7 @@ from fastapi.exceptions import RequestValidationError from fastapi.responses import JSONResponse, Response from starlette.exceptions import HTTPException as StarletteHTTPException -from . import config, lifecycle, validation as v +from . import config, pgtext, lifecycle, validation as v from .db import DB_UNAVAILABLE, Database from .errors import (ApiError, error_response, invalid, not_found, request_id_var, unauthorized_basic, unauthorized_bearer, unavailable) @@ -124,23 +124,23 @@ def ts(value: datetime) -> str: def user_json(row) -> dict: return {'id': str(row['id']), 'username': row['username'], - 'display_name': row['display_name'], 'created_at': ts(row['created_at'])} + 'display_name': pgtext.join(row['display_name'], row['display_name_raw']), 'created_at': ts(row['created_at'])} def chat_json(row) -> dict: - return {'id': str(row['id']), 'title': row['title'], + return {'id': str(row['id']), 'title': pgtext.join(row['title'], row['title_raw']), 'member_ids': [str(m) for m in row['member_ids']], 'created_at': ts(row['created_at'])} def message_json(row) -> dict: return {'id': str(row['id']), 'chat_id': str(row['chat_id']), 'sender_id': str(row['sender_id']), - 'text': row['text'], 'created_at': ts(row['created_at'])} + 'text': pgtext.join(row['text'], row['text_raw']), 'created_at': ts(row['created_at'])} -USER_COLUMNS = 'id, username, display_name, created_at' -CHAT_COLUMNS = ('c.id, c.title, c.created_at, ' +USER_COLUMNS = 'id, username, display_name, display_name_raw, created_at' +CHAT_COLUMNS = ('c.id, c.title, c.title_raw, c.created_at, ' 'ARRAY(SELECT cm.user_id FROM chat_members cm WHERE cm.chat_id = c.id ORDER BY cm.user_id) AS member_ids') -MESSAGE_COLUMNS = 'id, chat_id, sender_id, text, created_at' +MESSAGE_COLUMNS = 'id, chat_id, sender_id, text, text_raw, created_at' # ---------- аутентификация ---------- @@ -206,8 +206,9 @@ async def create_user(request: Request): try: async with db.connection() as conn: row = await conn.fetchrow( - f'INSERT INTO users (username, display_name, password_hash) VALUES ($1, $2, $3) RETURNING {USER_COLUMNS}', - username, display_name, password_hash) + 'INSERT INTO users (username, display_name, display_name_raw, password_hash) ' + f'VALUES ($1, $2, $3, $4) RETURNING {USER_COLUMNS}', + username, *pgtext.split(display_name), password_hash) except asyncpg.UniqueViolationError: # Гонка двух одинаковых регистраций решается UNIQUE-индексом: COMMIT пройдёт только у одной. raise ApiError(409, 'conflict', 'username уже занят') from None @@ -272,7 +273,8 @@ async def create_chat(request: Request): # Одна транзакция: чат и все участники появляются вместе или не появляются вовсе. async with conn.transaction(): chat = await conn.fetchrow( - 'INSERT INTO chats (title, created_by) VALUES ($1, $2) RETURNING id, created_at', title, user_id) + 'INSERT INTO chats (title, title_raw, created_by) VALUES ($1, $2, $3) RETURNING id, created_at', + *pgtext.split(title), user_id) added = await conn.fetch( 'INSERT INTO chat_members (chat_id, user_id) ' 'SELECT $1, u.id FROM users u WHERE u.id = ANY($2::uuid[]) RETURNING user_id', @@ -377,11 +379,11 @@ async def create_message(chat_id: str, request: Request): # Ключ и сообщение фиксируются одним COMMIT: при сбое не остаётся ни того, ни другого, # поэтому транзиентная 5xx не становится "окончательным" результатом ключа. row = await conn.fetchrow( - f'INSERT INTO messages (id, chat_id, sender_id, text) VALUES ($1, $2, $3, $4) ' - f'RETURNING {MESSAGE_COLUMNS}', message_id, cid, user_id, text) + f'INSERT INTO messages (id, chat_id, sender_id, text, text_raw) VALUES ($1, $2, $3, $4, $5) ' + f'RETURNING {MESSAGE_COLUMNS}', message_id, cid, user_id, *pgtext.split(text)) else: row = await conn.fetchrow( - 'SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.created_at ' + 'SELECT k.request_hash, m.id, m.chat_id, m.sender_id, m.text, m.text_raw, m.created_at ' 'FROM idempotency_keys k JOIN messages m ON m.id = k.message_id ' 'WHERE k.user_id = $1 AND k.chat_id = $2 AND k.key = $3', user_id, cid, key) if row is None: diff --git a/app/pgtext.py b/app/pgtext.py new file mode 100644 index 00000000..fdc8baea --- /dev/null +++ b/app/pgtext.py @@ -0,0 +1,22 @@ +"""Точное хранение строк с U+0000 в PostgreSQL. + +Тип text в PostgreSQL не может содержать байт 0x00, а JSON-контракт допускает "\\u0000" в тексте +сообщения, display_name и title. Раньше такой INSERT падал с 500 (замечание к lab3, PR #99). + +Схема (только expand, совместима с предыдущей версией при rolling update): +- столбец text/display_name/title получает ту же строку, где U+0000 заменён на U+FFFD: длина в code points + не меняется, поэтому CHECK char_length и прежние реплики продолжают работать; +- столбец *_raw bytea получает точные UTF-8 байты исходной строки, но ТОЛЬКО если в ней был U+0000 + (иначе NULL, лишнего места не занимает); +- при чтении API возвращает декодированный *_raw, если он есть, иначе обычный столбец. +""" + + +def split(value: str) -> tuple[str, bytes | None]: + if '\x00' in value: + return value.replace('\x00', '\ufffd'), value.encode('utf-8') + return value, None + + +def join(text: str, raw: bytes | None) -> str: + return bytes(raw).decode('utf-8') if raw is not None else text diff --git a/evidence/student-tests.txt b/evidence/student-tests.txt index 465238ab..3dc707e9 100644 --- a/evidence/student-tests.txt +++ b/evidence/student-tests.txt @@ -1,20 +1,22 @@ +# 2026-11-17T09:31:58Z, sh scripts/test-lab3.sh (после исправления замечания PR #99) PASS test_session_across_replicas (0.6s) -PASS test_same_key_concurrent_across_replicas (2.3s) -PASS test_same_key_concurrent_different_bodies (1.6s) -PASS test_key_scope_and_format (1.8s) -PASS test_replay_rechecks_session (1.6s) -PASS test_transient_failure_not_recorded (4.9s) -PASS test_sigterm_drain (10.0s) -PASS test_infrastructure_rules (0.4s) -8/8 passed -PASS test_wrong_password (0.8s) -PASS test_logout (0.7s) +PASS test_same_key_concurrent_across_replicas (3.1s) +PASS test_same_key_concurrent_different_bodies (2.5s) +PASS test_key_scope_and_format (2.3s) +PASS test_replay_rechecks_session (1.3s) +PASS test_transient_failure_not_recorded (6.6s) +PASS test_sigterm_drain (10.8s) +PASS test_infrastructure_rules (0.7s) +PASS test_nul_in_text_roundtrip (1.7s) +9/9 passed +PASS test_wrong_password (1.2s) +PASS test_logout (1.0s) PASS test_short_ttl (3.5s) -PASS test_username_race (3.7s) -PASS test_chat_rollback (0.9s) -PASS test_cursor_rules (1.2s) -PASS test_valkey_cache_role (1.0s) -PASS test_revoke_during_cache_partition (1.7s) -PASS test_valkey_down (4.2s) -PASS test_postgres_down (10.9s) +PASS test_username_race (4.8s) +PASS test_chat_rollback (1.0s) +PASS test_cursor_rules (1.4s) +PASS test_valkey_cache_role (1.6s) +PASS test_revoke_during_cache_partition (2.3s) +PASS test_valkey_down (4.6s) +PASS test_postgres_down (10.4s) 10/10 passed diff --git a/migrations/0004_nul_safe_text.sql b/migrations/0004_nul_safe_text.sql new file mode 100644 index 00000000..71e547e3 --- /dev/null +++ b/migrations/0004_nul_safe_text.sql @@ -0,0 +1,7 @@ +-- 0004_nul_safe_text: точное хранение строк с U+0000 (замечание к lab3, PR #99: "abc\u0000def" давал 500). +-- PostgreSQL text не хранит 0x00. Если строка содержит U+0000, её точные UTF-8 байты пишутся в *_raw, +-- а в основной столбец — та же строка с U+FFFD вместо U+0000 (см. app/pgtext.py). +-- Только expand: столбцы nullable, версия без них продолжает работать на этой схеме. +ALTER TABLE users ADD COLUMN display_name_raw bytea CHECK (octet_length(display_name_raw) <= 400); +ALTER TABLE chats ADD COLUMN title_raw bytea CHECK (octet_length(title_raw) <= 400); +ALTER TABLE messages ADD COLUMN text_raw bytea CHECK (octet_length(text_raw) <= 16000); diff --git a/student-tests/test_lab3.py b/student-tests/test_lab3.py index e71dea01..de37f455 100644 --- a/student-tests/test_lab3.py +++ b/student-tests/test_lab3.py @@ -248,15 +248,42 @@ def test_infrastructure_rules(_c: Client): check(cfg['HostConfig']['ReadonlyRootfs'], 'api root fs must be read-only (no local state)') mounts = {m['Destination'] for m in cfg['Mounts']} check(mounts <= {'/run/secrets/database_url', '/run/secrets/cache_url'}, f'api has unexpected mounts {mounts}') - check(sql('SELECT count(*) FROM schema_migrations') == '3', 'unexpected migration count') + check(sql('SELECT count(*) FROM schema_migrations') == '4', 'unexpected migration count') with urllib.request.urlopen(os.environ.get('LB_STATS_URL', 'http://lb:8404/stats') + ';csv', timeout=2) as r: text = r.read().decode() check(',UP,' in text or ',UP ' in text, 'LB stats show no UP backend') +def test_nul_in_text_roundtrip(c: Client): + """Замечание к PR #99: {"text":"abc\\u0000def"} давал 500. Строка с U+0000 сохраняется точно.""" + alice, bob, _eve, _chat = c.bootstrap() + text = 'abc\u0000def' + chat = c.call('POST', '/api/v1/chats', 201, actor=alice, + body={'title': 'чат\u0000NUL', 'member_ids': [alice['id'], bob['id']]}, schema='Chat')['json'] + check(chat['title'] == 'чат\u0000NUL', 'title with NUL changed in response') + got = c.call('GET', '/api/v1/chats/' + chat['id'], actor=bob, schema='Chat')['json'] + check(got['title'] == 'чат\u0000NUL', 'title with NUL changed on read') + key = uuid.uuid4().hex + first = c.message(alice, chat, text, key=key)['json'] + check(first['text'] == text, 'response text differs') + replay = c.message(alice, chat, text, key=key)['json'] + check(replay == first, 'idempotent replay differs') + c.call('POST', '/api/v1/chats/' + chat['id'] + '/messages', 409, actor=alice, + body={'text': 'abc\ufffddef'}, headers={'Idempotency-Key': key}) # U+FFFD — другой текст + c.message(alice, chat, '\u0000') # только NUL — не пробел, допустим + history = c.call('GET', '/api/v1/chats/' + chat['id'] + '/messages', actor=bob, + schema='MessagePage')['json']['items'] + check([m['text'] for m in history] == [text, '\u0000'], 'history lost NUL') + name = 'Имя\u0000Фамилия' + user = c.call('POST', '/api/v1/users', 201, body={'username': 'nul_' + uuid.uuid4().hex[:12], + 'display_name': name, 'password': 'T3st-' + uuid.uuid4().hex}, schema='User')['json'] + check(user['display_name'] == name, 'display_name with NUL changed') + + TESTS = [test_session_across_replicas, test_same_key_concurrent_across_replicas, test_same_key_concurrent_different_bodies, test_key_scope_and_format, test_replay_rechecks_session, - test_transient_failure_not_recorded, test_sigterm_drain, test_infrastructure_rules] + test_transient_failure_not_recorded, test_sigterm_drain, test_infrastructure_rules, + test_nul_in_text_roundtrip] def main() -> int: