исправление - символ не дает 500

This commit is contained in:
2026-10-09 21:09:19 +03:00
parent be89a23dfa
commit 1d02ee3f33
11 changed files with 143 additions and 69 deletions
+9 -6
View File
@@ -56,11 +56,12 @@ PostgreSQL и Valkey наружу не опубликованы, доступн
- Новое: `db.py` (пул соединений, таймауты, миграции), `security.py` (Argon2id, токены, разбор Basic/Bearer), `sessions.py` (сессии и кэш в Valkey), `migrations/*.sql`, `compose.yaml`, скрипты.
- Аутентификация: регистрация с `password`, вход `POST /auth/sessions` только с Basic, дальше только `Authorization: Bearer`. `X-User-Id` больше ничего не значит. Проверка токена выполняется в middleware до разбора тела запроса, поэтому всегда сначала 401, потом 404/400.
Схема БД (migrations/001_core.sql, 002_sessions.sql):
Схема БД (migrations/001_core.sql, 002_sessions.sql, 003_text_as_bytes.sql):
- `users`: PK id, UNIQUE username, CHECK формата username и длины display_name, `password_hash` (Argon2id).
- `chats` и `chat_members`: PK (chat_id, user_id), FK на chats и users, индекс (user_id, chat_id) для списка чатов пользователя.
- `messages`: FK (chat_id, sender_id) -> chat_members, то есть сама база не даст записать сообщение от не-участника. Индекс (chat_id, created_at, id) под историю.
- `sessions`: PK = SHA-256 токена (сам токен не хранится), user_id, expires_at, revoked_at.
- `users.display_name`, `chats.title`, `messages.text` хранятся как байты UTF-8 (`bytea`, миграция `003_text_as_bytes.sql`): тип `text` в PostgreSQL не может хранить символ U+0000, а контракт его разрешает. Точное число символов проверяет API, CHECK в базе ограничивает длину в байтах. Если база отвергнет значение (`DataError`), клиент получит 400, а не 500.
Транзакционные границы:
- регистрация — один INSERT; дубль username ловит уникальный индекс (409), а не проверка «есть ли такой» в коде (она уязвима к гонке);
@@ -105,11 +106,12 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
| --- | --- | --- | --- |
| Публичный smoke | make test | PASS: lab2 public API scenario | evidence/test.txt |
| Строки с U+0000 сохраняются (нашёл сам по замечанию к похожей работе) | make student-test (test_nul_character_is_stored) | display_name, title и text с U+0000 → 201, читаются без изменений; вход с таким логином → 401, не 500 | evidence/student-test.txt |
| Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt |
| 3: минимум lab1 сохранён, переход на новую аутентификацию | make test, make student-test (тесты lab1 переведены на пароль и Bearer) | smoke PASS; Ran 21 tests, OK | evidence/test.txt, evidence/student-test.txt |
| 3: минимум lab1 сохранён, переход на новую аутентификацию | make test, make student-test (тесты lab1 переведены на пароль и Bearer) | smoke PASS; Ran 22 tests, OK | evidence/test.txt, evidence/student-test.txt |
| 3: данные и действующие сессии переживают рестарт API и хранилищ без удаления volumes | make ps; make test-persistence ACTION_SCRIPT=scripts/restart.cmd; make ps | PASS: persistence preserved confirmed data and existing session; ID контейнеров те же, время Up у api, postgres, valkey сбросилось | evidence/persistence.txt |
| 3: в PostgreSQL пользователи, чаты, участники, сообщения; PK/FK; уникальный username | migrations/001_core.sql; make db-test | FK не даёт записать сообщение от не-участника (ForeignKeyViolation); дубль username — 409 | migrations/, evidence/db-test.txt |
| 3: миграции с нуля | docker compose up на пустом volume, docker compose logs api | «Миграции применены: 001_core, 002_sessions» | evidence/stack.txt |
| 3: миграции с нуля | docker compose up на пустом volume, docker compose logs api | «Миграции применены: 001_core, 002_sessions», затем при обновлении 003_text_as_bytes | evidence/stack.txt, evidence/persistence.txt |
| 3: повторный запуск миграций без дублирования | make db-test; логи api после рестарта | повторный migrate() ничего не применил; «Миграции: новых нет» | evidence/db-test.txt, evidence/persistence.txt |
| 3: создание чата атомарно | make db-test (test_create_chat_rolls_back_when_failing_midway) | ошибка посреди транзакции, строк chats/chat_members не осталось | evidence/db-test.txt |
| 3: Basic только на POST /auth/sessions | make student-test (test_bearer_required_on_business_endpoints) | Basic на /users/me -> 401 с WWW-Authenticate: Bearer | evidence/student-test.txt |
@@ -122,8 +124,8 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
| 4: ограниченный connection pool и таймауты | src/messenger/db.py, config.py | пул PostgreSQL 1–10, таймауты 3 с/3 с/5 с; пул Valkey 20, 300 мс | код |
| 4: гонка регистрации одинакового username | make race; make db-test | 20 параллельных запросов: 201 x1, 409 x19 | evidence/race.txt, evidence/db-test.txt |
| 4: rollback составной операции | make db-test | см. строку «создание чата атомарно» | evidence/db-test.txt |
| 4: индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | make explain (21 500 сообщений, большой чат 12 000) | первая страница: Index Scan по messages_chat_history_idx, 51 строка, 5 буферов | evidence/explain-history.txt |
| 4: пагинация без полного scan истории | make explain, запросы 2–4 | keyset со страницы из середины: 51 строка, 4 буфера; OFFSET 6000: 6051 строка, 161 буфер; без индекса: Seq Scan по всей таблице, Sort, 296 буферов | evidence/explain-history.txt |
| 4: индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | make explain (21 500 сообщений, большой чат 12 000) | первая страница: Index Scan по messages_chat_history_idx, 51 строка, 6 буферов | evidence/explain-history.txt |
| 4: пагинация без полного scan истории | make explain, запросы 2–4 | keyset со страницы из середины: 51 строка, 6 буферов; OFFSET 6000: 6051 строка, 163 буфера; без индекса: Seq Scan по всей таблице, Sort, 289 буферов | evidence/explain-history.txt |
| 4: автопроверка expiry при коротком SESSION_TTL_SECONDS | make expiry (api-short-ttl, TTL=2) | до истечения 200, после — 401 на обоих API | evidence/expiry.txt |
| 4: автопроверка logout | make student-test (test_logout_revokes_only_current_session) | 204, затем 401, повторный logout — 401 | evidence/student-test.txt |
| 4: автопроверка неверного пароля | make student-test (test_wrong_password_and_unknown_user_look_the_same) | одинаковый 401 для неверного пароля и неизвестного пользователя | evidence/student-test.txt |
@@ -137,7 +139,7 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
| --- | --- | --- | --- |
| restart hook: stop api, restart postgres и valkey, start api (volumes на месте) | данные и токен живы | тот же токен читает то же сообщение; ID контейнеров те же, Up сбросился у api, postgres, valkey; кэш пустой и заполняется из PostgreSQL | весь make test-persistence (создание данных, hook, ожидание готовности, проверка) — 11 с; потерь нет |
| restart hook: stop api, restart postgres и valkey, start api (volumes на месте) | данные и токен живы | тот же токен читает то же сообщение; ID контейнеров те же, Up сбросился у api, postgres, valkey; кэш пустой и заполняется из PostgreSQL | весь make test-persistence (создание данных, hook, ожидание готовности, проверка) — 12,5 с; потерь нет |
| docker compose stop valkey | API работает без кэша | ready 200, вход, сообщения, logout работают; первый запрос после остановки ждал около 4 с (на нём обнаружился сбой: подключение к остановленному контейнеру), дальше запросы десятки мс, в том числе через 6 с | после start valkey кэш включается сам в течение 5 с; потерь нет |
| docker compose stop postgres | ограниченная ошибка, никого не пускаем без проверки | ready 503 за ~1 с, бизнес-запросы 503, без токена 401 | после start postgres прежний токен и сообщения на месте; запросы во время отказа не сохранены (получили 503) |
| 20 одновременных регистраций одного username | один победитель | 201 x1, 409 x19 | дублей нет |
@@ -152,3 +154,4 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
- Приложение подключается к PostgreSQL пользователем-владельцем базы. Отдельная роль с минимальными правами — в lab7.
- Basic по HTTP передаёт пароль открыто (base64 — это не шифрование). Допустимо только на локальном стенде, TLS — в lab7.
- Старые сессии чистятся только при входе того же пользователя; периодической очистки нет.
- Свободный текст хранится как `bytea`: искать по нему средствами SQL (LIKE, полнотекстовый поиск) напрямую нельзя. Обязательный API такого поиска не требует.
+8 -8
View File
@@ -3,24 +3,24 @@ docker compose --profile tools run --rm db-test
Container mtusi-lab2-valkey-1 Running
Container mtusi-lab2-valkey-1 Waiting
Container mtusi-lab2-postgres-1 Waiting
Container mtusi-lab2-postgres-1 Healthy
Container mtusi-lab2-valkey-1 Healthy
Container mtusi-lab2-db-test-run-a1c49274ce09 Creating
Container mtusi-lab2-db-test-run-a1c49274ce09 Created
Container mtusi-lab2-postgres-1 Healthy
Container mtusi-lab2-db-test-run-343a686d3ad8 Creating
Container mtusi-lab2-db-test-run-343a686d3ad8 Created
test_concurrent_registration_has_one_winner (test_store.StoreIntegrationTest.test_concurrent_registration_has_one_winner) ...
20 параллельных create_user: 1 создан, 19 получили Conflict (409)
ok
test_create_chat_rolls_back_when_failing_midway (test_store.StoreIntegrationTest.test_create_chat_rolls_back_when_failing_midway) ...
чат с несуществующим участником: транзакция откатилась, строк chats/chat_members не осталось
ok
test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ...
test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ... ok
test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ...
INSERT сообщения от не-участника напрямую в БД: ForeignKeyViolation
ok
test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ...
schema_migrations: ['001_core', '002_sessions']; повторный migrate() ничего не применил
ok
schema_migrations: ['001_core', '002_sessions', '003_text_as_bytes']; повторный migrate() ничего не применил
----------------------------------------------------------------------
Ran 4 tests in 0.120s
Ran 4 tests in 0.190s
OK
+32 -32
View File
@@ -2,7 +2,7 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR
=== Объём данных
messages_total | messages_in_big_chat
----------------+----------------------
21618 | 12000
21650 | 12000
=== Индекс истории (migrations/001_core.sql)
@@ -14,58 +14,58 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR
=== 1. Первая страница (limit=50, приложение просит 51 строку, чтобы понять, есть ли следующая)
QUERY PLAN
---------------------------------------------------------------------------------------------------------
Limit (actual time=0.018..0.041 rows=51 loops=1)
Buffers: shared hit=5
-> Index Scan using messages_chat_history_idx on messages (actual time=0.017..0.033 rows=51 loops=1)
Index Cond: (chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid)
Buffers: shared hit=5
Limit (actual time=0.023..0.043 rows=51 loops=1)
Buffers: shared hit=6
-> Index Scan using messages_chat_history_idx on messages (actual time=0.022..0.036 rows=51 loops=1)
Index Cond: (chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid)
Buffers: shared hit=6
Planning:
Buffers: shared hit=6
Planning Time: 0.139 ms
Execution Time: 0.066 ms
Planning Time: 0.160 ms
Execution Time: 0.077 ms
=== 2. Страница из середины истории по keyset-курсору (после 6000-го сообщения)
QUERY PLAN
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (actual time=0.009..0.020 rows=51 loops=1)
Buffers: shared hit=4
-> Index Scan using messages_chat_history_idx on messages (actual time=0.009..0.016 rows=51 loops=1)
Index Cond: ((chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '41b24ea4-c9d1-467e-a5cc-6b4a5413a8be'::uuid)))
Buffers: shared hit=4
Planning Time: 0.068 ms
Execution Time: 0.076 ms
Limit (actual time=0.019..0.055 rows=51 loops=1)
Buffers: shared hit=6
-> Index Scan using messages_chat_history_idx on messages (actual time=0.018..0.044 rows=51 loops=1)
Index Cond: ((chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, 'bc979085-5d84-44a6-9df2-3b1fff1bdaf1'::uuid)))
Buffers: shared hit=6
Planning Time: 0.157 ms
Execution Time: 0.122 ms
=== 3. Для сравнения: та же страница через OFFSET (так приложение НЕ делает)
QUERY PLAN
-----------------------------------------------------------------------------------------------------------
Limit (actual time=1.377..1.386 rows=51 loops=1)
Buffers: shared hit=161
-> Index Scan using messages_chat_history_idx on messages (actual time=0.023..1.131 rows=6051 loops=1)
Index Cond: (chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid)
Buffers: shared hit=161
Planning Time: 0.099 ms
Execution Time: 1.406 ms
Limit (actual time=1.586..1.603 rows=51 loops=1)
Buffers: shared hit=163
-> Index Scan using messages_chat_history_idx on messages (actual time=0.020..1.305 rows=6051 loops=1)
Index Cond: (chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid)
Buffers: shared hit=163
Planning Time: 0.095 ms
Execution Time: 1.625 ms
=== 4. Для сравнения: запрос 2 без индекса (индекс удалён только внутри этой транзакции)
QUERY PLAN
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (actual time=2.522..2.528 rows=51 loops=1)
Buffers: shared hit=296
-> Sort (actual time=2.522..2.524 rows=51 loops=1)
Limit (actual time=4.238..4.247 rows=51 loops=1)
Buffers: shared hit=289
-> Sort (actual time=4.237..4.241 rows=51 loops=1)
Sort Key: created_at, id
Sort Method: top-N heapsort Memory: 31kB
Buffers: shared hit=296
-> Seq Scan on messages (actual time=0.631..2.057 rows=6000 loops=1)
Filter: ((chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '41b24ea4-c9d1-467e-a5cc-6b4a5413a8be'::uuid)))
Rows Removed by Filter: 15618
Buffers: shared hit=296
Buffers: shared hit=289
-> Seq Scan on messages (actual time=0.967..3.376 rows=6000 loops=1)
Filter: ((chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, 'bc979085-5d84-44a6-9df2-3b1fff1bdaf1'::uuid)))
Rows Removed by Filter: 15650
Buffers: shared hit=289
Planning:
Buffers: shared hit=4
Planning Time: 0.128 ms
Execution Time: 2.554 ms
Planning Time: 0.119 ms
Execution Time: 4.268 ms
=== ROLLBACK: синтетические данные удалены, индекс на месте
+12 -12
View File
@@ -1,21 +1,21 @@
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
SERVICE CONTAINER ID STATUS
api 08b92853bbb4 Up 3 minutes (healthy)
api-short-ttl 047512285fe6 Up About a minute (healthy)
postgres 094d2f567e2e Up 49 seconds (healthy)
valkey 195f4a7b30f1 Up About a minute (healthy)
api 719af7c38c2d Up 41 seconds (healthy)
api-short-ttl 047512285fe6 Up 8 hours (healthy)
postgres 094d2f567e2e Up 8 hours (healthy)
valkey 195f4a7b30f1 Up 7 hours (healthy)
python tests/resilience.py --mode persistence --action-script "scripts/restart.cmd" --base-url "http://127.0.0.1:8080"
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
real 0m11.081s
real 0m12.535s
user 0m0.015s
sys 0m0.000s
sys 0m0.015s
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
SERVICE CONTAINER ID STATUS
api 08b92853bbb4 Up 2 seconds (health: starting)
api-short-ttl 047512285fe6 Up About a minute (healthy)
postgres 094d2f567e2e Up 8 seconds (healthy)
valkey 195f4a7b30f1 Up 8 seconds (healthy)
api-1 | 2026-10-09 10:18:10,200 INFO messenger.db: Миграции применены: 001_core, 002_sessions
api-1 | 2026-10-09 10:21:37,443 INFO messenger.db: Миграции: новых нет, схема актуальна
api 719af7c38c2d Up 3 seconds (health: starting)
api-short-ttl 047512285fe6 Up 8 hours (healthy)
postgres 094d2f567e2e Up 9 seconds (healthy)
valkey 195f4a7b30f1 Up 9 seconds (healthy)
api-1 | 2026-10-09 17:57:26,685 INFO messenger.db: Миграции применены: 003_text_as_bytes
api-1 | 2026-10-09 17:58:17,783 INFO messenger.db: Миграции: новых нет, схема актуальна
+2 -1
View File
@@ -6,6 +6,7 @@ test_chat_membership_rules (test_api.MessengerApiTest.test_chat_membership_rules
test_duplicate_username_returns_409 (test_api.MessengerApiTest.test_duplicate_username_returns_409) ... ok
test_empty_blank_and_too_long_messages_return_400 (test_api.MessengerApiTest.test_empty_blank_and_too_long_messages_return_400) ... ok
test_malformed_json_returns_400 (test_api.MessengerApiTest.test_malformed_json_returns_400) ... ok
test_nul_character_is_stored (test_api.MessengerApiTest.test_nul_character_is_stored) ... ok
test_outsider_gets_404_for_foreign_chat (test_api.MessengerApiTest.test_outsider_gets_404_for_foreign_chat) ... ok
test_pagination_walks_several_pages (test_api.MessengerApiTest.test_pagination_walks_several_pages) ... ok
test_unicode_roundtrip (test_api.MessengerApiTest.test_unicode_roundtrip) ... ok
@@ -22,6 +23,6 @@ test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTest.test_wron
test_x_user_id_does_not_change_identity (test_auth.AuthTest.test_x_user_id_does_not_change_identity) ... ok
----------------------------------------------------------------------
Ran 21 tests in 2.181s
Ran 22 tests in 3.300s
OK
+3 -3
View File
@@ -17,11 +17,11 @@ CREATE TEMP TABLE seed_chats AS
CREATE TEMP TABLE seed_user AS SELECT gen_random_uuid() AS user_id;
INSERT INTO users (id, username, display_name, password_hash)
SELECT user_id, 'explain_' || substr(md5(random()::text), 1, 12), 'EXPLAIN', 'not-a-real-hash' FROM seed_user;
INSERT INTO chats (id, title) SELECT chat_id, 'explain ' || n FROM seed_chats;
SELECT user_id, 'explain_' || substr(md5(random()::text), 1, 12), convert_to('EXPLAIN', 'UTF8'), 'not-a-real-hash' FROM seed_user;
INSERT INTO chats (id, title) SELECT chat_id, convert_to('explain ' || n, 'UTF8') FROM seed_chats;
INSERT INTO chat_members (chat_id, user_id) SELECT chat_id, user_id FROM seed_chats, seed_user;
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
SELECT gen_random_uuid(), c.chat_id, u.user_id, 'synthetic message ' || g,
SELECT gen_random_uuid(), c.chat_id, u.user_id, convert_to('synthetic message ' || g, 'UTF8'),
timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second'
FROM seed_chats c, seed_user u, generate_series(1, c.size) AS g;
ANALYZE messages;
+28
View File
@@ -0,0 +1,28 @@
-- 003: свободный текст хранится как байты UTF-8 (bytea), а не как text.
--
-- Причина: тип text в PostgreSQL не может содержать символ U+0000 (байт 0x00), а контракт
-- этот символ в display_name, title и text не запрещает. Строка "hello\u0000world" давала 500.
-- В bytea байт 0x00 допустим, поэтому такие строки теперь сохраняются и возвращаются без изменений.
-- Кодирование/декодирование UTF-8 — в src/messenger/store.py (to_db/from_db).
--
-- Это новая миграция, а не правка 001: 001 уже применена на существующих стендах.
-- Уже сохранённые данные переводятся через convert_to и не теряются.
--
-- Точное число символов (1–100, 1–4000) проверяет API. Функции PostgreSQL, которые считают
-- символы в bytea, отвергают байт 0x00, поэтому CHECK в базе ограничивает длину в байтах:
-- не пусто и не больше 4 байт на символ (максимальный размер символа в UTF-8).
ALTER TABLE users DROP CONSTRAINT users_display_name_len;
ALTER TABLE users ALTER COLUMN display_name TYPE bytea USING convert_to(display_name, 'UTF8');
ALTER TABLE users ADD CONSTRAINT users_display_name_len
CHECK (octet_length(display_name) BETWEEN 1 AND 400);
ALTER TABLE chats DROP CONSTRAINT chats_title_check;
ALTER TABLE chats ALTER COLUMN title TYPE bytea USING convert_to(title, 'UTF8');
ALTER TABLE chats ADD CONSTRAINT chats_title_len
CHECK (octet_length(title) BETWEEN 1 AND 400);
ALTER TABLE messages DROP CONSTRAINT messages_text_check;
ALTER TABLE messages ALTER COLUMN text TYPE bytea USING convert_to(text, 'UTF8');
ALTER TABLE messages ADD CONSTRAINT messages_text_len
CHECK (octet_length(text) BETWEEN 1 AND 16000);
+2
View File
@@ -9,6 +9,7 @@
import base64
import binascii
import hashlib
import re
import secrets
from argon2 import PasswordHasher
@@ -24,6 +25,7 @@ _DUMMY_HASH = _hasher.hash("timing-equalizer-not-a-password")
TOKEN_BYTES = 32 # 32 байта = 256 бит энтропии (требование контракта)
PASSWORD_MIN, PASSWORD_MAX = 12, 128
USERNAME_RE = re.compile(r"[a-z0-9_]{3,32}") # то же правило, что при регистрации
MAX_BASIC_HEADER = 1024 # длинный заголовок не проверяем: не тратим CPU на заведомый мусор
+2
View File
@@ -127,6 +127,8 @@ class Sessions:
"""Проверяет пароль и создаёт сессию. None — неверные credentials (без уточнений)."""
if not security.PASSWORD_MIN <= len(password) <= security.PASSWORD_MAX:
return None
if not security.USERNAME_RE.fullmatch(username):
return None # такого username не может существовать — в базу даже не ходим
found = self.store.get_credentials(username)
user, password_hash = found if found else (None, None)
# Проверка выполняется и для несуществующего пользователя (с фиктивным hash):
+22 -6
View File
@@ -57,16 +57,27 @@ def ts(value: datetime) -> str:
return value.astimezone(timezone.utc).strftime("%Y-%m-%dT%H:%M:%S.%fZ")
# Свободный текст (display_name, title, text) хранится в БД как байты UTF-8 (bytea), а не text:
# тип text в PostgreSQL не может содержать символ U+0000, а контракт его не запрещает.
# См. migrations/003_text_as_bytes.sql. Перед записью кодируем, после чтения декодируем.
def to_db(value: str) -> bytes:
return value.encode("utf-8")
def from_db(value) -> str:
return bytes(value).decode("utf-8")
def _user(row) -> User:
return User(str(row[0]), row[1], row[2], ts(row[3]))
return User(str(row[0]), row[1], from_db(row[2]), ts(row[3]))
def _chat(row) -> Chat:
return Chat(str(row[0]), row[1], tuple(str(m) for m in row[3]), ts(row[2]))
return Chat(str(row[0]), from_db(row[1]), tuple(str(m) for m in row[3]), ts(row[2]))
def _message(row) -> Message:
return Message(str(row[0]), str(row[1]), str(row[2]), row[3], ts(row[4]))
return Message(str(row[0]), str(row[1]), str(row[2]), from_db(row[3]), ts(row[4]))
# Участники чата всегда в одном порядке (по UUID), чтобы POST и GET отвечали одинаково.
@@ -91,6 +102,11 @@ class PostgresStore:
except (psycopg.OperationalError, PoolTimeout) as exc:
log.warning("PostgreSQL недоступен: %s", type(exc).__name__)
raise Unavailable("Хранилище временно недоступно") from None
except psycopg.DataError as exc:
# База отвергла само значение (например, недопустимый символ): это ошибка входа -> 400,
# а не внутренняя ошибка сервера (500).
log.warning("PostgreSQL отверг значение: %s", type(exc).__name__)
raise InvalidRequest("Недопустимое значение в запросе") from None
def ping(self, timeout: float = 1.0) -> None:
"""Проверка готовности: короткий таймаут, чтобы healthcheck (3 с) успел получить 503."""
@@ -106,7 +122,7 @@ class PostgresStore:
"""INSERT INTO users (id, username, display_name, password_hash)
VALUES (%s, %s, %s, %s)
RETURNING id, username, display_name, created_at""",
(uuid.uuid4(), username, display_name, password_hash)).fetchone()
(uuid.uuid4(), username, to_db(display_name), password_hash)).fetchone()
except pg_errors.UniqueViolation:
# Не «проверить, потом вставить» (между этими шагами успеет вклиниться другой запрос),
# а сразу вставить: уникальный индекс в БД пропустит ровно одну регистрацию.
@@ -137,7 +153,7 @@ class PostgresStore:
self._check_members_exist(conn, members)
created_at = conn.execute(
"INSERT INTO chats (id, title) VALUES (%s, %s) RETURNING created_at",
(chat_id, title)).fetchone()[0]
(chat_id, to_db(title))).fetchone()[0]
with conn.cursor() as cur:
cur.executemany("INSERT INTO chat_members (chat_id, user_id) VALUES (%s, %s)",
[(chat_id, m) for m in members])
@@ -193,7 +209,7 @@ class PostgresStore:
SELECT %s, cm.chat_id, cm.user_id, %s
FROM chat_members cm WHERE cm.chat_id = %s AND cm.user_id = %s
RETURNING id, chat_id, sender_id, text, created_at""",
(uuid.uuid4(), text, uuid.UUID(chat_id), uuid.UUID(user_id))).fetchone()
(uuid.uuid4(), to_db(text), uuid.UUID(chat_id), uuid.UUID(user_id))).fetchone()
if row is None:
raise NotFound("Чат не найден")
return _message(row)
+23 -1
View File
@@ -7,7 +7,7 @@
import unittest
import uuid
from helpers import Client, read_history
from helpers import Client, basic, read_history
PASSWORD = "Test-password-123"
@@ -86,6 +86,28 @@ class MessengerApiTest(unittest.TestCase):
self.api.call("POST", "/api/v1/users", 201,
body={"username": name, "display_name": "👋" * 100, "password": PASSWORD})
def test_nul_character_is_stored(self):
# Замечание к MR: U+0000 допустим по контракту и должен сохраняться как есть, а не давать 500.
name = "nul_" + uuid.uuid4().hex[:10]
password = "Pass\u0000word-123"
user = self.api.call("POST", "/api/v1/users", 201, schema="User",
body={"username": name, "display_name": "A\u0000B", "password": password})["json"]
self.assertEqual(user["display_name"], "A\u0000B")
session = self.api.call("POST", "/api/v1/auth/sessions", 201, schema="Session",
headers={"Authorization": basic(name, password)})["json"]
self.assertEqual(session["user"]["display_name"], "A\u0000B")
chat = self.api.call("POST", "/api/v1/chats", 201, actor=self.alice, schema="Chat",
body={"title": "T\u0000itle", "member_ids": [self.alice["id"], self.bob["id"]]})["json"]
self.assertEqual(chat["title"], "T\u0000itle")
sent = self.send(self.alice, chat["id"], "hello\u0000world")["json"]
self.assertEqual(sent["text"], "hello\u0000world")
history, _ = read_history(self.api, self.bob, chat["id"])
self.assertEqual([m["text"] for m in history], ["hello\u0000world"])
got = self.api.call("GET", f"/api/v1/chats/{chat['id']}", actor=self.bob, schema="Chat")["json"]
self.assertEqual(got["title"], "T\u0000itle")
# username с U+0000 существовать не может: вход — обычный 401, а не 500.
self.api.call("POST", "/api/v1/auth/sessions", 401, headers={"Authorization": basic("ab\u0000c", password)})
def test_pagination_walks_several_pages(self):
chat = self.new_chat()
sent = [self.send(self.alice, chat["id"], f"msg {i}")["json"] for i in range(7)]