diff --git a/REPORT.md b/REPORT.md index fc1f74b..d643100 100644 --- a/REPORT.md +++ b/REPORT.md @@ -56,11 +56,12 @@ PostgreSQL и Valkey наружу не опубликованы, доступн - Новое: `db.py` (пул соединений, таймауты, миграции), `security.py` (Argon2id, токены, разбор Basic/Bearer), `sessions.py` (сессии и кэш в Valkey), `migrations/*.sql`, `compose.yaml`, скрипты. - Аутентификация: регистрация с `password`, вход `POST /auth/sessions` только с Basic, дальше только `Authorization: Bearer`. `X-User-Id` больше ничего не значит. Проверка токена выполняется в middleware до разбора тела запроса, поэтому всегда сначала 401, потом 404/400. -Схема БД (migrations/001_core.sql, 002_sessions.sql): +Схема БД (migrations/001_core.sql, 002_sessions.sql, 003_text_as_bytes.sql): - `users`: PK id, UNIQUE username, CHECK формата username и длины display_name, `password_hash` (Argon2id). - `chats` и `chat_members`: PK (chat_id, user_id), FK на chats и users, индекс (user_id, chat_id) для списка чатов пользователя. - `messages`: FK (chat_id, sender_id) -> chat_members, то есть сама база не даст записать сообщение от не-участника. Индекс (chat_id, created_at, id) под историю. - `sessions`: PK = SHA-256 токена (сам токен не хранится), user_id, expires_at, revoked_at. +- `users.display_name`, `chats.title`, `messages.text` хранятся как байты UTF-8 (`bytea`, миграция `003_text_as_bytes.sql`): тип `text` в PostgreSQL не может хранить символ U+0000, а контракт его разрешает. Точное число символов проверяет API, CHECK в базе ограничивает длину в байтах. Если база отвергнет значение (`DataError`), клиент получит 400, а не 500. Транзакционные границы: - регистрация — один INSERT; дубль username ловит уникальный индекс (409), а не проверка «есть ли такой» в коде (она уязвима к гонке); @@ -105,11 +106,12 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on ( | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | | Публичный smoke | make test | PASS: lab2 public API scenario | evidence/test.txt | +| Строки с U+0000 сохраняются (нашёл сам по замечанию к похожей работе) | make student-test (test_nul_character_is_stored) | display_name, title и text с U+0000 → 201, читаются без изменений; вход с таким логином → 401, не 500 | evidence/student-test.txt | | Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt | -| 3: минимум lab1 сохранён, переход на новую аутентификацию | make test, make student-test (тесты lab1 переведены на пароль и Bearer) | smoke PASS; Ran 21 tests, OK | evidence/test.txt, evidence/student-test.txt | +| 3: минимум lab1 сохранён, переход на новую аутентификацию | make test, make student-test (тесты lab1 переведены на пароль и Bearer) | smoke PASS; Ran 22 tests, OK | evidence/test.txt, evidence/student-test.txt | | 3: данные и действующие сессии переживают рестарт API и хранилищ без удаления volumes | make ps; make test-persistence ACTION_SCRIPT=scripts/restart.cmd; make ps | PASS: persistence preserved confirmed data and existing session; ID контейнеров те же, время Up у api, postgres, valkey сбросилось | evidence/persistence.txt | | 3: в PostgreSQL пользователи, чаты, участники, сообщения; PK/FK; уникальный username | migrations/001_core.sql; make db-test | FK не даёт записать сообщение от не-участника (ForeignKeyViolation); дубль username — 409 | migrations/, evidence/db-test.txt | -| 3: миграции с нуля | docker compose up на пустом volume, docker compose logs api | «Миграции применены: 001_core, 002_sessions» | evidence/stack.txt | +| 3: миграции с нуля | docker compose up на пустом volume, docker compose logs api | «Миграции применены: 001_core, 002_sessions», затем при обновлении 003_text_as_bytes | evidence/stack.txt, evidence/persistence.txt | | 3: повторный запуск миграций без дублирования | make db-test; логи api после рестарта | повторный migrate() ничего не применил; «Миграции: новых нет» | evidence/db-test.txt, evidence/persistence.txt | | 3: создание чата атомарно | make db-test (test_create_chat_rolls_back_when_failing_midway) | ошибка посреди транзакции, строк chats/chat_members не осталось | evidence/db-test.txt | | 3: Basic только на POST /auth/sessions | make student-test (test_bearer_required_on_business_endpoints) | Basic на /users/me -> 401 с WWW-Authenticate: Bearer | evidence/student-test.txt | @@ -122,8 +124,8 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on ( | 4: ограниченный connection pool и таймауты | src/messenger/db.py, config.py | пул PostgreSQL 1–10, таймауты 3 с/3 с/5 с; пул Valkey 20, 300 мс | код | | 4: гонка регистрации одинакового username | make race; make db-test | 20 параллельных запросов: 201 x1, 409 x19 | evidence/race.txt, evidence/db-test.txt | | 4: rollback составной операции | make db-test | см. строку «создание чата атомарно» | evidence/db-test.txt | -| 4: индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | make explain (21 500 сообщений, большой чат 12 000) | первая страница: Index Scan по messages_chat_history_idx, 51 строка, 5 буферов | evidence/explain-history.txt | -| 4: пагинация без полного scan истории | make explain, запросы 2–4 | keyset со страницы из середины: 51 строка, 4 буфера; OFFSET 6000: 6051 строка, 161 буфер; без индекса: Seq Scan по всей таблице, Sort, 296 буферов | evidence/explain-history.txt | +| 4: индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | make explain (21 500 сообщений, большой чат 12 000) | первая страница: Index Scan по messages_chat_history_idx, 51 строка, 6 буферов | evidence/explain-history.txt | +| 4: пагинация без полного scan истории | make explain, запросы 2–4 | keyset со страницы из середины: 51 строка, 6 буферов; OFFSET 6000: 6051 строка, 163 буфера; без индекса: Seq Scan по всей таблице, Sort, 289 буферов | evidence/explain-history.txt | | 4: автопроверка expiry при коротком SESSION_TTL_SECONDS | make expiry (api-short-ttl, TTL=2) | до истечения 200, после — 401 на обоих API | evidence/expiry.txt | | 4: автопроверка logout | make student-test (test_logout_revokes_only_current_session) | 204, затем 401, повторный logout — 401 | evidence/student-test.txt | | 4: автопроверка неверного пароля | make student-test (test_wrong_password_and_unknown_user_look_the_same) | одинаковый 401 для неверного пароля и неизвестного пользователя | evidence/student-test.txt | @@ -137,7 +139,7 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on ( | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| restart hook: stop api, restart postgres и valkey, start api (volumes на месте) | данные и токен живы | тот же токен читает то же сообщение; ID контейнеров те же, Up сбросился у api, postgres, valkey; кэш пустой и заполняется из PostgreSQL | весь make test-persistence (создание данных, hook, ожидание готовности, проверка) — 11 с; потерь нет | +| restart hook: stop api, restart postgres и valkey, start api (volumes на месте) | данные и токен живы | тот же токен читает то же сообщение; ID контейнеров те же, Up сбросился у api, postgres, valkey; кэш пустой и заполняется из PostgreSQL | весь make test-persistence (создание данных, hook, ожидание готовности, проверка) — 12,5 с; потерь нет | | docker compose stop valkey | API работает без кэша | ready 200, вход, сообщения, logout работают; первый запрос после остановки ждал около 4 с (на нём обнаружился сбой: подключение к остановленному контейнеру), дальше запросы десятки мс, в том числе через 6 с | после start valkey кэш включается сам в течение 5 с; потерь нет | | docker compose stop postgres | ограниченная ошибка, никого не пускаем без проверки | ready 503 за ~1 с, бизнес-запросы 503, без токена 401 | после start postgres прежний токен и сообщения на месте; запросы во время отказа не сохранены (получили 503) | | 20 одновременных регистраций одного username | один победитель | 201 x1, 409 x19 | дублей нет | @@ -152,3 +154,4 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on ( - Приложение подключается к PostgreSQL пользователем-владельцем базы. Отдельная роль с минимальными правами — в lab7. - Basic по HTTP передаёт пароль открыто (base64 — это не шифрование). Допустимо только на локальном стенде, TLS — в lab7. - Старые сессии чистятся только при входе того же пользователя; периодической очистки нет. +- Свободный текст хранится как `bytea`: искать по нему средствами SQL (LIKE, полнотекстовый поиск) напрямую нельзя. Обязательный API такого поиска не требует. \ No newline at end of file diff --git a/evidence/db-test.txt b/evidence/db-test.txt index 8f4f092..3a96ea9 100644 --- a/evidence/db-test.txt +++ b/evidence/db-test.txt @@ -3,24 +3,24 @@ docker compose --profile tools run --rm db-test Container mtusi-lab2-valkey-1 Running Container mtusi-lab2-valkey-1 Waiting Container mtusi-lab2-postgres-1 Waiting - Container mtusi-lab2-postgres-1 Healthy Container mtusi-lab2-valkey-1 Healthy - Container mtusi-lab2-db-test-run-a1c49274ce09 Creating - Container mtusi-lab2-db-test-run-a1c49274ce09 Created + Container mtusi-lab2-postgres-1 Healthy + Container mtusi-lab2-db-test-run-343a686d3ad8 Creating + Container mtusi-lab2-db-test-run-343a686d3ad8 Created test_concurrent_registration_has_one_winner (test_store.StoreIntegrationTest.test_concurrent_registration_has_one_winner) ... 20 параллельных create_user: 1 создан, 19 получили Conflict (409) ok test_create_chat_rolls_back_when_failing_midway (test_store.StoreIntegrationTest.test_create_chat_rolls_back_when_failing_midway) ... чат с несуществующим участником: транзакция откатилась, строк chats/chat_members не осталось ok -test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ... +test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ... ok +test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ... INSERT сообщения от не-участника напрямую в БД: ForeignKeyViolation ok -test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ... - schema_migrations: ['001_core', '002_sessions']; повторный migrate() ничего не применил -ok + + schema_migrations: ['001_core', '002_sessions', '003_text_as_bytes']; повторный migrate() ничего не применил ---------------------------------------------------------------------- -Ran 4 tests in 0.120s +Ran 4 tests in 0.190s OK diff --git a/evidence/explain-history.txt b/evidence/explain-history.txt index 6635c1e..2364950 100644 --- a/evidence/explain-history.txt +++ b/evidence/explain-history.txt @@ -2,7 +2,7 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR === Объём данных messages_total | messages_in_big_chat ----------------+---------------------- - 21618 | 12000 + 21650 | 12000 === Индекс истории (migrations/001_core.sql) @@ -14,58 +14,58 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR === 1. Первая страница (limit=50, приложение просит 51 строку, чтобы понять, есть ли следующая) QUERY PLAN --------------------------------------------------------------------------------------------------------- - Limit (actual time=0.018..0.041 rows=51 loops=1) - Buffers: shared hit=5 - -> Index Scan using messages_chat_history_idx on messages (actual time=0.017..0.033 rows=51 loops=1) - Index Cond: (chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) - Buffers: shared hit=5 + Limit (actual time=0.023..0.043 rows=51 loops=1) + Buffers: shared hit=6 + -> Index Scan using messages_chat_history_idx on messages (actual time=0.022..0.036 rows=51 loops=1) + Index Cond: (chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) + Buffers: shared hit=6 Planning: Buffers: shared hit=6 - Planning Time: 0.139 ms - Execution Time: 0.066 ms + Planning Time: 0.160 ms + Execution Time: 0.077 ms === 2. Страница из середины истории по keyset-курсору (после 6000-го сообщения) QUERY PLAN ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ - Limit (actual time=0.009..0.020 rows=51 loops=1) - Buffers: shared hit=4 - -> Index Scan using messages_chat_history_idx on messages (actual time=0.009..0.016 rows=51 loops=1) - Index Cond: ((chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '41b24ea4-c9d1-467e-a5cc-6b4a5413a8be'::uuid))) - Buffers: shared hit=4 - Planning Time: 0.068 ms - Execution Time: 0.076 ms + Limit (actual time=0.019..0.055 rows=51 loops=1) + Buffers: shared hit=6 + -> Index Scan using messages_chat_history_idx on messages (actual time=0.018..0.044 rows=51 loops=1) + Index Cond: ((chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, 'bc979085-5d84-44a6-9df2-3b1fff1bdaf1'::uuid))) + Buffers: shared hit=6 + Planning Time: 0.157 ms + Execution Time: 0.122 ms === 3. Для сравнения: та же страница через OFFSET (так приложение НЕ делает) QUERY PLAN ----------------------------------------------------------------------------------------------------------- - Limit (actual time=1.377..1.386 rows=51 loops=1) - Buffers: shared hit=161 - -> Index Scan using messages_chat_history_idx on messages (actual time=0.023..1.131 rows=6051 loops=1) - Index Cond: (chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) - Buffers: shared hit=161 - Planning Time: 0.099 ms - Execution Time: 1.406 ms + Limit (actual time=1.586..1.603 rows=51 loops=1) + Buffers: shared hit=163 + -> Index Scan using messages_chat_history_idx on messages (actual time=0.020..1.305 rows=6051 loops=1) + Index Cond: (chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) + Buffers: shared hit=163 + Planning Time: 0.095 ms + Execution Time: 1.625 ms === 4. Для сравнения: запрос 2 без индекса (индекс удалён только внутри этой транзакции) QUERY PLAN -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- - Limit (actual time=2.522..2.528 rows=51 loops=1) - Buffers: shared hit=296 - -> Sort (actual time=2.522..2.524 rows=51 loops=1) + Limit (actual time=4.238..4.247 rows=51 loops=1) + Buffers: shared hit=289 + -> Sort (actual time=4.237..4.241 rows=51 loops=1) Sort Key: created_at, id Sort Method: top-N heapsort Memory: 31kB - Buffers: shared hit=296 - -> Seq Scan on messages (actual time=0.631..2.057 rows=6000 loops=1) - Filter: ((chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '41b24ea4-c9d1-467e-a5cc-6b4a5413a8be'::uuid))) - Rows Removed by Filter: 15618 - Buffers: shared hit=296 + Buffers: shared hit=289 + -> Seq Scan on messages (actual time=0.967..3.376 rows=6000 loops=1) + Filter: ((chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, 'bc979085-5d84-44a6-9df2-3b1fff1bdaf1'::uuid))) + Rows Removed by Filter: 15650 + Buffers: shared hit=289 Planning: Buffers: shared hit=4 - Planning Time: 0.128 ms - Execution Time: 2.554 ms + Planning Time: 0.119 ms + Execution Time: 4.268 ms === ROLLBACK: синтетические данные удалены, индекс на месте diff --git a/evidence/persistence.txt b/evidence/persistence.txt index 10fc003..e4a07a5 100644 --- a/evidence/persistence.txt +++ b/evidence/persistence.txt @@ -1,21 +1,21 @@ docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}" SERVICE CONTAINER ID STATUS -api 08b92853bbb4 Up 3 minutes (healthy) -api-short-ttl 047512285fe6 Up About a minute (healthy) -postgres 094d2f567e2e Up 49 seconds (healthy) -valkey 195f4a7b30f1 Up About a minute (healthy) +api 719af7c38c2d Up 41 seconds (healthy) +api-short-ttl 047512285fe6 Up 8 hours (healthy) +postgres 094d2f567e2e Up 8 hours (healthy) +valkey 195f4a7b30f1 Up 7 hours (healthy) python tests/resilience.py --mode persistence --action-script "scripts/restart.cmd" --base-url "http://127.0.0.1:8080" Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. -real 0m11.081s +real 0m12.535s user 0m0.015s -sys 0m0.000s +sys 0m0.015s docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}" SERVICE CONTAINER ID STATUS -api 08b92853bbb4 Up 2 seconds (health: starting) -api-short-ttl 047512285fe6 Up About a minute (healthy) -postgres 094d2f567e2e Up 8 seconds (healthy) -valkey 195f4a7b30f1 Up 8 seconds (healthy) -api-1 | 2026-10-09 10:18:10,200 INFO messenger.db: Миграции применены: 001_core, 002_sessions -api-1 | 2026-10-09 10:21:37,443 INFO messenger.db: Миграции: новых нет, схема актуальна +api 719af7c38c2d Up 3 seconds (health: starting) +api-short-ttl 047512285fe6 Up 8 hours (healthy) +postgres 094d2f567e2e Up 9 seconds (healthy) +valkey 195f4a7b30f1 Up 9 seconds (healthy) +api-1 | 2026-10-09 17:57:26,685 INFO messenger.db: Миграции применены: 003_text_as_bytes +api-1 | 2026-10-09 17:58:17,783 INFO messenger.db: Миграции: новых нет, схема актуальна diff --git a/evidence/student-test.txt b/evidence/student-test.txt index c11f991..768b1b4 100644 --- a/evidence/student-test.txt +++ b/evidence/student-test.txt @@ -6,6 +6,7 @@ test_chat_membership_rules (test_api.MessengerApiTest.test_chat_membership_rules test_duplicate_username_returns_409 (test_api.MessengerApiTest.test_duplicate_username_returns_409) ... ok test_empty_blank_and_too_long_messages_return_400 (test_api.MessengerApiTest.test_empty_blank_and_too_long_messages_return_400) ... ok test_malformed_json_returns_400 (test_api.MessengerApiTest.test_malformed_json_returns_400) ... ok +test_nul_character_is_stored (test_api.MessengerApiTest.test_nul_character_is_stored) ... ok test_outsider_gets_404_for_foreign_chat (test_api.MessengerApiTest.test_outsider_gets_404_for_foreign_chat) ... ok test_pagination_walks_several_pages (test_api.MessengerApiTest.test_pagination_walks_several_pages) ... ok test_unicode_roundtrip (test_api.MessengerApiTest.test_unicode_roundtrip) ... ok @@ -22,6 +23,6 @@ test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTest.test_wron test_x_user_id_does_not_change_identity (test_auth.AuthTest.test_x_user_id_does_not_change_identity) ... ok ---------------------------------------------------------------------- -Ran 21 tests in 2.181s +Ran 22 tests in 3.300s OK diff --git a/infra/sql/explain_history.sql b/infra/sql/explain_history.sql index 57218f9..c2150d3 100644 --- a/infra/sql/explain_history.sql +++ b/infra/sql/explain_history.sql @@ -17,11 +17,11 @@ CREATE TEMP TABLE seed_chats AS CREATE TEMP TABLE seed_user AS SELECT gen_random_uuid() AS user_id; INSERT INTO users (id, username, display_name, password_hash) - SELECT user_id, 'explain_' || substr(md5(random()::text), 1, 12), 'EXPLAIN', 'not-a-real-hash' FROM seed_user; -INSERT INTO chats (id, title) SELECT chat_id, 'explain ' || n FROM seed_chats; + SELECT user_id, 'explain_' || substr(md5(random()::text), 1, 12), convert_to('EXPLAIN', 'UTF8'), 'not-a-real-hash' FROM seed_user; +INSERT INTO chats (id, title) SELECT chat_id, convert_to('explain ' || n, 'UTF8') FROM seed_chats; INSERT INTO chat_members (chat_id, user_id) SELECT chat_id, user_id FROM seed_chats, seed_user; INSERT INTO messages (id, chat_id, sender_id, text, created_at) - SELECT gen_random_uuid(), c.chat_id, u.user_id, 'synthetic message ' || g, + SELECT gen_random_uuid(), c.chat_id, u.user_id, convert_to('synthetic message ' || g, 'UTF8'), timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second' FROM seed_chats c, seed_user u, generate_series(1, c.size) AS g; ANALYZE messages; diff --git a/migrations/003_text_as_bytes.sql b/migrations/003_text_as_bytes.sql new file mode 100644 index 0000000..bae7417 --- /dev/null +++ b/migrations/003_text_as_bytes.sql @@ -0,0 +1,28 @@ +-- 003: свободный текст хранится как байты UTF-8 (bytea), а не как text. +-- +-- Причина: тип text в PostgreSQL не может содержать символ U+0000 (байт 0x00), а контракт +-- этот символ в display_name, title и text не запрещает. Строка "hello\u0000world" давала 500. +-- В bytea байт 0x00 допустим, поэтому такие строки теперь сохраняются и возвращаются без изменений. +-- Кодирование/декодирование UTF-8 — в src/messenger/store.py (to_db/from_db). +-- +-- Это новая миграция, а не правка 001: 001 уже применена на существующих стендах. +-- Уже сохранённые данные переводятся через convert_to и не теряются. +-- +-- Точное число символов (1–100, 1–4000) проверяет API. Функции PostgreSQL, которые считают +-- символы в bytea, отвергают байт 0x00, поэтому CHECK в базе ограничивает длину в байтах: +-- не пусто и не больше 4 байт на символ (максимальный размер символа в UTF-8). + +ALTER TABLE users DROP CONSTRAINT users_display_name_len; +ALTER TABLE users ALTER COLUMN display_name TYPE bytea USING convert_to(display_name, 'UTF8'); +ALTER TABLE users ADD CONSTRAINT users_display_name_len + CHECK (octet_length(display_name) BETWEEN 1 AND 400); + +ALTER TABLE chats DROP CONSTRAINT chats_title_check; +ALTER TABLE chats ALTER COLUMN title TYPE bytea USING convert_to(title, 'UTF8'); +ALTER TABLE chats ADD CONSTRAINT chats_title_len + CHECK (octet_length(title) BETWEEN 1 AND 400); + +ALTER TABLE messages DROP CONSTRAINT messages_text_check; +ALTER TABLE messages ALTER COLUMN text TYPE bytea USING convert_to(text, 'UTF8'); +ALTER TABLE messages ADD CONSTRAINT messages_text_len + CHECK (octet_length(text) BETWEEN 1 AND 16000); diff --git a/src/messenger/security.py b/src/messenger/security.py index e36e421..41f8599 100644 --- a/src/messenger/security.py +++ b/src/messenger/security.py @@ -9,6 +9,7 @@ import base64 import binascii import hashlib +import re import secrets from argon2 import PasswordHasher @@ -24,6 +25,7 @@ _DUMMY_HASH = _hasher.hash("timing-equalizer-not-a-password") TOKEN_BYTES = 32 # 32 байта = 256 бит энтропии (требование контракта) PASSWORD_MIN, PASSWORD_MAX = 12, 128 +USERNAME_RE = re.compile(r"[a-z0-9_]{3,32}") # то же правило, что при регистрации MAX_BASIC_HEADER = 1024 # длинный заголовок не проверяем: не тратим CPU на заведомый мусор diff --git a/src/messenger/sessions.py b/src/messenger/sessions.py index fbfdfd8..d9de66c 100644 --- a/src/messenger/sessions.py +++ b/src/messenger/sessions.py @@ -127,6 +127,8 @@ class Sessions: """Проверяет пароль и создаёт сессию. None — неверные credentials (без уточнений).""" if not security.PASSWORD_MIN <= len(password) <= security.PASSWORD_MAX: return None + if not security.USERNAME_RE.fullmatch(username): + return None # такого username не может существовать — в базу даже не ходим found = self.store.get_credentials(username) user, password_hash = found if found else (None, None) # Проверка выполняется и для несуществующего пользователя (с фиктивным hash): diff --git a/src/messenger/store.py b/src/messenger/store.py index 723f545..a6c83dd 100644 --- a/src/messenger/store.py +++ b/src/messenger/store.py @@ -57,16 +57,27 @@ def ts(value: datetime) -> str: return value.astimezone(timezone.utc).strftime("%Y-%m-%dT%H:%M:%S.%fZ") +# Свободный текст (display_name, title, text) хранится в БД как байты UTF-8 (bytea), а не text: +# тип text в PostgreSQL не может содержать символ U+0000, а контракт его не запрещает. +# См. migrations/003_text_as_bytes.sql. Перед записью кодируем, после чтения декодируем. +def to_db(value: str) -> bytes: + return value.encode("utf-8") + + +def from_db(value) -> str: + return bytes(value).decode("utf-8") + + def _user(row) -> User: - return User(str(row[0]), row[1], row[2], ts(row[3])) + return User(str(row[0]), row[1], from_db(row[2]), ts(row[3])) def _chat(row) -> Chat: - return Chat(str(row[0]), row[1], tuple(str(m) for m in row[3]), ts(row[2])) + return Chat(str(row[0]), from_db(row[1]), tuple(str(m) for m in row[3]), ts(row[2])) def _message(row) -> Message: - return Message(str(row[0]), str(row[1]), str(row[2]), row[3], ts(row[4])) + return Message(str(row[0]), str(row[1]), str(row[2]), from_db(row[3]), ts(row[4])) # Участники чата всегда в одном порядке (по UUID), чтобы POST и GET отвечали одинаково. @@ -91,6 +102,11 @@ class PostgresStore: except (psycopg.OperationalError, PoolTimeout) as exc: log.warning("PostgreSQL недоступен: %s", type(exc).__name__) raise Unavailable("Хранилище временно недоступно") from None + except psycopg.DataError as exc: + # База отвергла само значение (например, недопустимый символ): это ошибка входа -> 400, + # а не внутренняя ошибка сервера (500). + log.warning("PostgreSQL отверг значение: %s", type(exc).__name__) + raise InvalidRequest("Недопустимое значение в запросе") from None def ping(self, timeout: float = 1.0) -> None: """Проверка готовности: короткий таймаут, чтобы healthcheck (3 с) успел получить 503.""" @@ -106,7 +122,7 @@ class PostgresStore: """INSERT INTO users (id, username, display_name, password_hash) VALUES (%s, %s, %s, %s) RETURNING id, username, display_name, created_at""", - (uuid.uuid4(), username, display_name, password_hash)).fetchone() + (uuid.uuid4(), username, to_db(display_name), password_hash)).fetchone() except pg_errors.UniqueViolation: # Не «проверить, потом вставить» (между этими шагами успеет вклиниться другой запрос), # а сразу вставить: уникальный индекс в БД пропустит ровно одну регистрацию. @@ -137,7 +153,7 @@ class PostgresStore: self._check_members_exist(conn, members) created_at = conn.execute( "INSERT INTO chats (id, title) VALUES (%s, %s) RETURNING created_at", - (chat_id, title)).fetchone()[0] + (chat_id, to_db(title))).fetchone()[0] with conn.cursor() as cur: cur.executemany("INSERT INTO chat_members (chat_id, user_id) VALUES (%s, %s)", [(chat_id, m) for m in members]) @@ -193,7 +209,7 @@ class PostgresStore: SELECT %s, cm.chat_id, cm.user_id, %s FROM chat_members cm WHERE cm.chat_id = %s AND cm.user_id = %s RETURNING id, chat_id, sender_id, text, created_at""", - (uuid.uuid4(), text, uuid.UUID(chat_id), uuid.UUID(user_id))).fetchone() + (uuid.uuid4(), to_db(text), uuid.UUID(chat_id), uuid.UUID(user_id))).fetchone() if row is None: raise NotFound("Чат не найден") return _message(row) diff --git a/student-tests/test_api.py b/student-tests/test_api.py index a038cd9..422f20a 100644 --- a/student-tests/test_api.py +++ b/student-tests/test_api.py @@ -7,7 +7,7 @@ import unittest import uuid -from helpers import Client, read_history +from helpers import Client, basic, read_history PASSWORD = "Test-password-123" @@ -86,6 +86,28 @@ class MessengerApiTest(unittest.TestCase): self.api.call("POST", "/api/v1/users", 201, body={"username": name, "display_name": "👋" * 100, "password": PASSWORD}) + def test_nul_character_is_stored(self): + # Замечание к MR: U+0000 допустим по контракту и должен сохраняться как есть, а не давать 500. + name = "nul_" + uuid.uuid4().hex[:10] + password = "Pass\u0000word-123" + user = self.api.call("POST", "/api/v1/users", 201, schema="User", + body={"username": name, "display_name": "A\u0000B", "password": password})["json"] + self.assertEqual(user["display_name"], "A\u0000B") + session = self.api.call("POST", "/api/v1/auth/sessions", 201, schema="Session", + headers={"Authorization": basic(name, password)})["json"] + self.assertEqual(session["user"]["display_name"], "A\u0000B") + chat = self.api.call("POST", "/api/v1/chats", 201, actor=self.alice, schema="Chat", + body={"title": "T\u0000itle", "member_ids": [self.alice["id"], self.bob["id"]]})["json"] + self.assertEqual(chat["title"], "T\u0000itle") + sent = self.send(self.alice, chat["id"], "hello\u0000world")["json"] + self.assertEqual(sent["text"], "hello\u0000world") + history, _ = read_history(self.api, self.bob, chat["id"]) + self.assertEqual([m["text"] for m in history], ["hello\u0000world"]) + got = self.api.call("GET", f"/api/v1/chats/{chat['id']}", actor=self.bob, schema="Chat")["json"] + self.assertEqual(got["title"], "T\u0000itle") + # username с U+0000 существовать не может: вход — обычный 401, а не 500. + self.api.call("POST", "/api/v1/auth/sessions", 401, headers={"Authorization": basic("ab\u0000c", password)}) + def test_pagination_walks_several_pages(self): chat = self.new_chat() sent = [self.send(self.alice, chat["id"], f"msg {i}")["json"] for i in range(7)]