This commit is contained in:
@@ -56,11 +56,12 @@ PostgreSQL и Valkey наружу не опубликованы, доступн
|
||||
- Новое: `db.py` (пул соединений, таймауты, миграции), `security.py` (Argon2id, токены, разбор Basic/Bearer), `sessions.py` (сессии и кэш в Valkey), `migrations/*.sql`, `compose.yaml`, скрипты.
|
||||
- Аутентификация: регистрация с `password`, вход `POST /auth/sessions` только с Basic, дальше только `Authorization: Bearer`. `X-User-Id` больше ничего не значит. Проверка токена выполняется в middleware до разбора тела запроса, поэтому всегда сначала 401, потом 404/400.
|
||||
|
||||
Схема БД (migrations/001_core.sql, 002_sessions.sql):
|
||||
Схема БД (migrations/001_core.sql, 002_sessions.sql, 003_text_as_bytes.sql):
|
||||
- `users`: PK id, UNIQUE username, CHECK формата username и длины display_name, `password_hash` (Argon2id).
|
||||
- `chats` и `chat_members`: PK (chat_id, user_id), FK на chats и users, индекс (user_id, chat_id) для списка чатов пользователя.
|
||||
- `messages`: FK (chat_id, sender_id) -> chat_members, то есть сама база не даст записать сообщение от не-участника. Индекс (chat_id, created_at, id) под историю.
|
||||
- `sessions`: PK = SHA-256 токена (сам токен не хранится), user_id, expires_at, revoked_at.
|
||||
- `users.display_name`, `chats.title`, `messages.text` хранятся как байты UTF-8 (`bytea`, миграция `003_text_as_bytes.sql`): тип `text` в PostgreSQL не может хранить символ U+0000, а контракт его разрешает. Точное число символов проверяет API, CHECK в базе ограничивает длину в байтах. Если база отвергнет значение (`DataError`), клиент получит 400, а не 500.
|
||||
|
||||
Транзакционные границы:
|
||||
- регистрация — один INSERT; дубль username ловит уникальный индекс (409), а не проверка «есть ли такой» в коде (она уязвима к гонке);
|
||||
@@ -105,11 +106,12 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
|
||||
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|
||||
| --- | --- | --- | --- |
|
||||
| Публичный smoke | make test | PASS: lab2 public API scenario | evidence/test.txt |
|
||||
| Строки с U+0000 сохраняются (нашёл сам по замечанию к похожей работе) | make student-test (test_nul_character_is_stored) | display_name, title и text с U+0000 → 201, читаются без изменений; вход с таким логином → 401, не 500 | evidence/student-test.txt |
|
||||
| Структура skeleton и контракт не изменены | make check | PASS: offline skeleton structure | evidence/check.txt |
|
||||
| 3: минимум lab1 сохранён, переход на новую аутентификацию | make test, make student-test (тесты lab1 переведены на пароль и Bearer) | smoke PASS; Ran 21 tests, OK | evidence/test.txt, evidence/student-test.txt |
|
||||
| 3: минимум lab1 сохранён, переход на новую аутентификацию | make test, make student-test (тесты lab1 переведены на пароль и Bearer) | smoke PASS; Ran 22 tests, OK | evidence/test.txt, evidence/student-test.txt |
|
||||
| 3: данные и действующие сессии переживают рестарт API и хранилищ без удаления volumes | make ps; make test-persistence ACTION_SCRIPT=scripts/restart.cmd; make ps | PASS: persistence preserved confirmed data and existing session; ID контейнеров те же, время Up у api, postgres, valkey сбросилось | evidence/persistence.txt |
|
||||
| 3: в PostgreSQL пользователи, чаты, участники, сообщения; PK/FK; уникальный username | migrations/001_core.sql; make db-test | FK не даёт записать сообщение от не-участника (ForeignKeyViolation); дубль username — 409 | migrations/, evidence/db-test.txt |
|
||||
| 3: миграции с нуля | docker compose up на пустом volume, docker compose logs api | «Миграции применены: 001_core, 002_sessions» | evidence/stack.txt |
|
||||
| 3: миграции с нуля | docker compose up на пустом volume, docker compose logs api | «Миграции применены: 001_core, 002_sessions», затем при обновлении 003_text_as_bytes | evidence/stack.txt, evidence/persistence.txt |
|
||||
| 3: повторный запуск миграций без дублирования | make db-test; логи api после рестарта | повторный migrate() ничего не применил; «Миграции: новых нет» | evidence/db-test.txt, evidence/persistence.txt |
|
||||
| 3: создание чата атомарно | make db-test (test_create_chat_rolls_back_when_failing_midway) | ошибка посреди транзакции, строк chats/chat_members не осталось | evidence/db-test.txt |
|
||||
| 3: Basic только на POST /auth/sessions | make student-test (test_bearer_required_on_business_endpoints) | Basic на /users/me -> 401 с WWW-Authenticate: Bearer | evidence/student-test.txt |
|
||||
@@ -122,8 +124,8 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
|
||||
| 4: ограниченный connection pool и таймауты | src/messenger/db.py, config.py | пул PostgreSQL 1–10, таймауты 3 с/3 с/5 с; пул Valkey 20, 300 мс | код |
|
||||
| 4: гонка регистрации одинакового username | make race; make db-test | 20 параллельных запросов: 201 x1, 409 x19 | evidence/race.txt, evidence/db-test.txt |
|
||||
| 4: rollback составной операции | make db-test | см. строку «создание чата атомарно» | evidence/db-test.txt |
|
||||
| 4: индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | make explain (21 500 сообщений, большой чат 12 000) | первая страница: Index Scan по messages_chat_history_idx, 51 строка, 5 буферов | evidence/explain-history.txt |
|
||||
| 4: пагинация без полного scan истории | make explain, запросы 2–4 | keyset со страницы из середины: 51 строка, 4 буфера; OFFSET 6000: 6051 строка, 161 буфер; без индекса: Seq Scan по всей таблице, Sort, 296 буферов | evidence/explain-history.txt |
|
||||
| 4: индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений | make explain (21 500 сообщений, большой чат 12 000) | первая страница: Index Scan по messages_chat_history_idx, 51 строка, 6 буферов | evidence/explain-history.txt |
|
||||
| 4: пагинация без полного scan истории | make explain, запросы 2–4 | keyset со страницы из середины: 51 строка, 6 буферов; OFFSET 6000: 6051 строка, 163 буфера; без индекса: Seq Scan по всей таблице, Sort, 289 буферов | evidence/explain-history.txt |
|
||||
| 4: автопроверка expiry при коротком SESSION_TTL_SECONDS | make expiry (api-short-ttl, TTL=2) | до истечения 200, после — 401 на обоих API | evidence/expiry.txt |
|
||||
| 4: автопроверка logout | make student-test (test_logout_revokes_only_current_session) | 204, затем 401, повторный logout — 401 | evidence/student-test.txt |
|
||||
| 4: автопроверка неверного пароля | make student-test (test_wrong_password_and_unknown_user_look_the_same) | одинаковый 401 для неверного пароля и неизвестного пользователя | evidence/student-test.txt |
|
||||
@@ -137,7 +139,7 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
|
||||
|
||||
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|
||||
| --- | --- | --- | --- |
|
||||
| restart hook: stop api, restart postgres и valkey, start api (volumes на месте) | данные и токен живы | тот же токен читает то же сообщение; ID контейнеров те же, Up сбросился у api, postgres, valkey; кэш пустой и заполняется из PostgreSQL | весь make test-persistence (создание данных, hook, ожидание готовности, проверка) — 11 с; потерь нет |
|
||||
| restart hook: stop api, restart postgres и valkey, start api (volumes на месте) | данные и токен живы | тот же токен читает то же сообщение; ID контейнеров те же, Up сбросился у api, postgres, valkey; кэш пустой и заполняется из PostgreSQL | весь make test-persistence (создание данных, hook, ожидание готовности, проверка) — 12,5 с; потерь нет |
|
||||
| docker compose stop valkey | API работает без кэша | ready 200, вход, сообщения, logout работают; первый запрос после остановки ждал около 4 с (на нём обнаружился сбой: подключение к остановленному контейнеру), дальше запросы десятки мс, в том числе через 6 с | после start valkey кэш включается сам в течение 5 с; потерь нет |
|
||||
| docker compose stop postgres | ограниченная ошибка, никого не пускаем без проверки | ready 503 за ~1 с, бизнес-запросы 503, без токена 401 | после start postgres прежний токен и сообщения на месте; запросы во время отказа не сохранены (получили 503) |
|
||||
| 20 одновременных регистраций одного username | один победитель | 201 x1, 409 x19 | дублей нет |
|
||||
@@ -152,3 +154,4 @@ Durability: PostgreSQL с fsync=on, synchronous_commit=on, full_page_writes=on (
|
||||
- Приложение подключается к PostgreSQL пользователем-владельцем базы. Отдельная роль с минимальными правами — в lab7.
|
||||
- Basic по HTTP передаёт пароль открыто (base64 — это не шифрование). Допустимо только на локальном стенде, TLS — в lab7.
|
||||
- Старые сессии чистятся только при входе того же пользователя; периодической очистки нет.
|
||||
- Свободный текст хранится как `bytea`: искать по нему средствами SQL (LIKE, полнотекстовый поиск) напрямую нельзя. Обязательный API такого поиска не требует.
|
||||
@@ -3,24 +3,24 @@ docker compose --profile tools run --rm db-test
|
||||
Container mtusi-lab2-valkey-1 Running
|
||||
Container mtusi-lab2-valkey-1 Waiting
|
||||
Container mtusi-lab2-postgres-1 Waiting
|
||||
Container mtusi-lab2-postgres-1 Healthy
|
||||
Container mtusi-lab2-valkey-1 Healthy
|
||||
Container mtusi-lab2-db-test-run-a1c49274ce09 Creating
|
||||
Container mtusi-lab2-db-test-run-a1c49274ce09 Created
|
||||
Container mtusi-lab2-postgres-1 Healthy
|
||||
Container mtusi-lab2-db-test-run-343a686d3ad8 Creating
|
||||
Container mtusi-lab2-db-test-run-343a686d3ad8 Created
|
||||
test_concurrent_registration_has_one_winner (test_store.StoreIntegrationTest.test_concurrent_registration_has_one_winner) ...
|
||||
20 параллельных create_user: 1 создан, 19 получили Conflict (409)
|
||||
ok
|
||||
test_create_chat_rolls_back_when_failing_midway (test_store.StoreIntegrationTest.test_create_chat_rolls_back_when_failing_midway) ...
|
||||
чат с несуществующим участником: транзакция откатилась, строк chats/chat_members не осталось
|
||||
ok
|
||||
test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ...
|
||||
test_database_rejects_message_from_non_member (test_store.StoreIntegrationTest.test_database_rejects_message_from_non_member) ... ok
|
||||
test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ...
|
||||
INSERT сообщения от не-участника напрямую в БД: ForeignKeyViolation
|
||||
ok
|
||||
test_migrations_rerun_is_noop (test_store.StoreIntegrationTest.test_migrations_rerun_is_noop) ...
|
||||
schema_migrations: ['001_core', '002_sessions']; повторный migrate() ничего не применил
|
||||
ok
|
||||
|
||||
schema_migrations: ['001_core', '002_sessions', '003_text_as_bytes']; повторный migrate() ничего не применил
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 4 tests in 0.120s
|
||||
Ran 4 tests in 0.190s
|
||||
|
||||
OK
|
||||
|
||||
@@ -2,7 +2,7 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR
|
||||
=== Объём данных
|
||||
messages_total | messages_in_big_chat
|
||||
----------------+----------------------
|
||||
21618 | 12000
|
||||
21650 | 12000
|
||||
|
||||
|
||||
=== Индекс истории (migrations/001_core.sql)
|
||||
@@ -14,58 +14,58 @@ docker compose exec -T postgres psql -X -q -U messenger -d messenger -v ON_ERROR
|
||||
=== 1. Первая страница (limit=50, приложение просит 51 строку, чтобы понять, есть ли следующая)
|
||||
QUERY PLAN
|
||||
---------------------------------------------------------------------------------------------------------
|
||||
Limit (actual time=0.018..0.041 rows=51 loops=1)
|
||||
Buffers: shared hit=5
|
||||
-> Index Scan using messages_chat_history_idx on messages (actual time=0.017..0.033 rows=51 loops=1)
|
||||
Index Cond: (chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid)
|
||||
Buffers: shared hit=5
|
||||
Limit (actual time=0.023..0.043 rows=51 loops=1)
|
||||
Buffers: shared hit=6
|
||||
-> Index Scan using messages_chat_history_idx on messages (actual time=0.022..0.036 rows=51 loops=1)
|
||||
Index Cond: (chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid)
|
||||
Buffers: shared hit=6
|
||||
Planning:
|
||||
Buffers: shared hit=6
|
||||
Planning Time: 0.139 ms
|
||||
Execution Time: 0.066 ms
|
||||
Planning Time: 0.160 ms
|
||||
Execution Time: 0.077 ms
|
||||
|
||||
|
||||
=== 2. Страница из середины истории по keyset-курсору (после 6000-го сообщения)
|
||||
QUERY PLAN
|
||||
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (actual time=0.009..0.020 rows=51 loops=1)
|
||||
Buffers: shared hit=4
|
||||
-> Index Scan using messages_chat_history_idx on messages (actual time=0.009..0.016 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '41b24ea4-c9d1-467e-a5cc-6b4a5413a8be'::uuid)))
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.068 ms
|
||||
Execution Time: 0.076 ms
|
||||
Limit (actual time=0.019..0.055 rows=51 loops=1)
|
||||
Buffers: shared hit=6
|
||||
-> Index Scan using messages_chat_history_idx on messages (actual time=0.018..0.044 rows=51 loops=1)
|
||||
Index Cond: ((chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, 'bc979085-5d84-44a6-9df2-3b1fff1bdaf1'::uuid)))
|
||||
Buffers: shared hit=6
|
||||
Planning Time: 0.157 ms
|
||||
Execution Time: 0.122 ms
|
||||
|
||||
|
||||
=== 3. Для сравнения: та же страница через OFFSET (так приложение НЕ делает)
|
||||
QUERY PLAN
|
||||
-----------------------------------------------------------------------------------------------------------
|
||||
Limit (actual time=1.377..1.386 rows=51 loops=1)
|
||||
Buffers: shared hit=161
|
||||
-> Index Scan using messages_chat_history_idx on messages (actual time=0.023..1.131 rows=6051 loops=1)
|
||||
Index Cond: (chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid)
|
||||
Buffers: shared hit=161
|
||||
Planning Time: 0.099 ms
|
||||
Execution Time: 1.406 ms
|
||||
Limit (actual time=1.586..1.603 rows=51 loops=1)
|
||||
Buffers: shared hit=163
|
||||
-> Index Scan using messages_chat_history_idx on messages (actual time=0.020..1.305 rows=6051 loops=1)
|
||||
Index Cond: (chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid)
|
||||
Buffers: shared hit=163
|
||||
Planning Time: 0.095 ms
|
||||
Execution Time: 1.625 ms
|
||||
|
||||
|
||||
=== 4. Для сравнения: запрос 2 без индекса (индекс удалён только внутри этой транзакции)
|
||||
QUERY PLAN
|
||||
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
|
||||
Limit (actual time=2.522..2.528 rows=51 loops=1)
|
||||
Buffers: shared hit=296
|
||||
-> Sort (actual time=2.522..2.524 rows=51 loops=1)
|
||||
Limit (actual time=4.238..4.247 rows=51 loops=1)
|
||||
Buffers: shared hit=289
|
||||
-> Sort (actual time=4.237..4.241 rows=51 loops=1)
|
||||
Sort Key: created_at, id
|
||||
Sort Method: top-N heapsort Memory: 31kB
|
||||
Buffers: shared hit=296
|
||||
-> Seq Scan on messages (actual time=0.631..2.057 rows=6000 loops=1)
|
||||
Filter: ((chat_id = '4981747a-a263-417e-80a3-fb7063eb8be5'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, '41b24ea4-c9d1-467e-a5cc-6b4a5413a8be'::uuid)))
|
||||
Rows Removed by Filter: 15618
|
||||
Buffers: shared hit=296
|
||||
Buffers: shared hit=289
|
||||
-> Seq Scan on messages (actual time=0.967..3.376 rows=6000 loops=1)
|
||||
Filter: ((chat_id = 'b0b6cd43-57d9-4deb-99f3-e04443a88e4c'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 01:40:00+00'::timestamp with time zone, 'bc979085-5d84-44a6-9df2-3b1fff1bdaf1'::uuid)))
|
||||
Rows Removed by Filter: 15650
|
||||
Buffers: shared hit=289
|
||||
Planning:
|
||||
Buffers: shared hit=4
|
||||
Planning Time: 0.128 ms
|
||||
Execution Time: 2.554 ms
|
||||
Planning Time: 0.119 ms
|
||||
Execution Time: 4.268 ms
|
||||
|
||||
|
||||
=== ROLLBACK: синтетические данные удалены, индекс на месте
|
||||
|
||||
+12
-12
@@ -1,21 +1,21 @@
|
||||
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
|
||||
SERVICE CONTAINER ID STATUS
|
||||
api 08b92853bbb4 Up 3 minutes (healthy)
|
||||
api-short-ttl 047512285fe6 Up About a minute (healthy)
|
||||
postgres 094d2f567e2e Up 49 seconds (healthy)
|
||||
valkey 195f4a7b30f1 Up About a minute (healthy)
|
||||
api 719af7c38c2d Up 41 seconds (healthy)
|
||||
api-short-ttl 047512285fe6 Up 8 hours (healthy)
|
||||
postgres 094d2f567e2e Up 8 hours (healthy)
|
||||
valkey 195f4a7b30f1 Up 7 hours (healthy)
|
||||
python tests/resilience.py --mode persistence --action-script "scripts/restart.cmd" --base-url "http://127.0.0.1:8080"
|
||||
Executing explicit persistence hook; hook output suppressed to avoid leaking secrets.
|
||||
PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence.
|
||||
|
||||
real 0m11.081s
|
||||
real 0m12.535s
|
||||
user 0m0.015s
|
||||
sys 0m0.000s
|
||||
sys 0m0.015s
|
||||
docker compose ps -a --format "table {{.Service}}\t{{.ID}}\t{{.Status}}"
|
||||
SERVICE CONTAINER ID STATUS
|
||||
api 08b92853bbb4 Up 2 seconds (health: starting)
|
||||
api-short-ttl 047512285fe6 Up About a minute (healthy)
|
||||
postgres 094d2f567e2e Up 8 seconds (healthy)
|
||||
valkey 195f4a7b30f1 Up 8 seconds (healthy)
|
||||
api-1 | 2026-10-09 10:18:10,200 INFO messenger.db: Миграции применены: 001_core, 002_sessions
|
||||
api-1 | 2026-10-09 10:21:37,443 INFO messenger.db: Миграции: новых нет, схема актуальна
|
||||
api 719af7c38c2d Up 3 seconds (health: starting)
|
||||
api-short-ttl 047512285fe6 Up 8 hours (healthy)
|
||||
postgres 094d2f567e2e Up 9 seconds (healthy)
|
||||
valkey 195f4a7b30f1 Up 9 seconds (healthy)
|
||||
api-1 | 2026-10-09 17:57:26,685 INFO messenger.db: Миграции применены: 003_text_as_bytes
|
||||
api-1 | 2026-10-09 17:58:17,783 INFO messenger.db: Миграции: новых нет, схема актуальна
|
||||
|
||||
@@ -6,6 +6,7 @@ test_chat_membership_rules (test_api.MessengerApiTest.test_chat_membership_rules
|
||||
test_duplicate_username_returns_409 (test_api.MessengerApiTest.test_duplicate_username_returns_409) ... ok
|
||||
test_empty_blank_and_too_long_messages_return_400 (test_api.MessengerApiTest.test_empty_blank_and_too_long_messages_return_400) ... ok
|
||||
test_malformed_json_returns_400 (test_api.MessengerApiTest.test_malformed_json_returns_400) ... ok
|
||||
test_nul_character_is_stored (test_api.MessengerApiTest.test_nul_character_is_stored) ... ok
|
||||
test_outsider_gets_404_for_foreign_chat (test_api.MessengerApiTest.test_outsider_gets_404_for_foreign_chat) ... ok
|
||||
test_pagination_walks_several_pages (test_api.MessengerApiTest.test_pagination_walks_several_pages) ... ok
|
||||
test_unicode_roundtrip (test_api.MessengerApiTest.test_unicode_roundtrip) ... ok
|
||||
@@ -22,6 +23,6 @@ test_wrong_password_and_unknown_user_look_the_same (test_auth.AuthTest.test_wron
|
||||
test_x_user_id_does_not_change_identity (test_auth.AuthTest.test_x_user_id_does_not_change_identity) ... ok
|
||||
|
||||
----------------------------------------------------------------------
|
||||
Ran 21 tests in 2.181s
|
||||
Ran 22 tests in 3.300s
|
||||
|
||||
OK
|
||||
|
||||
@@ -17,11 +17,11 @@ CREATE TEMP TABLE seed_chats AS
|
||||
CREATE TEMP TABLE seed_user AS SELECT gen_random_uuid() AS user_id;
|
||||
|
||||
INSERT INTO users (id, username, display_name, password_hash)
|
||||
SELECT user_id, 'explain_' || substr(md5(random()::text), 1, 12), 'EXPLAIN', 'not-a-real-hash' FROM seed_user;
|
||||
INSERT INTO chats (id, title) SELECT chat_id, 'explain ' || n FROM seed_chats;
|
||||
SELECT user_id, 'explain_' || substr(md5(random()::text), 1, 12), convert_to('EXPLAIN', 'UTF8'), 'not-a-real-hash' FROM seed_user;
|
||||
INSERT INTO chats (id, title) SELECT chat_id, convert_to('explain ' || n, 'UTF8') FROM seed_chats;
|
||||
INSERT INTO chat_members (chat_id, user_id) SELECT chat_id, user_id FROM seed_chats, seed_user;
|
||||
INSERT INTO messages (id, chat_id, sender_id, text, created_at)
|
||||
SELECT gen_random_uuid(), c.chat_id, u.user_id, 'synthetic message ' || g,
|
||||
SELECT gen_random_uuid(), c.chat_id, u.user_id, convert_to('synthetic message ' || g, 'UTF8'),
|
||||
timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second'
|
||||
FROM seed_chats c, seed_user u, generate_series(1, c.size) AS g;
|
||||
ANALYZE messages;
|
||||
|
||||
@@ -0,0 +1,28 @@
|
||||
-- 003: свободный текст хранится как байты UTF-8 (bytea), а не как text.
|
||||
--
|
||||
-- Причина: тип text в PostgreSQL не может содержать символ U+0000 (байт 0x00), а контракт
|
||||
-- этот символ в display_name, title и text не запрещает. Строка "hello\u0000world" давала 500.
|
||||
-- В bytea байт 0x00 допустим, поэтому такие строки теперь сохраняются и возвращаются без изменений.
|
||||
-- Кодирование/декодирование UTF-8 — в src/messenger/store.py (to_db/from_db).
|
||||
--
|
||||
-- Это новая миграция, а не правка 001: 001 уже применена на существующих стендах.
|
||||
-- Уже сохранённые данные переводятся через convert_to и не теряются.
|
||||
--
|
||||
-- Точное число символов (1–100, 1–4000) проверяет API. Функции PostgreSQL, которые считают
|
||||
-- символы в bytea, отвергают байт 0x00, поэтому CHECK в базе ограничивает длину в байтах:
|
||||
-- не пусто и не больше 4 байт на символ (максимальный размер символа в UTF-8).
|
||||
|
||||
ALTER TABLE users DROP CONSTRAINT users_display_name_len;
|
||||
ALTER TABLE users ALTER COLUMN display_name TYPE bytea USING convert_to(display_name, 'UTF8');
|
||||
ALTER TABLE users ADD CONSTRAINT users_display_name_len
|
||||
CHECK (octet_length(display_name) BETWEEN 1 AND 400);
|
||||
|
||||
ALTER TABLE chats DROP CONSTRAINT chats_title_check;
|
||||
ALTER TABLE chats ALTER COLUMN title TYPE bytea USING convert_to(title, 'UTF8');
|
||||
ALTER TABLE chats ADD CONSTRAINT chats_title_len
|
||||
CHECK (octet_length(title) BETWEEN 1 AND 400);
|
||||
|
||||
ALTER TABLE messages DROP CONSTRAINT messages_text_check;
|
||||
ALTER TABLE messages ALTER COLUMN text TYPE bytea USING convert_to(text, 'UTF8');
|
||||
ALTER TABLE messages ADD CONSTRAINT messages_text_len
|
||||
CHECK (octet_length(text) BETWEEN 1 AND 16000);
|
||||
@@ -9,6 +9,7 @@
|
||||
import base64
|
||||
import binascii
|
||||
import hashlib
|
||||
import re
|
||||
import secrets
|
||||
|
||||
from argon2 import PasswordHasher
|
||||
@@ -24,6 +25,7 @@ _DUMMY_HASH = _hasher.hash("timing-equalizer-not-a-password")
|
||||
|
||||
TOKEN_BYTES = 32 # 32 байта = 256 бит энтропии (требование контракта)
|
||||
PASSWORD_MIN, PASSWORD_MAX = 12, 128
|
||||
USERNAME_RE = re.compile(r"[a-z0-9_]{3,32}") # то же правило, что при регистрации
|
||||
MAX_BASIC_HEADER = 1024 # длинный заголовок не проверяем: не тратим CPU на заведомый мусор
|
||||
|
||||
|
||||
|
||||
@@ -127,6 +127,8 @@ class Sessions:
|
||||
"""Проверяет пароль и создаёт сессию. None — неверные credentials (без уточнений)."""
|
||||
if not security.PASSWORD_MIN <= len(password) <= security.PASSWORD_MAX:
|
||||
return None
|
||||
if not security.USERNAME_RE.fullmatch(username):
|
||||
return None # такого username не может существовать — в базу даже не ходим
|
||||
found = self.store.get_credentials(username)
|
||||
user, password_hash = found if found else (None, None)
|
||||
# Проверка выполняется и для несуществующего пользователя (с фиктивным hash):
|
||||
|
||||
+22
-6
@@ -57,16 +57,27 @@ def ts(value: datetime) -> str:
|
||||
return value.astimezone(timezone.utc).strftime("%Y-%m-%dT%H:%M:%S.%fZ")
|
||||
|
||||
|
||||
# Свободный текст (display_name, title, text) хранится в БД как байты UTF-8 (bytea), а не text:
|
||||
# тип text в PostgreSQL не может содержать символ U+0000, а контракт его не запрещает.
|
||||
# См. migrations/003_text_as_bytes.sql. Перед записью кодируем, после чтения декодируем.
|
||||
def to_db(value: str) -> bytes:
|
||||
return value.encode("utf-8")
|
||||
|
||||
|
||||
def from_db(value) -> str:
|
||||
return bytes(value).decode("utf-8")
|
||||
|
||||
|
||||
def _user(row) -> User:
|
||||
return User(str(row[0]), row[1], row[2], ts(row[3]))
|
||||
return User(str(row[0]), row[1], from_db(row[2]), ts(row[3]))
|
||||
|
||||
|
||||
def _chat(row) -> Chat:
|
||||
return Chat(str(row[0]), row[1], tuple(str(m) for m in row[3]), ts(row[2]))
|
||||
return Chat(str(row[0]), from_db(row[1]), tuple(str(m) for m in row[3]), ts(row[2]))
|
||||
|
||||
|
||||
def _message(row) -> Message:
|
||||
return Message(str(row[0]), str(row[1]), str(row[2]), row[3], ts(row[4]))
|
||||
return Message(str(row[0]), str(row[1]), str(row[2]), from_db(row[3]), ts(row[4]))
|
||||
|
||||
|
||||
# Участники чата всегда в одном порядке (по UUID), чтобы POST и GET отвечали одинаково.
|
||||
@@ -91,6 +102,11 @@ class PostgresStore:
|
||||
except (psycopg.OperationalError, PoolTimeout) as exc:
|
||||
log.warning("PostgreSQL недоступен: %s", type(exc).__name__)
|
||||
raise Unavailable("Хранилище временно недоступно") from None
|
||||
except psycopg.DataError as exc:
|
||||
# База отвергла само значение (например, недопустимый символ): это ошибка входа -> 400,
|
||||
# а не внутренняя ошибка сервера (500).
|
||||
log.warning("PostgreSQL отверг значение: %s", type(exc).__name__)
|
||||
raise InvalidRequest("Недопустимое значение в запросе") from None
|
||||
|
||||
def ping(self, timeout: float = 1.0) -> None:
|
||||
"""Проверка готовности: короткий таймаут, чтобы healthcheck (3 с) успел получить 503."""
|
||||
@@ -106,7 +122,7 @@ class PostgresStore:
|
||||
"""INSERT INTO users (id, username, display_name, password_hash)
|
||||
VALUES (%s, %s, %s, %s)
|
||||
RETURNING id, username, display_name, created_at""",
|
||||
(uuid.uuid4(), username, display_name, password_hash)).fetchone()
|
||||
(uuid.uuid4(), username, to_db(display_name), password_hash)).fetchone()
|
||||
except pg_errors.UniqueViolation:
|
||||
# Не «проверить, потом вставить» (между этими шагами успеет вклиниться другой запрос),
|
||||
# а сразу вставить: уникальный индекс в БД пропустит ровно одну регистрацию.
|
||||
@@ -137,7 +153,7 @@ class PostgresStore:
|
||||
self._check_members_exist(conn, members)
|
||||
created_at = conn.execute(
|
||||
"INSERT INTO chats (id, title) VALUES (%s, %s) RETURNING created_at",
|
||||
(chat_id, title)).fetchone()[0]
|
||||
(chat_id, to_db(title))).fetchone()[0]
|
||||
with conn.cursor() as cur:
|
||||
cur.executemany("INSERT INTO chat_members (chat_id, user_id) VALUES (%s, %s)",
|
||||
[(chat_id, m) for m in members])
|
||||
@@ -193,7 +209,7 @@ class PostgresStore:
|
||||
SELECT %s, cm.chat_id, cm.user_id, %s
|
||||
FROM chat_members cm WHERE cm.chat_id = %s AND cm.user_id = %s
|
||||
RETURNING id, chat_id, sender_id, text, created_at""",
|
||||
(uuid.uuid4(), text, uuid.UUID(chat_id), uuid.UUID(user_id))).fetchone()
|
||||
(uuid.uuid4(), to_db(text), uuid.UUID(chat_id), uuid.UUID(user_id))).fetchone()
|
||||
if row is None:
|
||||
raise NotFound("Чат не найден")
|
||||
return _message(row)
|
||||
|
||||
@@ -7,7 +7,7 @@
|
||||
import unittest
|
||||
import uuid
|
||||
|
||||
from helpers import Client, read_history
|
||||
from helpers import Client, basic, read_history
|
||||
|
||||
PASSWORD = "Test-password-123"
|
||||
|
||||
@@ -86,6 +86,28 @@ class MessengerApiTest(unittest.TestCase):
|
||||
self.api.call("POST", "/api/v1/users", 201,
|
||||
body={"username": name, "display_name": "👋" * 100, "password": PASSWORD})
|
||||
|
||||
def test_nul_character_is_stored(self):
|
||||
# Замечание к MR: U+0000 допустим по контракту и должен сохраняться как есть, а не давать 500.
|
||||
name = "nul_" + uuid.uuid4().hex[:10]
|
||||
password = "Pass\u0000word-123"
|
||||
user = self.api.call("POST", "/api/v1/users", 201, schema="User",
|
||||
body={"username": name, "display_name": "A\u0000B", "password": password})["json"]
|
||||
self.assertEqual(user["display_name"], "A\u0000B")
|
||||
session = self.api.call("POST", "/api/v1/auth/sessions", 201, schema="Session",
|
||||
headers={"Authorization": basic(name, password)})["json"]
|
||||
self.assertEqual(session["user"]["display_name"], "A\u0000B")
|
||||
chat = self.api.call("POST", "/api/v1/chats", 201, actor=self.alice, schema="Chat",
|
||||
body={"title": "T\u0000itle", "member_ids": [self.alice["id"], self.bob["id"]]})["json"]
|
||||
self.assertEqual(chat["title"], "T\u0000itle")
|
||||
sent = self.send(self.alice, chat["id"], "hello\u0000world")["json"]
|
||||
self.assertEqual(sent["text"], "hello\u0000world")
|
||||
history, _ = read_history(self.api, self.bob, chat["id"])
|
||||
self.assertEqual([m["text"] for m in history], ["hello\u0000world"])
|
||||
got = self.api.call("GET", f"/api/v1/chats/{chat['id']}", actor=self.bob, schema="Chat")["json"]
|
||||
self.assertEqual(got["title"], "T\u0000itle")
|
||||
# username с U+0000 существовать не может: вход — обычный 401, а не 500.
|
||||
self.api.call("POST", "/api/v1/auth/sessions", 401, headers={"Authorization": basic("ab\u0000c", password)})
|
||||
|
||||
def test_pagination_walks_several_pages(self):
|
||||
chat = self.new_chat()
|
||||
sent = [self.send(self.alice, chat["id"], f"msg {i}")["json"] for i in range(7)]
|
||||
|
||||
Reference in New Issue
Block a user