From f511c959627c6e38def47b96c921cca2bf03a9ae Mon Sep 17 00:00:00 2001 From: yulianpoludnev Date: Fri, 23 Oct 2026 21:13:27 +0300 Subject: [PATCH 1/3] =?UTF-8?q?=D0=92=D1=8B=D0=BF=D0=BE=D0=BB=D0=BD=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D0=B8=D0=B5=20=D0=BB=D0=B0=D0=B1=D0=BE=D1=80=D0=B0?= =?UTF-8?q?=D1=82=D0=BE=D1=80=D0=BD=D0=BE=D0=B9=20=D1=80=D0=B0=D0=B1=D0=BE?= =?UTF-8?q?=D1=82=D1=8B=20=D0=BD=D0=B0=205,=20=D1=82=D1=80=D0=B5=D0=BA=202?= =?UTF-8?q?.?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .dockerignore | 7 + .env.example | 5 + .gitattributes | 1 + .gitignore | 8 + Dockerfile | 28 ++ REPORT.md | 127 +++++++- compose.yaml | 84 +++++ dotnet-tools.json | 13 + evidence/lab2-level3.md | 52 +++ evidence/lab2-level4.md | 75 +++++ evidence/lab2-track2.md | 81 +++++ evidence/track2/backup-timings.txt | 7 + evidence/track2/pgbench-covering.txt | 8 + evidence/track2/pgbench-hist.txt | 8 + evidence/track2/pgbench-none.txt | 8 + evidence/track2/pgbench-nosort.txt | 8 + evidence/track2/plans-covering.txt | 67 ++++ evidence/track2/plans-hist.txt | 62 ++++ evidence/track2/plans-none.txt | 96 ++++++ evidence/track2/plans-nosort.txt | 92 ++++++ evidence/track2/seed-summary.txt | 5 + evidence/track2/variants-summary.txt | 56 ++++ evidence/track2/verify-diff.txt | 0 evidence/track2/verify-negative-control.txt | 4 + evidence/track2/verify-restored.txt | 12 + evidence/track2/verify-source.txt | 12 + evidence/track2/volumes.txt | 2 + mtusi2026lab2-fork.sln | 36 +++ scr/Messenger.Api.Tests/ApiFixture.cs | 98 ++++++ scr/Messenger.Api.Tests/ApiHelpers.cs | 101 ++++++ scr/Messenger.Api.Tests/ApiTests.cs | 302 ++++++++++++++++++ scr/Messenger.Api.Tests/AuthTests.cs | 252 +++++++++++++++ scr/Messenger.Api.Tests/CacheTests.cs | 150 +++++++++ scr/Messenger.Api.Tests/ConcurencyTests.cs | 54 ++++ .../DependencyFailureTests.cs | 192 +++++++++++ scr/Messenger.Api.Tests/HealthTests.cs | 28 ++ .../Messenger.Api.Tests.csproj | 27 ++ .../PasswordHasherTests.cs | 53 +++ scr/Messenger.Api/Endpoints/AuthEndpoints.cs | 146 +++++++++ scr/Messenger.Api/Endpoints/ChatEndpoints.cs | 158 +++++++++ .../Endpoints/MessageEndpoints.cs | 200 ++++++++++++ scr/Messenger.Api/Endpoints/UserEndpoints.cs | 125 ++++++++ scr/Messenger.Api/Messenger.Api.csproj | 25 ++ scr/Messenger.Api/Models/Chat.cs | 14 + scr/Messenger.Api/Models/CreateChatRequest.cs | 6 + .../Models/CreateMessageRequest.cs | 3 + scr/Messenger.Api/Models/CreateUserRequest.cs | 12 + scr/Messenger.Api/Models/Message.cs | 16 + scr/Messenger.Api/Models/SessionResponse.cs | 7 + scr/Messenger.Api/Models/User.cs | 14 + scr/Messenger.Api/Program.cs | 197 ++++++++++++ .../Properties/launchSettings.json | 23 ++ scr/Messenger.Api/Services/ApiErrors.cs | 37 +++ .../Services/Argon2PasswordHasher.cs | 67 ++++ scr/Messenger.Api/Services/BearerAuth.cs | 91 ++++++ scr/Messenger.Api/Services/Cursors.cs | 56 ++++ scr/Messenger.Api/Services/Diagnostics.cs | 90 ++++++ scr/Messenger.Api/Services/IPasswordHasher.cs | 18 ++ .../Services/MessageHistoryCache.cs | 102 ++++++ scr/Messenger.Api/Services/SessionTokens.cs | 16 + scr/Messenger.Api/Services/Settings.cs | 70 ++++ scr/Messenger.Api/Services/Timestamps.cs | 13 + .../UtcDateTimeOffsetJsonConverter.cs | 28 ++ .../appsettings.Development.json | 8 + scr/Messenger.Api/appsettings.json | 9 + scripts/explain-history.sql | 98 ++++++ scripts/init-secrets.sh | 30 ++ scripts/restart.sh | 12 + scripts/track2/backup.sh | 87 +++++ scripts/track2/plans.sql | 31 ++ scripts/track2/read.pgbench | 7 + scripts/track2/run.sh | 146 +++++++++ scripts/track2/seed.sql | 49 +++ scripts/track2/verify.sql | 40 +++ scripts/track2/write.pgbench | 10 + tools/LoadTest/Helpers.cs | 62 ++++ tools/LoadTest/LoadTest.csproj | 10 + tools/LoadTest/Phases.cs | 143 +++++++++ tools/LoadTest/Program.cs | 91 ++++++ tools/LoadTest/Rss.cs | 45 +++ tools/LoadTest/run-matrix.ps1 | 88 +++++ tools/LoadTest/summarize.py | 76 +++++ 82 files changed, 4784 insertions(+), 13 deletions(-) create mode 100644 .gitattributes create mode 100644 Dockerfile create mode 100644 compose.yaml create mode 100644 dotnet-tools.json create mode 100644 evidence/lab2-level3.md create mode 100644 evidence/lab2-level4.md create mode 100644 evidence/lab2-track2.md create mode 100644 evidence/track2/backup-timings.txt create mode 100644 evidence/track2/pgbench-covering.txt create mode 100644 evidence/track2/pgbench-hist.txt create mode 100644 evidence/track2/pgbench-none.txt create mode 100644 evidence/track2/pgbench-nosort.txt create mode 100644 evidence/track2/plans-covering.txt create mode 100644 evidence/track2/plans-hist.txt create mode 100644 evidence/track2/plans-none.txt create mode 100644 evidence/track2/plans-nosort.txt create mode 100644 evidence/track2/seed-summary.txt create mode 100644 evidence/track2/variants-summary.txt create mode 100644 evidence/track2/verify-diff.txt create mode 100644 evidence/track2/verify-negative-control.txt create mode 100644 evidence/track2/verify-restored.txt create mode 100644 evidence/track2/verify-source.txt create mode 100644 evidence/track2/volumes.txt create mode 100644 mtusi2026lab2-fork.sln create mode 100644 scr/Messenger.Api.Tests/ApiFixture.cs create mode 100644 scr/Messenger.Api.Tests/ApiHelpers.cs create mode 100644 scr/Messenger.Api.Tests/ApiTests.cs create mode 100644 scr/Messenger.Api.Tests/AuthTests.cs create mode 100644 scr/Messenger.Api.Tests/CacheTests.cs create mode 100644 scr/Messenger.Api.Tests/ConcurencyTests.cs create mode 100644 scr/Messenger.Api.Tests/DependencyFailureTests.cs create mode 100644 scr/Messenger.Api.Tests/HealthTests.cs create mode 100644 scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj create mode 100644 scr/Messenger.Api.Tests/PasswordHasherTests.cs create mode 100644 scr/Messenger.Api/Endpoints/AuthEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/ChatEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/MessageEndpoints.cs create mode 100644 scr/Messenger.Api/Endpoints/UserEndpoints.cs create mode 100644 scr/Messenger.Api/Messenger.Api.csproj create mode 100644 scr/Messenger.Api/Models/Chat.cs create mode 100644 scr/Messenger.Api/Models/CreateChatRequest.cs create mode 100644 scr/Messenger.Api/Models/CreateMessageRequest.cs create mode 100644 scr/Messenger.Api/Models/CreateUserRequest.cs create mode 100644 scr/Messenger.Api/Models/Message.cs create mode 100644 scr/Messenger.Api/Models/SessionResponse.cs create mode 100644 scr/Messenger.Api/Models/User.cs create mode 100644 scr/Messenger.Api/Program.cs create mode 100644 scr/Messenger.Api/Properties/launchSettings.json create mode 100644 scr/Messenger.Api/Services/ApiErrors.cs create mode 100644 scr/Messenger.Api/Services/Argon2PasswordHasher.cs create mode 100644 scr/Messenger.Api/Services/BearerAuth.cs create mode 100644 scr/Messenger.Api/Services/Cursors.cs create mode 100644 scr/Messenger.Api/Services/Diagnostics.cs create mode 100644 scr/Messenger.Api/Services/IPasswordHasher.cs create mode 100644 scr/Messenger.Api/Services/MessageHistoryCache.cs create mode 100644 scr/Messenger.Api/Services/SessionTokens.cs create mode 100644 scr/Messenger.Api/Services/Settings.cs create mode 100644 scr/Messenger.Api/Services/Timestamps.cs create mode 100644 scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs create mode 100644 scr/Messenger.Api/appsettings.Development.json create mode 100644 scr/Messenger.Api/appsettings.json create mode 100644 scripts/explain-history.sql create mode 100755 scripts/init-secrets.sh create mode 100755 scripts/restart.sh create mode 100644 scripts/track2/backup.sh create mode 100644 scripts/track2/plans.sql create mode 100644 scripts/track2/read.pgbench create mode 100755 scripts/track2/run.sh create mode 100644 scripts/track2/seed.sql create mode 100644 scripts/track2/verify.sql create mode 100644 scripts/track2/write.pgbench create mode 100644 tools/LoadTest/Helpers.cs create mode 100644 tools/LoadTest/LoadTest.csproj create mode 100644 tools/LoadTest/Phases.cs create mode 100644 tools/LoadTest/Program.cs create mode 100644 tools/LoadTest/Rss.cs create mode 100644 tools/LoadTest/run-matrix.ps1 create mode 100644 tools/LoadTest/summarize.py diff --git a/.dockerignore b/.dockerignore index bc16e556..0749a3b9 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,10 @@ __pycache__ node_modules evidence .DS_Store + +# Артефакты сборки хоста: содержат абсолютные пути Windows и ломают restore в контейнере. +**/bin +**/obj +.vs +tools +scr/Messenger.Api.Tests diff --git a/.env.example b/.env.example index 714c8076..1246e6f0 100644 --- a/.env.example +++ b/.env.example @@ -9,3 +9,8 @@ DATABASE_URL_FILE=/run/secrets/database_url # Optional on 3, required use on 4 in lab2; Redis OR Valkey: SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url + +# Lab 2, уровень 4 +CACHE_TTL_SECONDS=300 +# Только для экспериментов: добавляет заголовки X-Cache и X-Db-Queries. +DIAGNOSTIC_HEADERS=false diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 00000000..dfdb8b77 --- /dev/null +++ b/.gitattributes @@ -0,0 +1 @@ +*.sh text eol=lf diff --git a/.gitignore b/.gitignore index b5a71896..b439f07c 100644 --- a/.gitignore +++ b/.gitignore @@ -30,3 +30,11 @@ coverage/ .vscode/ # Keep small, sanitized evidence summaries in evidence/ under version control. # Inspect git diff --cached: ignore rules are not a secret scanner. + +# Local IDE/user files +*.csproj.user +.vs/ +scr/Messenger.Api/Test/ +secrets/ +# Рабочие файлы эксперимента трека 2 (пароль контейнера, схема) +scripts/track2/.work/ diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..5c4742d5 --- /dev/null +++ b/Dockerfile @@ -0,0 +1,28 @@ +# Версии закреплены тегом и digest (SDK 10.0.401, runtime 10.0.12), сборка воспроизводима. +FROM mcr.microsoft.com/dotnet/sdk:10.0.401@sha256:e70cdb7f80b0348f5cb85f19a8f670fca061f033d57eed12fa003d58b0e06317 AS build +WORKDIR /src + +COPY scr/Messenger.Api/Messenger.Api.csproj scr/Messenger.Api/ +RUN dotnet restore scr/Messenger.Api/Messenger.Api.csproj + +COPY scr/Messenger.Api/ scr/Messenger.Api/ +RUN dotnet publish scr/Messenger.Api/Messenger.Api.csproj \ + --configuration Release \ + --output /app/publish \ + --no-restore + +FROM mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 AS runtime +WORKDIR /app + +COPY --from=build /app/publish . + +ENV ASPNETCORE_URLS=http://0.0.0.0:8080 +EXPOSE 8080 + +# Непривилегированный пользователь (APP_UID задан в базовом образе aspnet). +USER $APP_UID + +# curl в образе нет, поэтому проверку выполняет само приложение (/health/live). +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 CMD ["dotnet", "Messenger.Api.dll", "--healthcheck"] + +ENTRYPOINT ["dotnet", "Messenger.Api.dll"] \ No newline at end of file diff --git a/REPORT.md b/REPORT.md index e42f2b05..8ea47760 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,138 @@ # Отчёт — лабораторная 2 - Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO +- Целевая оценка; выбранный трек 5, если нужен: 5, трек 2 «План запроса и восстановление». Выполнены уровни 3 и 4 и трек 2. - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Использованные источники, библиотеки и помощь ИИ: документация PostgreSQL, EF Core, Npgsql, Valkey, RFC 7617; NuGet: Npgsql.EntityFrameworkCore.PostgreSQL 10.0.3, EFCore.NamingConventions 10.0.1, Isopoh.Cryptography.Argon2 2.0.0, StackExchange.Redis 3.4.20, Testcontainers.PostgreSql 4.16.0. ИИ-ассистент Claude Code использовался как ментор и для написания части кода; результат проверен запуском тестов и стенда. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Требуются Docker с Compose v2 (проверено на v5.1.3) и POSIX-оболочка для `scripts/*.sh` (Linux/macOS/WSL/Git Bash). Для тестов: Python 3.9+; для `dotnet test` — .NET SDK 10.0.401 и запущенный Docker. + +```sh +sh scripts/init-secrets.sh # создаёт secrets/db_password, database_url.compose, cache_password, cache_url (случайные пароли, вне Git) +cp .env.example .env # локальные настройки (SESSION_TTL_SECONDS, CACHE_TTL_SECONDS и др.); .env не коммитится +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait # ждёт healthy всех сервисов; миграции применяет сам API при старте +python3 tests/smoke.py --base-url http://localhost:8080 # = make test +chmod +x scripts/restart.sh +python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh # = make test-persistence ACTION_SCRIPT=scripts/restart.sh +dotnet test scr/Messenger.Api.Tests # собственные тесты (нужен Docker) +``` + +Эксперимент трека 2 (изолированные контейнеры `track2-*`, стенд compose не затрагивается; нужны Docker, .NET SDK и собранный образ `messenger-api:lab2`): + +```sh +sh scripts/track2/run.sh up # PostgreSQL, миграции приложения, 115 000 сообщений +sh scripts/track2/run.sh indexes # 4 варианта индекса: планы, размер, pgbench записи/чтения, WAL +sh scripts/track2/run.sh backup # pg_dump -> восстановление в новое хранилище -> сверка +sh scripts/track2/run.sh down # удалить контейнеры, тома и сеть эксперимента +``` + +Остановка с сохранением данных: `docker compose stop` (или `down` без `-v`). +Намеренное удаление учебных данных: `docker compose down -v` — удаляет volume `messenger-lab2_pgdata`. +Оператору больше ничего делать не нужно: пароли генерируются скриптом, схема создаётся миграциями при старте API. +Для экспериментов с кэшем `DIAGNOSTIC_HEADERS=true` добавляет заголовки `X-Cache` и `X-Db-Queries` (по умолчанию выключено). ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab1, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +Клиент → API (ASP.NET Core minimal API, .NET 10) → PostgreSQL 17; Valkey 8.1 — кэш страниц истории. + +| Роль | Service (compose) | Образ | Health | Volume | Сеть / порт | Credentials | +| --- | --- | --- | --- | --- | --- | --- | +| api | `api` | собирается из `Dockerfile` (aspnet 10.0.12 по digest) | `dotnet Messenger.Api.dll --healthcheck` → `/health/live` | нет (состояния нет) | `backend`, публикуется `8080` | secrets `database_url`, `cache_url` (файлы `DATABASE_URL_FILE`, `CACHE_URL_FILE`) | +| postgres | `db` | `postgres:17` по digest (17.11) | `pg_isready` | `pgdata` → `/var/lib/postgresql/data` | только `backend` | secret `db_password` (`POSTGRES_PASSWORD_FILE`) | +| cache | `cache` | `valkey/valkey:8.1` по digest (8.1.10) | `valkey-cli ping` | нет (кэш, persistence выключена) | только `backend` | secret `cache_password` (`--requirepass`) | + +**Источник истины** — PostgreSQL: пользователи, чаты, участники, сообщения и сессии. Состояния в памяти процесса нет. Сессии хранятся только в PostgreSQL (`SESSION_STORE=postgres`), в Valkey их нет. + +**Схема** (миграции EF Core в `scr/Messenger.Api/Data/Migrations/`): +- `users`: `uuid` PK, `UNIQUE(username)`, `CHECK` формата username и непустого display_name, `password_hash` (Argon2id). +- `chats` (`history_version`, `last_message_at`), `chat_members` (PK `(chat_id, user_id)`, индекс по `user_id`), `messages`. +- `messages` связаны с участником **составным FK** `(chat_id, sender_id) → chat_members`: БД не допускает сообщение от не-участника. +- `sessions`: `token_hash` (SHA-256 токена, `UNIQUE`), `user_id` FK, `created_at`, `expires_at`, `revoked_at`. +- Индекс истории `(chat_id, created_at, id)` — под keyset-запрос (обоснование и EXPLAIN — ниже). + +**Транзакционные границы:** +- Регистрация: один `INSERT`; гонку одинакового username решает уникальный индекс (`23505` → `409`), а не предварительный `SELECT`. +- Создание чата: чат и все участники сохраняются одним `SaveChanges`, то есть одной транзакцией. +- Отправка сообщения: одна транзакция из `UPDATE chats SET history_version = history_version + 1, last_message_at = GREATEST(...) ... RETURNING` (берёт блокировку строки чата и проверяет членство), `INSERT` сообщения и `COMMIT`. +- Logout: один `UPDATE sessions SET revoked_at ... WHERE revoked_at IS NULL`. + +**Порядок истории.** Курсор — `(created_at, id)`. Строка чата блокируется на время записи, а `created_at` выдаётся строго больше предыдущего (`last_message_at + 1 мс`), поэтому порядок коммитов в чате совпадает с порядком `created_at`, и курсор не пропускает сообщение, закоммиченное позже. Цена: записи в один чат сериализуются. Ограничения: время назначает приложение с точностью до миллисекунды; при >1000 сообщений/с в одном чате `created_at` уходит вперёд относительно часов. + +**Аутентификация.** `POST /auth/sessions` принимает только Basic (разделитель — первое двоеточие; любая ошибка заголовка, неверный пароль и неизвестный пользователь дают одинаковый `401` с `WWW-Authenticate: Basic ...`). Для неизвестного пользователя пароль проверяется против заглушки, чтобы выровнять время ответа (замером не подтверждено). Токен — 32 случайных байта (256 бит), в БД только SHA-256. Остальные endpoint защищены стандартным `AuthenticationHandler` (`RequireAuthorization()`), который срабатывает до разбора тела: `401` приоритетнее `400/404`. `X-User-Id` игнорируется. Срок жизни — `SESSION_TTL_SECONDS` (по умолчанию 3600; неверное значение останавливает старт). + +**Пароли.** Argon2id (Isopoh.Cryptography.Argon2), параметры по минимуму OWASP: m=19 MiB, t=2, p=1; соль и параметры внутри PHC-строки. Одновременно считается не более 4 хешей (иначе 100 параллельных запросов заняли бы ~2 GiB); при исчерпании слотов — `503`. Хеш считается до открытия транзакции. bcrypt не выбран: он усекает пароль до 72 байт, а контракт допускает до 128 символов UTF-8. + +**Readiness.** `/health/ready` возвращает `200`, если API может открыть соединение с PostgreSQL (таймаут 2 с), иначе `503`. Valkey в готовность не входит: он необязателен, при его недоступности API полностью работоспособен. `/health/live` не обращается к зависимостям. + +### Valkey: кэш страниц истории + +- **Роль.** Ускоряет `GET /chats/{id}/messages`: страница (готовый JSON) хранится под ключом `hist:{chat_id}:v{history_version}:l{limit}:{cursor}`. +- **Источник истины** — PostgreSQL. Кэш ничего не хранит в единственном экземпляре; потеря всего содержимого (flush, рестарт) влияет только на скорость. +- **Согласованность и инвалидация.** `history_version` читается из PostgreSQL при каждом чтении, тем же запросом, что проверяет членство (`404` для постороннего). Версия растёт в транзакции записи сообщения, до подтверждения `201`. Поэтому после подтверждённой записи читатель вычисляет другой ключ и не может получить старую страницу; удалять ключи при записи не нужно. Страница, прочитанная из БД после чтения версии, может оказаться свежее ключа, но не старее. Устаревшие ключи удаляются по TTL (300 с) и вытесняются LRU (`maxmemory 64mb`, `allkeys-lru`). +- **Что кэшируется.** Только ответы на чтение истории; доступ проверяется до обращения к кэшу, поэтому закэшированная страница не видна постороннему. +- **Persistence.** Выключена намеренно (`--save "" --appendonly no`): кэш воспроизводим из PostgreSQL. Сессии в нём не хранятся, поэтому требование о persistence для единственного хранилища сессий неприменимо. +- **Отказ кэша.** Таймауты клиента 500 мс подключение / 200 мс операция, `AbortOnConnectFail=false`. При ошибке кэш обходится на 5 с (чтобы запросы не ждали таймаут), чтение идёт из PostgreSQL, ответ тот же; метка `bypass` в `X-Cache` при диагностике. + +### Устойчивость к отказам зависимостей + +| Параметр | Значение (по умолчанию) | Переменная | +| --- | --- | --- | +| Максимум соединений с PostgreSQL от экземпляра | 20 | `DB_MAX_POOL_SIZE` | +| Ожидание соединения / открытие | 5 с | `DB_CONNECT_TIMEOUT_SECONDS` | +| Таймаут команды | 5 с | `DB_COMMAND_TIMEOUT_SECONDS` | + +Недоступность или перегрузка PostgreSQL (нет соединения, таймаут, исчерпан пул, остановка сервера) отображаются в `503 unavailable` с телом из общего формата без SQL, хоста и стека (они только в логе). Запрос без токена по-прежнему получает `401`: анонимный пользователь не становится доверенным ни при каком отказе. Все SQL-запросы параметризованы (LINQ / `FromSql` с интерполяцией EF и `NpgsqlCommand` с параметрами); конкатенации SQL из пользовательского ввода нет. + +**Что перенесено из lab1 и что изменено.** Сохранены контракт API, формат ошибок, `X-Request-Id`, keyset-курсор, привязанный к чату, и логика доступа (`404` для постороннего). Заменены: `InMemoryStorage` → PostgreSQL; `X-User-Id` → Bearer-сессии (объявленный переход lab2); в регистрацию добавлен пароль. + +**Соответствие `.env.example`.** `APP_PORT`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `CACHE_URL_FILE`, `CACHE_TTL_SECONDS`, `DIAGNOSTIC_HEADERS`, `SESSION_STORE=postgres` отражают реальную конфигурацию (последняя пока только документирует выбор). `APP_HOST` и `APP_ENV` приложением не читаются. Дополнительно приложение читает `DB_MAX_POOL_SIZE`, `DB_CONNECT_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS`, `CACHE_CONNECTION` (используется тестами), а compose — `API_PUBLISHED_PORT`. ## Доказательства критериев +Уровень 3 — [evidence/lab2-level3.md](evidence/lab2-level3.md), уровень 4 — [evidence/lab2-level4.md](evidence/lab2-level4.md). + | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `python3 tests/smoke.py --base-url http://localhost:8080` (= `make test`) | PASS (в том числе при остановленном кэше и после восстановления БД) | lab2-level3.md, lab2-level4.md | +| Данные и действующие сессии переживают рестарт API и хранилищ без удаления volumes | `tests/resilience.py --mode persistence --action-script scripts/restart.sh` | PASS; перезапущены `db`, `cache`, `api` (время старта изменилось), volume тот же, прежний токен работает | lab2-level4.md | +| PostgreSQL: users, chats, members, messages; PK/FK, уникальность username, атомарное создание чата | миграции; тесты `CreateChat_WithUnknownMember...`, `RegisterSameUsernameConcurrently...` | таблицы и ограничения созданы | lab2-level3.md | +| Миграции повторяемы без дублей | рестарт стенда (API снова вызывает `Migrate()`) | `__EFMigrationsHistory`: 2 → 2; данные не изменились | lab2-level3.md | +| Basic только на `POST /auth/sessions`; остальное — Bearer; срок жизни и отзыв; `X-User-Id` не даёт доступ | `AuthTests` | PASS | lab2-level3.md | +| Пароли хешируются KDF | `PasswordsAreStoredAsArgon2id`, `PasswordHasherTests` | `$argon2id$v=19$m=19456,t=2,p=1$...` | lab2-level3.md | +| Secrets и volumes не в Git | `git check-ignore -v .env secrets/db_password` | оба игнорируются | — | +| **4.** Valkey реально используется; источник истины, expiry, инвалидация описаны | раздел «Valkey: кэш страниц истории»; сценарий miss/hit/запись/отказ | `X-Cache` miss→hit, после записи новый ключ; SQL-запросов 3 → 2 на попадание | lab2-level4.md §1 | +| **4.** Параметризованные запросы / ORM, ограниченный пул, таймауты | раздел «Устойчивость к отказам зависимостей»; тест `ExhaustedConnectionPool_ReturnsBoundedError` | пул 1 соединение, ожидание 1 с → `503` быстрее 6 с | lab2-level4.md §4 | +| **4.** Гонка регистрации и rollback составной операции | `RegisterSameUsernameConcurrently...`, `FailedMessageInsert_RollsBack...`, `FailedChatMemberInsert_RollsBack...` | один `201` и 19 `409`; после внедрённого сбоя версия, время и строки не изменились | lab2-level4.md §4 | +| **4.** Индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений; пагинация не сканирует всю историю | `scripts/explain-history.sql`, 75 000 сообщений | страница = ~54 буфера на любой глубине; без индекса 926 буферов и Seq Scan; OFFSET — 30 293 буфера | lab2-level4.md §3 | +| **4.** Автоматические проверки: expiry при коротком TTL, logout, неверный пароль, недоступность Redis/БД | `ShortSessionTtl_ExpiresSessionByItself`, `Logout_*`, `Login_WrongPassword...`, `DatabaseDown_*`, `UnavailableCache_*` | 61 из 61 тестов проходят; проверка тестов мутациями | lab2-level4.md §4 | +| **4.** При потере сервиса — ограниченная ошибка / обход кэша, анонимный не доверенный | остановка `db` и `cache` на стенде | `503` без деталей; без токена `401`; кэш обходится (`bypass`), ответы корректны | lab2-level4.md §2 | +| **5. Трек 2.** ≥100 000 сообщений с неравномерными размерами чатов | `scripts/track2/seed.sql` | 115 000 сообщений в 2 007 чатах: 80 000 / 20 000 / 5×1 000 / 2 000×5 | lab2-track2.md | +| **5. Трек 2.** Сравнение ≥2 индексов/запросов и стоимость записи | `scripts/track2/run.sh indexes` | 4 варианта индекса + keyset против OFFSET; чтение 213 → ~6 200 страниц/с; индекс +47% WAL и +25% времени bulk-вставки; покрывающий индекс отклонён (ломает сообщения >2,7 КБ) | lab2-track2.md | +| **5. Трек 2.** Backup → восстановление в новое хранилище → сверка количества и выбранных сообщений | `scripts/track2/run.sh backup` | `pg_dump` 0,9 с (6,2 МиБ); новое хранилище, `pg_restore` + `ANALYZE` 1,3 с; 12 контрольных проверок совпали, API на копии отдаёт те же страницы побайтно; негативный контроль ловит изменение | lab2-track2.md | +| **5. Трек 2.** Обсуждение времени восстановления и границ потери данных | раздел «Время восстановления и границы потери данных» | RTO 1,3 с измерен только для самого `pg_restore`; RPO = интервал между backup (в опыте потеряно 100 сообщений); PITR не реализован | lab2-track2.md | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Методика, команды и сырые выводы — в [evidence/lab2-level4.md](evidence/lab2-level4.md). Измерения единичные, на одной машине, нагрузочных замеров пока нет (они нужны для трека 1). | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Полный рестарт `api`, `db` и `cache` с сохранением volume | подтверждённые данные и сессия сохраняются | сохранились; прежний токен работает; кэш пуст и наполняется заново | хук ≤ 90 с по условию теста; потери данных нет | +| Остановка Valkey | сервис работает без кэша | smoke `PASS`, `X-Cache: bypass`, чтение и запись корректны | обход мгновенный; кэш возвращается после старта Valkey (miss → hit) | +| Остановка PostgreSQL | `503` без деталей, анонимные не доверенные | `me=503` за 0,03 с; вход `503`; без токена `401`; `ready=503`, `live=200` | после старта БД тот же токен работает через 0,6 с, API не перезапускался; данные не потеряны | +| Потеря основного хранилища (трек 2: восстановление из `pg_dump` в новый контейнер и том) | данные до момента backup восстановлены полностью | 12 проверок совпали; записанные после backup 100 сообщений потеряны | `pg_restore` + `ANALYZE` 1,3 с (без развёртывания и переключения) | +| Сбой внутри транзакции (триггер БД) | полный откат | версия чата, `last_message_at`, чат и участники не изменились; ответ `500 internal_error` без деталей | — | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- Трек 1 (согласованность кэша) не выбран; кэш с версией в ключе реализован и протестирован как часть уровня 4, но защита от stampede и сравнение с «наивным» кэшем не делались. +- Трек 2: backup логический (`pg_dump`), без архивации WAL и PITR; восстановление измерено только как `pg_restore` + `ANALYZE` на 6,2 МиБ; backup хранится на том же хосте и не шифруется; восстановление старого backup «воскрешает» сессии, отозванные позже, поэтому после него нужно отозвать все сессии. Нагрузочные измерения короткие (3 повтора по 10 с, 4 клиента), на одном хосте, на прогретых данных. +- Кэш не уменьшает число запросов к БД до нуля: на каждое чтение остаются запрос сессии и запрос версии/доступа (на попадании — 2 запроса вместо 3). +- Просроченные и отозванные сессии не удаляются из `sessions` (индекс `ix_sessions_expires_at` для очистки есть). +- Замер времени ответа для неизвестного пользователя против неверного пароля не проводился. +- EXPLAIN выполнен на синтетических данных в памяти; влияние на запись и поведение на диске не измерялись. +- HTTP без TLS допустим только для локального изолированного стенда с синтетическими данными (условие контракта для lab2). +- На Windows `tests/resilience.py` не запускает `.sh` напрямую; проверка выполнена через обёртку `.cmd`. На Linux/macOS команда из раздела запуска работает как есть (нужен executable bit: `chmod +x scripts/restart.sh`). diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..bccf453f --- /dev/null +++ b/compose.yaml @@ -0,0 +1,84 @@ +# Имя проекта задаёт префикс томов и сетей (messenger-lab2_pgdata): не пересекается с ручными контейнерами. +# Lab 2: API + PostgreSQL. Запуск: scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait +name: messenger-lab2 + +services: + db: + # PostgreSQL 17.11; тег закреплён digest'ом, сборка воспроизводима. + image: postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe + restart: unless-stopped + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/db_password + secrets: + - db_password + volumes: + # Именованный volume: переживает restart/down; удаляется только явным `docker compose down -v`. + - pgdata:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 20 + start_period: 10s + networks: [backend] + + cache: + # Valkey 8.1: кэш страниц истории сообщений. Источник истины — PostgreSQL, потеря содержимого кэша ничего не ломает, + # поэтому persistence выключена (--save "" --appendonly no). Память ограничена, вытеснение LRU. + image: valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2 + restart: unless-stopped + command: + - sh + - -c + - exec valkey-server --requirepass "$$(cat /run/secrets/cache_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru + secrets: + - cache_password + healthcheck: + test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/cache_password)\" valkey-cli ping | grep -q PONG"] + interval: 5s + timeout: 3s + retries: 10 + networks: [backend] + + api: + build: + context: . + dockerfile: Dockerfile + image: messenger-api:lab2 + restart: unless-stopped + # Кэш не входит в depends_on: API обязан стартовать и работать без него (чтение идёт напрямую из PostgreSQL). + depends_on: + db: + condition: service_healthy + environment: + ASPNETCORE_URLS: http://0.0.0.0:8080 + APP_PORT: "8080" + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DATABASE_URL_FILE: /run/secrets/database_url + CACHE_URL_FILE: /run/secrets/cache_url + CACHE_TTL_SECONDS: ${CACHE_TTL_SECONDS:-300} + DIAGNOSTIC_HEADERS: ${DIAGNOSTIC_HEADERS:-false} + secrets: + - database_url + - cache_url + ports: + - "${API_PUBLISHED_PORT:-8080}:8080" + networks: [backend] + +volumes: + pgdata: + +networks: + backend: + +secrets: + db_password: + file: ./secrets/db_password + database_url: + file: ./secrets/database_url.compose + cache_password: + file: ./secrets/cache_password + cache_url: + file: ./secrets/cache_url diff --git a/dotnet-tools.json b/dotnet-tools.json new file mode 100644 index 00000000..39007e02 --- /dev/null +++ b/dotnet-tools.json @@ -0,0 +1,13 @@ +{ + "version": 1, + "isRoot": true, + "tools": { + "dotnet-ef": { + "version": "10.0.13", + "commands": [ + "dotnet-ef" + ], + "rollForward": false + } + } +} \ No newline at end of file diff --git a/evidence/lab2-level3.md b/evidence/lab2-level3.md new file mode 100644 index 00000000..bc8882d9 --- /dev/null +++ b/evidence/lab2-level3.md @@ -0,0 +1,52 @@ +# Лабораторная 2: проверки уровня 3 + +Дата: 2026-10-23. Стенд: Docker Desktop (Windows 11), `docker compose` v5.1.3. Commit: рабочая копия до коммита. +Образы: `postgres:17` (сервер 17.11, закреплён digest в `compose.yaml`), `mcr.microsoft.com/dotnet/aspnet:10.0.12` (digest в `Dockerfile`). +Токены и пароли в этом файле не приводятся. + +## Публичный smoke + +``` +$ python tests/smoke.py --base-url http://localhost:8080 +PASS: lab2 public API scenario; infrastructure and grading evidence remain separate. +``` + +## Проверка сохранности (restart + прежний токен) + +Хук `scripts/restart.sh` на момент этого прогона: `docker compose stop api` → `restart db` → `up -d --wait db` → `up -d --wait api` (позже добавлен перезапуск `cache`, см. lab2-level4.md). Volume `messenger-lab2_pgdata` сохраняется. +На Windows тест запускался через обёртку `.cmd`, вызывающую `bash scripts/restart.sh` (Python на Windows не запускает `.sh` напрямую). + +Время старта контейнеров (`docker inspect --format '{{.State.StartedAt}}'`): + +| Контейнер | До хука | После хука | +| --- | --- | --- | +| db | 2026-10-23T17:11:14Z | 2026-10-23T17:11:49Z | +| api | 2026-10-23T17:11:19Z | 2026-10-23T17:11:55Z | + +``` +$ python tests/resilience.py --mode persistence --action-script --base-url http://localhost:8080 +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +``` + +## Миграции повторно применяются без дублей + +API при каждом старте вызывает `Database.Migrate()`. После полного рестарта стенда: + +| | До | После | +| --- | --- | --- | +| строк в `__EFMigrationsHistory` | 2 | 2 | +| users / sessions / messages | 6 / 6 / 3 | 6 / 6 / 3 | + +Миграции с нуля: на пустом контейнере PostgreSQL 17 применены `InitialSchema` и `AddChatLastMessageAt` (так стартует каждый прогон xunit-тестов, см. ниже). + +## Собственные тесты + +``` +$ dotnet test scr/Messenger.Api.Tests +Пройден! не пройдено 0, пройдено 49, пропущено 0, всего 49 +``` + +Тесты поднимают одноразовый контейнер PostgreSQL (Testcontainers) и приложение в процессе. Покрыто: регистрация и дубликат, 20 параллельных регистраций одного username (ровно один `201`), +Argon2id в `users.password_hash`, вход (Basic, двоеточие в пароле, одинаковый `401` для неверного пароля/неизвестного пользователя/битого заголовка), +`Authorization: Bearer` на всех защищённых endpoint, игнорирование `X-User-Id`, `401` до `400` для битого тела без токена, logout и повторный logout, +истёкшая сессия, в `sessions` лежит SHA-256 токена, доступ к чужому чату (`404`), keyset-пагинация, cursor другого чата (`400`), порядок истории при 300 параллельных отправках. diff --git a/evidence/lab2-level4.md b/evidence/lab2-level4.md new file mode 100644 index 00000000..2e5b42f8 --- /dev/null +++ b/evidence/lab2-level4.md @@ -0,0 +1,75 @@ +# Лабораторная 2: проверки уровня 4 + +Дата: 2026-10-23. Стенд: Docker Desktop (Windows 11), `docker compose` v5.1.3, PostgreSQL 17.11, Valkey 8.1.10, .NET 10. +Commit: рабочая копия до коммита. Токены и пароли в файле не приводятся. Уровень 3: [lab2-level3.md](lab2-level3.md). + +## 1. Роль Valkey: кэш страниц истории + +Источник истины — PostgreSQL. Ключ страницы: `hist:{chat_id}:v{history_version}:l{limit}:{cursor}`, значение — готовый JSON ответа, TTL 300 с, `maxmemory 64mb`, вытеснение `allkeys-lru`, persistence выключена (`--save "" --appendonly no`). +Версия `chats.history_version` читается из PostgreSQL при каждом чтении (тем же запросом, что проверяет доступ) и увеличивается в транзакции записи, поэтому после подтверждённой записи ключ меняется и устаревшая страница недостижима. + +Сценарий на живом стенде (`DIAGNOSTIC_HEADERS=true`, заголовки `X-Cache`, `X-Db-Queries`): + +| Шаг | X-Cache | SQL-запросов | Сообщений в ответе | +| --- | --- | --- | --- | +| 1. первое чтение | miss | 3 (сессия, версия+доступ, страница) | 3 | +| 2. повторное чтение | hit | 2 | 3 | +| 3. POST сообщения (201) и сразу чтение | miss (новая версия) | 3 | 4 | +| 4. повторное чтение | hit | 2 | 4 | +| 5. Valkey остановлен, чтение | bypass | 3 | 4 | +| 5б. запись при остановленном Valkey, чтение | bypass | 3 | 5 | +| 6. Valkey запущен снова | miss, затем hit | 3, затем 2 | 5 | + +## 2. Эксперименты отказов + +| Воздействие | Что ожидаем | Что наблюдали | +| --- | --- | --- | +| `docker compose stop cache` во время публичного smoke | smoke проходит, ответы корректны | `PASS` | +| `docker compose stop db` | запрос с токеном → `503 unavailable` без деталей; без токена → `401`; вход → `503`; `/health/ready` → `503`, `/health/live` → `200` | `me=503` за 0,03 с, тело `{"error":{"code":"unavailable","message":"Сервис временно недоступен",...}}`; `chats` без токена `401`; `login=503`; `ready=503`, `live=200` | +| `docker compose start db` | тот же токен снова работает без перезапуска API | `200` через 0,6 с после старта; затем smoke `PASS` | +| `scripts/restart.sh` (теперь перезапускает `db`, `cache`, `api`) + `tests/resilience.py --mode persistence` | данные и прежний токен сохранены | `PASS`; время старта: db 17:14:59→17:35:58, cache 17:30:29→17:35:57, api 17:35:47→17:36:04 (UTC) | + +## 3. План запроса истории: EXPLAIN (ANALYZE, BUFFERS) + +Скрипт: [scripts/explain-history.sql](../scripts/explain-history.sql). Данные: 75 000 сообщений в 2 002 чатах (1 чат — 60 000, 1 — 5 000, 2 000 по 5), порядок вставки перемешан. Запускалось в отдельной БД `explain_lab` внутри контейнера `db` (удалена после замера); `ANALYZE` выполнен; таблица 7,4 МБ, индекс `ix_messages_chat_history` 5,5 МБ. Все чтения из shared buffers (набор данных помещается в память), поэтому абсолютное время мало, а сравнивать надо буферы и число строк. +Запрос — тот, который генерирует EF (подзапрос + `ORDER BY created_at, id LIMIT 51`), параметры подставлены. + +| Вариант | План | Прочитано строк | Buffers (shared hit) | Время выполнения | +| --- | --- | --- | --- | --- | +| A. первая страница большого чата, индекс есть | Index Scan `ix_messages_chat_history` | 51 | 53 | 0,050 мс | +| B. страница из середины (30 000 до курсора), keyset, индекс есть | Index Scan, `Index Cond: (chat_id = …) AND (ROW(created_at, id) > ROW(…))` | 51 | 54 | 0,087 мс | +| C. последняя страница, keyset, индекс есть | Index Scan | 50 | 54 | 0,116 мс | +| D. маленький чат (5), индекс есть | Index Scan | 5 | 8 | 0,034 мс | +| E. то же, что B, но OFFSET 30000 | Index Only Scan + 30 051 Heap Fetches | 30 051 | 30 293 | 13,1 мс | +| F. то же, что B, **без индекса** | Seq Scan по всей таблице + top-N heapsort | 75 000 (29 999 прошли фильтр) | 926 | 11,4 мс | +| G. маленький чат, без индекса | Index Scan по `ix_messages_chat_id_sender_id` + Sort | 5 | 7 | 0,031 мс | + +Выводы: +- Условие курсора `(created_at, id) > (…)` целиком попадает в `Index Cond`: страница стоит ~54 буфера независимо от глубины (A, B, C), то есть история не сканируется целиком на каждую страницу. +- Без индекса (F) тот же запрос читает всю таблицу: в 17 раз больше буферов и в ~130 раз медленнее; с ростом таблицы разрыв растёт линейно. OFFSET-пагинация (E) хоть и использует индекс, читает все пропускаемые строки: 30 293 буфера против 54. +- Для маленьких чатов (G) индекс истории почти не нужен: помогает FK-индекс `(chat_id, sender_id)`. Индекс `(chat_id, created_at, id)` оправдан именно большими чатами. +- Ограничения: данные синтетические и прогреты в памяти; диск, конкуренция и стоимость записи индекса не измерялись (это тема трека 2). + +## 4. Автоматические проверки (`dotnet test scr/Messenger.Api.Tests`) + +``` +Пройден! не пройдено 0, пройдено 61, пропущено 0, всего 61 +``` + +Соответствие требованиям уровня 4: + +| Требование | Тест | +| --- | --- | +| Истечение сессии при коротком `SESSION_TTL_SECONDS` | `AuthTests.ShortSessionTtl_ExpiresSessionByItself` (отдельный экземпляр приложения с TTL=2 с, без правок БД) | +| Logout | `AuthTests.Logout_RevokesTokenAndSecondLogoutIsUnauthorized`, `LogoutOfOneSession_DoesNotAffectAnotherSessionOfSameUser` | +| Неверный пароль | `AuthTests.Login_WrongPasswordAndUnknownUser_GiveIdenticalUnauthorized` | +| Недоступность БД | `DependencyFailureTests.DatabaseDown_Returns503_NeverTrustsAnonymous_AndRecovers` | +| Недоступность кэша | `CacheTests.UnavailableCache_IsBypassed_AndRequestsStillSucceed`, `UnavailableCache_DoesNotTrustAnonymousRequests` | +| Ограниченный пул и таймауты | `DependencyFailureTests.ExhaustedConnectionPool_ReturnsBoundedError` (пул из 1 соединения, ожидание 1 с → `503` быстрее 6 с) | +| Гонка регистрации одного username | `ConcurencyTests.RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors` (20 параллельных → один `201`, 19 `409`) | +| Rollback составной операции | `DependencyFailureTests.FailedMessageInsert_RollsBackVersionAndTimestamp`, `FailedChatMemberInsert_RollsBackWholeChat` (сбой внедряется триггером БД; после сбоя версия, `last_message_at`, строки чата и участников не изменились) | +| Кэш не отдаёт устаревшее | `CacheTests.ReadAfterWrite_NeverReturnsStaleCachedPage`, `FlushedCache_DoesNotChangeResults`, `CachedPage_IsNotVisibleToNonMember` | + +Проверка самих тестов (мутации, затем возврат кода): +- функция, превращающая отказ БД в `503`, заменена на `false` → `DatabaseDown...` и `ExhaustedConnectionPool...` упали (`Expected: ServiceUnavailable, Actual: InternalServerError`); +- версия убрана из ключа кэша → `CacheTests` упали (`Assert.Contains() Failure: Item not found in collection`). diff --git a/evidence/lab2-track2.md b/evidence/lab2-track2.md new file mode 100644 index 00000000..95e83e40 --- /dev/null +++ b/evidence/lab2-track2.md @@ -0,0 +1,81 @@ +# Лабораторная 2, трек 2: план запроса и восстановление + +Дата: 2026-10-23. Стенд: Docker Desktop (Windows 11, 16 CPU, 8 ГБ памяти у Docker), PostgreSQL 17.11 в одноразовом контейнере `track2-src` (параметры по умолчанию: `shared_buffers` 128 МБ, `fsync` включён). Commit: рабочая копия до коммита. +Воспроизведение: `sh scripts/track2/run.sh up && sh scripts/track2/run.sh indexes && sh scripts/track2/run.sh backup && sh scripts/track2/run.sh down`. +Сырые результаты — в [evidence/track2/](track2/). Данные синтетические; токены и пароли не приводятся. + +## Гипотеза + +1. Индекс `(chat_id, created_at, id)` делает стоимость страницы истории независимой от глубины и размера чата (читаются ~50 буферов вместо сканирования таблицы). Варианты: без индекса, `(chat_id, created_at)` (уже и дешевле при записи, но без `id`), покрывающий `(chat_id, created_at, id) INCLUDE (sender_id, text)` (быстрее чтение за счёт Index Only Scan, но шире). +2. Дополнительный индекс удорожает запись: больше WAL и времени на вставку, больше места. +3. Логический backup (`pg_dump -Fc`) восстанавливается в чистое хранилище без потерь данных до момента backup, а всё записанное после него теряется (граница потери — интервал между backup). + +## Данные + +115 000 сообщений в 2 007 чатах, неравномерно: 1 чат — 80 000, 1 — 20 000, 5 — по 1 000, 2 000 — по 5 сообщений. Порядок вставки перемешан, `ANALYZE` выполнен. Скрипт: [scripts/track2/seed.sql](../scripts/track2/seed.sql). + +## Методика + +- Запрос — тот, что генерирует приложение (подзапрос с `ORDER BY created_at, id LIMIT 51`, keyset-условие `(created_at, id) > (…)`). Планы — `EXPLAIN (ANALYZE, BUFFERS)` на **втором (прогретом) запуске**; для каждого варианта таблица пересобирается `VACUUM FULL`, строки прошлых прогонов записи удаляются. +- Чтение: `pgbench -c 4 -j 2 -T 10`, страница большого чата с курсором случайной глубины ([read.pgbench](../scripts/track2/read.pgbench)); 3 повтора, приведена медиана и разброс. +- Запись: `pgbench -c 4 -j 2 -T 10`, 80% вставок в большой чат, 20% в средний, одна вставка = одна транзакция ([write.pgbench](../scripts/track2/write.pgbench)); 3 повтора. +- Стоимость индекса: bulk-вставка 100 000 строк в большой чат одним оператором (`EXPLAIN (ANALYZE, WAL)`, затем `ROLLBACK`): здесь нет fsync на каждую строку, видна чистая стоимость поддержки индекса. + +## Результаты: планы (прогретые буферы, shared hit) + +| Запрос | Без индекса | `(chat_id, created_at, id)` | `(chat_id, created_at)` | покрывающий `INCLUDE (sender_id, text)` | +| --- | --- | --- | --- | --- | +| Q1 первая страница большого чата | Gather Merge + Parallel Seq Scan, 1 930 буферов, 14,6 мс | Index Scan, 54 буфера, 0,30 мс | Incremental Sort + Index Scan, 64, 0,30 мс | Index Only Scan, 55, 0,23 мс | +| Q2 страница из середины (keyset) | Parallel Seq Scan, 1 901, 12,1 мс | Index Scan, 54, 0,21 мс | Incremental Sort, 56, 0,28 мс | Index Only Scan, 55, 0,23 мс | +| Q3 последняя страница (keyset) | Seq Scan, 1 886, 10,5 мс | Index Scan, 35, 0,13 мс | Incremental Sort, 36, 0,19 мс | Index Only Scan, 35, 0,12 мс | +| Q4 маленький чат (5 сообщений) | Index Scan по FK-индексу `(chat_id, sender_id)` + Sort, 7, 0,04 мс | Index Scan, 8, 0,05 мс | FK-индекс + Sort, 7, 0,06 мс | Index Only Scan, 8, 0,05 мс | +| Q5 то же, что Q2, но `OFFSET 40000` | Seq Scan + внешняя сортировка на диске (temp), 1 886, 50,7 мс | Index Scan, 40 322, 20,4 мс | 40 235, 24,6 мс | Index Only Scan, 40 672, 19,2 мс | + +## Результаты: нагрузка (pgbench, 4 клиента) + +| Вариант | Чтение, страниц/с (медиана; мин–макс) | Задержка чтения | Запись, вставок/с (медиана; мин–макс) | +| --- | --- | --- | --- | +| без индекса | 213 (211–218) | ~18,8 мс | 1 677 (1 645–1 692) | +| `(chat_id, created_at, id)` | 6 219 (6 149–6 352) | ~0,64 мс | 1 694 (1 665–1 696) | +| `(chat_id, created_at)` | 5 994 (5 697–6 041) | ~0,67 мс | 1 624 (1 605–1 679) | +| покрывающий | 6 216 (5 882–6 794) | ~0,64 мс | 1 685 (1 656–1 694) | + +## Результаты: стоимость индекса + +| Вариант | Размер индекса до записи | после ~50 тыс. вставок | WAL при bulk-вставке 100 000 строк | Время bulk-вставки | Вставка сообщения 4 000 символов | +| --- | --- | --- | --- | --- | --- | +| без индекса | — | — | 31,1 МБ (базовая линия) | 1 351 мс | ок | +| `(chat_id, created_at, id)` | 6,5 МБ | 11 МБ | 45,8 МБ (+14,7 МБ, +47%) | 1 695 мс (+25%) | ок | +| `(chat_id, created_at)` | 4,5 МБ | 7,6 МБ | 42,4 МБ (+11,3 МБ, +36%) | 1 588 мс (+18%) | ок | +| покрывающий | 14 МБ | 22 МБ | 52,5 МБ (+21,4 МБ, +69%) | 1 760 мс (+30%) | **ошибка:** `index row size 4072 exceeds btree version 4 maximum 2704` | + +## Выводы по индексам + +- Индекс для истории обязателен: без него страница стоит ~1 900 буферов (вся таблица) и ~10–15 мс уже на 115 000 строк, пропускная способность чтения ниже в ~29 раз (213 против 6 219 страниц/с); стоимость растёт линейно с таблицей. С индексом страница стоит ~35–64 буфера на любой глубине. +- Выбор: **оставить `(chat_id, created_at, id)`**. Его порядок совпадает с `ORDER BY` и keyset-условием, сортировка не нужна, задержка предсказуема. +- `(chat_id, created_at)` на 31% меньше и на 23% дешевле по WAL, но требует Incremental Sort и читает чуть больше буферов; чтение в пределах разброса. Это допустимая альтернатива, если важнее место и запись, но выигрыш невелик. +- Покрывающий индекс отклонён: чтение в пределах разброса измерений (Index Only Scan экономит обращения к куче, но на прогретых данных разница меньше шума), индекс вдвое больше, WAL +69%, а главное — он **ломает запись длинных сообщений**: контракт разрешает 4 000 символов, а строка B-дерева ограничена ~2,7 КБ. +- Запись: на уровне транзакций (один COMMIT на вставку) различия между вариантами (±3–4%) меньше разброса между повторами: время определяется fsync журнала. Стоимость индекса видна в WAL и времени bulk-вставки (+18…30%) и в размере. Число байт WAL на одну вставку при pgbench колебалось между прогонами (472–858) из-за полностраничных записей после контрольных точек и как показатель не используется. +- OFFSET-пагинация (Q5) даже с индексом читает все пропущенные строки (~40 000 буферов против 54), а без индекса ещё и сбрасывает сортировку на диск: keyset-курсор принципиально лучше. + +## Backup и восстановление + +Источник: БД `track2-src` (115 000 сообщений, 1 активная сессия, схема приложения и `__EFMigrationsHistory`). Схема `bench` с вспомогательными таблицами эксперимента в backup не входит (`pg_dump -N bench`). + +| Шаг | Команда / действие | Результат | +| --- | --- | --- | +| 1. Контрольные суммы источника | [verify.sql](../scripts/track2/verify.sql): числа строк и md5 от полного содержимого | 12 проверок: users, chats, chat_members, messages (вся таблица), sessions, миграции, сообщений по чатам, первые и последние 100 сообщений большого чата, выборка ~1/115 (1 021 сообщение), индексы (14), ограничения (17) | +| 2. Backup | `pg_dump -Fc -N bench` | 0,9 с; 6 487 754 байт (6,2 МиБ) | +| 3. Запись после backup | +100 сообщений в источник | в источнике 115 100 | +| 4. Восстановление в новое хранилище | новый контейнер `track2-restore`, новый том `track2_restore`, `createdb`, `pg_restore --exit-on-error --jobs 4`, затем `ANALYZE` | 0,8 с + 0,5 с = 1,3 с | +| 5. Сверка | те же контрольные суммы на копии, `diff` с источником «до backup» | **совпали полностью** (все 12 проверок); сообщений в копии 115 000, в источнике 115 100: **потеряно 100 (записано после backup)** | +| 6. Приложение поверх копии | второй экземпляр API на копии, тот же Bearer-токен, что был выдан до backup | `GET /users/me` → 200 (сессия восстановлена); 8 страниц истории большого чата по `limit=100` через API на источнике и на копии совпали побайтно; миграции повторно не применялись | + +Проверка самой сверки (негативный контроль, [verify-negative-control.txt](track2/verify-negative-control.txt)): после дописывания одного символа в одно сообщение копии не совпал хеш **всей таблицы** `messages`, а выборочные хеши (первые/последние 100, ~1/115) остались прежними, так как изменённая строка в них не попала. Значит, достоверность дают хеши полного содержимого таблиц; выборки лишь дополнительно показывают конкретные сообщения. + +## Время восстановления и границы потери данных + +- **Измеренное время восстановления (RTO)** для этого набора: 1,3 с на `pg_restore` + `ANALYZE` (6,2 МиБ дампа, 115 000 сообщений). Сюда **не входят** создание хранилища и контейнера, передача дампа, переключение приложения и обнаружение сбоя. Для больших объёмов время будет расти (минимум линейно из-за построения индексов и I/O); экстраполяция по одному измерению на малых данных — гипотеза, а не результат. +- **Граница потери данных (RPO)** при логическом backup равна интервалу между backup: в эксперименте потеряны ровно 100 сообщений, записанных после дампа. `pg_dump` читает согласованный снимок на момент начала, но восстановить состояние «за минуту до сбоя» (PITR) нельзя. Для этого нужны непрерывная архивация WAL (`archive_command` / `pg_basebackup`) и отдельное хранилище архива; в работе они **не реализованы**. +- **Что дополнительно важно.** (1) Восстановление старого backup «воскрешает» сессии, отозванные после него (`revoked_at` восстанавливается из дампа): после восстановления из backup нужно отозвать все сессии. (2) Дамп содержит хеши паролей и хеши токенов сессий: хранить его нужно как секрет. (3) Backup лежит на том же хосте, что и источник, и не шифруется: от потери хоста он не защищает. +- Ограничения измерений: один хост и один прогон backup, синтетические данные, холодных чтений с диска нет (набор помещается в память), `fsync` Docker Desktop может отличаться от реального диска. diff --git a/evidence/track2/backup-timings.txt b/evidence/track2/backup-timings.txt new file mode 100644 index 00000000..7375ed4a --- /dev/null +++ b/evidence/track2/backup-timings.txt @@ -0,0 +1,7 @@ +pg_dump: 0.9 с, размер дампа: 6487754 байт +в источнике теперь 115100 сообщений +pg_restore (--jobs 4): 0.8 с; ANALYZE: 0.5 с; итого до готовности к работе: 1.3 с +СОВПАДАЕТ: все контрольные суммы и числа строк идентичны +сообщений в копии: 115000; в источнике: 115100; потеряно (записано после backup): 100 +сессия, созданная до backup, действует на копии: GET /users/me -> 200 +страницы истории большого чата через API (источник и копия) совпадают побайтно: 8 из 8 diff --git a/evidence/track2/pgbench-covering.txt b/evidence/track2/pgbench-covering.txt new file mode 100644 index 00000000..62ff94fa --- /dev/null +++ b/evidence/track2/pgbench-covering.txt @@ -0,0 +1,8 @@ +read: +number of transactions actually processed: 62138 latency average = 0.643 ms tps = 6216.254799 (without initial connection time) +number of transactions actually processed: 58790 latency average = 0.680 ms tps = 5881.725592 (without initial connection time) +number of transactions actually processed: 67909 latency average = 0.589 ms tps = 6794.075551 (without initial connection time) +write: +number of transactions actually processed: 16847 latency average = 2.374 ms tps = 1685.193930 (without initial connection time) +number of transactions actually processed: 16939 latency average = 2.361 ms tps = 1694.410526 (without initial connection time) +number of transactions actually processed: 16557 latency average = 2.416 ms tps = 1655.868733 (without initial connection time) diff --git a/evidence/track2/pgbench-hist.txt b/evidence/track2/pgbench-hist.txt new file mode 100644 index 00000000..d87e93dd --- /dev/null +++ b/evidence/track2/pgbench-hist.txt @@ -0,0 +1,8 @@ +read: +number of transactions actually processed: 62256 latency average = 0.643 ms tps = 6218.755638 (without initial connection time) +number of transactions actually processed: 63493 latency average = 0.630 ms tps = 6352.291929 (without initial connection time) +number of transactions actually processed: 61567 latency average = 0.650 ms tps = 6149.124893 (without initial connection time) +write: +number of transactions actually processed: 16946 latency average = 2.362 ms tps = 1693.745167 (without initial connection time) +number of transactions actually processed: 16641 latency average = 2.403 ms tps = 1664.848849 (without initial connection time) +number of transactions actually processed: 16963 latency average = 2.358 ms tps = 1696.038471 (without initial connection time) diff --git a/evidence/track2/pgbench-none.txt b/evidence/track2/pgbench-none.txt new file mode 100644 index 00000000..177c2dae --- /dev/null +++ b/evidence/track2/pgbench-none.txt @@ -0,0 +1,8 @@ +read: +number of transactions actually processed: 2127 latency average = 18.819 ms tps = 212.554761 (without initial connection time) +number of transactions actually processed: 2108 latency average = 18.988 ms tps = 210.654143 (without initial connection time) +number of transactions actually processed: 2183 latency average = 18.340 ms tps = 218.100983 (without initial connection time) +write: +number of transactions actually processed: 16448 latency average = 2.432 ms tps = 1644.662835 (without initial connection time) +number of transactions actually processed: 16916 latency average = 2.364 ms tps = 1691.860716 (without initial connection time) +number of transactions actually processed: 16770 latency average = 2.386 ms tps = 1676.663158 (without initial connection time) diff --git a/evidence/track2/pgbench-nosort.txt b/evidence/track2/pgbench-nosort.txt new file mode 100644 index 00000000..4bcd6f31 --- /dev/null +++ b/evidence/track2/pgbench-nosort.txt @@ -0,0 +1,8 @@ +read: +number of transactions actually processed: 59903 latency average = 0.667 ms tps = 5994.227418 (without initial connection time) +number of transactions actually processed: 60383 latency average = 0.662 ms tps = 6041.275328 (without initial connection time) +number of transactions actually processed: 56943 latency average = 0.702 ms tps = 5697.289368 (without initial connection time) +write: +number of transactions actually processed: 16061 latency average = 2.493 ms tps = 1604.783436 (without initial connection time) +number of transactions actually processed: 16784 latency average = 2.382 ms tps = 1679.071629 (without initial connection time) +number of transactions actually processed: 16241 latency average = 2.463 ms tps = 1623.989731 (without initial connection time) diff --git a/evidence/track2/plans-covering.txt b/evidence/track2/plans-covering.txt new file mode 100644 index 00000000..30d30771 --- /dev/null +++ b/evidence/track2/plans-covering.txt @@ -0,0 +1,67 @@ +--- Q1 первая страница большого чата (80 000), keyset + QUERY PLAN +--------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=55 + -> Index Only Scan using ix_t2_covering on messages (actual rows=51 loops=1) + Index Cond: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Heap Fetches: 51 + Buffers: shared hit=55 + Planning: + Buffers: shared hit=161 + Planning Time: 0.806 ms + Execution Time: 0.234 ms +(10 rows) + +--- Q2 страница из середины большого чата, keyset + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ + Limit (actual rows=51 loops=1) + Buffers: shared hit=55 + -> Index Only Scan using ix_t2_covering on messages (actual rows=51 loops=1) + Index Cond: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 11:06:24+00'::timestamp with time zone, '3126d0c5-166f-481e-96bf-c950463908dc'::uuid))) + Heap Fetches: 51 + Buffers: shared hit=55 + Planning Time: 0.073 ms + Execution Time: 0.230 ms +(8 rows) + +--- Q3 последняя страница большого чата, keyset + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ + Limit (actual rows=32 loops=1) + Buffers: shared hit=35 + -> Index Only Scan using ix_t2_covering on messages (actual rows=32 loops=1) + Index Cond: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 22:12:48+00'::timestamp with time zone, 'c8a497c3-78fd-44f5-8bc7-3abcc4d06d1d'::uuid))) + Heap Fetches: 32 + Buffers: shared hit=35 + Planning Time: 0.077 ms + Execution Time: 0.117 ms +(8 rows) + +--- Q4 маленький чат (5 сообщений) + QUERY PLAN +-------------------------------------------------------------------------------- + Limit (actual rows=5 loops=1) + Buffers: shared hit=8 + -> Index Only Scan using ix_t2_covering on messages (actual rows=5 loops=1) + Index Cond: (chat_id = 'a7223743-6f48-4880-9b67-0e0cc8635177'::uuid) + Heap Fetches: 5 + Buffers: shared hit=8 + Planning Time: 0.067 ms + Execution Time: 0.050 ms +(8 rows) + +--- Q5 середина большого чата, OFFSET 40000 (для сравнения с keyset) + QUERY PLAN +-------------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=40672 + -> Index Only Scan using ix_t2_covering on messages m (actual rows=40051 loops=1) + Index Cond: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Heap Fetches: 40051 + Buffers: shared hit=40672 + Planning Time: 0.056 ms + Execution Time: 19.230 ms +(8 rows) + diff --git a/evidence/track2/plans-hist.txt b/evidence/track2/plans-hist.txt new file mode 100644 index 00000000..29c221af --- /dev/null +++ b/evidence/track2/plans-hist.txt @@ -0,0 +1,62 @@ +--- Q1 первая страница большого чата (80 000), keyset + QUERY PLAN +------------------------------------------------------------------------------ + Limit (actual rows=51 loops=1) + Buffers: shared hit=54 + -> Index Scan using ix_t2_hist on messages (actual rows=51 loops=1) + Index Cond: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Buffers: shared hit=54 + Planning: + Buffers: shared hit=155 + Planning Time: 0.530 ms + Execution Time: 0.300 ms +(9 rows) + +--- Q2 страница из середины большого чата, keyset + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ + Limit (actual rows=51 loops=1) + Buffers: shared hit=54 + -> Index Scan using ix_t2_hist on messages (actual rows=51 loops=1) + Index Cond: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 11:06:24+00'::timestamp with time zone, '3126d0c5-166f-481e-96bf-c950463908dc'::uuid))) + Buffers: shared hit=54 + Planning Time: 0.088 ms + Execution Time: 0.209 ms +(7 rows) + +--- Q3 последняя страница большого чата, keyset + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ + Limit (actual rows=32 loops=1) + Buffers: shared hit=35 + -> Index Scan using ix_t2_hist on messages (actual rows=32 loops=1) + Index Cond: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 22:12:48+00'::timestamp with time zone, 'c8a497c3-78fd-44f5-8bc7-3abcc4d06d1d'::uuid))) + Buffers: shared hit=35 + Planning Time: 0.094 ms + Execution Time: 0.131 ms +(7 rows) + +--- Q4 маленький чат (5 сообщений) + QUERY PLAN +------------------------------------------------------------------------------ + Limit (actual rows=5 loops=1) + Buffers: shared hit=8 + -> Index Scan using ix_t2_hist on messages (actual rows=5 loops=1) + Index Cond: (chat_id = 'a7223743-6f48-4880-9b67-0e0cc8635177'::uuid) + Buffers: shared hit=8 + Planning Time: 0.114 ms + Execution Time: 0.051 ms +(7 rows) + +--- Q5 середина большого чата, OFFSET 40000 (для сравнения с keyset) + QUERY PLAN +------------------------------------------------------------------------------ + Limit (actual rows=51 loops=1) + Buffers: shared hit=40322 + -> Index Scan using ix_t2_hist on messages m (actual rows=40051 loops=1) + Index Cond: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Buffers: shared hit=40322 + Planning Time: 0.082 ms + Execution Time: 20.350 ms +(7 rows) + diff --git a/evidence/track2/plans-none.txt b/evidence/track2/plans-none.txt new file mode 100644 index 00000000..d5a8d480 --- /dev/null +++ b/evidence/track2/plans-none.txt @@ -0,0 +1,96 @@ +--- Q1 первая страница большого чата (80 000), keyset + QUERY PLAN +-------------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=1930 + -> Gather Merge (actual rows=51 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=1930 + -> Sort (actual rows=40 loops=2) + Sort Key: messages.created_at, messages.id + Sort Method: top-N heapsort Memory: 36kB + Buffers: shared hit=1930 + Worker 0: Sort Method: top-N heapsort Memory: 36kB + -> Parallel Seq Scan on messages (actual rows=40000 loops=2) + Filter: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Rows Removed by Filter: 17500 + Buffers: shared hit=1886 + Planning: + Buffers: shared hit=133 + Planning Time: 0.474 ms + Execution Time: 14.564 ms +(19 rows) + +--- Q2 страница из середины большого чата, keyset + QUERY PLAN +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=1901 + -> Gather Merge (actual rows=51 loops=1) + Workers Planned: 1 + Workers Launched: 1 + Buffers: shared hit=1901 + -> Sort (actual rows=40 loops=2) + Sort Key: messages.created_at, messages.id + Sort Method: top-N heapsort Memory: 35kB + Buffers: shared hit=1901 + Worker 0: Sort Method: top-N heapsort Memory: 36kB + -> Parallel Seq Scan on messages (actual rows=20008 loops=2) + Filter: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 11:06:24+00'::timestamp with time zone, '3126d0c5-166f-481e-96bf-c950463908dc'::uuid))) + Rows Removed by Filter: 37492 + Buffers: shared hit=1886 + Planning Time: 0.081 ms + Execution Time: 12.118 ms +(17 rows) + +--- Q3 последняя страница большого чата, keyset + QUERY PLAN +-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (actual rows=32 loops=1) + Buffers: shared hit=1886 + -> Sort (actual rows=32 loops=1) + Sort Key: messages.created_at, messages.id + Sort Method: quicksort Memory: 29kB + Buffers: shared hit=1886 + -> Seq Scan on messages (actual rows=32 loops=1) + Filter: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (ROW(created_at, id) > ROW('2026-01-01 22:12:48+00'::timestamp with time zone, 'c8a497c3-78fd-44f5-8bc7-3abcc4d06d1d'::uuid))) + Rows Removed by Filter: 114968 + Buffers: shared hit=1886 + Planning Time: 0.162 ms + Execution Time: 10.543 ms +(12 rows) + +--- Q4 маленький чат (5 сообщений) + QUERY PLAN +------------------------------------------------------------------------------------------------ + Limit (actual rows=5 loops=1) + Buffers: shared hit=7 + -> Sort (actual rows=5 loops=1) + Sort Key: messages.created_at, messages.id + Sort Method: quicksort Memory: 25kB + Buffers: shared hit=7 + -> Index Scan using ix_messages_chat_id_sender_id on messages (actual rows=5 loops=1) + Index Cond: (chat_id = 'a7223743-6f48-4880-9b67-0e0cc8635177'::uuid) + Buffers: shared hit=7 + Planning Time: 0.080 ms + Execution Time: 0.036 ms +(11 rows) + +--- Q5 середина большого чата, OFFSET 40000 (для сравнения с keyset) + QUERY PLAN +-------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=1886, temp read=782 written=1109 + -> Sort (actual rows=40051 loops=1) + Sort Key: created_at, id + Sort Method: external merge Disk: 8848kB + Buffers: shared hit=1886, temp read=782 written=1109 + -> Seq Scan on messages m (actual rows=80000 loops=1) + Filter: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Rows Removed by Filter: 35000 + Buffers: shared hit=1886 + Planning Time: 0.040 ms + Execution Time: 50.742 ms +(12 rows) + diff --git a/evidence/track2/plans-nosort.txt b/evidence/track2/plans-nosort.txt new file mode 100644 index 00000000..cacf246d --- /dev/null +++ b/evidence/track2/plans-nosort.txt @@ -0,0 +1,92 @@ +--- Q1 первая страница большого чата (80 000), keyset + QUERY PLAN +---------------------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=64 + -> Incremental Sort (actual rows=51 loops=1) + Sort Key: messages.created_at, messages.id + Presorted Key: messages.created_at + Full-sort Groups: 2 Sort Method: quicksort Average Memory: 29kB Peak Memory: 29kB + Buffers: shared hit=64 + -> Index Scan using ix_t2_nosort on messages (actual rows=52 loops=1) + Index Cond: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Buffers: shared hit=55 + Planning: + Buffers: shared hit=152 + Planning Time: 0.510 ms + Execution Time: 0.296 ms +(14 rows) + +--- Q2 страница из середины большого чата, keyset + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=56 + -> Incremental Sort (actual rows=51 loops=1) + Sort Key: messages.created_at, messages.id + Presorted Key: messages.created_at + Full-sort Groups: 2 Sort Method: quicksort Average Memory: 29kB Peak Memory: 29kB + Buffers: shared hit=56 + -> Index Scan using ix_t2_nosort on messages (actual rows=52 loops=1) + Index Cond: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (created_at >= '2026-01-01 11:06:24+00'::timestamp with time zone)) + Filter: (ROW(created_at, id) > ROW('2026-01-01 11:06:24+00'::timestamp with time zone, '3126d0c5-166f-481e-96bf-c950463908dc'::uuid)) + Rows Removed by Filter: 1 + Buffers: shared hit=56 + Planning: + Buffers: shared hit=9 + Planning Time: 0.109 ms + Execution Time: 0.278 ms +(16 rows) + +--- Q3 последняя страница большого чата, keyset + QUERY PLAN +------------------------------------------------------------------------------------------------------------------------------------------------------------- + Limit (actual rows=32 loops=1) + Buffers: shared hit=36 + -> Incremental Sort (actual rows=32 loops=1) + Sort Key: messages.created_at, messages.id + Presorted Key: messages.created_at + Full-sort Groups: 1 Sort Method: quicksort Average Memory: 29kB Peak Memory: 29kB + Buffers: shared hit=36 + -> Index Scan using ix_t2_nosort on messages (actual rows=32 loops=1) + Index Cond: ((chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) AND (created_at >= '2026-01-01 22:12:48+00'::timestamp with time zone)) + Filter: (ROW(created_at, id) > ROW('2026-01-01 22:12:48+00'::timestamp with time zone, 'c8a497c3-78fd-44f5-8bc7-3abcc4d06d1d'::uuid)) + Rows Removed by Filter: 1 + Buffers: shared hit=36 + Planning Time: 0.104 ms + Execution Time: 0.188 ms +(14 rows) + +--- Q4 маленький чат (5 сообщений) + QUERY PLAN +------------------------------------------------------------------------------------------------ + Limit (actual rows=5 loops=1) + Buffers: shared hit=7 + -> Sort (actual rows=5 loops=1) + Sort Key: messages.created_at, messages.id + Sort Method: quicksort Memory: 25kB + Buffers: shared hit=7 + -> Index Scan using ix_messages_chat_id_sender_id on messages (actual rows=5 loops=1) + Index Cond: (chat_id = 'a7223743-6f48-4880-9b67-0e0cc8635177'::uuid) + Buffers: shared hit=7 + Planning Time: 0.093 ms + Execution Time: 0.061 ms +(11 rows) + +--- Q5 середина большого чата, OFFSET 40000 (для сравнения с keyset) + QUERY PLAN +------------------------------------------------------------------------------------------------- + Limit (actual rows=51 loops=1) + Buffers: shared hit=40235 + -> Incremental Sort (actual rows=40051 loops=1) + Sort Key: created_at, id + Presorted Key: created_at + Full-sort Groups: 1252 Sort Method: quicksort Average Memory: 29kB Peak Memory: 29kB + Buffers: shared hit=40235 + -> Index Scan using ix_t2_nosort on messages m (actual rows=40052 loops=1) + Index Cond: (chat_id = '60e7163e-605c-470b-81c0-820c332cfec7'::uuid) + Buffers: shared hit=40235 + Planning Time: 0.070 ms + Execution Time: 24.558 ms +(12 rows) + diff --git a/evidence/track2/seed-summary.txt b/evidence/track2/seed-summary.txt new file mode 100644 index 00000000..97578d33 --- /dev/null +++ b/evidence/track2/seed-summary.txt @@ -0,0 +1,5 @@ + messages | chats | biggest_chat +----------+-------+-------------- + 115000 | 2007 | 80000 +(1 row) + diff --git a/evidence/track2/variants-summary.txt b/evidence/track2/variants-summary.txt new file mode 100644 index 00000000..74411cf6 --- /dev/null +++ b/evidence/track2/variants-summary.txt @@ -0,0 +1,56 @@ +### none +index_size_before_writes: - ; index_size_after_writes: - +insert_4000_chars: INSERT 0 1 +wal_bytes_per_inserted_row (pgbench, 1 строка = 1 транзакция): 858 +bulk_insert_100000_rows: WAL: records=302444 bytes=31081344 Execution Time: 1350.743 ms +read: +number of transactions actually processed: 2127 latency average = 18.819 ms tps = 212.554761 (without initial connection time) +number of transactions actually processed: 2108 latency average = 18.988 ms tps = 210.654143 (without initial connection time) +number of transactions actually processed: 2183 latency average = 18.340 ms tps = 218.100983 (without initial connection time) +write: +number of transactions actually processed: 16448 latency average = 2.432 ms tps = 1644.662835 (without initial connection time) +number of transactions actually processed: 16916 latency average = 2.364 ms tps = 1691.860716 (without initial connection time) +number of transactions actually processed: 16770 latency average = 2.386 ms tps = 1676.663158 (without initial connection time) + +### hist +index_size_before_writes: 6640 kB ; index_size_after_writes: 11 MB +insert_4000_chars: INSERT 0 1 +wal_bytes_per_inserted_row (pgbench, 1 строка = 1 транзакция): 616 +bulk_insert_100000_rows: WAL: records=403760 bytes=45789852 Execution Time: 1695.049 ms +read: +number of transactions actually processed: 62256 latency average = 0.643 ms tps = 6218.755638 (without initial connection time) +number of transactions actually processed: 63493 latency average = 0.630 ms tps = 6352.291929 (without initial connection time) +number of transactions actually processed: 61567 latency average = 0.650 ms tps = 6149.124893 (without initial connection time) +write: +number of transactions actually processed: 16946 latency average = 2.362 ms tps = 1693.745167 (without initial connection time) +number of transactions actually processed: 16641 latency average = 2.403 ms tps = 1664.848849 (without initial connection time) +number of transactions actually processed: 16963 latency average = 2.358 ms tps = 1696.038471 (without initial connection time) + +### nosort +index_size_before_writes: 4584 kB ; index_size_after_writes: 7760 kB +insert_4000_chars: INSERT 0 1 +wal_bytes_per_inserted_row (pgbench, 1 строка = 1 транзакция): 583 +bulk_insert_100000_rows: WAL: records=403328 bytes=42385380 Execution Time: 1587.981 ms +read: +number of transactions actually processed: 59903 latency average = 0.667 ms tps = 5994.227418 (without initial connection time) +number of transactions actually processed: 60383 latency average = 0.662 ms tps = 6041.275328 (without initial connection time) +number of transactions actually processed: 56943 latency average = 0.702 ms tps = 5697.289368 (without initial connection time) +write: +number of transactions actually processed: 16061 latency average = 2.493 ms tps = 1604.783436 (without initial connection time) +number of transactions actually processed: 16784 latency average = 2.382 ms tps = 1679.071629 (without initial connection time) +number of transactions actually processed: 16241 latency average = 2.463 ms tps = 1623.989731 (without initial connection time) + +### covering +index_size_before_writes: 14 MB ; index_size_after_writes: 22 MB +insert_4000_chars: ERROR: index row size 4072 exceeds btree version 4 maximum 2704 for index "ix_t2_covering" +wal_bytes_per_inserted_row (pgbench, 1 строка = 1 транзакция): 666 +bulk_insert_100000_rows: WAL: records=404576 bytes=52517584 Execution Time: 1760.480 ms +read: +number of transactions actually processed: 62138 latency average = 0.643 ms tps = 6216.254799 (without initial connection time) +number of transactions actually processed: 58790 latency average = 0.680 ms tps = 5881.725592 (without initial connection time) +number of transactions actually processed: 67909 latency average = 0.589 ms tps = 6794.075551 (without initial connection time) +write: +number of transactions actually processed: 16847 latency average = 2.374 ms tps = 1685.193930 (without initial connection time) +number of transactions actually processed: 16939 latency average = 2.361 ms tps = 1694.410526 (without initial connection time) +number of transactions actually processed: 16557 latency average = 2.416 ms tps = 1655.868733 (without initial connection time) + diff --git a/evidence/track2/verify-diff.txt b/evidence/track2/verify-diff.txt new file mode 100644 index 00000000..e69de29b diff --git a/evidence/track2/verify-negative-control.txt b/evidence/track2/verify-negative-control.txt new file mode 100644 index 00000000..31d1655d --- /dev/null +++ b/evidence/track2/verify-negative-control.txt @@ -0,0 +1,4 @@ +4c4 +< messages (вся таблица)|115000|e7f19607379781ee110b9200494bbcf3 +--- +> messages (вся таблица)|115000|b807300ed40a4955402060d63cdc19a5 diff --git a/evidence/track2/verify-restored.txt b/evidence/track2/verify-restored.txt new file mode 100644 index 00000000..6c164e7f --- /dev/null +++ b/evidence/track2/verify-restored.txt @@ -0,0 +1,12 @@ +users|3|51bcdca8513517684d2dfa6fd4c4aff5 +chats|2007|0da84d05ff1ad3e7a62433144c4582ac +chat_members|6021|779ff444836543e364e76f63f6a384bb +messages (вся таблица)|115000|e7f19607379781ee110b9200494bbcf3 +sessions|1|c8063ca9281542b6ba8f4484a1a99d16 +ef_migrations|2|6f913313d9b9a19dfa647da18c45bb08 +сообщений по чатам|2007|c6b7fa4e7d14dd960089a87244b52b86 +большой чат: первые 100|100|d55e32e077b1346e0ee2bdc26f8ff82e +большой чат: последние 100|100|bd6aacada35def95a3404cc6e88c4317 +выборка ~1/115|1021|347c369111e508ee71004d0388ab7e14 +индексы|14|02562701b856f65b731b4567c3499a3a +ограничения|17|6138d2f6f3395e1e26f36c6071a2de0c diff --git a/evidence/track2/verify-source.txt b/evidence/track2/verify-source.txt new file mode 100644 index 00000000..6c164e7f --- /dev/null +++ b/evidence/track2/verify-source.txt @@ -0,0 +1,12 @@ +users|3|51bcdca8513517684d2dfa6fd4c4aff5 +chats|2007|0da84d05ff1ad3e7a62433144c4582ac +chat_members|6021|779ff444836543e364e76f63f6a384bb +messages (вся таблица)|115000|e7f19607379781ee110b9200494bbcf3 +sessions|1|c8063ca9281542b6ba8f4484a1a99d16 +ef_migrations|2|6f913313d9b9a19dfa647da18c45bb08 +сообщений по чатам|2007|c6b7fa4e7d14dd960089a87244b52b86 +большой чат: первые 100|100|d55e32e077b1346e0ee2bdc26f8ff82e +большой чат: последние 100|100|bd6aacada35def95a3404cc6e88c4317 +выборка ~1/115|1021|347c369111e508ee71004d0388ab7e14 +индексы|14|02562701b856f65b731b4567c3499a3a +ограничения|17|6138d2f6f3395e1e26f36c6071a2de0c diff --git a/evidence/track2/volumes.txt b/evidence/track2/volumes.txt new file mode 100644 index 00000000..bd10c264 --- /dev/null +++ b/evidence/track2/volumes.txt @@ -0,0 +1,2 @@ +track2_restore +track2_src diff --git a/mtusi2026lab2-fork.sln b/mtusi2026lab2-fork.sln new file mode 100644 index 00000000..1ef9e1c6 --- /dev/null +++ b/mtusi2026lab2-fork.sln @@ -0,0 +1,36 @@ +Microsoft Visual Studio Solution File, Format Version 12.00 +# Visual Studio Version 17 +VisualStudioVersion = 17.5.2.0 +MinimumVisualStudioVersion = 10.0.40219.1 +Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "scr", "scr", "{027FA04E-56EC-7B26-372C-A48CC532505F}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api", "scr\Messenger.Api\Messenger.Api.csproj", "{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api.Tests", "scr\Messenger.Api.Tests\Messenger.Api.Tests.csproj", "{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}" +EndProject +Global + GlobalSection(SolutionConfigurationPlatforms) = preSolution + Debug|Any CPU = Debug|Any CPU + Release|Any CPU = Release|Any CPU + EndGlobalSection + GlobalSection(ProjectConfigurationPlatforms) = postSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.Build.0 = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.ActiveCfg = Release|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.Build.0 = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.Build.0 = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.ActiveCfg = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.Build.0 = Release|Any CPU + EndGlobalSection + GlobalSection(SolutionProperties) = preSolution + HideSolutionNode = FALSE + EndGlobalSection + GlobalSection(NestedProjects) = preSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431} = {027FA04E-56EC-7B26-372C-A48CC532505F} + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2} = {027FA04E-56EC-7B26-372C-A48CC532505F} + EndGlobalSection + GlobalSection(ExtensibilityGlobals) = postSolution + SolutionGuid = {41A93240-9911-4469-8EAB-F192C6DC6640} + EndGlobalSection +EndGlobal diff --git a/scr/Messenger.Api.Tests/ApiFixture.cs b/scr/Messenger.Api.Tests/ApiFixture.cs new file mode 100644 index 00000000..33250a18 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiFixture.cs @@ -0,0 +1,98 @@ +using DotNet.Testcontainers.Builders; +using DotNet.Testcontainers.Containers; +using Microsoft.AspNetCore.Hosting; +using Microsoft.AspNetCore.Mvc.Testing; +using Npgsql; +using StackExchange.Redis; +using Testcontainers.PostgreSql; + +namespace Messenger.Api.Tests; + +// Один одноразовый контейнер PostgreSQL и один Valkey на весь тестовый прогон. Приложение поднимается в процессе теста +// и применяет миграции к пустой БД, как при настоящем старте. Нужен только запущенный Docker. +// Настройки передаются через UseSetting (а не переменные окружения), поэтому тест может поднять второй экземпляр +// приложения с другими настройками: fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")). +public sealed class ApiFixture : WebApplicationFactory, IAsyncLifetime +{ + public const string PostgresImage = "postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe"; + private const string ValkeyImage = "valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2"; + + private readonly PostgreSqlContainer _db = new PostgreSqlBuilder().WithImage(PostgresImage).Build(); + + private readonly IContainer _cache = new ContainerBuilder() + .WithImage(ValkeyImage) + .WithPortBinding(6379, true) + .WithWaitStrategy(Wait.ForUnixContainer().UntilMessageIsLogged("Ready to accept connections")) + .Build(); + + private string _connectionFile = string.Empty; + + public string ConnectionString => _db.GetConnectionString(); + public string CacheConnection => $"{_cache.Hostname}:{_cache.GetMappedPublicPort(6379)}"; + + public async Task InitializeAsync() + { + await Task.WhenAll(_db.StartAsync(), _cache.StartAsync()); + _connectionFile = WriteConnectionFile(_db.GetConnectionString()); + } + + async Task IAsyncLifetime.DisposeAsync() + { + await _db.DisposeAsync(); + await _cache.DisposeAsync(); + File.Delete(_connectionFile); + } + + protected override void ConfigureWebHost(IWebHostBuilder builder) + { + builder.UseSetting("DATABASE_URL_FILE", _connectionFile); + builder.UseSetting("CACHE_CONNECTION", CacheConnection); + builder.UseSetting("DIAGNOSTIC_HEADERS", "true"); + } + + public static string WriteConnectionFile(string connectionString) + { + var path = Path.Combine(Path.GetTempPath(), $"messenger-test-{Guid.NewGuid():N}.conn"); + File.WriteAllText(path, connectionString); + return path; + } + + // Прямой доступ к БД для проверок, которые нельзя выразить через API (например, состояние таблицы sessions). + public async Task OpenConnectionAsync() + { + var connection = new NpgsqlConnection(ConnectionString); + await connection.OpenAsync(); + return connection; + } + + public async Task ScalarAsync(string sql, params (string Name, object Value)[] parameters) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + foreach (var (name, value) in parameters) + { + command.Parameters.AddWithValue(name, value); + } + + var result = await command.ExecuteScalarAsync(); + return result is null or DBNull ? default : (T)result; + } + + public async Task ExecuteAsync(string sql) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + await command.ExecuteNonQueryAsync(); + } + + // Полная очистка содержимого кэша (эквивалент FLUSHALL / перезапуска Valkey без persistence). + public async Task FlushCacheAsync() + { + using var connection = await ConnectionMultiplexer.ConnectAsync( + new ConfigurationOptions { EndPoints = { CacheConnection }, AllowAdmin = true }); + await connection.GetServer(connection.GetEndPoints()[0]).FlushAllDatabasesAsync(); + } +} + +[CollectionDefinition("api")] +public sealed class ApiCollection : ICollectionFixture; diff --git a/scr/Messenger.Api.Tests/ApiHelpers.cs b/scr/Messenger.Api.Tests/ApiHelpers.cs new file mode 100644 index 00000000..81186955 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiHelpers.cs @@ -0,0 +1,101 @@ +using System.Net; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +namespace Messenger.Api.Tests; + +internal sealed record TestUser(Guid Id, string Username, string Password, string Token); + +internal static class ApiHelpers +{ + public const string DefaultPassword = "correct horse battery staple"; + + public static StringContent Json(string raw) => + new(raw, Encoding.UTF8, "application/json"); + + // user != null — запрос с Bearer-токеном этого пользователя. + public static HttpRequestMessage Request(HttpMethod method, string url, TestUser? user = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (user is not null) + { + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", user.Token); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task ErrorCodeAsync(HttpResponseMessage response) + { + var json = await ReadJsonAsync(response); + return json.GetProperty("error").GetProperty("code").GetString()!; + } + + public static string BasicHeader(string username, string password) => + "Basic " + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}")); + + public static async Task LoginAsync(HttpClient client, string username, string password) + { + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(username, password)); + return await client.SendAsync(request); + } + + // Регистрирует пользователя и входит: возвращает его с рабочим Bearer-токеном. + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест", password = DefaultPassword }); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + + var login = await LoginAsync(client, username, DefaultPassword); + Assert.Equal(HttpStatusCode.Created, login.StatusCode); + var token = (await ReadJsonAsync(login)).GetProperty("token").GetString()!; + return new TestUser(id, username, DefaultPassword, token); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + public static async Task SendMessageAsync(HttpClient client, TestUser sender, Guid chatId, string text) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender, + JsonContent.Create(new { text })); + return await client.SendAsync(request); + } + + public static async Task> ReadAllMessagesAsync(HttpClient client, Guid chatId, TestUser user, int limit) + { + string? cursor = null; + var received = new List(); + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + return received; + } +} diff --git a/scr/Messenger.Api.Tests/ApiTests.cs b/scr/Messenger.Api.Tests/ApiTests.cs new file mode 100644 index 00000000..f480f475 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiTests.cs @@ -0,0 +1,302 @@ +using System.Net; +using System.Text.Json; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ApiTests(ApiFixture fixture) +{ + private HttpClient NewClient() => fixture.CreateClient(); + + [Fact] + public async Task CreateUser_WithMalformedJson_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json("{bad")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + [Fact] + public async Task CreateUser_WithoutBody_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", null); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task CreateUser_WithDuplicateUsername_ReturnsConflict() + { + using var client = NewClient(); + var user = await CreateUserAsync(client); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{user.Username}}","display_name":"Другой","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Conflict, response.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(response)); + } + + [Theory] + [InlineData("short")] + [InlineData("12345678901")] // 11 символов + public async Task CreateUser_WithShortPassword_ReturnsBadRequest(string password) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"short_pw_probe","display_name":"A","password":"{{password}}"}""")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task CreateUser_Response_DoesNotExposePasswordOrHash() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"no_leak_probe","display_name":"A","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var body = await response.Content.ReadAsStringAsync(); + Assert.DoesNotContain("password", body, StringComparison.OrdinalIgnoreCase); + Assert.DoesNotContain("argon2", body, StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task GetChat_ByNonMember_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Get, $"/api/v1/chats/{chatId}", eve); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + Assert.Equal("not_found", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task ListChats_ShowsOnlyChatsOfCurrentUser() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var shared = await CreateChatAsync(client, alice, bob); + var other = await CreateChatAsync(client, eve); + + using var request = Request(HttpMethod.Get, "/api/v1/chats", bob); + var page = await ReadJsonAsync(await client.SendAsync(request)); + var ids = page.GetProperty("items").EnumerateArray().Select(c => c.GetProperty("id").GetGuid()).ToList(); + + Assert.Contains(shared, ids); + Assert.DoesNotContain(other, ids); + } + + [Fact] + public async Task CreateChat_WithUnknownMember_ReturnsBadRequestAndCreatesNothing() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"X","member_ids":["{{alice.Id}}","{{Guid.NewGuid()}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + using var list = Request(HttpMethod.Get, "/api/v1/chats", alice); + var page = await ReadJsonAsync(await client.SendAsync(list)); + Assert.Empty(page.GetProperty("items").EnumerateArray()); + } + + [Fact] + public async Task SendMessage_ToForeignChat_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + var response = await SendMessageAsync(client, eve, chatId, "чужое"); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + } + + [Theory] + [InlineData("")] + [InlineData(" ")] + public async Task SendMessage_WithEmptyText_ReturnsBadRequest(string text) + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + + var response = await SendMessageAsync(client, alice, chatId, text); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task SendMessage_SenderIsTakenFromSession_NotFromRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", alice, + Json($$"""{"text":"привет","sender_id":"{{bob.Id}}"}""")); + var withSender = await client.SendAsync(request); + var ok = await SendMessageAsync(client, alice, chatId, "привет"); + + Assert.Equal(HttpStatusCode.BadRequest, withSender.StatusCode); // sender_id в запросе не принимается + Assert.Equal(alice.Id, (await ReadJsonAsync(ok)).GetProperty("sender_id").GetGuid()); + } + + [Fact] + public async Task ListMessages_WalksAllPagesWithoutGapsOrDuplicates() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + const int total = 7; + var sent = new List(); + for (var i = 0; i < total; i++) + { + var response = await SendMessageAsync(client, i % 2 == 0 ? alice : bob, chatId, $"сообщение {i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var received = new List(); + string? cursor = null; + var pages = 0; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=3" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, alice); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + pages++; + } + while (cursor is not null && pages < 10); + + Assert.Equal(3, pages); + Assert.Equal(total, received.Count); + // Один автор в одном чате: порядок истории совпадает с порядком отправки. + Assert.Equal(sent, received); + } + + [Fact] + public async Task ListMessages_WithCursorFromAnotherChat_ReturnsBadRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice); + var chat2 = await CreateChatAsync(client, alice); + await SendMessageAsync(client, alice, chat1, "a"); + await SendMessageAsync(client, alice, chat1, "b"); + using var first = Request(HttpMethod.Get, $"/api/v1/chats/{chat1}/messages?limit=1", alice); + var cursor = (await ReadJsonAsync(await client.SendAsync(first))).GetProperty("next_cursor").GetString()!; + + using var request = Request(HttpMethod.Get, + $"/api/v1/chats/{chat2}/messages?cursor={Uri.EscapeDataString(cursor)}", alice); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task ListMessages_ReturnsSameOrderForAnyPageSize() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + var sent = new List(); + for (var i = 0; i < 120; i++) + { + var response = await SendMessageAsync(client, alice, chatId, $"m{i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var baseline = await ReadAllMessagesAsync(client, chatId, alice, 100); + Assert.Equal(sent, baseline); + foreach (var limit in new[] { 1, 7, 50 }) + { + var received = await ReadAllMessagesAsync(client, chatId, alice, limit); + Assert.Equal(baseline, received); + } + } + + [Fact] + public async Task ListMessages_AfterConcurrentSends_IsOrderedByTimeThenId() + { + using var client = NewClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chatId = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var sends = Enumerable.Range(0, 300).Select(i => SendMessageAsync(client, users[i % 10], chatId, $"m{i}")); + foreach (var response in await Task.WhenAll(sends)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var items = new List<(string CreatedAt, Guid Id)>(); + string? cursor = null; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=100" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, users[0]); + var page = await ReadJsonAsync(await client.SendAsync(request)); + items.AddRange(page.GetProperty("items").EnumerateArray() + .Select(m => (m.GetProperty("created_at").GetString()!, m.GetProperty("id").GetGuid()))); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + + Assert.Equal(300, items.Count); + Assert.Equal(300, items.Select(x => x.Id).Distinct().Count()); + // Серверное время строго возрастает внутри чата (см. last_message_at), поэтому порядок истории — порядок записи. + Assert.Equal(300, items.Select(x => x.CreatedAt).Distinct().Count()); + Assert.Equal(items.OrderBy(x => x.CreatedAt, StringComparer.Ordinal).ToList(), items); + } + + [Theory] + [InlineData("""{"USERNAME":"probe_case_a","display_name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"username":"probe_case_b","Display_Name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"Username":"probe_case_c","display_name":"A","password":"correct horse battery staple"}""")] + public async Task CreateUser_WithDifferentlyCasedFieldNames_ReturnsBadRequest(string body) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json(body)); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } +} diff --git a/scr/Messenger.Api.Tests/AuthTests.cs b/scr/Messenger.Api.Tests/AuthTests.cs new file mode 100644 index 00000000..e2cd91ef --- /dev/null +++ b/scr/Messenger.Api.Tests/AuthTests.cs @@ -0,0 +1,252 @@ +using System.Net; +using System.Net.Http.Headers; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class AuthTests(ApiFixture fixture) +{ + private static readonly string[] ProtectedGets = + [ + "/api/v1/users/me", + "/api/v1/chats", + "/api/v1/chats/00000000-0000-0000-0000-000000000001", + "/api/v1/chats/00000000-0000-0000-0000-000000000001/messages" + ]; + + [Fact] + public async Task Login_WithValidCredentials_ReturnsOpaqueBearerSession() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var response = await LoginAsync(client, user.Username, user.Password); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var json = await ReadJsonAsync(response); + Assert.Equal("Bearer", json.GetProperty("token_type").GetString()); + Assert.True(json.GetProperty("token").GetString()!.Length >= 43); // 256 бит в base64url + Assert.Equal(user.Id, json.GetProperty("user").GetProperty("id").GetGuid()); + Assert.DoesNotContain("password", await response.Content.ReadAsStringAsync(), StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task Login_AcceptsColonInPassword() + { + using var client = fixture.CreateClient(); + var username = "colon" + Guid.NewGuid().ToString("N")[..8]; + await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"A","password":"pass:with:colons-123"}""")); + + var response = await LoginAsync(client, username, "pass:with:colons-123"); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + [Fact] + public async Task Login_WrongPasswordAndUnknownUser_GiveIdenticalUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var wrongPassword = await LoginAsync(client, user.Username, "totally-wrong-password"); + var unknownUser = await LoginAsync(client, "nobody_" + Guid.NewGuid().ToString("N")[..8], DefaultPassword); + + foreach (var response in new[] { wrongPassword, unknownUser }) + { + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Basic realm=\"messenger\", charset=\"UTF-8\"", response.Headers.WwwAuthenticate.ToString()); + Assert.Equal("unauthorized", await ErrorCodeAsync(response)); + } + + var a = (await ReadJsonAsync(wrongPassword)).GetProperty("error").GetProperty("message").GetString(); + var b = (await ReadJsonAsync(unknownUser)).GetProperty("error").GetProperty("message").GetString(); + Assert.Equal(a, b); + } + + [Theory] + [InlineData("Basic !!!not-base64")] + [InlineData("Basic bm9jb2xvbg==")] // "nocolon" + [InlineData("Bearer sometoken")] + [InlineData("")] + public async Task Login_WithMalformedAuthorization_ReturnsUnauthorized(string header) + { + using var client = fixture.CreateClient(); + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + if (header.Length > 0) + { + request.Headers.TryAddWithoutValidation("Authorization", header); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.StartsWith("Basic", response.Headers.WwwAuthenticate.ToString()); + } + + [Theory] + [MemberData(nameof(ProtectedUrls))] + public async Task ProtectedEndpoints_WithoutToken_ReturnUnauthorizedWithBearerChallenge(string url) + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync(url); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + public static IEnumerable ProtectedUrls() => ProtectedGets.Select(u => new object[] { u }); + + [Fact] + public async Task ProtectedEndpoint_WithBasicAuth_ReturnsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var request = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(user.Username, user.Password)); + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } + + [Fact] + public async Task XUserIdHeader_IsIgnored() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + + // Без токена X-User-Id не даёт доступа. + using var anonymous = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + anonymous.Headers.Add("X-User-Id", alice.Id.ToString()); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(anonymous)).StatusCode); + + // С токеном — владелец сессии не подменяется. + using var spoofed = Request(HttpMethod.Get, "/api/v1/users/me", alice); + spoofed.Headers.Add("X-User-Id", eve.Id.ToString()); + var me = await ReadJsonAsync(await client.SendAsync(spoofed)); + Assert.Equal(alice.Id, me.GetProperty("id").GetGuid()); + } + + [Fact] + public async Task UnauthenticatedPostWithMalformedBody_ReturnsUnauthorizedNotBadRequest() + { + using var client = fixture.CreateClient(); + + var response = await client.PostAsync("/api/v1/chats", Json("{bad")); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); // сначала аутентификация + } + + [Fact] + public async Task Logout_RevokesTokenAndSecondLogoutIsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + using var first = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + var firstResponse = await client.SendAsync(first); + Assert.Equal(HttpStatusCode.NoContent, firstResponse.StatusCode); + Assert.Equal(0, firstResponse.Content.Headers.ContentLength ?? 0); + + using var again = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(again)).StatusCode); + using var me = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task LogoutOfOneSession_DoesNotAffectAnotherSessionOfSameUser() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + var secondLogin = await ReadJsonAsync(await LoginAsync(client, user.Username, user.Password)); + var second = user with { Token = secondLogin.GetProperty("token").GetString()! }; + + using var logout = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + await client.SendAsync(logout); + + using var me = Request(HttpMethod.Get, "/api/v1/users/me", second); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task ExpiredSession_IsRejected() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var before = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(before)).StatusCode); + + // Состарим сессию в БД: created_at < expires_at < now (ограничение таблицы требует expires_at > created_at). + await using (var db = await fixture.OpenConnectionAsync()) + await using (var age = new Npgsql.NpgsqlCommand( + "update sessions set created_at = now() - interval '10 seconds', expires_at = now() - interval '5 seconds' where user_id = @u", db)) + { + age.Parameters.AddWithValue("u", user.Id); + Assert.Equal(1, await age.ExecuteNonQueryAsync()); + } + + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task ShortSessionTtl_ExpiresSessionByItself() + { + // Отдельный экземпляр приложения с SESSION_TTL_SECONDS=2 поверх той же БД: никаких подмен данных в таблице. + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + + using (var alive = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(alive)).StatusCode); + } + + await Task.Delay(TimeSpan.FromSeconds(3)); + + using var expired = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(expired); + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + // Истёкшая сессия не продлевается: повторный вход выдаёт новую. + Assert.Equal(HttpStatusCode.Created, (await LoginAsync(client, user.Username, user.Password)).StatusCode); + } + + [Fact] + public async Task SessionsTable_StoresTokenHashNotToken() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand( + "select token_hash from sessions where user_id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var stored = (byte[])(await query.ExecuteScalarAsync())!; + + Assert.Equal(32, stored.Length); + Assert.NotEqual(System.Text.Encoding.UTF8.GetBytes(user.Token), stored); + Assert.Equal(System.Security.Cryptography.SHA256.HashData(System.Text.Encoding.UTF8.GetBytes(user.Token)), stored); + } + + [Fact] + public async Task PasswordsAreStoredAsArgon2id() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand("select password_hash from users where id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var hash = (string)(await query.ExecuteScalarAsync())!; + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain(user.Password, hash); + } +} diff --git a/scr/Messenger.Api.Tests/CacheTests.cs b/scr/Messenger.Api.Tests/CacheTests.cs new file mode 100644 index 00000000..70b0e24b --- /dev/null +++ b/scr/Messenger.Api.Tests/CacheTests.cs @@ -0,0 +1,150 @@ +using System.Net; +using Microsoft.AspNetCore.Mvc.Testing; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class CacheTests(ApiFixture fixture) +{ + private static string Header(HttpResponseMessage response, string name) => + response.Headers.TryGetValues(name, out var values) ? values.First() : ""; + + private static async Task GetPageAsync( + HttpClient client, TestUser user, Guid chatId, int limit = 50, string? cursor = null) + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + return await client.SendAsync(request); + } + + private static async Task<(TestUser Alice, TestUser Bob, Guid Chat)> ChatWithMessagesAsync(HttpClient client, int messages) + { + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice, bob); + for (var i = 0; i < messages; i++) + { + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, $"m{i}")).StatusCode); + } + + return (alice, bob, chat); + } + + [Fact] + public async Task SecondRead_IsServedFromCache_WithFewerSqlQueries_AndIdenticalBody() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + + var first = await GetPageAsync(client, bob, chat); + var second = await GetPageAsync(client, bob, chat); + + Assert.Equal("miss", Header(first, "X-Cache")); + Assert.Equal("hit", Header(second, "X-Cache")); + // miss: сессия + версия/доступ + страница; hit: сессия + версия/доступ. + Assert.Equal("3", Header(first, "X-Db-Queries")); + Assert.Equal("2", Header(second, "X-Db-Queries")); + Assert.Equal(await first.Content.ReadAsStringAsync(), await second.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task ReadAfterWrite_NeverReturnsStaleCachedPage() + { + using var client = fixture.CreateClient(); + var (alice, bob, chat) = await ChatWithMessagesAsync(client, 2); + await GetPageAsync(client, bob, chat); // прогрели кэш + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + for (var i = 0; i < 20; i++) + { + var sent = await SendMessageAsync(client, alice, chat, $"new {i}"); + var id = (await ReadJsonAsync(sent)).GetProperty("id").GetGuid(); + + // Сразу после подтверждённой записи (201) следующее чтение обязано содержать новое сообщение. + var ids = await ReadAllMessagesAsync(client, chat, bob, 100); + Assert.Contains(id, ids); + Assert.Equal(3 + i, ids.Count); + } + } + + [Fact] + public async Task FlushedCache_DoesNotChangeResults() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 5); + var before = await ReadAllMessagesAsync(client, chat, bob, 2); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat, 2), "X-Cache")); + + await fixture.FlushCacheAsync(); + + var response = await GetPageAsync(client, bob, chat, 2); + Assert.Equal("miss", Header(response, "X-Cache")); + Assert.Equal(before, await ReadAllMessagesAsync(client, chat, bob, 2)); + } + + [Fact] + public async Task CachedPage_IsNotVisibleToNonMember() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 2); + var eve = await CreateUserAsync(client); + await GetPageAsync(client, bob, chat); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + var response = await GetPageAsync(client, eve, chat); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); // доступ проверяется до обращения к кэшу + Assert.DoesNotContain("m0", await response.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task PagesWithDifferentLimitsAndCursors_AreCachedSeparately() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 9); + + var firstPass = await ReadAllMessagesAsync(client, chat, bob, 4); + var secondPass = await ReadAllMessagesAsync(client, chat, bob, 4); // все страницы уже в кэше + var otherLimit = await ReadAllMessagesAsync(client, chat, bob, 3); + + Assert.Equal(9, firstPass.Count); + Assert.Equal(firstPass, secondPass); + Assert.Equal(firstPass, otherLimit); + } + + [Fact] + public async Task UnavailableCache_IsBypassed_AndRequestsStillSucceed() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + var expected = await ReadAllMessagesAsync(client, chat, bob, 100); + + // Второй экземпляр приложения, у которого кэш указывает на закрытый порт. + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var brokenClient = broken.CreateClient(); + + for (var i = 0; i < 3; i++) + { + var response = await GetPageAsync(brokenClient, bob, chat); + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.Equal("bypass", Header(response, "X-Cache")); + } + + Assert.Equal(expected, await ReadAllMessagesAsync(brokenClient, chat, bob, 100)); + // Запись тоже не зависит от кэша. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(brokenClient, bob, chat, "при отказе кэша")).StatusCode); + } + + [Fact] + public async Task UnavailableCache_DoesNotTrustAnonymousRequests() + { + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var client = broken.CreateClient(); + + var response = await client.GetAsync($"/api/v1/chats/{Guid.NewGuid()}/messages"); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } +} diff --git a/scr/Messenger.Api.Tests/ConcurencyTests.cs b/scr/Messenger.Api.Tests/ConcurencyTests.cs new file mode 100644 index 00000000..afdaec7f --- /dev/null +++ b/scr/Messenger.Api.Tests/ConcurencyTests.cs @@ -0,0 +1,54 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ConcurencyTests(ApiFixture fixture) +{ + [Fact] + public async Task Create100MessagesBy10DifferentUsers_Concurrent() + { + using var client = fixture.CreateClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chat = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var messageTasks = Enumerable.Range(0, 100) + .Select(i => SendMessageAsync(client, users[i % 10], chat, $"Message {i + 1} from {users[i % 10].Username}")) + .ToList(); + + foreach (var response in await Task.WhenAll(messageTasks)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var messages = await ReadAllMessagesAsync(client, chat, users[0], 7); + + Assert.Equal(100, messages.Count); + Assert.Equal(100, messages.Distinct().Count()); + } + + [Fact] + public async Task RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors() + { + using var client = fixture.CreateClient(); + var username = "race" + Guid.NewGuid().ToString("N")[..10]; + + var attempts = Enumerable.Range(0, 20).Select(_ => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"Гонка","password":"{{DefaultPassword}}"}"""))); + var statuses = (await Task.WhenAll(attempts)).Select(r => r.StatusCode).ToList(); + + Assert.Single(statuses, HttpStatusCode.Created); + Assert.Equal(19, statuses.Count(s => s == HttpStatusCode.Conflict)); + + await using var db = await fixture.OpenConnectionAsync(); + await using var count = new Npgsql.NpgsqlCommand("select count(*) from users where username = @u", db); + count.Parameters.AddWithValue("u", username); + Assert.Equal(1L, await count.ExecuteScalarAsync()); + } +} diff --git a/scr/Messenger.Api.Tests/DependencyFailureTests.cs b/scr/Messenger.Api.Tests/DependencyFailureTests.cs new file mode 100644 index 00000000..b1338c25 --- /dev/null +++ b/scr/Messenger.Api.Tests/DependencyFailureTests.cs @@ -0,0 +1,192 @@ +using System.Diagnostics; +using System.Net; +using System.Net.Sockets; +using Microsoft.AspNetCore.Mvc.Testing; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.DependencyInjection; +using Testcontainers.PostgreSql; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class DependencyFailureTests(ApiFixture fixture) +{ + private static int FreePort() + { + using var listener = new TcpListener(IPAddress.Loopback, 0); + listener.Start(); + return ((IPEndPoint)listener.LocalEndpoint).Port; + } + + [Fact] + public async Task DatabaseDown_Returns503_NeverTrustsAnonymous_AndRecovers() + { + // Отдельный контейнер БД, который тест останавливает и запускает снова на том же порту. + var port = FreePort(); + await using var pg = new PostgreSqlBuilder().WithImage(ApiFixture.PostgresImage).WithPortBinding(port, 5432).Build(); + await pg.StartAsync(); + var file = ApiFixture.WriteConnectionFile(pg.GetConnectionString()); + try + { + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DATABASE_URL_FILE", file) + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + using (var ok = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(ok)).StatusCode); + } + + await pg.StopAsync(); + + // Аутентифицированный запрос: ограниченная ошибка 503 без внутренних деталей. + using var down = Request(HttpMethod.Get, "/api/v1/users/me", user); + var downResponse = await client.SendAsync(down); + Assert.Equal(HttpStatusCode.ServiceUnavailable, downResponse.StatusCode); + Assert.Equal("unavailable", await ErrorCodeAsync(downResponse)); + var body = await downResponse.Content.ReadAsStringAsync(); + Assert.DoesNotContain("Npgsql", body); + Assert.DoesNotContain("Host=", body); + Assert.True(downResponse.Headers.Contains("X-Request-Id")); + + // Анонимный запрос не становится доверенным: без токена по-прежнему 401, а не 200/503 «как гость». + Assert.Equal(HttpStatusCode.Unauthorized, (await client.GetAsync("/api/v1/chats")).StatusCode); + // Токен, который нельзя проверить, не принимается. + Assert.Equal(HttpStatusCode.ServiceUnavailable, + (await LoginAsync(client, user.Username, user.Password)).StatusCode); + // Готовность отражает отказ, живость — нет. + Assert.Equal(HttpStatusCode.ServiceUnavailable, (await client.GetAsync("/health/ready")).StatusCode); + Assert.Equal(HttpStatusCode.OK, (await client.GetAsync("/health/live")).StatusCode); + + // Восстановление: после запуска БД тот же токен снова работает (данные не потеряны), без перезапуска API. + await pg.StartAsync(); + var recovered = false; + var started = Stopwatch.StartNew(); + while (started.Elapsed < TimeSpan.FromSeconds(30) && !recovered) + { + using var retry = Request(HttpMethod.Get, "/api/v1/users/me", user); + recovered = (await client.SendAsync(retry)).StatusCode == HttpStatusCode.OK; + if (!recovered) + { + await Task.Delay(500); + } + } + + Assert.True(recovered, "API не восстановился после возврата PostgreSQL"); + } + finally + { + File.Delete(file); + } + } + + [Fact] + public async Task ExhaustedConnectionPool_ReturnsBoundedError() + { + using var setup = fixture.CreateClient(); + var user = await CreateUserAsync(setup); + + // Пул из одного соединения и короткое ожидание: пока тест держит единственное соединение, запросы не зависают. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DB_MAX_POOL_SIZE", "1") + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "1")); + using var client = app.CreateClient(); + + using var scope = app.Services.CreateScope(); + var held = scope.ServiceProvider.GetRequiredService(); + await held.Database.OpenConnectionAsync(); + try + { + var started = Stopwatch.StartNew(); + using var request = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(request); + started.Stop(); + + Assert.Equal(HttpStatusCode.ServiceUnavailable, response.StatusCode); + Assert.True(started.Elapsed < TimeSpan.FromSeconds(6), $"ответ занял {started.Elapsed}"); + } + finally + { + await held.Database.CloseConnectionAsync(); + } + + // После освобождения соединения сервис работает. + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task FailedMessageInsert_RollsBackVersionAndTimestamp() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "до сбоя")).StatusCode); + + var marker = "boom-" + Guid.NewGuid().ToString("N"); + var suffix = Guid.NewGuid().ToString("N")[..8]; + // Сбой «после UPDATE чата, во время INSERT сообщения»: триггер БД отклоняет сообщение с маркером. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.text = '{{marker}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + var versionBefore = await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat)); + var lastBefore = await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat)); + + var failed = await SendMessageAsync(client, alice, chat, marker); + + Assert.Equal(HttpStatusCode.InternalServerError, failed.StatusCode); + var body = await failed.Content.ReadAsStringAsync(); + Assert.Contains("internal_error", body); + Assert.DoesNotContain("injected", body); // внутренние детали не раскрываются + Assert.Equal(versionBefore, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + Assert.Equal(lastBefore, await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat))); + Assert.Equal(1L, await fixture.ScalarAsync("select count(*) from messages where chat_id = @c", ("c", chat))); + + // Блокировка строки чата снята, следующая запись проходит и версия растёт ровно на 1. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "после сбоя")).StatusCode); + Assert.Equal(versionBefore + 1, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON messages; DROP FUNCTION fail_{suffix}();"); + } + } + + [Fact] + public async Task FailedChatMemberInsert_RollsBackWholeChat() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var suffix = Guid.NewGuid().ToString("N")[..8]; + var title = "rollback-" + suffix; + + // Сбой при добавлении второго участника, уже после вставки строки чата и первого участника. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.user_id = '{{bob.Id}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON chat_members FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"{{title}}","member_ids":["{{alice.Id}}","{{bob.Id}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from chats where title = @t", ("t", title))); + Assert.Equal(0L, await fixture.ScalarAsync( + "select count(*) from chat_members where user_id in (@a, @b) ", ("a", alice.Id), ("b", bob.Id))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON chat_members; DROP FUNCTION fail_{suffix}();"); + } + } +} diff --git a/scr/Messenger.Api.Tests/HealthTests.cs b/scr/Messenger.Api.Tests/HealthTests.cs new file mode 100644 index 00000000..dc46951e --- /dev/null +++ b/scr/Messenger.Api.Tests/HealthTests.cs @@ -0,0 +1,28 @@ +using System.Net; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class HealthTests(ApiFixture fixture) +{ + [Fact] + public async Task Live_ReturnsOk() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/live"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } + + [Fact] + public async Task Ready_ReturnsOkWhenDatabaseIsAvailable() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/ready"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.True(response.Headers.Contains("X-Request-Id")); + } +} diff --git a/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj new file mode 100644 index 00000000..62302f8b --- /dev/null +++ b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj @@ -0,0 +1,27 @@ + + + + net10.0 + enable + enable + false + + + + + + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/scr/Messenger.Api.Tests/PasswordHasherTests.cs b/scr/Messenger.Api.Tests/PasswordHasherTests.cs new file mode 100644 index 00000000..fa754061 --- /dev/null +++ b/scr/Messenger.Api.Tests/PasswordHasherTests.cs @@ -0,0 +1,53 @@ +using Messenger.Api.Services; + +namespace Messenger.Api.Tests; + +public class PasswordHasherTests +{ + private readonly Argon2PasswordHasher _hasher = new(); + + [Fact] + public async Task Hash_IsArgon2idPhcString_WithoutPlaintext() + { + var hash = await _hasher.HashAsync("correct horse battery staple", CancellationToken.None); + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain("correct horse", hash); + } + + [Fact] + public async Task Hash_UsesRandomSalt() + { + var a = await _hasher.HashAsync("same-password-123", CancellationToken.None); + var b = await _hasher.HashAsync("same-password-123", CancellationToken.None); + + Assert.NotEqual(a, b); + } + + [Theory] + [InlineData("correct horse battery staple")] + [InlineData("пароль-с-юникодом-и:двоеточием-12")] + public async Task Verify_AcceptsCorrect_RejectsWrong(string password) + { + var hash = await _hasher.HashAsync(password, CancellationToken.None); + + Assert.True(await _hasher.VerifyAsync(hash, password, CancellationToken.None)); + Assert.False(await _hasher.VerifyAsync(hash, password + "x", CancellationToken.None)); + } + + [Fact] + public async Task Verify_DoesNotTruncateLongPasswords() + { + // Это ограничение bcrypt (72 байта); Argon2id его не имеет. Пароли отличаются только хвостом. + var prefix = new string('я', 60); // 120 байт в UTF-8 + var hash = await _hasher.HashAsync(prefix + "A", CancellationToken.None); + + Assert.False(await _hasher.VerifyAsync(hash, prefix + "B", CancellationToken.None)); + } + + [Fact] + public async Task Verify_UnknownUser_ReturnsFalse() + { + Assert.False(await _hasher.VerifyAsync(null, "any-password-123", CancellationToken.None)); + } +} diff --git a/scr/Messenger.Api/Endpoints/AuthEndpoints.cs b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs new file mode 100644 index 00000000..d3bfff22 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs @@ -0,0 +1,146 @@ +using System.Text; +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Endpoints; + +public static class AuthEndpoints +{ + private const string BasicChallenge = "Basic realm=\"messenger\", charset=\"UTF-8\""; + + public static IEndpointRouteBuilder MapAuthEndpoints(this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/auth/sessions", CreateSession); + endpoints.MapDelete("/api/v1/auth/sessions/current", RevokeCurrentSession).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateSession( + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + AuthSessionOptions options, + CancellationToken ct) + { + // Любая проблема с заголовком или credentials даёт один и тот же ответ. + var unauthorized = () => ApiErrors.Unauthorized(httpContext, BasicChallenge, "Неверное имя пользователя или пароль"); + + if (!TryParseBasic(httpContext.Request, out var username, out var password)) + { + return unauthorized(); + } + + var user = await db.Users.AsNoTracking().FirstOrDefaultAsync(u => u.Username == username, ct); + + // Проверка выполняется и для несуществующего пользователя (null → заглушка), чтобы время ответа + // не выдавало, существует ли username. + bool passwordOk; + try + { + passwordOk = await hasher.VerifyAsync(user?.PasswordHash, password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + if (user is null || !passwordOk) + { + return unauthorized(); + } + + var token = SessionTokens.Generate(); + var now = Timestamps.UtcNowMilliseconds(); + var session = new SessionEntity + { + Id = Guid.CreateVersion7(), + TokenHash = SessionTokens.Hash(token), + UserId = user.Id, + CreatedAt = now, + ExpiresAt = now + options.Ttl + }; + + db.Sessions.Add(session); + await db.SaveChangesAsync(ct); + + // Ответ с токеном нельзя кэшировать промежуточными узлами. + httpContext.Response.Headers.CacheControl = "no-store"; + + return Results.Json( + new SessionResponse( + token, + "Bearer", + session.ExpiresAt, + new User + { + Id = user.Id, + Username = user.Username, + DisplayName = user.DisplayName, + CreatedAt = user.CreatedAt + }), + statusCode: StatusCodes.Status201Created); + } + + private static async Task RevokeCurrentSession( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var sessionId = httpContext.GetSessionId(); + var now = Timestamps.UtcNowMilliseconds(); + + // Один UPDATE с условием: отзыв атомарен даже при двух параллельных DELETE с одним токеном. + var revoked = await db.Sessions + .Where(s => s.Id == sessionId && s.RevokedAt == null) + .ExecuteUpdateAsync(s => s.SetProperty(x => x.RevokedAt, now), ct); + + return revoked == 0 + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.NoContent(); + } + + // Basic: base64("username:password"), разделитель — ПЕРВОЕ двоеточие (в пароле двоеточие допустимо). + // Всё, что не разбирается строго (схема, base64, UTF-8, формат), считается неверными credentials. + private static bool TryParseBasic(HttpRequest request, out string username, out string password) + { + username = password = string.Empty; + + if (request.Headers.Authorization.Count != 1) + { + return false; + } + + var header = request.Headers.Authorization[0]; + const string prefix = "Basic "; + if (header is null || !header.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return false; + } + + string decoded; + try + { + var bytes = Convert.FromBase64String(header[prefix.Length..].Trim()); + decoded = new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true).GetString(bytes); + } + catch (Exception ex) when (ex is FormatException or DecoderFallbackException) + { + return false; + } + + var separator = decoded.IndexOf(':'); + if (separator <= 0) + { + return false; + } + + username = decoded[..separator]; + password = decoded[(separator + 1)..]; + + // Username по контракту — ASCII [a-z0-9_]{3,32}; пароль — 12..128 code points. Отсекаем до дорогого Argon2. + var length = ApiErrors.CodePoints(password); + return username.Length is >= 3 and <= 32 && length is >= 12 and <= 128; + } +} diff --git a/scr/Messenger.Api/Endpoints/ChatEndpoints.cs b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs new file mode 100644 index 00000000..087feebc --- /dev/null +++ b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs @@ -0,0 +1,158 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class ChatEndpoints +{ + public static IEndpointRouteBuilder MapChatEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats", CreateChat).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats", ListChats).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}", GetChat).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateChat( + CreateChatRequest request, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + if (string.IsNullOrWhiteSpace(request.Title) || + ApiErrors.CodePoints(request.Title) > 100 || + request.MemberIds.Count is < 1 or > 100 || + request.MemberIds.Distinct().Count() != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные данные чата"); + } + + if (!request.MemberIds.Contains(userId)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Создатель должен быть участником чата"); + } + + var knownMembers = await db.Users.CountAsync(u => request.MemberIds.Contains(u.Id), ct); + if (knownMembers != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + var chat = new ChatEntity + { + Id = Guid.CreateVersion7(), + Title = request.Title, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + // Чат и все его участники сохраняются одним SaveChanges, то есть одной транзакцией: + // либо создано всё, либо ничего (нет чата без участников). + db.Chats.Add(chat); + db.ChatMembers.AddRange(request.MemberIds.Select(id => new ChatMemberEntity { ChatId = chat.Id, UserId = id })); + + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.ForeignKeyViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + return Results.Created($"/api/v1/chats/{chat.Id}", ToDto(chat, request.MemberIds.Order().ToList())); + } + + private static async Task ListChats( + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Chats, out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Keyset: строковое сравнение (created_at, id) > (курсор), без OFFSET и без просмотра всей выдачи. + IQueryable source = after is null + ? db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + """) + : db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + AND (c.created_at, c.id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var chats = await source + .AsNoTracking() + .OrderBy(c => c.CreatedAt).ThenBy(c => c.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = chats.Count > pageSize; + if (hasNext) + { + chats.RemoveAt(chats.Count - 1); + } + + var ids = chats.Select(c => c.Id).ToList(); + var members = (await db.ChatMembers + .AsNoTracking() + .Where(m => ids.Contains(m.ChatId)) + .Select(m => new { m.ChatId, m.UserId }) + .ToListAsync(ct)) + .ToLookup(m => m.ChatId, m => m.UserId); + + var items = chats.Select(c => ToDto(c, members[c.Id].Order().ToList())).ToList(); + var nextCursor = hasNext ? Cursors.Encode(Cursors.Chats, chats[^1].CreatedAt, chats[^1].Id) : null; + + return Results.Ok(new { items, next_cursor = nextCursor }); + } + + private static async Task GetChat( + Guid chatId, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Отсутствующий и чужой чат неразличимы: оба дают 404. + var chat = await db.Chats + .AsNoTracking() + .FirstOrDefaultAsync(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId), ct); + + if (chat is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var memberIds = await db.ChatMembers + .AsNoTracking() + .Where(m => m.ChatId == chatId) + .Select(m => m.UserId) + .ToListAsync(ct); + + return Results.Ok(ToDto(chat, memberIds.Order().ToList())); + } + + private static Chat ToDto(ChatEntity chat, List memberIds) => new() + { + Id = chat.Id, + Title = chat.Title, + MemberIds = memberIds, + CreatedAt = chat.CreatedAt + }; +} diff --git a/scr/Messenger.Api/Endpoints/MessageEndpoints.cs b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs new file mode 100644 index 00000000..30e1757d --- /dev/null +++ b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs @@ -0,0 +1,200 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Microsoft.Extensions.Options; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class MessageEndpoints +{ + public static IEndpointRouteBuilder MapMessageEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats/{chatId}/messages", CreateMessage).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}/messages", ListMessages).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateMessage( + Guid chatId, + CreateMessageRequest request, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Сначала доступ к ресурсу (404 для постороннего), затем валидация тела. + if (!await IsMemberAsync(db, chatId, userId, ct)) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + if (string.IsNullOrWhiteSpace(request.Text) || ApiErrors.CodePoints(request.Text) > 4000) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + // Транзакция: (1) UPDATE чата берёт блокировку его строки и выдаёт created_at, (2) INSERT сообщения, (3) COMMIT. + // Записи в один чат идут строго по очереди, поэтому порядок коммитов совпадает с порядком (created_at, id) + // и курсор не может «проскочить» сообщение, закоммиченное позже. Версия истории растёт в той же транзакции. + await using var tx = await db.Database.BeginTransactionAsync(ct); + + var createdAt = await ReserveMessageSlotAsync(db, tx, chatId, userId, ct); + if (createdAt is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var message = new MessageEntity + { + Id = Guid.CreateVersion7(), + ChatId = chatId, + SenderId = userId, + Text = request.Text, + CreatedAt = createdAt.Value + }; + + db.Messages.Add(message); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.CheckViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + await tx.CommitAsync(ct); + + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(message)); + } + + private static async Task ListMessages( + Guid chatId, + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + IMessageHistoryCache cache, + DiagnosticsSettings diagnostics, + IOptions jsonOptions, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + // Один запрос проверяет доступ (null → 404) и читает актуальную версию истории из PostgreSQL. + // Версия берётся из БД при каждом чтении, а не из кэша: после подтверждённой записи ключ гарантированно новый. + var version = await db.Chats + .AsNoTracking() + .Where(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId)) + .Select(c => (long?)c.HistoryVersion) + .FirstOrDefaultAsync(ct); + + if (version is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Messages(chatId), out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Ключ = чат + версия истории + размер страницы + курсор. Страница под этим ключом никогда не устаревает: + // любая запись увеличивает версию, и читатели переходят на другой ключ. + var key = $"hist:{chatId:N}:v{version}:l{pageSize}:{cursor ?? "-"}"; + + var (cached, status) = await cache.GetAsync(key, ct); + if (cached is not null) + { + return CachedJson(httpContext, diagnostics, cached, status); + } + + // Keyset по индексу (chat_id, created_at, id): читается только страница, а не вся история. + IQueryable source = after is null + ? db.Messages.FromSql($"SELECT * FROM messages WHERE chat_id = {chatId}") + : db.Messages.FromSql($""" + SELECT * FROM messages + WHERE chat_id = {chatId} AND (created_at, id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var messages = await source + .AsNoTracking() + .OrderBy(m => m.CreatedAt).ThenBy(m => m.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = messages.Count > pageSize; + if (hasNext) + { + messages.RemoveAt(messages.Count - 1); + } + + var nextCursor = hasNext + ? Cursors.Encode(Cursors.Messages(chatId), messages[^1].CreatedAt, messages[^1].Id) + : null; + + var json = System.Text.Json.JsonSerializer.Serialize( + new { items = messages.Select(ToDto).ToList(), next_cursor = nextCursor }, + jsonOptions.Value.SerializerOptions); + + await cache.SetAsync(key, json, ct); + return CachedJson(httpContext, diagnostics, json, status); + } + + // Ответ из кэша и ответ из БД байт-в-байт одинаковы: сериализуется одна и та же структура теми же настройками. + private static IResult CachedJson(HttpContext context, DiagnosticsSettings diagnostics, string json, CacheStatus status) + { + if (diagnostics.Headers) + { + context.Response.Headers["X-Cache"] = status.ToString().ToLowerInvariant(); + } + + return Results.Content(json, "application/json; charset=utf-8"); + } + + private static Task IsMemberAsync(MessengerDbContext db, Guid chatId, Guid userId, CancellationToken ct) => + db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == userId, ct); + + // Атомарно: проверяет членство, увеличивает версию истории и возвращает created_at нового сообщения — + // строго больше времени предыдущего (даже при откате системных часов или двух сообщениях в одну миллисекунду). + // null — чата нет или пользователь не участник. + private static async Task ReserveMessageSlotAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid chatId, + Guid userId, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + await using var command = new NpgsqlCommand(""" + UPDATE chats c + SET history_version = c.history_version + 1, + last_message_at = GREATEST(@now, COALESCE(c.last_message_at + interval '1 millisecond', @now)) + WHERE c.id = @chat + AND EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = @user) + RETURNING c.last_message_at + """, connection, (NpgsqlTransaction)tx.GetDbTransaction()); + + command.Parameters.AddWithValue("now", Timestamps.UtcNowMilliseconds()); + command.Parameters.AddWithValue("chat", chatId); + command.Parameters.AddWithValue("user", userId); + + await using var reader = await command.ExecuteReaderAsync(ct); + return await reader.ReadAsync(ct) ? reader.GetFieldValue(0) : null; + } + + private static Message ToDto(MessageEntity m) => new() + { + Id = m.Id, + ChatId = m.ChatId, + SenderId = m.SenderId, + Text = m.Text, + CreatedAt = m.CreatedAt + }; +} diff --git a/scr/Messenger.Api/Endpoints/UserEndpoints.cs b/scr/Messenger.Api/Endpoints/UserEndpoints.cs new file mode 100644 index 00000000..db68d5c2 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/UserEndpoints.cs @@ -0,0 +1,125 @@ +using System.Text.RegularExpressions; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Messenger.Api.Data; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class UserEndpoints +{ + public static IEndpointRouteBuilder MapUserEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost( + "/api/v1/users", + CreateUser); + + endpoints.MapGet( + "/api/v1/users/me", + GetCurrentUser).RequireAuthorization(); + + return endpoints; + } + + private static async Task CreateUser( + CreateUserRequest request, + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + CancellationToken ct) + { + if (!Regex.IsMatch(request.Username, @"\A[a-z0-9_]{3,32}\z")) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный username"); + } + + if (string.IsNullOrWhiteSpace(request.DisplayName) || + ApiErrors.CodePoints(request.DisplayName) > 100) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "display_name должен содержать от 1 до 100 символов"); + } + + var passwordLength = ApiErrors.CodePoints(request.Password); + if (passwordLength < 12 || passwordLength > 128) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Пароль должен содержать от 12 до 128 символов"); + } + + // Быстрый отказ, чтобы не тратить дорогой Argon2 на заведомо занятый username. + // Это только оптимизация: от гонки защищает уникальный индекс (см. catch ниже). + if (await db.Users.AnyAsync(u => u.Username == request.Username, ct)) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // Хеш считается до SaveChanges: соединение с БД не простаивает на CPU-работе. + string passwordHash; + try + { + passwordHash = await hasher.HashAsync(request.Password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + var entity = new UserEntity + { + Id = Guid.CreateVersion7(), + Username = request.Username, + DisplayName = request.DisplayName, + PasswordHash = passwordHash, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + db.Users.Add(entity); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when ( + ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.UniqueViolation, ConstraintName: "ux_users_username" }) + { + // Параллельный запрос с тем же username успел раньше проверки AnyAsync. + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // В ответ уходит API-модель без password_hash, а не сущность таблицы. + var user = new User + { + Id = entity.Id, + Username = entity.Username, + DisplayName = entity.DisplayName, + CreatedAt = entity.CreatedAt + }; + + return Results.Created($"/api/v1/users/{user.Id}", user); + } + + private static async Task GetCurrentUser( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + var user = await db.Users + .AsNoTracking() + .Where(u => u.Id == userId) + .Select(u => new User + { + Id = u.Id, + Username = u.Username, + DisplayName = u.DisplayName, + CreatedAt = u.CreatedAt + }) + .FirstOrDefaultAsync(ct); + + // Сессия ссылается на пользователя внешним ключом, поэтому null здесь невозможен; ответ всё равно безопасный. + return user is null + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.Ok(user); + } +} diff --git a/scr/Messenger.Api/Messenger.Api.csproj b/scr/Messenger.Api/Messenger.Api.csproj new file mode 100644 index 00000000..fadb9878 --- /dev/null +++ b/scr/Messenger.Api/Messenger.Api.csproj @@ -0,0 +1,25 @@ + + + + net10.0 + enable + enable + + + + + + + + + + + runtime; build; native; contentfiles; analyzers; buildtransitive + all + + + + + + + diff --git a/scr/Messenger.Api/Models/Chat.cs b/scr/Messenger.Api/Models/Chat.cs new file mode 100644 index 00000000..71777680 --- /dev/null +++ b/scr/Messenger.Api/Models/Chat.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Chat + { + public Guid Id { get; init; } + public string Title { get; init; } = String.Empty; + public List MemberIds { get; init; } = new List(); + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Models/CreateChatRequest.cs b/scr/Messenger.Api/Models/CreateChatRequest.cs new file mode 100644 index 00000000..8b2e4611 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateChatRequest.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models +{ + public sealed record CreateChatRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Title, + [property: System.Text.Json.Serialization.JsonRequired] List MemberIds); +} diff --git a/scr/Messenger.Api/Models/CreateMessageRequest.cs b/scr/Messenger.Api/Models/CreateMessageRequest.cs new file mode 100644 index 00000000..27f01a37 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateMessageRequest.cs @@ -0,0 +1,3 @@ +namespace Messenger.Api.Models; + +public sealed record CreateMessageRequest([property: System.Text.Json.Serialization.JsonRequired] string Text); \ No newline at end of file diff --git a/scr/Messenger.Api/Models/CreateUserRequest.cs b/scr/Messenger.Api/Models/CreateUserRequest.cs new file mode 100644 index 00000000..49415b63 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateUserRequest.cs @@ -0,0 +1,12 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed record CreateUserRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Username, + [property: System.Text.Json.Serialization.JsonRequired] string DisplayName, + [property: System.Text.Json.Serialization.JsonRequired] string Password); + +} diff --git a/scr/Messenger.Api/Models/Message.cs b/scr/Messenger.Api/Models/Message.cs new file mode 100644 index 00000000..4a5ff923 --- /dev/null +++ b/scr/Messenger.Api/Models/Message.cs @@ -0,0 +1,16 @@ +using Microsoft.AspNetCore.Http.HttpResults; +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Message + { + public Guid Id { get; init; } + public Guid ChatId { get; init; } + public Guid SenderId { get; init; } + public string Text { get; init; } = String.Empty; + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Models/SessionResponse.cs b/scr/Messenger.Api/Models/SessionResponse.cs new file mode 100644 index 00000000..7c3b7bf1 --- /dev/null +++ b/scr/Messenger.Api/Models/SessionResponse.cs @@ -0,0 +1,7 @@ +namespace Messenger.Api.Models; + +public sealed record SessionResponse( + string Token, + string TokenType, + DateTimeOffset ExpiresAt, + User User); diff --git a/scr/Messenger.Api/Models/User.cs b/scr/Messenger.Api/Models/User.cs new file mode 100644 index 00000000..bb088c33 --- /dev/null +++ b/scr/Messenger.Api/Models/User.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class User + { + public Guid Id { get; init; } + public string Username { get; init; } = string.Empty; + public string DisplayName { get; init; } = string.Empty; + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Program.cs b/scr/Messenger.Api/Program.cs new file mode 100644 index 00000000..39602a47 --- /dev/null +++ b/scr/Messenger.Api/Program.cs @@ -0,0 +1,197 @@ +using Microsoft.AspNetCore.Diagnostics; +using Messenger.Api.Endpoints; +using Messenger.Api.Services; +using Messenger.Api.Data; +using System.Text.Json; +using Microsoft.EntityFrameworkCore; +using Microsoft.AspNetCore.Authentication; + +// Режим для Docker HEALTHCHECK: в образе aspnet нет curl, поэтому проверку выполняет само приложение. +if (args.Contains("--healthcheck")) +{ + var port = Environment.GetEnvironmentVariable("APP_PORT") ?? "8080"; + try + { + using var probe = new HttpClient { Timeout = TimeSpan.FromSeconds(2) }; + var probeResponse = await probe.GetAsync($"http://127.0.0.1:{port}/health/live"); + return probeResponse.IsSuccessStatusCode ? 0 : 1; + } + catch (Exception) + { + return 1; + } +} + +var builder = WebApplication.CreateBuilder(args); + +// SIGTERM: новые запросы перестают приниматься, активные получают не более 8 секунд (лимит задания — 10). +builder.Services.Configure(options => options.ShutdownTimeout = TimeSpan.FromSeconds(8)); + +// Настройки читаются лениво из IConfiguration (после Build), поэтому тесты могут задавать их через UseSetting. +builder.Services.AddSingleton(sp => DatabaseSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => AuthSessionOptions.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => CacheSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => DiagnosticsSettings.From(sp.GetRequiredService())); +builder.Services.AddHttpContextAccessor(); +builder.Services.AddSingleton(); +builder.Services.AddDbContext((sp, options) => +{ + options.UseNpgsql(sp.GetRequiredService().ConnectionString) + .UseSnakeCaseNamingConvention(); + if (sp.GetRequiredService().Headers) + { + options.AddInterceptors(sp.GetRequiredService()); + } +}); +builder.Services.AddSingleton(); +builder.Services.AddSingleton(sp => +{ + var settings = sp.GetRequiredService(); + return settings.Enabled + ? new ValkeyMessageHistoryCache(settings, sp.GetRequiredService>()) + : new NullMessageHistoryCache(); +}); +builder.Services.AddAuthentication(BearerAuth.Scheme) + .AddScheme(BearerAuth.Scheme, null); +builder.Services.AddAuthorization(); +builder.Services.ConfigureHttpJsonOptions(options => +{ + options.SerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.SnakeCaseLower; + options.SerializerOptions.Converters.Add(new UtcDateTimeOffsetJsonConverter()); + options.SerializerOptions.UnmappedMemberHandling = System.Text.Json.Serialization.JsonUnmappedMemberHandling.Disallow; + options.SerializerOptions.RespectNullableAnnotations = true; + // Web-настройки по умолчанию включают регистронезависимое сопоставление имён: контракт его не допускает. + options.SerializerOptions.PropertyNameCaseInsensitive = false; +}); + +var app = builder.Build(); + +using (var scope = app.Services.CreateScope()) +{ + scope.ServiceProvider.GetRequiredService().Database.Migrate(); +} + +// Диагностика (только при DIAGNOSTIC_HEADERS=true): число SQL-команд EF Core за запрос — в заголовке X-Db-Queries. +if (app.Services.GetRequiredService().Headers) +{ + app.Use(async (context, next) => + { + var counter = new QueryCounter(); + context.Items[QueryCountingInterceptor.ItemKey] = counter; + context.Response.OnStarting(() => + { + context.Response.Headers["X-Db-Queries"] = Volatile.Read(ref counter.Count).ToString(); + return Task.CompletedTask; + }); + await next(); + }); +} + +app.Use(async (context, next) => +{ + var requestId = Guid.NewGuid().ToString(); + context.Items["request_id"] = requestId; + context.Response.Headers["X-Request-Id"] = requestId; + await next(); +}); + +// Лог запроса: метод, путь, статус, время, request_id. Тело и query не логируются. +app.Use(async (context, next) => +{ + var logger = context.RequestServices.GetRequiredService().CreateLogger("Messenger.Requests"); + var started = System.Diagnostics.Stopwatch.GetTimestamp(); + try + { + await next(); + } + finally + { + logger.LogInformation( + "{Method} {Path} -> {Status} in {ElapsedMs:0.0} ms (request_id={RequestId})", + context.Request.Method, + context.Request.Path.Value, + context.Response.StatusCode, + System.Diagnostics.Stopwatch.GetElapsedTime(started).TotalMilliseconds, + context.Items["request_id"]); + } +}); + +app.UseExceptionHandler(errorApp => errorApp.Run(context => +{ + // В Development ошибки чтения запроса приходят исключением: сохраняем их 400/415 вместо 500. + var error = context.Features.Get()?.Error; + if (error is BadHttpRequestException { StatusCode: 400 or 415 } badRequest) + { + var (code, message) = badRequest.StatusCode == 415 + ? ("unsupported_media_type", "Требуется Content-Type: application/json") + : ("invalid_request", "Некорректный запрос"); + return ApiErrors.Error(context, badRequest.StatusCode, code, message).ExecuteAsync(context); + } + + // PostgreSQL недоступен или перегружен: ограниченный ответ 503 без внутренних деталей (стек и SQL только в логе). + if (DependencyFailures.IsDatabaseUnavailable(error)) + { + return ApiErrors.Error(context, 503, "unavailable", "Сервис временно недоступен").ExecuteAsync(context); + } + + return ApiErrors.Error(context, 500, "internal_error", "Внутренняя ошибка сервера").ExecuteAsync(context); +})); + +// Пустые ответы 400/404/415 (ошибки привязки, неизвестный маршрут) получают стандартное тело ошибки. +app.UseStatusCodePages(context => +{ + var http = context.HttpContext; + var (code, message) = http.Response.StatusCode switch + { + 400 => ("invalid_request", "Некорректный запрос"), + 404 => ("not_found", "Объект не найден"), + 415 => ("unsupported_media_type", "Требуется Content-Type: application/json"), + _ => ("internal_error", "Ошибка запроса") + }; + return ApiErrors.Error(http, http.Response.StatusCode, code, message).ExecuteAsync(http); +}); + +// Аутентификация (Bearer) выполняется до выбора обработчика и разбора тела: 401 приоритетнее 400/404. +app.UseAuthentication(); +app.UseAuthorization(); + +app.MapGet("/health/live", () => +{ + return Results.Ok(new + { + status = "ok" + }); +}); + +// Готовность = API может обслуживать обязательный синхронный путь, а он требует PostgreSQL. +app.MapGet("/health/ready", async (HttpContext context, MessengerDbContext db) => +{ + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(context.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(2)); + try + { + return await db.Database.CanConnectAsync(timeout.Token) + ? Results.Ok(new { status = "ok" }) + : ApiErrors.Error(context, 503, "unavailable", "База данных недоступна"); + } + catch (OperationCanceledException) when (!context.RequestAborted.IsCancellationRequested) + { + return ApiErrors.Error(context, 503, "unavailable", "База данных недоступна"); + } +}); + +app.MapUserEndpoints(); +app.MapAuthEndpoints(); +app.MapChatEndpoints(); +app.MapMessageEndpoints(); + + +app.Lifetime.ApplicationStarted.Register(() => app.Logger.LogInformation("Messenger API started")); +app.Lifetime.ApplicationStopping.Register(() => app.Logger.LogInformation("SIGTERM received: shutting down, new requests are no longer accepted")); +app.Lifetime.ApplicationStopped.Register(() => app.Logger.LogInformation("Messenger API stopped")); + +app.Run(); +return 0; + +// Делает Program доступным для WebApplicationFactory в тестах. +public partial class Program { } diff --git a/scr/Messenger.Api/Properties/launchSettings.json b/scr/Messenger.Api/Properties/launchSettings.json new file mode 100644 index 00000000..1e19d965 --- /dev/null +++ b/scr/Messenger.Api/Properties/launchSettings.json @@ -0,0 +1,23 @@ +{ + "$schema": "https://json.schemastore.org/launchsettings.json", + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7165;http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/scr/Messenger.Api/Services/ApiErrors.cs b/scr/Messenger.Api/Services/ApiErrors.cs new file mode 100644 index 00000000..7348ac68 --- /dev/null +++ b/scr/Messenger.Api/Services/ApiErrors.cs @@ -0,0 +1,37 @@ +namespace Messenger.Api.Services; + +public static class ApiErrors +{ + public static int CodePoints(string value) => value.EnumerateRunes().Count(); + + // 401 с обязательным заголовком WWW-Authenticate (контракт: Basic для входа, Bearer для остального API). + public static IResult Unauthorized(HttpContext context, string challenge, string message) + { + context.Response.Headers.WWWAuthenticate = challenge; + return Error(context, 401, "unauthorized", message); + } + + public static IResult Error( + HttpContext context, + int statusCode, + string code, + string message) + { + var requestId = context.Items["request_id"]?.ToString() ?? context.TraceIdentifier; + + // UseExceptionHandler очищает заголовки ответа, поэтому выставляем X-Request-Id заново. + context.Response.Headers["X-Request-Id"] = requestId; + + return Results.Json( + new + { + error = new + { + code, + message, + request_id = requestId + } + }, + statusCode: statusCode); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/Services/Argon2PasswordHasher.cs b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs new file mode 100644 index 00000000..25f5a8ba --- /dev/null +++ b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs @@ -0,0 +1,67 @@ +using Isopoh.Cryptography.Argon2; + +namespace Messenger.Api.Services; + +public sealed class Argon2PasswordHasher : IPasswordHasher +{ + // Минимум по рекомендации OWASP для Argon2id: m=19 MiB, t=2, p=1. Обоснование и выбор — в REPORT.md. + private const int TimeCost = 2; + private const int MemoryCostKiB = 19 * 1024; + private const int Parallelism = 1; + + // Каждое вычисление занимает ~19 MiB и ядро CPU: без лимита 100 параллельных входов = ~2 GiB памяти. + private const int MaxConcurrency = 4; + private static readonly TimeSpan SlotWaitTimeout = TimeSpan.FromSeconds(2); + + private readonly SemaphoreSlim _slots = new(MaxConcurrency, MaxConcurrency); + + // Хеш от случайного пароля, который никто не знает. Нужен только для выравнивания времени при неизвестном username. + private readonly string _dummyHash; + + public Argon2PasswordHasher() + { + _dummyHash = HashCore(Convert.ToBase64String(System.Security.Cryptography.RandomNumberGenerator.GetBytes(32))); + } + + public async Task HashAsync(string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => HashCore(password), ct); + } + finally + { + _slots.Release(); + } + } + + public async Task VerifyAsync(string? hash, string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => + { + var ok = Argon2.Verify(hash ?? _dummyHash, password, secret: null, secureArrayCall: null); + return hash is not null && ok; + }, ct); + } + finally + { + _slots.Release(); + } + } + + private async Task AcquireSlotAsync(CancellationToken ct) + { + if (!await _slots.WaitAsync(SlotWaitTimeout, ct)) + { + throw new PasswordHasherBusyException(); + } + } + + // HybridAddressing — это Argon2id. Соль генерируется библиотекой и входит в возвращаемую строку. + private static string HashCore(string password) => + Argon2.Hash(password, TimeCost, MemoryCostKiB, Parallelism, Argon2Type.HybridAddressing); +} diff --git a/scr/Messenger.Api/Services/BearerAuth.cs b/scr/Messenger.Api/Services/BearerAuth.cs new file mode 100644 index 00000000..132d9bd8 --- /dev/null +++ b/scr/Messenger.Api/Services/BearerAuth.cs @@ -0,0 +1,91 @@ +using System.Security.Claims; +using System.Text.Encodings.Web; +using Messenger.Api.Data; +using Microsoft.AspNetCore.Authentication; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.Options; + +namespace Messenger.Api.Services; + +public static class BearerAuth +{ + public const string Scheme = "Bearer"; + public const string Challenge = "Bearer realm=\"messenger\""; + public const string SessionIdClaim = "session_id"; + + // Ровно один заголовок Authorization вида "Bearer "; иначе null (Basic и прочее здесь не принимаются). + public static string? ExtractToken(HttpRequest request) + { + if (request.Headers.Authorization.Count != 1) + { + return null; + } + + var value = request.Headers.Authorization[0]; + const string prefix = "Bearer "; + if (value is null || !value.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return null; + } + + var token = value[prefix.Length..].Trim(); + return token.Length == 0 ? null : token; + } + + public static Guid GetUserId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(ClaimTypes.NameIdentifier)!); + + public static Guid GetSessionId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(SessionIdClaim)!); +} + +// Стандартный обработчик аутентификации ASP.NET: превращает Bearer-токен в ClaimsPrincipal. +// Срабатывает до выбора и выполнения эндпоинта (в том числе до разбора тела), поэтому 401 всегда раньше 400/404. +public sealed class SessionAuthenticationHandler( + IOptionsMonitor options, + ILoggerFactory logger, + UrlEncoder encoder, + MessengerDbContext db) + : AuthenticationHandler(options, logger, encoder) +{ + protected override async Task HandleAuthenticateAsync() + { + var token = BearerAuth.ExtractToken(Request); + if (token is null) + { + return AuthenticateResult.NoResult(); + } + + var hash = SessionTokens.Hash(token); + var now = Timestamps.UtcNowMilliseconds(); + + // Неизвестный, истёкший и отозванный токен неразличимы для клиента: во всех случаях это один 401. + var session = await db.Sessions + .AsNoTracking() + .Where(s => s.TokenHash == hash && s.RevokedAt == null && s.ExpiresAt > now) + .Select(s => new { s.Id, s.UserId }) + .FirstOrDefaultAsync(Context.RequestAborted); + + if (session is null) + { + return AuthenticateResult.Fail("Недействительная сессия"); + } + + var identity = new ClaimsIdentity( + [ + new Claim(ClaimTypes.NameIdentifier, session.UserId.ToString()), + new Claim(BearerAuth.SessionIdClaim, session.Id.ToString()) + ], + BearerAuth.Scheme); + + return AuthenticateResult.Success( + new AuthenticationTicket(new ClaimsPrincipal(identity), BearerAuth.Scheme)); + } + + protected override async Task HandleChallengeAsync(AuthenticationProperties properties) + { + await ApiErrors + .Unauthorized(Context, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + .ExecuteAsync(Context); + } +} diff --git a/scr/Messenger.Api/Services/Cursors.cs b/scr/Messenger.Api/Services/Cursors.cs new file mode 100644 index 00000000..166d9e7f --- /dev/null +++ b/scr/Messenger.Api/Services/Cursors.cs @@ -0,0 +1,56 @@ +using System.Text; + +namespace Messenger.Api.Services; + +// Непрозрачный для клиента cursor keyset-пагинации: (created_at, id) последнего элемента страницы. +// Привязан к ресурсу (scope): cursor от другого списка или чата отклоняется как 400. +public static class Cursors +{ + public const string Chats = "chats"; + + public static string Messages(Guid chatId) => $"messages/{chatId:D}"; + + public static string Encode(string scope, DateTimeOffset createdAt, Guid id) => + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{scope}|{createdAt.UtcTicks}:{id:D}")); + + // cursor == null — первая страница (успех, value == null). Любая ошибка формата или чужой scope — false. + public static bool TryDecode(string? cursor, string scope, out (DateTimeOffset CreatedAt, Guid Id)? value) + { + value = null; + if (cursor is null) + { + return true; + } + + if (cursor.Length == 0) + { + return false; + } + + try + { + var decoded = new UTF8Encoding(false, throwOnInvalidBytes: true).GetString(Convert.FromBase64String(cursor)); + var scoped = decoded.Split('|', 2); + if (scoped.Length != 2 || scoped[0] != scope) + { + return false; + } + + var parts = scoped[1].Split(':', 2); + if (parts.Length != 2 || + !long.TryParse(parts[0], out var ticks) || + ticks < DateTimeOffset.MinValue.UtcTicks || ticks > DateTimeOffset.MaxValue.UtcTicks || + !Guid.TryParse(parts[1], out var id)) + { + return false; + } + + value = (new DateTimeOffset(ticks, TimeSpan.Zero), id); + return true; + } + catch (Exception ex) when (ex is FormatException or ArgumentException or DecoderFallbackException) + { + return false; + } + } +} diff --git a/scr/Messenger.Api/Services/Diagnostics.cs b/scr/Messenger.Api/Services/Diagnostics.cs new file mode 100644 index 00000000..130b0343 --- /dev/null +++ b/scr/Messenger.Api/Services/Diagnostics.cs @@ -0,0 +1,90 @@ +using System.Data.Common; +using Microsoft.EntityFrameworkCore.Diagnostics; +using Npgsql; + +namespace Messenger.Api.Services; + +public sealed class QueryCounter +{ + public int Count; +} + +// Считает SQL-команды, выполненные EF Core в рамках текущего HTTP-запроса (для измерения «запросов к БД на запрос API»). +// Включается только при DIAGNOSTIC_HEADERS=true. Команда ReserveMessageSlot (сырой NpgsqlCommand) не учитывается. +public sealed class QueryCountingInterceptor(IHttpContextAccessor accessor) : DbCommandInterceptor +{ + public const string ItemKey = "diagnostics.query_counter"; + + private void Count() + { + if (accessor.HttpContext?.Items[ItemKey] is QueryCounter counter) + { + Interlocked.Increment(ref counter.Count); + } + } + + public override InterceptionResult ReaderExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ReaderExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult NonQueryExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> NonQueryExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult ScalarExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ScalarExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } +} + +public static class DependencyFailures +{ + // Недоступность или перегрузка PostgreSQL (нет соединения, таймаут, исчерпан пул, остановка сервера) — это 503, + // а не 500: ошибка ограничена, внутренние детали не раскрываются, запрос не принимается как доверенный. + public static bool IsDatabaseUnavailable(Exception? error) + { + for (var e = error; e is not null; e = e.InnerException) + { + switch (e) + { + case PostgresException pg: + // 08 — соединение, 53 — нехватка ресурсов, 57 — вмешательство оператора (shutdown и т.п.) + if (pg.SqlState.StartsWith("08") || pg.SqlState.StartsWith("53") || pg.SqlState.StartsWith("57")) + { + return true; + } + + break; + case NpgsqlException: + case TimeoutException: + case System.Net.Sockets.SocketException: + return true; + } + } + + return false; + } +} diff --git a/scr/Messenger.Api/Services/IPasswordHasher.cs b/scr/Messenger.Api/Services/IPasswordHasher.cs new file mode 100644 index 00000000..fb2a91d3 --- /dev/null +++ b/scr/Messenger.Api/Services/IPasswordHasher.cs @@ -0,0 +1,18 @@ +namespace Messenger.Api.Services; + +public interface IPasswordHasher +{ + /// PHC-строка Argon2id (соль и параметры внутри). Бросает , если слот не освободился вовремя. + Task HashAsync(string password, CancellationToken ct); + + /// + /// == null означает «пользователя нет»: проверка всё равно выполняется (против заглушки), + /// чтобы время ответа не раскрывало существование username. + /// + Task VerifyAsync(string? hash, string password, CancellationToken ct); +} + +public sealed class PasswordHasherBusyException : Exception +{ + public PasswordHasherBusyException() : base("Слишком много одновременных вычислений хеша пароля") { } +} diff --git a/scr/Messenger.Api/Services/MessageHistoryCache.cs b/scr/Messenger.Api/Services/MessageHistoryCache.cs new file mode 100644 index 00000000..efd5525a --- /dev/null +++ b/scr/Messenger.Api/Services/MessageHistoryCache.cs @@ -0,0 +1,102 @@ +using StackExchange.Redis; + +namespace Messenger.Api.Services; + +public enum CacheStatus +{ + Disabled, // кэш не настроен + Hit, + Miss, + Bypass // кэш настроен, но недоступен: запрос обслужен напрямую из PostgreSQL +} + +// Кэш страниц истории. Источник истины — PostgreSQL; кэш лишь ускоряет чтение и никогда не обязателен. +// Согласованность: версия истории чата (chats.history_version) входит в ключ, а версия читается из PostgreSQL +// при каждом запросе (см. MessageEndpoints). Запись увеличивает версию в своей транзакции, поэтому +// после подтверждённой записи ключ меняется, и устаревшая страница недостижима — явная инвалидация не нужна. +// Старые ключи удаляются по TTL (CACHE_TTL_SECONDS) и вытесняются политикой maxmemory. +public interface IMessageHistoryCache +{ + Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct); + Task SetAsync(string key, string json, CancellationToken ct); +} + +public sealed class NullMessageHistoryCache : IMessageHistoryCache +{ + public Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) => + Task.FromResult<(string?, CacheStatus)>((null, CacheStatus.Disabled)); + + public Task SetAsync(string key, string json, CancellationToken ct) => Task.CompletedTask; +} + +public sealed class ValkeyMessageHistoryCache : IMessageHistoryCache, IDisposable +{ + // После ошибки кэш пропускается на это время, чтобы каждый запрос не ждал таймаут недоступного сервера. + private static readonly TimeSpan BypassWindow = TimeSpan.FromSeconds(5); + + private readonly ConnectionMultiplexer _connection; + private readonly TimeSpan _ttl; + private readonly ILogger _logger; + private long _bypassUntilTicks; + + public ValkeyMessageHistoryCache(CacheSettings settings, ILogger logger) + { + var options = ConfigurationOptions.Parse(settings.Connection!); + // Недоступный кэш не должен ронять ни старт, ни запросы: короткие таймауты, подключение в фоне. + options.AbortOnConnectFail = false; + options.ConnectTimeout = 500; + options.SyncTimeout = 200; + options.AsyncTimeout = 200; + options.ConnectRetry = 1; + _connection = ConnectionMultiplexer.Connect(options); + _ttl = settings.Ttl; + _logger = logger; + } + + public async Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) + { + if (IsBypassed()) + { + return (null, CacheStatus.Bypass); + } + + try + { + var value = await _connection.GetDatabase().StringGetAsync(key); + return value.IsNull ? (null, CacheStatus.Miss) : ((string?)value, CacheStatus.Hit); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + return (null, CacheStatus.Bypass); + } + } + + public async Task SetAsync(string key, string json, CancellationToken ct) + { + if (IsBypassed()) + { + return; + } + + try + { + await _connection.GetDatabase().StringSetAsync(key, json, _ttl); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + } + } + + private bool IsBypassed() => Environment.TickCount64 < Interlocked.Read(ref _bypassUntilTicks); + + private void StartBypass(Exception ex) + { + Interlocked.Exchange(ref _bypassUntilTicks, Environment.TickCount64 + (long)BypassWindow.TotalMilliseconds); + _logger.LogWarning("Кэш недоступен ({Error}); чтение идёт напрямую из PostgreSQL ближайшие {Seconds} с", + ex.GetType().Name, BypassWindow.TotalSeconds); + } + + public void Dispose() => _connection.Dispose(); +} diff --git a/scr/Messenger.Api/Services/SessionTokens.cs b/scr/Messenger.Api/Services/SessionTokens.cs new file mode 100644 index 00000000..f8a0669e --- /dev/null +++ b/scr/Messenger.Api/Services/SessionTokens.cs @@ -0,0 +1,16 @@ +using System.Security.Cryptography; +using System.Text; + +namespace Messenger.Api.Services; + +public static class SessionTokens +{ + // 32 случайных байта = 256 бит энтропии (контракт: не менее 256). В base64url это 43 символа. + public static string Generate() => + Convert.ToBase64String(RandomNumberGenerator.GetBytes(32)) + .TrimEnd('=').Replace('+', '-').Replace('/', '_'); + + // В БД хранится только SHA-256 токена. Быстрый хеш здесь уместен: токен случайный и длинный, подбирать нечего + // (в отличие от пароля, который выбирает человек и который поэтому хешируется медленным Argon2id). + public static byte[] Hash(string token) => SHA256.HashData(Encoding.UTF8.GetBytes(token)); +} diff --git a/scr/Messenger.Api/Services/Settings.cs b/scr/Messenger.Api/Services/Settings.cs new file mode 100644 index 00000000..977daac2 --- /dev/null +++ b/scr/Messenger.Api/Services/Settings.cs @@ -0,0 +1,70 @@ +namespace Messenger.Api.Services; + +// Все настройки читаются из IConfiguration (переменные окружения и, в тестах, UseSetting), а не напрямую из окружения: +// так одно приложение можно поднять с разными настройками в одном процессе. Секреты передаются файлами (*_FILE). + +public sealed record DatabaseSettings(string ConnectionString) +{ + public static DatabaseSettings From(IConfiguration configuration) + { + var file = configuration["DATABASE_URL_FILE"] + ?? throw new InvalidOperationException("DATABASE_URL_FILE не задан"); + + var builder = new Npgsql.NpgsqlConnectionStringBuilder(File.ReadAllText(file).Trim()) + { + Pooling = true, + MinPoolSize = 1, + // Ограниченный пул: больше MaxPoolSize соединений от одного экземпляра не открывается, + // ожидающие запросы ждут не дольше Timeout и затем получают 503. + MaxPoolSize = configuration.GetValue("DB_MAX_POOL_SIZE", 20), + Timeout = configuration.GetValue("DB_CONNECT_TIMEOUT_SECONDS", 5), + CommandTimeout = configuration.GetValue("DB_COMMAND_TIMEOUT_SECONDS", 5) + }; + return new DatabaseSettings(builder.ConnectionString); + } +} + +public sealed record AuthSessionOptions(TimeSpan Ttl) +{ + // SESSION_TTL_SECONDS: по умолчанию 3600; в тесте истечения допустимо 2. Неверное значение — ошибка старта, а не молчаливый дефолт. + public static AuthSessionOptions From(IConfiguration configuration) + { + var raw = configuration["SESSION_TTL_SECONDS"]; + if (string.IsNullOrWhiteSpace(raw)) + { + return new AuthSessionOptions(TimeSpan.FromSeconds(3600)); + } + + if (!int.TryParse(raw, out var seconds) || seconds < 1) + { + throw new InvalidOperationException("SESSION_TTL_SECONDS должен быть положительным целым числом"); + } + + return new AuthSessionOptions(TimeSpan.FromSeconds(seconds)); + } +} + +// Кэш необязателен: без CACHE_URL_FILE / CACHE_CONNECTION приложение работает только на PostgreSQL. +public sealed record CacheSettings(string? Connection, TimeSpan Ttl) +{ + public bool Enabled => !string.IsNullOrWhiteSpace(Connection); + + public static CacheSettings From(IConfiguration configuration) + { + var connection = configuration["CACHE_CONNECTION"]; + var file = configuration["CACHE_URL_FILE"]; + if (!string.IsNullOrWhiteSpace(file) && File.Exists(file)) + { + connection = File.ReadAllText(file).Trim(); + } + + return new CacheSettings(connection, TimeSpan.FromSeconds(configuration.GetValue("CACHE_TTL_SECONDS", 300))); + } +} + +// Диагностические заголовки X-Cache и X-Db-Queries для экспериментов; в обычной работе выключены. +public sealed record DiagnosticsSettings(bool Headers) +{ + public static DiagnosticsSettings From(IConfiguration configuration) => + new(configuration.GetValue("DIAGNOSTIC_HEADERS", false)); +} diff --git a/scr/Messenger.Api/Services/Timestamps.cs b/scr/Messenger.Api/Services/Timestamps.cs new file mode 100644 index 00000000..d9601015 --- /dev/null +++ b/scr/Messenger.Api/Services/Timestamps.cs @@ -0,0 +1,13 @@ +namespace Messenger.Api.Services; + +public static class Timestamps +{ + // Единая точность времени для хранения, сортировки, cursor и JSON-ответа: миллисекунды. + // Клиент видит время с точностью до миллисекунды, поэтому порядок (created_at, id) должен + // определяться теми же значениями, которые он видит. + public static DateTimeOffset UtcNowMilliseconds() + { + var ticks = DateTimeOffset.UtcNow.UtcTicks; + return new DateTimeOffset(ticks - ticks % TimeSpan.TicksPerMillisecond, TimeSpan.Zero); + } +} diff --git a/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs new file mode 100644 index 00000000..bf12e0cd --- /dev/null +++ b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs @@ -0,0 +1,28 @@ +using System.Globalization; +using System.Text.Json; +using System.Text.Json.Serialization; + +namespace Messenger.Api.Services; + +public sealed class UtcDateTimeOffsetJsonConverter : JsonConverter +{ + public override DateTimeOffset Read( + ref Utf8JsonReader reader, + Type typeToConvert, + JsonSerializerOptions options) + { + return DateTimeOffset.Parse( + reader.GetString()!, + CultureInfo.InvariantCulture, + DateTimeStyles.RoundtripKind); + } + + public override void Write( + Utf8JsonWriter writer, + DateTimeOffset value, + JsonSerializerOptions options) + { + writer.WriteStringValue( + value.UtcDateTime.ToString("yyyy-MM-dd'T'HH:mm:ss.fff'Z'", CultureInfo.InvariantCulture)); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/appsettings.Development.json b/scr/Messenger.Api/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/scr/Messenger.Api/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/scr/Messenger.Api/appsettings.json b/scr/Messenger.Api/appsettings.json new file mode 100644 index 00000000..10f68b8c --- /dev/null +++ b/scr/Messenger.Api/appsettings.json @@ -0,0 +1,9 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*" +} diff --git a/scripts/explain-history.sql b/scripts/explain-history.sql new file mode 100644 index 00000000..1e4e82be --- /dev/null +++ b/scripts/explain-history.sql @@ -0,0 +1,98 @@ +-- Воспроизводимый эксперимент: план запроса страницы истории (EXPLAIN (ANALYZE, BUFFERS)) на ~67 000 сообщений. +-- Запускать в ОТДЕЛЬНОЙ базе со схемой приложения (миграции применены), см. evidence/lab2-level4-explain.md: +-- docker compose exec -T db psql -U messenger -d explain_lab -f - < scripts/explain-history.sql +-- Данные синтетические. Порядок вставки перемешан (ORDER BY random()), чтобы строки одного чата не лежали в куче подряд, +-- как при реальной записи в много чатов одновременно. +\set ON_ERROR_STOP on +\pset pager off +\timing off + +TRUNCATE messages, chat_members, chats, sessions, users CASCADE; + +INSERT INTO users (id, username, display_name, password_hash, created_at) +SELECT gen_random_uuid(), 'seed_user_' || g, 'Seed', 'not-a-real-hash', now() FROM generate_series(1, 3) g; + +-- 1 большой чат (60 000), 1 средний (5 000) и 2 000 маленьких (по 5 сообщений): неравномерные размеры. +CREATE TEMP TABLE seed_chats AS +SELECT gen_random_uuid() AS id, n, CASE WHEN n = 1 THEN 60000 WHEN n = 2 THEN 5000 ELSE 5 END AS msgs +FROM generate_series(1, 2002) n; + +INSERT INTO chats (id, title, created_at, history_version) +SELECT id, 'seed ' || n, now() + n * interval '1 millisecond', msgs FROM seed_chats; + +INSERT INTO chat_members (chat_id, user_id) +SELECT c.id, u.id FROM seed_chats c CROSS JOIN users u; + +INSERT INTO messages (id, chat_id, sender_id, text, created_at) +SELECT gen_random_uuid(), c.id, s.id, 'message ' || g, timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second' +FROM seed_chats c +CROSS JOIN LATERAL generate_series(1, c.msgs) g +CROSS JOIN (SELECT id FROM users WHERE username = 'seed_user_1') s +ORDER BY random(); + +ANALYZE; + +SELECT count(*) AS messages_total, + (SELECT count(*) FROM messages m JOIN seed_chats c ON c.id = m.chat_id AND c.n = 1) AS big_chat, + (SELECT count(*) FROM chats) AS chats +FROM messages; + +SELECT id AS big FROM seed_chats WHERE n = 1 \gset +SELECT id AS small FROM seed_chats WHERE n = 3 \gset +-- Курсор «в середине» истории большого чата (30 000-е сообщение) и «в конце» (59 949-е). +SELECT created_at AS mid_t, id AS mid_id FROM messages WHERE chat_id = :'big' ORDER BY created_at, id OFFSET 30000 LIMIT 1 \gset +SELECT created_at AS end_t, id AS end_id FROM messages WHERE chat_id = :'big' ORDER BY created_at, id OFFSET 59949 LIMIT 1 \gset + +\echo +\echo '=== A. Первая страница большого чата (с индексом ix_messages_chat_history) ===' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big') AS m +ORDER BY m.created_at, m.id LIMIT 51; + +\echo +\echo '=== B. Страница из середины истории (30 000 сообщений до курсора), keyset, с индексом ===' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big' AND (created_at, id) > (:'mid_t', :'mid_id')) AS m +ORDER BY m.created_at, m.id LIMIT 51; + +\echo +\echo '=== C. Последняя страница большого чата, keyset, с индексом ===' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big' AND (created_at, id) > (:'end_t', :'end_id')) AS m +ORDER BY m.created_at, m.id LIMIT 51; + +\echo +\echo '=== D. Маленький чат (5 сообщений) на той же таблице, с индексом ===' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'small') AS m +ORDER BY m.created_at, m.id LIMIT 51; + +\echo +\echo '=== E. Для сравнения: OFFSET-пагинация, та же страница из середины (индекс есть) ===' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id FROM messages m WHERE m.chat_id = :'big' ORDER BY m.created_at, m.id OFFSET 30000 LIMIT 51; + +\echo +\echo '=== F. Тот же запрос B БЕЗ индекса (DROP INDEX ix_messages_chat_history) ===' +BEGIN; +DROP INDEX ix_messages_chat_history; +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big' AND (created_at, id) > (:'mid_t', :'mid_id')) AS m +ORDER BY m.created_at, m.id LIMIT 51; +\echo +\echo '=== G. Запрос D (маленький чат) БЕЗ индекса ===' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'small') AS m +ORDER BY m.created_at, m.id LIMIT 51; +ROLLBACK; + +\echo +\echo '=== H. Размеры: таблица и индекс ===' +SELECT pg_size_pretty(pg_relation_size('messages')) AS table_size, + pg_size_pretty(pg_relation_size('ix_messages_chat_history')) AS history_index_size; diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100755 index 00000000..056ffb76 --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,30 @@ +#!/bin/sh +# Создаёт локальные секреты для compose.yaml, если их ещё нет. Существующие файлы не перезаписываются. +# Пароль случайный (24 символа [A-Za-z0-9]); значения не печатаются. Каталог secrets/ исключён из Git. +set -eu +cd "$(dirname "$0")/.." + +mkdir -p secrets +umask 077 + +if [ ! -f secrets/db_password ]; then + # tr читает конечный поток /dev/urandom до нужной длины; head закрывает канал. + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/db_password + echo "created secrets/db_password" +fi + +if [ ! -f secrets/database_url.compose ]; then + printf 'Host=db;Port=5432;Database=messenger;Username=messenger;Password=%s' "$(cat secrets/db_password)" \ + > secrets/database_url.compose + echo "created secrets/database_url.compose" +fi + +if [ ! -f secrets/cache_password ]; then + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/cache_password + echo "created secrets/cache_password" +fi + +if [ ! -f secrets/cache_url ]; then + printf 'cache:6379,password=%s' "$(cat secrets/cache_password)" > secrets/cache_url + echo "created secrets/cache_url" +fi diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..a5fc23c9 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,12 @@ +#!/bin/sh +# Полный перезапуск стенда для `make test-persistence`: останавливается API, затем перезапускаются ВСЕ хранилища — +# PostgreSQL (тот же именованный volume) и Valkey (кэш без persistence: его содержимое после этого пусто), +# затем API запускается заново. Volumes не удаляются, данные не пересоздаются. +# Токены сессий живут в таблице sessions в PostgreSQL, поэтому переживают этот перезапуск; кэш — только ускорение. +set -eu +cd "$(dirname "$0")/.." + +docker compose stop api +docker compose restart db cache +docker compose up -d --wait db cache +docker compose up -d --wait api diff --git a/scripts/track2/backup.sh b/scripts/track2/backup.sh new file mode 100644 index 00000000..c337a4a5 --- /dev/null +++ b/scripts/track2/backup.sh @@ -0,0 +1,87 @@ +#!/bin/sh +# Фаза backup трека 2 (подключается из run.sh): pg_dump -> восстановление в НОВОЕ хранилище -> сверка. +# 1) контрольные суммы источника; 2) pg_dump -Fc; 3) запись ещё 100 сообщений в источник ПОСЛЕ backup (граница потери данных); +# 4) pg_restore в новый контейнер с новым томом; 5) те же контрольные суммы на копии и diff; 6) API поверх копии отдаёт те же страницы. + +now() { date +%s.%N; } +elapsed() { awk "BEGIN { printf \"%.1f\", $2 - $1 }"; } +host_path() { echo "$(pwd -W 2>/dev/null || pwd)/$1"; } + +phase_backup() { + pw=$(cat "$WORK/pw") + verify() { docker exec -i "$1" psql -U postgres -d messenger -X -q -f - < scripts/track2/verify.sql; } + : > "$OUT/backup-timings.txt" + + echo "== 1. состояние источника до backup" + verify "$SRC" > "$OUT/verify-source.txt" + cat "$OUT/verify-source.txt" + + echo "== 2. pg_dump -Fc (без служебной схемы bench)" + t0=$(now) + docker exec "$SRC" pg_dump -U postgres -d messenger -Fc -N bench -f /tmp/messenger.dump + t1=$(now) + dump_bytes=$(docker exec "$SRC" stat -c %s /tmp/messenger.dump) + echo "pg_dump: $(elapsed "$t0" "$t1") с, размер дампа: $dump_bytes байт" | tee -a "$OUT/backup-timings.txt" + docker cp "$SRC":/tmp/messenger.dump "$WORK/messenger.dump" + + echo "== 3. запись ПОСЛЕ backup: ещё 100 сообщений в источник" + src_psql -q -c "INSERT INTO messages (id, chat_id, sender_id, text, created_at) + SELECT gen_random_uuid(), (SELECT medium FROM bench.params), (SELECT sender FROM bench.params), 'after-backup ' || g, now() + g * interval '1 ms' + FROM generate_series(1, 100) g" + source_total=$(scalar "SELECT count(*) FROM messages") + echo "в источнике теперь $source_total сообщений" | tee -a "$OUT/backup-timings.txt" + + echo "== 4. восстановление в новое хранилище (новый контейнер, новый том)" + docker volume create track2_restore >/dev/null + docker run -d --name "$RST" --network "$NET" -e POSTGRES_PASSWORD="$pw" -e POSTGRES_DB=postgres \ + -v track2_restore:/var/lib/postgresql/data "$IMG" >/dev/null + wait_ready "$RST"; sleep 3; wait_ready "$RST" + docker exec "$RST" createdb -U postgres messenger + docker cp "$WORK/messenger.dump" "$RST":/tmp/messenger.dump + t2=$(now) + docker exec "$RST" pg_restore -U postgres -d messenger --exit-on-error --jobs 4 /tmp/messenger.dump + t3=$(now) + docker exec "$RST" psql -U postgres -d messenger -q -c "ANALYZE" # статистика планировщика не восстанавливается + t4=$(now) + echo "pg_restore (--jobs 4): $(elapsed "$t2" "$t3") с; ANALYZE: $(elapsed "$t3" "$t4") с; итого до готовности к работе: $(elapsed "$t2" "$t4") с" | tee -a "$OUT/backup-timings.txt" + docker volume ls --format '{{.Name}}' | grep track2 | tee "$OUT/volumes.txt" + + echo "== 5. сверка копии с состоянием источника ДО backup" + verify "$RST" > "$OUT/verify-restored.txt" + if diff "$OUT/verify-source.txt" "$OUT/verify-restored.txt" > "$OUT/verify-diff.txt"; then + echo "СОВПАДАЕТ: все контрольные суммы и числа строк идентичны" | tee -a "$OUT/backup-timings.txt" + else + echo "РАСХОЖДЕНИЕ:"; cat "$OUT/verify-diff.txt"; exit 1 + fi + restored_total=$(docker exec "$RST" psql -U postgres -d messenger -At -c "SELECT count(*) FROM messages") + echo "сообщений в копии: $restored_total; в источнике: $source_total; потеряно (записано после backup): $((source_total - restored_total))" | tee -a "$OUT/backup-timings.txt" + + echo "== 6. приложение поверх копии отдаёт те же данные, что и поверх источника" + printf 'Host=%s;Port=5432;Database=messenger;Username=postgres;Password=%s' "$SRC" "$pw" > "$WORK/url-src" + printf 'Host=%s;Port=5432;Database=messenger;Username=postgres;Password=%s' "$RST" "$pw" > "$WORK/url-restore" + docker run -d --name track2-api-src --network "$NET" -p 18081:8080 -e DATABASE_URL_FILE=/run/secrets/database_url \ + -v "$(host_path "$WORK/url-src"):/run/secrets/database_url:ro" messenger-api:lab2 >/dev/null + docker run -d --name track2-api-restore --network "$NET" -p 18082:8080 -e DATABASE_URL_FILE=/run/secrets/database_url \ + -v "$(host_path "$WORK/url-restore"):/run/secrets/database_url:ro" messenger-api:lab2 >/dev/null + for port in 18081 18082; do + for _ in $(seq 1 60); do curl -sf "http://localhost:$port/health/ready" >/dev/null && break; sleep 1; done + done + big=$(scalar "SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC, chat_id LIMIT 1") + token=track2-experiment-token + echo "сессия, созданная до backup, действует на копии: GET /users/me -> $(curl -s -o /dev/null -w '%{http_code}' http://localhost:18082/api/v1/users/me -H "Authorization: Bearer $token")" | tee -a "$OUT/backup-timings.txt" + cursor=""; same=0 + for page in 1 2 3 4 5 6 7 8; do + for port in 18081 18082; do + if [ -z "$cursor" ]; then + curl -s -G "http://localhost:$port/api/v1/chats/$big/messages" --data-urlencode "limit=100" -H "Authorization: Bearer $token" > "$WORK/page-$port.json" + else + curl -s -G "http://localhost:$port/api/v1/chats/$big/messages" --data-urlencode "limit=100" --data-urlencode "cursor=$cursor" -H "Authorization: Bearer $token" > "$WORK/page-$port.json" + fi + done + cmp -s "$WORK/page-18081.json" "$WORK/page-18082.json" || { echo "страница $page различается"; exit 1; } + same=$((same + 1)) + cursor=$(sed -n 's/.*"next_cursor":"\([^"]*\)".*/\1/p' "$WORK/page-18081.json") + [ -n "$cursor" ] || break + done + echo "страницы истории большого чата через API (источник и копия) совпадают побайтно: $same из $same" | tee -a "$OUT/backup-timings.txt" +} diff --git a/scripts/track2/plans.sql b/scripts/track2/plans.sql new file mode 100644 index 00000000..3486907c --- /dev/null +++ b/scripts/track2/plans.sql @@ -0,0 +1,31 @@ +-- Планы запросов страницы истории для текущего варианта индекса (EXPLAIN (ANALYZE, BUFFERS)). +-- Переменные psql: big, small, mid_t, mid_id, end_t, end_id (задаёт run.sh). Запрос — тот, что генерирует EF. +\set ON_ERROR_STOP on +\pset pager off + +\echo '--- Q1 первая страница большого чата (80 000), keyset' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big') AS m ORDER BY m.created_at, m.id LIMIT 51; + +\echo '--- Q2 страница из середины большого чата, keyset' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big' AND (created_at, id) > (:'mid_t', :'mid_id')) AS m +ORDER BY m.created_at, m.id LIMIT 51; + +\echo '--- Q3 последняя страница большого чата, keyset' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'big' AND (created_at, id) > (:'end_t', :'end_id')) AS m +ORDER BY m.created_at, m.id LIMIT 51; + +\echo '--- Q4 маленький чат (5 сообщений)' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :'small') AS m ORDER BY m.created_at, m.id LIMIT 51; + +\echo '--- Q5 середина большого чата, OFFSET 40000 (для сравнения с keyset)' +EXPLAIN (ANALYZE, BUFFERS, COSTS OFF, TIMING OFF) +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM messages m WHERE m.chat_id = :'big' ORDER BY m.created_at, m.id OFFSET 40000 LIMIT 51; diff --git a/scripts/track2/read.pgbench b/scripts/track2/read.pgbench new file mode 100644 index 00000000..0f9117ae --- /dev/null +++ b/scripts/track2/read.pgbench @@ -0,0 +1,7 @@ +-- Профиль чтения: страница истории большого чата с курсором случайной глубины (keyset), LIMIT 51 как в API (limit=50 + 1). +-- Параметры: -D big='uuid' -D ncur=<число курсоров в bench.cursors>. +\set k random(1, :ncur) +SELECT quote_literal(t::text) AS ct, quote_literal(id::text) AS cid FROM bench.cursors WHERE n = :k \gset +SELECT m.id, m.chat_id, m.created_at, m.sender_id, m.text +FROM (SELECT * FROM messages WHERE chat_id = :big AND (created_at, id) > (:ct::timestamptz, :cid::uuid)) AS m +ORDER BY m.created_at, m.id LIMIT 51; diff --git a/scripts/track2/run.sh b/scripts/track2/run.sh new file mode 100755 index 00000000..5c92837b --- /dev/null +++ b/scripts/track2/run.sh @@ -0,0 +1,146 @@ +#!/bin/sh +# Трек 2: план запроса, стоимость индексов и backup/restore. Изолированный стенд: свои контейнеры, сеть и тома track2-*; +# стенд compose (messenger-lab2) не затрагивается. Фазы: up | indexes | backup | down. Сырые результаты — в evidence/track2/. +# sh scripts/track2/run.sh up # контейнер PostgreSQL, миграции приложения, 115 000 сообщений +# sh scripts/track2/run.sh indexes # сравнение вариантов индекса: планы, размер, pgbench записи/чтения +# sh scripts/track2/run.sh backup # pg_dump -> восстановление в новое хранилище -> сверка +# sh scripts/track2/run.sh down # удалить всё +# Требуются Docker, .NET SDK (dotnet tool restore уже выполнен), образ messenger-api:lab2 (docker compose build) для фазы backup. +set -eu +cd "$(dirname "$0")/../.." +export MSYS_NO_PATHCONV=1 # Git Bash на Windows не должен переписывать пути внутри docker exec + +OUT=evidence/track2 +NET=track2net +SRC=track2-src +RST=track2-restore +IMG=$(grep -o 'postgres:17@sha256:[0-9a-f]*' compose.yaml | head -1) +WORK=scripts/track2/.work # относительный путь: его понимают и dotnet.exe, и POSIX-оболочка +mkdir -p "$OUT" "$WORK" + +. scripts/track2/backup.sh + +src_psql() { docker exec -i "$SRC" psql -U postgres -d messenger -v ON_ERROR_STOP=1 "$@"; } +scalar() { src_psql -At -c "$1"; } + +wait_ready() { # $1 — контейнер + for _ in $(seq 1 60); do + docker exec "$1" pg_isready -U postgres -d messenger >/dev/null 2>&1 && return 0 + sleep 1 + done + echo "контейнер $1 не готов" >&2; exit 1 +} + +phase_up() { + [ -f "$WORK/pw" ] || LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > "$WORK/pw" + docker network inspect "$NET" >/dev/null 2>&1 || docker network create "$NET" >/dev/null + docker volume create track2_src >/dev/null + docker run -d --name "$SRC" --network "$NET" -e POSTGRES_PASSWORD="$(cat "$WORK/pw")" -e POSTGRES_DB=messenger \ + -v track2_src:/var/lib/postgresql/data "$IMG" >/dev/null + wait_ready "$SRC"; sleep 2; wait_ready "$SRC" + # Схема — те же миграции EF Core, что применяет приложение. + dotnet tool run dotnet-ef migrations script --project scr/Messenger.Api -o "$WORK/schema.sql" >/dev/null + src_psql -q < "$WORK/schema.sql" + echo "seed..."; src_psql -q < scripts/track2/seed.sql + src_psql -c "SELECT (SELECT count(*) FROM messages) AS messages, (SELECT count(*) FROM chats) AS chats, (SELECT max(c) FROM (SELECT count(*) c FROM messages GROUP BY chat_id) s) AS biggest_chat" \ + | tee "$OUT/seed-summary.txt" +} + +# Варианты индекса истории: имя | определение. +create_variant() { + case "$1" in + none) : ;; + hist) src_psql -q -c "CREATE INDEX ix_t2_hist ON messages (chat_id, created_at, id)" ;; + nosort) src_psql -q -c "CREATE INDEX ix_t2_nosort ON messages (chat_id, created_at)" ;; + covering) src_psql -q -c "CREATE INDEX ix_t2_covering ON messages (chat_id, created_at, id) INCLUDE (sender_id, text)" ;; + esac +} + +bench_lines() { # tps и средняя задержка из вывода pgbench + grep -E "^(tps|latency average|number of transactions actually processed)" | tr '\n' ' '; echo +} + +phase_indexes() { + big=$(scalar "SELECT big FROM bench.params"); medium=$(scalar "SELECT medium FROM bench.params") + small=$(scalar "SELECT small FROM bench.params"); sender=$(scalar "SELECT sender FROM bench.params") + ncur=$(scalar "SELECT count(*) FROM bench.cursors") + mid_t=$(scalar "SELECT t FROM bench.cursors WHERE n = (SELECT count(*)/2 FROM bench.cursors)") + mid_id=$(scalar "SELECT id FROM bench.cursors WHERE n = (SELECT count(*)/2 FROM bench.cursors)") + end_t=$(scalar "SELECT t FROM bench.cursors WHERE n = (SELECT max(n) FROM bench.cursors)") + end_id=$(scalar "SELECT id FROM bench.cursors WHERE n = (SELECT max(n) FROM bench.cursors)") + docker cp scripts/track2/write.pgbench "$SRC":/tmp/write.pgbench + docker cp scripts/track2/read.pgbench "$SRC":/tmp/read.pgbench + : > "$OUT/variants-summary.txt" + + for v in none hist nosort covering; do + echo "=== variant: $v" + # Чистое состояние: удалить строки прошлых прогонов записи, пересобрать таблицу, оставить только индексы варианта. + src_psql -q -c "DELETE FROM messages WHERE text LIKE 'bench %'" + src_psql -q -c "VACUUM FULL messages" + src_psql -q -c "DROP INDEX IF EXISTS ix_messages_chat_history, ix_t2_hist, ix_t2_nosort, ix_t2_covering" + create_variant "$v" + src_psql -q -c "ANALYZE messages" + size=$(scalar "SELECT coalesce((SELECT pg_size_pretty(pg_relation_size(c.oid)) FROM pg_class c WHERE c.relname = 'ix_t2_$v'), '-')") + + # Планы снимаются на втором (прогретом) запуске: первый только заполняет shared buffers. + for pass in 1 2; do + src_psql -q -v big="$big" -v small="$small" -v mid_t="$mid_t" -v mid_id="$mid_id" -v end_t="$end_t" -v end_id="$end_id" \ + -f - < scripts/track2/plans.sql > "$OUT/plans-$v.txt" + done + + # Индекс с INCLUDE (text) ограничен размером строки B-дерева (~2700 байт): проверяем сообщение максимальной длины 4000 символов. + limit_msg=$(src_psql -At -c "BEGIN; INSERT INTO messages (id, chat_id, sender_id, text, created_at) SELECT gen_random_uuid(), '$small', '$sender', (SELECT string_agg(chr(33 + (random()*93)::int), '') FROM generate_series(1,4000)), now(); ROLLBACK;" 2>&1 | grep -E "ERROR|INSERT" | head -1 || true) + + echo "read:" > "$WORK/bench.tmp" + for i in 1 2 3; do + docker exec "$SRC" pgbench -U postgres -d messenger -n -c 4 -j 2 -T 10 -f /tmp/read.pgbench \ + -D big="'$big'" -D ncur="$ncur" 2>&1 | bench_lines >> "$WORK/bench.tmp" + done + echo "write:" >> "$WORK/bench.tmp" + lsn0=$(scalar "SELECT pg_current_wal_lsn()") + for i in 1 2 3; do + docker exec "$SRC" pgbench -U postgres -d messenger -n -c 4 -j 2 -T 10 -f /tmp/write.pgbench \ + -D big="'$big'" -D medium="'$medium'" -D sender="'$sender'" 2>&1 | bench_lines >> "$WORK/bench.tmp" + done + # Размер индекса после нагрузки записи — до bulk-вставки: её откат оставляет мёртвые записи в индексе. + idx_after=$(scalar "SELECT coalesce((SELECT pg_size_pretty(pg_relation_size(c.oid)) FROM pg_class c WHERE c.relname = 'ix_t2_$v'), '-')") + wal_bytes=$(scalar "SELECT pg_wal_lsn_diff(pg_current_wal_lsn(), '$lsn0')") + wal_rows=$(scalar "SELECT count(*) FROM messages WHERE text LIKE 'bench %'") + wal_per_row=$(awk "BEGIN { printf \"%.0f\", $wal_bytes / $wal_rows }") + # Bulk-вставка 100 000 строк в большой чат одним оператором (без fsync на каждую строку): чистая стоимость поддержки индекса. + bulk=$(src_psql -At -c "BEGIN; EXPLAIN (ANALYZE, WAL, COSTS OFF, TIMING OFF) INSERT INTO messages (id, chat_id, sender_id, text, created_at) SELECT gen_random_uuid(), '$big', '$sender', 'bulk ' || g, timestamptz '2027-01-01' + g * interval '1 second' FROM generate_series(1, 100000) g; ROLLBACK;" | grep -E "Execution Time|WAL:" | tr ' +' ' ') + { + echo "### $v" + echo "index_size_before_writes: $size ; index_size_after_writes: $idx_after" + echo "insert_4000_chars: ${limit_msg:-ok}" + echo "wal_bytes_per_inserted_row (pgbench, 1 строка = 1 транзакция): $wal_per_row" + echo "bulk_insert_100000_rows: $bulk" + cat "$WORK/bench.tmp" + echo + } | tee -a "$OUT/variants-summary.txt" + cp "$WORK/bench.tmp" "$OUT/pgbench-$v.txt" + done + + # Вернуть канонический индекс приложения (как в миграции), убрать строки нагрузки. + src_psql -q -c "DELETE FROM messages WHERE text LIKE 'bench %'" + src_psql -q -c "VACUUM FULL messages" + src_psql -q -c "DROP INDEX IF EXISTS ix_t2_hist, ix_t2_nosort, ix_t2_covering" + src_psql -q -c "CREATE INDEX ix_messages_chat_history ON messages (chat_id, created_at, id)" + src_psql -q -c "ANALYZE" +} + +phase_down() { + docker rm -f track2-api-src track2-api-restore "$RST" "$SRC" >/dev/null 2>&1 || true + docker volume rm track2_src track2_restore >/dev/null 2>&1 || true + docker network rm "$NET" >/dev/null 2>&1 || true + rm -rf "$WORK" +} + +case "${1:-}" in + up) phase_up ;; + indexes) phase_indexes ;; + backup) phase_backup ;; + down) phase_down ;; + *) echo "usage: $0 up|indexes|backup|down" >&2; exit 2 ;; +esac diff --git a/scripts/track2/seed.sql b/scripts/track2/seed.sql new file mode 100644 index 00000000..0a98b481 --- /dev/null +++ b/scripts/track2/seed.sql @@ -0,0 +1,49 @@ +-- Трек 2: синтетические данные. 115 000 сообщений в неравномерных чатах: +-- 1 чат — 80 000, 1 чат — 20 000, 5 чатов — по 1 000, 2 000 чатов — по 5. +-- Порядок вставки перемешан (ORDER BY random()): строки одного чата лежат в куче вперемешку, как при реальной записи. +-- Вспомогательные таблицы эксперимента лежат в схеме bench и в backup не включаются (pg_dump -N bench). +\set ON_ERROR_STOP on + +INSERT INTO users (id, username, display_name, password_hash, created_at) +SELECT gen_random_uuid(), 'seed_user_' || g, 'Seed', 'not-a-real-hash', now() FROM generate_series(1, 3) g; + +CREATE TEMP TABLE seed_chats AS +SELECT gen_random_uuid() AS id, n, + CASE WHEN n = 1 THEN 80000 WHEN n = 2 THEN 20000 WHEN n <= 7 THEN 1000 ELSE 5 END AS msgs +FROM generate_series(1, 2007) n; + +INSERT INTO chats (id, title, created_at, history_version) +SELECT id, 'seed ' || n, now() + n * interval '1 millisecond', msgs FROM seed_chats; + +INSERT INTO chat_members (chat_id, user_id) +SELECT c.id, u.id FROM seed_chats c CROSS JOIN users u; + +INSERT INTO messages (id, chat_id, sender_id, text, created_at) +SELECT gen_random_uuid(), c.id, s.id, 'message ' || g || ' ' || md5(random()::text), + timestamptz '2026-01-01 00:00:00+00' + g * interval '1 second' +FROM seed_chats c +CROSS JOIN LATERAL generate_series(1, c.msgs) g +CROSS JOIN (SELECT id FROM users WHERE username = 'seed_user_1') s +ORDER BY random(); + +-- Сессия с известным токеном, чтобы после restore можно было сходить в API под этим пользователем. +-- Токен учебный и одноразовый; в БД хранится только его SHA-256, как в приложении. +INSERT INTO sessions (id, token_hash, user_id, created_at, expires_at) +SELECT gen_random_uuid(), sha256(convert_to('track2-experiment-token', 'UTF8')), id, now(), now() + interval '30 days' +FROM users WHERE username = 'seed_user_1'; + +-- Параметры и курсоры эксперимента (каждое 51-е сообщение большого чата — случайная «глубина» страницы). +CREATE SCHEMA bench; +CREATE TABLE bench.params AS +SELECT (SELECT id FROM seed_chats WHERE n = 1) AS big, + (SELECT id FROM seed_chats WHERE n = 2) AS medium, + (SELECT id FROM seed_chats WHERE n = 8) AS small, + (SELECT id FROM users WHERE username = 'seed_user_1') AS sender; + +CREATE TABLE bench.cursors AS +SELECT row_number() OVER (ORDER BY rn) AS n, created_at AS t, id +FROM (SELECT created_at, id, row_number() OVER (ORDER BY created_at, id) AS rn + FROM messages WHERE chat_id = (SELECT big FROM bench.params)) x +WHERE rn % 51 = 0; + +ANALYZE; diff --git a/scripts/track2/verify.sql b/scripts/track2/verify.sql new file mode 100644 index 00000000..07e014df --- /dev/null +++ b/scripts/track2/verify.sql @@ -0,0 +1,40 @@ +-- Сверка двух баз после восстановления: одинаковые числа строк и контрольные суммы. Запускается на источнике и на копии, +-- результаты сравниваются построчно (diff). Хеши считаются от полного содержимого строк в детерминированном порядке. +\pset format unaligned +\pset tuples_only on +\pset fieldsep '|' + +SELECT 'users', count(*), md5(string_agg(concat_ws('|', id, username, display_name, password_hash, created_at), ',' ORDER BY id)) FROM users +UNION ALL +SELECT 'chats', count(*), md5(string_agg(concat_ws('|', id, title, created_at, history_version, last_message_at), ',' ORDER BY id)) FROM chats +UNION ALL +SELECT 'chat_members', count(*), md5(string_agg(chat_id::text || user_id::text, ',' ORDER BY chat_id, user_id)) FROM chat_members +UNION ALL +SELECT 'messages (вся таблица)', count(*), md5(string_agg(concat_ws('|', id, chat_id, sender_id, text, created_at), ',' ORDER BY id)) FROM messages +UNION ALL +SELECT 'sessions', count(*), md5(string_agg(concat_ws('|', id, encode(token_hash, 'hex'), user_id, created_at, expires_at, revoked_at), ',' ORDER BY id)) FROM sessions +UNION ALL +SELECT 'ef_migrations', count(*), md5(string_agg(migration_id || product_version, ',' ORDER BY migration_id)) FROM "__EFMigrationsHistory" +UNION ALL +-- Распределение сообщений по чатам (неравномерность сохранилась). +SELECT 'сообщений по чатам', count(*), md5(string_agg(chat_id::text || ':' || c, ',' ORDER BY chat_id)) +FROM (SELECT chat_id, count(*) c FROM messages GROUP BY chat_id) t +UNION ALL +-- Выбранные сообщения: первые 100 и последние 100 самого большого чата. +SELECT 'большой чат: первые 100', count(*), md5(string_agg(id::text || text || created_at::text, ',' ORDER BY created_at, id)) +FROM (SELECT * FROM messages WHERE chat_id = (SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC, chat_id LIMIT 1) + ORDER BY created_at, id LIMIT 100) t +UNION ALL +SELECT 'большой чат: последние 100', count(*), md5(string_agg(id::text || text || created_at::text, ',' ORDER BY created_at, id)) +FROM (SELECT * FROM messages WHERE chat_id = (SELECT chat_id FROM messages GROUP BY chat_id ORDER BY count(*) DESC, chat_id LIMIT 1) + ORDER BY created_at DESC, id DESC LIMIT 100) t +UNION ALL +-- Детерминированная выборка ~1 из 115 сообщений по всей таблице (около тысячи сообщений из разных чатов). +SELECT 'выборка ~1/115', count(*), md5(string_agg(id::text || chat_id::text || text || created_at::text, ',' ORDER BY id)) +FROM messages WHERE ('x' || substr(md5(id::text), 1, 8))::bit(32)::int % 115 = 0 +UNION ALL +-- Схема: индексы и ограничения совпадают с исходными. +SELECT 'индексы', count(*), md5(string_agg(indexdef, ',' ORDER BY indexname)) FROM pg_indexes WHERE schemaname = 'public' +UNION ALL +SELECT 'ограничения', count(*), md5(string_agg(conname || pg_get_constraintdef(oid), ',' ORDER BY conname)) +FROM pg_constraint WHERE connamespace = 'public'::regnamespace; diff --git a/scripts/track2/write.pgbench b/scripts/track2/write.pgbench new file mode 100644 index 00000000..9b0b534c --- /dev/null +++ b/scripts/track2/write.pgbench @@ -0,0 +1,10 @@ +-- Профиль записи: 80% сообщений в «горячий» большой чат, 20% в средний. Одно сообщение — одна транзакция (как POST). +-- Параметры: -D big='uuid' -D medium='uuid' -D sender='uuid' (значения передаются вместе с кавычками). +\set r random(1, 100) +\if :r <= 80 +INSERT INTO messages (id, chat_id, sender_id, text, created_at) +VALUES (gen_random_uuid(), :big, :sender, 'bench ' || :client_id, clock_timestamp()); +\else +INSERT INTO messages (id, chat_id, sender_id, text, created_at) +VALUES (gen_random_uuid(), :medium, :sender, 'bench ' || :client_id, clock_timestamp()); +\endif diff --git a/tools/LoadTest/Helpers.cs b/tools/LoadTest/Helpers.cs new file mode 100644 index 00000000..c4c5fc6a --- /dev/null +++ b/tools/LoadTest/Helpers.cs @@ -0,0 +1,62 @@ +using System; +using System.Collections.Generic; +using System.Net; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +namespace LoadTest +{ + internal sealed record TestUser(Guid Id, string Username); + internal class Helpers + { + public static StringContent Json(string raw) => + new(raw, Encoding.UTF8, "application/json"); + + public static HttpRequestMessage Request(HttpMethod method, string url, Guid? userId = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (userId is not null) + { + request.Headers.Add("X-User-Id", userId.Value.ToString()); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест" }); + var json = await ReadJsonAsync(response); + response.EnsureSuccessStatusCode(); + return new TestUser(json.GetProperty("id").GetGuid(), username); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner.Id, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + public static async Task SendMessageAsync(HttpClient client, TestUser sender, Guid chatId, string text) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender.Id, + JsonContent.Create(new { text })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return response; + } + } +} diff --git a/tools/LoadTest/LoadTest.csproj b/tools/LoadTest/LoadTest.csproj new file mode 100644 index 00000000..ed9781c2 --- /dev/null +++ b/tools/LoadTest/LoadTest.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/LoadTest/Phases.cs b/tools/LoadTest/Phases.cs new file mode 100644 index 00000000..46a4f82d --- /dev/null +++ b/tools/LoadTest/Phases.cs @@ -0,0 +1,143 @@ +using System.Diagnostics; + +namespace LoadTest +{ + /// Пользователь и чат с заранее залитой историей; Cursor — позиция нужной страницы (null = первая). + internal sealed record Scenario(Guid UserId, Guid ChatId, string? Cursor); + + /// Сырые данные измерения: задержки успешных запросов, число ошибок и фактическая длительность. + internal sealed record MeasureResult(List LatenciesMs, int Errors, double ElapsedSeconds); + + internal sealed record Summary( + int Successful, + int Errors, + double ElapsedSeconds, + double Rps, + double P50Ms, + double P95Ms, + double P99Ms, + double MaxMs); + + internal static class Phases + { + /// Создаёт пользователя и чат и заливает historySize сообщений не более чем в fillConcurrency потоков. + public static async Task PrepareAsync( + HttpClient client, int historySize, int fillConcurrency, int limit, bool lastPage) + { + var user = await Helpers.CreateUserAsync(client); + var chatId = await Helpers.CreateChatAsync(client, user); + + var options = new ParallelOptions { MaxDegreeOfParallelism = fillConcurrency }; + await Parallel.ForEachAsync(Enumerable.Range(0, historySize), options, async (i, _) => + { + using var response = await Helpers.SendMessageAsync(client, user, chatId, $"history message {i}"); + response.EnsureSuccessStatusCode(); + }); + + string? cursor = null; + if (lastPage) + { + cursor = await FindLastPageCursorAsync(client, user, chatId, limit); + } + + return new Scenario(user.Id, chatId, cursor); + } + + public static async Task WarmUpAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + // Результат прогрева отбрасывается: он нужен только для JIT, пулов потоков и соединений. + await MeasureAsync(client, scenario, clients, duration, limit); + } + + /// Замкнутый цикл: каждый из clients клиентов шлёт GET страницы истории до истечения duration. + public static async Task MeasureAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + var url = PageUrl(scenario.ChatId, limit, scenario.Cursor); + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + + // У каждого клиента свой список задержек: общей изменяемой структуры нет, блокировки не нужны. + var workers = Enumerable.Range(0, clients).Select(_ => Task.Run(async () => + { + var latencies = new List(); + var errors = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var requestStarted = Stopwatch.GetTimestamp(); + try + { + using var request = Helpers.Request(HttpMethod.Get, url, scenario.UserId); + // Тело читается целиком (буферизация по умолчанию), но не разбирается как JSON. + using var response = await client.SendAsync(request); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(requestStarted).TotalMilliseconds); + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors); + })).ToArray(); + + var results = await Task.WhenAll(workers); + var elapsed = Stopwatch.GetElapsedTime(started).TotalSeconds; + + return new MeasureResult( + results.SelectMany(r => r.latencies).ToList(), + results.Sum(r => r.errors), + elapsed); + } + + public static Summary GetResults(MeasureResult result) + { + var sorted = result.LatenciesMs.OrderBy(x => x).ToList(); + double Percentile(double p) => + sorted.Count == 0 ? double.NaN : sorted[Math.Max(0, (int)Math.Ceiling(p * sorted.Count) - 1)]; + + return new Summary( + sorted.Count, + result.Errors, + Math.Round(result.ElapsedSeconds, 3), + Math.Round(sorted.Count / result.ElapsedSeconds, 2), + Math.Round(Percentile(0.50), 3), + Math.Round(Percentile(0.95), 3), + Math.Round(Percentile(0.99), 3), + sorted.Count == 0 ? double.NaN : Math.Round(sorted[^1], 3)); + } + + private static string PageUrl(Guid chatId, int limit, string? cursor) => + $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + + /// Идёт по страницам до конца и возвращает cursor, с которым была запрошена последняя страница. + private static async Task FindLastPageCursorAsync( + HttpClient client, TestUser user, Guid chatId, int limit) + { + string? cursor = null; + while (true) + { + using var request = Helpers.Request(HttpMethod.Get, PageUrl(chatId, limit, cursor), user.Id); + using var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + var page = await Helpers.ReadJsonAsync(response); + var next = page.GetProperty("next_cursor"); + if (next.ValueKind == System.Text.Json.JsonValueKind.Null) + { + return cursor; + } + + cursor = next.GetString(); + } + } + } +} diff --git a/tools/LoadTest/Program.cs b/tools/LoadTest/Program.cs new file mode 100644 index 00000000..2025f313 --- /dev/null +++ b/tools/LoadTest/Program.cs @@ -0,0 +1,91 @@ +using System.Text.Json; +using LoadTest; + +// Использование (запускать в Release, сервер должен быть уже запущен): +// dotnet run -c Release --project tools/LoadTest -- --history 10000 --clients 8 --duration 15 \ +// --container mtusi-messenger-lab1 --label before --output evidence/track1/results.jsonl +var options = ParseArguments(args); +string Get(string key, string fallback) => options.TryGetValue(key, out var value) ? value : fallback; + +var url = Get("url", "http://127.0.0.1:8080"); +var history = int.Parse(Get("history", "1000")); +var clients = int.Parse(Get("clients", "1")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "15"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "3"))); +var limit = int.Parse(Get("limit", "50")); +var fillConcurrency = int.Parse(Get("fill-concurrency", "16")); +var lastPage = Get("page", "first") == "last"; +var container = options.GetValueOrDefault("container"); +var label = Get("label", "run"); +var output = options.GetValueOrDefault("output"); + +using var client = new HttpClient { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +var rssIdle = Rss.ReadMegabytes(container); +Console.Error.WriteLine($"[1/4] prepare: filling {history} messages ({fillConcurrency} parallel)..."); +var scenario = await Phases.PrepareAsync(client, history, fillConcurrency, limit, lastPage); +var rssAfterPrepare = Rss.ReadMegabytes(container); + +Console.Error.WriteLine($"[2/4] warm-up: {warmup.TotalSeconds} s, {clients} clients"); +await Phases.WarmUpAsync(client, scenario, clients, warmup, limit); + +Console.Error.WriteLine($"[3/4] measure: {duration.TotalSeconds} s, {clients} clients, page={(lastPage ? "last" : "first")}"); +var measured = await Phases.MeasureAsync(client, scenario, clients, duration, limit); +var rssAfterMeasure = Rss.ReadMegabytes(container); + +Console.Error.WriteLine("[4/4] results"); +var summary = Phases.GetResults(measured); + +var report = new +{ + label, + timestamp = DateTimeOffset.UtcNow.ToString("O"), + history, + clients, + page = lastPage ? "last" : "first", + limit, + duration_seconds = duration.TotalSeconds, + successful_requests = summary.Successful, + errors = summary.Errors, + elapsed_seconds = summary.ElapsedSeconds, + rps = summary.Rps, + p50_ms = summary.P50Ms, + p95_ms = summary.P95Ms, + p99_ms = summary.P99Ms, + max_ms = summary.MaxMs, + rss_mb_idle = rssIdle, + rss_mb_after_prepare = rssAfterPrepare, + rss_mb_after_measure = rssAfterMeasure, +}; + +var json = JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = false }); +Console.WriteLine(JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = true })); + +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, json + Environment.NewLine); +} + +return summary.Errors == 0 && summary.Successful > 0 ? 0 : 1; + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--")) + { + throw new ArgumentException($"Unexpected argument: {args[i]}"); + } + + if (i + 1 >= args.Length) + { + throw new ArgumentException($"Missing value for {args[i]}"); + } + + result[args[i][2..]] = args[++i]; + } + + return result; +} diff --git a/tools/LoadTest/Rss.cs b/tools/LoadTest/Rss.cs new file mode 100644 index 00000000..6b2fdeb0 --- /dev/null +++ b/tools/LoadTest/Rss.cs @@ -0,0 +1,45 @@ +using System.Diagnostics; + +namespace LoadTest +{ + internal static class Rss + { + /// + /// RSS процесса приложения в МБ: читает VmRSS из /proc/1/status внутри контейнера + /// (PID 1 — dotnet, ENTRYPOINT в exec-форме). Возвращает null, если контейнер не задан или недоступен. + /// + public static double? ReadMegabytes(string? container) + { + if (string.IsNullOrEmpty(container)) + { + return null; + } + + try + { + var info = new ProcessStartInfo("docker", ["exec", container, "cat", "/proc/1/status"]) + { + RedirectStandardOutput = true, + RedirectStandardError = true, + }; + using var process = Process.Start(info)!; + var output = process.StandardOutput.ReadToEnd(); + process.WaitForExit(); + + var line = output.Split('\n').FirstOrDefault(l => l.StartsWith("VmRSS:")); + if (line is null) + { + return null; + } + + var kb = double.Parse(line.Split(' ', StringSplitOptions.RemoveEmptyEntries)[1], + System.Globalization.CultureInfo.InvariantCulture); + return Math.Round(kb / 1024, 1); + } + catch (Exception) + { + return null; + } + } + } +} diff --git a/tools/LoadTest/run-matrix.ps1 b/tools/LoadTest/run-matrix.ps1 new file mode 100644 index 00000000..f71090a9 --- /dev/null +++ b/tools/LoadTest/run-matrix.ps1 @@ -0,0 +1,88 @@ +<# +.SYNOPSIS + Track 1: матрица размер истории x число клиентов с перезапуском контейнера на каждую точку. + +.EXAMPLE + # замеры "до" (образ уже собран) + .\tools\LoadTest\run-matrix.ps1 -Label before + # замеры "после": пересобрать образ и повторить те же точки + .\tools\LoadTest\run-matrix.ps1 -Label after -Rebuild + # быстрая проверка скрипта + .\tools\LoadTest\run-matrix.ps1 -Label smoke -Sizes 1000 -Clients 1 -Repeats 1 -Duration 3 -Warmup 2 -Output $env:TEMP\smoke.jsonl +#> +[CmdletBinding()] +param( + [string]$Label = 'before', + [int[]]$Sizes = @(1000, 10000, 50000), + [int[]]$Clients = @(1, 8, 32), + [int]$Repeats = 2, + [int]$Duration = 8, + [int]$Warmup = 5, + [string]$Cpus = '2', + [string]$Memory = '512m', + [string]$Output = 'evidence/track1/results.jsonl', + [string]$Image = 'mtusi-messenger:lab1', + [ValidateSet('first', 'last')][string]$Page = 'first', + [switch]$Rebuild +) + +$ErrorActionPreference = 'Stop' +Set-Location (Resolve-Path (Join-Path $PSScriptRoot '..\..')) + +$name = 'mtusi-messenger-lab1' +$url = 'http://127.0.0.1:8080' + +function Remove-Api { + if (docker ps -aq --filter "name=^/$name$") { + docker rm -f $name | Out-Null + } +} + +function Start-Api { + Remove-Api + docker run -d --rm --name $name --cpus $Cpus --memory $Memory ` + -p 127.0.0.1:8080:8080 --env-file .env $Image | Out-Null + for ($i = 0; $i -lt 60; $i++) { + try { + if ((Invoke-WebRequest "$url/health/ready" -UseBasicParsing -TimeoutSec 2).StatusCode -eq 200) { return } + } catch { } + Start-Sleep -Milliseconds 500 + } + throw 'API did not become ready within 30 s' +} + +if ($Rebuild) { + Write-Host 'Rebuilding image...' + docker build -t $Image . | Out-Null + if ($LASTEXITCODE -ne 0) { throw 'docker build failed' } +} + +dotnet build tools/LoadTest -c Release -v q | Out-Null +if ($LASTEXITCODE -ne 0) { throw 'LoadTest build failed' } + +$points = @(foreach ($n in $Sizes) { foreach ($c in $Clients) { [pscustomobject]@{ History = $n; Clients = $c } } }) +$total = $points.Count * $Repeats +$done = 0 +$started = Get-Date +Write-Host "Label=$Label page=$Page points=$($points.Count) repeats=$Repeats runs=$total cpus=$Cpus memory=$Memory output=$Output" + +try { + for ($rep = 1; $rep -le $Repeats; $rep++) { + # Случайный порядок точек в каждом повторе: эффект прогрева не должен совпасть с одним размером. + foreach ($p in ($points | Sort-Object { Get-Random })) { + $done++ + Write-Host ("[{0}/{1}] rep={2} history={3} clients={4} (elapsed {5:mm\:ss})" -f $done, $total, $rep, $p.History, $p.Clients, ((Get-Date) - $started)) + Start-Api + dotnet run -c Release --project tools/LoadTest --no-build -- ` + --url $url --history $p.History --clients $p.Clients ` + --duration $Duration --warmup $Warmup ` + --page $Page --container $name --label "$Label-r$rep" --output $Output | Out-Null + if ($LASTEXITCODE -ne 0) { Write-Warning "run failed (exit $LASTEXITCODE), continuing" } + } + } +} +finally { + Remove-Api +} + +Write-Host ("Done in {0:mm\:ss}. Results appended to {1}" -f ((Get-Date) - $started), $Output) diff --git a/tools/LoadTest/summarize.py b/tools/LoadTest/summarize.py new file mode 100644 index 00000000..b307fdcf --- /dev/null +++ b/tools/LoadTest/summarize.py @@ -0,0 +1,76 @@ +import json, statistics as st, collections, sys + +path = sys.argv[1] +rows = [json.loads(l) for l in open(path, encoding='utf-8') if l.strip()] + +def group(prefix, page='first'): + g = collections.defaultdict(list) + for r in rows: + if r['label'].startswith(prefix) and r['page'] == page: + g[(r['history'], r['clients'])].append(r) + return g + +def mean(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return st.mean(v) + +def rng(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return min(v), max(v) + +before = group('before-r') +after = group('after-r') + +out = [] +out.append('Track 1: before/after summary (mean of repeats; page=first, limit=50; container --cpus=2 --memory=512m)') +out.append('') +hdr = f"{'N':>6} {'C':>3} {'runs':>4} | {'RPS before':>10} {'RPS after':>10} {'x':>6} | {'p50 b':>7} {'p50 a':>7} | {'p95 b':>7} {'p95 a':>7} | {'p99 b':>7} {'p99 a':>7} | {'RSS prep b/a':>12} {'RSS end b/a':>12} | err b/a" +out.append(hdr) +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if not b or not a: + continue + rb, ra = mean(b, 'rps'), mean(a, 'rps') + out.append( + f"{key[0]:>6} {key[1]:>3} {len(b):>1}/{len(a):<2} | {rb:>10.0f} {ra:>10.0f} {ra/rb:>6.1f} | " + f"{mean(b,'p50_ms'):>7.1f} {mean(a,'p50_ms'):>7.1f} | {mean(b,'p95_ms'):>7.1f} {mean(a,'p95_ms'):>7.1f} | " + f"{mean(b,'p99_ms'):>7.1f} {mean(a,'p99_ms'):>7.1f} | " + f"{mean(b,'rss_mb_after_prepare'):>5.0f}/{mean(a,'rss_mb_after_prepare'):<5.0f} {mean(b,'rss_mb_after_measure'):>5.0f}/{mean(a,'rss_mb_after_measure'):<5.0f} | " + f"{sum(r['errors'] for r in b)}/{sum(r['errors'] for r in a)}") + +out.append('') +out.append('RPS spread (min-max across repeats):') +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if b and a: + out.append(f" N={key[0]:>6} C={key[1]:>2} before {rng(b,'rps')[0]:.0f}-{rng(b,'rps')[1]:.0f} after {rng(a,'rps')[0]:.0f}-{rng(a,'rps')[1]:.0f}") + +out.append('') +out.append('Idle RSS (empty process, MB): before %.0f, after %.0f' % ( + st.mean([r['rss_mb_idle'] for rs in before.values() for r in rs]), + st.mean([r['rss_mb_idle'] for rs in after.values() for r in rs]))) + +# last page vs first page at N=50000, C=8 +bl, al = group('before-last', 'last'), group('after-last', 'last') +out.append('') +out.append('First vs last page, N=50000, C=8 (mean RPS / p95 ms):') +key = (50000, 8) +for name, g_first, g_last in (('before', before, bl), ('after', after, al)): + f, l = g_first.get(key, []), g_last.get(key, []) + if f and l: + out.append(f" {name}: first {mean(f,'rps'):.0f} rps / {mean(f,'p95_ms'):.1f} ms ({len(f)} runs); last {mean(l,'rps'):.0f} rps / {mean(l,'p95_ms'):.1f} ms ({len(l)} runs)") + +# saturation: RPS growth with clients per N +out.append('') +out.append('Throughput vs clients (mean RPS):') +for name, g in (('before', before), ('after', after)): + for n in sorted({k[0] for k in g}): + out.append(f" {name} N={n:>6}: " + ' '.join(f"C={c}: {mean(g[(n,c)],'rps'):.0f}" for c in sorted({k[1] for k in g if k[0]==n}))) + +# per-message cost under saturation (before): 1000/rps at C=32 -> ms per request +out.append('') +out.append('Service time at saturation, C=32 (ms per request = 1000/RPS):') +for name, g in (('before', before), ('after', after)): + out.append(f" {name}: " + ' '.join(f"N={n}: {1000/mean(g[(n,32)],'rps'):.3f}" for n in sorted({k[0] for k in g}) if (n, 32) in g)) + +print('\n'.join(out)) -- 2.54.0 From ab8c5e8f3b299988a84526c4d8ea74306605ba0e Mon Sep 17 00:00:00 2001 From: yulianpoludnev Date: Fri, 30 Oct 2026 19:53:14 +0300 Subject: [PATCH 2/3] =?UTF-8?q?=D0=94=D0=BE=D0=B1=D0=B0=D0=B2=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=D1=8B=20=D1=81=D0=BB=D0=BE=D0=B8=20=D0=B4=D0=B0=D0=BD?= =?UTF-8?q?=D0=BD=D1=8B=D1=85:=20=D0=BA=D0=BE=D0=BD=D1=82=D0=B5=D0=BA?= =?UTF-8?q?=D1=81,=20=D1=81=D1=83=D1=89=D0=BD=D0=BE=D1=81=D1=82=D0=B8=20?= =?UTF-8?q?=D0=B8=20=D0=BC=D0=B8=D0=B3=D1=80=D0=B0=D1=86=D0=B8=D0=B8?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .gitignore | 4 + .../Data/DesignTimeDbContextFactory.cs | 20 ++ scr/Messenger.Api/Data/Entities.cs | 54 ++++ scr/Messenger.Api/Data/MessengerDbContext.cs | 97 +++++++ .../20261023140810_InitialSchema.Designer.cs | 251 +++++++++++++++++ .../20261023140810_InitialSchema.cs | 179 ++++++++++++ ...023170730_AddChatLastMessageAt.Designer.cs | 255 ++++++++++++++++++ .../20261023170730_AddChatLastMessageAt.cs | 29 ++ .../MessengerDbContextModelSnapshot.cs | 252 +++++++++++++++++ 9 files changed, 1141 insertions(+) create mode 100644 scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs create mode 100644 scr/Messenger.Api/Data/Entities.cs create mode 100644 scr/Messenger.Api/Data/MessengerDbContext.cs create mode 100644 scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs create mode 100644 scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs create mode 100644 scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs create mode 100644 scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs create mode 100644 scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs diff --git a/.gitignore b/.gitignore index b439f07c..97af1e6c 100644 --- a/.gitignore +++ b/.gitignore @@ -38,3 +38,7 @@ scr/Messenger.Api/Test/ secrets/ # Рабочие файлы эксперимента трека 2 (пароль контейнера, схема) scripts/track2/.work/ + +# Шаблонное правило data/ (локальные данные) на Windows совпадает и с каталогом Data/ приложения (core.ignorecase=true). +# Исходники слоя данных (DbContext, сущности, миграции) обязаны быть в Git. +!scr/Messenger.Api/Data/ diff --git a/scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs b/scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs new file mode 100644 index 00000000..20cedd06 --- /dev/null +++ b/scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs @@ -0,0 +1,20 @@ +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Design; + +namespace Messenger.Api.Data; + +// Используется только командами `dotnet ef`. Для генерации миграций подключение к БД не открывается; +// для `dotnet ef database update` строка берётся из MESSENGER_DESIGN_CONNECTION. +public sealed class DesignTimeDbContextFactory : IDesignTimeDbContextFactory +{ + public MessengerDbContext CreateDbContext(string[] args) + { + var connection = Environment.GetEnvironmentVariable("MESSENGER_DESIGN_CONNECTION") + ?? "Host=localhost;Database=messenger;Username=design;Password=design"; + var options = new DbContextOptionsBuilder() + .UseNpgsql(connection) + .UseSnakeCaseNamingConvention() + .Options; + return new MessengerDbContext(options); + } +} diff --git a/scr/Messenger.Api/Data/Entities.cs b/scr/Messenger.Api/Data/Entities.cs new file mode 100644 index 00000000..d877e715 --- /dev/null +++ b/scr/Messenger.Api/Data/Entities.cs @@ -0,0 +1,54 @@ +namespace Messenger.Api.Data; + +// Строки таблиц. API-модели (Messenger.Api.Models) остаются отдельными: в них нет password_hash и служебных полей. + +public sealed class UserEntity +{ + public Guid Id { get; set; } + public string Username { get; set; } = string.Empty; + public string DisplayName { get; set; } = string.Empty; + // Результат Argon2id (PHC-строка с солью и параметрами). Наружу не отдаётся никогда. + public string PasswordHash { get; set; } = string.Empty; + public DateTimeOffset CreatedAt { get; set; } +} + +public sealed class ChatEntity +{ + public Guid Id { get; set; } + public string Title { get; set; } = string.Empty; + public DateTimeOffset CreatedAt { get; set; } + + // Версия истории: растёт на 1 в той же транзакции, что и вставка сообщения (UPDATE ... RETURNING). + // Источник версии для ключей кэша; одновременно сериализует записи в один чат (см. DESIGN). + public long HistoryVersion { get; set; } + + // Время последнего сообщения. Обновляется тем же UPDATE, что и версия: следующее сообщение получает + // created_at строго больше этого значения, поэтому порядок (created_at, id) совпадает с порядком коммитов. + public DateTimeOffset? LastMessageAt { get; set; } +} + +public sealed class ChatMemberEntity +{ + public Guid ChatId { get; set; } + public Guid UserId { get; set; } +} + +public sealed class MessageEntity +{ + public Guid Id { get; set; } + public Guid ChatId { get; set; } + public Guid SenderId { get; set; } + public string Text { get; set; } = string.Empty; + public DateTimeOffset CreatedAt { get; set; } +} + +public sealed class SessionEntity +{ + public Guid Id { get; set; } + // SHA-256 от токена. Сам токен в БД не хранится: утечка БД не даёт действующих Bearer-токенов. + public byte[] TokenHash { get; set; } = Array.Empty(); + public Guid UserId { get; set; } + public DateTimeOffset CreatedAt { get; set; } + public DateTimeOffset ExpiresAt { get; set; } + public DateTimeOffset? RevokedAt { get; set; } +} diff --git a/scr/Messenger.Api/Data/MessengerDbContext.cs b/scr/Messenger.Api/Data/MessengerDbContext.cs new file mode 100644 index 00000000..ddc11c0e --- /dev/null +++ b/scr/Messenger.Api/Data/MessengerDbContext.cs @@ -0,0 +1,97 @@ +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Data; + +public sealed class MessengerDbContext(DbContextOptions options) : DbContext(options) +{ + public DbSet Users => Set(); + public DbSet Chats => Set(); + public DbSet ChatMembers => Set(); + public DbSet Messages => Set(); + public DbSet Sessions => Set(); + + protected override void OnModelCreating(ModelBuilder modelBuilder) + { + // Идентификаторы создаёт приложение (Guid.CreateVersion7: монотонные, индексы вставляются «справа»). + // Время created_at тоже назначает приложение, а не DEFAULT now(): см. порядок операций отправки сообщения. + + modelBuilder.Entity(e => + { + e.ToTable("users", t => + { + t.HasCheckConstraint("ck_users_username_format", @"username ~ '^[a-z0-9_]{3,32}$'"); + t.HasCheckConstraint("ck_users_display_name_not_blank", @"display_name ~ '\S'"); + }); + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.Username).HasMaxLength(32).IsRequired(); + e.Property(x => x.DisplayName).HasMaxLength(100).IsRequired(); // varchar(n) считает символы, не байты + e.Property(x => x.PasswordHash).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.HasIndex(x => x.Username).IsUnique().HasDatabaseName("ux_users_username"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("chats", t => + { + t.HasCheckConstraint("ck_chats_title_not_blank", @"title ~ '\S'"); + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + }); + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.Title).HasMaxLength(100).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.Property(x => x.HistoryVersion).HasDefaultValue(0L).IsRequired(); + // Список чатов: сортировка по (created_at, id) с keyset-курсором. + e.HasIndex(x => new { x.CreatedAt, x.Id }).HasDatabaseName("ix_chats_created_at_id"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("chat_members"); + e.HasKey(x => new { x.ChatId, x.UserId }); // один пользователь не может быть в чате дважды + e.HasOne().WithMany().HasForeignKey(x => x.ChatId).OnDelete(DeleteBehavior.Cascade); + e.HasOne().WithMany().HasForeignKey(x => x.UserId).OnDelete(DeleteBehavior.Restrict); + // PK обслуживает «участники чата»; этот индекс — «чаты пользователя» и проверку доступа. + e.HasIndex(x => x.UserId).HasDatabaseName("ix_chat_members_user_id"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("messages", t => + t.HasCheckConstraint("ck_messages_text_not_blank", @"text ~ '\S'")); // lab2: вложений нет + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.Text).HasMaxLength(4000).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + // Составной FK: отправитель обязан быть участником именно этого чата. Он же гарантирует существование + // чата и пользователя, поэтому отдельные FK на chats/users не нужны. + e.HasOne().WithMany() + .HasForeignKey(x => new { x.ChatId, x.SenderId }) + .HasPrincipalKey(x => new { x.ChatId, x.UserId }) + .OnDelete(DeleteBehavior.Cascade); + // Страница истории: WHERE chat_id = @c AND (created_at, id) > (@t, @i) ORDER BY created_at, id LIMIT n. + e.HasIndex(x => new { x.ChatId, x.CreatedAt, x.Id }).HasDatabaseName("ix_messages_chat_history"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("sessions", t => + { + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + }); + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.TokenHash).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.Property(x => x.ExpiresAt).IsRequired(); + e.HasOne().WithMany().HasForeignKey(x => x.UserId).OnDelete(DeleteBehavior.Cascade); + // Аутентификация каждого запроса: поиск по хешу токена. + e.HasIndex(x => x.TokenHash).IsUnique().HasDatabaseName("ux_sessions_token_hash"); + // Фоновая очистка истёкших сессий. + e.HasIndex(x => x.ExpiresAt).HasDatabaseName("ix_sessions_expires_at"); + }); + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs new file mode 100644 index 00000000..cc15e205 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs @@ -0,0 +1,251 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Migrations; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + [Migration("20261023140810_InitialSchema")] + partial class InitialSchema + { + /// + protected override void BuildTargetModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs new file mode 100644 index 00000000..686e73e3 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs @@ -0,0 +1,179 @@ +using System; +using Microsoft.EntityFrameworkCore.Migrations; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + /// + public partial class InitialSchema : Migration + { + /// + protected override void Up(MigrationBuilder migrationBuilder) + { + migrationBuilder.CreateTable( + name: "chats", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + title = table.Column(type: "character varying(100)", maxLength: 100, nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false), + history_version = table.Column(type: "bigint", nullable: false, defaultValue: 0L) + }, + constraints: table => + { + table.PrimaryKey("pk_chats", x => x.id); + table.CheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + table.CheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + + migrationBuilder.CreateTable( + name: "users", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + username = table.Column(type: "character varying(32)", maxLength: 32, nullable: false), + display_name = table.Column(type: "character varying(100)", maxLength: 100, nullable: false), + password_hash = table.Column(type: "text", nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_users", x => x.id); + table.CheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + table.CheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + + migrationBuilder.CreateTable( + name: "chat_members", + columns: table => new + { + chat_id = table.Column(type: "uuid", nullable: false), + user_id = table.Column(type: "uuid", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_chat_members", x => new { x.chat_id, x.user_id }); + table.ForeignKey( + name: "fk_chat_members_chats_chat_id", + column: x => x.chat_id, + principalTable: "chats", + principalColumn: "id", + onDelete: ReferentialAction.Cascade); + table.ForeignKey( + name: "fk_chat_members_users_user_id", + column: x => x.user_id, + principalTable: "users", + principalColumn: "id", + onDelete: ReferentialAction.Restrict); + }); + + migrationBuilder.CreateTable( + name: "sessions", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + token_hash = table.Column(type: "bytea", nullable: false), + user_id = table.Column(type: "uuid", nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false), + expires_at = table.Column(type: "timestamp with time zone", nullable: false), + revoked_at = table.Column(type: "timestamp with time zone", nullable: true) + }, + constraints: table => + { + table.PrimaryKey("pk_sessions", x => x.id); + table.CheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + table.CheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + table.ForeignKey( + name: "fk_sessions_users_user_id", + column: x => x.user_id, + principalTable: "users", + principalColumn: "id", + onDelete: ReferentialAction.Cascade); + }); + + migrationBuilder.CreateTable( + name: "messages", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + chat_id = table.Column(type: "uuid", nullable: false), + sender_id = table.Column(type: "uuid", nullable: false), + text = table.Column(type: "character varying(4000)", maxLength: 4000, nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_messages", x => x.id); + table.CheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + table.ForeignKey( + name: "fk_messages_chat_members_chat_id_sender_id", + columns: x => new { x.chat_id, x.sender_id }, + principalTable: "chat_members", + principalColumns: new[] { "chat_id", "user_id" }, + onDelete: ReferentialAction.Cascade); + }); + + migrationBuilder.CreateIndex( + name: "ix_chat_members_user_id", + table: "chat_members", + column: "user_id"); + + migrationBuilder.CreateIndex( + name: "ix_chats_created_at_id", + table: "chats", + columns: new[] { "created_at", "id" }); + + migrationBuilder.CreateIndex( + name: "ix_messages_chat_history", + table: "messages", + columns: new[] { "chat_id", "created_at", "id" }); + + migrationBuilder.CreateIndex( + name: "ix_messages_chat_id_sender_id", + table: "messages", + columns: new[] { "chat_id", "sender_id" }); + + migrationBuilder.CreateIndex( + name: "ix_sessions_expires_at", + table: "sessions", + column: "expires_at"); + + migrationBuilder.CreateIndex( + name: "ix_sessions_user_id", + table: "sessions", + column: "user_id"); + + migrationBuilder.CreateIndex( + name: "ux_sessions_token_hash", + table: "sessions", + column: "token_hash", + unique: true); + + migrationBuilder.CreateIndex( + name: "ux_users_username", + table: "users", + column: "username", + unique: true); + } + + /// + protected override void Down(MigrationBuilder migrationBuilder) + { + migrationBuilder.DropTable( + name: "messages"); + + migrationBuilder.DropTable( + name: "sessions"); + + migrationBuilder.DropTable( + name: "chat_members"); + + migrationBuilder.DropTable( + name: "chats"); + + migrationBuilder.DropTable( + name: "users"); + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs new file mode 100644 index 00000000..f96f9c43 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs @@ -0,0 +1,255 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Migrations; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + [Migration("20261023170730_AddChatLastMessageAt")] + partial class AddChatLastMessageAt + { + /// + protected override void BuildTargetModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("LastMessageAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("last_message_at"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs new file mode 100644 index 00000000..82002c62 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs @@ -0,0 +1,29 @@ +using System; +using Microsoft.EntityFrameworkCore.Migrations; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + /// + public partial class AddChatLastMessageAt : Migration + { + /// + protected override void Up(MigrationBuilder migrationBuilder) + { + migrationBuilder.AddColumn( + name: "last_message_at", + table: "chats", + type: "timestamp with time zone", + nullable: true); + } + + /// + protected override void Down(MigrationBuilder migrationBuilder) + { + migrationBuilder.DropColumn( + name: "last_message_at", + table: "chats"); + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs b/scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs new file mode 100644 index 00000000..843bb18d --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs @@ -0,0 +1,252 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + partial class MessengerDbContextModelSnapshot : ModelSnapshot + { + protected override void BuildModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("LastMessageAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("last_message_at"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} -- 2.54.0 From 65959d0dd179e8b4ba869827bb28a133f21afcad Mon Sep 17 00:00:00 2001 From: yulianpoludnev Date: Fri, 30 Oct 2026 20:19:04 +0300 Subject: [PATCH 3/3] =?UTF-8?q?=D0=98=D1=81=D0=BF=D1=80=D0=B0=D0=B2=D0=BB?= =?UTF-8?q?=D0=B5=D0=BD=D0=B8=D0=B5=20=D1=82=D0=B5=D1=81=D1=82=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- REPORT.md | 9 ++++--- evidence/lab2-level4.md | 9 ++++++- scr/Messenger.Api.Tests/ConcurencyTests.cs | 27 ++++++++++++++++++- .../PasswordHasherTests.cs | 18 ++++++++++++- scr/Messenger.Api/Program.cs | 1 + .../Services/Argon2PasswordHasher.cs | 13 ++++----- scr/Messenger.Api/Services/Settings.cs | 17 ++++++++++++ 7 files changed, 81 insertions(+), 13 deletions(-) diff --git a/REPORT.md b/REPORT.md index 8ea47760..985aaffc 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,7 +1,7 @@ # Отчёт — лабораторная 2 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: 5, трек 2 «План запроса и восстановление». Выполнены уровни 3 и 4 и трек 2. +- Автор, группа: Полуднев Юлиан, БВТ2303 +- Целевая оценка; выбранный трек, если нужен: 5, трек 2 «План запроса и восстановление». - Commit/PR: TODO после публикации - Использованные источники, библиотеки и помощь ИИ: документация PostgreSQL, EF Core, Npgsql, Valkey, RFC 7617; NuGet: Npgsql.EntityFrameworkCore.PostgreSQL 10.0.3, EFCore.NamingConventions 10.0.1, Isopoh.Cryptography.Argon2 2.0.0, StackExchange.Redis 3.4.20, Testcontainers.PostgreSql 4.16.0. ИИ-ассистент Claude Code использовался как ментор и для написания части кода; результат проверен запуском тестов и стенда. @@ -81,6 +81,7 @@ sh scripts/track2/run.sh down # удалить контейнеры, том | Параметр | Значение (по умолчанию) | Переменная | | --- | --- | --- | | Максимум соединений с PostgreSQL от экземпляра | 20 | `DB_MAX_POOL_SIZE` | +| Одновременных вычислений Argon2 / ожидание слота до `503` | 4 / 2 с | `PASSWORD_HASH_CONCURRENCY`, `PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS` | | Ожидание соединения / открытие | 5 с | `DB_CONNECT_TIMEOUT_SECONDS` | | Таймаут команды | 5 с | `DB_COMMAND_TIMEOUT_SECONDS` | @@ -88,7 +89,7 @@ sh scripts/track2/run.sh down # удалить контейнеры, том **Что перенесено из lab1 и что изменено.** Сохранены контракт API, формат ошибок, `X-Request-Id`, keyset-курсор, привязанный к чату, и логика доступа (`404` для постороннего). Заменены: `InMemoryStorage` → PostgreSQL; `X-User-Id` → Bearer-сессии (объявленный переход lab2); в регистрацию добавлен пароль. -**Соответствие `.env.example`.** `APP_PORT`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `CACHE_URL_FILE`, `CACHE_TTL_SECONDS`, `DIAGNOSTIC_HEADERS`, `SESSION_STORE=postgres` отражают реальную конфигурацию (последняя пока только документирует выбор). `APP_HOST` и `APP_ENV` приложением не читаются. Дополнительно приложение читает `DB_MAX_POOL_SIZE`, `DB_CONNECT_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS`, `CACHE_CONNECTION` (используется тестами), а compose — `API_PUBLISHED_PORT`. +**Соответствие `.env.example`.** `APP_PORT`, `SESSION_TTL_SECONDS`, `DATABASE_URL_FILE`, `CACHE_URL_FILE`, `CACHE_TTL_SECONDS`, `DIAGNOSTIC_HEADERS`, `SESSION_STORE=postgres` отражают реальную конфигурацию (последняя пока только документирует выбор). `APP_HOST` и `APP_ENV` приложением не читаются. Дополнительно приложение читает `DB_MAX_POOL_SIZE`, `DB_CONNECT_TIMEOUT_SECONDS`, `DB_COMMAND_TIMEOUT_SECONDS`, `PASSWORD_HASH_CONCURRENCY`, `PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS`, `CACHE_CONNECTION` (используется тестами), а compose — `API_PUBLISHED_PORT`. ## Доказательства критериев @@ -107,7 +108,7 @@ sh scripts/track2/run.sh down # удалить контейнеры, том | **4.** Параметризованные запросы / ORM, ограниченный пул, таймауты | раздел «Устойчивость к отказам зависимостей»; тест `ExhaustedConnectionPool_ReturnsBoundedError` | пул 1 соединение, ожидание 1 с → `503` быстрее 6 с | lab2-level4.md §4 | | **4.** Гонка регистрации и rollback составной операции | `RegisterSameUsernameConcurrently...`, `FailedMessageInsert_RollsBack...`, `FailedChatMemberInsert_RollsBack...` | один `201` и 19 `409`; после внедрённого сбоя версия, время и строки не изменились | lab2-level4.md §4 | | **4.** Индекс истории обоснован EXPLAIN (ANALYZE, BUFFERS) на ≥10 000 сообщений; пагинация не сканирует всю историю | `scripts/explain-history.sql`, 75 000 сообщений | страница = ~54 буфера на любой глубине; без индекса 926 буферов и Seq Scan; OFFSET — 30 293 буфера | lab2-level4.md §3 | -| **4.** Автоматические проверки: expiry при коротком TTL, logout, неверный пароль, недоступность Redis/БД | `ShortSessionTtl_ExpiresSessionByItself`, `Logout_*`, `Login_WrongPassword...`, `DatabaseDown_*`, `UnavailableCache_*` | 61 из 61 тестов проходят; проверка тестов мутациями | lab2-level4.md §4 | +| **4.** Автоматические проверки: expiry при коротком TTL, logout, неверный пароль, недоступность Redis/БД | `ShortSessionTtl_ExpiresSessionByItself`, `Logout_*`, `Login_WrongPassword...`, `DatabaseDown_*`, `UnavailableCache_*` | 63 из 63 тестов проходят (в том числе из чистого клона репозитория); проверка тестов мутациями | lab2-level4.md §4 | | **4.** При потере сервиса — ограниченная ошибка / обход кэша, анонимный не доверенный | остановка `db` и `cache` на стенде | `503` без деталей; без токена `401`; кэш обходится (`bypass`), ответы корректны | lab2-level4.md §2 | | **5. Трек 2.** ≥100 000 сообщений с неравномерными размерами чатов | `scripts/track2/seed.sql` | 115 000 сообщений в 2 007 чатах: 80 000 / 20 000 / 5×1 000 / 2 000×5 | lab2-track2.md | | **5. Трек 2.** Сравнение ≥2 индексов/запросов и стоимость записи | `scripts/track2/run.sh indexes` | 4 варианта индекса + keyset против OFFSET; чтение 213 → ~6 200 страниц/с; индекс +47% WAL и +25% времени bulk-вставки; покрывающий индекс отклонён (ломает сообщения >2,7 КБ) | lab2-track2.md | diff --git a/evidence/lab2-level4.md b/evidence/lab2-level4.md index 2e5b42f8..f5ac5a84 100644 --- a/evidence/lab2-level4.md +++ b/evidence/lab2-level4.md @@ -53,7 +53,7 @@ Commit: рабочая копия до коммита. Токены и паро ## 4. Автоматические проверки (`dotnet test scr/Messenger.Api.Tests`) ``` -Пройден! не пройдено 0, пройдено 61, пропущено 0, всего 61 +Пройден! не пройдено 0, пройдено 63, пропущено 0, всего 63 ``` Соответствие требованиям уровня 4: @@ -73,3 +73,10 @@ Commit: рабочая копия до коммита. Токены и паро Проверка самих тестов (мутации, затем возврат кода): - функция, превращающая отказ БД в `503`, заменена на `false` → `DatabaseDown...` и `ExhaustedConnectionPool...` упали (`Expected: ServiceUnavailable, Actual: InternalServerError`); - версия убрана из ключа кэша → `CacheTests` упали (`Assert.Contains() Failure: Item not found in collection`). + +## 5. Проверка из чистого клона (2026-10-30) + +Репозиторий клонирован в пустой каталог (`git clone`, commit `ab8c5e8`), стенд поднят под другим именем проекта и портом (`COMPOSE_PROJECT_NAME=verify-clean`, `API_PUBLISHED_PORT=18080`), чтобы не затрагивать рабочий. Шаги: `scripts/init-secrets.sh`, `cp .env.example .env`, `docker compose up -d --build --wait`. +- `scripts/check_contract.py` — PASS; `tests/smoke.py` — PASS (до и после рестарта); `tests/resilience.py --mode persistence` с `scripts/restart.sh` — PASS (время старта `db`, `cache`, `api` изменилось). +- `scripts/track2/run.sh up` и `backup` — работают из клона: сидирование 115 000 сообщений, `pg_dump`, восстановление в новое хранилище, все контрольные суммы совпали, API на копии отдаёт те же страницы (8 из 8). Время `pg_dump` 2,4 с, `pg_restore` + `ANALYZE` 3,4 с (в прошлом прогоне 0,9 с и 1,3 с на той же машине): время восстановления заметно колеблется между запусками. +- `dotnet test`: в первом клоне 60 из 61, упал `RegisterSameUsernameConcurrently...` (20 параллельных регистраций одного username). Причина: один хеш Argon2 в Debug-сборке занимает ~0,3 с, ограничитель пропускает 4 хеша и ждёт слот 2 с, поэтому часть запросов получала `503` вместо `409`. Тест проверял скорость машины, а не гарантию уникального индекса. Исправление: параметры ограничителя стали настраиваемыми (`PASSWORD_HASH_CONCURRENCY`, `PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS`), тест гонки выполняется с длинной очередью, добавлены тесты поведения при перегрузке (`Hash_WhenAllSlotsAreBusy_FailsWithBusyException`, `RegistrationBurstBeyondHashingCapacity_GetsBoundedUnavailable_NotServerError`). После исправления в чистом клоне два полных прогона подряд: 63 из 63. diff --git a/scr/Messenger.Api.Tests/ConcurencyTests.cs b/scr/Messenger.Api.Tests/ConcurencyTests.cs index afdaec7f..772273e2 100644 --- a/scr/Messenger.Api.Tests/ConcurencyTests.cs +++ b/scr/Messenger.Api.Tests/ConcurencyTests.cs @@ -36,7 +36,10 @@ public class ConcurencyTests(ApiFixture fixture) [Fact] public async Task RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors() { - using var client = fixture.CreateClient(); + // Проверяется гарантия уникального индекса, а не скорость железа: очередь хеширования делаем практически + // неограниченной по времени (по умолчанию лишние запросы получают 503, см. следующий тест). + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "120")); + using var client = app.CreateClient(); var username = "race" + Guid.NewGuid().ToString("N")[..10]; var attempts = Enumerable.Range(0, 20).Select(_ => client.PostAsync("/api/v1/users", @@ -51,4 +54,26 @@ public class ConcurencyTests(ApiFixture fixture) count.Parameters.AddWithValue("u", username); Assert.Equal(1L, await count.ExecuteScalarAsync()); } + + [Fact] + public async Task RegistrationBurstBeyondHashingCapacity_GetsBoundedUnavailable_NotServerError() + { + // Один слот Argon2 и ожидание 50 мс: пачка регистраций разных пользователей упирается в лимит. + // Лишние запросы получают 503 unavailable (а не 500 и не зависание), принятые — 201. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("PASSWORD_HASH_CONCURRENCY", "1") + .UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "0.05")); + using var client = app.CreateClient(); + var prefix = "burst" + Guid.NewGuid().ToString("N")[..6]; + + var responses = await Task.WhenAll(Enumerable.Range(0, 12).Select(i => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{prefix}}_{{i}}","display_name":"Пачка","password":"{{DefaultPassword}}"}""")))); + var statuses = responses.Select(r => r.StatusCode).ToList(); + + Assert.All(statuses, s => Assert.True(s is HttpStatusCode.Created or HttpStatusCode.ServiceUnavailable, $"неожиданный статус {s}")); + Assert.Contains(HttpStatusCode.Created, statuses); + Assert.Contains(HttpStatusCode.ServiceUnavailable, statuses); + var rejected = responses.First(r => r.StatusCode == HttpStatusCode.ServiceUnavailable); + Assert.Equal("unavailable", await ErrorCodeAsync(rejected)); + } } diff --git a/scr/Messenger.Api.Tests/PasswordHasherTests.cs b/scr/Messenger.Api.Tests/PasswordHasherTests.cs index fa754061..a9ea0333 100644 --- a/scr/Messenger.Api.Tests/PasswordHasherTests.cs +++ b/scr/Messenger.Api.Tests/PasswordHasherTests.cs @@ -4,7 +4,7 @@ namespace Messenger.Api.Tests; public class PasswordHasherTests { - private readonly Argon2PasswordHasher _hasher = new(); + private readonly Argon2PasswordHasher _hasher = new(new PasswordHashingSettings(4, TimeSpan.FromSeconds(30))); [Fact] public async Task Hash_IsArgon2idPhcString_WithoutPlaintext() @@ -45,6 +45,22 @@ public class PasswordHasherTests Assert.False(await _hasher.VerifyAsync(hash, prefix + "B", CancellationToken.None)); } + [Fact] + public async Task Hash_WhenAllSlotsAreBusy_FailsWithBusyException() + { + // Один слот и почти нулевое ожидание: параллельные вызовы не копят память, лишние получают исключение (→ 503). + var hasher = new Argon2PasswordHasher(new PasswordHashingSettings(1, TimeSpan.FromMilliseconds(20))); + + var attempts = await Task.WhenAll(Enumerable.Range(0, 6).Select(async _ => + { + try { await hasher.HashAsync("some-long-enough-password", CancellationToken.None); return true; } + catch (PasswordHasherBusyException) { return false; } + })); + + Assert.Contains(true, attempts); // кто-то получил слот + Assert.Contains(false, attempts); // остальные получили контролируемый отказ + } + [Fact] public async Task Verify_UnknownUser_ReturnsFalse() { diff --git a/scr/Messenger.Api/Program.cs b/scr/Messenger.Api/Program.cs index 39602a47..dbd5db16 100644 --- a/scr/Messenger.Api/Program.cs +++ b/scr/Messenger.Api/Program.cs @@ -43,6 +43,7 @@ builder.Services.AddDbContext((sp, options) => options.AddInterceptors(sp.GetRequiredService()); } }); +builder.Services.AddSingleton(sp => PasswordHashingSettings.From(sp.GetRequiredService())); builder.Services.AddSingleton(); builder.Services.AddSingleton(sp => { diff --git a/scr/Messenger.Api/Services/Argon2PasswordHasher.cs b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs index 25f5a8ba..6b677d08 100644 --- a/scr/Messenger.Api/Services/Argon2PasswordHasher.cs +++ b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs @@ -10,16 +10,17 @@ public sealed class Argon2PasswordHasher : IPasswordHasher private const int Parallelism = 1; // Каждое вычисление занимает ~19 MiB и ядро CPU: без лимита 100 параллельных входов = ~2 GiB памяти. - private const int MaxConcurrency = 4; - private static readonly TimeSpan SlotWaitTimeout = TimeSpan.FromSeconds(2); - - private readonly SemaphoreSlim _slots = new(MaxConcurrency, MaxConcurrency); + // Размер и время ожидания слотов задаются PASSWORD_HASH_CONCURRENCY / PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS. + private readonly SemaphoreSlim _slots; + private readonly TimeSpan _slotWaitTimeout; // Хеш от случайного пароля, который никто не знает. Нужен только для выравнивания времени при неизвестном username. private readonly string _dummyHash; - public Argon2PasswordHasher() + public Argon2PasswordHasher(PasswordHashingSettings settings) { + _slots = new SemaphoreSlim(settings.MaxConcurrency, settings.MaxConcurrency); + _slotWaitTimeout = settings.QueueTimeout; _dummyHash = HashCore(Convert.ToBase64String(System.Security.Cryptography.RandomNumberGenerator.GetBytes(32))); } @@ -55,7 +56,7 @@ public sealed class Argon2PasswordHasher : IPasswordHasher private async Task AcquireSlotAsync(CancellationToken ct) { - if (!await _slots.WaitAsync(SlotWaitTimeout, ct)) + if (!await _slots.WaitAsync(_slotWaitTimeout, ct)) { throw new PasswordHasherBusyException(); } diff --git a/scr/Messenger.Api/Services/Settings.cs b/scr/Messenger.Api/Services/Settings.cs index 977daac2..2b56f71e 100644 --- a/scr/Messenger.Api/Services/Settings.cs +++ b/scr/Messenger.Api/Services/Settings.cs @@ -44,6 +44,23 @@ public sealed record AuthSessionOptions(TimeSpan Ttl) } } +// Ограничитель Argon2: сколько хешей считается одновременно и сколько запрос ждёт свободный слот, прежде чем получить 503. +// Один хеш занимает ~19 MiB и ядро CPU, поэтому без лимита пачка регистраций исчерпала бы память. +public sealed record PasswordHashingSettings(int MaxConcurrency, TimeSpan QueueTimeout) +{ + public static PasswordHashingSettings From(IConfiguration configuration) + { + var concurrency = configuration.GetValue("PASSWORD_HASH_CONCURRENCY", 4); + var timeoutSeconds = configuration.GetValue("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", 2.0); + if (concurrency < 1 || timeoutSeconds < 0) + { + throw new InvalidOperationException("PASSWORD_HASH_CONCURRENCY >= 1 и PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS >= 0"); + } + + return new PasswordHashingSettings(concurrency, TimeSpan.FromSeconds(timeoutSeconds)); + } +} + // Кэш необязателен: без CACHE_URL_FILE / CACHE_CONNECTION приложение работает только на PostgreSQL. public sealed record CacheSettings(string? Connection, TimeSpan Ttl) { -- 2.54.0