diff --git a/.dockerignore b/.dockerignore index bc16e556..0749a3b9 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,10 @@ __pycache__ node_modules evidence .DS_Store + +# Артефакты сборки хоста: содержат абсолютные пути Windows и ломают restore в контейнере. +**/bin +**/obj +.vs +tools +scr/Messenger.Api.Tests diff --git a/.env.example b/.env.example index d32b9be0..4d60eb77 100644 --- a/.env.example +++ b/.env.example @@ -1,13 +1,28 @@ -# Copy to .env for your LOCAL synthetic test environment; never commit .env. -# These are logical interface suggestions; map actual framework names in REPORT.md. -APP_HOST=0.0.0.0 -APP_PORT=8080 -APP_ENV=lab -SESSION_TTL_SECONDS=3600 -# Choose credentials locally. File paths contain no secret values. -DATABASE_URL_FILE=/run/secrets/database_url -# Optional on 3, required use on 4 in lab2; Redis OR Valkey: -SESSION_STORE=postgres -CACHE_URL_FILE=/run/secrets/cache_url +# Скопируйте в .env для ЛОКАЛЬНОГО учебного стенда (cp .env.example .env); .env не коммитится. +# Секретов здесь нет: пароли создаёт scripts/init-secrets.sh в каталоге secrets/ (тоже вне Git). +# Все переменные необязательны: значения ниже совпадают с умолчаниями compose.yaml. + +# --- Публичные порты --- +# Единственная публичная точка входа (HAProxy). Порты API-реплик наружу не публикуются. +LB_PUBLISHED_PORT=8080 +# Статистика HAProxy, только 127.0.0.1. +LB_STATS_PORT=8404 + +# --- Масштабирование и ресурсы (лимиты НА ОДИН контейнер) --- API_REPLICAS=2 +API_CPUS=1 +API_MEMORY=512m +DB_CPUS=2 +DB_MEMORY=1g +LB_CPUS=1 + +# --- Приложение (соответствие переменных приложению описано в REPORT.md) --- +SESSION_TTL_SECONDS=3600 IDEMPOTENCY_TTL_SECONDS=86400 +SHUTDOWN_DRAIN_SECONDS=3 +DB_MAX_POOL_SIZE=20 +CACHE_TTL_SECONDS=300 +# X-Cache / X-Db-Queries в ответах: только для экспериментов. +DIAGNOSTIC_HEADERS=false +# Версия сборки; меняется при rolling update (scripts/rolling-update.sh). +APP_VERSION=1 diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 00000000..dfdb8b77 --- /dev/null +++ b/.gitattributes @@ -0,0 +1 @@ +*.sh text eol=lf diff --git a/.gitignore b/.gitignore index b5a71896..f696f2dd 100644 --- a/.gitignore +++ b/.gitignore @@ -30,3 +30,11 @@ coverage/ .vscode/ # Keep small, sanitized evidence summaries in evidence/ under version control. # Inspect git diff --cached: ignore rules are not a secret scanner. + +# Local IDE/user files +*.csproj.user +.vs/ +scr/Messenger.Api/Test/ +secrets/ + +!scr/Messenger.Api/Data/ diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..dc1afe3a --- /dev/null +++ b/Dockerfile @@ -0,0 +1,34 @@ +# Версии закреплены тегом и digest (SDK 10.0.401, runtime 10.0.12), сборка воспроизводима. +FROM mcr.microsoft.com/dotnet/sdk:10.0.401@sha256:e70cdb7f80b0348f5cb85f19a8f670fca061f033d57eed12fa003d58b0e06317 AS build +WORKDIR /src + +COPY scr/Messenger.Api/Messenger.Api.csproj scr/Messenger.Api/ +RUN dotnet restore scr/Messenger.Api/Messenger.Api.csproj + +COPY scr/Messenger.Api/ scr/Messenger.Api/ +RUN dotnet publish scr/Messenger.Api/Messenger.Api.csproj \ + --configuration Release \ + --output /app/publish \ + --no-restore + +FROM mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 AS runtime +WORKDIR /app + +COPY --from=build /app/publish . + +# Версия сборки (видна в логе старта; отличает старую реплику от новой при rolling update). +# ARG стоит после COPY: смена версии пересобирает только этот слой, а не всю сборку. +ARG APP_VERSION=dev +ENV APP_VERSION=${APP_VERSION} +LABEL org.opencontainers.image.version=${APP_VERSION} + +ENV ASPNETCORE_URLS=http://0.0.0.0:8080 +EXPOSE 8080 + +# Непривилегированный пользователь (APP_UID задан в базовом образе aspnet). +USER $APP_UID + +# curl в образе нет, поэтому проверку выполняет само приложение (/health/live). +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 CMD ["dotnet", "Messenger.Api.dll", "--healthcheck"] + +ENTRYPOINT ["dotnet", "Messenger.Api.dll"] \ No newline at end of file diff --git a/REPORT.md b/REPORT.md index c2679005..7bbc7b13 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,188 @@ # Отчёт — лабораторная 3 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO +- Автор, группа: Полуднев Юлиан - БВТ2303 +- Целевая оценка; выбранный трек 5: **5, трек 1 «Цена масштабирования»** - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Использованные источники, библиотеки и помощь ИИ: + - Документация: Compose services, HAProxy 3.0 (resolvers, server-template, health checks, retry-on), PostgreSQL (`INSERT … ON CONFLICT`, блокировки уникального индекса), документация .NET/ASP.NET Core (graceful shutdown, `IHostApplicationLifetime`). + - Библиотеки: ASP.NET Core 10, EF Core 10 + Npgsql, StackExchange.Redis (клиент Valkey), Isopoh.Cryptography.Argon2 (перенесено из lab2); образы PostgreSQL 17, Valkey 8.1, HAProxy 3.0 (закреплены digest'ами). + - **ИИ:** в работе использовался ИИ-ассистент Claude Code (Anthropic). Использовался для помощи конфишгурации лабораторной (идемпотентность, миграция, drain при SIGTERM, `compose.yaml`, конфигурация HAProxy), помощь с составлением отчета. Код lab2 (PostgreSQL, сессии, кэш, Argon2) перенесён из моей предыдущей работы. ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +**Требования.** Docker с Compose v2 (проверено: Docker Engine 29.4.1, Compose 5.1.3; для `start_interval` в healthcheck нужен Docker ≥ 25), Python 3.9+ для тестов. Для сборки образа .NET SDK на хосте не нужен — сборка идёт в Docker. Команды ниже — POSIX shell (Linux, macOS, WSL2 или Git Bash). Тесты `tests/resilience.py` запускают хук-скрипт напрямую, поэтому на Windows их нужно выполнять в WSL; `make` в Windows-окружении автора не установлен, поэтому ниже приведены команды, которые `make` вызывает. + +```sh +sh scripts/init-secrets.sh # secrets/: случайные пароли БД и кэша (вне Git); повторный запуск ничего не перезаписывает +cp .env.example .env # настройки без секретов (порты, число реплик, лимиты) +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait +``` + +Порядок старта задан зависимостями Compose: `db` (healthy) → `migrate` (one-shot, завершается с кодом 0) → `api` × N (healthy) → `lb` (healthy). `--wait` возвращает управление, когда всё готово. Публичная точка входа — `http://localhost:8080` (порт задаётся `LB_PUBLISHED_PORT`; при разработке я использовал 8081, потому что 8080 занимал старый стенд lab2). + +```sh +python3 tests/smoke.py --base-url http://localhost:8080 # make test +python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url http://localhost:8080 # make test-persistence ACTION_SCRIPT=scripts/restart.sh +python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url http://localhost:8080 # make test-failover ACTION_SCRIPT=scripts/stop-one.sh +scripts/restore-replicas.sh # вернуть остановленную реплику (ждёт, пока LB видит все реплики UP) +python3 tools/lab3/idempotency_race.py --base-url http://localhost:8080 # параллельные POST с одним ключом +BASE_URL=http://localhost:8080 scripts/collect-evidence.sh # всё вместе → evidence/level3/ +dotnet test scr/Messenger.Api.Tests # 78 интеграционных тестов, из них 15 — на идемпотентность и `X-Instance-Id` (нужен Docker; Testcontainers поднимает свои PostgreSQL/Valkey) +``` + +Масштабирование: `API_REPLICAS=4 docker compose --env-file .env up -d --wait api` (LB подхватывает реплики через DNS, правки конфига не нужны, максимум 8 слотов). +**Безопасная остановка:** `docker compose stop` (тома сохраняются). **Намеренное удаление учебных данных:** `docker compose down -v` (удаляет том `messenger-lab3_pgdata`). Действий оператора, кроме перечисленных, не требуется. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab2, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +``` +клиент ──► HAProxy (lb:8080, единственный публичный порт) + │ DNS-обнаружение api:8080, проверка GET /health/ready раз в 1 с + ├──► api (реплика 1) ─┐ + ├──► api (реплика 2) ─┼──► PostgreSQL (пользователи, чаты, сообщения, СЕССИИ, ключи идемпотентности; volume) + └──► api (реплика N) ─┴──► Valkey (кэш страниц истории; без persistence, необязателен) +migrate (one-shot, тот же образ, `--migrate`) ──► PostgreSQL (до старта api) +``` + +Роли и параметры: + +| Роль | Сервис | Версия / digest | Готовность | Хранилище | Сеть / порт | Секреты | +| --- | --- | --- | --- | --- | --- | --- | +| API | `api` (N реплик, без `container_name`) | `messenger-api:lab3`, собирается из `Dockerfile` (SDK 10.0.401 / aspnet 10.0.12 с digest) | Docker: `/health/live`; LB: `/health/ready` | нет локального состояния | только внутри сети `backend`, порт наружу не публикуется | `database_url`, `cache_url` (Compose secrets, файлы) | +| PostgreSQL | `db` | `postgres:17@sha256:b8fa…08fe` | `pg_isready` | именованный том `pgdata` | не публикуется | `db_password` | +| Сессии | таблица `sessions` в PostgreSQL | — | — | тот же том | — | хеш SHA-256 токена, сам токен не хранится | +| Кэш | `cache` | `valkey/valkey:8.1@sha256:640c…2f91` | `valkey-cli ping` | нет (LRU 64 MiB) | не публикуется | `cache_password` | +| Миграции | `migrate` | образ api | завершается кодом 0 | — | — | `database_url` | +| LB | `lb` | `haproxy:3.0-alpine@sha256:1c15…1d8f` (через зеркало `mirror.gcr.io`, тот же digest) | `/healthz` на служебном порту | — | `8080` публично; статистика `127.0.0.1:8404` | нет | + +**Что перенесено из lab2:** PostgreSQL как источник истины, сессии в PostgreSQL (это уже общее хранилище для всех реплик), Valkey-кэш с версией истории в ключе, Argon2id, keyset-пагинация, ограниченные пулы и ответ 503 при недоступности БД. +**Что добавлено в lab3:** + +1. **`X-Instance-Id`** в каждом ответе API (включая ошибки и health) — hostname контейнера (первые 12 символов ID контейнера). Заголовок ставится через `Response.OnStarting`, потому что `UseExceptionHandler` очищает заголовки. +2. **Общая идемпотентность** (`Services/IdempotencyKeys.cs`, таблица `idempotency_keys`, миграция `AddIdempotencyKeys`). Область уникальности — `(user_id, chat_id, key)` (метод и путь у эндпоинта один). В транзакции отправки первым шагом выполняется `INSERT … ON CONFLICT (user_id, chat_id, key) DO UPDATE … WHERE expires_at <= now RETURNING 1`: + - ключа нет → строка вставлена, ключ наш, дальше резервирование слота и вставка сообщения; **ключ и сообщение коммитятся одной транзакцией**; + - ключ вставила другая незавершённая транзакция (в том числе на другой реплике) → наш `INSERT` **ждёт на уникальном индексе**; после её `COMMIT` вставки нет, мы читаем сохранённый хеш: тот же → повтор (201 и то же сообщение), другой → 409; после её `ROLLBACK` (5xx) ключ достаётся нам; + - ключ истёк (24 ч, `IDEMPOTENCY_TTL_SECONDS`) → перезахватывается. + Хеш запроса считается от разобранных полей, поэтому порядок ключей JSON не важен. Транзиентная ошибка откатывает и ключ, и сообщение — клиент безопасно повторяет запрос с тем же ключом. Сессия и членство в чате проверяются при каждом запросе, включая повтор. FK `message_id → messages(id)` объявлен `DEFERRABLE INITIALLY DEFERRED`: ключ вставляется раньше сообщения, проверка выполняется при COMMIT. Фоновый `IdempotencyCleaner` удаляет истёкшие ключи. +3. **Миграции отдельно:** API не мигрирует схему (`MIGRATE_ON_START=false`), миграции выполняет one-shot контейнер `migrate` (`Messenger.Api.dll --migrate`), от которого зависит `api` (`service_completed_successfully`). Новая миграция только добавляет таблицу (expand), поэтому предыдущая версия API продолжает работать (нужно для rolling update). `MIGRATE_ON_START=true` используют только интеграционные тесты. +4. **Graceful shutdown и readiness:** SIGTERM → `/health/ready` сразу отвечает 503 («draining»), слушатель ещё открыт `SHUTDOWN_DRAIN_SECONDS=3`, затем Kestrel закрывает слушатель и дорабатывает активные запросы до 5 с. +5. **Балансировщик:** HAProxy. Адреса реплик — DNS-обнаружение (`resolvers docker`, `server-template api 1-8 api:8080`, обновление раз в секунду), поэтому добавление/замена контейнеров не требует правки конфигурации. Sticky-сессий нет. При обрыве соединения/пустом ответе запрос повторяется на другой реплике (`retries 3`, `option redispatch`, `retry-on conn-failure empty-response`); повтор POST безопасен благодаря `Idempotency-Key`. + +**Согласованность таймаутов** (`infra/haproxy/haproxy.cfg`, `compose.yaml`, `Program.cs`): + +| Параметр | Значение | Почему | +| --- | --- | --- | +| Проверка LB | `GET /health/ready`, `inter 1s`, `fall 2`, `rise 2`, `timeout check 2s` | период проверок 1 с | +| Таймаут readiness в приложении | 1 с | меньше `timeout check`: зависшая БД даёт явный 503 | +| `SHUTDOWN_DRAIN_SECONDS` | 3 с | ≥ `fall × inter` = 2 с (+≤1 с джиттера): LB успевает убрать реплику до закрытия слушателя | +| Kestrel graceful timeout | 5 с | итого остановка < 8 с < 10 с лимита хука | +| `stop_grace_period` | 15 с | запас до SIGKILL | +| БД: connect / command | 5 с / 5 с | `timeout server` в LB 20 с покрывает несколько команд запроса | + +**Максимальное время обнаружения отказа:** реплика остановлена штатно (SIGTERM) — LB узнаёт заранее по 503 readiness, клиенты ошибок не видят; процесс убит (RST/отказ соединения) — мгновенно через `retry-on`/redispatch, статус DOWN ≤ ≈2–3 с; **зависший backend** (порт открыт, ответов нет) — расчётно `fall × (timeout check + inter) = 6 с`, **измерено 5.66 / 5.86 / 5.82 с** (`evidence/level4/detection-hung-backend.txt`). + +**Соответствие `.env.example` реальной конфигурации.** `APP_HOST`/`APP_PORT`/`APP_ENV` из исходного шаблона заменены переменными Compose: `ASPNETCORE_URLS`/`APP_PORT` (задаются в `compose.yaml`), `SESSION_TTL_SECONDS`, `IDEMPOTENCY_TTL_SECONDS`, `DATABASE_URL_FILE`/`CACHE_URL_FILE` (пути к файлам секретов), `API_REPLICAS` (число реплик). `SESSION_STORE=postgres` — не переменная: сессии всегда в PostgreSQL (таблица `sessions`). Новые: `LB_PUBLISHED_PORT`, `LB_STATS_PORT`, `API_CPUS`/`API_MEMORY`, `DB_CPUS`/`DB_MEMORY`, `LB_CPUS`, `SHUTDOWN_DRAIN_SECONDS`, `DB_MAX_POOL_SIZE`, `CACHE_TTL_SECONDS`, `DIAGNOSTIC_HEADERS`, `APP_VERSION`. ## Доказательства критериев +Все файлы — в `evidence/` (даты, commit и команды внутри файлов). Окружение измерений: Windows 11, Docker Desktop 29.4.1 (WSL2, 16 логических CPU, ≈8 GiB), все контейнеры и генератор нагрузки на одном хосте. + | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | - -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +| Публичный smoke | `python3 tests/smoke.py` (= `make test`) через LB | `PASS: lab3 public API scenario` | `evidence/level3/smoke.txt` | +| Стенд в compose.yaml, ≥2 API, одна точка входа, общая БД и сессии | `docker compose up -d --build --wait` | 2 реплики `api`, опубликован только `lb`, один `db`; сессии в таблице `sessions` | `evidence/level3/topology.txt` | +| Разные реплики обслуживают одну сессию без повторного входа | тест failover до отказа опрашивает `/users/me` с одним токеном; `idempotency_race.py` | `observed_instances_before: 2`; запросы разошлись по 2 репликам поровну (400/400) | `evidence/level3/failover-1.txt`, `idempotency-race.json` | +| Отказ одной реплики: чтение/запись ≤ 10 с, подтверждённые сообщения целы | `tests/resilience.py --mode failover … stop-one.sh`, дважды | PASS оба раза; 125 и 136 успешных записей, 0 неудачных попыток; остановленная реплика — `Exited (0)` | `evidence/level3/failover-1.txt`, `failover-2.txt` | +| Повтор POST с тем же ключом не создаёт дубль, в т.ч. конкурентный, через разные реплики | `idempotency_race.py`: 20 раундов × 40 параллельных POST с одним ключом + раунд с 40 разными телами | 840 запросов → ровно 21 сообщение; все ответы 201 с идентичным телом; в раунде с разными телами 1×201 и 39×409; 78 C#-тестов, из них 15 на идемпотентность (в т.ч. конкурентные через 3 «реплики» с общей БД) | `evidence/level3/idempotency-race.json`; `scr/Messenger.Api.Tests/IdempotencyTests.cs` | +| Persistence | `tests/resilience.py --mode persistence … restart.sh` | PASS с прежним токеном; время старта `db`/`cache`/`api`/`lb` изменилось, том `messenger-lab3_pgdata` прежний | `evidence/level3/persistence.txt` | +| Health/readiness, timeouts, SIGTERM согласованы; период и время обнаружения | раздел «Архитектура», таблица таймаутов; замер обнаружения | период 1 с; штатно 0 ошибок; зависший backend 5.7–5.9 с | `evidence/level4/detection-hung-backend.txt` | +| Поочерёдная остановка каждой реплики: RPS, ошибки, время восстановления | `tools/lab3/chaos_load.py --scenario sequential-stop` (3 варианта: SIGTERM, SIGKILL, freeze) | см. таблицу «Эксперименты и отказы» | `evidence/level4/sequential-{stop,kill,pause}.{json,csv}` | +| Общая идемпотентность параллельными запросами | см. выше; плюс 16 повторов с тем же ключом в эксперименте с freeze | 0 потерянных, 0 задублированных | `evidence/level4/sequential-pause.json` | +| CPU/RAM-лимиты, нет published портов у API, секреты, нет `container_name` | `docker inspect`, `docker compose ps` | api: 1 CPU / 512 MiB; db 2 CPU / 1 GiB; cache 0.5 / 128 MiB; lb 1 / 128 MiB; порты только у `lb`; секреты — Compose secrets из `secrets/` (вне Git) | `evidence/level3/topology.txt` | +| Rolling update под нагрузкой, миграции однократно | `chaos_load.py --scenario rolling-update` (`scripts/rolling-update.sh`) | 19 263 запроса, 0 ошибок, 10 294 POST без потерь и дублей; версия 1 → новая на обеих репликах | `evidence/level4/rolling-update.json` | +| Трек 1 | `tools/ScaleLoad/track1-experiment-{a,b,c}.sh`, `summarize.py` | см. ниже | `evidence/track1/` | ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +### Отказы под нагрузкой (уровень 4) + +Нагрузка: 8 потоков, замкнутый цикл, 50% GET истории / 50% POST с уникальным ключом; неопределённый POST повторяется с **тем же** ключом. Затем проверяется вся история: подтверждённые сообщения на месте, дублей нет. Воздействие по очереди на каждую реплику (остановка → 10 с наблюдения → восстановление → 10 с наблюдения). | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| `docker stop` реплики (SIGTERM, drain 3 с), обе реплики по очереди | без ошибок: LB выводит реплику по 503 readiness до закрытия слушателя | 15 327 запросов, **0 ошибок**; RPS 254 → 253 (одна реплика) → 208; хук вернулся за 3.7–3.8 с | восстановление 0 с; потерь и дублей нет (8 277 POST подтверждены) | +| `docker kill` (SIGKILL, без drain) | оборванные запросы повторяет LB на другой реплике | 12 284 запроса, **0 ошибок клиента**; счётчики HAProxy: 7 оборванных ответов (`eresp`) = 7 повторов (`wretr`) | 0 с; потерь и дублей нет (6 757 POST) | +| `docker pause` (зависший backend, худший случай) | ошибки/простой до обнаружения ≈ 6 с | 10 626 запросов, 21 ошибка (клиентский таймаут 5 с); в 10-секундном окне заморозки пропускная способность упала до ≈7–8 RPS (посекундный CSV: успешных ответов нет в секундах 21–24 и 26–29 после начала заморозки) | ошибки приходят через ≈5.2 с (таймаут клиента), нормальный RPS (≈280) возвращается только после разморозки, то есть простой ≈10 с — дольше изолированного замера обнаружения (5.7–5.9 с); причину различия под нагрузкой отдельно не исследовал; 16 повторов с тем же ключом, потерь и дублей нет | +| Rolling update (surge +1, unavailable 0), 2 реплики → 2 новые | без потерь | за 60 с заменены обе реплики; 19 263 запроса, **0 ошибок**; RPS 269 → 215 во время замены → 228 | потерь и дублей нет (10 294 POST) | +| Рестарт всего стенда (`restart.sh`: lb, api, db, cache) | сессии и данные сохраняются | PASS persistence с прежним токеном | данные целы (volume `pgdata`); кэш после рестарта пуст — это только ускорение | + +Вывод: штатная остановка и аварийное убийство процесса клиент не замечает благодаря drain и ретраям LB; **зависший процесс — слабое место** (изолированно LB исключает его за ≈6 с, а под нагрузкой простой составил ≈10 с; клиенты с таймаутом 5 с получают ошибки); данные при этом всегда сохранны благодаря идемпотентности. + +### Трек 1. Цена масштабирования + +**Гипотезы.** H1: при *фиксированном* суммарном CPU/RAM число реплик не увеличивает пропускную способность (реплики нужны для отказоустойчивости, а не для скорости). H2: при *росте* ресурсов RPS растёт, пока не упрётся в общий ресурс — вероятнее всего CPU PostgreSQL (все реплики ходят в одну БД: аутентификация, проверка членства, история, запись). H3: часть потерь в точке насыщения — накладные расходы на число соединений к БД (реплики × пул). + +**Методика (одинакова для всех серий).** Генератор `tools/ScaleLoad` (C#, замкнутый цикл, на том же хосте), профиль: 32 пользователя, у каждого свой чат с 200 сообщений заранее; **80% GET истории (limit=50) / 20% POST с уникальным Idempotency-Key**; прогрев 5 с, замер 20 с; 3 повтора, порядок конфигураций в повторах случайный (`shuf`); между конфигурациями реплики пересоздаются; CPU контейнеров — среднее `docker stats` за время замера (100% = одно ядро). Лимиты CPU/RAM заданы на контейнер. Сырые данные — `evidence/track1/results.jsonl` (и `diag.jsonl`), сводка — `summary.md`, графики — `fig-*.png`. Токены в данные не попадают. + +**A. Фиксированный бюджет API: 2 CPU / 1 GiB суммарно** (БД 4 CPU, LB 2 CPU — с запасом; 64 клиента): + +| Конфигурация | RPS (среднее, мин–макс) | p95, мс | CPU API на запрос, мс | CPU БД, % | +| --- | --- | --- | --- | --- | +| 1 × 2.0 CPU | 713 (693–748) | 157 | 2.86 | 131 | +| 2 × 1.0 CPU | 433 (378–488) | 372 | 4.59 | 85 | +| 4 × 0.5 CPU | 320 (306–328) | 609 | 6.27 | 71 | + +![A](evidence/track1/fig-a-fixed-budget.png) + +H1 подтверждена, причём сильнее ожидаемого: больше реплик на тот же бюджет — *хуже* (−39% и −55%), а API везде загружен на ≈200%, то есть растёт цена запроса. Проверки причин (`diag.jsonl`, по 2 запуска, меньше уверенности): + - **квота CFS стоит дорого:** тот же бюджет 2 ядра, но закреплением за ядрами (`cpuset: 0-1`, без квоты) для 1 реплики даёт **929 RPS против 693–793 с квотой** (по 5 запускам квоты: серия A и диагностика; ≈ +17…+34%); + - **накладные расходы на реплику есть и без квоты:** 4 реплики на тех же закреплённых 2 ядрах — 573 RPS против 929 у одной (CPU на запрос 2.16 → 3.64 мс); + - память не главный фактор: 4×0.5 CPU с 1 GiB вместо 256 MiB — 344 против 308–349 RPS (в пределах разброса повторов). + Что именно тратит CPU (GC, пулы потоков, переключения контекста) я не профилировал — это гипотезы, не доказательства. + +**B. Рост ресурсов:** реплики по 1 CPU / 512 MiB, БД 2 CPU, LB 1 CPU, 128 клиентов: + +| Реплик API | RPS (среднее, мин–макс) | p95, мс | CPU API, % | CPU БД, % (лимит 200) | CPU БД на запрос, мс | +| --- | --- | --- | --- | --- | --- | +| 1 | 377 (326–408) | 499 | 101 | 64 | 1.69 | +| 2 | 557 (466–624) | 588 | 201 | 102 | 1.84 | +| 4 | 725 (609–883) | 591 | 409 | 172 | 2.37 | +| 8 | 795 (791–802) | 525 | 697 | **210** | 2.64 | + +![B](evidence/track1/fig-b-scale-out.png) + +**Точка насыщения — CPU PostgreSQL при лимите 2 CPU, около 800 RPS.** Рост 1→2→4 реплик даёт +48% и +30%, а 4→8 — всего +10%; идеальный линейный рост дал бы ≈3000 RPS. На 8 репликах БД работает на лимите (210% из 200%), а API-реплики — на 87% своего CPU: они ждут ответов БД. Добавление реплик не добавляет БД ресурсов, зато увеличивает число одновременных соединений и цену запроса (в БД 1.69 → 2.64 мс CPU/запрос). LB не упёрся в лимит (в сериях B/C в среднем 34% / 54% своего CPU, максимум 64%), но к 8 репликам его загрузка заметна. Пул соединений как предел не наблюдался: после замера открыто 161 соединение при `max_connections=300`. + +**C. Проверка гипотез в точке насыщения** (8 × 1 CPU, 128 клиентов): + +| Вариант | RPS (среднее, мин–макс) | p95, мс | CPU БД, % | Соединений к БД | +| --- | --- | --- | --- | --- | +| контроль: пул 20, БД 2 CPU | 816 (812–820) | 489 | 212 (из 200) | 161 | +| пул 4 (до 32 соединений) | 793 (758–814) | 525 | 200 (из 200) | 33 | +| пул 8 (до 64 соединений) | 844 (832–860) | 429 | 209 (из 200) | 65 | +| **БД 4 CPU, пул 20** | **1005 (963–1054)** | **392** | 251 (из 400) | 161 | + +![C](evidence/track1/fig-c-bottleneck.png) + +- **H3 не подтверждена:** уменьшение числа соединений в 5 раз не освободило БД (793 против 816, диапазоны перекрываются); пул 8 даёт +3% — на уровне шума. Это честный отрицательный результат. +- **Подтверждённое улучшение: поднять лимит CPU БД с 2 до 4** — **+23% RPS (816 → 1005), p95 −20% (489 → 392 мс)**, диапазоны повторов не пересекаются. Гипотеза «узкое место — CPU БД» этим же и доказана: после улучшения БД загружена на 63% лимита, узкое место переехало в CPU API (751% из 800%) и в ресурсы самого хоста. Рост меньше ×2 не случаен: сумма лимитов (API 8 + БД 4 + LB 1 + кэш 0.5 CPU) плюс генератор нагрузки уже приближаются к 16 логическим ядрам хоста. +- Дополнительно подтверждено (серия A + диагностика): **для фиксированного бюджета лучше меньше крупных реплик, а закрепление за ядрами вместо квоты CFS даёт ≈ +17…+34%** (диагностика, n=2 на конфигурацию). + +**Почему рост реплик перестаёт помогать (итог для защиты).** Реплики масштабируют только stateless-часть (CPU приложения). Состояние и вся работа с данными — в одной PostgreSQL; когда её CPU исчерпан, лишние реплики лишь стоят в очереди к БД (p95 не падает, RPS растёт на 10%). Поэтому после точки насыщения нужно ускорять БД (ресурсы, меньше запросов на запрос API, кэш, репликация чтения), а не добавлять реплики; реплики же оправданы отказоустойчивостью (см. уровень 4). + +**Ограничения измерений.** Один хост (генератор нагрузки, API, БД и LB делят CPU; нагрузка и хост-ОС искажают результаты при больших суммарных лимитах); замкнутый генератор страдает coordinated omission, p95/p99 — только успешные запросы (ошибок в сериях не было: ≈446 тыс. успешных запросов основных серий и ≈112 тыс. диагностики); 3 повтора на точку — разброс виден в диапазонах, статистические тесты не проводились; диагностика cpuset — по 2 запуска; Docker Desktop (WSL2) не равен «чистому» Linux-серверу; абсолютные RPS нельзя переносить на другое железо. Утверждения о причинах роста цены запроса (GC, пулы потоков) — гипотезы. ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +- **Выдерживается:** остановка/гибель одной API-реплики и rolling update без потерь подтверждённых данных и без дублей; рестарт всего стенда с сохранением данных и сессий; конкурентный повтор POST через разные реплики. +- **Не выдерживается (SPOF):** отказ PostgreSQL, LB, Valkey (кэш необязателен — API продолжит работать без него), потеря самого хоста. БД не реплицирована — выживание её отказа не заявляется. Зависший backend даёт ≈6–10 с деградации (замеры выше). +- **Учебные упрощения:** один хост; HTTP без TLS; Docker Hub был недоступен — образ HAProxy взят через `mirror.gcr.io` с тем же digest (на машине с доступом к Docker Hub можно заменить на `haproxy:3.0-alpine@sha256:1c15…`); ключ идемпотентности привязан к чату (метод и путь у эндпоинта один); запрос с ключом и вложениями — lab4. +- **Возможные улучшения:** сократить обнаружение зависшего backend (`timeout check 1s`), общий retry-бюджет на клиенте, меньше запросов к БД на запрос API (объединить проверку членства и версии истории), репликация чтения PostgreSQL, профилирование цены запроса при многих малых репликах. + +## Краткие ответы к вопросам защиты + +- *Отказ процесса и отказ узла:* процесс умирает, ОС/сеть узла живы — быстрые RST, LB мгновенно повторяет запрос; при потере узла пропадают и процессы, и сеть — приходится ждать проверок/таймаутов (как в эксперименте с `pause`), а локальные данные узла теряются (у нас БД одна — это SPOF). +- *`depends_on`/`healthcheck` не балансировщик:* они работают только при старте/мониторинге контейнеров и ничего не распределяют; запросы между репликами делит HAProxy и сам убирает неготовые (readiness каждую секунду). +- *Какие POST повторять после таймаута:* только защищённые `Idempotency-Key` (отправка сообщения); создание чата/пользователя повторять нельзя без расширения контракта. Ключ даёт «ровно один эффект»: одна транзакция «ключ + сообщение», конкурентные запросы ждут на уникальном индексе. +- *Что сломается при локальных сессиях:* запрос, попавший на другую реплику, не найдёт сессию (401), а sticky-сессии не лечат причину и не переживают отказ реплики; поэтому сессии в PostgreSQL. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..dd4d1383 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,172 @@ +# Lab 3: PostgreSQL + Valkey + N взаимозаменяемых API-реплик за HAProxy. +# Имя проекта задаёт префикс томов и сетей (messenger-lab3_pgdata): не пересекается со стендом lab2. +# Запуск (одна последовательность): +# sh scripts/init-secrets.sh && cp .env.example .env && docker compose --env-file .env up -d --build --wait +name: messenger-lab3 + +# Один образ и для API, и для миграций: схема всегда соответствует коду. build продублирован намеренно, +# чтобы `up --build` собрал образ раньше, чем стартует migrate (второй build берётся из кэша). +x-api-image: &api-image + image: messenger-api:lab3 + build: + context: . + dockerfile: Dockerfile + args: + APP_VERSION: ${APP_VERSION:-1} + +services: + db: + # PostgreSQL 17.11; тег закреплён digest'ом, сборка воспроизводима. + image: postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe + restart: unless-stopped + # max_connections с запасом: до 8 реплик x пул DB_MAX_POOL_SIZE (по умолчанию 20) + миграции + служебные. + command: ["postgres", "-c", "max_connections=300"] + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/db_password + secrets: + - db_password + volumes: + # Именованный volume: переживает restart/down; удаляется только явным `docker compose down -v`. + - pgdata:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 20 + start_period: 10s + deploy: + resources: + limits: + cpus: "${DB_CPUS:-2}" + memory: ${DB_MEMORY:-1g} + networks: [backend] + + cache: + # Valkey 8.1: кэш страниц истории сообщений. Источник истины — PostgreSQL, потеря содержимого кэша ничего не ломает, + # поэтому persistence выключена (--save "" --appendonly no). Память ограничена, вытеснение LRU. + # Кэш общий для всех реплик: ключ содержит версию истории чата, поэтому реплики не отдают друг другу устаревшие страницы. + image: valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2 + restart: unless-stopped + command: + - sh + - -c + - exec valkey-server --requirepass "$$(cat /run/secrets/cache_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru + secrets: + - cache_password + healthcheck: + test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/cache_password)\" valkey-cli ping | grep -q PONG"] + interval: 5s + timeout: 3s + retries: 10 + deploy: + resources: + limits: + cpus: "0.5" + memory: 128m + networks: [backend] + + # One-shot: применяет миграции и завершается. API-реплики схему не меняют (MIGRATE_ON_START выключен), + # поэтому одновременный старт N реплик не создаёт гонку. Миграции только добавляют объекты (expand), что + # совместимо с ещё работающей предыдущей версией API при rolling update. + migrate: + <<: *api-image + command: ["--migrate"] + restart: "no" + depends_on: + db: + condition: service_healthy + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: + - database_url + networks: [backend] + + api: + <<: *api-image + restart: unless-stopped + # Без container_name и без published ports: сервис масштабируется (--scale api=N / API_REPLICAS), а снаружи + # реплики доступны только через lb. Кэш не входит в depends_on: API обязан работать без него. + depends_on: + migrate: + condition: service_completed_successfully + db: + condition: service_healthy + environment: + ASPNETCORE_URLS: http://0.0.0.0:8080 + APP_PORT: "8080" + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DATABASE_URL_FILE: /run/secrets/database_url + CACHE_URL_FILE: /run/secrets/cache_url + CACHE_TTL_SECONDS: ${CACHE_TTL_SECONDS:-300} + DIAGNOSTIC_HEADERS: ${DIAGNOSTIC_HEADERS:-false} + DB_MAX_POOL_SIZE: ${DB_MAX_POOL_SIZE:-20} + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + SHUTDOWN_DRAIN_SECONDS: ${SHUTDOWN_DRAIN_SECONDS:-3} + MIGRATE_ON_START: "false" + secrets: + - database_url + - cache_url + expose: + - "8080" + healthcheck: + # Живость процесса (готовность проверяет LB). start_interval ускоряет первый успех для `up --wait`. + test: ["CMD", "dotnet", "Messenger.Api.dll", "--healthcheck"] + interval: 10s + timeout: 3s + retries: 3 + start_period: 20s + start_interval: 2s + # SIGTERM -> drain 3 с + до 5 с на активные запросы = < 10 с; 15 с — запас до SIGKILL. + stop_grace_period: 15s + deploy: + replicas: ${API_REPLICAS:-2} + resources: + limits: + cpus: "${API_CPUS:-1}" + memory: ${API_MEMORY:-512m} + networks: [backend] + + lb: + # HAProxy 3.0 LTS; digest закреплён. Образ получен через mirror.gcr.io (зеркало официального образа Docker Hub, + # тот же digest), потому что Docker Hub был недоступен при разработке. + image: mirror.gcr.io/library/haproxy:3.0-alpine@sha256:1c15903c50d5510dcc01de755049e7015a6dd3f35bb2dc4582e888116cb71d8f + restart: unless-stopped + depends_on: + api: + condition: service_healthy + volumes: + - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + ports: + # Единственная публичная точка входа. + - "${LB_PUBLISHED_PORT:-8080}:8080" + # Статистика LB (состояние backend'ов): только с этого компьютера. + - "127.0.0.1:${LB_STATS_PORT:-8404}:8404" + healthcheck: + test: ["CMD-SHELL", "wget -q --spider http://127.0.0.1:8404/healthz"] + interval: 5s + timeout: 3s + retries: 5 + deploy: + resources: + limits: + cpus: "${LB_CPUS:-1}" + memory: 128m + networks: [backend] + +volumes: + pgdata: + +networks: + backend: + +secrets: + db_password: + file: ./secrets/db_password + database_url: + file: ./secrets/database_url.compose + cache_password: + file: ./secrets/cache_password + cache_url: + file: ./secrets/cache_url diff --git a/dotnet-tools.json b/dotnet-tools.json new file mode 100644 index 00000000..39007e02 --- /dev/null +++ b/dotnet-tools.json @@ -0,0 +1,13 @@ +{ + "version": 1, + "isRoot": true, + "tools": { + "dotnet-ef": { + "version": "10.0.13", + "commands": [ + "dotnet-ef" + ], + "rollForward": false + } + } +} \ No newline at end of file diff --git a/evidence/level3/failover-1.txt b/evidence/level3/failover-1.txt new file mode 100644 index 00000000..e3e1bef8 --- /dev/null +++ b/evidence/level3/failover-1.txt @@ -0,0 +1,17 @@ +## failover #1: контейнеры до +messenger-lab3-api-12 Up 29 seconds (healthy) +messenger-lab3-api-9 Up 30 seconds (healthy) +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 125, "failed_attempts": 0, "first_recovery_seconds": 3.691} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +## контейнеры после (остановленная реплика должна быть Exited) +messenger-lab3-api-12 Up 49 seconds (healthy) +messenger-lab3-api-9 Exited (0) 12 seconds ago + Container messenger-lab3-api-12 Running + Container messenger-lab3-api-9 Starting + Container messenger-lab3-api-9 Started + Container messenger-lab3-api-9 Waiting + Container messenger-lab3-api-12 Waiting + Container messenger-lab3-api-9 Healthy + Container messenger-lab3-api-12 Healthy +LB sees 2/2 api replicas UP diff --git a/evidence/level3/failover-2.txt b/evidence/level3/failover-2.txt new file mode 100644 index 00000000..4124dad6 --- /dev/null +++ b/evidence/level3/failover-2.txt @@ -0,0 +1,17 @@ +## failover #2: контейнеры до +messenger-lab3-api-12 Up 52 seconds (healthy) +messenger-lab3-api-9 Up 3 seconds (healthy) +Executing explicit failover hook; hook output suppressed to avoid leaking secrets. +{"observed_instances_before": 2, "successful_writes": 136, "failed_attempts": 0, "first_recovery_seconds": 3.687} +PASS: failover preserved confirmed data and existing session. Hook scope needs operator evidence. +## контейнеры после (остановленная реплика должна быть Exited) +messenger-lab3-api-12 Up About a minute (healthy) +messenger-lab3-api-9 Exited (0) 11 seconds ago + Container messenger-lab3-api-12 Running + Container messenger-lab3-api-9 Starting + Container messenger-lab3-api-9 Started + Container messenger-lab3-api-9 Waiting + Container messenger-lab3-api-12 Waiting + Container messenger-lab3-api-9 Healthy + Container messenger-lab3-api-12 Healthy +LB sees 2/2 api replicas UP diff --git a/evidence/level3/idempotency-race.json b/evidence/level3/idempotency-race.json new file mode 100644 index 00000000..62888ff1 --- /dev/null +++ b/evidence/level3/idempotency-race.json @@ -0,0 +1,14 @@ +{ + "rounds": 20, + "parallel_requests_per_round": 40, + "requests_total": 840, + "messages_in_history": 21, + "messages_expected": 21, + "replicas_that_served_requests": 2, + "requests_per_replica": { + "13b0fc8945bc": 400, + "65e3ad44afc9": 400 + }, + "result": "PASS", + "failures": [] +} \ No newline at end of file diff --git a/evidence/level3/persistence.txt b/evidence/level3/persistence.txt new file mode 100644 index 00000000..bbc5e6a2 --- /dev/null +++ b/evidence/level3/persistence.txt @@ -0,0 +1,15 @@ +## persistence: старт контейнеров ДО +/messenger-lab3-api-12 65e3ad44afc9 started=2026-11-06T16:56:21.3113159Z +/messenger-lab3-api-9 13b0fc8945bc started=2026-11-06T16:57:34.953569522Z +/messenger-lab3-cache-1 e014a8d18926 started=2026-11-06T16:56:12.606839975Z +/messenger-lab3-db-1 a902ccd96269 started=2026-11-06T16:56:12.448360493Z +/messenger-lab3-lb-1 d99ad9b80ef3 started=2026-11-06T16:56:24.157711719Z +Executing explicit persistence hook; hook output suppressed to avoid leaking secrets. +PASS: persistence preserved confirmed data and existing session. Hook scope needs operator evidence. +## старт контейнеров ПОСЛЕ (время старта db/cache/api/lb должно измениться; volume pgdata прежний) +/messenger-lab3-api-12 65e3ad44afc9 started=2026-11-06T16:57:56.21787969Z +/messenger-lab3-api-9 13b0fc8945bc started=2026-11-06T16:57:55.931156961Z +/messenger-lab3-cache-1 e014a8d18926 started=2026-11-06T16:57:47.861880861Z +/messenger-lab3-db-1 a902ccd96269 started=2026-11-06T16:57:47.558274049Z +/messenger-lab3-lb-1 d99ad9b80ef3 started=2026-11-06T16:57:59.030347367Z +messenger-lab3_pgdata diff --git a/evidence/level3/smoke.txt b/evidence/level3/smoke.txt new file mode 100644 index 00000000..fc20f9dd --- /dev/null +++ b/evidence/level3/smoke.txt @@ -0,0 +1 @@ +PASS: lab3 public API scenario; infrastructure and grading evidence remain separate. diff --git a/evidence/level3/topology.txt b/evidence/level3/topology.txt new file mode 100644 index 00000000..9f87fdd5 --- /dev/null +++ b/evidence/level3/topology.txt @@ -0,0 +1,26 @@ +# 2026-11-06T16:56:37Z commit=0ab3a34 +## docker compose ps (публикуется только lb; у api порт только внутри сети) +NAME SERVICE STATUS PORTS +messenger-lab3-api-12 api Up 16 seconds (healthy) 8080/tcp +messenger-lab3-api-9 api Up 16 seconds (healthy) 8080/tcp +messenger-lab3-cache-1 cache Up 24 seconds (healthy) 6379/tcp +messenger-lab3-db-1 db Up 25 seconds (healthy) 5432/tcp +messenger-lab3-lb-1 lb Up 13 seconds (healthy) 127.0.0.1:8404->8404/tcp, 0.0.0.0:8081->8080/tcp, [::]:8081->8080/tcp +## лимиты ресурсов (NanoCpus / Memory) и образы +/messenger-lab3-api-12 nanocpus=1000000000 mem_bytes=536870912 image=messenger-api:lab3 +/messenger-lab3-api-9 nanocpus=1000000000 mem_bytes=536870912 image=messenger-api:lab3 +/messenger-lab3-cache-1 nanocpus=500000000 mem_bytes=134217728 image=valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2 +/messenger-lab3-db-1 nanocpus=2000000000 mem_bytes=1073741824 image=postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe +/messenger-lab3-lb-1 nanocpus=1000000000 mem_bytes=134217728 image=mirror.gcr.io/library/haproxy:3.0-alpine@sha256:1c15903c50d5510dcc01de755049e7015a6dd3f35bb2dc4582e888116cb71d8f +## container_name не задан; число реплик api: +2 +## состояние backend'ов в HAProxy +api api1 UP +api api2 UP +api api3 MAINT (resolution) +api api4 MAINT (resolution) +api api5 MAINT (resolution) +api api6 MAINT (resolution) +api api7 MAINT (resolution) +api api8 MAINT (resolution) +api BACKEND UP diff --git a/evidence/level4/detection-hung-backend.txt b/evidence/level4/detection-hung-backend.txt new file mode 100644 index 00000000..70b5ea9e --- /dev/null +++ b/evidence/level4/detection-hung-backend.txt @@ -0,0 +1,5 @@ +# Время обнаружения зависшего backend (docker pause) в HAProxy; 2026-11-06T17:01:52Z +# inter 1s, fall 2, timeout check 2s -> расчёт fall*(timeout check + inter) = 6 s +замер 1: DOWN detected after 5.66 s +замер 2: DOWN detected after 5.86 s +замер 3: DOWN detected after 5.82 s diff --git a/evidence/level4/rolling-update.csv b/evidence/level4/rolling-update.csv new file mode 100644 index 00000000..fdced091 --- /dev/null +++ b/evidence/level4/rolling-update.csv @@ -0,0 +1,88 @@ +second,ok,errors +0,268,0 +1,222,0 +2,280,0 +3,275,0 +4,286,0 +5,240,0 +6,280,0 +7,239,0 +8,254,0 +9,286,0 +10,264,0 +11,278,0 +12,282,0 +13,247,0 +14,303,0 +15,248,0 +16,298,0 +17,270,0 +18,260,0 +19,296,0 +20,276,0 +21,266,0 +22,258,0 +23,288,0 +24,274,0 +25,226,0 +26,230,0 +27,277,0 +28,185,0 +29,184,0 +30,166,0 +31,191,0 +32,185,0 +33,232,0 +34,182,0 +35,192,0 +36,180,0 +37,243,0 +38,246,0 +39,256,0 +40,271,0 +41,269,0 +42,263,0 +43,231,0 +44,276,0 +45,225,0 +46,289,0 +47,264,0 +48,277,0 +49,255,0 +50,265,0 +51,264,0 +52,290,0 +53,249,0 +54,267,0 +55,251,0 +56,278,0 +57,238,0 +58,243,0 +59,272,0 +60,266,0 +61,288,0 +62,36,0 +64,18,0 +65,280,0 +66,286,0 +67,242,0 +68,259,0 +69,238,0 +70,225,0 +71,41,0 +74,112,0 +75,265,0 +76,88,0 +78,275,0 +79,220,0 +80,172,0 +81,236,0 +82,236,0 +83,202,0 +84,214,0 +85,211,0 +86,263,0 +87,255,0 +88,243,0 +89,229,0 +90,44,0 diff --git a/evidence/level4/rolling-update.json b/evidence/level4/rolling-update.json new file mode 100644 index 00000000..88289e0b --- /dev/null +++ b/evidence/level4/rolling-update.json @@ -0,0 +1,120 @@ +{ + "scenario": "rolling-update", + "base_url": "http://localhost:8081", + "workers": 8, + "users_and_chats": 4, + "think_time_s": 0.02, + "replicas_before": [ + "6a5a3da59476", + "73c5482d0d13" + ], + "total_seconds": 90.2, + "overall": { + "from_s": 5, + "to_s": 90.2, + "requests": 19263, + "errors": 0, + "rps_ok": 226.1, + "error_rate_pct": 0.0, + "p50_ms": 8.8, + "p95_ms": 39.5, + "p99_ms": 70.4, + "instances": { + "73c5482d0d13": 7431, + "6a5a3da59476": 8169, + "358f63ce0276": 2236, + "ce29e4c7dcab": 1427 + } + }, + "phases": [ + { + "from_s": 5.0, + "to_s": 20.0, + "requests": 4040, + "errors": 0, + "rps_ok": 269.3, + "error_rate_pct": 0.0, + "p50_ms": 7.3, + "p95_ms": 27.0, + "p99_ms": 58.1, + "instances": { + "6a5a3da59476": 2020, + "73c5482d0d13": 2020 + }, + "name": "baseline" + }, + { + "from_s": 20.0, + "to_s": 80.2, + "requests": 12936, + "errors": 0, + "rps_ok": 215.1, + "error_rate_pct": 0.0, + "p50_ms": 9.1, + "p95_ms": 39.4, + "p99_ms": 71.2, + "instances": { + "6a5a3da59476": 6149, + "73c5482d0d13": 5406, + "358f63ce0276": 1095, + "ce29e4c7dcab": 286 + }, + "name": "rolling update", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 80.2, + "to_s": 90.2, + "requests": 2279, + "errors": 0, + "rps_ok": 227.9, + "error_rate_pct": 0.0, + "p50_ms": 10.8, + "p95_ms": 45.5, + "p99_ms": 73.2, + "instances": { + "ce29e4c7dcab": 1140, + "358f63ce0276": 1139 + }, + "name": "after update" + } + ], + "actions": [ + { + "action": "rolling-update", + "exit_code": 0, + "seconds": 60.14, + "at_s": 20.0, + "log": [ + "18:39:51 replicas before: 2; building version 1793979591", + "18:40:32 migrations applied once", + "18:40:38 new replica is UP in LB; stopping old 73c5482d0d13 (version 1)", + "18:40:48 new replica is UP in LB; stopping old 6a5a3da59476 (version 1)", + "18:40:51 replicas after:", + "18:40:52 358f63ce0276 version 1793979591", + "18:40:52 ce29e4c7dcab version 1793979591" + ] + } + ], + "events": [ + { + "t_s": 20.0, + "event": "ROLLING UPDATE start" + }, + { + "t_s": 80.2, + "event": "rolling-update.sh exit=0 in 60.1s" + } + ], + "data_check": { + "post_keys_used": 10294, + "post_confirmed": 10294, + "post_retries_with_same_key": 0, + "confirmed_missing_or_duplicated": 0, + "keys_with_duplicate_messages": 0, + "unconfirmed_but_written_once": 0, + "result": "PASS", + "problems": [] + } +} \ No newline at end of file diff --git a/evidence/level4/sequential-kill.csv b/evidence/level4/sequential-kill.csv new file mode 100644 index 00000000..353f1aef --- /dev/null +++ b/evidence/level4/sequential-kill.csv @@ -0,0 +1,68 @@ +second,ok,errors +0,231,0 +1,221,0 +2,273,0 +3,239,0 +4,270,0 +5,228,0 +6,214,0 +7,210,0 +8,191,0 +9,268,0 +10,219,0 +11,205,0 +12,247,0 +13,288,0 +14,264,0 +15,270,0 +16,280,0 +17,262,0 +18,223,0 +19,286,0 +20,84,0 +22,90,0 +23,226,0 +24,233,0 +25,235,0 +26,219,0 +27,238,0 +28,181,0 +29,217,0 +30,231,0 +31,218,0 +32,16,0 +35,125,0 +36,266,0 +37,254,0 +38,268,0 +39,222,0 +40,226,0 +41,227,0 +42,210,0 +43,205,0 +44,152,0 +46,39,0 +47,152,0 +48,165,0 +49,176,0 +50,170,0 +51,170,0 +52,158,0 +53,170,0 +54,140,0 +55,138,0 +56,24,0 +58,3,0 +59,152,0 +60,175,0 +61,242,0 +62,228,0 +63,250,0 +64,219,0 +65,194,0 +66,219,0 +67,230,0 +68,243,0 +69,182,0 +70,234,0 +71,213,0 diff --git a/evidence/level4/sequential-kill.json b/evidence/level4/sequential-kill.json new file mode 100644 index 00000000..0c77a633 --- /dev/null +++ b/evidence/level4/sequential-kill.json @@ -0,0 +1,189 @@ +{ + "scenario": "sequential-stop", + "base_url": "http://localhost:8081", + "workers": 8, + "users_and_chats": 4, + "think_time_s": 0.02, + "replicas_before": [ + "6a5a3da59476", + "73c5482d0d13" + ], + "total_seconds": 71.9, + "overall": { + "from_s": 5, + "to_s": 71.9, + "requests": 12284, + "errors": 0, + "rps_ok": 183.7, + "error_rate_pct": 0.0, + "p50_ms": 10.2, + "p95_ms": 55.0, + "p99_ms": 75.8, + "instances": { + "6a5a3da59476": 5980, + "73c5482d0d13": 6304 + } + }, + "phases": [ + { + "from_s": 5.0, + "to_s": 20.0, + "requests": 3652, + "errors": 0, + "rps_ok": 243.5, + "error_rate_pct": 0.0, + "p50_ms": 8.8, + "p95_ms": 49.6, + "p99_ms": 71.0, + "instances": { + "73c5482d0d13": 1827, + "6a5a3da59476": 1825 + }, + "name": "baseline" + }, + { + "from_s": 20.0, + "to_s": 30.7, + "requests": 1880, + "errors": 0, + "rps_ok": 176.6, + "error_rate_pct": 0.0, + "p50_ms": 11.2, + "p95_ms": 53.3, + "p99_ms": 75.0, + "instances": { + "6a5a3da59476": 28, + "73c5482d0d13": 1852 + }, + "name": "replica 6a5a3da59476 stopped", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 30.7, + "to_s": 44.4, + "requests": 2391, + "errors": 0, + "rps_ok": 173.4, + "error_rate_pct": 0.0, + "p50_ms": 9.4, + "p95_ms": 50.2, + "p99_ms": 75.8, + "instances": { + "73c5482d0d13": 1346, + "6a5a3da59476": 1045 + }, + "name": "after restore of 6a5a3da59476", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 44.4, + "to_s": 55.1, + "requests": 1426, + "errors": 0, + "rps_ok": 134.2, + "error_rate_pct": 0.0, + "p50_ms": 18.1, + "p95_ms": 71.7, + "p99_ms": 79.5, + "instances": { + "6a5a3da59476": 1404, + "73c5482d0d13": 22 + }, + "name": "replica 73c5482d0d13 stopped", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 55.1, + "to_s": 71.8, + "requests": 2930, + "errors": 0, + "rps_ok": 174.7, + "error_rate_pct": 0.0, + "p50_ms": 10.7, + "p95_ms": 54.8, + "p99_ms": 76.3, + "instances": { + "6a5a3da59476": 1675, + "73c5482d0d13": 1255 + }, + "name": "after restore of 73c5482d0d13", + "errors_after_action": 0, + "recovery_seconds": 0.0 + } + ], + "actions": [ + { + "action": "stop", + "target": "6a5a3da59476", + "exit_code": 0, + "hook_seconds": 0.64, + "at_s": 20.0 + }, + { + "action": "restore", + "exit_code": 0, + "restore_seconds": 3.79, + "at_s": 30.7 + }, + { + "action": "stop", + "target": "73c5482d0d13", + "exit_code": 0, + "hook_seconds": 0.63, + "at_s": 44.4 + }, + { + "action": "restore", + "exit_code": 0, + "restore_seconds": 6.77, + "at_s": 55.1 + } + ], + "events": [ + { + "t_s": 20.0, + "event": "STOP replica 6a5a3da59476" + }, + { + "t_s": 20.7, + "event": "stop-one.sh exit=0 in 0.6s" + }, + { + "t_s": 30.7, + "event": "RESTORE replicas" + }, + { + "t_s": 34.4, + "event": "restore-replicas.sh exit=0 in 3.8s: ['LB sees 2/2 api replicas UP']" + }, + { + "t_s": 44.4, + "event": "STOP replica 73c5482d0d13" + }, + { + "t_s": 45.1, + "event": "stop-one.sh exit=0 in 0.6s" + }, + { + "t_s": 55.1, + "event": "RESTORE replicas" + }, + { + "t_s": 61.8, + "event": "restore-replicas.sh exit=0 in 6.8s: ['LB sees 2/2 api replicas UP']" + } + ], + "data_check": { + "post_keys_used": 6757, + "post_confirmed": 6757, + "post_retries_with_same_key": 0, + "confirmed_missing_or_duplicated": 0, + "keys_with_duplicate_messages": 0, + "unconfirmed_but_written_once": 0, + "result": "PASS", + "problems": [] + } +} \ No newline at end of file diff --git a/evidence/level4/sequential-pause.csv b/evidence/level4/sequential-pause.csv new file mode 100644 index 00000000..c71ce02c --- /dev/null +++ b/evidence/level4/sequential-pause.csv @@ -0,0 +1,50 @@ +second,ok,errors +0,241,0 +1,289,0 +2,275,0 +3,279,0 +4,204,0 +5,267,0 +6,275,0 +7,273,0 +8,285,0 +9,224,0 +10,217,0 +11,276,0 +12,276,0 +13,275,0 +14,206,0 +15,196,0 +16,218,0 +17,292,0 +18,274,0 +19,273,0 +20,72,0 +25,8,3 +30,135,6 +31,268,0 +32,293,0 +33,291,0 +34,295,0 +35,273,0 +36,281,0 +37,295,0 +38,290,0 +39,289,0 +40,275,0 +41,294,0 +42,104,0 +47,8,5 +52,125,7 +53,267,0 +54,280,0 +55,280,0 +56,292,0 +57,272,0 +58,286,0 +59,291,0 +60,291,0 +61,270,0 +62,275,0 +63,293,0 +64,85,0 diff --git a/evidence/level4/sequential-pause.json b/evidence/level4/sequential-pause.json new file mode 100644 index 00000000..aa60b578 --- /dev/null +++ b/evidence/level4/sequential-pause.json @@ -0,0 +1,197 @@ +{ + "scenario": "sequential-stop", + "base_url": "http://localhost:8081", + "workers": 8, + "users_and_chats": 4, + "think_time_s": 0.02, + "replicas_before": [ + "13b0fc8945bc", + "65e3ad44afc9" + ], + "total_seconds": 64.3, + "overall": { + "from_s": 5, + "to_s": 64.3, + "requests": 10626, + "errors": 21, + "rps_ok": 178.8, + "error_rate_pct": 0.2, + "p50_ms": 8.3, + "p95_ms": 19.8, + "p99_ms": 52.9, + "instances": { + "13b0fc8945bc": 5312, + "65e3ad44afc9": 5293 + } + }, + "phases": [ + { + "from_s": 5.0, + "to_s": 20.0, + "requests": 3827, + "errors": 0, + "rps_ok": 255.1, + "error_rate_pct": 0.0, + "p50_ms": 8.6, + "p95_ms": 44.9, + "p99_ms": 59.5, + "instances": { + "65e3ad44afc9": 1914, + "13b0fc8945bc": 1913 + }, + "name": "baseline" + }, + { + "from_s": 20.0, + "to_s": 30.3, + "requests": 82, + "errors": 3, + "rps_ok": 7.7, + "error_rate_pct": 3.66, + "p50_ms": 9.1, + "p95_ms": 15.9, + "p99_ms": 5011.2, + "instances": { + "65e3ad44afc9": 47, + "13b0fc8945bc": 32 + }, + "name": "replica 13b0fc8945bc stopped", + "errors_after_action": 21, + "errors_in_first_cluster": 3, + "first_error_after_s": 5.23, + "recovery_seconds": 5.26 + }, + { + "from_s": 30.3, + "to_s": 42.2, + "requests": 3327, + "errors": 6, + "rps_ok": 279.1, + "error_rate_pct": 0.18, + "p50_ms": 8.0, + "p95_ms": 14.4, + "p99_ms": 45.2, + "instances": { + "65e3ad44afc9": 1780, + "13b0fc8945bc": 1541 + }, + "name": "after restore of 13b0fc8945bc", + "errors_after_action": 18, + "errors_in_first_cluster": 6, + "first_error_after_s": 0.0, + "recovery_seconds": 0.15 + }, + { + "from_s": 42.2, + "to_s": 52.4, + "requests": 75, + "errors": 5, + "rps_ok": 6.9, + "error_rate_pct": 6.67, + "p50_ms": 7.9, + "p95_ms": 12.9, + "p99_ms": 5009.7, + "instances": { + "65e3ad44afc9": 27, + "13b0fc8945bc": 43 + }, + "name": "replica 65e3ad44afc9 stopped", + "errors_after_action": 12, + "errors_in_first_cluster": 5, + "first_error_after_s": 5.2, + "recovery_seconds": 5.3 + }, + { + "from_s": 52.4, + "to_s": 64.3, + "requests": 3313, + "errors": 7, + "rps_ok": 277.4, + "error_rate_pct": 0.21, + "p50_ms": 8.2, + "p95_ms": 15.0, + "p99_ms": 33.4, + "instances": { + "13b0fc8945bc": 1782, + "65e3ad44afc9": 1524 + }, + "name": "after restore of 65e3ad44afc9", + "errors_after_action": 7, + "errors_in_first_cluster": 7, + "first_error_after_s": 0.03, + "recovery_seconds": 0.15 + } + ], + "actions": [ + { + "action": "stop", + "target": "13b0fc8945bc", + "exit_code": 0, + "hook_seconds": 0.24, + "at_s": 20.0 + }, + { + "action": "restore", + "exit_code": 0, + "restore_seconds": 1.9, + "at_s": 30.3 + }, + { + "action": "stop", + "target": "65e3ad44afc9", + "exit_code": 0, + "hook_seconds": 0.21, + "at_s": 42.2 + }, + { + "action": "restore", + "exit_code": 0, + "restore_seconds": 1.92, + "at_s": 52.4 + } + ], + "events": [ + { + "t_s": 20.0, + "event": "STOP replica 13b0fc8945bc" + }, + { + "t_s": 20.3, + "event": "stop-one.sh exit=0 in 0.2s" + }, + { + "t_s": 30.3, + "event": "RESTORE replicas" + }, + { + "t_s": 32.2, + "event": "restore-replicas.sh exit=0 in 1.9s: ['LB sees 2/2 api replicas UP']" + }, + { + "t_s": 42.2, + "event": "STOP replica 65e3ad44afc9" + }, + { + "t_s": 42.4, + "event": "stop-one.sh exit=0 in 0.2s" + }, + { + "t_s": 52.4, + "event": "RESTORE replicas" + }, + { + "t_s": 54.3, + "event": "restore-replicas.sh exit=0 in 1.9s: ['LB sees 2/2 api replicas UP']" + } + ], + "data_check": { + "post_keys_used": 5948, + "post_confirmed": 5948, + "post_retries_with_same_key": 16, + "confirmed_missing_or_duplicated": 0, + "keys_with_duplicate_messages": 0, + "unconfirmed_but_written_once": 0, + "result": "PASS", + "problems": [] + } +} \ No newline at end of file diff --git a/evidence/level4/sequential-stop.csv b/evidence/level4/sequential-stop.csv new file mode 100644 index 00000000..9d1bbdb0 --- /dev/null +++ b/evidence/level4/sequential-stop.csv @@ -0,0 +1,75 @@ +second,ok,errors +0,271,0 +1,289,0 +2,196,0 +3,214,0 +4,260,0 +5,241,0 +6,196,0 +7,196,0 +8,285,0 +9,262,0 +10,254,0 +11,263,0 +12,273,0 +13,286,0 +14,280,0 +15,221,0 +16,275,0 +17,246,0 +18,239,0 +19,298,0 +20,242,0 +21,200,0 +22,262,0 +23,271,0 +24,267,0 +25,235,0 +26,239,0 +27,247,0 +28,261,0 +29,266,0 +30,257,0 +31,263,0 +32,259,0 +33,254,0 +34,186,0 +36,16,0 +37,237,0 +38,274,0 +39,266,0 +40,232,0 +41,233,0 +42,253,0 +43,265,0 +44,272,0 +45,250,0 +46,235,0 +47,239,0 +48,267,0 +49,182,0 +50,152,0 +51,172,0 +52,171,0 +53,160,0 +54,164,0 +55,162,0 +56,167,0 +57,135,0 +58,157,0 +59,163,0 +60,183,0 +61,118,0 +64,80,0 +65,182,0 +66,221,0 +67,215,0 +68,249,0 +69,226,0 +70,248,0 +71,242,0 +72,259,0 +73,254,0 +74,185,0 +75,254,0 +76,63,0 diff --git a/evidence/level4/sequential-stop.json b/evidence/level4/sequential-stop.json new file mode 100644 index 00000000..ec9568d0 --- /dev/null +++ b/evidence/level4/sequential-stop.json @@ -0,0 +1,189 @@ +{ + "scenario": "sequential-stop", + "base_url": "http://localhost:8081", + "workers": 8, + "users_and_chats": 4, + "think_time_s": 0.02, + "replicas_before": [ + "6a5a3da59476", + "73c5482d0d13" + ], + "total_seconds": 76.3, + "overall": { + "from_s": 5, + "to_s": 76.3, + "requests": 15327, + "errors": 0, + "rps_ok": 215.0, + "error_rate_pct": 0.0, + "p50_ms": 9.9, + "p95_ms": 48.3, + "p99_ms": 71.5, + "instances": { + "6a5a3da59476": 7181, + "73c5482d0d13": 8146 + } + }, + "phases": [ + { + "from_s": 5.0, + "to_s": 20.0, + "requests": 3815, + "errors": 0, + "rps_ok": 254.3, + "error_rate_pct": 0.0, + "p50_ms": 8.8, + "p95_ms": 42.7, + "p99_ms": 57.6, + "instances": { + "73c5482d0d13": 1907, + "6a5a3da59476": 1908 + }, + "name": "baseline" + }, + { + "from_s": 20.0, + "to_s": 33.8, + "requests": 3483, + "errors": 0, + "rps_ok": 252.6, + "error_rate_pct": 0.0, + "p50_ms": 8.9, + "p95_ms": 28.2, + "p99_ms": 51.3, + "instances": { + "6a5a3da59476": 200, + "73c5482d0d13": 3283 + }, + "name": "replica 6a5a3da59476 stopped", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 33.8, + "to_s": 47.1, + "requests": 2764, + "errors": 0, + "rps_ok": 208.1, + "error_rate_pct": 0.0, + "p50_ms": 8.9, + "p95_ms": 36.0, + "p99_ms": 69.4, + "instances": { + "73c5482d0d13": 1493, + "6a5a3da59476": 1271 + }, + "name": "after restore of 6a5a3da59476", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 47.1, + "to_s": 60.7, + "requests": 2429, + "errors": 0, + "rps_ok": 177.8, + "error_rate_pct": 0.0, + "p50_ms": 16.2, + "p95_ms": 66.4, + "p99_ms": 76.1, + "instances": { + "73c5482d0d13": 246, + "6a5a3da59476": 2183 + }, + "name": "replica 73c5482d0d13 stopped", + "errors_after_action": 0, + "recovery_seconds": 0.0 + }, + { + "from_s": 60.7, + "to_s": 76.3, + "requests": 2833, + "errors": 0, + "rps_ok": 182.5, + "error_rate_pct": 0.0, + "p50_ms": 11.8, + "p95_ms": 49.2, + "p99_ms": 78.1, + "instances": { + "6a5a3da59476": 1618, + "73c5482d0d13": 1215 + }, + "name": "after restore of 73c5482d0d13", + "errors_after_action": 0, + "recovery_seconds": 0.0 + } + ], + "actions": [ + { + "action": "stop", + "target": "6a5a3da59476", + "exit_code": 0, + "hook_seconds": 3.79, + "at_s": 20.0 + }, + { + "action": "restore", + "exit_code": 0, + "restore_seconds": 3.28, + "at_s": 33.8 + }, + { + "action": "stop", + "target": "73c5482d0d13", + "exit_code": 0, + "hook_seconds": 3.66, + "at_s": 47.1 + }, + { + "action": "restore", + "exit_code": 0, + "restore_seconds": 5.52, + "at_s": 60.7 + } + ], + "events": [ + { + "t_s": 20.0, + "event": "STOP replica 6a5a3da59476" + }, + { + "t_s": 23.8, + "event": "stop-one.sh exit=0 in 3.8s" + }, + { + "t_s": 33.8, + "event": "RESTORE replicas" + }, + { + "t_s": 37.1, + "event": "restore-replicas.sh exit=0 in 3.3s: ['LB sees 2/2 api replicas UP']" + }, + { + "t_s": 47.1, + "event": "STOP replica 73c5482d0d13" + }, + { + "t_s": 50.7, + "event": "stop-one.sh exit=0 in 3.7s" + }, + { + "t_s": 60.7, + "event": "RESTORE replicas" + }, + { + "t_s": 66.3, + "event": "restore-replicas.sh exit=0 in 5.5s: ['LB sees 2/2 api replicas UP']" + } + ], + "data_check": { + "post_keys_used": 8277, + "post_confirmed": 8277, + "post_retries_with_same_key": 0, + "confirmed_missing_or_duplicated": 0, + "keys_with_duplicate_messages": 0, + "unconfirmed_but_written_once": 0, + "result": "PASS", + "problems": [] + } +} \ No newline at end of file diff --git a/evidence/track1/diag.jsonl b/evidence/track1/diag.jsonl new file mode 100644 index 00000000..911ca82e --- /dev/null +++ b/evidence/track1/diag.jsonl @@ -0,0 +1,9 @@ +{"label":"D-diag-4x0.5-256m","timestamp":"2026-11-06T16:03:56.0006028\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.27,"ok":6239,"errors":0,"ok_get":4984,"ok_post":1255,"rps":307.7,"p50_ms":108.12,"p95_ms":711.22,"p99_ms":1034.71,"cpu_pct":{"api":200.8,"lb":15.5,"db":66.9,"cache":4.7}} +{"label":"D-diag-4x0.5-1024m","timestamp":"2026-11-06T16:06:22.2841093\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.26,"ok":6968,"errors":0,"ok_get":5600,"ok_post":1368,"rps":344,"p50_ms":110.25,"p95_ms":511.02,"p99_ms":711.37,"cpu_pct":{"api":204,"lb":17.5,"db":78.9,"cache":4.4}} +{"label":"D-diag-1x2.0-1024m","timestamp":"2026-11-06T16:07:31.6312009\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.04,"ok":15886,"errors":0,"ok_get":12701,"ok_post":3185,"rps":792.8,"p50_ms":80.73,"p95_ms":120.47,"p99_ms":161.79,"cpu_pct":{"api":200.9,"lb":28.4,"db":130.4,"cache":4.4}} +{"label":"D-diag2-4x0.5","timestamp":"2026-11-06T16:10:15.3681126\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.16,"ok":7033,"errors":0,"ok_get":5633,"ok_post":1400,"rps":348.8,"p50_ms":106.54,"p95_ms":511.74,"p99_ms":1019.47,"cpu_pct":{"api":199.2,"lb":17.3,"db":73.8,"cache":4.8}} +{"label":"D-diag2-1x2.0","timestamp":"2026-11-06T16:11:25.0375500\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.06,"ok":15610,"errors":0,"ok_get":12504,"ok_post":3106,"rps":778.1,"p50_ms":81.59,"p95_ms":123.69,"p99_ms":176.95,"cpu_pct":{"api":201.8,"lb":28.3,"db":129.9,"cache":4.1}} +{"label":"E-cpuset01-1x","timestamp":"2026-11-06T16:15:00.1444600\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.04,"ok":18580,"errors":0,"ok_get":14824,"ok_post":3756,"rps":927.1,"p50_ms":66.51,"p95_ms":104.05,"p99_ms":124.71,"cpu_pct":{"api":199.6,"lb":30.9,"db":133,"cache":4.4}} +{"label":"E-cpuset01-4x","timestamp":"2026-11-06T16:16:15.6164819\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.07,"ok":11329,"errors":0,"ok_get":9101,"ok_post":2228,"rps":564.5,"p50_ms":84.85,"p95_ms":312.72,"p99_ms":431.02,"cpu_pct":{"api":202.9,"lb":24.1,"db":89.9,"cache":5.9}} +{"label":"E-cpuset01-1x","timestamp":"2026-11-06T16:17:14.8661071\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.03,"ok":18634,"errors":0,"ok_get":14947,"ok_post":3687,"rps":930.2,"p50_ms":65.97,"p95_ms":105.52,"p99_ms":129.84,"cpu_pct":{"api":201.2,"lb":31.1,"db":131.1,"cache":3.9}} +{"label":"E-cpuset01-4x","timestamp":"2026-11-06T16:18:34.6884111\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.05,"ok":11672,"errors":0,"ok_get":9217,"ok_post":2455,"rps":582.1,"p50_ms":85.12,"p95_ms":294.25,"p99_ms":440.59,"cpu_pct":{"api":215,"lb":26.6,"db":99,"cache":6.3}} diff --git a/evidence/track1/fig-a-fixed-budget.png b/evidence/track1/fig-a-fixed-budget.png new file mode 100644 index 00000000..265609cb Binary files /dev/null and b/evidence/track1/fig-a-fixed-budget.png differ diff --git a/evidence/track1/fig-b-scale-out.png b/evidence/track1/fig-b-scale-out.png new file mode 100644 index 00000000..39aaba04 Binary files /dev/null and b/evidence/track1/fig-b-scale-out.png differ diff --git a/evidence/track1/fig-c-bottleneck.png b/evidence/track1/fig-c-bottleneck.png new file mode 100644 index 00000000..772df488 Binary files /dev/null and b/evidence/track1/fig-c-bottleneck.png differ diff --git a/evidence/track1/results.jsonl b/evidence/track1/results.jsonl new file mode 100644 index 00000000..342e1156 --- /dev/null +++ b/evidence/track1/results.jsonl @@ -0,0 +1,33 @@ +{"label":"A-r1-4x0.5","timestamp":"2026-11-06T15:48:13.9897112\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.22,"ok":6190,"errors":0,"ok_get":4937,"ok_post":1253,"rps":306.1,"p50_ms":104.39,"p95_ms":716.41,"p99_ms":928.2,"cpu_pct":{"api":200.7,"lb":15,"db":66.8,"cache":4.4}} +{"label":"A-r1-1x2.0","timestamp":"2026-11-06T15:49:22.1092142\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.05,"ok":14992,"errors":0,"ok_get":11926,"ok_post":3066,"rps":747.8,"p50_ms":83.69,"p95_ms":139.83,"p99_ms":178.93,"cpu_pct":{"api":203.1,"lb":28.6,"db":132.4,"cache":4.8}} +{"label":"A-r1-2x1.0","timestamp":"2026-11-06T15:51:01.6047574\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.1,"ok":9812,"errors":0,"ok_get":7860,"ok_post":1952,"rps":488.1,"p50_ms":107,"p95_ms":318.48,"p99_ms":409.85,"cpu_pct":{"api":195.2,"lb":20.7,"db":92.8,"cache":4.6}} +{"label":"A-r2-4x0.5","timestamp":"2026-11-06T15:53:22.0589884\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.19,"ok":6612,"errors":0,"ok_get":5275,"ok_post":1337,"rps":327.5,"p50_ms":181.12,"p95_ms":513.29,"p99_ms":735.71,"cpu_pct":{"api":198.9,"lb":15.8,"db":69.4,"cache":4.4}} +{"label":"A-r2-1x2.0","timestamp":"2026-11-06T15:54:31.3678292\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.07,"ok":13912,"errors":0,"ok_get":11133,"ok_post":2779,"rps":693.1,"p50_ms":91.88,"p95_ms":166.48,"p99_ms":200.24,"cpu_pct":{"api":203.6,"lb":27.6,"db":127.3,"cache":4.6}} +{"label":"A-r2-2x1.0","timestamp":"2026-11-06T15:56:10.3256987\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.2,"ok":7629,"errors":0,"ok_get":6093,"ok_post":1536,"rps":377.8,"p50_ms":125.07,"p95_ms":410.94,"p99_ms":549.93,"cpu_pct":{"api":203.3,"lb":17.1,"db":81.6,"cache":4}} +{"label":"A-r3-4x0.5","timestamp":"2026-11-06T15:58:31.4805703\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.26,"ok":6603,"errors":0,"ok_get":5277,"ok_post":1326,"rps":326,"p50_ms":111.63,"p95_ms":596.34,"p99_ms":816.62,"cpu_pct":{"api":201.6,"lb":17.4,"db":76.8,"cache":4.4}} +{"label":"A-r3-2x1.0","timestamp":"2026-11-06T16:00:05.0176800\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.08,"ok":8705,"errors":0,"ok_get":6950,"ok_post":1755,"rps":433.6,"p50_ms":117.83,"p95_ms":387.88,"p99_ms":480.26,"cpu_pct":{"api":198.2,"lb":18.3,"db":81.4,"cache":4}} +{"label":"A-r3-1x2.0","timestamp":"2026-11-06T16:01:12.3742906\u002B00:00","clients":64,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.06,"ok":14030,"errors":0,"ok_get":11159,"ok_post":2871,"rps":699.5,"p50_ms":92.84,"p95_ms":163.52,"p99_ms":192.3,"cpu_pct":{"api":205.3,"lb":27.6,"db":133.4,"cache":4.5}} +{"label":"B-r1-4x1.0-db2","timestamp":"2026-11-06T16:20:50.2721570\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.14,"ok":12264,"errors":0,"ok_get":9826,"ok_post":2438,"rps":609,"p50_ms":99.71,"p95_ms":756.34,"p99_ms":1029.28,"cpu_pct":{"lb":36.4,"api":408.9,"db":153.5,"cache":9.5}} +{"label":"B-r1-2x1.0-db2","timestamp":"2026-11-06T16:21:55.0929565\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.13,"ok":11706,"errors":0,"ok_get":9353,"ok_post":2353,"rps":581.4,"p50_ms":208.66,"p95_ms":504.34,"p99_ms":609.43,"cpu_pct":{"lb":26.4,"api":203.8,"db":112.6,"cache":5.2}} +{"label":"B-r1-8x1.0-db2","timestamp":"2026-11-06T16:23:26.7718923\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.15,"ok":15944,"errors":0,"ok_get":12755,"ok_post":3189,"rps":791.3,"p50_ms":108.1,"p95_ms":482.66,"p99_ms":692.6,"cpu_pct":{"api":681,"lb":55.9,"db":211.5,"cache":14.5}} +{"label":"B-r1-1x1.0-db2","timestamp":"2026-11-06T16:24:52.6949390\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.14,"ok":7990,"errors":0,"ok_get":6400,"ok_post":1590,"rps":396.8,"p50_ms":321.11,"p95_ms":480.87,"p99_ms":570.37,"cpu_pct":{"lb":15.6,"api":100.2,"db":63.4,"cache":2.9}} +{"label":"B-r2-2x1.0-db2","timestamp":"2026-11-06T16:26:05.6541691\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.11,"ok":9367,"errors":0,"ok_get":7539,"ok_post":1828,"rps":465.9,"p50_ms":204.97,"p95_ms":780.67,"p99_ms":941.37,"cpu_pct":{"api":197.5,"lb":20.5,"db":81.9,"cache":4.5}} +{"label":"B-r2-1x1.0-db2","timestamp":"2026-11-06T16:27:28.9493157\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.33,"ok":6631,"errors":0,"ok_get":5296,"ok_post":1335,"rps":326.2,"p50_ms":408.08,"p95_ms":518.55,"p99_ms":607.08,"cpu_pct":{"lb":14.2,"api":103,"db":65.2,"cache":2.4}} +{"label":"B-r2-4x1.0-db2","timestamp":"2026-11-06T16:28:52.6844941\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.14,"ok":13758,"errors":0,"ok_get":10973,"ok_post":2785,"rps":683.3,"p50_ms":99.76,"p95_ms":619.03,"p99_ms":860.89,"cpu_pct":{"api":405.4,"lb":37.2,"db":159.5,"cache":8.9}} +{"label":"B-r2-8x1.0-db2","timestamp":"2026-11-06T16:30:08.2896985\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.1,"ok":16117,"errors":0,"ok_get":12900,"ok_post":3217,"rps":801.8,"p50_ms":83.5,"p95_ms":582.93,"p99_ms":869.16,"cpu_pct":{"api":698.8,"lb":55.5,"db":211.1,"cache":15.6}} +{"label":"B-r3-4x1.0-db2","timestamp":"2026-11-06T16:31:08.6339895\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.15,"ok":17792,"errors":0,"ok_get":14274,"ok_post":3518,"rps":882.8,"p50_ms":101.48,"p95_ms":398.55,"p99_ms":533.4,"cpu_pct":{"api":414,"lb":46.4,"db":202.9,"cache":11.5}} +{"label":"B-r3-1x1.0-db2","timestamp":"2026-11-06T16:32:22.3096975\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.17,"ok":8228,"errors":0,"ok_get":6573,"ok_post":1655,"rps":408,"p50_ms":302.54,"p95_ms":498.28,"p99_ms":609.43,"cpu_pct":{"lb":14.8,"api":100.8,"db":63.1,"cache":2.8}} +{"label":"B-r3-8x1.0-db2","timestamp":"2026-11-06T16:33:46.8007092\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.17,"ok":15974,"errors":0,"ok_get":12745,"ok_post":3229,"rps":792,"p50_ms":104.38,"p95_ms":509.25,"p99_ms":782.15,"cpu_pct":{"api":710.9,"lb":50.4,"db":207.3,"cache":13.7}} +{"label":"B-r3-2x1.0-db2","timestamp":"2026-11-06T16:34:54.6411416\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.1,"ok":12535,"errors":0,"ok_get":10000,"ok_post":2535,"rps":623.7,"p50_ms":188.95,"p95_ms":480.09,"p99_ms":610.62,"cpu_pct":{"api":201.8,"lb":28.7,"db":113,"cache":5.6}} +{"label":"C-r1-db4cpu","timestamp":"2026-11-06T16:37:03.0321098\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.16,"ok":20105,"errors":0,"ok_get":15993,"ok_post":4112,"rps":997.4,"p50_ms":71.2,"p95_ms":432.28,"p99_ms":706.84,"cpu_pct":{"api":743.1,"db":245.9,"lb":58.2,"cache":16}} +{"label":"C-r1-base","timestamp":"2026-11-06T16:38:05.4895102\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.16,"ok":16468,"errors":0,"ok_get":13143,"ok_post":3325,"rps":817,"p50_ms":101.4,"p95_ms":490.52,"p99_ms":726.87,"cpu_pct":{"db":213.6,"api":564.4,"lb":53.5,"cache":14}} +{"label":"C-r1-pool4","timestamp":"2026-11-06T16:39:46.7558272\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.12,"ok":16218,"errors":0,"ok_get":12986,"ok_post":3232,"rps":806.1,"p50_ms":83.41,"p95_ms":565.51,"p99_ms":843.6,"cpu_pct":{"api":726.8,"db":192.2,"lb":48.7,"cache":15.7}} +{"label":"C-r1-pool8","timestamp":"2026-11-06T16:41:25.3990791\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.21,"ok":16823,"errors":0,"ok_get":13441,"ok_post":3382,"rps":832.4,"p50_ms":103.38,"p95_ms":455.83,"p99_ms":684.87,"cpu_pct":{"api":720.2,"db":206.3,"lb":53,"cache":15}} +{"label":"C-r2-pool8","timestamp":"2026-11-06T16:42:22.5967168\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.11,"ok":17294,"errors":0,"ok_get":13841,"ok_post":3453,"rps":860.1,"p50_ms":107.65,"p95_ms":400.3,"p99_ms":624.14,"cpu_pct":{"api":640.9,"db":210.8,"lb":50.5,"cache":14.7}} +{"label":"C-r2-base","timestamp":"2026-11-06T16:44:01.5852594\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.15,"ok":16361,"errors":0,"ok_get":13100,"ok_post":3261,"rps":811.9,"p50_ms":106.11,"p95_ms":469.9,"p99_ms":691.81,"cpu_pct":{"api":699.6,"db":211.9,"lb":52.9,"cache":13.7}} +{"label":"C-r2-pool4","timestamp":"2026-11-06T16:45:44.1402446\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.23,"ok":16472,"errors":0,"ok_get":13124,"ok_post":3348,"rps":814.2,"p50_ms":99.17,"p95_ms":478.53,"p99_ms":684.43,"cpu_pct":{"api":748.8,"db":206.4,"lb":50.6,"cache":16.3}} +{"label":"C-r2-db4cpu","timestamp":"2026-11-06T16:47:33.2011395\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.19,"ok":21294,"errors":0,"ok_get":17024,"ok_post":4270,"rps":1054.4,"p50_ms":87.52,"p95_ms":334.61,"p99_ms":477.46,"cpu_pct":{"api":753.4,"db":262.8,"lb":63.9,"cache":15.2}} +{"label":"C-r3-pool8","timestamp":"2026-11-06T16:49:21.2263819\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.16,"ok":16905,"errors":0,"ok_get":13603,"ok_post":3302,"rps":838.5,"p50_ms":105.29,"p95_ms":430.51,"p99_ms":626.2,"cpu_pct":{"api":701.5,"db":210.7,"lb":53.3,"cache":15}} +{"label":"C-r3-db4cpu","timestamp":"2026-11-06T16:51:03.6195872\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.26,"ok":19508,"errors":0,"ok_get":15537,"ok_post":3971,"rps":962.9,"p50_ms":82.5,"p95_ms":409.2,"p99_ms":622.44,"cpu_pct":{"api":756.5,"db":244.7,"lb":58.1,"cache":14.7}} +{"label":"C-r3-base","timestamp":"2026-11-06T16:52:07.4058164\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.13,"ok":16501,"errors":0,"ok_get":13128,"ok_post":3373,"rps":819.7,"p50_ms":99.7,"p95_ms":505.98,"p99_ms":736.14,"cpu_pct":{"db":210.5,"api":610.9,"lb":53.2,"cache":14.7}} +{"label":"C-r3-pool4","timestamp":"2026-11-06T16:53:47.9345113\u002B00:00","clients":128,"users":32,"history":200,"write_ratio":0.2,"duration_s":20.28,"ok":15371,"errors":0,"ok_get":12334,"ok_post":3037,"rps":757.8,"p50_ms":97.36,"p95_ms":530.03,"p99_ms":870.31,"cpu_pct":{"api":736,"db":200.7,"lb":51.6,"cache":15.5}} diff --git a/evidence/track1/summary.md b/evidence/track1/summary.md new file mode 100644 index 00000000..165e8159 --- /dev/null +++ b/evidence/track1/summary.md @@ -0,0 +1,53 @@ +# Трек 1: сводка измерений + +Сгенерировано `tools/ScaleLoad/summarize.py` из `results.jsonl` (повторы в случайном порядке; среднее по повторам). + +### A. Фиксированный бюджет API: 2 CPU / 1 GiB суммарно (БД 4 CPU, LB 2 CPU, 64 клиента) + +| Конфигурация | повторов | RPS (среднее) | RPS мин–макс | p50, мс | p95, мс | p99, мс | ошибки | CPU API, % | CPU БД, % | CPU API мс/запрос | CPU БД мс/запрос | +|---|---|---|---|---|---|---|---|---|---|---|---| +| 1 × 2.0 CPU | 3 | 713 | 693–748 | 89 | 157 | 190 | 0 | 204 | 131 | 2.86 | 1.84 | +| 2 × 1.0 CPU | 3 | 433 | 378–488 | 117 | 372 | 480 | 0 | 199 | 85 | 4.59 | 1.97 | +| 4 × 0.5 CPU | 3 | 320 | 306–328 | 132 | 609 | 827 | 0 | 200 | 71 | 6.27 | 2.22 | + +### B. Рост ресурсов: реплики по 1 CPU / 512 MiB, БД 2 CPU, LB 1 CPU, 128 клиентов + +| Конфигурация | повторов | RPS (среднее) | RPS мин–макс | p50, мс | p95, мс | p99, мс | ошибки | CPU API, % | CPU БД, % | CPU API мс/запрос | CPU БД мс/запрос | +|---|---|---|---|---|---|---|---|---|---|---|---| +| 1 × 1.0 CPU | 3 | 377 | 326–408 | 344 | 499 | 596 | 0 | 101 | 64 | 2.69 | 1.69 | +| 2 × 1.0 CPU | 3 | 557 | 466–624 | 201 | 588 | 720 | 0 | 201 | 102 | 3.61 | 1.84 | +| 4 × 1.0 CPU | 3 | 725 | 609–883 | 100 | 591 | 808 | 0 | 409 | 172 | 5.65 | 2.37 | +| 8 × 1.0 CPU | 3 | 795 | 791–802 | 99 | 525 | 781 | 0 | 697 | 210 | 8.77 | 2.64 | + +### C. Проверка узкого места: 8 × 1 CPU, 128 клиентов + +| Конфигурация | повторов | RPS (среднее) | RPS мин–макс | p50, мс | p95, мс | p99, мс | ошибки | CPU API, % | CPU БД, % | CPU API мс/запрос | CPU БД мс/запрос | +|---|---|---|---|---|---|---|---|---|---|---|---| +| 8 реплик, пул 20, БД 2 CPU (контроль) | 3 | 816 | 812–820 | 102 | 489 | 718 | 0 | 625 | 212 | 7.66 | 2.60 | +| 8 реплик, пул 4, БД 2 CPU | 3 | 793 | 758–814 | 93 | 525 | 799 | 0 | 737 | 200 | 9.30 | 2.52 | +| 8 реплик, пул 8, БД 2 CPU | 3 | 844 | 832–860 | 105 | 429 | 645 | 0 | 688 | 209 | 8.15 | 2.48 | +| 8 реплик, пул 20, БД 4 CPU | 3 | 1005 | 963–1054 | 80 | 392 | 602 | 0 | 751 | 251 | 7.47 | 2.50 | + +### E. Диагностика: API закреплён за ядрами 0–1 (cpuset, без квоты CFS), 64 клиента + +| Конфигурация | повторов | RPS (среднее) | RPS мин–макс | p50, мс | p95, мс | p99, мс | ошибки | CPU API, % | CPU БД, % | CPU API мс/запрос | CPU БД мс/запрос | +|---|---|---|---|---|---|---|---|---|---|---|---| +| E-cpuset01-1x | 2 | 929 | 927–930 | 66 | 105 | 127 | 0 | 200 | 132 | 2.16 | 1.42 | +| E-cpuset01-4x | 2 | 573 | 564–582 | 85 | 303 | 436 | 0 | 209 | 94 | 3.64 | 1.65 | + +### Соединения с PostgreSQL после замера (эксперимент C) + +``` +C-r1-db4cpu db_connections_after_run=161 +C-r1-base db_connections_after_run=161 +C-r1-pool4 db_connections_after_run=33 +C-r1-pool8 db_connections_after_run=65 +C-r2-pool8 db_connections_after_run=65 +C-r2-base db_connections_after_run=161 +C-r2-pool4 db_connections_after_run=33 +C-r2-db4cpu db_connections_after_run=161 +C-r3-pool8 db_connections_after_run=65 +C-r3-db4cpu db_connections_after_run=161 +C-r3-base db_connections_after_run=161 +C-r3-pool4 db_connections_after_run=33 +``` diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 00000000..353330b8 --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,63 @@ +# Единая публичная точка входа лабораторной 3: HAProxy распределяет запросы между API-репликами. +# +# Как LB узнаёт адреса реплик: `server-template` создаёт до 8 «слотов», а встроенный DNS-резолвер раз в секунду +# спрашивает у Docker (127.0.0.11) все A-записи имени `api`. Реплика добавилась/исчезла — слот получил/потерял адрес +# без перезапуска LB. Именно поэтому масштабирование (`--scale api=N`) и замена контейнеров не требуют правки конфига. +# +# Как LB исключает неработающий backend: активная проверка GET /health/ready каждую секунду; +# 2 неудачи подряд (fall 2) → слот DOWN, 2 успеха (rise 2) → снова UP. Расчёт времени обнаружения — в REPORT.md. +# Sticky-сессий нет: любой запрос может попасть на любую реплику, состояние (сессии, ключи идемпотентности) в PostgreSQL. + +global + log stdout format raw local0 info + maxconn 4096 + +resolvers docker + nameserver dns1 127.0.0.11:53 + accepted_payload_size 8192 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 2s + hold other 1s + hold refused 1s + hold nx 1s + hold timeout 1s + hold obsolete 1s + +defaults + mode http + log global + option httplog + option dontlognull + timeout connect 2s + timeout client 20s + timeout server 20s + timeout http-request 10s + timeout http-keep-alive 5s + timeout check 2s + # Если выбранный backend не принял соединение или закрыл его, не ответив (реплика остановлена между проверками), + # запрос повторяется на другой реплике. Повтор POST безопасен: сообщение защищено Idempotency-Key. + retries 3 + option redispatch 1 + retry-on conn-failure empty-response + +frontend public + bind :8080 + default_backend api + +backend api + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api + http-check expect status 200 + default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none + server-template api 1-8 api:8080 + +# Служебный порт внутри сети Compose (наружу публикуется только на 127.0.0.1): состояние backend'ов и healthcheck самого LB. +frontend ops + bind :8404 + monitor-uri /healthz + stats enable + stats uri /stats + stats refresh 2s diff --git a/mtusi2026lab3-fork.sln b/mtusi2026lab3-fork.sln new file mode 100644 index 00000000..1ef9e1c6 --- /dev/null +++ b/mtusi2026lab3-fork.sln @@ -0,0 +1,36 @@ +Microsoft Visual Studio Solution File, Format Version 12.00 +# Visual Studio Version 17 +VisualStudioVersion = 17.5.2.0 +MinimumVisualStudioVersion = 10.0.40219.1 +Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "scr", "scr", "{027FA04E-56EC-7B26-372C-A48CC532505F}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api", "scr\Messenger.Api\Messenger.Api.csproj", "{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api.Tests", "scr\Messenger.Api.Tests\Messenger.Api.Tests.csproj", "{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}" +EndProject +Global + GlobalSection(SolutionConfigurationPlatforms) = preSolution + Debug|Any CPU = Debug|Any CPU + Release|Any CPU = Release|Any CPU + EndGlobalSection + GlobalSection(ProjectConfigurationPlatforms) = postSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.Build.0 = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.ActiveCfg = Release|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.Build.0 = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.Build.0 = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.ActiveCfg = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.Build.0 = Release|Any CPU + EndGlobalSection + GlobalSection(SolutionProperties) = preSolution + HideSolutionNode = FALSE + EndGlobalSection + GlobalSection(NestedProjects) = preSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431} = {027FA04E-56EC-7B26-372C-A48CC532505F} + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2} = {027FA04E-56EC-7B26-372C-A48CC532505F} + EndGlobalSection + GlobalSection(ExtensibilityGlobals) = postSolution + SolutionGuid = {41A93240-9911-4469-8EAB-F192C6DC6640} + EndGlobalSection +EndGlobal diff --git a/scr/Messenger.Api.Tests/ApiFixture.cs b/scr/Messenger.Api.Tests/ApiFixture.cs new file mode 100644 index 00000000..41e2a5e8 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiFixture.cs @@ -0,0 +1,101 @@ +using DotNet.Testcontainers.Builders; +using DotNet.Testcontainers.Containers; +using Microsoft.AspNetCore.Hosting; +using Microsoft.AspNetCore.Mvc.Testing; +using Npgsql; +using StackExchange.Redis; +using Testcontainers.PostgreSql; + +namespace Messenger.Api.Tests; + +// Один одноразовый контейнер PostgreSQL и один Valkey на весь тестовый прогон. Приложение поднимается в процессе теста +// и применяет миграции к пустой БД, как при настоящем старте. Нужен только запущенный Docker. +// Настройки передаются через UseSetting (а не переменные окружения), поэтому тест может поднять второй экземпляр +// приложения с другими настройками: fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")). +public sealed class ApiFixture : WebApplicationFactory, IAsyncLifetime +{ + public const string PostgresImage = "postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe"; + private const string ValkeyImage = "valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2"; + + private readonly PostgreSqlContainer _db = new PostgreSqlBuilder().WithImage(PostgresImage).Build(); + + private readonly IContainer _cache = new ContainerBuilder() + .WithImage(ValkeyImage) + .WithPortBinding(6379, true) + .WithWaitStrategy(Wait.ForUnixContainer().UntilMessageIsLogged("Ready to accept connections")) + .Build(); + + private string _connectionFile = string.Empty; + + public string ConnectionString => _db.GetConnectionString(); + public string CacheConnection => $"{_cache.Hostname}:{_cache.GetMappedPublicPort(6379)}"; + + public async Task InitializeAsync() + { + await Task.WhenAll(_db.StartAsync(), _cache.StartAsync()); + _connectionFile = WriteConnectionFile(_db.GetConnectionString()); + } + + async Task IAsyncLifetime.DisposeAsync() + { + await _db.DisposeAsync(); + await _cache.DisposeAsync(); + File.Delete(_connectionFile); + } + + protected override void ConfigureWebHost(IWebHostBuilder builder) + { + builder.UseSetting("DATABASE_URL_FILE", _connectionFile); + builder.UseSetting("CACHE_CONNECTION", CacheConnection); + builder.UseSetting("DIAGNOSTIC_HEADERS", "true"); + // В Compose схему применяет отдельный контейнер (--migrate); тестовый процесс мигрирует пустую БД сам. + builder.UseSetting("MIGRATE_ON_START", "true"); + builder.UseSetting("SHUTDOWN_DRAIN_SECONDS", "0"); + } + + public static string WriteConnectionFile(string connectionString) + { + var path = Path.Combine(Path.GetTempPath(), $"messenger-test-{Guid.NewGuid():N}.conn"); + File.WriteAllText(path, connectionString); + return path; + } + + // Прямой доступ к БД для проверок, которые нельзя выразить через API (например, состояние таблицы sessions). + public async Task OpenConnectionAsync() + { + var connection = new NpgsqlConnection(ConnectionString); + await connection.OpenAsync(); + return connection; + } + + public async Task ScalarAsync(string sql, params (string Name, object Value)[] parameters) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + foreach (var (name, value) in parameters) + { + command.Parameters.AddWithValue(name, value); + } + + var result = await command.ExecuteScalarAsync(); + return result is null or DBNull ? default : (T)result; + } + + public async Task ExecuteAsync(string sql) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + await command.ExecuteNonQueryAsync(); + } + + // Полная очистка содержимого кэша (эквивалент FLUSHALL / перезапуска Valkey без persistence). + public async Task FlushCacheAsync() + { + using var connection = await ConnectionMultiplexer.ConnectAsync( + new ConfigurationOptions { EndPoints = { CacheConnection }, AllowAdmin = true }); + await connection.GetServer(connection.GetEndPoints()[0]).FlushAllDatabasesAsync(); + } +} + +[CollectionDefinition("api")] +public sealed class ApiCollection : ICollectionFixture; diff --git a/scr/Messenger.Api.Tests/ApiHelpers.cs b/scr/Messenger.Api.Tests/ApiHelpers.cs new file mode 100644 index 00000000..2b73a4e7 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiHelpers.cs @@ -0,0 +1,104 @@ +using System.Net; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +namespace Messenger.Api.Tests; + +internal sealed record TestUser(Guid Id, string Username, string Password, string Token); + +internal static class ApiHelpers +{ + public const string DefaultPassword = "correct horse battery staple"; + + public static StringContent Json(string raw) => + new(raw, Encoding.UTF8, "application/json"); + + // user != null — запрос с Bearer-токеном этого пользователя. + public static HttpRequestMessage Request(HttpMethod method, string url, TestUser? user = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (user is not null) + { + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", user.Token); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task ErrorCodeAsync(HttpResponseMessage response) + { + var json = await ReadJsonAsync(response); + return json.GetProperty("error").GetProperty("code").GetString()!; + } + + public static string BasicHeader(string username, string password) => + "Basic " + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}")); + + public static async Task LoginAsync(HttpClient client, string username, string password) + { + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(username, password)); + return await client.SendAsync(request); + } + + // Регистрирует пользователя и входит: возвращает его с рабочим Bearer-токеном. + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест", password = DefaultPassword }); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + + var login = await LoginAsync(client, username, DefaultPassword); + Assert.Equal(HttpStatusCode.Created, login.StatusCode); + var token = (await ReadJsonAsync(login)).GetProperty("token").GetString()!; + return new TestUser(id, username, DefaultPassword, token); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + // key == null — новый уникальный Idempotency-Key (каждое сообщение независимо); иначе повтор с заданным ключом. + public static async Task SendMessageAsync( + HttpClient client, TestUser sender, Guid chatId, string text, string? key = null) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender, + JsonContent.Create(new { text })); + request.Headers.Add("Idempotency-Key", key ?? Guid.NewGuid().ToString("N")); + return await client.SendAsync(request); + } + + public static async Task> ReadAllMessagesAsync(HttpClient client, Guid chatId, TestUser user, int limit) + { + string? cursor = null; + var received = new List(); + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + return received; + } +} diff --git a/scr/Messenger.Api.Tests/ApiTests.cs b/scr/Messenger.Api.Tests/ApiTests.cs new file mode 100644 index 00000000..77c45a16 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiTests.cs @@ -0,0 +1,303 @@ +using System.Net; +using System.Text.Json; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ApiTests(ApiFixture fixture) +{ + private HttpClient NewClient() => fixture.CreateClient(); + + [Fact] + public async Task CreateUser_WithMalformedJson_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json("{bad")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + [Fact] + public async Task CreateUser_WithoutBody_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", null); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task CreateUser_WithDuplicateUsername_ReturnsConflict() + { + using var client = NewClient(); + var user = await CreateUserAsync(client); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{user.Username}}","display_name":"Другой","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Conflict, response.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(response)); + } + + [Theory] + [InlineData("short")] + [InlineData("12345678901")] // 11 символов + public async Task CreateUser_WithShortPassword_ReturnsBadRequest(string password) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"short_pw_probe","display_name":"A","password":"{{password}}"}""")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task CreateUser_Response_DoesNotExposePasswordOrHash() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"no_leak_probe","display_name":"A","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var body = await response.Content.ReadAsStringAsync(); + Assert.DoesNotContain("password", body, StringComparison.OrdinalIgnoreCase); + Assert.DoesNotContain("argon2", body, StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task GetChat_ByNonMember_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Get, $"/api/v1/chats/{chatId}", eve); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + Assert.Equal("not_found", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task ListChats_ShowsOnlyChatsOfCurrentUser() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var shared = await CreateChatAsync(client, alice, bob); + var other = await CreateChatAsync(client, eve); + + using var request = Request(HttpMethod.Get, "/api/v1/chats", bob); + var page = await ReadJsonAsync(await client.SendAsync(request)); + var ids = page.GetProperty("items").EnumerateArray().Select(c => c.GetProperty("id").GetGuid()).ToList(); + + Assert.Contains(shared, ids); + Assert.DoesNotContain(other, ids); + } + + [Fact] + public async Task CreateChat_WithUnknownMember_ReturnsBadRequestAndCreatesNothing() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"X","member_ids":["{{alice.Id}}","{{Guid.NewGuid()}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + using var list = Request(HttpMethod.Get, "/api/v1/chats", alice); + var page = await ReadJsonAsync(await client.SendAsync(list)); + Assert.Empty(page.GetProperty("items").EnumerateArray()); + } + + [Fact] + public async Task SendMessage_ToForeignChat_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + var response = await SendMessageAsync(client, eve, chatId, "чужое"); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + } + + [Theory] + [InlineData("")] + [InlineData(" ")] + public async Task SendMessage_WithEmptyText_ReturnsBadRequest(string text) + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + + var response = await SendMessageAsync(client, alice, chatId, text); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task SendMessage_SenderIsTakenFromSession_NotFromRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", alice, + Json($$"""{"text":"привет","sender_id":"{{bob.Id}}"}""")); + request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N")); + var withSender = await client.SendAsync(request); + var ok = await SendMessageAsync(client, alice, chatId, "привет"); + + Assert.Equal(HttpStatusCode.BadRequest, withSender.StatusCode); // sender_id в запросе не принимается + Assert.Equal(alice.Id, (await ReadJsonAsync(ok)).GetProperty("sender_id").GetGuid()); + } + + [Fact] + public async Task ListMessages_WalksAllPagesWithoutGapsOrDuplicates() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + const int total = 7; + var sent = new List(); + for (var i = 0; i < total; i++) + { + var response = await SendMessageAsync(client, i % 2 == 0 ? alice : bob, chatId, $"сообщение {i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var received = new List(); + string? cursor = null; + var pages = 0; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=3" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, alice); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + pages++; + } + while (cursor is not null && pages < 10); + + Assert.Equal(3, pages); + Assert.Equal(total, received.Count); + // Один автор в одном чате: порядок истории совпадает с порядком отправки. + Assert.Equal(sent, received); + } + + [Fact] + public async Task ListMessages_WithCursorFromAnotherChat_ReturnsBadRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice); + var chat2 = await CreateChatAsync(client, alice); + await SendMessageAsync(client, alice, chat1, "a"); + await SendMessageAsync(client, alice, chat1, "b"); + using var first = Request(HttpMethod.Get, $"/api/v1/chats/{chat1}/messages?limit=1", alice); + var cursor = (await ReadJsonAsync(await client.SendAsync(first))).GetProperty("next_cursor").GetString()!; + + using var request = Request(HttpMethod.Get, + $"/api/v1/chats/{chat2}/messages?cursor={Uri.EscapeDataString(cursor)}", alice); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task ListMessages_ReturnsSameOrderForAnyPageSize() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + var sent = new List(); + for (var i = 0; i < 120; i++) + { + var response = await SendMessageAsync(client, alice, chatId, $"m{i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var baseline = await ReadAllMessagesAsync(client, chatId, alice, 100); + Assert.Equal(sent, baseline); + foreach (var limit in new[] { 1, 7, 50 }) + { + var received = await ReadAllMessagesAsync(client, chatId, alice, limit); + Assert.Equal(baseline, received); + } + } + + [Fact] + public async Task ListMessages_AfterConcurrentSends_IsOrderedByTimeThenId() + { + using var client = NewClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chatId = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var sends = Enumerable.Range(0, 300).Select(i => SendMessageAsync(client, users[i % 10], chatId, $"m{i}")); + foreach (var response in await Task.WhenAll(sends)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var items = new List<(string CreatedAt, Guid Id)>(); + string? cursor = null; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=100" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, users[0]); + var page = await ReadJsonAsync(await client.SendAsync(request)); + items.AddRange(page.GetProperty("items").EnumerateArray() + .Select(m => (m.GetProperty("created_at").GetString()!, m.GetProperty("id").GetGuid()))); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + + Assert.Equal(300, items.Count); + Assert.Equal(300, items.Select(x => x.Id).Distinct().Count()); + // Серверное время строго возрастает внутри чата (см. last_message_at), поэтому порядок истории — порядок записи. + Assert.Equal(300, items.Select(x => x.CreatedAt).Distinct().Count()); + Assert.Equal(items.OrderBy(x => x.CreatedAt, StringComparer.Ordinal).ToList(), items); + } + + [Theory] + [InlineData("""{"USERNAME":"probe_case_a","display_name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"username":"probe_case_b","Display_Name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"Username":"probe_case_c","display_name":"A","password":"correct horse battery staple"}""")] + public async Task CreateUser_WithDifferentlyCasedFieldNames_ReturnsBadRequest(string body) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json(body)); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } +} diff --git a/scr/Messenger.Api.Tests/AuthTests.cs b/scr/Messenger.Api.Tests/AuthTests.cs new file mode 100644 index 00000000..e2cd91ef --- /dev/null +++ b/scr/Messenger.Api.Tests/AuthTests.cs @@ -0,0 +1,252 @@ +using System.Net; +using System.Net.Http.Headers; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class AuthTests(ApiFixture fixture) +{ + private static readonly string[] ProtectedGets = + [ + "/api/v1/users/me", + "/api/v1/chats", + "/api/v1/chats/00000000-0000-0000-0000-000000000001", + "/api/v1/chats/00000000-0000-0000-0000-000000000001/messages" + ]; + + [Fact] + public async Task Login_WithValidCredentials_ReturnsOpaqueBearerSession() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var response = await LoginAsync(client, user.Username, user.Password); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var json = await ReadJsonAsync(response); + Assert.Equal("Bearer", json.GetProperty("token_type").GetString()); + Assert.True(json.GetProperty("token").GetString()!.Length >= 43); // 256 бит в base64url + Assert.Equal(user.Id, json.GetProperty("user").GetProperty("id").GetGuid()); + Assert.DoesNotContain("password", await response.Content.ReadAsStringAsync(), StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task Login_AcceptsColonInPassword() + { + using var client = fixture.CreateClient(); + var username = "colon" + Guid.NewGuid().ToString("N")[..8]; + await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"A","password":"pass:with:colons-123"}""")); + + var response = await LoginAsync(client, username, "pass:with:colons-123"); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + [Fact] + public async Task Login_WrongPasswordAndUnknownUser_GiveIdenticalUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var wrongPassword = await LoginAsync(client, user.Username, "totally-wrong-password"); + var unknownUser = await LoginAsync(client, "nobody_" + Guid.NewGuid().ToString("N")[..8], DefaultPassword); + + foreach (var response in new[] { wrongPassword, unknownUser }) + { + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Basic realm=\"messenger\", charset=\"UTF-8\"", response.Headers.WwwAuthenticate.ToString()); + Assert.Equal("unauthorized", await ErrorCodeAsync(response)); + } + + var a = (await ReadJsonAsync(wrongPassword)).GetProperty("error").GetProperty("message").GetString(); + var b = (await ReadJsonAsync(unknownUser)).GetProperty("error").GetProperty("message").GetString(); + Assert.Equal(a, b); + } + + [Theory] + [InlineData("Basic !!!not-base64")] + [InlineData("Basic bm9jb2xvbg==")] // "nocolon" + [InlineData("Bearer sometoken")] + [InlineData("")] + public async Task Login_WithMalformedAuthorization_ReturnsUnauthorized(string header) + { + using var client = fixture.CreateClient(); + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + if (header.Length > 0) + { + request.Headers.TryAddWithoutValidation("Authorization", header); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.StartsWith("Basic", response.Headers.WwwAuthenticate.ToString()); + } + + [Theory] + [MemberData(nameof(ProtectedUrls))] + public async Task ProtectedEndpoints_WithoutToken_ReturnUnauthorizedWithBearerChallenge(string url) + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync(url); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + public static IEnumerable ProtectedUrls() => ProtectedGets.Select(u => new object[] { u }); + + [Fact] + public async Task ProtectedEndpoint_WithBasicAuth_ReturnsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var request = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(user.Username, user.Password)); + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } + + [Fact] + public async Task XUserIdHeader_IsIgnored() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + + // Без токена X-User-Id не даёт доступа. + using var anonymous = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + anonymous.Headers.Add("X-User-Id", alice.Id.ToString()); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(anonymous)).StatusCode); + + // С токеном — владелец сессии не подменяется. + using var spoofed = Request(HttpMethod.Get, "/api/v1/users/me", alice); + spoofed.Headers.Add("X-User-Id", eve.Id.ToString()); + var me = await ReadJsonAsync(await client.SendAsync(spoofed)); + Assert.Equal(alice.Id, me.GetProperty("id").GetGuid()); + } + + [Fact] + public async Task UnauthenticatedPostWithMalformedBody_ReturnsUnauthorizedNotBadRequest() + { + using var client = fixture.CreateClient(); + + var response = await client.PostAsync("/api/v1/chats", Json("{bad")); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); // сначала аутентификация + } + + [Fact] + public async Task Logout_RevokesTokenAndSecondLogoutIsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + using var first = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + var firstResponse = await client.SendAsync(first); + Assert.Equal(HttpStatusCode.NoContent, firstResponse.StatusCode); + Assert.Equal(0, firstResponse.Content.Headers.ContentLength ?? 0); + + using var again = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(again)).StatusCode); + using var me = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task LogoutOfOneSession_DoesNotAffectAnotherSessionOfSameUser() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + var secondLogin = await ReadJsonAsync(await LoginAsync(client, user.Username, user.Password)); + var second = user with { Token = secondLogin.GetProperty("token").GetString()! }; + + using var logout = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + await client.SendAsync(logout); + + using var me = Request(HttpMethod.Get, "/api/v1/users/me", second); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task ExpiredSession_IsRejected() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var before = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(before)).StatusCode); + + // Состарим сессию в БД: created_at < expires_at < now (ограничение таблицы требует expires_at > created_at). + await using (var db = await fixture.OpenConnectionAsync()) + await using (var age = new Npgsql.NpgsqlCommand( + "update sessions set created_at = now() - interval '10 seconds', expires_at = now() - interval '5 seconds' where user_id = @u", db)) + { + age.Parameters.AddWithValue("u", user.Id); + Assert.Equal(1, await age.ExecuteNonQueryAsync()); + } + + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task ShortSessionTtl_ExpiresSessionByItself() + { + // Отдельный экземпляр приложения с SESSION_TTL_SECONDS=2 поверх той же БД: никаких подмен данных в таблице. + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + + using (var alive = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(alive)).StatusCode); + } + + await Task.Delay(TimeSpan.FromSeconds(3)); + + using var expired = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(expired); + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + // Истёкшая сессия не продлевается: повторный вход выдаёт новую. + Assert.Equal(HttpStatusCode.Created, (await LoginAsync(client, user.Username, user.Password)).StatusCode); + } + + [Fact] + public async Task SessionsTable_StoresTokenHashNotToken() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand( + "select token_hash from sessions where user_id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var stored = (byte[])(await query.ExecuteScalarAsync())!; + + Assert.Equal(32, stored.Length); + Assert.NotEqual(System.Text.Encoding.UTF8.GetBytes(user.Token), stored); + Assert.Equal(System.Security.Cryptography.SHA256.HashData(System.Text.Encoding.UTF8.GetBytes(user.Token)), stored); + } + + [Fact] + public async Task PasswordsAreStoredAsArgon2id() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand("select password_hash from users where id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var hash = (string)(await query.ExecuteScalarAsync())!; + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain(user.Password, hash); + } +} diff --git a/scr/Messenger.Api.Tests/CacheTests.cs b/scr/Messenger.Api.Tests/CacheTests.cs new file mode 100644 index 00000000..70b0e24b --- /dev/null +++ b/scr/Messenger.Api.Tests/CacheTests.cs @@ -0,0 +1,150 @@ +using System.Net; +using Microsoft.AspNetCore.Mvc.Testing; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class CacheTests(ApiFixture fixture) +{ + private static string Header(HttpResponseMessage response, string name) => + response.Headers.TryGetValues(name, out var values) ? values.First() : ""; + + private static async Task GetPageAsync( + HttpClient client, TestUser user, Guid chatId, int limit = 50, string? cursor = null) + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + return await client.SendAsync(request); + } + + private static async Task<(TestUser Alice, TestUser Bob, Guid Chat)> ChatWithMessagesAsync(HttpClient client, int messages) + { + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice, bob); + for (var i = 0; i < messages; i++) + { + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, $"m{i}")).StatusCode); + } + + return (alice, bob, chat); + } + + [Fact] + public async Task SecondRead_IsServedFromCache_WithFewerSqlQueries_AndIdenticalBody() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + + var first = await GetPageAsync(client, bob, chat); + var second = await GetPageAsync(client, bob, chat); + + Assert.Equal("miss", Header(first, "X-Cache")); + Assert.Equal("hit", Header(second, "X-Cache")); + // miss: сессия + версия/доступ + страница; hit: сессия + версия/доступ. + Assert.Equal("3", Header(first, "X-Db-Queries")); + Assert.Equal("2", Header(second, "X-Db-Queries")); + Assert.Equal(await first.Content.ReadAsStringAsync(), await second.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task ReadAfterWrite_NeverReturnsStaleCachedPage() + { + using var client = fixture.CreateClient(); + var (alice, bob, chat) = await ChatWithMessagesAsync(client, 2); + await GetPageAsync(client, bob, chat); // прогрели кэш + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + for (var i = 0; i < 20; i++) + { + var sent = await SendMessageAsync(client, alice, chat, $"new {i}"); + var id = (await ReadJsonAsync(sent)).GetProperty("id").GetGuid(); + + // Сразу после подтверждённой записи (201) следующее чтение обязано содержать новое сообщение. + var ids = await ReadAllMessagesAsync(client, chat, bob, 100); + Assert.Contains(id, ids); + Assert.Equal(3 + i, ids.Count); + } + } + + [Fact] + public async Task FlushedCache_DoesNotChangeResults() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 5); + var before = await ReadAllMessagesAsync(client, chat, bob, 2); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat, 2), "X-Cache")); + + await fixture.FlushCacheAsync(); + + var response = await GetPageAsync(client, bob, chat, 2); + Assert.Equal("miss", Header(response, "X-Cache")); + Assert.Equal(before, await ReadAllMessagesAsync(client, chat, bob, 2)); + } + + [Fact] + public async Task CachedPage_IsNotVisibleToNonMember() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 2); + var eve = await CreateUserAsync(client); + await GetPageAsync(client, bob, chat); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + var response = await GetPageAsync(client, eve, chat); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); // доступ проверяется до обращения к кэшу + Assert.DoesNotContain("m0", await response.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task PagesWithDifferentLimitsAndCursors_AreCachedSeparately() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 9); + + var firstPass = await ReadAllMessagesAsync(client, chat, bob, 4); + var secondPass = await ReadAllMessagesAsync(client, chat, bob, 4); // все страницы уже в кэше + var otherLimit = await ReadAllMessagesAsync(client, chat, bob, 3); + + Assert.Equal(9, firstPass.Count); + Assert.Equal(firstPass, secondPass); + Assert.Equal(firstPass, otherLimit); + } + + [Fact] + public async Task UnavailableCache_IsBypassed_AndRequestsStillSucceed() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + var expected = await ReadAllMessagesAsync(client, chat, bob, 100); + + // Второй экземпляр приложения, у которого кэш указывает на закрытый порт. + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var brokenClient = broken.CreateClient(); + + for (var i = 0; i < 3; i++) + { + var response = await GetPageAsync(brokenClient, bob, chat); + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.Equal("bypass", Header(response, "X-Cache")); + } + + Assert.Equal(expected, await ReadAllMessagesAsync(brokenClient, chat, bob, 100)); + // Запись тоже не зависит от кэша. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(brokenClient, bob, chat, "при отказе кэша")).StatusCode); + } + + [Fact] + public async Task UnavailableCache_DoesNotTrustAnonymousRequests() + { + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var client = broken.CreateClient(); + + var response = await client.GetAsync($"/api/v1/chats/{Guid.NewGuid()}/messages"); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } +} diff --git a/scr/Messenger.Api.Tests/ConcurencyTests.cs b/scr/Messenger.Api.Tests/ConcurencyTests.cs new file mode 100644 index 00000000..772273e2 --- /dev/null +++ b/scr/Messenger.Api.Tests/ConcurencyTests.cs @@ -0,0 +1,79 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ConcurencyTests(ApiFixture fixture) +{ + [Fact] + public async Task Create100MessagesBy10DifferentUsers_Concurrent() + { + using var client = fixture.CreateClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chat = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var messageTasks = Enumerable.Range(0, 100) + .Select(i => SendMessageAsync(client, users[i % 10], chat, $"Message {i + 1} from {users[i % 10].Username}")) + .ToList(); + + foreach (var response in await Task.WhenAll(messageTasks)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var messages = await ReadAllMessagesAsync(client, chat, users[0], 7); + + Assert.Equal(100, messages.Count); + Assert.Equal(100, messages.Distinct().Count()); + } + + [Fact] + public async Task RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors() + { + // Проверяется гарантия уникального индекса, а не скорость железа: очередь хеширования делаем практически + // неограниченной по времени (по умолчанию лишние запросы получают 503, см. следующий тест). + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "120")); + using var client = app.CreateClient(); + var username = "race" + Guid.NewGuid().ToString("N")[..10]; + + var attempts = Enumerable.Range(0, 20).Select(_ => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"Гонка","password":"{{DefaultPassword}}"}"""))); + var statuses = (await Task.WhenAll(attempts)).Select(r => r.StatusCode).ToList(); + + Assert.Single(statuses, HttpStatusCode.Created); + Assert.Equal(19, statuses.Count(s => s == HttpStatusCode.Conflict)); + + await using var db = await fixture.OpenConnectionAsync(); + await using var count = new Npgsql.NpgsqlCommand("select count(*) from users where username = @u", db); + count.Parameters.AddWithValue("u", username); + Assert.Equal(1L, await count.ExecuteScalarAsync()); + } + + [Fact] + public async Task RegistrationBurstBeyondHashingCapacity_GetsBoundedUnavailable_NotServerError() + { + // Один слот Argon2 и ожидание 50 мс: пачка регистраций разных пользователей упирается в лимит. + // Лишние запросы получают 503 unavailable (а не 500 и не зависание), принятые — 201. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("PASSWORD_HASH_CONCURRENCY", "1") + .UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "0.05")); + using var client = app.CreateClient(); + var prefix = "burst" + Guid.NewGuid().ToString("N")[..6]; + + var responses = await Task.WhenAll(Enumerable.Range(0, 12).Select(i => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{prefix}}_{{i}}","display_name":"Пачка","password":"{{DefaultPassword}}"}""")))); + var statuses = responses.Select(r => r.StatusCode).ToList(); + + Assert.All(statuses, s => Assert.True(s is HttpStatusCode.Created or HttpStatusCode.ServiceUnavailable, $"неожиданный статус {s}")); + Assert.Contains(HttpStatusCode.Created, statuses); + Assert.Contains(HttpStatusCode.ServiceUnavailable, statuses); + var rejected = responses.First(r => r.StatusCode == HttpStatusCode.ServiceUnavailable); + Assert.Equal("unavailable", await ErrorCodeAsync(rejected)); + } +} diff --git a/scr/Messenger.Api.Tests/DependencyFailureTests.cs b/scr/Messenger.Api.Tests/DependencyFailureTests.cs new file mode 100644 index 00000000..b1338c25 --- /dev/null +++ b/scr/Messenger.Api.Tests/DependencyFailureTests.cs @@ -0,0 +1,192 @@ +using System.Diagnostics; +using System.Net; +using System.Net.Sockets; +using Microsoft.AspNetCore.Mvc.Testing; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.DependencyInjection; +using Testcontainers.PostgreSql; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class DependencyFailureTests(ApiFixture fixture) +{ + private static int FreePort() + { + using var listener = new TcpListener(IPAddress.Loopback, 0); + listener.Start(); + return ((IPEndPoint)listener.LocalEndpoint).Port; + } + + [Fact] + public async Task DatabaseDown_Returns503_NeverTrustsAnonymous_AndRecovers() + { + // Отдельный контейнер БД, который тест останавливает и запускает снова на том же порту. + var port = FreePort(); + await using var pg = new PostgreSqlBuilder().WithImage(ApiFixture.PostgresImage).WithPortBinding(port, 5432).Build(); + await pg.StartAsync(); + var file = ApiFixture.WriteConnectionFile(pg.GetConnectionString()); + try + { + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DATABASE_URL_FILE", file) + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + using (var ok = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(ok)).StatusCode); + } + + await pg.StopAsync(); + + // Аутентифицированный запрос: ограниченная ошибка 503 без внутренних деталей. + using var down = Request(HttpMethod.Get, "/api/v1/users/me", user); + var downResponse = await client.SendAsync(down); + Assert.Equal(HttpStatusCode.ServiceUnavailable, downResponse.StatusCode); + Assert.Equal("unavailable", await ErrorCodeAsync(downResponse)); + var body = await downResponse.Content.ReadAsStringAsync(); + Assert.DoesNotContain("Npgsql", body); + Assert.DoesNotContain("Host=", body); + Assert.True(downResponse.Headers.Contains("X-Request-Id")); + + // Анонимный запрос не становится доверенным: без токена по-прежнему 401, а не 200/503 «как гость». + Assert.Equal(HttpStatusCode.Unauthorized, (await client.GetAsync("/api/v1/chats")).StatusCode); + // Токен, который нельзя проверить, не принимается. + Assert.Equal(HttpStatusCode.ServiceUnavailable, + (await LoginAsync(client, user.Username, user.Password)).StatusCode); + // Готовность отражает отказ, живость — нет. + Assert.Equal(HttpStatusCode.ServiceUnavailable, (await client.GetAsync("/health/ready")).StatusCode); + Assert.Equal(HttpStatusCode.OK, (await client.GetAsync("/health/live")).StatusCode); + + // Восстановление: после запуска БД тот же токен снова работает (данные не потеряны), без перезапуска API. + await pg.StartAsync(); + var recovered = false; + var started = Stopwatch.StartNew(); + while (started.Elapsed < TimeSpan.FromSeconds(30) && !recovered) + { + using var retry = Request(HttpMethod.Get, "/api/v1/users/me", user); + recovered = (await client.SendAsync(retry)).StatusCode == HttpStatusCode.OK; + if (!recovered) + { + await Task.Delay(500); + } + } + + Assert.True(recovered, "API не восстановился после возврата PostgreSQL"); + } + finally + { + File.Delete(file); + } + } + + [Fact] + public async Task ExhaustedConnectionPool_ReturnsBoundedError() + { + using var setup = fixture.CreateClient(); + var user = await CreateUserAsync(setup); + + // Пул из одного соединения и короткое ожидание: пока тест держит единственное соединение, запросы не зависают. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DB_MAX_POOL_SIZE", "1") + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "1")); + using var client = app.CreateClient(); + + using var scope = app.Services.CreateScope(); + var held = scope.ServiceProvider.GetRequiredService(); + await held.Database.OpenConnectionAsync(); + try + { + var started = Stopwatch.StartNew(); + using var request = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(request); + started.Stop(); + + Assert.Equal(HttpStatusCode.ServiceUnavailable, response.StatusCode); + Assert.True(started.Elapsed < TimeSpan.FromSeconds(6), $"ответ занял {started.Elapsed}"); + } + finally + { + await held.Database.CloseConnectionAsync(); + } + + // После освобождения соединения сервис работает. + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task FailedMessageInsert_RollsBackVersionAndTimestamp() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "до сбоя")).StatusCode); + + var marker = "boom-" + Guid.NewGuid().ToString("N"); + var suffix = Guid.NewGuid().ToString("N")[..8]; + // Сбой «после UPDATE чата, во время INSERT сообщения»: триггер БД отклоняет сообщение с маркером. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.text = '{{marker}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + var versionBefore = await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat)); + var lastBefore = await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat)); + + var failed = await SendMessageAsync(client, alice, chat, marker); + + Assert.Equal(HttpStatusCode.InternalServerError, failed.StatusCode); + var body = await failed.Content.ReadAsStringAsync(); + Assert.Contains("internal_error", body); + Assert.DoesNotContain("injected", body); // внутренние детали не раскрываются + Assert.Equal(versionBefore, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + Assert.Equal(lastBefore, await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat))); + Assert.Equal(1L, await fixture.ScalarAsync("select count(*) from messages where chat_id = @c", ("c", chat))); + + // Блокировка строки чата снята, следующая запись проходит и версия растёт ровно на 1. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "после сбоя")).StatusCode); + Assert.Equal(versionBefore + 1, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON messages; DROP FUNCTION fail_{suffix}();"); + } + } + + [Fact] + public async Task FailedChatMemberInsert_RollsBackWholeChat() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var suffix = Guid.NewGuid().ToString("N")[..8]; + var title = "rollback-" + suffix; + + // Сбой при добавлении второго участника, уже после вставки строки чата и первого участника. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.user_id = '{{bob.Id}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON chat_members FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"{{title}}","member_ids":["{{alice.Id}}","{{bob.Id}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from chats where title = @t", ("t", title))); + Assert.Equal(0L, await fixture.ScalarAsync( + "select count(*) from chat_members where user_id in (@a, @b) ", ("a", alice.Id), ("b", bob.Id))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON chat_members; DROP FUNCTION fail_{suffix}();"); + } + } +} diff --git a/scr/Messenger.Api.Tests/HealthTests.cs b/scr/Messenger.Api.Tests/HealthTests.cs new file mode 100644 index 00000000..dc46951e --- /dev/null +++ b/scr/Messenger.Api.Tests/HealthTests.cs @@ -0,0 +1,28 @@ +using System.Net; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class HealthTests(ApiFixture fixture) +{ + [Fact] + public async Task Live_ReturnsOk() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/live"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } + + [Fact] + public async Task Ready_ReturnsOkWhenDatabaseIsAvailable() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/ready"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.True(response.Headers.Contains("X-Request-Id")); + } +} diff --git a/scr/Messenger.Api.Tests/IdempotencyTests.cs b/scr/Messenger.Api.Tests/IdempotencyTests.cs new file mode 100644 index 00000000..1e28cc84 --- /dev/null +++ b/scr/Messenger.Api.Tests/IdempotencyTests.cs @@ -0,0 +1,261 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +// lab3: общая идемпотентность отправки сообщения. «Разные реплики» в тесте моделируются разными экземплярами приложения +// (fixture.WithWebHostBuilder) с общей PostgreSQL — ровно так же, как в Compose работают реплики за балансировщиком. +[Collection("api")] +public class IdempotencyTests(ApiFixture fixture) +{ + private static string NewKey() => Guid.NewGuid().ToString("N"); + + private static async Task CountMessagesAsync(HttpClient client, Guid chat, TestUser user) => + (await ReadAllMessagesAsync(client, chat, user, 100)).Count; + + [Fact] + public async Task Replay_ReturnsSameCodeAndSameMessage_WithoutDuplicate() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var first = await SendMessageAsync(client, alice, chat, "привет", key); + var second = await SendMessageAsync(client, alice, chat, "привет", key); + + Assert.Equal(HttpStatusCode.Created, first.StatusCode); + Assert.Equal(HttpStatusCode.Created, second.StatusCode); + Assert.Equal((await ReadJsonAsync(first)).ToString(), (await ReadJsonAsync(second)).ToString()); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task SameKeyDifferentBody_Conflict_AndOriginalIsKept() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + await SendMessageAsync(client, alice, chat, "первое", key); + var other = await SendMessageAsync(client, alice, chat, "второе", key); + + Assert.Equal(HttpStatusCode.Conflict, other.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(other)); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Theory] + [InlineData(null)] + [InlineData("")] + [InlineData("has space")] + [InlineData("кириллица")] + public async Task MissingOrInvalidKey_BadRequest(string? key) + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", alice, + Json("""{"text":"x"}""")); + if (key is not null) + { + request.Headers.TryAddWithoutValidation("Idempotency-Key", key); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal(0, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task KeyTooLong_BadRequest_ButMaxLengthAccepted() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + + var tooLong = await SendMessageAsync(client, alice, chat, "x", new string('a', 129)); + var maxLength = await SendMessageAsync(client, alice, chat, "x", new string('a', 128)); + + Assert.Equal(HttpStatusCode.BadRequest, tooLong.StatusCode); + Assert.Equal(HttpStatusCode.Created, maxLength.StatusCode); + } + + [Fact] + public async Task SameKeyIsIndependent_ForDifferentUsersAndDifferentChats() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice, bob); + var chat2 = await CreateChatAsync(client, alice, bob); + var key = NewKey(); + + var statuses = new[] + { + (await SendMessageAsync(client, alice, chat1, "a1", key)).StatusCode, + (await SendMessageAsync(client, bob, chat1, "b1", key)).StatusCode, + (await SendMessageAsync(client, alice, chat2, "a2", key)).StatusCode, + }; + + Assert.All(statuses, s => Assert.Equal(HttpStatusCode.Created, s)); + Assert.Equal(2, await CountMessagesAsync(client, chat1, alice)); + Assert.Equal(1, await CountMessagesAsync(client, chat2, alice)); + } + + [Fact] + public async Task Replay_StillRequiresValidSessionAndAccess() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + await SendMessageAsync(client, alice, chat, "секрет", key); + + // Посторонний не может «прочитать» чужой результат по ключу; без токена — 401. + var asEve = await SendMessageAsync(client, eve, chat, "секрет", key); + using var anonymous = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", null, Json("""{"text":"секрет"}""")); + anonymous.Headers.Add("Idempotency-Key", key); + var noToken = await client.SendAsync(anonymous); + + Assert.Equal(HttpStatusCode.NotFound, asEve.StatusCode); + Assert.Equal(HttpStatusCode.Unauthorized, noToken.StatusCode); + } + + [Fact] + public async Task ConcurrentReplays_OnOneInstance_CreateExactlyOneMessage() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var responses = await Task.WhenAll(Enumerable.Range(0, 30) + .Select(_ => Task.Run(() => SendMessageAsync(client, alice, chat, "гонка", key)))); + + Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode)); + var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid())); + Assert.Single(ids.Distinct()); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task ConcurrentReplays_ThroughDifferentInstances_CreateExactlyOneMessage() + { + // Три независимых экземпляра приложения (как три реплики) с общей PostgreSQL. + await using var replicaB = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-b")); + await using var replicaC = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-c")); + using var a = fixture.CreateClient(); + using var b = replicaB.CreateClient(); + using var c = replicaC.CreateClient(); + + var alice = await CreateUserAsync(a); // сессия создана на A и действует на B и C: сессии общие + var chat = await CreateChatAsync(a, alice); + var clients = new[] { a, b, c }; + + for (var round = 0; round < 5; round++) + { + var key = NewKey(); + var responses = await Task.WhenAll(Enumerable.Range(0, 30) + .Select(i => Task.Run(() => SendMessageAsync(clients[i % 3], alice, chat, $"гонка {round}", key)))); + + Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode)); + var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid())); + Assert.Single(ids.Distinct()); + } + + Assert.Equal(5, await CountMessagesAsync(b, chat, alice)); + } + + [Fact] + public async Task ConcurrentSameKeyWithDifferentBodies_ExactlyOneWins_OthersConflict() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var responses = await Task.WhenAll(Enumerable.Range(0, 10) + .Select(i => Task.Run(() => SendMessageAsync(client, alice, chat, $"вариант {i}", key)))); + + var created = responses.Count(r => r.StatusCode == HttpStatusCode.Created); + var conflicts = responses.Count(r => r.StatusCode == HttpStatusCode.Conflict); + Assert.True(created >= 1 && created + conflicts == 10, $"created={created}, conflicts={conflicts}"); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task FailedWrite_IsNotRemembered_AndCanBeRetriedWithSameKey() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + // Принудительная ошибка БД при вставке сообщения: транзакция (вместе с ключом) откатывается. + var suffix = Guid.NewGuid().ToString("N")[..8]; + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_idem_{{suffix}}() RETURNS trigger AS $$ BEGIN RAISE EXCEPTION 'forced failure' USING ERRCODE = '53000'; END $$ LANGUAGE plpgsql; + CREATE TRIGGER tr_idem_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW WHEN (NEW.chat_id = '{{chat}}') EXECUTE FUNCTION fail_idem_{{suffix}}(); + """); + try + { + var failed = await SendMessageAsync(client, alice, chat, "повторимо", key); + Assert.True((int)failed.StatusCode >= 500, $"expected 5xx, got {(int)failed.StatusCode}"); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from idempotency_keys where chat_id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_idem_{suffix} ON messages; DROP FUNCTION fail_idem_{suffix}();"); + } + + var retried = await SendMessageAsync(client, alice, chat, "повторимо", key); + var again = await SendMessageAsync(client, alice, chat, "повторимо", key); + + Assert.Equal(HttpStatusCode.Created, retried.StatusCode); + Assert.Equal(HttpStatusCode.Created, again.StatusCode); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task ExpiredKey_CanBeReused_AsNewMessage() + { + await using var shortTtl = fixture.WithWebHostBuilder(b => b.UseSetting("IDEMPOTENCY_TTL_SECONDS", "1")); + using var client = shortTtl.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var first = await SendMessageAsync(client, alice, chat, "срок", key); + await Task.Delay(TimeSpan.FromMilliseconds(1500)); + var second = await SendMessageAsync(client, alice, chat, "срок", key); + + Assert.Equal(HttpStatusCode.Created, first.StatusCode); + Assert.Equal(HttpStatusCode.Created, second.StatusCode); + Assert.NotEqual( + (await ReadJsonAsync(first)).GetProperty("id").GetGuid(), + (await ReadJsonAsync(second)).GetProperty("id").GetGuid()); + } + + [Fact] + public async Task EveryResponse_HasInstanceId_IncludingErrorsAndHealth() + { + await using var replica = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-x")); + using var client = replica.CreateClient(); + + var health = await client.GetAsync("/health/live"); + var ready = await client.GetAsync("/health/ready"); + var unauthorized = await client.GetAsync("/api/v1/users/me"); + var notFound = await client.GetAsync("/no/such/route"); + var badJson = await client.PostAsync("/api/v1/users", Json("{broken")); + + foreach (var response in new[] { health, ready, unauthorized, notFound, badJson }) + { + Assert.Equal("replica-x", Assert.Single(response.Headers.GetValues("X-Instance-Id"))); + } + } +} diff --git a/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj new file mode 100644 index 00000000..62302f8b --- /dev/null +++ b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj @@ -0,0 +1,27 @@ + + + + net10.0 + enable + enable + false + + + + + + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/scr/Messenger.Api.Tests/PasswordHasherTests.cs b/scr/Messenger.Api.Tests/PasswordHasherTests.cs new file mode 100644 index 00000000..a9ea0333 --- /dev/null +++ b/scr/Messenger.Api.Tests/PasswordHasherTests.cs @@ -0,0 +1,69 @@ +using Messenger.Api.Services; + +namespace Messenger.Api.Tests; + +public class PasswordHasherTests +{ + private readonly Argon2PasswordHasher _hasher = new(new PasswordHashingSettings(4, TimeSpan.FromSeconds(30))); + + [Fact] + public async Task Hash_IsArgon2idPhcString_WithoutPlaintext() + { + var hash = await _hasher.HashAsync("correct horse battery staple", CancellationToken.None); + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain("correct horse", hash); + } + + [Fact] + public async Task Hash_UsesRandomSalt() + { + var a = await _hasher.HashAsync("same-password-123", CancellationToken.None); + var b = await _hasher.HashAsync("same-password-123", CancellationToken.None); + + Assert.NotEqual(a, b); + } + + [Theory] + [InlineData("correct horse battery staple")] + [InlineData("пароль-с-юникодом-и:двоеточием-12")] + public async Task Verify_AcceptsCorrect_RejectsWrong(string password) + { + var hash = await _hasher.HashAsync(password, CancellationToken.None); + + Assert.True(await _hasher.VerifyAsync(hash, password, CancellationToken.None)); + Assert.False(await _hasher.VerifyAsync(hash, password + "x", CancellationToken.None)); + } + + [Fact] + public async Task Verify_DoesNotTruncateLongPasswords() + { + // Это ограничение bcrypt (72 байта); Argon2id его не имеет. Пароли отличаются только хвостом. + var prefix = new string('я', 60); // 120 байт в UTF-8 + var hash = await _hasher.HashAsync(prefix + "A", CancellationToken.None); + + Assert.False(await _hasher.VerifyAsync(hash, prefix + "B", CancellationToken.None)); + } + + [Fact] + public async Task Hash_WhenAllSlotsAreBusy_FailsWithBusyException() + { + // Один слот и почти нулевое ожидание: параллельные вызовы не копят память, лишние получают исключение (→ 503). + var hasher = new Argon2PasswordHasher(new PasswordHashingSettings(1, TimeSpan.FromMilliseconds(20))); + + var attempts = await Task.WhenAll(Enumerable.Range(0, 6).Select(async _ => + { + try { await hasher.HashAsync("some-long-enough-password", CancellationToken.None); return true; } + catch (PasswordHasherBusyException) { return false; } + })); + + Assert.Contains(true, attempts); // кто-то получил слот + Assert.Contains(false, attempts); // остальные получили контролируемый отказ + } + + [Fact] + public async Task Verify_UnknownUser_ReturnsFalse() + { + Assert.False(await _hasher.VerifyAsync(null, "any-password-123", CancellationToken.None)); + } +} diff --git a/scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs b/scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs new file mode 100644 index 00000000..20cedd06 --- /dev/null +++ b/scr/Messenger.Api/Data/DesignTimeDbContextFactory.cs @@ -0,0 +1,20 @@ +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Design; + +namespace Messenger.Api.Data; + +// Используется только командами `dotnet ef`. Для генерации миграций подключение к БД не открывается; +// для `dotnet ef database update` строка берётся из MESSENGER_DESIGN_CONNECTION. +public sealed class DesignTimeDbContextFactory : IDesignTimeDbContextFactory +{ + public MessengerDbContext CreateDbContext(string[] args) + { + var connection = Environment.GetEnvironmentVariable("MESSENGER_DESIGN_CONNECTION") + ?? "Host=localhost;Database=messenger;Username=design;Password=design"; + var options = new DbContextOptionsBuilder() + .UseNpgsql(connection) + .UseSnakeCaseNamingConvention() + .Options; + return new MessengerDbContext(options); + } +} diff --git a/scr/Messenger.Api/Data/Entities.cs b/scr/Messenger.Api/Data/Entities.cs new file mode 100644 index 00000000..580b6a99 --- /dev/null +++ b/scr/Messenger.Api/Data/Entities.cs @@ -0,0 +1,68 @@ +namespace Messenger.Api.Data; + +// Строки таблиц. API-модели (Messenger.Api.Models) остаются отдельными: в них нет password_hash и служебных полей. + +public sealed class UserEntity +{ + public Guid Id { get; set; } + public string Username { get; set; } = string.Empty; + public string DisplayName { get; set; } = string.Empty; + // Результат Argon2id (PHC-строка с солью и параметрами). Наружу не отдаётся никогда. + public string PasswordHash { get; set; } = string.Empty; + public DateTimeOffset CreatedAt { get; set; } +} + +public sealed class ChatEntity +{ + public Guid Id { get; set; } + public string Title { get; set; } = string.Empty; + public DateTimeOffset CreatedAt { get; set; } + + // Версия истории: растёт на 1 в той же транзакции, что и вставка сообщения (UPDATE ... RETURNING). + // Источник версии для ключей кэша; одновременно сериализует записи в один чат (см. DESIGN). + public long HistoryVersion { get; set; } + + // Время последнего сообщения. Обновляется тем же UPDATE, что и версия: следующее сообщение получает + // created_at строго больше этого значения, поэтому порядок (created_at, id) совпадает с порядком коммитов. + public DateTimeOffset? LastMessageAt { get; set; } +} + +public sealed class ChatMemberEntity +{ + public Guid ChatId { get; set; } + public Guid UserId { get; set; } +} + +public sealed class MessageEntity +{ + public Guid Id { get; set; } + public Guid ChatId { get; set; } + public Guid SenderId { get; set; } + public string Text { get; set; } = string.Empty; + public DateTimeOffset CreatedAt { get; set; } +} + +public sealed class SessionEntity +{ + public Guid Id { get; set; } + // SHA-256 от токена. Сам токен в БД не хранится: утечка БД не даёт действующих Bearer-токенов. + public byte[] TokenHash { get; set; } = Array.Empty(); + public Guid UserId { get; set; } + public DateTimeOffset CreatedAt { get; set; } + public DateTimeOffset ExpiresAt { get; set; } + public DateTimeOffset? RevokedAt { get; set; } +} + +// Результат идемпотентной отправки сообщения. Область уникальности: пользователь + чат (метод и путь у эндпоинта один: +// POST /api/v1/chats/{chat_id}/messages) + ключ. Строка создаётся в той же транзакции, что и сообщение. +public sealed class IdempotencyKeyEntity +{ + public Guid UserId { get; set; } + public Guid ChatId { get; set; } + public string Key { get; set; } = string.Empty; + // SHA-256 от смысла запроса (см. IdempotencyKeys.RequestHash): другой хеш при том же ключе → 409. + public byte[] RequestHash { get; set; } = Array.Empty(); + public Guid MessageId { get; set; } + public DateTimeOffset CreatedAt { get; set; } + public DateTimeOffset ExpiresAt { get; set; } +} diff --git a/scr/Messenger.Api/Data/MessengerDbContext.cs b/scr/Messenger.Api/Data/MessengerDbContext.cs new file mode 100644 index 00000000..80202612 --- /dev/null +++ b/scr/Messenger.Api/Data/MessengerDbContext.cs @@ -0,0 +1,116 @@ +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Data; + +public sealed class MessengerDbContext(DbContextOptions options) : DbContext(options) +{ + public DbSet Users => Set(); + public DbSet Chats => Set(); + public DbSet ChatMembers => Set(); + public DbSet Messages => Set(); + public DbSet Sessions => Set(); + public DbSet IdempotencyKeys => Set(); + + protected override void OnModelCreating(ModelBuilder modelBuilder) + { + // Идентификаторы создаёт приложение (Guid.CreateVersion7: монотонные, индексы вставляются «справа»). + // Время created_at тоже назначает приложение, а не DEFAULT now(): см. порядок операций отправки сообщения. + + modelBuilder.Entity(e => + { + e.ToTable("users", t => + { + t.HasCheckConstraint("ck_users_username_format", @"username ~ '^[a-z0-9_]{3,32}$'"); + t.HasCheckConstraint("ck_users_display_name_not_blank", @"display_name ~ '\S'"); + }); + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.Username).HasMaxLength(32).IsRequired(); + e.Property(x => x.DisplayName).HasMaxLength(100).IsRequired(); // varchar(n) считает символы, не байты + e.Property(x => x.PasswordHash).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.HasIndex(x => x.Username).IsUnique().HasDatabaseName("ux_users_username"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("chats", t => + { + t.HasCheckConstraint("ck_chats_title_not_blank", @"title ~ '\S'"); + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + }); + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.Title).HasMaxLength(100).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.Property(x => x.HistoryVersion).HasDefaultValue(0L).IsRequired(); + // Список чатов: сортировка по (created_at, id) с keyset-курсором. + e.HasIndex(x => new { x.CreatedAt, x.Id }).HasDatabaseName("ix_chats_created_at_id"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("chat_members"); + e.HasKey(x => new { x.ChatId, x.UserId }); // один пользователь не может быть в чате дважды + e.HasOne().WithMany().HasForeignKey(x => x.ChatId).OnDelete(DeleteBehavior.Cascade); + e.HasOne().WithMany().HasForeignKey(x => x.UserId).OnDelete(DeleteBehavior.Restrict); + // PK обслуживает «участники чата»; этот индекс — «чаты пользователя» и проверку доступа. + e.HasIndex(x => x.UserId).HasDatabaseName("ix_chat_members_user_id"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("messages", t => + t.HasCheckConstraint("ck_messages_text_not_blank", @"text ~ '\S'")); // lab2: вложений нет + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.Text).HasMaxLength(4000).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + // Составной FK: отправитель обязан быть участником именно этого чата. Он же гарантирует существование + // чата и пользователя, поэтому отдельные FK на chats/users не нужны. + e.HasOne().WithMany() + .HasForeignKey(x => new { x.ChatId, x.SenderId }) + .HasPrincipalKey(x => new { x.ChatId, x.UserId }) + .OnDelete(DeleteBehavior.Cascade); + // Страница истории: WHERE chat_id = @c AND (created_at, id) > (@t, @i) ORDER BY created_at, id LIMIT n. + e.HasIndex(x => new { x.ChatId, x.CreatedAt, x.Id }).HasDatabaseName("ix_messages_chat_history"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("sessions", t => + { + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + }); + e.HasKey(x => x.Id); + e.Property(x => x.Id).ValueGeneratedNever(); + e.Property(x => x.TokenHash).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.Property(x => x.ExpiresAt).IsRequired(); + e.HasOne().WithMany().HasForeignKey(x => x.UserId).OnDelete(DeleteBehavior.Cascade); + // Аутентификация каждого запроса: поиск по хешу токена. + e.HasIndex(x => x.TokenHash).IsUnique().HasDatabaseName("ux_sessions_token_hash"); + // Фоновая очистка истёкших сессий. + e.HasIndex(x => x.ExpiresAt).HasDatabaseName("ix_sessions_expires_at"); + }); + + modelBuilder.Entity(e => + { + e.ToTable("idempotency_keys", t => + { + t.HasCheckConstraint("ck_idempotency_keys_hash_len", "octet_length(request_hash) = 32"); + t.HasCheckConstraint("ck_idempotency_keys_expiry", "expires_at > created_at"); + }); + // PK = область уникальности. Именно его уникальный индекс заставляет конкурентные запросы с одним ключом + // ждать друг друга. FK на messages(id) (DEFERRABLE INITIALLY DEFERRED) добавлен в миграции вручную. + e.HasKey(x => new { x.UserId, x.ChatId, x.Key }); + e.Property(x => x.Key).HasMaxLength(128).IsRequired(); + e.Property(x => x.RequestHash).IsRequired(); + e.Property(x => x.CreatedAt).IsRequired(); + e.Property(x => x.ExpiresAt).IsRequired(); + // Очистка истёкших ключей. + e.HasIndex(x => x.ExpiresAt).HasDatabaseName("ix_idempotency_keys_expires_at"); + }); + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs new file mode 100644 index 00000000..cc15e205 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.Designer.cs @@ -0,0 +1,251 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Migrations; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + [Migration("20261023140810_InitialSchema")] + partial class InitialSchema + { + /// + protected override void BuildTargetModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs new file mode 100644 index 00000000..686e73e3 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023140810_InitialSchema.cs @@ -0,0 +1,179 @@ +using System; +using Microsoft.EntityFrameworkCore.Migrations; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + /// + public partial class InitialSchema : Migration + { + /// + protected override void Up(MigrationBuilder migrationBuilder) + { + migrationBuilder.CreateTable( + name: "chats", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + title = table.Column(type: "character varying(100)", maxLength: 100, nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false), + history_version = table.Column(type: "bigint", nullable: false, defaultValue: 0L) + }, + constraints: table => + { + table.PrimaryKey("pk_chats", x => x.id); + table.CheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + table.CheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + + migrationBuilder.CreateTable( + name: "users", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + username = table.Column(type: "character varying(32)", maxLength: 32, nullable: false), + display_name = table.Column(type: "character varying(100)", maxLength: 100, nullable: false), + password_hash = table.Column(type: "text", nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_users", x => x.id); + table.CheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + table.CheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + + migrationBuilder.CreateTable( + name: "chat_members", + columns: table => new + { + chat_id = table.Column(type: "uuid", nullable: false), + user_id = table.Column(type: "uuid", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_chat_members", x => new { x.chat_id, x.user_id }); + table.ForeignKey( + name: "fk_chat_members_chats_chat_id", + column: x => x.chat_id, + principalTable: "chats", + principalColumn: "id", + onDelete: ReferentialAction.Cascade); + table.ForeignKey( + name: "fk_chat_members_users_user_id", + column: x => x.user_id, + principalTable: "users", + principalColumn: "id", + onDelete: ReferentialAction.Restrict); + }); + + migrationBuilder.CreateTable( + name: "sessions", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + token_hash = table.Column(type: "bytea", nullable: false), + user_id = table.Column(type: "uuid", nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false), + expires_at = table.Column(type: "timestamp with time zone", nullable: false), + revoked_at = table.Column(type: "timestamp with time zone", nullable: true) + }, + constraints: table => + { + table.PrimaryKey("pk_sessions", x => x.id); + table.CheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + table.CheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + table.ForeignKey( + name: "fk_sessions_users_user_id", + column: x => x.user_id, + principalTable: "users", + principalColumn: "id", + onDelete: ReferentialAction.Cascade); + }); + + migrationBuilder.CreateTable( + name: "messages", + columns: table => new + { + id = table.Column(type: "uuid", nullable: false), + chat_id = table.Column(type: "uuid", nullable: false), + sender_id = table.Column(type: "uuid", nullable: false), + text = table.Column(type: "character varying(4000)", maxLength: 4000, nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_messages", x => x.id); + table.CheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + table.ForeignKey( + name: "fk_messages_chat_members_chat_id_sender_id", + columns: x => new { x.chat_id, x.sender_id }, + principalTable: "chat_members", + principalColumns: new[] { "chat_id", "user_id" }, + onDelete: ReferentialAction.Cascade); + }); + + migrationBuilder.CreateIndex( + name: "ix_chat_members_user_id", + table: "chat_members", + column: "user_id"); + + migrationBuilder.CreateIndex( + name: "ix_chats_created_at_id", + table: "chats", + columns: new[] { "created_at", "id" }); + + migrationBuilder.CreateIndex( + name: "ix_messages_chat_history", + table: "messages", + columns: new[] { "chat_id", "created_at", "id" }); + + migrationBuilder.CreateIndex( + name: "ix_messages_chat_id_sender_id", + table: "messages", + columns: new[] { "chat_id", "sender_id" }); + + migrationBuilder.CreateIndex( + name: "ix_sessions_expires_at", + table: "sessions", + column: "expires_at"); + + migrationBuilder.CreateIndex( + name: "ix_sessions_user_id", + table: "sessions", + column: "user_id"); + + migrationBuilder.CreateIndex( + name: "ux_sessions_token_hash", + table: "sessions", + column: "token_hash", + unique: true); + + migrationBuilder.CreateIndex( + name: "ux_users_username", + table: "users", + column: "username", + unique: true); + } + + /// + protected override void Down(MigrationBuilder migrationBuilder) + { + migrationBuilder.DropTable( + name: "messages"); + + migrationBuilder.DropTable( + name: "sessions"); + + migrationBuilder.DropTable( + name: "chat_members"); + + migrationBuilder.DropTable( + name: "chats"); + + migrationBuilder.DropTable( + name: "users"); + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs new file mode 100644 index 00000000..f96f9c43 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.Designer.cs @@ -0,0 +1,255 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Migrations; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + [Migration("20261023170730_AddChatLastMessageAt")] + partial class AddChatLastMessageAt + { + /// + protected override void BuildTargetModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("LastMessageAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("last_message_at"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs new file mode 100644 index 00000000..82002c62 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261023170730_AddChatLastMessageAt.cs @@ -0,0 +1,29 @@ +using System; +using Microsoft.EntityFrameworkCore.Migrations; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + /// + public partial class AddChatLastMessageAt : Migration + { + /// + protected override void Up(MigrationBuilder migrationBuilder) + { + migrationBuilder.AddColumn( + name: "last_message_at", + table: "chats", + type: "timestamp with time zone", + nullable: true); + } + + /// + protected override void Down(MigrationBuilder migrationBuilder) + { + migrationBuilder.DropColumn( + name: "last_message_at", + table: "chats"); + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261106145724_AddIdempotencyKeys.Designer.cs b/scr/Messenger.Api/Data/Migrations/20261106145724_AddIdempotencyKeys.Designer.cs new file mode 100644 index 00000000..d0ee58b6 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261106145724_AddIdempotencyKeys.Designer.cs @@ -0,0 +1,301 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Migrations; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + [Migration("20261106145724_AddIdempotencyKeys")] + partial class AddIdempotencyKeys + { + /// + protected override void BuildTargetModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("LastMessageAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("last_message_at"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.IdempotencyKeyEntity", b => + { + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("Key") + .HasMaxLength(128) + .HasColumnType("character varying(128)") + .HasColumnName("key"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("MessageId") + .HasColumnType("uuid") + .HasColumnName("message_id"); + + b.Property("RequestHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("request_hash"); + + b.HasKey("UserId", "ChatId", "Key") + .HasName("pk_idempotency_keys"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_idempotency_keys_expires_at"); + + b.ToTable("idempotency_keys", null, t => + { + t.HasCheckConstraint("ck_idempotency_keys_expiry", "expires_at > created_at"); + + t.HasCheckConstraint("ck_idempotency_keys_hash_len", "octet_length(request_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/20261106145724_AddIdempotencyKeys.cs b/scr/Messenger.Api/Data/Migrations/20261106145724_AddIdempotencyKeys.cs new file mode 100644 index 00000000..e9883548 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/20261106145724_AddIdempotencyKeys.cs @@ -0,0 +1,57 @@ +using System; +using Microsoft.EntityFrameworkCore.Migrations; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + /// + public partial class AddIdempotencyKeys : Migration + { + /// + protected override void Up(MigrationBuilder migrationBuilder) + { + migrationBuilder.CreateTable( + name: "idempotency_keys", + columns: table => new + { + user_id = table.Column(type: "uuid", nullable: false), + chat_id = table.Column(type: "uuid", nullable: false), + key = table.Column(type: "character varying(128)", maxLength: 128, nullable: false), + request_hash = table.Column(type: "bytea", nullable: false), + message_id = table.Column(type: "uuid", nullable: false), + created_at = table.Column(type: "timestamp with time zone", nullable: false), + expires_at = table.Column(type: "timestamp with time zone", nullable: false) + }, + constraints: table => + { + table.PrimaryKey("pk_idempotency_keys", x => new { x.user_id, x.chat_id, x.key }); + table.CheckConstraint("ck_idempotency_keys_expiry", "expires_at > created_at"); + table.CheckConstraint("ck_idempotency_keys_hash_len", "octet_length(request_hash) = 32"); + }); + + migrationBuilder.CreateIndex( + name: "ix_idempotency_keys_expires_at", + table: "idempotency_keys", + column: "expires_at"); + + // Ключ идемпотентности вставляется РАНЬШЕ сообщения (claim → резервирование слота → вставка), поэтому FK + // проверяется при COMMIT (DEFERRABLE INITIALLY DEFERRED): запись «ключ → сообщение» без сообщения не переживёт транзакцию. + // Миграция только добавляет таблицу: запущенная предыдущая версия API её не использует и продолжает работать + // (совместимость для rolling update). + migrationBuilder.Sql(""" + ALTER TABLE idempotency_keys + ADD CONSTRAINT fk_idempotency_keys_messages_message_id + FOREIGN KEY (message_id) REFERENCES messages (id) ON DELETE CASCADE + DEFERRABLE INITIALLY DEFERRED; + """); + } + + /// + protected override void Down(MigrationBuilder migrationBuilder) + { + migrationBuilder.DropTable( + name: "idempotency_keys"); + } + } +} diff --git a/scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs b/scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs new file mode 100644 index 00000000..ea3d5428 --- /dev/null +++ b/scr/Messenger.Api/Data/Migrations/MessengerDbContextModelSnapshot.cs @@ -0,0 +1,298 @@ +// +using System; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Infrastructure; +using Microsoft.EntityFrameworkCore.Storage.ValueConversion; +using Npgsql.EntityFrameworkCore.PostgreSQL.Metadata; + +#nullable disable + +namespace Messenger.Api.Data.Migrations +{ + [DbContext(typeof(MessengerDbContext))] + partial class MessengerDbContextModelSnapshot : ModelSnapshot + { + protected override void BuildModel(ModelBuilder modelBuilder) + { +#pragma warning disable 612, 618 + modelBuilder + .HasAnnotation("ProductVersion", "10.0.13") + .HasAnnotation("Relational:MaxIdentifierLength", 63); + + NpgsqlModelBuilderExtensions.UseIdentityByDefaultColumns(modelBuilder); + + modelBuilder.Entity("Messenger.Api.Data.ChatEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("HistoryVersion") + .ValueGeneratedOnAdd() + .HasColumnType("bigint") + .HasDefaultValue(0L) + .HasColumnName("history_version"); + + b.Property("LastMessageAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("last_message_at"); + + b.Property("Title") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("title"); + + b.HasKey("Id") + .HasName("pk_chats"); + + b.HasIndex("CreatedAt", "Id") + .HasDatabaseName("ix_chats_created_at_id"); + + b.ToTable("chats", null, t => + { + t.HasCheckConstraint("ck_chats_history_version_nonneg", "history_version >= 0"); + + t.HasCheckConstraint("ck_chats_title_not_blank", "title ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("ChatId", "UserId") + .HasName("pk_chat_members"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_chat_members_user_id"); + + b.ToTable("chat_members", (string)null); + }); + + modelBuilder.Entity("Messenger.Api.Data.IdempotencyKeyEntity", b => + { + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("Key") + .HasMaxLength(128) + .HasColumnType("character varying(128)") + .HasColumnName("key"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("MessageId") + .HasColumnType("uuid") + .HasColumnName("message_id"); + + b.Property("RequestHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("request_hash"); + + b.HasKey("UserId", "ChatId", "Key") + .HasName("pk_idempotency_keys"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_idempotency_keys_expires_at"); + + b.ToTable("idempotency_keys", null, t => + { + t.HasCheckConstraint("ck_idempotency_keys_expiry", "expires_at > created_at"); + + t.HasCheckConstraint("ck_idempotency_keys_hash_len", "octet_length(request_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("ChatId") + .HasColumnType("uuid") + .HasColumnName("chat_id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("SenderId") + .HasColumnType("uuid") + .HasColumnName("sender_id"); + + b.Property("Text") + .IsRequired() + .HasMaxLength(4000) + .HasColumnType("character varying(4000)") + .HasColumnName("text"); + + b.HasKey("Id") + .HasName("pk_messages"); + + b.HasIndex("ChatId", "SenderId") + .HasDatabaseName("ix_messages_chat_id_sender_id"); + + b.HasIndex("ChatId", "CreatedAt", "Id") + .HasDatabaseName("ix_messages_chat_history"); + + b.ToTable("messages", null, t => + { + t.HasCheckConstraint("ck_messages_text_not_blank", "text ~ '\\S'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("ExpiresAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("expires_at"); + + b.Property("RevokedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("revoked_at"); + + b.Property("TokenHash") + .IsRequired() + .HasColumnType("bytea") + .HasColumnName("token_hash"); + + b.Property("UserId") + .HasColumnType("uuid") + .HasColumnName("user_id"); + + b.HasKey("Id") + .HasName("pk_sessions"); + + b.HasIndex("ExpiresAt") + .HasDatabaseName("ix_sessions_expires_at"); + + b.HasIndex("TokenHash") + .IsUnique() + .HasDatabaseName("ux_sessions_token_hash"); + + b.HasIndex("UserId") + .HasDatabaseName("ix_sessions_user_id"); + + b.ToTable("sessions", null, t => + { + t.HasCheckConstraint("ck_sessions_expiry_after_creation", "expires_at > created_at"); + + t.HasCheckConstraint("ck_sessions_token_hash_len", "octet_length(token_hash) = 32"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.UserEntity", b => + { + b.Property("Id") + .HasColumnType("uuid") + .HasColumnName("id"); + + b.Property("CreatedAt") + .HasColumnType("timestamp with time zone") + .HasColumnName("created_at"); + + b.Property("DisplayName") + .IsRequired() + .HasMaxLength(100) + .HasColumnType("character varying(100)") + .HasColumnName("display_name"); + + b.Property("PasswordHash") + .IsRequired() + .HasColumnType("text") + .HasColumnName("password_hash"); + + b.Property("Username") + .IsRequired() + .HasMaxLength(32) + .HasColumnType("character varying(32)") + .HasColumnName("username"); + + b.HasKey("Id") + .HasName("pk_users"); + + b.HasIndex("Username") + .IsUnique() + .HasDatabaseName("ux_users_username"); + + b.ToTable("users", null, t => + { + t.HasCheckConstraint("ck_users_display_name_not_blank", "display_name ~ '\\S'"); + + t.HasCheckConstraint("ck_users_username_format", "username ~ '^[a-z0-9_]{3,32}$'"); + }); + }); + + modelBuilder.Entity("Messenger.Api.Data.ChatMemberEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatEntity", null) + .WithMany() + .HasForeignKey("ChatId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_chat_members_chats_chat_id"); + + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Restrict) + .IsRequired() + .HasConstraintName("fk_chat_members_users_user_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.MessageEntity", b => + { + b.HasOne("Messenger.Api.Data.ChatMemberEntity", null) + .WithMany() + .HasForeignKey("ChatId", "SenderId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_messages_chat_members_chat_id_sender_id"); + }); + + modelBuilder.Entity("Messenger.Api.Data.SessionEntity", b => + { + b.HasOne("Messenger.Api.Data.UserEntity", null) + .WithMany() + .HasForeignKey("UserId") + .OnDelete(DeleteBehavior.Cascade) + .IsRequired() + .HasConstraintName("fk_sessions_users_user_id"); + }); +#pragma warning restore 612, 618 + } + } +} diff --git a/scr/Messenger.Api/Endpoints/AuthEndpoints.cs b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs new file mode 100644 index 00000000..d3bfff22 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs @@ -0,0 +1,146 @@ +using System.Text; +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Endpoints; + +public static class AuthEndpoints +{ + private const string BasicChallenge = "Basic realm=\"messenger\", charset=\"UTF-8\""; + + public static IEndpointRouteBuilder MapAuthEndpoints(this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/auth/sessions", CreateSession); + endpoints.MapDelete("/api/v1/auth/sessions/current", RevokeCurrentSession).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateSession( + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + AuthSessionOptions options, + CancellationToken ct) + { + // Любая проблема с заголовком или credentials даёт один и тот же ответ. + var unauthorized = () => ApiErrors.Unauthorized(httpContext, BasicChallenge, "Неверное имя пользователя или пароль"); + + if (!TryParseBasic(httpContext.Request, out var username, out var password)) + { + return unauthorized(); + } + + var user = await db.Users.AsNoTracking().FirstOrDefaultAsync(u => u.Username == username, ct); + + // Проверка выполняется и для несуществующего пользователя (null → заглушка), чтобы время ответа + // не выдавало, существует ли username. + bool passwordOk; + try + { + passwordOk = await hasher.VerifyAsync(user?.PasswordHash, password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + if (user is null || !passwordOk) + { + return unauthorized(); + } + + var token = SessionTokens.Generate(); + var now = Timestamps.UtcNowMilliseconds(); + var session = new SessionEntity + { + Id = Guid.CreateVersion7(), + TokenHash = SessionTokens.Hash(token), + UserId = user.Id, + CreatedAt = now, + ExpiresAt = now + options.Ttl + }; + + db.Sessions.Add(session); + await db.SaveChangesAsync(ct); + + // Ответ с токеном нельзя кэшировать промежуточными узлами. + httpContext.Response.Headers.CacheControl = "no-store"; + + return Results.Json( + new SessionResponse( + token, + "Bearer", + session.ExpiresAt, + new User + { + Id = user.Id, + Username = user.Username, + DisplayName = user.DisplayName, + CreatedAt = user.CreatedAt + }), + statusCode: StatusCodes.Status201Created); + } + + private static async Task RevokeCurrentSession( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var sessionId = httpContext.GetSessionId(); + var now = Timestamps.UtcNowMilliseconds(); + + // Один UPDATE с условием: отзыв атомарен даже при двух параллельных DELETE с одним токеном. + var revoked = await db.Sessions + .Where(s => s.Id == sessionId && s.RevokedAt == null) + .ExecuteUpdateAsync(s => s.SetProperty(x => x.RevokedAt, now), ct); + + return revoked == 0 + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.NoContent(); + } + + // Basic: base64("username:password"), разделитель — ПЕРВОЕ двоеточие (в пароле двоеточие допустимо). + // Всё, что не разбирается строго (схема, base64, UTF-8, формат), считается неверными credentials. + private static bool TryParseBasic(HttpRequest request, out string username, out string password) + { + username = password = string.Empty; + + if (request.Headers.Authorization.Count != 1) + { + return false; + } + + var header = request.Headers.Authorization[0]; + const string prefix = "Basic "; + if (header is null || !header.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return false; + } + + string decoded; + try + { + var bytes = Convert.FromBase64String(header[prefix.Length..].Trim()); + decoded = new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true).GetString(bytes); + } + catch (Exception ex) when (ex is FormatException or DecoderFallbackException) + { + return false; + } + + var separator = decoded.IndexOf(':'); + if (separator <= 0) + { + return false; + } + + username = decoded[..separator]; + password = decoded[(separator + 1)..]; + + // Username по контракту — ASCII [a-z0-9_]{3,32}; пароль — 12..128 code points. Отсекаем до дорогого Argon2. + var length = ApiErrors.CodePoints(password); + return username.Length is >= 3 and <= 32 && length is >= 12 and <= 128; + } +} diff --git a/scr/Messenger.Api/Endpoints/ChatEndpoints.cs b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs new file mode 100644 index 00000000..087feebc --- /dev/null +++ b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs @@ -0,0 +1,158 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class ChatEndpoints +{ + public static IEndpointRouteBuilder MapChatEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats", CreateChat).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats", ListChats).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}", GetChat).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateChat( + CreateChatRequest request, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + if (string.IsNullOrWhiteSpace(request.Title) || + ApiErrors.CodePoints(request.Title) > 100 || + request.MemberIds.Count is < 1 or > 100 || + request.MemberIds.Distinct().Count() != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные данные чата"); + } + + if (!request.MemberIds.Contains(userId)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Создатель должен быть участником чата"); + } + + var knownMembers = await db.Users.CountAsync(u => request.MemberIds.Contains(u.Id), ct); + if (knownMembers != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + var chat = new ChatEntity + { + Id = Guid.CreateVersion7(), + Title = request.Title, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + // Чат и все его участники сохраняются одним SaveChanges, то есть одной транзакцией: + // либо создано всё, либо ничего (нет чата без участников). + db.Chats.Add(chat); + db.ChatMembers.AddRange(request.MemberIds.Select(id => new ChatMemberEntity { ChatId = chat.Id, UserId = id })); + + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.ForeignKeyViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + return Results.Created($"/api/v1/chats/{chat.Id}", ToDto(chat, request.MemberIds.Order().ToList())); + } + + private static async Task ListChats( + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Chats, out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Keyset: строковое сравнение (created_at, id) > (курсор), без OFFSET и без просмотра всей выдачи. + IQueryable source = after is null + ? db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + """) + : db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + AND (c.created_at, c.id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var chats = await source + .AsNoTracking() + .OrderBy(c => c.CreatedAt).ThenBy(c => c.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = chats.Count > pageSize; + if (hasNext) + { + chats.RemoveAt(chats.Count - 1); + } + + var ids = chats.Select(c => c.Id).ToList(); + var members = (await db.ChatMembers + .AsNoTracking() + .Where(m => ids.Contains(m.ChatId)) + .Select(m => new { m.ChatId, m.UserId }) + .ToListAsync(ct)) + .ToLookup(m => m.ChatId, m => m.UserId); + + var items = chats.Select(c => ToDto(c, members[c.Id].Order().ToList())).ToList(); + var nextCursor = hasNext ? Cursors.Encode(Cursors.Chats, chats[^1].CreatedAt, chats[^1].Id) : null; + + return Results.Ok(new { items, next_cursor = nextCursor }); + } + + private static async Task GetChat( + Guid chatId, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Отсутствующий и чужой чат неразличимы: оба дают 404. + var chat = await db.Chats + .AsNoTracking() + .FirstOrDefaultAsync(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId), ct); + + if (chat is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var memberIds = await db.ChatMembers + .AsNoTracking() + .Where(m => m.ChatId == chatId) + .Select(m => m.UserId) + .ToListAsync(ct); + + return Results.Ok(ToDto(chat, memberIds.Order().ToList())); + } + + private static Chat ToDto(ChatEntity chat, List memberIds) => new() + { + Id = chat.Id, + Title = chat.Title, + MemberIds = memberIds, + CreatedAt = chat.CreatedAt + }; +} diff --git a/scr/Messenger.Api/Endpoints/MessageEndpoints.cs b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs new file mode 100644 index 00000000..88110976 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs @@ -0,0 +1,226 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Microsoft.Extensions.Options; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class MessageEndpoints +{ + public static IEndpointRouteBuilder MapMessageEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats/{chatId}/messages", CreateMessage).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}/messages", ListMessages).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateMessage( + Guid chatId, + CreateMessageRequest request, + HttpContext httpContext, + MessengerDbContext db, + IdempotencySettings idempotency, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Сначала доступ к ресурсу (404 для постороннего), затем валидация ключа и тела. Доступ проверяется при каждом + // запросе, в том числе при повторе с тем же Idempotency-Key. + if (!await IsMemberAsync(db, chatId, userId, ct)) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var key = IdempotencyKeys.ReadKey(httpContext.Request); + if (key is null) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Требуется заголовок Idempotency-Key ([A-Za-z0-9._:-], 1-128 символов)"); + } + + if (string.IsNullOrWhiteSpace(request.Text) || ApiErrors.CodePoints(request.Text) > 4000) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + // Транзакция: (0) claim ключа идемпотентности, (1) UPDATE чата берёт блокировку его строки и выдаёт created_at, + // (2) INSERT сообщения, (3) COMMIT. Записи в один чат идут строго по очереди, поэтому порядок коммитов совпадает + // с порядком (created_at, id) и курсор не может «проскочить» сообщение, закоммиченное позже. Версия истории + // растёт в той же транзакции. Ключ и сообщение коммитятся вместе: при любой ошибке откатывается и то и другое, + // поэтому 5xx не «запоминается» как результат, а клиент может безопасно повторить запрос с тем же ключом. + await using var tx = await db.Database.BeginTransactionAsync(ct); + + var messageId = Guid.CreateVersion7(); + var (claim, storedMessageId) = await IdempotencyKeys.ClaimAsync( + db, tx, userId, chatId, key, IdempotencyKeys.RequestHash(request.Text), messageId, idempotency.Ttl, ct); + + if (claim == ClaimResult.Conflict) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Idempotency-Key уже использован с другим сообщением"); + } + + if (claim == ClaimResult.Replay) + { + // Повтор: ничего не пишем, возвращаем то же сообщение и тот же код 201. + var original = await db.Messages.AsNoTracking().FirstAsync(m => m.Id == storedMessageId, ct); + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(original)); + } + + var createdAt = await ReserveMessageSlotAsync(db, tx, chatId, userId, ct); + if (createdAt is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var message = new MessageEntity + { + Id = messageId, + ChatId = chatId, + SenderId = userId, + Text = request.Text, + CreatedAt = createdAt.Value + }; + + db.Messages.Add(message); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.CheckViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + await tx.CommitAsync(ct); + + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(message)); + } + + private static async Task ListMessages( + Guid chatId, + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + IMessageHistoryCache cache, + DiagnosticsSettings diagnostics, + IOptions jsonOptions, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + // Один запрос проверяет доступ (null → 404) и читает актуальную версию истории из PostgreSQL. + // Версия берётся из БД при каждом чтении, а не из кэша: после подтверждённой записи ключ гарантированно новый. + var version = await db.Chats + .AsNoTracking() + .Where(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId)) + .Select(c => (long?)c.HistoryVersion) + .FirstOrDefaultAsync(ct); + + if (version is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Messages(chatId), out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Ключ = чат + версия истории + размер страницы + курсор. Страница под этим ключом никогда не устаревает: + // любая запись увеличивает версию, и читатели переходят на другой ключ. + var key = $"hist:{chatId:N}:v{version}:l{pageSize}:{cursor ?? "-"}"; + + var (cached, status) = await cache.GetAsync(key, ct); + if (cached is not null) + { + return CachedJson(httpContext, diagnostics, cached, status); + } + + // Keyset по индексу (chat_id, created_at, id): читается только страница, а не вся история. + IQueryable source = after is null + ? db.Messages.FromSql($"SELECT * FROM messages WHERE chat_id = {chatId}") + : db.Messages.FromSql($""" + SELECT * FROM messages + WHERE chat_id = {chatId} AND (created_at, id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var messages = await source + .AsNoTracking() + .OrderBy(m => m.CreatedAt).ThenBy(m => m.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = messages.Count > pageSize; + if (hasNext) + { + messages.RemoveAt(messages.Count - 1); + } + + var nextCursor = hasNext + ? Cursors.Encode(Cursors.Messages(chatId), messages[^1].CreatedAt, messages[^1].Id) + : null; + + var json = System.Text.Json.JsonSerializer.Serialize( + new { items = messages.Select(ToDto).ToList(), next_cursor = nextCursor }, + jsonOptions.Value.SerializerOptions); + + await cache.SetAsync(key, json, ct); + return CachedJson(httpContext, diagnostics, json, status); + } + + // Ответ из кэша и ответ из БД байт-в-байт одинаковы: сериализуется одна и та же структура теми же настройками. + private static IResult CachedJson(HttpContext context, DiagnosticsSettings diagnostics, string json, CacheStatus status) + { + if (diagnostics.Headers) + { + context.Response.Headers["X-Cache"] = status.ToString().ToLowerInvariant(); + } + + return Results.Content(json, "application/json; charset=utf-8"); + } + + private static Task IsMemberAsync(MessengerDbContext db, Guid chatId, Guid userId, CancellationToken ct) => + db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == userId, ct); + + // Атомарно: проверяет членство, увеличивает версию истории и возвращает created_at нового сообщения — + // строго больше времени предыдущего (даже при откате системных часов или двух сообщениях в одну миллисекунду). + // null — чата нет или пользователь не участник. + private static async Task ReserveMessageSlotAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid chatId, + Guid userId, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + await using var command = new NpgsqlCommand(""" + UPDATE chats c + SET history_version = c.history_version + 1, + last_message_at = GREATEST(@now, COALESCE(c.last_message_at + interval '1 millisecond', @now)) + WHERE c.id = @chat + AND EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = @user) + RETURNING c.last_message_at + """, connection, (NpgsqlTransaction)tx.GetDbTransaction()); + + command.Parameters.AddWithValue("now", Timestamps.UtcNowMilliseconds()); + command.Parameters.AddWithValue("chat", chatId); + command.Parameters.AddWithValue("user", userId); + + await using var reader = await command.ExecuteReaderAsync(ct); + return await reader.ReadAsync(ct) ? reader.GetFieldValue(0) : null; + } + + private static Message ToDto(MessageEntity m) => new() + { + Id = m.Id, + ChatId = m.ChatId, + SenderId = m.SenderId, + Text = m.Text, + CreatedAt = m.CreatedAt + }; +} diff --git a/scr/Messenger.Api/Endpoints/UserEndpoints.cs b/scr/Messenger.Api/Endpoints/UserEndpoints.cs new file mode 100644 index 00000000..db68d5c2 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/UserEndpoints.cs @@ -0,0 +1,125 @@ +using System.Text.RegularExpressions; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Messenger.Api.Data; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class UserEndpoints +{ + public static IEndpointRouteBuilder MapUserEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost( + "/api/v1/users", + CreateUser); + + endpoints.MapGet( + "/api/v1/users/me", + GetCurrentUser).RequireAuthorization(); + + return endpoints; + } + + private static async Task CreateUser( + CreateUserRequest request, + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + CancellationToken ct) + { + if (!Regex.IsMatch(request.Username, @"\A[a-z0-9_]{3,32}\z")) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный username"); + } + + if (string.IsNullOrWhiteSpace(request.DisplayName) || + ApiErrors.CodePoints(request.DisplayName) > 100) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "display_name должен содержать от 1 до 100 символов"); + } + + var passwordLength = ApiErrors.CodePoints(request.Password); + if (passwordLength < 12 || passwordLength > 128) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Пароль должен содержать от 12 до 128 символов"); + } + + // Быстрый отказ, чтобы не тратить дорогой Argon2 на заведомо занятый username. + // Это только оптимизация: от гонки защищает уникальный индекс (см. catch ниже). + if (await db.Users.AnyAsync(u => u.Username == request.Username, ct)) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // Хеш считается до SaveChanges: соединение с БД не простаивает на CPU-работе. + string passwordHash; + try + { + passwordHash = await hasher.HashAsync(request.Password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + var entity = new UserEntity + { + Id = Guid.CreateVersion7(), + Username = request.Username, + DisplayName = request.DisplayName, + PasswordHash = passwordHash, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + db.Users.Add(entity); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when ( + ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.UniqueViolation, ConstraintName: "ux_users_username" }) + { + // Параллельный запрос с тем же username успел раньше проверки AnyAsync. + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // В ответ уходит API-модель без password_hash, а не сущность таблицы. + var user = new User + { + Id = entity.Id, + Username = entity.Username, + DisplayName = entity.DisplayName, + CreatedAt = entity.CreatedAt + }; + + return Results.Created($"/api/v1/users/{user.Id}", user); + } + + private static async Task GetCurrentUser( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + var user = await db.Users + .AsNoTracking() + .Where(u => u.Id == userId) + .Select(u => new User + { + Id = u.Id, + Username = u.Username, + DisplayName = u.DisplayName, + CreatedAt = u.CreatedAt + }) + .FirstOrDefaultAsync(ct); + + // Сессия ссылается на пользователя внешним ключом, поэтому null здесь невозможен; ответ всё равно безопасный. + return user is null + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.Ok(user); + } +} diff --git a/scr/Messenger.Api/Messenger.Api.csproj b/scr/Messenger.Api/Messenger.Api.csproj new file mode 100644 index 00000000..fadb9878 --- /dev/null +++ b/scr/Messenger.Api/Messenger.Api.csproj @@ -0,0 +1,25 @@ + + + + net10.0 + enable + enable + + + + + + + + + + + runtime; build; native; contentfiles; analyzers; buildtransitive + all + + + + + + + diff --git a/scr/Messenger.Api/Models/Chat.cs b/scr/Messenger.Api/Models/Chat.cs new file mode 100644 index 00000000..71777680 --- /dev/null +++ b/scr/Messenger.Api/Models/Chat.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Chat + { + public Guid Id { get; init; } + public string Title { get; init; } = String.Empty; + public List MemberIds { get; init; } = new List(); + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Models/CreateChatRequest.cs b/scr/Messenger.Api/Models/CreateChatRequest.cs new file mode 100644 index 00000000..8b2e4611 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateChatRequest.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models +{ + public sealed record CreateChatRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Title, + [property: System.Text.Json.Serialization.JsonRequired] List MemberIds); +} diff --git a/scr/Messenger.Api/Models/CreateMessageRequest.cs b/scr/Messenger.Api/Models/CreateMessageRequest.cs new file mode 100644 index 00000000..27f01a37 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateMessageRequest.cs @@ -0,0 +1,3 @@ +namespace Messenger.Api.Models; + +public sealed record CreateMessageRequest([property: System.Text.Json.Serialization.JsonRequired] string Text); \ No newline at end of file diff --git a/scr/Messenger.Api/Models/CreateUserRequest.cs b/scr/Messenger.Api/Models/CreateUserRequest.cs new file mode 100644 index 00000000..49415b63 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateUserRequest.cs @@ -0,0 +1,12 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed record CreateUserRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Username, + [property: System.Text.Json.Serialization.JsonRequired] string DisplayName, + [property: System.Text.Json.Serialization.JsonRequired] string Password); + +} diff --git a/scr/Messenger.Api/Models/Message.cs b/scr/Messenger.Api/Models/Message.cs new file mode 100644 index 00000000..4a5ff923 --- /dev/null +++ b/scr/Messenger.Api/Models/Message.cs @@ -0,0 +1,16 @@ +using Microsoft.AspNetCore.Http.HttpResults; +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Message + { + public Guid Id { get; init; } + public Guid ChatId { get; init; } + public Guid SenderId { get; init; } + public string Text { get; init; } = String.Empty; + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Models/SessionResponse.cs b/scr/Messenger.Api/Models/SessionResponse.cs new file mode 100644 index 00000000..7c3b7bf1 --- /dev/null +++ b/scr/Messenger.Api/Models/SessionResponse.cs @@ -0,0 +1,7 @@ +namespace Messenger.Api.Models; + +public sealed record SessionResponse( + string Token, + string TokenType, + DateTimeOffset ExpiresAt, + User User); diff --git a/scr/Messenger.Api/Models/User.cs b/scr/Messenger.Api/Models/User.cs new file mode 100644 index 00000000..bb088c33 --- /dev/null +++ b/scr/Messenger.Api/Models/User.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class User + { + public Guid Id { get; init; } + public string Username { get; init; } = string.Empty; + public string DisplayName { get; init; } = string.Empty; + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Program.cs b/scr/Messenger.Api/Program.cs new file mode 100644 index 00000000..9ad5f02f --- /dev/null +++ b/scr/Messenger.Api/Program.cs @@ -0,0 +1,250 @@ +using Microsoft.AspNetCore.Diagnostics; +using Messenger.Api.Endpoints; +using Messenger.Api.Services; +using Messenger.Api.Data; +using System.Text.Json; +using Microsoft.EntityFrameworkCore; +using Microsoft.AspNetCore.Authentication; + +// Режим для Docker HEALTHCHECK: в образе aspnet нет curl, поэтому проверку выполняет само приложение. +if (args.Contains("--healthcheck")) +{ + var port = Environment.GetEnvironmentVariable("APP_PORT") ?? "8080"; + try + { + using var probe = new HttpClient { Timeout = TimeSpan.FromSeconds(2) }; + var probeResponse = await probe.GetAsync($"http://127.0.0.1:{port}/health/live"); + return probeResponse.IsSuccessStatusCode ? 0 : 1; + } + catch (Exception) + { + return 1; + } +} + +var builder = WebApplication.CreateBuilder(args); + +// SIGTERM: сначала drain (SHUTDOWN_DRAIN_SECONDS, /health/ready → 503, запросы ещё принимаются), затем слушатель +// закрывается и активные запросы получают не более 5 секунд. Итого < 10 секунд (лимит задания) и < stop_grace_period. +builder.Services.Configure(options => options.ShutdownTimeout = TimeSpan.FromSeconds(5)); + +// Настройки читаются лениво из IConfiguration (после Build), поэтому тесты могут задавать их через UseSetting. +builder.Services.AddSingleton(sp => DatabaseSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => AuthSessionOptions.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => CacheSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => DiagnosticsSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => InstanceSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => IdempotencySettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddHostedService(); +builder.Services.AddHttpContextAccessor(); +builder.Services.AddSingleton(); +builder.Services.AddDbContext((sp, options) => +{ + options.UseNpgsql(sp.GetRequiredService().ConnectionString) + .UseSnakeCaseNamingConvention(); + if (sp.GetRequiredService().Headers) + { + options.AddInterceptors(sp.GetRequiredService()); + } +}); +builder.Services.AddSingleton(sp => PasswordHashingSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddSingleton(sp => +{ + var settings = sp.GetRequiredService(); + return settings.Enabled + ? new ValkeyMessageHistoryCache(settings, sp.GetRequiredService>()) + : new NullMessageHistoryCache(); +}); +builder.Services.AddAuthentication(BearerAuth.Scheme) + .AddScheme(BearerAuth.Scheme, null); +builder.Services.AddAuthorization(); +builder.Services.ConfigureHttpJsonOptions(options => +{ + options.SerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.SnakeCaseLower; + options.SerializerOptions.Converters.Add(new UtcDateTimeOffsetJsonConverter()); + options.SerializerOptions.UnmappedMemberHandling = System.Text.Json.Serialization.JsonUnmappedMemberHandling.Disallow; + options.SerializerOptions.RespectNullableAnnotations = true; + // Web-настройки по умолчанию включают регистронезависимое сопоставление имён: контракт его не допускает. + options.SerializerOptions.PropertyNameCaseInsensitive = false; +}); + +var app = builder.Build(); + +// Режим one-shot миграции (`dotnet Messenger.Api.dll --migrate`): отдельный контейнер применяет схему и завершается. +// API-реплики схему не меняют, поэтому одновременный старт N реплик не создаёт гонку миграций. +if (args.Contains("--migrate")) +{ + using var migrationScope = app.Services.CreateScope(); + migrationScope.ServiceProvider.GetRequiredService().Database.Migrate(); + app.Logger.LogInformation("Migrations applied"); + return 0; +} + +// Только для локального запуска и тестов (MIGRATE_ON_START=true); в Compose выключено. +if (app.Services.GetRequiredService().MigrateOnStart) +{ + using var scope = app.Services.CreateScope(); + scope.ServiceProvider.GetRequiredService().Database.Migrate(); +} + +// Диагностика (только при DIAGNOSTIC_HEADERS=true): число SQL-команд EF Core за запрос — в заголовке X-Db-Queries. +if (app.Services.GetRequiredService().Headers) +{ + app.Use(async (context, next) => + { + var counter = new QueryCounter(); + context.Items[QueryCountingInterceptor.ItemKey] = counter; + context.Response.OnStarting(() => + { + context.Response.Headers["X-Db-Queries"] = Volatile.Read(ref counter.Count).ToString(); + return Task.CompletedTask; + }); + await next(); + }); +} + +// X-Instance-Id в каждом ответе API (включая ошибки и health). Заголовок ставится в OnStarting: UseExceptionHandler +// очищает заголовки, а этот обратный вызов срабатывает уже после очистки, перед отправкой ответа. +var instanceId = app.Services.GetRequiredService().InstanceId; +app.Use(async (context, next) => +{ + context.Response.OnStarting(() => + { + context.Response.Headers["X-Instance-Id"] = instanceId; + return Task.CompletedTask; + }); + await next(); +}); + +app.Use(async (context, next) => +{ + var requestId = Guid.NewGuid().ToString(); + context.Items["request_id"] = requestId; + context.Response.Headers["X-Request-Id"] = requestId; + await next(); +}); + +// Лог запроса: метод, путь, статус, время, request_id. Тело и query не логируются. +app.Use(async (context, next) => +{ + var logger = context.RequestServices.GetRequiredService().CreateLogger("Messenger.Requests"); + var started = System.Diagnostics.Stopwatch.GetTimestamp(); + try + { + await next(); + } + finally + { + logger.LogInformation( + "{Method} {Path} -> {Status} in {ElapsedMs:0.0} ms (request_id={RequestId})", + context.Request.Method, + context.Request.Path.Value, + context.Response.StatusCode, + System.Diagnostics.Stopwatch.GetElapsedTime(started).TotalMilliseconds, + context.Items["request_id"]); + } +}); + +app.UseExceptionHandler(errorApp => errorApp.Run(context => +{ + // В Development ошибки чтения запроса приходят исключением: сохраняем их 400/415 вместо 500. + var error = context.Features.Get()?.Error; + if (error is BadHttpRequestException { StatusCode: 400 or 415 } badRequest) + { + var (code, message) = badRequest.StatusCode == 415 + ? ("unsupported_media_type", "Требуется Content-Type: application/json") + : ("invalid_request", "Некорректный запрос"); + return ApiErrors.Error(context, badRequest.StatusCode, code, message).ExecuteAsync(context); + } + + // PostgreSQL недоступен или перегружен: ограниченный ответ 503 без внутренних деталей (стек и SQL только в логе). + if (DependencyFailures.IsDatabaseUnavailable(error)) + { + return ApiErrors.Error(context, 503, "unavailable", "Сервис временно недоступен").ExecuteAsync(context); + } + + return ApiErrors.Error(context, 500, "internal_error", "Внутренняя ошибка сервера").ExecuteAsync(context); +})); + +// Пустые ответы 400/404/415 (ошибки привязки, неизвестный маршрут) получают стандартное тело ошибки. +app.UseStatusCodePages(context => +{ + var http = context.HttpContext; + var (code, message) = http.Response.StatusCode switch + { + 400 => ("invalid_request", "Некорректный запрос"), + 404 => ("not_found", "Объект не найден"), + 415 => ("unsupported_media_type", "Требуется Content-Type: application/json"), + _ => ("internal_error", "Ошибка запроса") + }; + return ApiErrors.Error(http, http.Response.StatusCode, code, message).ExecuteAsync(http); +}); + +// Аутентификация (Bearer) выполняется до выбора обработчика и разбора тела: 401 приоритетнее 400/404. +app.UseAuthentication(); +app.UseAuthorization(); + +app.MapGet("/health/live", () => +{ + return Results.Ok(new + { + status = "ok" + }); +}); + +// Готовность = API может обслуживать обязательный синхронный путь, а он требует PostgreSQL (сессии, данные, ключи +// идемпотентности). Valkey не критичен: без него чтение идёт напрямую из PostgreSQL. После SIGTERM — всегда 503: +// балансировщик выводит экземпляр из ротации ещё до закрытия слушателя. Таймаут проверки (1 с) меньше таймаута +// проверки в HAProxy (2 с), чтобы зависшая БД давала явный 503, а не обрыв проверки. +app.MapGet("/health/ready", async (HttpContext context, MessengerDbContext db, ShutdownState shutdown) => +{ + if (shutdown.Draining) + { + return ApiErrors.Error(context, 503, "unavailable", "Экземпляр останавливается"); + } + + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(context.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(1)); + try + { + return await db.Database.CanConnectAsync(timeout.Token) + ? Results.Ok(new { status = "ok" }) + : ApiErrors.Error(context, 503, "unavailable", "База данных недоступна"); + } + catch (OperationCanceledException) when (!context.RequestAborted.IsCancellationRequested) + { + return ApiErrors.Error(context, 503, "unavailable", "База данных недоступна"); + } +}); + +app.MapUserEndpoints(); +app.MapAuthEndpoints(); +app.MapChatEndpoints(); +app.MapMessageEndpoints(); + + +app.Lifetime.ApplicationStarted.Register(() => + app.Logger.LogInformation("Messenger API started (instance {InstanceId}, version {Version})", + instanceId, Environment.GetEnvironmentVariable("APP_VERSION") ?? "dev")); +// ApplicationStopping выполняется синхронно ДО остановки Kestrel: пока этот обработчик спит, слушатель ещё открыт, +// а /health/ready уже отвечает 503. Так балансировщик (inter 1s, fall 2) успевает убрать экземпляр до обрыва соединений. +app.Lifetime.ApplicationStopping.Register(() => +{ + var shutdown = app.Services.GetRequiredService(); + var drain = app.Services.GetRequiredService().DrainDelay; + shutdown.StartDraining(); + app.Logger.LogInformation("SIGTERM received: readiness=503, draining {Seconds} s, then the listener closes", drain.TotalSeconds); + if (drain > TimeSpan.Zero) + { + Thread.Sleep(drain); + } +}); +app.Lifetime.ApplicationStopped.Register(() => app.Logger.LogInformation("Messenger API stopped")); + +app.Run(); +return 0; + +// Делает Program доступным для WebApplicationFactory в тестах. +public partial class Program { } diff --git a/scr/Messenger.Api/Properties/launchSettings.json b/scr/Messenger.Api/Properties/launchSettings.json new file mode 100644 index 00000000..1e19d965 --- /dev/null +++ b/scr/Messenger.Api/Properties/launchSettings.json @@ -0,0 +1,23 @@ +{ + "$schema": "https://json.schemastore.org/launchsettings.json", + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7165;http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/scr/Messenger.Api/Services/ApiErrors.cs b/scr/Messenger.Api/Services/ApiErrors.cs new file mode 100644 index 00000000..7348ac68 --- /dev/null +++ b/scr/Messenger.Api/Services/ApiErrors.cs @@ -0,0 +1,37 @@ +namespace Messenger.Api.Services; + +public static class ApiErrors +{ + public static int CodePoints(string value) => value.EnumerateRunes().Count(); + + // 401 с обязательным заголовком WWW-Authenticate (контракт: Basic для входа, Bearer для остального API). + public static IResult Unauthorized(HttpContext context, string challenge, string message) + { + context.Response.Headers.WWWAuthenticate = challenge; + return Error(context, 401, "unauthorized", message); + } + + public static IResult Error( + HttpContext context, + int statusCode, + string code, + string message) + { + var requestId = context.Items["request_id"]?.ToString() ?? context.TraceIdentifier; + + // UseExceptionHandler очищает заголовки ответа, поэтому выставляем X-Request-Id заново. + context.Response.Headers["X-Request-Id"] = requestId; + + return Results.Json( + new + { + error = new + { + code, + message, + request_id = requestId + } + }, + statusCode: statusCode); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/Services/Argon2PasswordHasher.cs b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs new file mode 100644 index 00000000..6b677d08 --- /dev/null +++ b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs @@ -0,0 +1,68 @@ +using Isopoh.Cryptography.Argon2; + +namespace Messenger.Api.Services; + +public sealed class Argon2PasswordHasher : IPasswordHasher +{ + // Минимум по рекомендации OWASP для Argon2id: m=19 MiB, t=2, p=1. Обоснование и выбор — в REPORT.md. + private const int TimeCost = 2; + private const int MemoryCostKiB = 19 * 1024; + private const int Parallelism = 1; + + // Каждое вычисление занимает ~19 MiB и ядро CPU: без лимита 100 параллельных входов = ~2 GiB памяти. + // Размер и время ожидания слотов задаются PASSWORD_HASH_CONCURRENCY / PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS. + private readonly SemaphoreSlim _slots; + private readonly TimeSpan _slotWaitTimeout; + + // Хеш от случайного пароля, который никто не знает. Нужен только для выравнивания времени при неизвестном username. + private readonly string _dummyHash; + + public Argon2PasswordHasher(PasswordHashingSettings settings) + { + _slots = new SemaphoreSlim(settings.MaxConcurrency, settings.MaxConcurrency); + _slotWaitTimeout = settings.QueueTimeout; + _dummyHash = HashCore(Convert.ToBase64String(System.Security.Cryptography.RandomNumberGenerator.GetBytes(32))); + } + + public async Task HashAsync(string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => HashCore(password), ct); + } + finally + { + _slots.Release(); + } + } + + public async Task VerifyAsync(string? hash, string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => + { + var ok = Argon2.Verify(hash ?? _dummyHash, password, secret: null, secureArrayCall: null); + return hash is not null && ok; + }, ct); + } + finally + { + _slots.Release(); + } + } + + private async Task AcquireSlotAsync(CancellationToken ct) + { + if (!await _slots.WaitAsync(_slotWaitTimeout, ct)) + { + throw new PasswordHasherBusyException(); + } + } + + // HybridAddressing — это Argon2id. Соль генерируется библиотекой и входит в возвращаемую строку. + private static string HashCore(string password) => + Argon2.Hash(password, TimeCost, MemoryCostKiB, Parallelism, Argon2Type.HybridAddressing); +} diff --git a/scr/Messenger.Api/Services/BearerAuth.cs b/scr/Messenger.Api/Services/BearerAuth.cs new file mode 100644 index 00000000..132d9bd8 --- /dev/null +++ b/scr/Messenger.Api/Services/BearerAuth.cs @@ -0,0 +1,91 @@ +using System.Security.Claims; +using System.Text.Encodings.Web; +using Messenger.Api.Data; +using Microsoft.AspNetCore.Authentication; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.Options; + +namespace Messenger.Api.Services; + +public static class BearerAuth +{ + public const string Scheme = "Bearer"; + public const string Challenge = "Bearer realm=\"messenger\""; + public const string SessionIdClaim = "session_id"; + + // Ровно один заголовок Authorization вида "Bearer "; иначе null (Basic и прочее здесь не принимаются). + public static string? ExtractToken(HttpRequest request) + { + if (request.Headers.Authorization.Count != 1) + { + return null; + } + + var value = request.Headers.Authorization[0]; + const string prefix = "Bearer "; + if (value is null || !value.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return null; + } + + var token = value[prefix.Length..].Trim(); + return token.Length == 0 ? null : token; + } + + public static Guid GetUserId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(ClaimTypes.NameIdentifier)!); + + public static Guid GetSessionId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(SessionIdClaim)!); +} + +// Стандартный обработчик аутентификации ASP.NET: превращает Bearer-токен в ClaimsPrincipal. +// Срабатывает до выбора и выполнения эндпоинта (в том числе до разбора тела), поэтому 401 всегда раньше 400/404. +public sealed class SessionAuthenticationHandler( + IOptionsMonitor options, + ILoggerFactory logger, + UrlEncoder encoder, + MessengerDbContext db) + : AuthenticationHandler(options, logger, encoder) +{ + protected override async Task HandleAuthenticateAsync() + { + var token = BearerAuth.ExtractToken(Request); + if (token is null) + { + return AuthenticateResult.NoResult(); + } + + var hash = SessionTokens.Hash(token); + var now = Timestamps.UtcNowMilliseconds(); + + // Неизвестный, истёкший и отозванный токен неразличимы для клиента: во всех случаях это один 401. + var session = await db.Sessions + .AsNoTracking() + .Where(s => s.TokenHash == hash && s.RevokedAt == null && s.ExpiresAt > now) + .Select(s => new { s.Id, s.UserId }) + .FirstOrDefaultAsync(Context.RequestAborted); + + if (session is null) + { + return AuthenticateResult.Fail("Недействительная сессия"); + } + + var identity = new ClaimsIdentity( + [ + new Claim(ClaimTypes.NameIdentifier, session.UserId.ToString()), + new Claim(BearerAuth.SessionIdClaim, session.Id.ToString()) + ], + BearerAuth.Scheme); + + return AuthenticateResult.Success( + new AuthenticationTicket(new ClaimsPrincipal(identity), BearerAuth.Scheme)); + } + + protected override async Task HandleChallengeAsync(AuthenticationProperties properties) + { + await ApiErrors + .Unauthorized(Context, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + .ExecuteAsync(Context); + } +} diff --git a/scr/Messenger.Api/Services/Cursors.cs b/scr/Messenger.Api/Services/Cursors.cs new file mode 100644 index 00000000..166d9e7f --- /dev/null +++ b/scr/Messenger.Api/Services/Cursors.cs @@ -0,0 +1,56 @@ +using System.Text; + +namespace Messenger.Api.Services; + +// Непрозрачный для клиента cursor keyset-пагинации: (created_at, id) последнего элемента страницы. +// Привязан к ресурсу (scope): cursor от другого списка или чата отклоняется как 400. +public static class Cursors +{ + public const string Chats = "chats"; + + public static string Messages(Guid chatId) => $"messages/{chatId:D}"; + + public static string Encode(string scope, DateTimeOffset createdAt, Guid id) => + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{scope}|{createdAt.UtcTicks}:{id:D}")); + + // cursor == null — первая страница (успех, value == null). Любая ошибка формата или чужой scope — false. + public static bool TryDecode(string? cursor, string scope, out (DateTimeOffset CreatedAt, Guid Id)? value) + { + value = null; + if (cursor is null) + { + return true; + } + + if (cursor.Length == 0) + { + return false; + } + + try + { + var decoded = new UTF8Encoding(false, throwOnInvalidBytes: true).GetString(Convert.FromBase64String(cursor)); + var scoped = decoded.Split('|', 2); + if (scoped.Length != 2 || scoped[0] != scope) + { + return false; + } + + var parts = scoped[1].Split(':', 2); + if (parts.Length != 2 || + !long.TryParse(parts[0], out var ticks) || + ticks < DateTimeOffset.MinValue.UtcTicks || ticks > DateTimeOffset.MaxValue.UtcTicks || + !Guid.TryParse(parts[1], out var id)) + { + return false; + } + + value = (new DateTimeOffset(ticks, TimeSpan.Zero), id); + return true; + } + catch (Exception ex) when (ex is FormatException or ArgumentException or DecoderFallbackException) + { + return false; + } + } +} diff --git a/scr/Messenger.Api/Services/Diagnostics.cs b/scr/Messenger.Api/Services/Diagnostics.cs new file mode 100644 index 00000000..130b0343 --- /dev/null +++ b/scr/Messenger.Api/Services/Diagnostics.cs @@ -0,0 +1,90 @@ +using System.Data.Common; +using Microsoft.EntityFrameworkCore.Diagnostics; +using Npgsql; + +namespace Messenger.Api.Services; + +public sealed class QueryCounter +{ + public int Count; +} + +// Считает SQL-команды, выполненные EF Core в рамках текущего HTTP-запроса (для измерения «запросов к БД на запрос API»). +// Включается только при DIAGNOSTIC_HEADERS=true. Команда ReserveMessageSlot (сырой NpgsqlCommand) не учитывается. +public sealed class QueryCountingInterceptor(IHttpContextAccessor accessor) : DbCommandInterceptor +{ + public const string ItemKey = "diagnostics.query_counter"; + + private void Count() + { + if (accessor.HttpContext?.Items[ItemKey] is QueryCounter counter) + { + Interlocked.Increment(ref counter.Count); + } + } + + public override InterceptionResult ReaderExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ReaderExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult NonQueryExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> NonQueryExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult ScalarExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ScalarExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } +} + +public static class DependencyFailures +{ + // Недоступность или перегрузка PostgreSQL (нет соединения, таймаут, исчерпан пул, остановка сервера) — это 503, + // а не 500: ошибка ограничена, внутренние детали не раскрываются, запрос не принимается как доверенный. + public static bool IsDatabaseUnavailable(Exception? error) + { + for (var e = error; e is not null; e = e.InnerException) + { + switch (e) + { + case PostgresException pg: + // 08 — соединение, 53 — нехватка ресурсов, 57 — вмешательство оператора (shutdown и т.п.) + if (pg.SqlState.StartsWith("08") || pg.SqlState.StartsWith("53") || pg.SqlState.StartsWith("57")) + { + return true; + } + + break; + case NpgsqlException: + case TimeoutException: + case System.Net.Sockets.SocketException: + return true; + } + } + + return false; + } +} diff --git a/scr/Messenger.Api/Services/IPasswordHasher.cs b/scr/Messenger.Api/Services/IPasswordHasher.cs new file mode 100644 index 00000000..fb2a91d3 --- /dev/null +++ b/scr/Messenger.Api/Services/IPasswordHasher.cs @@ -0,0 +1,18 @@ +namespace Messenger.Api.Services; + +public interface IPasswordHasher +{ + /// PHC-строка Argon2id (соль и параметры внутри). Бросает , если слот не освободился вовремя. + Task HashAsync(string password, CancellationToken ct); + + /// + /// == null означает «пользователя нет»: проверка всё равно выполняется (против заглушки), + /// чтобы время ответа не раскрывало существование username. + /// + Task VerifyAsync(string? hash, string password, CancellationToken ct); +} + +public sealed class PasswordHasherBusyException : Exception +{ + public PasswordHasherBusyException() : base("Слишком много одновременных вычислений хеша пароля") { } +} diff --git a/scr/Messenger.Api/Services/IdempotencyKeys.cs b/scr/Messenger.Api/Services/IdempotencyKeys.cs new file mode 100644 index 00000000..94343ec2 --- /dev/null +++ b/scr/Messenger.Api/Services/IdempotencyKeys.cs @@ -0,0 +1,145 @@ +using System.Security.Cryptography; +using System.Text; +using System.Text.RegularExpressions; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Npgsql; + +namespace Messenger.Api.Services; + +public enum ClaimResult +{ + Claimed, // ключ наш: можно выполнять побочный эффект (вставку сообщения) в этой же транзакции + Replay, // такой ключ с тем же телом уже выполнен: вернуть сохранённое сообщение + Conflict // такой ключ уже использован с другим телом +} + +public static partial class IdempotencyKeys +{ + public const string HeaderName = "Idempotency-Key"; + + [GeneratedRegex("^[A-Za-z0-9._:-]{1,128}$")] + private static partial Regex KeyFormat(); + + // Ровно один заголовок допустимого формата; иначе null (→ 400). + public static string? ReadKey(HttpRequest request) + { + var values = request.Headers[HeaderName]; + return values.Count == 1 && values[0] is { } key && KeyFormat().IsMatch(key) ? key : null; + } + + // Отпечаток смысла запроса, а не его байтов: порядок ключей JSON и пробелы не влияют, потому что хешируются + // уже разобранные поля. Для текстового сообщения это сам text (длина кодируется, чтобы поля не склеивались). + public static byte[] RequestHash(string text) => + SHA256.HashData(Encoding.UTF8.GetBytes($"message\n{text.Length}\n{text}")); + + // Атомарно «занимает» ключ в транзакции вызывающего. Ключевое свойство — INSERT ... ON CONFLICT: + // * ключа нет → строка вставляется, мы владеем ключом (Claimed); + // * ключ вставила другая, ещё не завершённая транзакция (в том числе на другой реплике) → INSERT ЖДЁТ её + // COMMIT/ROLLBACK на уникальном индексе. После COMMIT вставки не происходит, и мы читаем её результат (Replay); + // после ROLLBACK (например, 5xx у конкурента) вставка проходит, и ключ достаётся нам; + // * ключ есть, но истёк → перезахватывается (DO UPDATE ... WHERE expires_at <= now). + // Поэтому claim и сообщение коммитятся вместе: запись «ключ → сообщение» не может появиться без сообщения и наоборот. + public static async Task<(ClaimResult Result, Guid MessageId)> ClaimAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid userId, + Guid chatId, + string key, + byte[] requestHash, + Guid newMessageId, + TimeSpan ttl, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + var transaction = (NpgsqlTransaction)tx.GetDbTransaction(); + var now = Timestamps.UtcNowMilliseconds(); + + await using (var insert = new NpgsqlCommand(""" + INSERT INTO idempotency_keys (user_id, chat_id, key, request_hash, message_id, created_at, expires_at) + VALUES (@user, @chat, @key, @hash, @message, @now, @expires) + ON CONFLICT (user_id, chat_id, key) DO UPDATE + SET request_hash = EXCLUDED.request_hash, + message_id = EXCLUDED.message_id, + created_at = EXCLUDED.created_at, + expires_at = EXCLUDED.expires_at + WHERE idempotency_keys.expires_at <= EXCLUDED.created_at + RETURNING 1 + """, connection, transaction)) + { + insert.Parameters.AddWithValue("user", userId); + insert.Parameters.AddWithValue("chat", chatId); + insert.Parameters.AddWithValue("key", key); + insert.Parameters.AddWithValue("hash", requestHash); + insert.Parameters.AddWithValue("message", newMessageId); + insert.Parameters.AddWithValue("now", now); + insert.Parameters.AddWithValue("expires", now + ttl); + + if (await insert.ExecuteScalarAsync(ct) is not null) + { + return (ClaimResult.Claimed, newMessageId); + } + } + + await using var select = new NpgsqlCommand(""" + SELECT request_hash, message_id FROM idempotency_keys + WHERE user_id = @user AND chat_id = @chat AND key = @key + """, connection, transaction); + select.Parameters.AddWithValue("user", userId); + select.Parameters.AddWithValue("chat", chatId); + select.Parameters.AddWithValue("key", key); + + await using var reader = await select.ExecuteReaderAsync(ct); + if (!await reader.ReadAsync(ct)) + { + // Строку успел удалить очиститель между INSERT и SELECT: крайне редко; клиент безопасно повторит запрос. + throw new TimeoutException("idempotency key disappeared during claim"); + } + + var storedHash = reader.GetFieldValue(0); + var storedMessage = reader.GetGuid(1); + return CryptographicOperations.FixedTimeEquals(storedHash, requestHash) + ? (ClaimResult.Replay, storedMessage) + : (ClaimResult.Conflict, storedMessage); + } +} + +// Периодически удаляет истёкшие ключи. Запускается на каждой реплике; параллельные DELETE безопасны +// (физически строку удалит одна из них, остальные удалят 0). +public sealed class IdempotencyCleaner( + IServiceScopeFactory scopes, + IdempotencySettings settings, + ILogger logger) : BackgroundService +{ + protected override async Task ExecuteAsync(CancellationToken stoppingToken) + { + using var timer = new PeriodicTimer(settings.CleanupInterval); + try + { + while (await timer.WaitForNextTickAsync(stoppingToken)) + { + try + { + using var scope = scopes.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var now = Timestamps.UtcNowMilliseconds(); + var removed = await db.IdempotencyKeys.Where(k => k.ExpiresAt <= now).ExecuteDeleteAsync(stoppingToken); + if (removed > 0) + { + logger.LogInformation("Удалено истёкших ключей идемпотентности: {Count}", removed); + } + } + catch (Exception ex) when (ex is not OperationCanceledException) + { + logger.LogWarning("Очистка ключей идемпотентности не удалась ({Error}); повтор через {Seconds} с", + ex.GetType().Name, settings.CleanupInterval.TotalSeconds); + } + } + } + catch (OperationCanceledException) + { + // остановка приложения + } + } +} diff --git a/scr/Messenger.Api/Services/MessageHistoryCache.cs b/scr/Messenger.Api/Services/MessageHistoryCache.cs new file mode 100644 index 00000000..efd5525a --- /dev/null +++ b/scr/Messenger.Api/Services/MessageHistoryCache.cs @@ -0,0 +1,102 @@ +using StackExchange.Redis; + +namespace Messenger.Api.Services; + +public enum CacheStatus +{ + Disabled, // кэш не настроен + Hit, + Miss, + Bypass // кэш настроен, но недоступен: запрос обслужен напрямую из PostgreSQL +} + +// Кэш страниц истории. Источник истины — PostgreSQL; кэш лишь ускоряет чтение и никогда не обязателен. +// Согласованность: версия истории чата (chats.history_version) входит в ключ, а версия читается из PostgreSQL +// при каждом запросе (см. MessageEndpoints). Запись увеличивает версию в своей транзакции, поэтому +// после подтверждённой записи ключ меняется, и устаревшая страница недостижима — явная инвалидация не нужна. +// Старые ключи удаляются по TTL (CACHE_TTL_SECONDS) и вытесняются политикой maxmemory. +public interface IMessageHistoryCache +{ + Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct); + Task SetAsync(string key, string json, CancellationToken ct); +} + +public sealed class NullMessageHistoryCache : IMessageHistoryCache +{ + public Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) => + Task.FromResult<(string?, CacheStatus)>((null, CacheStatus.Disabled)); + + public Task SetAsync(string key, string json, CancellationToken ct) => Task.CompletedTask; +} + +public sealed class ValkeyMessageHistoryCache : IMessageHistoryCache, IDisposable +{ + // После ошибки кэш пропускается на это время, чтобы каждый запрос не ждал таймаут недоступного сервера. + private static readonly TimeSpan BypassWindow = TimeSpan.FromSeconds(5); + + private readonly ConnectionMultiplexer _connection; + private readonly TimeSpan _ttl; + private readonly ILogger _logger; + private long _bypassUntilTicks; + + public ValkeyMessageHistoryCache(CacheSettings settings, ILogger logger) + { + var options = ConfigurationOptions.Parse(settings.Connection!); + // Недоступный кэш не должен ронять ни старт, ни запросы: короткие таймауты, подключение в фоне. + options.AbortOnConnectFail = false; + options.ConnectTimeout = 500; + options.SyncTimeout = 200; + options.AsyncTimeout = 200; + options.ConnectRetry = 1; + _connection = ConnectionMultiplexer.Connect(options); + _ttl = settings.Ttl; + _logger = logger; + } + + public async Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) + { + if (IsBypassed()) + { + return (null, CacheStatus.Bypass); + } + + try + { + var value = await _connection.GetDatabase().StringGetAsync(key); + return value.IsNull ? (null, CacheStatus.Miss) : ((string?)value, CacheStatus.Hit); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + return (null, CacheStatus.Bypass); + } + } + + public async Task SetAsync(string key, string json, CancellationToken ct) + { + if (IsBypassed()) + { + return; + } + + try + { + await _connection.GetDatabase().StringSetAsync(key, json, _ttl); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + } + } + + private bool IsBypassed() => Environment.TickCount64 < Interlocked.Read(ref _bypassUntilTicks); + + private void StartBypass(Exception ex) + { + Interlocked.Exchange(ref _bypassUntilTicks, Environment.TickCount64 + (long)BypassWindow.TotalMilliseconds); + _logger.LogWarning("Кэш недоступен ({Error}); чтение идёт напрямую из PostgreSQL ближайшие {Seconds} с", + ex.GetType().Name, BypassWindow.TotalSeconds); + } + + public void Dispose() => _connection.Dispose(); +} diff --git a/scr/Messenger.Api/Services/SessionTokens.cs b/scr/Messenger.Api/Services/SessionTokens.cs new file mode 100644 index 00000000..f8a0669e --- /dev/null +++ b/scr/Messenger.Api/Services/SessionTokens.cs @@ -0,0 +1,16 @@ +using System.Security.Cryptography; +using System.Text; + +namespace Messenger.Api.Services; + +public static class SessionTokens +{ + // 32 случайных байта = 256 бит энтропии (контракт: не менее 256). В base64url это 43 символа. + public static string Generate() => + Convert.ToBase64String(RandomNumberGenerator.GetBytes(32)) + .TrimEnd('=').Replace('+', '-').Replace('/', '_'); + + // В БД хранится только SHA-256 токена. Быстрый хеш здесь уместен: токен случайный и длинный, подбирать нечего + // (в отличие от пароля, который выбирает человек и который поэтому хешируется медленным Argon2id). + public static byte[] Hash(string token) => SHA256.HashData(Encoding.UTF8.GetBytes(token)); +} diff --git a/scr/Messenger.Api/Services/Settings.cs b/scr/Messenger.Api/Services/Settings.cs new file mode 100644 index 00000000..83cd74ec --- /dev/null +++ b/scr/Messenger.Api/Services/Settings.cs @@ -0,0 +1,136 @@ +namespace Messenger.Api.Services; + +// Все настройки читаются из IConfiguration (переменные окружения и, в тестах, UseSetting), а не напрямую из окружения: +// так одно приложение можно поднять с разными настройками в одном процессе. Секреты передаются файлами (*_FILE). + +public sealed record DatabaseSettings(string ConnectionString) +{ + public static DatabaseSettings From(IConfiguration configuration) + { + var file = configuration["DATABASE_URL_FILE"] + ?? throw new InvalidOperationException("DATABASE_URL_FILE не задан"); + + var builder = new Npgsql.NpgsqlConnectionStringBuilder(File.ReadAllText(file).Trim()) + { + Pooling = true, + MinPoolSize = 1, + // Ограниченный пул: больше MaxPoolSize соединений от одного экземпляра не открывается, + // ожидающие запросы ждут не дольше Timeout и затем получают 503. + MaxPoolSize = configuration.GetValue("DB_MAX_POOL_SIZE", 20), + Timeout = configuration.GetValue("DB_CONNECT_TIMEOUT_SECONDS", 5), + CommandTimeout = configuration.GetValue("DB_COMMAND_TIMEOUT_SECONDS", 5) + }; + return new DatabaseSettings(builder.ConnectionString); + } +} + +public sealed record AuthSessionOptions(TimeSpan Ttl) +{ + // SESSION_TTL_SECONDS: по умолчанию 3600; в тесте истечения допустимо 2. Неверное значение — ошибка старта, а не молчаливый дефолт. + public static AuthSessionOptions From(IConfiguration configuration) + { + var raw = configuration["SESSION_TTL_SECONDS"]; + if (string.IsNullOrWhiteSpace(raw)) + { + return new AuthSessionOptions(TimeSpan.FromSeconds(3600)); + } + + if (!int.TryParse(raw, out var seconds) || seconds < 1) + { + throw new InvalidOperationException("SESSION_TTL_SECONDS должен быть положительным целым числом"); + } + + return new AuthSessionOptions(TimeSpan.FromSeconds(seconds)); + } +} + +// Ограничитель Argon2: сколько хешей считается одновременно и сколько запрос ждёт свободный слот, прежде чем получить 503. +// Один хеш занимает ~19 MiB и ядро CPU, поэтому без лимита пачка регистраций исчерпала бы память. +public sealed record PasswordHashingSettings(int MaxConcurrency, TimeSpan QueueTimeout) +{ + public static PasswordHashingSettings From(IConfiguration configuration) + { + var concurrency = configuration.GetValue("PASSWORD_HASH_CONCURRENCY", 4); + var timeoutSeconds = configuration.GetValue("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", 2.0); + if (concurrency < 1 || timeoutSeconds < 0) + { + throw new InvalidOperationException("PASSWORD_HASH_CONCURRENCY >= 1 и PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS >= 0"); + } + + return new PasswordHashingSettings(concurrency, TimeSpan.FromSeconds(timeoutSeconds)); + } +} + +// Кэш необязателен: без CACHE_URL_FILE / CACHE_CONNECTION приложение работает только на PostgreSQL. +public sealed record CacheSettings(string? Connection, TimeSpan Ttl) +{ + public bool Enabled => !string.IsNullOrWhiteSpace(Connection); + + public static CacheSettings From(IConfiguration configuration) + { + var connection = configuration["CACHE_CONNECTION"]; + var file = configuration["CACHE_URL_FILE"]; + if (!string.IsNullOrWhiteSpace(file) && File.Exists(file)) + { + connection = File.ReadAllText(file).Trim(); + } + + return new CacheSettings(connection, TimeSpan.FromSeconds(configuration.GetValue("CACHE_TTL_SECONDS", 300))); + } +} + +// Диагностические заголовки X-Cache и X-Db-Queries для экспериментов; в обычной работе выключены. +public sealed record DiagnosticsSettings(bool Headers) +{ + public static DiagnosticsSettings From(IConfiguration configuration) => + new(configuration.GetValue("DIAGNOSTIC_HEADERS", false)); +} + +// Идентичность и жизненный цикл экземпляра (lab3). +// InstanceId — значение X-Instance-Id. В Docker hostname контейнера = первые 12 символов его ID, поэтому +// stop-one.sh по заголовку находит нужный контейнер. DrainDelay — пауза между SIGTERM и закрытием слушателя: +// за это время /health/ready уже отвечает 503, и балансировщик успевает вывести экземпляр из ротации. +// MigrateOnStart по умолчанию выключен: миграции выполняет отдельный one-shot контейнер (--migrate), а не гонка реплик. +public sealed record InstanceSettings(string InstanceId, TimeSpan DrainDelay, bool MigrateOnStart) +{ + public static InstanceSettings From(IConfiguration configuration) + { + var id = configuration["INSTANCE_ID"]; + if (string.IsNullOrWhiteSpace(id)) + { + id = Environment.MachineName; + } + + var drainSeconds = configuration.GetValue("SHUTDOWN_DRAIN_SECONDS", 3.0); + if (drainSeconds < 0) + { + throw new InvalidOperationException("SHUTDOWN_DRAIN_SECONDS должен быть >= 0"); + } + + return new InstanceSettings(id, TimeSpan.FromSeconds(drainSeconds), configuration.GetValue("MIGRATE_ON_START", false)); + } +} + +// Время хранения результата идемпотентной отправки сообщения (контракт: не менее 24 часов). +public sealed record IdempotencySettings(TimeSpan Ttl, TimeSpan CleanupInterval) +{ + public static IdempotencySettings From(IConfiguration configuration) + { + var ttl = configuration.GetValue("IDEMPOTENCY_TTL_SECONDS", 86400); + var cleanup = configuration.GetValue("IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS", 300); + if (ttl < 1 || cleanup < 1) + { + throw new InvalidOperationException("IDEMPOTENCY_TTL_SECONDS и IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS должны быть положительными"); + } + + return new IdempotencySettings(TimeSpan.FromSeconds(ttl), TimeSpan.FromSeconds(cleanup)); + } +} + +// Признак «экземпляр останавливается»: после SIGTERM /health/ready отвечает 503, а уже принятые запросы дорабатывают. +public sealed class ShutdownState +{ + private volatile bool _draining; + public bool Draining => _draining; + public void StartDraining() => _draining = true; +} diff --git a/scr/Messenger.Api/Services/Timestamps.cs b/scr/Messenger.Api/Services/Timestamps.cs new file mode 100644 index 00000000..d9601015 --- /dev/null +++ b/scr/Messenger.Api/Services/Timestamps.cs @@ -0,0 +1,13 @@ +namespace Messenger.Api.Services; + +public static class Timestamps +{ + // Единая точность времени для хранения, сортировки, cursor и JSON-ответа: миллисекунды. + // Клиент видит время с точностью до миллисекунды, поэтому порядок (created_at, id) должен + // определяться теми же значениями, которые он видит. + public static DateTimeOffset UtcNowMilliseconds() + { + var ticks = DateTimeOffset.UtcNow.UtcTicks; + return new DateTimeOffset(ticks - ticks % TimeSpan.TicksPerMillisecond, TimeSpan.Zero); + } +} diff --git a/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs new file mode 100644 index 00000000..bf12e0cd --- /dev/null +++ b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs @@ -0,0 +1,28 @@ +using System.Globalization; +using System.Text.Json; +using System.Text.Json.Serialization; + +namespace Messenger.Api.Services; + +public sealed class UtcDateTimeOffsetJsonConverter : JsonConverter +{ + public override DateTimeOffset Read( + ref Utf8JsonReader reader, + Type typeToConvert, + JsonSerializerOptions options) + { + return DateTimeOffset.Parse( + reader.GetString()!, + CultureInfo.InvariantCulture, + DateTimeStyles.RoundtripKind); + } + + public override void Write( + Utf8JsonWriter writer, + DateTimeOffset value, + JsonSerializerOptions options) + { + writer.WriteStringValue( + value.UtcDateTime.ToString("yyyy-MM-dd'T'HH:mm:ss.fff'Z'", CultureInfo.InvariantCulture)); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/appsettings.Development.json b/scr/Messenger.Api/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/scr/Messenger.Api/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/scr/Messenger.Api/appsettings.json b/scr/Messenger.Api/appsettings.json new file mode 100644 index 00000000..10f68b8c --- /dev/null +++ b/scr/Messenger.Api/appsettings.json @@ -0,0 +1,9 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*" +} diff --git a/scripts/collect-evidence.sh b/scripts/collect-evidence.sh new file mode 100755 index 00000000..54f69ac6 --- /dev/null +++ b/scripts/collect-evidence.sh @@ -0,0 +1,53 @@ +#!/bin/sh +# Воспроизводимо собирает доказательства уровней 3-4 в evidence/level3 (выполнять из WSL/Linux при поднятом стенде). +# Использование: BASE_URL=http://localhost:8080 scripts/collect-evidence.sh +# Секретов в выводе нет: токены тесты не печатают, значения secrets/ не читаются. +set -eu +cd "$(dirname "$0")/.." +BASE_URL=${BASE_URL:-http://localhost:8080} +OUT=evidence/level3 +mkdir -p "$OUT" + +started() { docker compose ps -q "$@" | while read -r id; do + printf '%s %s started=%s\n' "$(docker inspect -f '{{.Name}}' "$id")" "$(echo "$id" | cut -c1-12)" "$(docker inspect -f '{{.State.StartedAt}}' "$id")"; done; } + +{ + echo "# $(date -u +%FT%TZ) commit=$(git rev-parse --short HEAD 2>/dev/null || echo none)" + echo "## docker compose ps (публикуется только lb; у api порт только внутри сети)" + docker compose ps --format 'table {{.Name}}\t{{.Service}}\t{{.Status}}\t{{.Ports}}' + echo "## лимиты ресурсов (NanoCpus / Memory) и образы" + for id in $(docker compose ps -q); do + docker inspect -f '{{.Name}} cpus={{printf "%.2f" (div (printf "%d" .HostConfig.NanoCpus) 1000000000.0)}} mem_bytes={{.HostConfig.Memory}} image={{.Config.Image}}' "$id" 2>/dev/null \ + || docker inspect -f '{{.Name}} nanocpus={{.HostConfig.NanoCpus}} mem_bytes={{.HostConfig.Memory}} image={{.Config.Image}}' "$id" + done + echo "## container_name не задан; число реплик api:" + docker compose ps -q api | wc -l + echo "## состояние backend'ов в HAProxy" + docker compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="api"{print $1,$2,$18}' +} > "$OUT/topology.txt" 2>&1 + +python3 tests/smoke.py --base-url "$BASE_URL" > "$OUT/smoke.txt" 2>&1 || { cat "$OUT/smoke.txt"; exit 1; } + +python3 tools/lab3/idempotency_race.py --base-url "$BASE_URL" --rounds 20 --parallel 40 --output "$OUT/idempotency-race.json" > /dev/null + +for n in 1 2; do + { + echo "## failover #$n: контейнеры до" + docker compose ps --format '{{.Name}} {{.Status}}' | grep api + python3 tests/resilience.py --mode failover --action-script scripts/stop-one.sh --base-url "$BASE_URL" + echo "## контейнеры после (остановленная реплика должна быть Exited)" + docker compose ps -a --format '{{.Name}} {{.Status}}' | grep api + scripts/restore-replicas.sh | tail -n 1 + } > "$OUT/failover-$n.txt" 2>&1 +done + +{ + echo "## persistence: старт контейнеров ДО" + started db cache api lb + python3 tests/resilience.py --mode persistence --action-script scripts/restart.sh --base-url "$BASE_URL" + echo "## старт контейнеров ПОСЛЕ (время старта db/cache/api/lb должно измениться; volume pgdata прежний)" + started db cache api lb + docker volume ls --format "{{.Name}}" | grep -x "messenger-lab3_pgdata" +} > "$OUT/persistence.txt" 2>&1 + +echo "evidence written to $OUT" diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100755 index 00000000..056ffb76 --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,30 @@ +#!/bin/sh +# Создаёт локальные секреты для compose.yaml, если их ещё нет. Существующие файлы не перезаписываются. +# Пароль случайный (24 символа [A-Za-z0-9]); значения не печатаются. Каталог secrets/ исключён из Git. +set -eu +cd "$(dirname "$0")/.." + +mkdir -p secrets +umask 077 + +if [ ! -f secrets/db_password ]; then + # tr читает конечный поток /dev/urandom до нужной длины; head закрывает канал. + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/db_password + echo "created secrets/db_password" +fi + +if [ ! -f secrets/database_url.compose ]; then + printf 'Host=db;Port=5432;Database=messenger;Username=messenger;Password=%s' "$(cat secrets/db_password)" \ + > secrets/database_url.compose + echo "created secrets/database_url.compose" +fi + +if [ ! -f secrets/cache_password ]; then + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/cache_password + echo "created secrets/cache_password" +fi + +if [ ! -f secrets/cache_url ]; then + printf 'cache:6379,password=%s' "$(cat secrets/cache_password)" > secrets/cache_url + echo "created secrets/cache_url" +fi diff --git a/scripts/restart.sh b/scripts/restart.sh new file mode 100755 index 00000000..c4e66246 --- /dev/null +++ b/scripts/restart.sh @@ -0,0 +1,12 @@ +#!/bin/sh +# Полный перезапуск стенда для `make test-persistence`: останавливаются LB и все API-реплики, затем перезапускаются +# ВСЕ хранилища — PostgreSQL (тот же именованный volume) и Valkey (кэш без persistence: его содержимое после этого пусто), +# затем поднимаются migrate (идемпотентно), API и LB. Volumes не удаляются, данные не пересоздаются. +# Токены сессий и ключи идемпотентности живут в PostgreSQL, поэтому переживают этот перезапуск; кэш — только ускорение. +set -eu +cd "$(dirname "$0")/.." + +docker compose stop lb api +docker compose restart db cache +docker compose up -d --wait db cache +docker compose up -d --wait api lb diff --git a/scripts/restore-replicas.sh b/scripts/restore-replicas.sh new file mode 100755 index 00000000..f759dcef --- /dev/null +++ b/scripts/restore-replicas.sh @@ -0,0 +1,24 @@ +#!/bin/sh +# Возвращает остановленные API-реплики (после stop-one.sh) и ждёт, пока LB снова видит все реплики UP. +# Существующие контейнеры не пересоздаются (--no-recreate), зависимости (БД, миграции) не трогаются (--no-deps). +# Готовность подтверждает LB (readiness по HTTP), а не docker healthcheck: после разморозки он обновляется с задержкой. +set -eu +cd "$(dirname "$0")/.." + +# Замороженные (HARD_KILL=pause) реплики сначала размораживаются, остановленные запускает up. +docker compose unpause api >/dev/null 2>&1 || true +docker compose up -d --no-recreate --no-deps api >/dev/null + +expected=$(docker compose ps -q api | wc -l | tr -d ' ') +for _ in $(seq 1 60); do + # Статистика HAProxy изнутри контейнера lb: не зависит от пробросов портов хоста. + up=$(docker compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' 2>/dev/null \ + | awk -F, '$1=="api" && $2!="BACKEND" && $18=="UP"' | wc -l | tr -d ' ') + if [ "$up" = "$expected" ]; then + echo "LB sees ${up}/${expected} api replicas UP" + exit 0 + fi + sleep 1 +done +echo "LB did not report all replicas UP within 60 s" >&2 +exit 1 diff --git a/scripts/rolling-update.sh b/scripts/rolling-update.sh new file mode 100755 index 00000000..83365368 --- /dev/null +++ b/scripts/rolling-update.sh @@ -0,0 +1,48 @@ +#!/bin/sh +# Rolling update API без простоя: «surge +1, unavailable 0». +# 1. собрать новый образ (APP_VERSION) и однократно применить миграции (expand-only, совместимы со старой версией); +# 2. для каждой СТАРОЙ реплики: поднять одну НОВУЮ, дождаться, пока LB видит её UP, затем штатно остановить +# (SIGTERM → drain → выход) и удалить старую. Число реплик в рабочем состоянии не падает ниже исходного. +# Использование: scripts/rolling-update.sh [версия] (по умолчанию — метка времени) +set -eu +cd "$(dirname "$0")/.." + +APP_VERSION=${1:-$(date +%s)} +export APP_VERSION + +log() { printf '%s %s\n' "$(date +%H:%M:%S)" "$*"; } + +lb_up_count() { + docker compose exec -T lb wget -qO- 'http://127.0.0.1:8404/stats;csv' 2>/dev/null \ + | awk -F, '$1=="api" && $2!="BACKEND" && $18=="UP"' | wc -l | tr -d ' ' +} + +image_version() { + docker inspect -f '{{index .Config.Labels "org.opencontainers.image.version"}}' "$1" +} + +old_replicas=$(docker compose ps -q api) +count=$(echo "$old_replicas" | wc -l | tr -d ' ') +log "replicas before: ${count}; building version ${APP_VERSION}" + +docker compose build api >/dev/null +# Миграции — один раз, отдельным контейнером, ДО замены реплик. +docker compose run --rm --no-deps migrate >/dev/null +log "migrations applied once" + +for old in $old_replicas; do + docker compose up -d --no-recreate --no-deps --wait --scale api=$((count + 1)) api >/dev/null + for _ in $(seq 1 60); do + [ "$(lb_up_count)" = "$((count + 1))" ] && break + sleep 1 + done + [ "$(lb_up_count)" = "$((count + 1))" ] || { log "new replica did not become UP in LB; old replica kept" >&2; exit 1; } + log "new replica is UP in LB; stopping old $(echo "$old" | cut -c1-12) (version $(image_version "$old"))" + docker stop --time 10 "$old" >/dev/null + docker rm "$old" >/dev/null +done + +log "replicas after:" +for c in $(docker compose ps -q api); do + log " $(echo "$c" | cut -c1-12) version $(image_version "$c")" +done diff --git a/scripts/stop-one.sh b/scripts/stop-one.sh new file mode 100755 index 00000000..6c2a3e73 --- /dev/null +++ b/scripts/stop-one.sh @@ -0,0 +1,32 @@ +#!/bin/sh +# Останавливает ОДНУ API-реплику и оставляет её остановленной (для `make test-failover`). +# TARGET_INSTANCE_ID — значение X-Instance-Id реплики, обслужившей тест. Это hostname контейнера, то есть первые +# 12 символов его ID, поэтому по заголовку однозначно находится контейнер сервиса api. LB, БД, кэш и тома не затрагиваются. +# Остановка штатная (SIGTERM): реплика сначала отвечает на /health/ready кодом 503 (drain 3 с), затем закрывает слушатель. +# Вернуть реплику: scripts/restore-replicas.sh. Вывод не содержит секретов. +set -eu +cd "$(dirname "$0")/.." + +: "${TARGET_INSTANCE_ID:?test provides target API instance alias}" +case "$TARGET_INSTANCE_ID" in + *[!0-9a-f]*) echo "TARGET_INSTANCE_ID must be a hex container id prefix" >&2; exit 2 ;; +esac + +# Ищем только среди запущенных контейнеров сервиса api этого проекта: чужие контейнеры остановить нельзя. +container=$(docker compose ps -q api | grep "^${TARGET_INSTANCE_ID}" | head -n 1 || true) +if [ -z "$container" ]; then + echo "no running api container with id prefix ${TARGET_INSTANCE_ID}" >&2 + exit 3 +fi + +echo "stopping api replica $(echo "$container" | cut -c1-12)" +if [ "${HARD_KILL:-0}" = "1" ]; then + # Эксперимент «аварийный отказ процесса»: SIGKILL без drain, соединения обрываются мгновенно. + docker kill "$container" >/dev/null +elif [ "${HARD_KILL:-0}" = "pause" ]; then + # Эксперимент «зависший backend»: процесс заморожен, порт открыт, но ответов нет (худший случай для обнаружения). + docker pause "$container" >/dev/null +else + # --time 10: если приложение не завершилось за 10 с после SIGTERM, Docker шлёт SIGKILL. + docker stop --time 10 "$container" >/dev/null +fi diff --git a/tools/LoadTest/Helpers.cs b/tools/LoadTest/Helpers.cs new file mode 100644 index 00000000..c4c5fc6a --- /dev/null +++ b/tools/LoadTest/Helpers.cs @@ -0,0 +1,62 @@ +using System; +using System.Collections.Generic; +using System.Net; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +namespace LoadTest +{ + internal sealed record TestUser(Guid Id, string Username); + internal class Helpers + { + public static StringContent Json(string raw) => + new(raw, Encoding.UTF8, "application/json"); + + public static HttpRequestMessage Request(HttpMethod method, string url, Guid? userId = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (userId is not null) + { + request.Headers.Add("X-User-Id", userId.Value.ToString()); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест" }); + var json = await ReadJsonAsync(response); + response.EnsureSuccessStatusCode(); + return new TestUser(json.GetProperty("id").GetGuid(), username); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner.Id, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + public static async Task SendMessageAsync(HttpClient client, TestUser sender, Guid chatId, string text) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender.Id, + JsonContent.Create(new { text })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return response; + } + } +} diff --git a/tools/LoadTest/LoadTest.csproj b/tools/LoadTest/LoadTest.csproj new file mode 100644 index 00000000..ed9781c2 --- /dev/null +++ b/tools/LoadTest/LoadTest.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/LoadTest/Phases.cs b/tools/LoadTest/Phases.cs new file mode 100644 index 00000000..46a4f82d --- /dev/null +++ b/tools/LoadTest/Phases.cs @@ -0,0 +1,143 @@ +using System.Diagnostics; + +namespace LoadTest +{ + /// Пользователь и чат с заранее залитой историей; Cursor — позиция нужной страницы (null = первая). + internal sealed record Scenario(Guid UserId, Guid ChatId, string? Cursor); + + /// Сырые данные измерения: задержки успешных запросов, число ошибок и фактическая длительность. + internal sealed record MeasureResult(List LatenciesMs, int Errors, double ElapsedSeconds); + + internal sealed record Summary( + int Successful, + int Errors, + double ElapsedSeconds, + double Rps, + double P50Ms, + double P95Ms, + double P99Ms, + double MaxMs); + + internal static class Phases + { + /// Создаёт пользователя и чат и заливает historySize сообщений не более чем в fillConcurrency потоков. + public static async Task PrepareAsync( + HttpClient client, int historySize, int fillConcurrency, int limit, bool lastPage) + { + var user = await Helpers.CreateUserAsync(client); + var chatId = await Helpers.CreateChatAsync(client, user); + + var options = new ParallelOptions { MaxDegreeOfParallelism = fillConcurrency }; + await Parallel.ForEachAsync(Enumerable.Range(0, historySize), options, async (i, _) => + { + using var response = await Helpers.SendMessageAsync(client, user, chatId, $"history message {i}"); + response.EnsureSuccessStatusCode(); + }); + + string? cursor = null; + if (lastPage) + { + cursor = await FindLastPageCursorAsync(client, user, chatId, limit); + } + + return new Scenario(user.Id, chatId, cursor); + } + + public static async Task WarmUpAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + // Результат прогрева отбрасывается: он нужен только для JIT, пулов потоков и соединений. + await MeasureAsync(client, scenario, clients, duration, limit); + } + + /// Замкнутый цикл: каждый из clients клиентов шлёт GET страницы истории до истечения duration. + public static async Task MeasureAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + var url = PageUrl(scenario.ChatId, limit, scenario.Cursor); + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + + // У каждого клиента свой список задержек: общей изменяемой структуры нет, блокировки не нужны. + var workers = Enumerable.Range(0, clients).Select(_ => Task.Run(async () => + { + var latencies = new List(); + var errors = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var requestStarted = Stopwatch.GetTimestamp(); + try + { + using var request = Helpers.Request(HttpMethod.Get, url, scenario.UserId); + // Тело читается целиком (буферизация по умолчанию), но не разбирается как JSON. + using var response = await client.SendAsync(request); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(requestStarted).TotalMilliseconds); + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors); + })).ToArray(); + + var results = await Task.WhenAll(workers); + var elapsed = Stopwatch.GetElapsedTime(started).TotalSeconds; + + return new MeasureResult( + results.SelectMany(r => r.latencies).ToList(), + results.Sum(r => r.errors), + elapsed); + } + + public static Summary GetResults(MeasureResult result) + { + var sorted = result.LatenciesMs.OrderBy(x => x).ToList(); + double Percentile(double p) => + sorted.Count == 0 ? double.NaN : sorted[Math.Max(0, (int)Math.Ceiling(p * sorted.Count) - 1)]; + + return new Summary( + sorted.Count, + result.Errors, + Math.Round(result.ElapsedSeconds, 3), + Math.Round(sorted.Count / result.ElapsedSeconds, 2), + Math.Round(Percentile(0.50), 3), + Math.Round(Percentile(0.95), 3), + Math.Round(Percentile(0.99), 3), + sorted.Count == 0 ? double.NaN : Math.Round(sorted[^1], 3)); + } + + private static string PageUrl(Guid chatId, int limit, string? cursor) => + $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + + /// Идёт по страницам до конца и возвращает cursor, с которым была запрошена последняя страница. + private static async Task FindLastPageCursorAsync( + HttpClient client, TestUser user, Guid chatId, int limit) + { + string? cursor = null; + while (true) + { + using var request = Helpers.Request(HttpMethod.Get, PageUrl(chatId, limit, cursor), user.Id); + using var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + var page = await Helpers.ReadJsonAsync(response); + var next = page.GetProperty("next_cursor"); + if (next.ValueKind == System.Text.Json.JsonValueKind.Null) + { + return cursor; + } + + cursor = next.GetString(); + } + } + } +} diff --git a/tools/LoadTest/Program.cs b/tools/LoadTest/Program.cs new file mode 100644 index 00000000..2025f313 --- /dev/null +++ b/tools/LoadTest/Program.cs @@ -0,0 +1,91 @@ +using System.Text.Json; +using LoadTest; + +// Использование (запускать в Release, сервер должен быть уже запущен): +// dotnet run -c Release --project tools/LoadTest -- --history 10000 --clients 8 --duration 15 \ +// --container mtusi-messenger-lab1 --label before --output evidence/track1/results.jsonl +var options = ParseArguments(args); +string Get(string key, string fallback) => options.TryGetValue(key, out var value) ? value : fallback; + +var url = Get("url", "http://127.0.0.1:8080"); +var history = int.Parse(Get("history", "1000")); +var clients = int.Parse(Get("clients", "1")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "15"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "3"))); +var limit = int.Parse(Get("limit", "50")); +var fillConcurrency = int.Parse(Get("fill-concurrency", "16")); +var lastPage = Get("page", "first") == "last"; +var container = options.GetValueOrDefault("container"); +var label = Get("label", "run"); +var output = options.GetValueOrDefault("output"); + +using var client = new HttpClient { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +var rssIdle = Rss.ReadMegabytes(container); +Console.Error.WriteLine($"[1/4] prepare: filling {history} messages ({fillConcurrency} parallel)..."); +var scenario = await Phases.PrepareAsync(client, history, fillConcurrency, limit, lastPage); +var rssAfterPrepare = Rss.ReadMegabytes(container); + +Console.Error.WriteLine($"[2/4] warm-up: {warmup.TotalSeconds} s, {clients} clients"); +await Phases.WarmUpAsync(client, scenario, clients, warmup, limit); + +Console.Error.WriteLine($"[3/4] measure: {duration.TotalSeconds} s, {clients} clients, page={(lastPage ? "last" : "first")}"); +var measured = await Phases.MeasureAsync(client, scenario, clients, duration, limit); +var rssAfterMeasure = Rss.ReadMegabytes(container); + +Console.Error.WriteLine("[4/4] results"); +var summary = Phases.GetResults(measured); + +var report = new +{ + label, + timestamp = DateTimeOffset.UtcNow.ToString("O"), + history, + clients, + page = lastPage ? "last" : "first", + limit, + duration_seconds = duration.TotalSeconds, + successful_requests = summary.Successful, + errors = summary.Errors, + elapsed_seconds = summary.ElapsedSeconds, + rps = summary.Rps, + p50_ms = summary.P50Ms, + p95_ms = summary.P95Ms, + p99_ms = summary.P99Ms, + max_ms = summary.MaxMs, + rss_mb_idle = rssIdle, + rss_mb_after_prepare = rssAfterPrepare, + rss_mb_after_measure = rssAfterMeasure, +}; + +var json = JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = false }); +Console.WriteLine(JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = true })); + +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, json + Environment.NewLine); +} + +return summary.Errors == 0 && summary.Successful > 0 ? 0 : 1; + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--")) + { + throw new ArgumentException($"Unexpected argument: {args[i]}"); + } + + if (i + 1 >= args.Length) + { + throw new ArgumentException($"Missing value for {args[i]}"); + } + + result[args[i][2..]] = args[++i]; + } + + return result; +} diff --git a/tools/LoadTest/Rss.cs b/tools/LoadTest/Rss.cs new file mode 100644 index 00000000..6b2fdeb0 --- /dev/null +++ b/tools/LoadTest/Rss.cs @@ -0,0 +1,45 @@ +using System.Diagnostics; + +namespace LoadTest +{ + internal static class Rss + { + /// + /// RSS процесса приложения в МБ: читает VmRSS из /proc/1/status внутри контейнера + /// (PID 1 — dotnet, ENTRYPOINT в exec-форме). Возвращает null, если контейнер не задан или недоступен. + /// + public static double? ReadMegabytes(string? container) + { + if (string.IsNullOrEmpty(container)) + { + return null; + } + + try + { + var info = new ProcessStartInfo("docker", ["exec", container, "cat", "/proc/1/status"]) + { + RedirectStandardOutput = true, + RedirectStandardError = true, + }; + using var process = Process.Start(info)!; + var output = process.StandardOutput.ReadToEnd(); + process.WaitForExit(); + + var line = output.Split('\n').FirstOrDefault(l => l.StartsWith("VmRSS:")); + if (line is null) + { + return null; + } + + var kb = double.Parse(line.Split(' ', StringSplitOptions.RemoveEmptyEntries)[1], + System.Globalization.CultureInfo.InvariantCulture); + return Math.Round(kb / 1024, 1); + } + catch (Exception) + { + return null; + } + } + } +} diff --git a/tools/LoadTest/run-matrix.ps1 b/tools/LoadTest/run-matrix.ps1 new file mode 100644 index 00000000..f71090a9 --- /dev/null +++ b/tools/LoadTest/run-matrix.ps1 @@ -0,0 +1,88 @@ +<# +.SYNOPSIS + Track 1: матрица размер истории x число клиентов с перезапуском контейнера на каждую точку. + +.EXAMPLE + # замеры "до" (образ уже собран) + .\tools\LoadTest\run-matrix.ps1 -Label before + # замеры "после": пересобрать образ и повторить те же точки + .\tools\LoadTest\run-matrix.ps1 -Label after -Rebuild + # быстрая проверка скрипта + .\tools\LoadTest\run-matrix.ps1 -Label smoke -Sizes 1000 -Clients 1 -Repeats 1 -Duration 3 -Warmup 2 -Output $env:TEMP\smoke.jsonl +#> +[CmdletBinding()] +param( + [string]$Label = 'before', + [int[]]$Sizes = @(1000, 10000, 50000), + [int[]]$Clients = @(1, 8, 32), + [int]$Repeats = 2, + [int]$Duration = 8, + [int]$Warmup = 5, + [string]$Cpus = '2', + [string]$Memory = '512m', + [string]$Output = 'evidence/track1/results.jsonl', + [string]$Image = 'mtusi-messenger:lab1', + [ValidateSet('first', 'last')][string]$Page = 'first', + [switch]$Rebuild +) + +$ErrorActionPreference = 'Stop' +Set-Location (Resolve-Path (Join-Path $PSScriptRoot '..\..')) + +$name = 'mtusi-messenger-lab1' +$url = 'http://127.0.0.1:8080' + +function Remove-Api { + if (docker ps -aq --filter "name=^/$name$") { + docker rm -f $name | Out-Null + } +} + +function Start-Api { + Remove-Api + docker run -d --rm --name $name --cpus $Cpus --memory $Memory ` + -p 127.0.0.1:8080:8080 --env-file .env $Image | Out-Null + for ($i = 0; $i -lt 60; $i++) { + try { + if ((Invoke-WebRequest "$url/health/ready" -UseBasicParsing -TimeoutSec 2).StatusCode -eq 200) { return } + } catch { } + Start-Sleep -Milliseconds 500 + } + throw 'API did not become ready within 30 s' +} + +if ($Rebuild) { + Write-Host 'Rebuilding image...' + docker build -t $Image . | Out-Null + if ($LASTEXITCODE -ne 0) { throw 'docker build failed' } +} + +dotnet build tools/LoadTest -c Release -v q | Out-Null +if ($LASTEXITCODE -ne 0) { throw 'LoadTest build failed' } + +$points = @(foreach ($n in $Sizes) { foreach ($c in $Clients) { [pscustomobject]@{ History = $n; Clients = $c } } }) +$total = $points.Count * $Repeats +$done = 0 +$started = Get-Date +Write-Host "Label=$Label page=$Page points=$($points.Count) repeats=$Repeats runs=$total cpus=$Cpus memory=$Memory output=$Output" + +try { + for ($rep = 1; $rep -le $Repeats; $rep++) { + # Случайный порядок точек в каждом повторе: эффект прогрева не должен совпасть с одним размером. + foreach ($p in ($points | Sort-Object { Get-Random })) { + $done++ + Write-Host ("[{0}/{1}] rep={2} history={3} clients={4} (elapsed {5:mm\:ss})" -f $done, $total, $rep, $p.History, $p.Clients, ((Get-Date) - $started)) + Start-Api + dotnet run -c Release --project tools/LoadTest --no-build -- ` + --url $url --history $p.History --clients $p.Clients ` + --duration $Duration --warmup $Warmup ` + --page $Page --container $name --label "$Label-r$rep" --output $Output | Out-Null + if ($LASTEXITCODE -ne 0) { Write-Warning "run failed (exit $LASTEXITCODE), continuing" } + } + } +} +finally { + Remove-Api +} + +Write-Host ("Done in {0:mm\:ss}. Results appended to {1}" -f ((Get-Date) - $started), $Output) diff --git a/tools/LoadTest/summarize.py b/tools/LoadTest/summarize.py new file mode 100644 index 00000000..b307fdcf --- /dev/null +++ b/tools/LoadTest/summarize.py @@ -0,0 +1,76 @@ +import json, statistics as st, collections, sys + +path = sys.argv[1] +rows = [json.loads(l) for l in open(path, encoding='utf-8') if l.strip()] + +def group(prefix, page='first'): + g = collections.defaultdict(list) + for r in rows: + if r['label'].startswith(prefix) and r['page'] == page: + g[(r['history'], r['clients'])].append(r) + return g + +def mean(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return st.mean(v) + +def rng(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return min(v), max(v) + +before = group('before-r') +after = group('after-r') + +out = [] +out.append('Track 1: before/after summary (mean of repeats; page=first, limit=50; container --cpus=2 --memory=512m)') +out.append('') +hdr = f"{'N':>6} {'C':>3} {'runs':>4} | {'RPS before':>10} {'RPS after':>10} {'x':>6} | {'p50 b':>7} {'p50 a':>7} | {'p95 b':>7} {'p95 a':>7} | {'p99 b':>7} {'p99 a':>7} | {'RSS prep b/a':>12} {'RSS end b/a':>12} | err b/a" +out.append(hdr) +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if not b or not a: + continue + rb, ra = mean(b, 'rps'), mean(a, 'rps') + out.append( + f"{key[0]:>6} {key[1]:>3} {len(b):>1}/{len(a):<2} | {rb:>10.0f} {ra:>10.0f} {ra/rb:>6.1f} | " + f"{mean(b,'p50_ms'):>7.1f} {mean(a,'p50_ms'):>7.1f} | {mean(b,'p95_ms'):>7.1f} {mean(a,'p95_ms'):>7.1f} | " + f"{mean(b,'p99_ms'):>7.1f} {mean(a,'p99_ms'):>7.1f} | " + f"{mean(b,'rss_mb_after_prepare'):>5.0f}/{mean(a,'rss_mb_after_prepare'):<5.0f} {mean(b,'rss_mb_after_measure'):>5.0f}/{mean(a,'rss_mb_after_measure'):<5.0f} | " + f"{sum(r['errors'] for r in b)}/{sum(r['errors'] for r in a)}") + +out.append('') +out.append('RPS spread (min-max across repeats):') +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if b and a: + out.append(f" N={key[0]:>6} C={key[1]:>2} before {rng(b,'rps')[0]:.0f}-{rng(b,'rps')[1]:.0f} after {rng(a,'rps')[0]:.0f}-{rng(a,'rps')[1]:.0f}") + +out.append('') +out.append('Idle RSS (empty process, MB): before %.0f, after %.0f' % ( + st.mean([r['rss_mb_idle'] for rs in before.values() for r in rs]), + st.mean([r['rss_mb_idle'] for rs in after.values() for r in rs]))) + +# last page vs first page at N=50000, C=8 +bl, al = group('before-last', 'last'), group('after-last', 'last') +out.append('') +out.append('First vs last page, N=50000, C=8 (mean RPS / p95 ms):') +key = (50000, 8) +for name, g_first, g_last in (('before', before, bl), ('after', after, al)): + f, l = g_first.get(key, []), g_last.get(key, []) + if f and l: + out.append(f" {name}: first {mean(f,'rps'):.0f} rps / {mean(f,'p95_ms'):.1f} ms ({len(f)} runs); last {mean(l,'rps'):.0f} rps / {mean(l,'p95_ms'):.1f} ms ({len(l)} runs)") + +# saturation: RPS growth with clients per N +out.append('') +out.append('Throughput vs clients (mean RPS):') +for name, g in (('before', before), ('after', after)): + for n in sorted({k[0] for k in g}): + out.append(f" {name} N={n:>6}: " + ' '.join(f"C={c}: {mean(g[(n,c)],'rps'):.0f}" for c in sorted({k[1] for k in g if k[0]==n}))) + +# per-message cost under saturation (before): 1000/rps at C=32 -> ms per request +out.append('') +out.append('Service time at saturation, C=32 (ms per request = 1000/RPS):') +for name, g in (('before', before), ('after', after)): + out.append(f" {name}: " + ' '.join(f"N={n}: {1000/mean(g[(n,32)],'rps'):.3f}" for n in sorted({k[0] for k in g}) if (n, 32) in g)) + +print('\n'.join(out)) diff --git a/tools/ScaleLoad/Program.cs b/tools/ScaleLoad/Program.cs new file mode 100644 index 00000000..435c11da --- /dev/null +++ b/tools/ScaleLoad/Program.cs @@ -0,0 +1,209 @@ +using System.Diagnostics; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +// Генератор нагрузки для трека 1 (цена масштабирования). Замкнутый цикл: каждый из --clients потоков шлёт запрос, +// ждёт ответ и сразу шлёт следующий. Профиль: --write-ratio доля POST сообщения (уникальный Idempotency-Key), +// остальное — GET страницы истории (limit=50). У каждого пользователя свой чат с --history сообщений, +// поэтому записи разных клиентов не сериализуются на одной строке чата. +// +// Запуск (стенд поднят): +// dotnet run -c Release --project tools/ScaleLoad -- --url http://localhost:8081 --clients 64 --duration 20 \ +// --label A-2x1.0 --output evidence/track1/results.jsonl +// Загрузка CPU контейнеров снимается `docker stats` во время измерения (если доступен docker CLI). +var o = ParseArguments(args); +string Get(string k, string d) => o.TryGetValue(k, out var v) ? v : d; +var url = Get("url", "http://localhost:8080"); +var clients = int.Parse(Get("clients", "32")); +var users = int.Parse(Get("users", "32")); +var history = int.Parse(Get("history", "200")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "20"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "5"))); +var writeRatio = double.Parse(Get("write-ratio", "0.2"), System.Globalization.CultureInfo.InvariantCulture); +var label = Get("label", "run"); +var output = o.GetValueOrDefault("output"); +var project = Get("compose-project", "messenger-lab3"); + +var handler = new SocketsHttpHandler { MaxConnectionsPerServer = clients * 2, PooledConnectionLifetime = TimeSpan.FromMinutes(5) }; +using var http = new HttpClient(handler) { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +Console.Error.WriteLine($"[1/4] prepare: {users} users, {history} messages per chat"); +var actors = await Prepare(http, users, history); + +Console.Error.WriteLine($"[2/4] warm-up {warmup.TotalSeconds}s, {clients} clients"); +await Measure(http, actors, clients, warmup, writeRatio); + +Console.Error.WriteLine($"[3/4] measure {duration.TotalSeconds}s"); +using var statsCts = new CancellationTokenSource(); +var statsTask = Task.Run(() => SampleDockerStats(project, statsCts.Token)); +var r = await Measure(http, actors, clients, duration, writeRatio); +statsCts.Cancel(); +var stats = await statsTask; + +Console.Error.WriteLine("[4/4] results"); +var lat = r.Latencies.OrderBy(x => x).ToArray(); +double P(double p) => lat.Length == 0 ? double.NaN : Math.Round(lat[Math.Max(0, (int)Math.Ceiling(p * lat.Length) - 1)], 2); +var report = new Dictionary +{ + ["label"] = label, + ["timestamp"] = DateTimeOffset.UtcNow.ToString("O"), + ["clients"] = clients, ["users"] = users, ["history"] = history, ["write_ratio"] = writeRatio, + ["duration_s"] = Math.Round(r.Elapsed, 2), + ["ok"] = lat.Length, ["errors"] = r.Errors, ["ok_get"] = r.OkGet, ["ok_post"] = r.OkPost, + ["rps"] = Math.Round(lat.Length / r.Elapsed, 1), + ["p50_ms"] = P(0.50), ["p95_ms"] = P(0.95), ["p99_ms"] = P(0.99), + ["cpu_pct"] = stats, +}; +var line = JsonSerializer.Serialize(report); +Console.WriteLine(line); +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, line + Environment.NewLine); +} +return r.Errors == 0 ? 0 : 1; + +static async Task Prepare(HttpClient http, int users, int history) +{ + var result = new Actor[users]; + await Parallel.ForEachAsync(Enumerable.Range(0, users), new ParallelOptions { MaxDegreeOfParallelism = 4 }, async (i, ct) => + { + var username = "sl" + Guid.NewGuid().ToString("N")[..14]; + var password = "Load-" + Guid.NewGuid().ToString("N"); + using var reg = await http.PostAsJsonAsync("/api/v1/users", new { username, display_name = "Load", password }, ct); + reg.EnsureSuccessStatusCode(); + var me = (await reg.Content.ReadFromJsonAsync(ct)).GetProperty("id").GetGuid(); + using var login = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + login.Headers.Authorization = new AuthenticationHeaderValue("Basic", Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}"))); + using var loginResponse = await http.SendAsync(login, ct); + loginResponse.EnsureSuccessStatusCode(); + var token = (await loginResponse.Content.ReadFromJsonAsync(ct)).GetProperty("token").GetString()!; + using var chatRequest = Authorized(HttpMethod.Post, "/api/v1/chats", token); + chatRequest.Content = JsonContent.Create(new { title = "Load", member_ids = new[] { me } }); + using var chatResponse = await http.SendAsync(chatRequest, ct); + chatResponse.EnsureSuccessStatusCode(); + var chatId = (await chatResponse.Content.ReadFromJsonAsync(ct)).GetProperty("id").GetGuid(); + for (var m = 0; m < history; m++) + { + using var post = PostMessage(chatId, token, $"history {m}"); + using var response = await http.SendAsync(post, ct); + response.EnsureSuccessStatusCode(); + } + result[i] = new Actor(token, chatId); + }); + return result; +} + +static HttpRequestMessage Authorized(HttpMethod method, string path, string token) +{ + var request = new HttpRequestMessage(method, path); + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", token); + return request; +} + +static HttpRequestMessage PostMessage(Guid chatId, string token, string text) +{ + var request = Authorized(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", token); + request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N")); + request.Content = JsonContent.Create(new { text }); + return request; +} + +static async Task Measure(HttpClient http, Actor[] actors, int clients, TimeSpan duration, double writeRatio) +{ + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + var workers = Enumerable.Range(0, clients).Select(i => Task.Run(async () => + { + var actor = actors[i % actors.Length]; + var rnd = new Random(i * 7919 + Environment.TickCount); + var latencies = new List(); + int errors = 0, okGet = 0, okPost = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var write = rnd.NextDouble() < writeRatio; + var t = Stopwatch.GetTimestamp(); + try + { + using var request = write + ? PostMessage(actor.ChatId, actor.Token, "load " + Guid.NewGuid().ToString("N")) + : Authorized(HttpMethod.Get, $"/api/v1/chats/{actor.ChatId}/messages?limit=50", actor.Token); + using var response = await http.SendAsync(request); + await response.Content.ReadAsByteArrayAsync(); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(t).TotalMilliseconds); + if (write) okPost++; else okGet++; + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors, okGet, okPost); + })).ToArray(); + + var results = await Task.WhenAll(workers); + return new Result( + results.SelectMany(x => x.latencies).ToList(), results.Sum(x => x.errors), + results.Sum(x => x.okGet), results.Sum(x => x.okPost), Stopwatch.GetElapsedTime(started).TotalSeconds); +} + +// Средняя загрузка CPU (в % одного ядра, как в docker stats) по роли контейнера за время измерения. +static async Task> SampleDockerStats(string project, CancellationToken ct) +{ + var sums = new Dictionary(); + try + { + while (!ct.IsCancellationRequested) + { + var info = new ProcessStartInfo("docker", ["stats", "--no-stream", "--format", "{{.Name}} {{.CPUPerc}}"]) + { RedirectStandardOutput = true, RedirectStandardError = true }; + using var p = Process.Start(info)!; + var text = await p.StandardOutput.ReadToEndAsync(ct); + await p.WaitForExitAsync(ct); + // Внутри одного снимка суммируем реплики одной роли, затем усредняем снимки. + var snapshot = new Dictionary(); + foreach (var line in text.Split('\n', StringSplitOptions.RemoveEmptyEntries)) + { + var parts = line.Trim().Split(' '); + if (parts.Length < 2 || !parts[0].StartsWith(project + "-")) continue; + var role = parts[0][(project.Length + 1)..]; + role = role[..role.LastIndexOf('-')]; + if (!double.TryParse(parts[1].TrimEnd('%'), System.Globalization.NumberStyles.Float, System.Globalization.CultureInfo.InvariantCulture, out var cpu)) continue; + snapshot[role] = snapshot.GetValueOrDefault(role) + cpu; + } + + foreach (var (role, cpu) in snapshot) + { + var (sum, n) = sums.GetValueOrDefault(role); + sums[role] = (sum + cpu, n + 1); + } + } + } + catch (OperationCanceledException) { } + catch (Exception) { } + return sums.ToDictionary(kv => kv.Key, kv => Math.Round(kv.Value.Sum / Math.Max(1, kv.Value.N), 1)); +} + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--") || i + 1 >= args.Length) throw new ArgumentException($"Bad argument: {args[i]}"); + result[args[i][2..]] = args[++i]; + } + return result; +} + +internal sealed record Actor(string Token, Guid ChatId); +internal sealed record Result(List Latencies, int Errors, int OkGet, int OkPost, double Elapsed); diff --git a/tools/ScaleLoad/ScaleLoad.csproj b/tools/ScaleLoad/ScaleLoad.csproj new file mode 100644 index 00000000..dfb40caa --- /dev/null +++ b/tools/ScaleLoad/ScaleLoad.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/ScaleLoad/compose.cpuset.yaml b/tools/ScaleLoad/compose.cpuset.yaml new file mode 100644 index 00000000..83c4136d --- /dev/null +++ b/tools/ScaleLoad/compose.cpuset.yaml @@ -0,0 +1,6 @@ +# Override для эксперимента трека 1: API закрепляется за ядрами (cpuset) вместо квоты CFS. +# Использование: COMPOSE_FILE=compose.yaml:tools/ScaleLoad/compose.cpuset.yaml API_CPUSET=0-1 API_CPUS=16 docker compose up -d ... +# API_CPUS=16 делает квоту CFS практически неограниченной: бюджет задаёт только cpuset. +services: + api: + cpuset: ${API_CPUSET:?задайте API_CPUSET, например 0-1} diff --git a/tools/ScaleLoad/run-config.sh b/tools/ScaleLoad/run-config.sh new file mode 100644 index 00000000..75442802 --- /dev/null +++ b/tools/ScaleLoad/run-config.sh @@ -0,0 +1,30 @@ +#!/bin/bash +# Один замер трека 1: применяет конфигурацию стенда (реплики/ресурсы), ждёт готовности LB и запускает ScaleLoad. +# Использование: +# tools/ScaleLoad/run-config.sh