diff --git a/.dockerignore b/.dockerignore index bc16e556..65b65779 100644 --- a/.dockerignore +++ b/.dockerignore @@ -18,3 +18,6 @@ __pycache__ node_modules evidence .DS_Store +**/bin +**/obj +**/.vs diff --git a/.env.example b/.env.example index d99d26a2..a6ebbc7a 100644 --- a/.env.example +++ b/.env.example @@ -10,11 +10,17 @@ DATABASE_URL_FILE=/run/secrets/database_url SESSION_STORE=postgres CACHE_URL_FILE=/run/secrets/cache_url API_REPLICAS=2 +# Host ports; APP_PORT remains the internal API port. +LB_PUBLISHED_PORT=18084 +LB_STATS_PORT=18404 IDEMPOTENCY_TTL_SECONDS=86400 S3_ENDPOINT=http://s3:9000 S3_REGION=us-east-1 S3_BUCKET=messenger-attachments +# API credentials only; root credentials are generated separately by scripts/init-secrets.sh. S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_access_key_id S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_secret_access_key MAX_UPLOAD_BYTES=10485760 MAX_IMAGE_PIXELS=40000000 +UPLOAD_CLEANUP_GRACE_SECONDS=300 +UPLOAD_CLEANUP_INTERVAL_SECONDS=30 diff --git a/.gitattributes b/.gitattributes new file mode 100644 index 00000000..44a83f01 --- /dev/null +++ b/.gitattributes @@ -0,0 +1,2 @@ +# Shell scripts run in Linux containers even when checked out on Windows. +*.sh text eol=lf diff --git a/Dockerfile b/Dockerfile new file mode 100644 index 00000000..dc1afe3a --- /dev/null +++ b/Dockerfile @@ -0,0 +1,34 @@ +# Версии закреплены тегом и digest (SDK 10.0.401, runtime 10.0.12), сборка воспроизводима. +FROM mcr.microsoft.com/dotnet/sdk:10.0.401@sha256:e70cdb7f80b0348f5cb85f19a8f670fca061f033d57eed12fa003d58b0e06317 AS build +WORKDIR /src + +COPY scr/Messenger.Api/Messenger.Api.csproj scr/Messenger.Api/ +RUN dotnet restore scr/Messenger.Api/Messenger.Api.csproj + +COPY scr/Messenger.Api/ scr/Messenger.Api/ +RUN dotnet publish scr/Messenger.Api/Messenger.Api.csproj \ + --configuration Release \ + --output /app/publish \ + --no-restore + +FROM mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 AS runtime +WORKDIR /app + +COPY --from=build /app/publish . + +# Версия сборки (видна в логе старта; отличает старую реплику от новой при rolling update). +# ARG стоит после COPY: смена версии пересобирает только этот слой, а не всю сборку. +ARG APP_VERSION=dev +ENV APP_VERSION=${APP_VERSION} +LABEL org.opencontainers.image.version=${APP_VERSION} + +ENV ASPNETCORE_URLS=http://0.0.0.0:8080 +EXPOSE 8080 + +# Непривилегированный пользователь (APP_UID задан в базовом образе aspnet). +USER $APP_UID + +# curl в образе нет, поэтому проверку выполняет само приложение (/health/live). +HEALTHCHECK --interval=10s --timeout=3s --start-period=5s --retries=3 CMD ["dotnet", "Messenger.Api.dll", "--healthcheck"] + +ENTRYPOINT ["dotnet", "Messenger.Api.dll"] \ No newline at end of file diff --git a/REPORT.md b/REPORT.md index 9ad2b84f..df59a47d 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,37 +1,103 @@ # Отчёт — лабораторная 4 -- Автор, группа: TODO -- Целевая оценка; выбранный трек 5, если нужен: TODO +- Автор, группа: Полуднев Юлиан, БВТ2303 +- Состояние: реализован минимум на 3 и все пункты уровня 4; исследовательский трек 5 не заявлен. - Commit/PR: TODO после публикации -- Использованные источники, библиотеки и помощь ИИ: TODO +- Библиотеки: AWSSDK.S3 4.1.0, StbImageSharp 2.30.16 (декодирование PNG/JPEG), EF Core/Npgsql, Argon2 и Valkey-клиент из lab3. Claude помог с реализацией, разбором ошибок и проверками; ## Запуск из чистого clone -TODO: версии runtime/образов, prerequisites, команды создания локальных secrets/.env, build, миграций, запуска, ожидания готовности, тестов и остановки. Указать необходимые действия оператора. Не вставлять секреты. Отдельно указать безопасную остановку и команду намеренного удаления учебных данных. +Нужны Docker с Compose, Python 3.9+, Git Bash/WSL для `sh`; для собственных C#-тестов — .NET SDK 10.0.401. Dockerfile закрепляет SDK 10.0.401 и ASP.NET Runtime 10.0.12 по digest; все образы сервисов закреплены в Compose. + +```sh +# Только для первого запуска, если .env ещё нет: +cp .env.example .env +sh scripts/init-secrets.sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --build --wait +python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084 +python -X utf8 scripts/check_contract.py +python -X utf8 tests/smoke.py --base-url http://localhost:18084 +python -X utf8 student-tests/attachments.py --base-url http://localhost:18084 +``` + +В `.env.example` публичный порт lab4 — 18084, статистика LB — 18404 (только localhost). При изменении `LB_PUBLISHED_PORT` замените порт в командах тестов. Во время проверки 8081 уже использовался прошлой лабораторной, поэтому локальный `.env` переключён на 18084/18404. + +Секреты создаются один раз и не перезаписываются. Каталог `secrets/` закрыт для других пользователей хоста; файлы, смонтированные в непривилегированный API, имеют права чтения внутри контейнера. Root-ключи S3 в API не монтируются. Схему применяет одноразовый сервис `migrate`, bucket/политику — `s3-init`; оба должны завершаться с кодом 0. + +Обычная остановка: `docker compose --env-file .env stop` или `down` без `-v`. Для **намеренного уничтожения всех учебных данных**: `docker compose --env-file .env down -v`. + +Проверка отказов явно останавливает сервисы **только проекта lab4**, восстанавливает их и не удаляет volumes: + +```sh +python -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj +python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 +``` + +Собственные C#-тесты используют одноразовые контейнеры PostgreSQL, Valkey и MinIO. Старые публичные `make test-persistence/test-failover` требуют отдельно реализованных hooks; приведённый выше сценарий `--faults` выполняет проверки отказов напрямую из Python и работает в Windows. ## Архитектура и решения -TODO: схема процессов/хранилищ, источник истины, транзакционные границы, ограничения. Что перенесено из lab3, что изменено в этой работе. Соответствие переменных из .env.example реальной конфигурации. +### Подключение S3 (выполненный этап) + +В Compose добавлены MinIO (`s3`), одноразовый bootstrap (`s3-init`) и проверка +(`s3-check`, профиль tools). Байты хранятся в `s3data`, метаданные — в PostgreSQL. +Bucket приватный, API получает отдельные ограниченные ключи через Compose secrets. +MinIO и клиент mc используют один образ, закреплённый по digest. Порты S3 не опубликованы, +браузерная консоль выключена. Bootstrap можно выполнять повторно без удаления данных. + +Команды и соответствие настроек описаны в [infra/s3/README.md](infra/s3/README.md). +Результаты проверки этого этапа: [evidence/s3-setup.md](evidence/s3-setup.md). +C#-сервис `S3AttachmentStorage` реализован и проверен с ограниченными ключами API: +загрузка, скачивание, совпадение байтов/SHA-256, запрет анонимного чтения и удаление. +Команды и вывод: [evidence/s3-client-check.md](evidence/s3-client-check.md). +HTTP API вложений реализован: синхронный POST, GET метаданных и GET оригинала через API. + +Схема: клиент → HAProxy → две API-реплики → PostgreSQL (данные, сессии, метаданные, ключи идемпотентности) + MinIO (оригиналы). Valkey — необязательный кэш истории. Из lab3 сохранены аутентификация, keyset-пагинация, общие сессии, версия истории и транзакционная идемпотентность. Ключи кэша lab4 имеют отдельный префикс. + +В сообщении хранится упорядоченный массив `attachment_ids` (`uuid[]`, максимум 10): при отправке сервер проверяет существование и готовность каждого вложения и его принадлежность чату. Сообщение, ссылки и ключ идемпотентности сохраняются одной транзакцией. Массив сохраняет порядок без N+1 запросов; внешние ключи на элементы массива отсутствуют, корректность ссылок обеспечивает API. API удаления вложений/изменения участников нет. Хеш идемпотентности учитывает текст и список вложений; отсутствие списка равно `[]`. + +Upload: доступ → имя/MIME → ограниченное чтение в временный файл → заголовок и лимит пикселей → CRC/лимит распаковки PNG и полное декодирование → SHA-256 → S3 PUT → метаданные PostgreSQL → 201 ready. Временный файл удаляется при завершении запроса, после 201 он не нужен. Имя файла не используется как object key; ключ генерируется сервером в `originals/`. Оригинал не перекодируется. DTO не раскрывает S3-ключи и адреса. + +Лимиты: 10 MiB, 40 млн пикселей, одна проверка/загрузка на реплику, ожидание слота до 2 секунд, общий таймаут upload 30 секунд. Download буферизует максимум размер из метаданных (не более 10 MiB), сверяет SHA-256 и только затем начинает ответ. Входные лимиты задаются `MAX_UPLOAD_BYTES`/`MAX_IMAGE_PIXELS` и могут только уменьшать ограничения контракта. Сведения о настройках S3 — в `infra/s3/README.md`. + +Готовность требует PostgreSQL и S3, Valkey не критичен. При отказе зависимости API возвращает 503; после вывода всех реплик из ротации HAProxy сам возвращает 503, его ответ может не иметь JSON/заголовков API. `/health/live` внутри API проверяет только процесс. + +Общей транзакции S3/PostgreSQL нет. Теперь перед каждым PUT приложение сохраняет намерение в `upload_intents`. Публикация Attachment и удаление намерения выполняются одним COMMIT под блокировкой строки. После истечения lease публикация запрещена. Worker на каждой реплике забирает до 16 просроченных записей с `FOR UPDATE SKIP LOCKED`, проверяет отсутствие готового Attachment и выполняет идемпотентный DELETE. Свежие записи защищены grace period 300 с (минимум 120 с), проходы повторяются каждые 30 с. После сбоя S3/БД журнал не теряется. Неудачные намерения остаются tombstones и повторно удаляют запоздавший PUT; готовые объекты не удаляются. Цена — постоянная небольшая SQL-запись на неудачную загрузку. Подробности, модель отказов и команды: [infra/s3/cleanup.md](infra/s3/cleanup.md). ## Доказательства критериев | Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства | | --- | --- | --- | --- | -| Публичный smoke | make test | TODO | TODO | -| Остальные пункты уровня 3 | TODO | TODO | TODO | -| Все пункты уровня 4, если заявлен | TODO | TODO | TODO | -| Выбранный трек 5, если заявлен | TODO | TODO | TODO | +| Публичный smoke | `python -X utf8 tests/smoke.py --base-url http://localhost:18084` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Приватный bucket и ограниченные ключи | `docker compose run --rm --no-deps s3-check` | PASS | [S3](evidence/s3-setup.md) | +| PNG/JPEG, байты, ACL, filename, MIME, размер и пиксели | `python -X utf8 student-tests/attachments.py --base-url http://localhost:18084` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Файл через другую реплику после остановки загрузившей | тот же сценарий с `--faults` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Отказ S3 и restart всего стенда с прежними сессиями | тот же сценарий с `--faults` | PASS | [endpoint checks](evidence/attachments-api.md) | +| Регрессия lab3 и новые проверки cleanup | `dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj` | 85 тестов PASS | [уровень 4](evidence/grade4.md) | +| 4: повреждения/MIME/чужие ID/чужой чат/лимиты | `student-tests/attachments.py` | PASS, ошибки клиента не стали 500 | [уровень 4](evidence/grade4.md) | +| 4: сбой S3 PUT → metadata COMMIT, grace, retries, защита ready, поздний PUT | `dotnet test --filter FullyQualifiedName~UploadCleanupTests` (проект указан выше) | 7 новых тестов PASS | [уровень 4](evidence/grade4.md) | +| 4: прерванный TCP upload и ≥10 параллельных загрузок/пик RAM | `student-tests/upload_memory.py` | Нет публикации/временного файла после обрыва; два размера × 10 запросов, память ниже лимита | [raw JSON](evidence/upload-memory.json) | +| 4: повторяемый bootstrap и ограниченные ключи | `student-tests/s3_bootstrap.py` | Два bootstrap сохраняют файл; прямой анонимный GET 403; admin/чужой prefix запрещены | [уровень 4](evidence/grade4.md) | +| Трек уровня 5 | не реализован | — | — | -TODO: добавить отдельную строку для каждого заявленного критерия. PASS без команды и наблюдения не является доказательством. Проверка инфраструктурного hook требует подтверждения, какие реальные процессы/хранилища перезапущены. +Проверка `--faults` находит контейнер по `X-Instance-Id` ответа upload, останавливает именно его и получает те же байты от другой реплики. Затем останавливает/поднимает S3 и перезапускает db/cache/s3/api/lb с теми же volumes. После воздействия использует прежние токены и сравнивает сообщение, метаданные и исходный файл. ## Эксперименты и отказы -TODO: гипотеза, hardware/лимиты, версии, объём данных, профиль нагрузки, concurrency/arrival rate, длительность/прогрев, повторы, успешные RPS, ошибки, p50/p95/p99, CPU/RAM. Сохранить raw summary без tokens и объяснить ограничения измерения. +Проведён эксперимент уровня 4: два размера настоящих синтетических PNG, по 10 одновременно стартующих HTTP-загрузок без повторов. Перед каждым размером API перезапускались, затем измерялись baseline и kernel high-water cgroup/RSS; также записаны CPU usage delta, RPS и p50/p95/p99 успешных ответов. На реплику — 1 CPU/512 MiB, S3 — 1 CPU/512 MiB, DB — 2 CPU/1 GiB. Сводка и ограничения — [evidence/grade4.md](evidence/grade4.md), raw результаты — [upload-memory.json](evidence/upload-memory.json). Старые LoadTest/ScaleLoad за этот этап не засчитываются. Универсальный/максимальный RPS не заявляется; 503 при переполнении очереди — ожидаемая защита. | Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных | | --- | --- | --- | --- | -| TODO | TODO | TODO | TODO | +| Остановка загрузившей API-реплики | другой API читает тот же файл | PASS | Без потери подтверждённого оригинала | +| Остановка S3 | readiness и запросы вложений недоступны | 503 | После запуска S3 файл доступен | +| Restart db/cache/s3/api/lb | старые токены и данные сохраняются | PASS | Volumes сохранены; время восстановления отдельно не измерялось | +| S3 PUT успешен, metadata COMMIT блокируется | журнал переживает пересоздание API, worker удаляет orphan | PASS в одноразовых PostgreSQL/MinIO | Grace имитируется timestamps только в тестовой БД | +| Отказ DELETE / запоздавший PUT | повторная очистка не забывает объект | PASS | Tombstone сохраняется | +| Прерванный TCP upload | нет публикации и временных файлов | PASS | До S3 PUT загрузка не дошла | ## Ограничения и следующие шаги -TODO: какие отказы выдерживаются и какие нет; что не реализовано; где учебное упрощение; какое улучшение подтверждено, а какое пока гипотеза. +Проверены отказы одной API-реплики и временная недоступность S3, restart без удаления volumes, сбой после PUT и восстановление очистки. Один Docker-host, единственные PostgreSQL/S3/LB остаются точками отказа. Журнал охватывает загрузки приложения начиная с миграции AddUploadIntents; произвольные объекты, созданные вручную вне приложения, он не удаляет. Tombstones не архивируются автоматически. Полный аудит orphan/missing всего bucket, presigned flow и исследовательский трек 5 не реализованы. Измерения памяти относятся к указанным размерам/ресурсам, не являются гарантией всех возможных workload. diff --git a/compose.yaml b/compose.yaml new file mode 100644 index 00000000..0eec0785 --- /dev/null +++ b/compose.yaml @@ -0,0 +1,285 @@ +# Lab 4: PostgreSQL + Valkey + приватный MinIO + API-реплики за HAProxy. +# Имя проекта задаёт отдельные тома и сети для lab4. +# Запуск (одна последовательность): +# sh scripts/init-secrets.sh && docker compose --env-file .env up -d --build --wait +name: messenger-lab4 + +# Один образ и для API, и для миграций: схема всегда соответствует коду. build продублирован намеренно, +# чтобы `up --build` собрал образ раньше, чем стартует migrate (второй build берётся из кэша). +x-api-image: &api-image + image: messenger-api:lab4 + build: + context: . + dockerfile: Dockerfile + args: + APP_VERSION: ${APP_VERSION:-1} + +# MinIO RELEASE.2025-09-07T16-13-09Z; включает mc RELEASE.2025-08-13T08-35-41Z. +x-s3-image: &s3-image + image: quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e + +services: + s3: + <<: *s3-image + restart: unless-stopped + entrypoint: ["/bin/sh", "/infra/start.sh"] + environment: + MINIO_SITE_REGION: ${S3_REGION:-us-east-1} + MINIO_BROWSER: "off" + secrets: + - s3_root_user + - s3_root_password + volumes: + - s3data:/data + - ./infra/s3:/infra:ro + # S3 и административная консоль не публикуются на хост. + healthcheck: + test: ["CMD", "curl", "--fail", "--silent", "http://127.0.0.1:9000/minio/health/ready"] + interval: 5s + timeout: 3s + retries: 20 + start_period: 10s + deploy: + resources: + limits: + cpus: "1" + memory: 512m + networks: [backend] + + s3-init: + <<: *s3-image + restart: "no" + entrypoint: ["/bin/sh", "/infra/bootstrap.sh"] + depends_on: + s3: + condition: service_healthy + environment: + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + MC_CONFIG_DIR: /tmp/mc + secrets: + - s3_root_user + - s3_root_password + - s3_access_key_id + - s3_secret_access_key + volumes: + - ./infra/s3:/infra:ro + networks: [backend] + + s3-check: + <<: *s3-image + profiles: [tools] + restart: "no" + entrypoint: ["/bin/sh", "/infra/check.sh"] + depends_on: + s3-init: + condition: service_completed_successfully + environment: + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + MC_CONFIG_DIR: /tmp/mc + secrets: + - s3_access_key_id + - s3_secret_access_key + volumes: + - ./infra/s3:/infra:ro + - ./tests/fixtures:/fixtures:ro + networks: [backend] + + s3-client-check: + image: mcr.microsoft.com/dotnet/aspnet:10.0.12@sha256:222759b391a1aaf241166672c8f99b2d4ada452e7b5319f3c6e8f265a37b5ad4 + profiles: [tools] + restart: "no" + entrypoint: ["dotnet", "/check/StorageCheck.dll", "/fixtures/sample.png"] + depends_on: + s3-init: + condition: service_completed_successfully + environment: + S3_ENDPOINT: http://s3:9000 + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + secrets: + - s3_access_key_id + - s3_secret_access_key + volumes: + - ./tools/StorageCheck/bin/Release/net10.0:/check:ro + - ./tests/fixtures:/fixtures:ro + networks: [backend] + + db: + # PostgreSQL 17.11; тег закреплён digest'ом, сборка воспроизводима. + image: postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe + restart: unless-stopped + # max_connections с запасом: до 8 реплик x пул DB_MAX_POOL_SIZE (по умолчанию 20) + миграции + служебные. + command: ["postgres", "-c", "max_connections=300"] + environment: + POSTGRES_DB: messenger + POSTGRES_USER: messenger + POSTGRES_PASSWORD_FILE: /run/secrets/db_password + secrets: + - db_password + volumes: + # Именованный volume: переживает restart/down; удаляется только явным `docker compose down -v`. + - pgdata:/var/lib/postgresql/data + healthcheck: + test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] + interval: 5s + timeout: 3s + retries: 20 + start_period: 10s + deploy: + resources: + limits: + cpus: "${DB_CPUS:-2}" + memory: ${DB_MEMORY:-1g} + networks: [backend] + + cache: + # Valkey 8.1: кэш страниц истории сообщений. Источник истины — PostgreSQL, потеря содержимого кэша ничего не ломает, + # поэтому persistence выключена (--save "" --appendonly no). Память ограничена, вытеснение LRU. + # Кэш общий для всех реплик: ключ содержит версию истории чата, поэтому реплики не отдают друг другу устаревшие страницы. + image: valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2 + restart: unless-stopped + command: + - sh + - -c + - exec valkey-server --requirepass "$$(cat /run/secrets/cache_password)" --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru + secrets: + - cache_password + healthcheck: + test: ["CMD-SHELL", "REDISCLI_AUTH=\"$$(cat /run/secrets/cache_password)\" valkey-cli ping | grep -q PONG"] + interval: 5s + timeout: 3s + retries: 10 + deploy: + resources: + limits: + cpus: "0.5" + memory: 128m + networks: [backend] + + # One-shot: применяет миграции и завершается. API-реплики схему не меняют (MIGRATE_ON_START выключен), + # поэтому одновременный старт N реплик не создаёт гонку. Миграции только добавляют объекты (expand), что + # совместимо с ещё работающей предыдущей версией API при rolling update. + migrate: + <<: *api-image + command: ["--migrate"] + restart: "no" + depends_on: + db: + condition: service_healthy + environment: + DATABASE_URL_FILE: /run/secrets/database_url + secrets: + - database_url + networks: [backend] + + api: + <<: *api-image + restart: unless-stopped + # Без container_name и без published ports: сервис масштабируется (--scale api=N / API_REPLICAS), а снаружи + # реплики доступны только через lb. Кэш не входит в depends_on: API обязан работать без него. + depends_on: + migrate: + condition: service_completed_successfully + db: + condition: service_healthy + s3-init: + condition: service_completed_successfully + environment: + ASPNETCORE_URLS: http://0.0.0.0:8080 + APP_PORT: "8080" + SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} + DATABASE_URL_FILE: /run/secrets/database_url + CACHE_URL_FILE: /run/secrets/cache_url + CACHE_TTL_SECONDS: ${CACHE_TTL_SECONDS:-300} + DIAGNOSTIC_HEADERS: ${DIAGNOSTIC_HEADERS:-false} + DB_MAX_POOL_SIZE: ${DB_MAX_POOL_SIZE:-20} + IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} + SHUTDOWN_DRAIN_SECONDS: ${SHUTDOWN_DRAIN_SECONDS:-3} + MIGRATE_ON_START: "false" + S3_ENDPOINT: http://s3:9000 + S3_REGION: ${S3_REGION:-us-east-1} + S3_BUCKET: ${S3_BUCKET:-messenger-attachments} + S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_access_key_id + S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_secret_access_key + MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760} + MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000} + UPLOAD_CLEANUP_GRACE_SECONDS: ${UPLOAD_CLEANUP_GRACE_SECONDS:-300} + UPLOAD_CLEANUP_INTERVAL_SECONDS: ${UPLOAD_CLEANUP_INTERVAL_SECONDS:-30} + secrets: + - database_url + - cache_url + - s3_access_key_id + - s3_secret_access_key + expose: + - "8080" + healthcheck: + # Живость процесса (готовность проверяет LB). start_interval ускоряет первый успех для `up --wait`. + test: ["CMD", "dotnet", "Messenger.Api.dll", "--healthcheck"] + interval: 10s + timeout: 3s + retries: 3 + start_period: 20s + start_interval: 2s + # SIGTERM -> drain 3 с + до 5 с на активные запросы = < 10 с; 15 с — запас до SIGKILL. + stop_grace_period: 15s + deploy: + replicas: ${API_REPLICAS:-2} + resources: + limits: + cpus: "${API_CPUS:-1}" + memory: ${API_MEMORY:-512m} + networks: [backend] + + lb: + # HAProxy 3.0 LTS; digest закреплён. Образ получен через mirror.gcr.io (зеркало официального образа Docker Hub, + # тот же digest), потому что Docker Hub был недоступен при разработке. + image: mirror.gcr.io/library/haproxy:3.0-alpine@sha256:1c15903c50d5510dcc01de755049e7015a6dd3f35bb2dc4582e888116cb71d8f + restart: unless-stopped + depends_on: + api: + condition: service_healthy + volumes: + - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro + ports: + # Единственная публичная точка входа. + - "${LB_PUBLISHED_PORT:-8080}:8080" + # Статистика LB (состояние backend'ов): только с этого компьютера. + - "127.0.0.1:${LB_STATS_PORT:-8404}:8404" + healthcheck: + test: ["CMD-SHELL", "wget -q --spider http://127.0.0.1:8404/healthz"] + interval: 5s + timeout: 3s + retries: 5 + deploy: + resources: + limits: + cpus: "${LB_CPUS:-1}" + memory: 128m + networks: [backend] + +volumes: + pgdata: + s3data: + +networks: + backend: + +secrets: + db_password: + file: ./secrets/db_password + database_url: + file: ./secrets/database_url.compose + cache_password: + file: ./secrets/cache_password + cache_url: + file: ./secrets/cache_url + s3_root_user: + file: ./secrets/s3_root_user + s3_root_password: + file: ./secrets/s3_root_password + s3_access_key_id: + file: ./secrets/s3_access_key_id + s3_secret_access_key: + file: ./secrets/s3_secret_access_key diff --git a/dotnet-tools.json b/dotnet-tools.json new file mode 100644 index 00000000..39007e02 --- /dev/null +++ b/dotnet-tools.json @@ -0,0 +1,13 @@ +{ + "version": 1, + "isRoot": true, + "tools": { + "dotnet-ef": { + "version": "10.0.13", + "commands": [ + "dotnet-ef" + ], + "rollForward": false + } + } +} \ No newline at end of file diff --git a/evidence/attachments-api.md b/evidence/attachments-api.md new file mode 100644 index 00000000..5c7a05cb --- /dev/null +++ b/evidence/attachments-api.md @@ -0,0 +1,89 @@ +# Endpoint вложений — проверка 13.11.2026 + +Это протокол предыдущего этапа на 3. Последующее выполнение всех пунктов уровня 4 +зафиксировано в [grade4.md](grade4.md). + +Рабочее дерево lab4, изменения ещё не закоммичены. .NET SDK 10.0.401, +ASP.NET Runtime 10.0.12, Docker Engine 29.4.1, Compose v5.1.3, +две Linux API-реплики за HAProxy, PostgreSQL, Valkey и приватный MinIO. +Образы закреплены в Dockerfile/Compose. Проверенный адрес: `http://localhost:18084`. +Секреты и токены в этот файл не включены. + +## Реализация + +- `POST /api/v1/chats/{chat_id}/attachments?filename=...` — сырые PNG/JPEG, + 201 ready после S3 PUT и сохранения метаданных в PostgreSQL. +- `GET /api/v1/attachments/{id}` — DTO без внутреннего object key. +- `GET /api/v1/attachments/{id}/content` — исходные bytes через API, без redirect. +- `attachment_ids` в запросах/ответах сообщений, пустой текст с вложением, + проверка чата/готовности, идемпотентность с учётом вложений. +- Миграция `20261113171218_AddMessageAttachments` применена сервисом `migrate`. + Старые текстовые сообщения получают пустой массив. + +## Сборка и существующие тесты + +```sh +dotnet build mtusi2026lab3-fork.sln --no-restore +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --no-build --no-restore +docker compose --env-file .env up -d --build --wait +``` + +Debug и Docker Release сборки прошли. Существующие тесты: + +```text +Passed: 78, Failed: 0, Skipped: 0, Total: 78 +``` + +Их fixture использует одноразовые PostgreSQL/Valkey/MinIO; стенд lab4 не подменяется моками. +Проверка EF `migrations has-pending-model-changes` не обнаружила изменений модели. + +## HTTP API и отказы + +```sh +python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084 +python -X utf8 tests/smoke.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +``` + +Последний прогон после проверки ограниченной распаковки PNG завершился с кодом 0: + +```text +PASS: API is ready through the load balancer. +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +PASS: ready metadata, original bytes, authentication and chat ACL. +PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits. +PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection. +PASS: stopping the uploading API replica preserves the file on another replica. +PASS: S3 outage makes readiness unavailable (503). +PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes. +``` + +Сценарий проверяет повреждённый PNG/CRC, обрезанные PNG/JPEG, MIME spoofing, +опасные/слишком длинные filename, 10 MiB + 1 byte, 100 млн пикселей в PNG-заголовке, +PNG с распаковкой больше размеров. Проверяются 401/404, неизвестное/чужое вложение, +чужой чат, повторяющиеся/слишком многочисленные ID и конфликт Idempotency-Key. + +При failover контейнер upload определяется по его `X-Instance-Id`, проверяется наличие +минимум двух реплик, затем останавливается именно загрузивший контейнер. Ответ download +должен прийти с другим ID и вернуть те же bytes. Контейнер восстанавливается в `finally`. + +При остановке S3 проверены 503 для readiness, GET содержимого и POST загрузки через LB. +После вывода всех API из ротации 503 создаёт HAProxy (JSON/заголовки API в этом случае +не проверяются). После подъёма S3 оригинал сохраняется. + +Затем выполнен реальный `docker compose restart db cache s3 api lb`, без удаления volumes. +С теми же токенами проверены пользователь, метаданные, сообщение со ссылкой и файл. +Стенд оставлен работающим; все основные сервисы healthy, migrate/s3-init — Exited (0). + +## Готовность + +Пять основных пунктов раздела «Что сделать» README реализованы и проверены на этом стенде: +закреплённый S3/private bucket, Attachment и ссылки, upload/download, общий volume и +смена API-реплики, ACL/отказ S3/restart. Это подтверждает обязательный минимум на 3. + +Уровень 4 не завершён: нет долговечной сверки/очистки orphan после аварийного завершения +процесса и эксперимента ≥10 одновременных upload с измерением пика памяти. +Уровень 5 не реализован. Автор/группа и commit/PR ещё должны быть заполнены в отчёте. + +Валидация изображения использует [StbImageSharp 2.30.16](https://github.com/StbSharp/StbImageSharp), +без изменения оригинала. CRC и ограничение распаковки PNG проверяются отдельно до декодирования. diff --git a/evidence/grade4.md b/evidence/grade4.md new file mode 100644 index 00000000..bb186a7d --- /dev/null +++ b/evidence/grade4.md @@ -0,0 +1,153 @@ +# Подтверждение уровня 4 — 13.11.2026 + +Рабочее дерево lab4, изменения не закоммичены. Базовый API работает через +`http://localhost:18084`. .NET SDK 10.0.401, ASP.NET Runtime 10.0.12, +Docker Engine 29.4.1. В Docker доступны 16 logical CPU и 8 032 436 224 байт RAM. +Две API-реплики, каждая ограничена 1 CPU и 512 MiB. Образы закреплены по digest. + +## 1. Негативные проверки файлов и доступа + +```sh +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +``` + +Код завершения 0. Проверены PNG/JPEG, подмена MIME, повреждения/CRC, обрезанные +файлы, опасные имена, 10 MiB + 1 byte, 100 млн пикселей, чрезмерная распаковка PNG, +чужой/неизвестный attachment ID и привязка файла другого чата. Ошибки клиента +возвращают предусмотренные 400/401/404/409/413/415, не 500. + +```text +PASS: ready metadata, original bytes, authentication and chat ACL. +PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits. +PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection. +PASS: stopping the uploading API replica preserves the file on another replica. +PASS: S3 outage makes readiness unavailable (503). +PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes. +``` + +Публичный smoke повторно прошёл с кодом 0: + +```text +PASS: lab4 public API scenario; infrastructure and grading evidence remain separate. +``` + +## 2. Долговечная очистка после сбоев + +Применена миграция `20261113175727_AddUploadIntents`. Перед PUT намерение сохраняется +в PostgreSQL; публикация метаданных и удаление намерения атомарны. Worker на каждой +реплике использует блокировки `FOR UPDATE SKIP LOCKED`, grace 300 с (минимум 120 с), +проход каждые 30 с, до 16 записей за проход. Готовый Attachment защищён проверкой +ссылки, публикация просроченного upload запрещена. После удаления tombstone остаётся +для повторного удаления запоздавшего PUT. Подробности: [cleanup.md](../infra/s3/cleanup.md). + +```sh +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --no-build --no-restore --filter FullyQualifiedName~UploadCleanupTests +``` + +```text +Passed: 7, Failed: 0, Skipped: 0, Total: 7 +``` + +Тесты используют реальные одноразовые PostgreSQL и MinIO. Покрыты: + +- успешный PUT и внедрённый отказ сохранения метаданных; новый экземпляр API + автоматически обнаруживает и удаляет оставшийся объект; +- защита свежего намерения grace period; +- защита готового Attachment при просроченном намерении; +- сбой DELETE, последующий retry и повторное удаление позднего PUT; +- запрет публикации после истечения lease; +- два параллельных очистителя; +- сохранение старого tombstone, чтобы объект не мог быть забыт. + +Timestamps сдвигаются только в одноразовой тестовой БД. Production grace не менялся. +После всех изменений выполнен полный финальный прогон C#-тестов без фильтра: + +```text +Passed: 85, Failed: 0, Skipped: 0, Total: 85 +``` + +Сборка и семь новых тестов очистки также отдельно прошли до полного прогона. + +Ручной проход на основном стенде (нет просроченных неудачных загрузок): + +```sh +docker compose --env-file .env run --rm --no-deps api --cleanup-uploads +``` + +```json +{"Scanned":0,"Deleted":0,"Protected":0,"Failed":0} +``` + +## 3. Прерванный upload и измерение RAM + +```sh +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 --output evidence/upload-memory.json +``` + +Сначала клиент обрывает настоящий TCP upload до передачи Content-Length. После +обрыва число Attachment/UploadIntent не изменилось; на обеих репликах нет временных +`attachment-*` файлов. + +Затем для каждого размера запускаются 10 потоков с общим barrier, без retries. +Файлы — детерминированные RGB PNG с псевдослучайными пикселями: 1024×1024 и +1600×1600, реально декодируются сервером. Перед каждым размером API перезапускаются, +ожидается готовность LB, снимаются baseline и kernel high-water. Использован cgroup v1 +`memory.max_usage_in_bytes`, текущая память, лимит, `/proc/1/status` VmHWM/VmRSS и +разность cgroup `cpuacct.usage`. Сохраняются счётчики и по каждой реплике. + +Основной прогон с CPU-метриками: + +| PNG bytes | Конкуренция | 201 | 503 overload | Время, с | Успешных RPS | p50 / p95 / p99 успешных, с | +| --- | --- | --- | --- | --- | --- | --- | +| 3 147 775 | 10 | 10 | 0 | 2,2051 | 4,535 | 1,4404 / 1,9381 / 1,9381 | +| 7 684 003 | 10 | 7 | 3 | 3,1424 | 2,228 | 2,2412 / 2,8819 / 2,8819 | + +| PNG bytes | Cgroup peak API 1 / API 2, MiB | RSS peak API 1 / API 2, MiB | Средний CPU API 1 / API 2, % одного ядра | +| --- | --- | --- | --- | +| 3 147 775 | 125,49 / 99,41 | 202,09 / 178,00 | 83,66 / 50,95 | +| 7 684 003 | 161,80 / 69,41 | 234,80 / 142,02 | 75,72 / 2,40 | + +Максимум cgroup-памяти — 161,80 MiB, RSS — 234,80 MiB, лимит каждой реплики — +512 MiB. Это разные метрики: cgroup charge и RSS по-разному учитывают shared pages, +складывать их нельзя. Оба high-water счётчика включают startup/readiness после restart. +Ожидание readiness гарантирует хотя бы один готовый backend, не одинаковый прогрев +обеих реплик: распределение CPU в коротких сериях получилось неравномерным. + +503 — предусмотренный ответ очереди: одна активная проверка/upload на реплику, +ожидание слота до 2 с. Не было 500, неверных checksum или превышения лимита памяти. +После нагрузки новая небольшая загрузка успешно вернула 201. + +Raw результаты: [upload-memory.json](upload-memory.json). Дополнительный первичный +прогон без CPU: [upload-memory-initial.json](upload-memory-initial.json) — 10/10 и +9/10 успешных, максимум 161,15 MiB cgroup / 235,70 MiB RSS. Прогоны не усреднялись. + +Ограничения: это короткие closed-loop серии, а не поиск максимального устойчивого +RPS. В elapsed входит создание клиентов; percentiles относятся только к успешным +запросам. Малая выборка и прогрев влияют на распределение. RAM клиента, который +генерирует PNG, не относится к контейнерам API. Прогон доказывает ограничение +ресурсов на указанном профиле, не универсальную верхнюю границу всех workload. + +## 4. Bootstrap, права и приватность + +```sh +python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084 +``` + +Код 0: + +```text +PASS: two bootstrap runs preserve an existing API attachment and credentials. +PASS: S3 has no published ports or browser console; API has no root credentials. +PASS: API credentials upload/download match SHA-256 and size. +PASS: anonymous GET of an existing object returns 403. +PASS: API credentials cannot administer S3 or write outside originals/. +PASS: API credentials delete the temporary object. +``` + +## Состояние после проверки + +Основные сервисы healthy, `migrate` и `s3-init` завершились с кодом 0. Схема EF +совпадает с миграциями, `git diff --check` и `scripts/check_contract.py` прошли. +Реализованы все четыре пункта уровня 4 в дополнение к минимуму уровня 3. +Это не заявка на уровень 5: полного аудита orphan/missing всего bucket, dry-run +reconciler либо исследования presigned upload пока нет. diff --git a/evidence/s3-client-check.md b/evidence/s3-client-check.md new file mode 100644 index 00000000..f06dd985 --- /dev/null +++ b/evidence/s3-client-check.md @@ -0,0 +1,45 @@ +# Проверка C#-сервиса S3 — 13.11.2026 + +Проверено рабочее дерево lab4, изменения ещё не закоммичены. Используется существующий +MinIO из Compose и отдельные ограниченные credentials API, без root credentials. +SDK AWSSDK.S3 4.1.0, .NET SDK 10.0.401, проверка выполняется в Linux-контейнере +ASP.NET Runtime 10.0.12. Тестовый файл: `tests/fixtures/sample.png`. + +## Исправления после проверки реализации + +- Два исходника хранилища были сохранены без `.cs` и не участвовали в сборке. + Добавлены расширения и отсутствующие `using` для AWS SDK. +- `S3Settings` читал `S3_ACCESS_KEY`/`S3_SECRET_KEY`, которых нет в Compose. + Исправлено чтение `S3_ACCESS_KEY_ID_FILE`/`S3_SECRET_ACCESS_KEY_FILE`. +- Добавлены регион подписи, проверка обязательных настроек и HTTP/HTTPS endpoint. + При отсутствии ключей сервис выдаёт ошибку конфигурации вместо поиска credentials вне стенда. +- SDK оставляет входной поток открытым; клиент SDK освобождается при остановке DI. + +## Команды + +```sh +dotnet build tools/StorageCheck/StorageCheck.csproj -c Release +docker compose --env-file .env config --quiet +docker compose --env-file .env run --rm --no-deps s3-client-check +``` + +Сборка инструмента и проекта API прошла без ошибок и предупреждений. +Проверка C#-сервиса завершилась с кодом 0: + +```text +PASS: C# PutAsync uploads PNG and keeps the caller's stream open. +PASS: C# CopyToAsync returns identical bytes and SHA-256. +PASS: anonymously downloading the C#-uploaded object returns 403. +PASS: C# DeleteAsync removes the object; subsequent GET returns 404. +``` + +Также повторно прошёл `docker compose --env-file .env run --rm --no-deps s3-check`: +проверка SHA-256/размера, анонимного GET, ограничений администрирования и записи +вне `originals/`, удаления временного объекта. + +## Ограничения + +Это проверка сервиса хранения, а не HTTP API вложений. Здесь ещё не проверяются +валидация изображений, лимиты upload, членство в чатах, транзакции PostgreSQL/S3, +связь с сообщениями и сохранность после отказа API/S3. Соответствующие endpoint +и обработка ошибок зависимостей ещё предстоят. diff --git a/evidence/s3-setup.md b/evidence/s3-setup.md new file mode 100644 index 00000000..12ee8c20 --- /dev/null +++ b/evidence/s3-setup.md @@ -0,0 +1,58 @@ +# Проверка S3 — 13.11.2026 + +Проверено на рабочем дереве lab4 до commit; это результаты этапа инфраструктуры S3, +не подтверждение готовности всей лабораторной. Docker Engine 29.4.1, Compose v5.1.3, +контейнер linux/amd64. Лимиты MinIO: 1 CPU, 512 MiB RAM. + +Образ: `quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e`. +Внутри подтверждены MinIO RELEASE.2025-09-07T16-13-09Z и mc RELEASE.2025-08-13T08-35-41Z. + +## Конфигурация и запуск + +```sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --wait s3 s3-init +docker compose --env-file .env logs --no-log-prefix s3-init +``` + +Конфигурация валидна. `s3` — running/healthy, `s3-init` — exited с кодом 0. + +```text +S3 bootstrap complete: private bucket and restricted API credentials. +``` + +Проверен `sh -n` для `scripts/init-secrets.sh` и скриптов `infra/s3/`. +В итоговой конфигурации Compose проверены отсутствие опубликованных портов S3, +`MINIO_BROWSER=off`, наличие ключей API и отсутствие root credentials у сервиса API. + +## Повторный bootstrap + +```sh +docker compose --env-file .env run --rm --no-deps s3-init +``` + +Код 0, то же сообщение об успешной настройке; существующий bucket принят без ошибки. + +## Операции с объектом и права доступа + +```sh +docker compose --env-file .env run --rm --no-deps s3-check +``` + +Код завершения 0: + +```text +PASS: API credentials upload/download match SHA-256 and size. +PASS: anonymous GET of an existing object returns 403. +PASS: API credentials cannot administer S3 or write outside originals/. +PASS: API credentials delete the temporary object. +``` + +Использован синтетический `tests/fixtures/sample.png`. Временный объект удалён. +Проверка структуры skeleton `python -X utf8 scripts/check_contract.py` прошла. + +## Границы проверки + +HTTP upload/download приложения и чтение S3-настроек в C# ещё не реализованы. +Полный smoke, persistence/failover API и эксперимент параллельных загрузок на этом +этапе не выполнялись. Сохранность объектов после restart здесь отдельно не проверялась. diff --git a/evidence/upload-memory-initial.json b/evidence/upload-memory-initial.json new file mode 100644 index 00000000..4477c48f --- /dev/null +++ b/evidence/upload-memory-initial.json @@ -0,0 +1,212 @@ +{ + "date": "2026-11-13", + "method": "10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup memory.peak and /proc/1/status VmHWM", + "docker_host": { + "logical_cpus": 16, + "memory_bytes": 8032436224 + }, + "api_limits": { + "cpus": 1, + "memory": "536870912" + }, + "docker": "29.4.1", + "interrupted_upload": "PASS", + "trials": [ + { + "width": 1024, + "height": 1024, + "size_bytes": 3147775, + "concurrency": 10, + "successful": 10, + "overload_503": 0, + "elapsed_seconds": 2.3438, + "successful_rps": 4.267, + "p50_success_seconds": 1.6475, + "p95_success_seconds": 2.0273, + "p99_success_seconds": 2.0273, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 63361024, + "cgroup_peak_bytes": 69242880, + "limit_bytes": 536870912, + "rss_bytes": 145293312, + "rss_peak_bytes": 145293312 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 67284992, + "cgroup_peak_bytes": 70815744, + "limit_bytes": 536870912, + "rss_bytes": 149348352, + "rss_peak_bytes": 149348352 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 102457344, + "cgroup_peak_bytes": 113156096, + "limit_bytes": 536870912, + "rss_bytes": 184115200, + "rss_peak_bytes": 192253952 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 105439232, + "cgroup_peak_bytes": 122503168, + "limit_bytes": 536870912, + "rss_bytes": 187265024, + "rss_peak_bytes": 201420800 + } + }, + "responses": [ + { + "status": 201, + "latency_seconds": 1.6475, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.9218, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.3649, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.6865, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.8, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.5402, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.5217, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.0273, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.7696, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.2418, + "instance": "39388a6229cb" + } + ] + }, + { + "width": 1600, + "height": 1600, + "size_bytes": 7684003, + "concurrency": 10, + "successful": 9, + "overload_503": 1, + "elapsed_seconds": 3.6558, + "successful_rps": 2.462, + "p50_success_seconds": 2.7267, + "p95_success_seconds": 3.32, + "p99_success_seconds": 3.32, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 65519616, + "cgroup_peak_bytes": 67182592, + "limit_bytes": 536870912, + "rss_bytes": 149217280, + "rss_peak_bytes": 149217280 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 69623808, + "cgroup_peak_bytes": 70758400, + "limit_bytes": 536870912, + "rss_bytes": 153239552, + "rss_peak_bytes": 153239552 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 126455808, + "cgroup_peak_bytes": 148439040, + "limit_bytes": 536870912, + "rss_bytes": 211324928, + "rss_peak_bytes": 226566144 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 149491712, + "cgroup_peak_bytes": 168980480, + "limit_bytes": 536870912, + "rss_bytes": 234516480, + "rss_peak_bytes": 247148544 + } + }, + "responses": [ + { + "status": 201, + "latency_seconds": 2.7595, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.0868, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.7267, + "instance": "39388a6229cb" + }, + { + "status": 503, + "latency_seconds": 3.1155, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.4065, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 3.0388, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 3.1288, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 2.0735, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 3.32, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.4462, + "instance": "c8e68f4d537a" + } + ] + } + ], + "post_load_recovery": "PASS", + "limitations": "Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput." +} diff --git a/evidence/upload-memory.json b/evidence/upload-memory.json new file mode 100644 index 00000000..57a7432b --- /dev/null +++ b/evidence/upload-memory.json @@ -0,0 +1,228 @@ +{ + "date": "2026-11-13", + "method": "10 barrier-synchronized HTTP requests, no retries; fresh API restart per size; kernel cgroup high-water (v1/v2) and /proc/1/status VmHWM; cgroup CPU usage delta", + "docker_host": { + "logical_cpus": 16, + "memory_bytes": 8032436224 + }, + "api_limits": { + "cpus": 1, + "memory": "536870912" + }, + "docker": "29.4.1", + "interrupted_upload": "PASS", + "trials": [ + { + "width": 1024, + "height": 1024, + "size_bytes": 3147775, + "concurrency": 10, + "successful": 10, + "overload_503": 0, + "elapsed_seconds": 2.2051, + "successful_rps": 4.535, + "p50_success_seconds": 1.4404, + "p95_success_seconds": 1.9381, + "p99_success_seconds": 1.9381, + "cpu_core_seconds": { + "39388a6229cb": 1.8447, + "c8e68f4d537a": 1.1234 + }, + "average_cpu_percent_of_one_core": { + "39388a6229cb": 83.66, + "c8e68f4d537a": 50.95 + }, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 64466944, + "cgroup_peak_bytes": 67948544, + "limit_bytes": 536870912, + "rss_bytes": 147685376, + "rss_peak_bytes": 147693568 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 66523136, + "cgroup_peak_bytes": 68968448, + "limit_bytes": 536870912, + "rss_bytes": 150061056, + "rss_peak_bytes": 150061056 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 125059072, + "cgroup_peak_bytes": 131584000, + "limit_bytes": 536870912, + "rss_bytes": 206090240, + "rss_peak_bytes": 211906560 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 92610560, + "cgroup_peak_bytes": 104239104, + "limit_bytes": 536870912, + "rss_bytes": 177537024, + "rss_peak_bytes": 186650624 + } + }, + "responses": [ + { + "status": 201, + "latency_seconds": 1.1419, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.2215, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.4404, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.0314, + "instance": "c8e68f4d537a" + }, + { + "status": 201, + "latency_seconds": 1.9381, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.8361, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.7294, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.5446, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.6469, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.3374, + "instance": "39388a6229cb" + } + ] + }, + { + "width": 1600, + "height": 1600, + "size_bytes": 7684003, + "concurrency": 10, + "successful": 7, + "overload_503": 3, + "elapsed_seconds": 3.1424, + "successful_rps": 2.228, + "p50_success_seconds": 2.2412, + "p95_success_seconds": 2.8819, + "p99_success_seconds": 2.8819, + "cpu_core_seconds": { + "39388a6229cb": 2.3794, + "c8e68f4d537a": 0.0755 + }, + "average_cpu_percent_of_one_core": { + "39388a6229cb": 75.72, + "c8e68f4d537a": 2.4 + }, + "baseline": { + "39388a6229cb": { + "cgroup_current_bytes": 68059136, + "cgroup_peak_bytes": 74723328, + "limit_bytes": 536870912, + "rss_bytes": 150568960, + "rss_peak_bytes": 150573056 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 64077824, + "cgroup_peak_bytes": 72781824, + "limit_bytes": 536870912, + "rss_bytes": 146657280, + "rss_peak_bytes": 146665472 + } + }, + "after": { + "39388a6229cb": { + "cgroup_current_bytes": 162414592, + "cgroup_peak_bytes": 169664512, + "limit_bytes": 536870912, + "rss_bytes": 246210560, + "rss_peak_bytes": 246210560 + }, + "c8e68f4d537a": { + "cgroup_current_bytes": 67170304, + "cgroup_peak_bytes": 72781824, + "limit_bytes": 536870912, + "rss_bytes": 148914176, + "rss_peak_bytes": 148914176 + } + }, + "responses": [ + { + "status": 503, + "latency_seconds": 2.8694, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.6692, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.4845, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.9776, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 1.7166, + "instance": "39388a6229cb" + }, + { + "status": 503, + "latency_seconds": 2.8693, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.2412, + "instance": "39388a6229cb" + }, + { + "status": 503, + "latency_seconds": 2.8574, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.4645, + "instance": "39388a6229cb" + }, + { + "status": 201, + "latency_seconds": 2.8819, + "instance": "39388a6229cb" + } + ] + } + ], + "post_load_recovery": "PASS", + "limitations": "Two file sizes, one run each. Closed workload, client setup included in elapsed time; kernel peak since restart includes readiness/warmup. No claim about maximum sustainable throughput." +} diff --git a/infra/haproxy/haproxy.cfg b/infra/haproxy/haproxy.cfg new file mode 100644 index 00000000..353330b8 --- /dev/null +++ b/infra/haproxy/haproxy.cfg @@ -0,0 +1,63 @@ +# Единая публичная точка входа лабораторной 3: HAProxy распределяет запросы между API-репликами. +# +# Как LB узнаёт адреса реплик: `server-template` создаёт до 8 «слотов», а встроенный DNS-резолвер раз в секунду +# спрашивает у Docker (127.0.0.11) все A-записи имени `api`. Реплика добавилась/исчезла — слот получил/потерял адрес +# без перезапуска LB. Именно поэтому масштабирование (`--scale api=N`) и замена контейнеров не требуют правки конфига. +# +# Как LB исключает неработающий backend: активная проверка GET /health/ready каждую секунду; +# 2 неудачи подряд (fall 2) → слот DOWN, 2 успеха (rise 2) → снова UP. Расчёт времени обнаружения — в REPORT.md. +# Sticky-сессий нет: любой запрос может попасть на любую реплику, состояние (сессии, ключи идемпотентности) в PostgreSQL. + +global + log stdout format raw local0 info + maxconn 4096 + +resolvers docker + nameserver dns1 127.0.0.11:53 + accepted_payload_size 8192 + resolve_retries 3 + timeout resolve 1s + timeout retry 1s + hold valid 2s + hold other 1s + hold refused 1s + hold nx 1s + hold timeout 1s + hold obsolete 1s + +defaults + mode http + log global + option httplog + option dontlognull + timeout connect 2s + timeout client 20s + timeout server 20s + timeout http-request 10s + timeout http-keep-alive 5s + timeout check 2s + # Если выбранный backend не принял соединение или закрыл его, не ответив (реплика остановлена между проверками), + # запрос повторяется на другой реплике. Повтор POST безопасен: сообщение защищено Idempotency-Key. + retries 3 + option redispatch 1 + retry-on conn-failure empty-response + +frontend public + bind :8080 + default_backend api + +backend api + balance roundrobin + option httpchk + http-check send meth GET uri /health/ready ver HTTP/1.1 hdr Host api + http-check expect status 200 + default-server check inter 1s fall 2 rise 2 resolvers docker resolve-prefer ipv4 init-addr none + server-template api 1-8 api:8080 + +# Служебный порт внутри сети Compose (наружу публикуется только на 127.0.0.1): состояние backend'ов и healthcheck самого LB. +frontend ops + bind :8404 + monitor-uri /healthz + stats enable + stats uri /stats + stats refresh 2s diff --git a/infra/s3/README.md b/infra/s3/README.md new file mode 100644 index 00000000..1f62d2e6 --- /dev/null +++ b/infra/s3/README.md @@ -0,0 +1,87 @@ +# S3-хранилище lab4 + +Используется MinIO RELEASE.2025-09-07T16-13-09Z. Образ закреплён по digest +`quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e`. +В этот же образ входит `mc` RELEASE.2025-08-13T08-35-41Z: отдельный образ для bootstrap не требуется. + +## Запуск + +Из корня репозитория, `sh` доступен в Git Bash или WSL: + +```sh +# Только при первом запуске, если .env ещё нет: +cp .env.example .env +sh scripts/init-secrets.sh +docker compose --env-file .env config --quiet +docker compose --env-file .env up -d --wait s3 s3-init +docker compose --env-file .env logs s3-init +``` + +Для всего стенда: `docker compose --env-file .env up -d --build --wait`. +После изменения настроек API эта команда пересоздаст API-контейнеры. + +`s3` хранит файлы и IAM-настройки в именованном volume `s3data`. +`s3-init` — одноразовый контейнер; нормальное состояние после успеха — Exited (0). +Он создаёт bucket, запрещает анонимный доступ и настраивает отдельного пользователя API. +Повторный запуск не удаляет bucket или объекты: + +```sh +docker compose --env-file .env run --rm --no-deps s3-init +``` + +## Настройки и права + +- Внутренний endpoint: `http://s3:9000`, доступен из сети Compose. +- `S3_BUCKET` по умолчанию `messenger-attachments`; `S3_REGION` — `us-east-1`. +- Порт S3 не публикуется на хост, браузерная консоль выключена. +- Root credentials: `secrets/s3_root_user` и `secrets/s3_root_password`. + Они доступны только серверу и bootstrap, не API. +- Ключи API: `secrets/s3_access_key_id` и `secrets/s3_secret_access_key`. + API получает пути через `S3_ACCESS_KEY_ID_FILE` и `S3_SECRET_ACCESS_KEY_FILE`. +- Политика `attachments-api` разрешает просмотр одного bucket и операции + чтения/записи/удаления объектов только внутри `originals/`. + Администрирование S3 и работа с другими bucket не разрешены. +- Object key будущего upload должен иметь вид `originals/`. + Имя пользовательского файла в ключ не включается. +- Секреты генерируются локально; скрипт не перезаписывает существующие файлы. + После изменения ключей нужно повторить bootstrap и пересоздать API. + +Настройки читаются C#-сервисом `S3AttachmentStorage` из `IConfiguration` и файлов +секретов. Он реализует запись, потоковое скачивание и удаление объекта. Клиент SDK +использует заданный регион подписи и path-style адресацию. Входной поток загрузки +и поток назначения принадлежат вызывающему коду; клиент SDK освобождается DI при остановке. +HTTP-endpoint вложений реализованы в `AttachmentEndpoints.cs`. Проверка `/health/ready` +требует доступности PostgreSQL и S3. Примеры запуска и HTTP-проверок — в корневом `REPORT.md`. +Устойчивый журнал, grace period и worker очистки описаны в [cleanup.md](cleanup.md). + +## Проверка + +```sh +docker compose --env-file .env run --rm --no-deps s3-check +``` + +Проверка использует только ключи API: загружает `tests/fixtures/sample.png` в уникальный +временный объект, скачивает и сверяет SHA-256 и размер. Анонимный GET существующего +объекта должен вернуть 403. Проверяются запрет администрирования, запрет записи вне +`originals/` и удаление временного объекта. При ошибке скрипт возвращает ненулевой код. + +Проверка реального C#-сервиса с теми же ограниченными ключами API: + +```sh +dotnet build tools/StorageCheck/StorageCheck.csproj -c Release +docker compose --env-file .env run --rm --no-deps s3-client-check +``` + +Сначала соберите инструмент на хосте, затем запустите в Linux-контейнере в сети +Compose. Сборка подключает проект API, поэтому проверяется именно его реализация. +Тест проверяет загрузку, сохранение открытого входного потока, скачивание с побайтовым +сравнением и SHA-256, анонимный GET с кодом 403, удаление и последующий GET с кодом 404. +Объект получает уникальный ключ; `finally` удаляет его и при неудачной проверке. +Результаты: [evidence/s3-client-check.md](../../evidence/s3-client-check.md). + +Для обычной остановки: `docker compose --env-file .env stop` или `down` без `-v`. +Не удаляйте volume при проверке сохранности. Удаление volume уничтожает файлы и IAM-настройки. + +Первичные материалы: [релиз MinIO](https://github.com/minio/minio/releases/tag/RELEASE.2025-09-07T16-13-09Z), +[релиз mc](https://github.com/minio/mc/releases/tag/RELEASE.2025-08-13T08-35-41Z), +[настройки сервера](https://github.com/minio/minio/blob/RELEASE.2025-09-07T16-13-09Z/docs/config/README.md). diff --git a/infra/s3/bootstrap.sh b/infra/s3/bootstrap.sh new file mode 100644 index 00000000..5b122355 --- /dev/null +++ b/infra/s3/bootstrap.sh @@ -0,0 +1,38 @@ +#!/bin/sh +# Повторный запуск сохраняет bucket и объекты; обновляет только нашу политику/пользователя. +set -eu +umask 077 +bucket=${S3_BUCKET:?S3_BUCKET is required} +case "$bucket" in + ''|*[!a-z0-9.-]*) echo 'Invalid bucket name' >&2; exit 1 ;; +esac + +mc alias set storage http://s3:9000 \ + "$(cat /run/secrets/s3_root_user)" \ + "$(cat /run/secrets/s3_root_password)" >/dev/null +mc mb --ignore-existing "storage/$bucket" >/dev/null +mc anonymous set none "storage/$bucket" >/dev/null + +cat > /tmp/attachments-policy.json </dev/null +access_key=$(cat /run/secrets/s3_access_key_id) +mc admin user add storage "$access_key" "$(cat /run/secrets/s3_secret_access_key)" >/dev/null +mc admin policy attach storage attachments-api --user "$access_key" >/dev/null +echo 'S3 bootstrap complete: private bucket and restricted API credentials.' diff --git a/infra/s3/check.sh b/infra/s3/check.sh new file mode 100644 index 00000000..d5a8fed0 --- /dev/null +++ b/infra/s3/check.sh @@ -0,0 +1,37 @@ +#!/bin/sh +# Проверка непосредственно S3. Endpoint приложения будет добавлен на следующем этапе. +set -eu +umask 077 +bucket=${S3_BUCKET:?S3_BUCKET is required} +mc alias set app http://s3:9000 \ + "$(cat /run/secrets/s3_access_key_id)" \ + "$(cat /run/secrets/s3_secret_access_key)" >/dev/null +key="originals/infra-check-$(cat /proc/sys/kernel/random/uuid).png" +cleanup() { mc rm "app/$bucket/$key" >/dev/null 2>&1 || true; } +trap cleanup EXIT + +mc cp /fixtures/sample.png "app/$bucket/$key" >/dev/null +mc cp "app/$bucket/$key" /tmp/download.png >/dev/null +original_hash=$(sha256sum /fixtures/sample.png | cut -d ' ' -f 1) +download_hash=$(sha256sum /tmp/download.png | cut -d ' ' -f 1) +[ "$original_hash" = "$download_hash" ] +[ "$(wc -c < /fixtures/sample.png)" = "$(wc -c < /tmp/download.png)" ] +echo 'PASS: API credentials upload/download match SHA-256 and size.' + +code=$(curl --silent --show-error --max-time 10 --output /dev/null --write-out '%{http_code}' "http://s3:9000/$bucket/$key") +[ "$code" = 403 ] || { echo "FAIL: anonymous GET returned $code" >&2; exit 1; } +echo 'PASS: anonymous GET of an existing object returns 403.' + +if mc admin info app >/dev/null 2>&1; then + echo 'FAIL: API credentials have admin access' >&2; exit 1 +fi +if mc cp /fixtures/sample.png "app/$bucket/forbidden-check.png" >/dev/null 2>&1; then + mc rm "app/$bucket/forbidden-check.png" >/dev/null + echo 'FAIL: API credentials can write outside originals/' >&2; exit 1 +fi +echo 'PASS: API credentials cannot administer S3 or write outside originals/.' +mc rm "app/$bucket/$key" >/dev/null +if mc stat "app/$bucket/$key" >/dev/null 2>&1; then + echo 'FAIL: object was not deleted' >&2; exit 1 +fi +echo 'PASS: API credentials delete the temporary object.' diff --git a/infra/s3/cleanup.md b/infra/s3/cleanup.md new file mode 100644 index 00000000..1645698a --- /dev/null +++ b/infra/s3/cleanup.md @@ -0,0 +1,79 @@ +# Долговечная очистка незавершённых upload + +## Граница атомарности + +PostgreSQL и S3 не имеют общей транзакции. Каждая загрузка приложения создаёт +`upload_intents(id, object_key, created_at, expires_at, next_attempt_at, delete_count)` +**до первого S3 PUT**. Если журнал недоступен, PUT не начинается. + +После PUT сервер берёт блокировку строки намерения (`FOR UPDATE`) и проверяет, +что lease ещё действует. Создание `attachments` и удаление соответствующего +намерения выполняются одним PostgreSQL COMMIT. Неопределённый исход COMMIT безопасен: +либо есть Attachment и нет intent, либо intent остаётся для очистки. +После истечения lease старый upload не может опубликовать Attachment. + +## Фоновый проход + +`UploadCleanupWorker` работает на каждой API-реплике. При старте и затем раз в +`UPLOAD_CLEANUP_INTERVAL_SECONDS` (по умолчанию 30 с) выбирает до 16 просроченных +намерений, с `FOR UPDATE SKIP LOCKED`. Одна строка не обрабатывается двумя +репликами одновременно. Финализация upload использует ту же блокировку. + +Перед удалением проверяется, что ни один `Attachment` не использует object key. +Готовый объект никогда не удаляется: при наличии метаданных удаляется только +лишнее намерение. Очистка принимает исключительно ключ `originals/`. + +`UPLOAD_CLEANUP_GRACE_SECONDS` по умолчанию 300 с; значения меньше 120 с запрещены. +Это больше HTTP-deadline upload 30 с и таймаутов/повторов SDK с запасом. Свежие +намерения не выбираются, даже если объект уже записан. Нет переключателя обхода grace. + +После DELETE журнал не забывается: остаётся tombstone, следующий проход повторяет +идемпотентный DELETE. Так даже PUT, завершившийся с задержкой после аварии/первой +очистки, будет удалён на последующих проходах. `delete_count` показывает число +успешных попыток. При отказе S3/БД журнал сохраняется; проход повторится после +восстановления. Если процесс остановился между DELETE и COMMIT, повтор безопасен. + +Цена этого решения — постоянная небольшая SQL-запись и периодический DELETE на +неудачную загрузку. Автоматически удалять tombstones нельзя без дополнительного +доказательства, что старый PUT больше не завершится. Архивация журнала и полный +аудит объектов, созданных вручную вне приложения, относятся к дальнейшим улучшениям. + +## Ручной проход и наблюдение + +```sh +docker compose --env-file .env run --rm --no-deps api --cleanup-uploads +docker compose --env-file .env logs --since 10m api +``` + +Команда использует те же настройки, ограничения и grace, что фоновый worker. +Она выводит счётчики `Scanned`, `Deleted`, `Protected`, `Failed`. При ненулевом +`Failed` проверьте доступность S3 и повторите после восстановления. Обычная работа +не требует этой команды: worker запускается автоматически. + +## Проверка с реальными хранилищами + +```sh +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --filter FullyQualifiedName~UploadCleanupTests +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 +``` + +Семь C#-тестов используют одноразовые настоящие PostgreSQL/MinIO: + +1. S3 PUT проходит, interceptor блокирует сохранение метаданных. После пересоздания + приложения worker сам читает журнал и удаляет объект. +2. Свежий intent защищён grace period. +3. Готовый Attachment защищён даже при добавленном просроченном intent. +4. Отказ DELETE не теряет журнал; после восстановления удаляется и повторно + записанный запоздавшим PUT объект. +5. Истёкший lease не допускает публикацию метаданных. +6. Два параллельных прохода захватывают одну запись только один раз. +7. Старый tombstone сохраняется, чтобы не забыть очень поздний PUT. + +Чтобы не ждать пять минут, тесты меняют timestamps **только собственных записей +в одноразовой тестовой БД**. Production grace остаётся 300 с. + +Python дополнительно закрывает настоящий TCP upload до передачи Content-Length: +число метаданных/намерений не меняется, временные spool-файлы удаляются. На каждой +реплике один upload/декодер, очередь ждёт до 2 с, затем возвращается 503 unavailable. +Все чтения тела ограничены байтами, размер изображения проверяется до декодирования, +распаковка PNG предварительно ограничивается по размерам. diff --git a/infra/s3/start.sh b/infra/s3/start.sh new file mode 100644 index 00000000..147fedc6 --- /dev/null +++ b/infra/s3/start.sh @@ -0,0 +1,5 @@ +#!/bin/sh +set -eu +export MINIO_ROOT_USER="$(cat /run/secrets/s3_root_user)" +export MINIO_ROOT_PASSWORD="$(cat /run/secrets/s3_root_password)" +exec minio server /data --address :9000 diff --git a/mtusi2026lab3-fork.sln b/mtusi2026lab3-fork.sln new file mode 100644 index 00000000..1ef9e1c6 --- /dev/null +++ b/mtusi2026lab3-fork.sln @@ -0,0 +1,36 @@ +Microsoft Visual Studio Solution File, Format Version 12.00 +# Visual Studio Version 17 +VisualStudioVersion = 17.5.2.0 +MinimumVisualStudioVersion = 10.0.40219.1 +Project("{2150E333-8FDC-42A3-9474-1A3956D46DE8}") = "scr", "scr", "{027FA04E-56EC-7B26-372C-A48CC532505F}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api", "scr\Messenger.Api\Messenger.Api.csproj", "{630C0B6F-93DF-AAC7-9A7B-184D4E60B431}" +EndProject +Project("{FAE04EC0-301F-11D3-BF4B-00C04F79EFBC}") = "Messenger.Api.Tests", "scr\Messenger.Api.Tests\Messenger.Api.Tests.csproj", "{4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}" +EndProject +Global + GlobalSection(SolutionConfigurationPlatforms) = preSolution + Debug|Any CPU = Debug|Any CPU + Release|Any CPU = Release|Any CPU + EndGlobalSection + GlobalSection(ProjectConfigurationPlatforms) = postSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Debug|Any CPU.Build.0 = Debug|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.ActiveCfg = Release|Any CPU + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431}.Release|Any CPU.Build.0 = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.ActiveCfg = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Debug|Any CPU.Build.0 = Debug|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.ActiveCfg = Release|Any CPU + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2}.Release|Any CPU.Build.0 = Release|Any CPU + EndGlobalSection + GlobalSection(SolutionProperties) = preSolution + HideSolutionNode = FALSE + EndGlobalSection + GlobalSection(NestedProjects) = preSolution + {630C0B6F-93DF-AAC7-9A7B-184D4E60B431} = {027FA04E-56EC-7B26-372C-A48CC532505F} + {4F2D7000-2CE0-BBF9-8937-6B7E8F80C7D2} = {027FA04E-56EC-7B26-372C-A48CC532505F} + EndGlobalSection + GlobalSection(ExtensibilityGlobals) = postSolution + SolutionGuid = {41A93240-9911-4469-8EAB-F192C6DC6640} + EndGlobalSection +EndGlobal diff --git a/scr/Messenger.Api.Tests/ApiFixture.cs b/scr/Messenger.Api.Tests/ApiFixture.cs new file mode 100644 index 00000000..5a516c03 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiFixture.cs @@ -0,0 +1,128 @@ +using DotNet.Testcontainers.Builders; +using DotNet.Testcontainers.Containers; +using Microsoft.AspNetCore.Hosting; +using Microsoft.AspNetCore.Mvc.Testing; +using Npgsql; +using StackExchange.Redis; +using Testcontainers.PostgreSql; +using Amazon.S3; +using Amazon.S3.Model; + +namespace Messenger.Api.Tests; + +// Один одноразовый контейнер PostgreSQL и один Valkey на весь тестовый прогон. Приложение поднимается в процессе теста +// и применяет миграции к пустой БД, как при настоящем старте. Нужен только запущенный Docker. +// Настройки передаются через UseSetting (а не переменные окружения), поэтому тест может поднять второй экземпляр +// приложения с другими настройками: fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")). +public sealed class ApiFixture : WebApplicationFactory, IAsyncLifetime +{ + public const string PostgresImage = "postgres:17@sha256:b8faeff7712663c2773a190181e1246e37e364b887611c04658c28b44e2408fe"; + private const string ValkeyImage = "valkey/valkey:8.1@sha256:640c5e62cea04b6d6f2084232651d0cc70362d31f4f805e7be94dbed6855e8f2"; + + private readonly PostgreSqlContainer _db = new PostgreSqlBuilder().WithImage(PostgresImage).Build(); + + private readonly IContainer _cache = new ContainerBuilder() + .WithImage(ValkeyImage) + .WithPortBinding(6379, true) + .WithWaitStrategy(Wait.ForUnixContainer().UntilMessageIsLogged("Ready to accept connections")) + .Build(); + + private string _connectionFile = string.Empty; + private string _s3AccessFile = string.Empty; + private string _s3SecretFile = string.Empty; + private const string S3Access = "integration-test-user"; + private const string S3Secret = "integration-only-not-a-real-secret"; + private readonly IContainer _s3 = new ContainerBuilder() + .WithImage("quay.io/minio/minio@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e") + .WithEnvironment("MINIO_ROOT_USER", S3Access) + .WithEnvironment("MINIO_ROOT_PASSWORD", S3Secret) + .WithEnvironment("MINIO_BROWSER", "off") + .WithCommand("server", "/data") + .WithPortBinding(9000, true) + .WithWaitStrategy(Wait.ForUnixContainer().UntilHttpRequestIsSucceeded(r => r.ForPort(9000).ForPath("/minio/health/ready"))) + .Build(); + + public string ConnectionString => _db.GetConnectionString(); + public string CacheConnection => $"{_cache.Hostname}:{_cache.GetMappedPublicPort(6379)}"; + + public async Task InitializeAsync() + { + await Task.WhenAll(_db.StartAsync(), _cache.StartAsync(), _s3.StartAsync()); + _connectionFile = WriteConnectionFile(_db.GetConnectionString()); + _s3AccessFile = WriteConnectionFile(S3Access); + _s3SecretFile = WriteConnectionFile(S3Secret); + using var client = new AmazonS3Client(S3Access, S3Secret, new AmazonS3Config + { ServiceURL = $"http://{_s3.Hostname}:{_s3.GetMappedPublicPort(9000)}", ForcePathStyle = true, AuthenticationRegion = "us-east-1" }); + await client.PutBucketAsync(new PutBucketRequest { BucketName = "integration-attachments" }); + } + + async Task IAsyncLifetime.DisposeAsync() + { + await _db.DisposeAsync(); + await _cache.DisposeAsync(); + await _s3.DisposeAsync(); + File.Delete(_connectionFile); + File.Delete(_s3AccessFile); + File.Delete(_s3SecretFile); + } + + protected override void ConfigureWebHost(IWebHostBuilder builder) + { + builder.UseSetting("DATABASE_URL_FILE", _connectionFile); + builder.UseSetting("CACHE_CONNECTION", CacheConnection); + builder.UseSetting("DIAGNOSTIC_HEADERS", "true"); + builder.UseSetting("S3_ENDPOINT", $"http://{_s3.Hostname}:{_s3.GetMappedPublicPort(9000)}"); + builder.UseSetting("S3_BUCKET", "integration-attachments"); + builder.UseSetting("S3_ACCESS_KEY_ID_FILE", _s3AccessFile); + builder.UseSetting("S3_SECRET_ACCESS_KEY_FILE", _s3SecretFile); + // В Compose схему применяет отдельный контейнер (--migrate); тестовый процесс мигрирует пустую БД сам. + builder.UseSetting("MIGRATE_ON_START", "true"); + builder.UseSetting("SHUTDOWN_DRAIN_SECONDS", "0"); + } + + public static string WriteConnectionFile(string connectionString) + { + var path = Path.Combine(Path.GetTempPath(), $"messenger-test-{Guid.NewGuid():N}.conn"); + File.WriteAllText(path, connectionString); + return path; + } + + // Прямой доступ к БД для проверок, которые нельзя выразить через API (например, состояние таблицы sessions). + public async Task OpenConnectionAsync() + { + var connection = new NpgsqlConnection(ConnectionString); + await connection.OpenAsync(); + return connection; + } + + public async Task ScalarAsync(string sql, params (string Name, object Value)[] parameters) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + foreach (var (name, value) in parameters) + { + command.Parameters.AddWithValue(name, value); + } + + var result = await command.ExecuteScalarAsync(); + return result is null or DBNull ? default : (T)result; + } + + public async Task ExecuteAsync(string sql) + { + await using var db = await OpenConnectionAsync(); + await using var command = new NpgsqlCommand(sql, db); + await command.ExecuteNonQueryAsync(); + } + + // Полная очистка содержимого кэша (эквивалент FLUSHALL / перезапуска Valkey без persistence). + public async Task FlushCacheAsync() + { + using var connection = await ConnectionMultiplexer.ConnectAsync( + new ConfigurationOptions { EndPoints = { CacheConnection }, AllowAdmin = true }); + await connection.GetServer(connection.GetEndPoints()[0]).FlushAllDatabasesAsync(); + } +} + +[CollectionDefinition("api")] +public sealed class ApiCollection : ICollectionFixture; diff --git a/scr/Messenger.Api.Tests/ApiHelpers.cs b/scr/Messenger.Api.Tests/ApiHelpers.cs new file mode 100644 index 00000000..2b73a4e7 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiHelpers.cs @@ -0,0 +1,104 @@ +using System.Net; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +namespace Messenger.Api.Tests; + +internal sealed record TestUser(Guid Id, string Username, string Password, string Token); + +internal static class ApiHelpers +{ + public const string DefaultPassword = "correct horse battery staple"; + + public static StringContent Json(string raw) => + new(raw, Encoding.UTF8, "application/json"); + + // user != null — запрос с Bearer-токеном этого пользователя. + public static HttpRequestMessage Request(HttpMethod method, string url, TestUser? user = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (user is not null) + { + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", user.Token); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task ErrorCodeAsync(HttpResponseMessage response) + { + var json = await ReadJsonAsync(response); + return json.GetProperty("error").GetProperty("code").GetString()!; + } + + public static string BasicHeader(string username, string password) => + "Basic " + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}")); + + public static async Task LoginAsync(HttpClient client, string username, string password) + { + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(username, password)); + return await client.SendAsync(request); + } + + // Регистрирует пользователя и входит: возвращает его с рабочим Bearer-токеном. + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест", password = DefaultPassword }); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + + var login = await LoginAsync(client, username, DefaultPassword); + Assert.Equal(HttpStatusCode.Created, login.StatusCode); + var token = (await ReadJsonAsync(login)).GetProperty("token").GetString()!; + return new TestUser(id, username, DefaultPassword, token); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + // key == null — новый уникальный Idempotency-Key (каждое сообщение независимо); иначе повтор с заданным ключом. + public static async Task SendMessageAsync( + HttpClient client, TestUser sender, Guid chatId, string text, string? key = null) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender, + JsonContent.Create(new { text })); + request.Headers.Add("Idempotency-Key", key ?? Guid.NewGuid().ToString("N")); + return await client.SendAsync(request); + } + + public static async Task> ReadAllMessagesAsync(HttpClient client, Guid chatId, TestUser user, int limit) + { + string? cursor = null; + var received = new List(); + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + return received; + } +} diff --git a/scr/Messenger.Api.Tests/ApiTests.cs b/scr/Messenger.Api.Tests/ApiTests.cs new file mode 100644 index 00000000..77c45a16 --- /dev/null +++ b/scr/Messenger.Api.Tests/ApiTests.cs @@ -0,0 +1,303 @@ +using System.Net; +using System.Text.Json; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ApiTests(ApiFixture fixture) +{ + private HttpClient NewClient() => fixture.CreateClient(); + + [Fact] + public async Task CreateUser_WithMalformedJson_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json("{bad")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + [Fact] + public async Task CreateUser_WithoutBody_ReturnsBadRequest() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", null); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task CreateUser_WithDuplicateUsername_ReturnsConflict() + { + using var client = NewClient(); + var user = await CreateUserAsync(client); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{user.Username}}","display_name":"Другой","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Conflict, response.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(response)); + } + + [Theory] + [InlineData("short")] + [InlineData("12345678901")] // 11 символов + public async Task CreateUser_WithShortPassword_ReturnsBadRequest(string password) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"short_pw_probe","display_name":"A","password":"{{password}}"}""")); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task CreateUser_Response_DoesNotExposePasswordOrHash() + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", + Json($$"""{"username":"no_leak_probe","display_name":"A","password":"{{DefaultPassword}}"}""")); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var body = await response.Content.ReadAsStringAsync(); + Assert.DoesNotContain("password", body, StringComparison.OrdinalIgnoreCase); + Assert.DoesNotContain("argon2", body, StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task GetChat_ByNonMember_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Get, $"/api/v1/chats/{chatId}", eve); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + Assert.Equal("not_found", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task ListChats_ShowsOnlyChatsOfCurrentUser() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var shared = await CreateChatAsync(client, alice, bob); + var other = await CreateChatAsync(client, eve); + + using var request = Request(HttpMethod.Get, "/api/v1/chats", bob); + var page = await ReadJsonAsync(await client.SendAsync(request)); + var ids = page.GetProperty("items").EnumerateArray().Select(c => c.GetProperty("id").GetGuid()).ToList(); + + Assert.Contains(shared, ids); + Assert.DoesNotContain(other, ids); + } + + [Fact] + public async Task CreateChat_WithUnknownMember_ReturnsBadRequestAndCreatesNothing() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"X","member_ids":["{{alice.Id}}","{{Guid.NewGuid()}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + using var list = Request(HttpMethod.Get, "/api/v1/chats", alice); + var page = await ReadJsonAsync(await client.SendAsync(list)); + Assert.Empty(page.GetProperty("items").EnumerateArray()); + } + + [Fact] + public async Task SendMessage_ToForeignChat_ReturnsNotFound() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + var response = await SendMessageAsync(client, eve, chatId, "чужое"); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); + } + + [Theory] + [InlineData("")] + [InlineData(" ")] + public async Task SendMessage_WithEmptyText_ReturnsBadRequest(string text) + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + + var response = await SendMessageAsync(client, alice, chatId, text); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } + + [Fact] + public async Task SendMessage_SenderIsTakenFromSession_NotFromRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", alice, + Json($$"""{"text":"привет","sender_id":"{{bob.Id}}"}""")); + request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N")); + var withSender = await client.SendAsync(request); + var ok = await SendMessageAsync(client, alice, chatId, "привет"); + + Assert.Equal(HttpStatusCode.BadRequest, withSender.StatusCode); // sender_id в запросе не принимается + Assert.Equal(alice.Id, (await ReadJsonAsync(ok)).GetProperty("sender_id").GetGuid()); + } + + [Fact] + public async Task ListMessages_WalksAllPagesWithoutGapsOrDuplicates() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice, bob); + const int total = 7; + var sent = new List(); + for (var i = 0; i < total; i++) + { + var response = await SendMessageAsync(client, i % 2 == 0 ? alice : bob, chatId, $"сообщение {i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var received = new List(); + string? cursor = null; + var pages = 0; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=3" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, alice); + var page = await ReadJsonAsync(await client.SendAsync(request)); + received.AddRange(page.GetProperty("items").EnumerateArray().Select(m => m.GetProperty("id").GetGuid())); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + pages++; + } + while (cursor is not null && pages < 10); + + Assert.Equal(3, pages); + Assert.Equal(total, received.Count); + // Один автор в одном чате: порядок истории совпадает с порядком отправки. + Assert.Equal(sent, received); + } + + [Fact] + public async Task ListMessages_WithCursorFromAnotherChat_ReturnsBadRequest() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice); + var chat2 = await CreateChatAsync(client, alice); + await SendMessageAsync(client, alice, chat1, "a"); + await SendMessageAsync(client, alice, chat1, "b"); + using var first = Request(HttpMethod.Get, $"/api/v1/chats/{chat1}/messages?limit=1", alice); + var cursor = (await ReadJsonAsync(await client.SendAsync(first))).GetProperty("next_cursor").GetString()!; + + using var request = Request(HttpMethod.Get, + $"/api/v1/chats/{chat2}/messages?cursor={Uri.EscapeDataString(cursor)}", alice); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + } + + [Fact] + public async Task ListMessages_ReturnsSameOrderForAnyPageSize() + { + using var client = NewClient(); + var alice = await CreateUserAsync(client); + var chatId = await CreateChatAsync(client, alice); + var sent = new List(); + for (var i = 0; i < 120; i++) + { + var response = await SendMessageAsync(client, alice, chatId, $"m{i}"); + sent.Add((await ReadJsonAsync(response)).GetProperty("id").GetGuid()); + } + + var baseline = await ReadAllMessagesAsync(client, chatId, alice, 100); + Assert.Equal(sent, baseline); + foreach (var limit in new[] { 1, 7, 50 }) + { + var received = await ReadAllMessagesAsync(client, chatId, alice, limit); + Assert.Equal(baseline, received); + } + } + + [Fact] + public async Task ListMessages_AfterConcurrentSends_IsOrderedByTimeThenId() + { + using var client = NewClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chatId = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var sends = Enumerable.Range(0, 300).Select(i => SendMessageAsync(client, users[i % 10], chatId, $"m{i}")); + foreach (var response in await Task.WhenAll(sends)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var items = new List<(string CreatedAt, Guid Id)>(); + string? cursor = null; + do + { + var url = $"/api/v1/chats/{chatId}/messages?limit=100" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, users[0]); + var page = await ReadJsonAsync(await client.SendAsync(request)); + items.AddRange(page.GetProperty("items").EnumerateArray() + .Select(m => (m.GetProperty("created_at").GetString()!, m.GetProperty("id").GetGuid()))); + var next = page.GetProperty("next_cursor"); + cursor = next.ValueKind == JsonValueKind.Null ? null : next.GetString(); + } + while (cursor is not null); + + Assert.Equal(300, items.Count); + Assert.Equal(300, items.Select(x => x.Id).Distinct().Count()); + // Серверное время строго возрастает внутри чата (см. last_message_at), поэтому порядок истории — порядок записи. + Assert.Equal(300, items.Select(x => x.CreatedAt).Distinct().Count()); + Assert.Equal(items.OrderBy(x => x.CreatedAt, StringComparer.Ordinal).ToList(), items); + } + + [Theory] + [InlineData("""{"USERNAME":"probe_case_a","display_name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"username":"probe_case_b","Display_Name":"A","password":"correct horse battery staple"}""")] + [InlineData("""{"Username":"probe_case_c","display_name":"A","password":"correct horse battery staple"}""")] + public async Task CreateUser_WithDifferentlyCasedFieldNames_ReturnsBadRequest(string body) + { + using var client = NewClient(); + + var response = await client.PostAsync("/api/v1/users", Json(body)); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal("invalid_request", await ErrorCodeAsync(response)); + } +} diff --git a/scr/Messenger.Api.Tests/AuthTests.cs b/scr/Messenger.Api.Tests/AuthTests.cs new file mode 100644 index 00000000..e2cd91ef --- /dev/null +++ b/scr/Messenger.Api.Tests/AuthTests.cs @@ -0,0 +1,252 @@ +using System.Net; +using System.Net.Http.Headers; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class AuthTests(ApiFixture fixture) +{ + private static readonly string[] ProtectedGets = + [ + "/api/v1/users/me", + "/api/v1/chats", + "/api/v1/chats/00000000-0000-0000-0000-000000000001", + "/api/v1/chats/00000000-0000-0000-0000-000000000001/messages" + ]; + + [Fact] + public async Task Login_WithValidCredentials_ReturnsOpaqueBearerSession() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var response = await LoginAsync(client, user.Username, user.Password); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var json = await ReadJsonAsync(response); + Assert.Equal("Bearer", json.GetProperty("token_type").GetString()); + Assert.True(json.GetProperty("token").GetString()!.Length >= 43); // 256 бит в base64url + Assert.Equal(user.Id, json.GetProperty("user").GetProperty("id").GetGuid()); + Assert.DoesNotContain("password", await response.Content.ReadAsStringAsync(), StringComparison.OrdinalIgnoreCase); + } + + [Fact] + public async Task Login_AcceptsColonInPassword() + { + using var client = fixture.CreateClient(); + var username = "colon" + Guid.NewGuid().ToString("N")[..8]; + await client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"A","password":"pass:with:colons-123"}""")); + + var response = await LoginAsync(client, username, "pass:with:colons-123"); + + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + [Fact] + public async Task Login_WrongPasswordAndUnknownUser_GiveIdenticalUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + var wrongPassword = await LoginAsync(client, user.Username, "totally-wrong-password"); + var unknownUser = await LoginAsync(client, "nobody_" + Guid.NewGuid().ToString("N")[..8], DefaultPassword); + + foreach (var response in new[] { wrongPassword, unknownUser }) + { + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Basic realm=\"messenger\", charset=\"UTF-8\"", response.Headers.WwwAuthenticate.ToString()); + Assert.Equal("unauthorized", await ErrorCodeAsync(response)); + } + + var a = (await ReadJsonAsync(wrongPassword)).GetProperty("error").GetProperty("message").GetString(); + var b = (await ReadJsonAsync(unknownUser)).GetProperty("error").GetProperty("message").GetString(); + Assert.Equal(a, b); + } + + [Theory] + [InlineData("Basic !!!not-base64")] + [InlineData("Basic bm9jb2xvbg==")] // "nocolon" + [InlineData("Bearer sometoken")] + [InlineData("")] + public async Task Login_WithMalformedAuthorization_ReturnsUnauthorized(string header) + { + using var client = fixture.CreateClient(); + using var request = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + if (header.Length > 0) + { + request.Headers.TryAddWithoutValidation("Authorization", header); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.StartsWith("Basic", response.Headers.WwwAuthenticate.ToString()); + } + + [Theory] + [MemberData(nameof(ProtectedUrls))] + public async Task ProtectedEndpoints_WithoutToken_ReturnUnauthorizedWithBearerChallenge(string url) + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync(url); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + Assert.True(response.Headers.Contains("X-Request-Id")); + } + + public static IEnumerable ProtectedUrls() => ProtectedGets.Select(u => new object[] { u }); + + [Fact] + public async Task ProtectedEndpoint_WithBasicAuth_ReturnsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var request = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + request.Headers.TryAddWithoutValidation("Authorization", BasicHeader(user.Username, user.Password)); + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } + + [Fact] + public async Task XUserIdHeader_IsIgnored() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + + // Без токена X-User-Id не даёт доступа. + using var anonymous = new HttpRequestMessage(HttpMethod.Get, "/api/v1/users/me"); + anonymous.Headers.Add("X-User-Id", alice.Id.ToString()); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(anonymous)).StatusCode); + + // С токеном — владелец сессии не подменяется. + using var spoofed = Request(HttpMethod.Get, "/api/v1/users/me", alice); + spoofed.Headers.Add("X-User-Id", eve.Id.ToString()); + var me = await ReadJsonAsync(await client.SendAsync(spoofed)); + Assert.Equal(alice.Id, me.GetProperty("id").GetGuid()); + } + + [Fact] + public async Task UnauthenticatedPostWithMalformedBody_ReturnsUnauthorizedNotBadRequest() + { + using var client = fixture.CreateClient(); + + var response = await client.PostAsync("/api/v1/chats", Json("{bad")); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); // сначала аутентификация + } + + [Fact] + public async Task Logout_RevokesTokenAndSecondLogoutIsUnauthorized() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + using var first = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + var firstResponse = await client.SendAsync(first); + Assert.Equal(HttpStatusCode.NoContent, firstResponse.StatusCode); + Assert.Equal(0, firstResponse.Content.Headers.ContentLength ?? 0); + + using var again = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(again)).StatusCode); + using var me = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task LogoutOfOneSession_DoesNotAffectAnotherSessionOfSameUser() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + var secondLogin = await ReadJsonAsync(await LoginAsync(client, user.Username, user.Password)); + var second = user with { Token = secondLogin.GetProperty("token").GetString()! }; + + using var logout = Request(HttpMethod.Delete, "/api/v1/auth/sessions/current", user); + await client.SendAsync(logout); + + using var me = Request(HttpMethod.Get, "/api/v1/users/me", second); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(me)).StatusCode); + } + + [Fact] + public async Task ExpiredSession_IsRejected() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + using var before = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(before)).StatusCode); + + // Состарим сессию в БД: created_at < expires_at < now (ограничение таблицы требует expires_at > created_at). + await using (var db = await fixture.OpenConnectionAsync()) + await using (var age = new Npgsql.NpgsqlCommand( + "update sessions set created_at = now() - interval '10 seconds', expires_at = now() - interval '5 seconds' where user_id = @u", db)) + { + age.Parameters.AddWithValue("u", user.Id); + Assert.Equal(1, await age.ExecuteNonQueryAsync()); + } + + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.Unauthorized, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task ShortSessionTtl_ExpiresSessionByItself() + { + // Отдельный экземпляр приложения с SESSION_TTL_SECONDS=2 поверх той же БД: никаких подмен данных в таблице. + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("SESSION_TTL_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + + using (var alive = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(alive)).StatusCode); + } + + await Task.Delay(TimeSpan.FromSeconds(3)); + + using var expired = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(expired); + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + Assert.Equal("Bearer realm=\"messenger\"", response.Headers.WwwAuthenticate.ToString()); + // Истёкшая сессия не продлевается: повторный вход выдаёт новую. + Assert.Equal(HttpStatusCode.Created, (await LoginAsync(client, user.Username, user.Password)).StatusCode); + } + + [Fact] + public async Task SessionsTable_StoresTokenHashNotToken() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand( + "select token_hash from sessions where user_id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var stored = (byte[])(await query.ExecuteScalarAsync())!; + + Assert.Equal(32, stored.Length); + Assert.NotEqual(System.Text.Encoding.UTF8.GetBytes(user.Token), stored); + Assert.Equal(System.Security.Cryptography.SHA256.HashData(System.Text.Encoding.UTF8.GetBytes(user.Token)), stored); + } + + [Fact] + public async Task PasswordsAreStoredAsArgon2id() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + + await using var db = await fixture.OpenConnectionAsync(); + await using var query = new Npgsql.NpgsqlCommand("select password_hash from users where id = @u", db); + query.Parameters.AddWithValue("u", user.Id); + var hash = (string)(await query.ExecuteScalarAsync())!; + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain(user.Password, hash); + } +} diff --git a/scr/Messenger.Api.Tests/CacheTests.cs b/scr/Messenger.Api.Tests/CacheTests.cs new file mode 100644 index 00000000..70b0e24b --- /dev/null +++ b/scr/Messenger.Api.Tests/CacheTests.cs @@ -0,0 +1,150 @@ +using System.Net; +using Microsoft.AspNetCore.Mvc.Testing; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class CacheTests(ApiFixture fixture) +{ + private static string Header(HttpResponseMessage response, string name) => + response.Headers.TryGetValues(name, out var values) ? values.First() : ""; + + private static async Task GetPageAsync( + HttpClient client, TestUser user, Guid chatId, int limit = 50, string? cursor = null) + { + var url = $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + using var request = Request(HttpMethod.Get, url, user); + return await client.SendAsync(request); + } + + private static async Task<(TestUser Alice, TestUser Bob, Guid Chat)> ChatWithMessagesAsync(HttpClient client, int messages) + { + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice, bob); + for (var i = 0; i < messages; i++) + { + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, $"m{i}")).StatusCode); + } + + return (alice, bob, chat); + } + + [Fact] + public async Task SecondRead_IsServedFromCache_WithFewerSqlQueries_AndIdenticalBody() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + + var first = await GetPageAsync(client, bob, chat); + var second = await GetPageAsync(client, bob, chat); + + Assert.Equal("miss", Header(first, "X-Cache")); + Assert.Equal("hit", Header(second, "X-Cache")); + // miss: сессия + версия/доступ + страница; hit: сессия + версия/доступ. + Assert.Equal("3", Header(first, "X-Db-Queries")); + Assert.Equal("2", Header(second, "X-Db-Queries")); + Assert.Equal(await first.Content.ReadAsStringAsync(), await second.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task ReadAfterWrite_NeverReturnsStaleCachedPage() + { + using var client = fixture.CreateClient(); + var (alice, bob, chat) = await ChatWithMessagesAsync(client, 2); + await GetPageAsync(client, bob, chat); // прогрели кэш + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + for (var i = 0; i < 20; i++) + { + var sent = await SendMessageAsync(client, alice, chat, $"new {i}"); + var id = (await ReadJsonAsync(sent)).GetProperty("id").GetGuid(); + + // Сразу после подтверждённой записи (201) следующее чтение обязано содержать новое сообщение. + var ids = await ReadAllMessagesAsync(client, chat, bob, 100); + Assert.Contains(id, ids); + Assert.Equal(3 + i, ids.Count); + } + } + + [Fact] + public async Task FlushedCache_DoesNotChangeResults() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 5); + var before = await ReadAllMessagesAsync(client, chat, bob, 2); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat, 2), "X-Cache")); + + await fixture.FlushCacheAsync(); + + var response = await GetPageAsync(client, bob, chat, 2); + Assert.Equal("miss", Header(response, "X-Cache")); + Assert.Equal(before, await ReadAllMessagesAsync(client, chat, bob, 2)); + } + + [Fact] + public async Task CachedPage_IsNotVisibleToNonMember() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 2); + var eve = await CreateUserAsync(client); + await GetPageAsync(client, bob, chat); + Assert.Equal("hit", Header(await GetPageAsync(client, bob, chat), "X-Cache")); + + var response = await GetPageAsync(client, eve, chat); + + Assert.Equal(HttpStatusCode.NotFound, response.StatusCode); // доступ проверяется до обращения к кэшу + Assert.DoesNotContain("m0", await response.Content.ReadAsStringAsync()); + } + + [Fact] + public async Task PagesWithDifferentLimitsAndCursors_AreCachedSeparately() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 9); + + var firstPass = await ReadAllMessagesAsync(client, chat, bob, 4); + var secondPass = await ReadAllMessagesAsync(client, chat, bob, 4); // все страницы уже в кэше + var otherLimit = await ReadAllMessagesAsync(client, chat, bob, 3); + + Assert.Equal(9, firstPass.Count); + Assert.Equal(firstPass, secondPass); + Assert.Equal(firstPass, otherLimit); + } + + [Fact] + public async Task UnavailableCache_IsBypassed_AndRequestsStillSucceed() + { + using var client = fixture.CreateClient(); + var (_, bob, chat) = await ChatWithMessagesAsync(client, 3); + var expected = await ReadAllMessagesAsync(client, chat, bob, 100); + + // Второй экземпляр приложения, у которого кэш указывает на закрытый порт. + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var brokenClient = broken.CreateClient(); + + for (var i = 0; i < 3; i++) + { + var response = await GetPageAsync(brokenClient, bob, chat); + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.Equal("bypass", Header(response, "X-Cache")); + } + + Assert.Equal(expected, await ReadAllMessagesAsync(brokenClient, chat, bob, 100)); + // Запись тоже не зависит от кэша. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(brokenClient, bob, chat, "при отказе кэша")).StatusCode); + } + + [Fact] + public async Task UnavailableCache_DoesNotTrustAnonymousRequests() + { + await using var broken = fixture.WithWebHostBuilder(b => b.UseSetting("CACHE_CONNECTION", "127.0.0.1:1")); + using var client = broken.CreateClient(); + + var response = await client.GetAsync($"/api/v1/chats/{Guid.NewGuid()}/messages"); + + Assert.Equal(HttpStatusCode.Unauthorized, response.StatusCode); + } +} diff --git a/scr/Messenger.Api.Tests/ConcurencyTests.cs b/scr/Messenger.Api.Tests/ConcurencyTests.cs new file mode 100644 index 00000000..772273e2 --- /dev/null +++ b/scr/Messenger.Api.Tests/ConcurencyTests.cs @@ -0,0 +1,79 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class ConcurencyTests(ApiFixture fixture) +{ + [Fact] + public async Task Create100MessagesBy10DifferentUsers_Concurrent() + { + using var client = fixture.CreateClient(); + var users = new List(); + for (var i = 0; i < 10; i++) + { + users.Add(await CreateUserAsync(client)); + } + + var chat = await CreateChatAsync(client, users[0], users.Skip(1).ToArray()); + + var messageTasks = Enumerable.Range(0, 100) + .Select(i => SendMessageAsync(client, users[i % 10], chat, $"Message {i + 1} from {users[i % 10].Username}")) + .ToList(); + + foreach (var response in await Task.WhenAll(messageTasks)) + { + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + } + + var messages = await ReadAllMessagesAsync(client, chat, users[0], 7); + + Assert.Equal(100, messages.Count); + Assert.Equal(100, messages.Distinct().Count()); + } + + [Fact] + public async Task RegisterSameUsernameConcurrently_ExactlyOneSucceeds_NoServerErrors() + { + // Проверяется гарантия уникального индекса, а не скорость железа: очередь хеширования делаем практически + // неограниченной по времени (по умолчанию лишние запросы получают 503, см. следующий тест). + await using var app = fixture.WithWebHostBuilder(b => b.UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "120")); + using var client = app.CreateClient(); + var username = "race" + Guid.NewGuid().ToString("N")[..10]; + + var attempts = Enumerable.Range(0, 20).Select(_ => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{username}}","display_name":"Гонка","password":"{{DefaultPassword}}"}"""))); + var statuses = (await Task.WhenAll(attempts)).Select(r => r.StatusCode).ToList(); + + Assert.Single(statuses, HttpStatusCode.Created); + Assert.Equal(19, statuses.Count(s => s == HttpStatusCode.Conflict)); + + await using var db = await fixture.OpenConnectionAsync(); + await using var count = new Npgsql.NpgsqlCommand("select count(*) from users where username = @u", db); + count.Parameters.AddWithValue("u", username); + Assert.Equal(1L, await count.ExecuteScalarAsync()); + } + + [Fact] + public async Task RegistrationBurstBeyondHashingCapacity_GetsBoundedUnavailable_NotServerError() + { + // Один слот Argon2 и ожидание 50 мс: пачка регистраций разных пользователей упирается в лимит. + // Лишние запросы получают 503 unavailable (а не 500 и не зависание), принятые — 201. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("PASSWORD_HASH_CONCURRENCY", "1") + .UseSetting("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", "0.05")); + using var client = app.CreateClient(); + var prefix = "burst" + Guid.NewGuid().ToString("N")[..6]; + + var responses = await Task.WhenAll(Enumerable.Range(0, 12).Select(i => client.PostAsync("/api/v1/users", + Json($$"""{"username":"{{prefix}}_{{i}}","display_name":"Пачка","password":"{{DefaultPassword}}"}""")))); + var statuses = responses.Select(r => r.StatusCode).ToList(); + + Assert.All(statuses, s => Assert.True(s is HttpStatusCode.Created or HttpStatusCode.ServiceUnavailable, $"неожиданный статус {s}")); + Assert.Contains(HttpStatusCode.Created, statuses); + Assert.Contains(HttpStatusCode.ServiceUnavailable, statuses); + var rejected = responses.First(r => r.StatusCode == HttpStatusCode.ServiceUnavailable); + Assert.Equal("unavailable", await ErrorCodeAsync(rejected)); + } +} diff --git a/scr/Messenger.Api.Tests/DependencyFailureTests.cs b/scr/Messenger.Api.Tests/DependencyFailureTests.cs new file mode 100644 index 00000000..b1338c25 --- /dev/null +++ b/scr/Messenger.Api.Tests/DependencyFailureTests.cs @@ -0,0 +1,192 @@ +using System.Diagnostics; +using System.Net; +using System.Net.Sockets; +using Microsoft.AspNetCore.Mvc.Testing; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.DependencyInjection; +using Testcontainers.PostgreSql; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class DependencyFailureTests(ApiFixture fixture) +{ + private static int FreePort() + { + using var listener = new TcpListener(IPAddress.Loopback, 0); + listener.Start(); + return ((IPEndPoint)listener.LocalEndpoint).Port; + } + + [Fact] + public async Task DatabaseDown_Returns503_NeverTrustsAnonymous_AndRecovers() + { + // Отдельный контейнер БД, который тест останавливает и запускает снова на том же порту. + var port = FreePort(); + await using var pg = new PostgreSqlBuilder().WithImage(ApiFixture.PostgresImage).WithPortBinding(port, 5432).Build(); + await pg.StartAsync(); + var file = ApiFixture.WriteConnectionFile(pg.GetConnectionString()); + try + { + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DATABASE_URL_FILE", file) + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "2")); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + using (var ok = Request(HttpMethod.Get, "/api/v1/users/me", user)) + { + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(ok)).StatusCode); + } + + await pg.StopAsync(); + + // Аутентифицированный запрос: ограниченная ошибка 503 без внутренних деталей. + using var down = Request(HttpMethod.Get, "/api/v1/users/me", user); + var downResponse = await client.SendAsync(down); + Assert.Equal(HttpStatusCode.ServiceUnavailable, downResponse.StatusCode); + Assert.Equal("unavailable", await ErrorCodeAsync(downResponse)); + var body = await downResponse.Content.ReadAsStringAsync(); + Assert.DoesNotContain("Npgsql", body); + Assert.DoesNotContain("Host=", body); + Assert.True(downResponse.Headers.Contains("X-Request-Id")); + + // Анонимный запрос не становится доверенным: без токена по-прежнему 401, а не 200/503 «как гость». + Assert.Equal(HttpStatusCode.Unauthorized, (await client.GetAsync("/api/v1/chats")).StatusCode); + // Токен, который нельзя проверить, не принимается. + Assert.Equal(HttpStatusCode.ServiceUnavailable, + (await LoginAsync(client, user.Username, user.Password)).StatusCode); + // Готовность отражает отказ, живость — нет. + Assert.Equal(HttpStatusCode.ServiceUnavailable, (await client.GetAsync("/health/ready")).StatusCode); + Assert.Equal(HttpStatusCode.OK, (await client.GetAsync("/health/live")).StatusCode); + + // Восстановление: после запуска БД тот же токен снова работает (данные не потеряны), без перезапуска API. + await pg.StartAsync(); + var recovered = false; + var started = Stopwatch.StartNew(); + while (started.Elapsed < TimeSpan.FromSeconds(30) && !recovered) + { + using var retry = Request(HttpMethod.Get, "/api/v1/users/me", user); + recovered = (await client.SendAsync(retry)).StatusCode == HttpStatusCode.OK; + if (!recovered) + { + await Task.Delay(500); + } + } + + Assert.True(recovered, "API не восстановился после возврата PostgreSQL"); + } + finally + { + File.Delete(file); + } + } + + [Fact] + public async Task ExhaustedConnectionPool_ReturnsBoundedError() + { + using var setup = fixture.CreateClient(); + var user = await CreateUserAsync(setup); + + // Пул из одного соединения и короткое ожидание: пока тест держит единственное соединение, запросы не зависают. + await using var app = fixture.WithWebHostBuilder(b => b + .UseSetting("DB_MAX_POOL_SIZE", "1") + .UseSetting("DB_CONNECT_TIMEOUT_SECONDS", "1")); + using var client = app.CreateClient(); + + using var scope = app.Services.CreateScope(); + var held = scope.ServiceProvider.GetRequiredService(); + await held.Database.OpenConnectionAsync(); + try + { + var started = Stopwatch.StartNew(); + using var request = Request(HttpMethod.Get, "/api/v1/users/me", user); + var response = await client.SendAsync(request); + started.Stop(); + + Assert.Equal(HttpStatusCode.ServiceUnavailable, response.StatusCode); + Assert.True(started.Elapsed < TimeSpan.FromSeconds(6), $"ответ занял {started.Elapsed}"); + } + finally + { + await held.Database.CloseConnectionAsync(); + } + + // После освобождения соединения сервис работает. + using var after = Request(HttpMethod.Get, "/api/v1/users/me", user); + Assert.Equal(HttpStatusCode.OK, (await client.SendAsync(after)).StatusCode); + } + + [Fact] + public async Task FailedMessageInsert_RollsBackVersionAndTimestamp() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "до сбоя")).StatusCode); + + var marker = "boom-" + Guid.NewGuid().ToString("N"); + var suffix = Guid.NewGuid().ToString("N")[..8]; + // Сбой «после UPDATE чата, во время INSERT сообщения»: триггер БД отклоняет сообщение с маркером. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.text = '{{marker}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + var versionBefore = await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat)); + var lastBefore = await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat)); + + var failed = await SendMessageAsync(client, alice, chat, marker); + + Assert.Equal(HttpStatusCode.InternalServerError, failed.StatusCode); + var body = await failed.Content.ReadAsStringAsync(); + Assert.Contains("internal_error", body); + Assert.DoesNotContain("injected", body); // внутренние детали не раскрываются + Assert.Equal(versionBefore, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + Assert.Equal(lastBefore, await fixture.ScalarAsync("select last_message_at from chats where id = @c", ("c", chat))); + Assert.Equal(1L, await fixture.ScalarAsync("select count(*) from messages where chat_id = @c", ("c", chat))); + + // Блокировка строки чата снята, следующая запись проходит и версия растёт ровно на 1. + Assert.Equal(HttpStatusCode.Created, (await SendMessageAsync(client, alice, chat, "после сбоя")).StatusCode); + Assert.Equal(versionBefore + 1, await fixture.ScalarAsync("select history_version from chats where id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON messages; DROP FUNCTION fail_{suffix}();"); + } + } + + [Fact] + public async Task FailedChatMemberInsert_RollsBackWholeChat() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var suffix = Guid.NewGuid().ToString("N")[..8]; + var title = "rollback-" + suffix; + + // Сбой при добавлении второго участника, уже после вставки строки чата и первого участника. + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_{{suffix}}() RETURNS trigger LANGUAGE plpgsql AS $$ + BEGIN IF NEW.user_id = '{{bob.Id}}' THEN RAISE EXCEPTION 'injected failure'; END IF; RETURN NEW; END $$; + CREATE TRIGGER tr_{{suffix}} BEFORE INSERT ON chat_members FOR EACH ROW EXECUTE FUNCTION fail_{{suffix}}(); + """); + try + { + using var request = Request(HttpMethod.Post, "/api/v1/chats", alice, + Json($$"""{"title":"{{title}}","member_ids":["{{alice.Id}}","{{bob.Id}}"]}""")); + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from chats where title = @t", ("t", title))); + Assert.Equal(0L, await fixture.ScalarAsync( + "select count(*) from chat_members where user_id in (@a, @b) ", ("a", alice.Id), ("b", bob.Id))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_{suffix} ON chat_members; DROP FUNCTION fail_{suffix}();"); + } + } +} diff --git a/scr/Messenger.Api.Tests/HealthTests.cs b/scr/Messenger.Api.Tests/HealthTests.cs new file mode 100644 index 00000000..dc46951e --- /dev/null +++ b/scr/Messenger.Api.Tests/HealthTests.cs @@ -0,0 +1,28 @@ +using System.Net; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class HealthTests(ApiFixture fixture) +{ + [Fact] + public async Task Live_ReturnsOk() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/live"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + } + + [Fact] + public async Task Ready_ReturnsOkWhenDatabaseIsAvailable() + { + using var client = fixture.CreateClient(); + + var response = await client.GetAsync("/health/ready"); + + Assert.Equal(HttpStatusCode.OK, response.StatusCode); + Assert.True(response.Headers.Contains("X-Request-Id")); + } +} diff --git a/scr/Messenger.Api.Tests/IdempotencyTests.cs b/scr/Messenger.Api.Tests/IdempotencyTests.cs new file mode 100644 index 00000000..1e28cc84 --- /dev/null +++ b/scr/Messenger.Api.Tests/IdempotencyTests.cs @@ -0,0 +1,261 @@ +using System.Net; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +// lab3: общая идемпотентность отправки сообщения. «Разные реплики» в тесте моделируются разными экземплярами приложения +// (fixture.WithWebHostBuilder) с общей PostgreSQL — ровно так же, как в Compose работают реплики за балансировщиком. +[Collection("api")] +public class IdempotencyTests(ApiFixture fixture) +{ + private static string NewKey() => Guid.NewGuid().ToString("N"); + + private static async Task CountMessagesAsync(HttpClient client, Guid chat, TestUser user) => + (await ReadAllMessagesAsync(client, chat, user, 100)).Count; + + [Fact] + public async Task Replay_ReturnsSameCodeAndSameMessage_WithoutDuplicate() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var first = await SendMessageAsync(client, alice, chat, "привет", key); + var second = await SendMessageAsync(client, alice, chat, "привет", key); + + Assert.Equal(HttpStatusCode.Created, first.StatusCode); + Assert.Equal(HttpStatusCode.Created, second.StatusCode); + Assert.Equal((await ReadJsonAsync(first)).ToString(), (await ReadJsonAsync(second)).ToString()); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task SameKeyDifferentBody_Conflict_AndOriginalIsKept() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + await SendMessageAsync(client, alice, chat, "первое", key); + var other = await SendMessageAsync(client, alice, chat, "второе", key); + + Assert.Equal(HttpStatusCode.Conflict, other.StatusCode); + Assert.Equal("conflict", await ErrorCodeAsync(other)); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Theory] + [InlineData(null)] + [InlineData("")] + [InlineData("has space")] + [InlineData("кириллица")] + public async Task MissingOrInvalidKey_BadRequest(string? key) + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", alice, + Json("""{"text":"x"}""")); + if (key is not null) + { + request.Headers.TryAddWithoutValidation("Idempotency-Key", key); + } + + var response = await client.SendAsync(request); + + Assert.Equal(HttpStatusCode.BadRequest, response.StatusCode); + Assert.Equal(0, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task KeyTooLong_BadRequest_ButMaxLengthAccepted() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + + var tooLong = await SendMessageAsync(client, alice, chat, "x", new string('a', 129)); + var maxLength = await SendMessageAsync(client, alice, chat, "x", new string('a', 128)); + + Assert.Equal(HttpStatusCode.BadRequest, tooLong.StatusCode); + Assert.Equal(HttpStatusCode.Created, maxLength.StatusCode); + } + + [Fact] + public async Task SameKeyIsIndependent_ForDifferentUsersAndDifferentChats() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var bob = await CreateUserAsync(client); + var chat1 = await CreateChatAsync(client, alice, bob); + var chat2 = await CreateChatAsync(client, alice, bob); + var key = NewKey(); + + var statuses = new[] + { + (await SendMessageAsync(client, alice, chat1, "a1", key)).StatusCode, + (await SendMessageAsync(client, bob, chat1, "b1", key)).StatusCode, + (await SendMessageAsync(client, alice, chat2, "a2", key)).StatusCode, + }; + + Assert.All(statuses, s => Assert.Equal(HttpStatusCode.Created, s)); + Assert.Equal(2, await CountMessagesAsync(client, chat1, alice)); + Assert.Equal(1, await CountMessagesAsync(client, chat2, alice)); + } + + [Fact] + public async Task Replay_StillRequiresValidSessionAndAccess() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var eve = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + await SendMessageAsync(client, alice, chat, "секрет", key); + + // Посторонний не может «прочитать» чужой результат по ключу; без токена — 401. + var asEve = await SendMessageAsync(client, eve, chat, "секрет", key); + using var anonymous = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/messages", null, Json("""{"text":"секрет"}""")); + anonymous.Headers.Add("Idempotency-Key", key); + var noToken = await client.SendAsync(anonymous); + + Assert.Equal(HttpStatusCode.NotFound, asEve.StatusCode); + Assert.Equal(HttpStatusCode.Unauthorized, noToken.StatusCode); + } + + [Fact] + public async Task ConcurrentReplays_OnOneInstance_CreateExactlyOneMessage() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var responses = await Task.WhenAll(Enumerable.Range(0, 30) + .Select(_ => Task.Run(() => SendMessageAsync(client, alice, chat, "гонка", key)))); + + Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode)); + var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid())); + Assert.Single(ids.Distinct()); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task ConcurrentReplays_ThroughDifferentInstances_CreateExactlyOneMessage() + { + // Три независимых экземпляра приложения (как три реплики) с общей PostgreSQL. + await using var replicaB = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-b")); + await using var replicaC = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-c")); + using var a = fixture.CreateClient(); + using var b = replicaB.CreateClient(); + using var c = replicaC.CreateClient(); + + var alice = await CreateUserAsync(a); // сессия создана на A и действует на B и C: сессии общие + var chat = await CreateChatAsync(a, alice); + var clients = new[] { a, b, c }; + + for (var round = 0; round < 5; round++) + { + var key = NewKey(); + var responses = await Task.WhenAll(Enumerable.Range(0, 30) + .Select(i => Task.Run(() => SendMessageAsync(clients[i % 3], alice, chat, $"гонка {round}", key)))); + + Assert.All(responses, r => Assert.Equal(HttpStatusCode.Created, r.StatusCode)); + var ids = await Task.WhenAll(responses.Select(async r => (await ReadJsonAsync(r)).GetProperty("id").GetGuid())); + Assert.Single(ids.Distinct()); + } + + Assert.Equal(5, await CountMessagesAsync(b, chat, alice)); + } + + [Fact] + public async Task ConcurrentSameKeyWithDifferentBodies_ExactlyOneWins_OthersConflict() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var responses = await Task.WhenAll(Enumerable.Range(0, 10) + .Select(i => Task.Run(() => SendMessageAsync(client, alice, chat, $"вариант {i}", key)))); + + var created = responses.Count(r => r.StatusCode == HttpStatusCode.Created); + var conflicts = responses.Count(r => r.StatusCode == HttpStatusCode.Conflict); + Assert.True(created >= 1 && created + conflicts == 10, $"created={created}, conflicts={conflicts}"); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task FailedWrite_IsNotRemembered_AndCanBeRetriedWithSameKey() + { + using var client = fixture.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + // Принудительная ошибка БД при вставке сообщения: транзакция (вместе с ключом) откатывается. + var suffix = Guid.NewGuid().ToString("N")[..8]; + await fixture.ExecuteAsync($$""" + CREATE FUNCTION fail_idem_{{suffix}}() RETURNS trigger AS $$ BEGIN RAISE EXCEPTION 'forced failure' USING ERRCODE = '53000'; END $$ LANGUAGE plpgsql; + CREATE TRIGGER tr_idem_{{suffix}} BEFORE INSERT ON messages FOR EACH ROW WHEN (NEW.chat_id = '{{chat}}') EXECUTE FUNCTION fail_idem_{{suffix}}(); + """); + try + { + var failed = await SendMessageAsync(client, alice, chat, "повторимо", key); + Assert.True((int)failed.StatusCode >= 500, $"expected 5xx, got {(int)failed.StatusCode}"); + Assert.Equal(0L, await fixture.ScalarAsync("select count(*) from idempotency_keys where chat_id = @c", ("c", chat))); + } + finally + { + await fixture.ExecuteAsync($"DROP TRIGGER tr_idem_{suffix} ON messages; DROP FUNCTION fail_idem_{suffix}();"); + } + + var retried = await SendMessageAsync(client, alice, chat, "повторимо", key); + var again = await SendMessageAsync(client, alice, chat, "повторимо", key); + + Assert.Equal(HttpStatusCode.Created, retried.StatusCode); + Assert.Equal(HttpStatusCode.Created, again.StatusCode); + Assert.Equal(1, await CountMessagesAsync(client, chat, alice)); + } + + [Fact] + public async Task ExpiredKey_CanBeReused_AsNewMessage() + { + await using var shortTtl = fixture.WithWebHostBuilder(b => b.UseSetting("IDEMPOTENCY_TTL_SECONDS", "1")); + using var client = shortTtl.CreateClient(); + var alice = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, alice); + var key = NewKey(); + + var first = await SendMessageAsync(client, alice, chat, "срок", key); + await Task.Delay(TimeSpan.FromMilliseconds(1500)); + var second = await SendMessageAsync(client, alice, chat, "срок", key); + + Assert.Equal(HttpStatusCode.Created, first.StatusCode); + Assert.Equal(HttpStatusCode.Created, second.StatusCode); + Assert.NotEqual( + (await ReadJsonAsync(first)).GetProperty("id").GetGuid(), + (await ReadJsonAsync(second)).GetProperty("id").GetGuid()); + } + + [Fact] + public async Task EveryResponse_HasInstanceId_IncludingErrorsAndHealth() + { + await using var replica = fixture.WithWebHostBuilder(b => b.UseSetting("INSTANCE_ID", "replica-x")); + using var client = replica.CreateClient(); + + var health = await client.GetAsync("/health/live"); + var ready = await client.GetAsync("/health/ready"); + var unauthorized = await client.GetAsync("/api/v1/users/me"); + var notFound = await client.GetAsync("/no/such/route"); + var badJson = await client.PostAsync("/api/v1/users", Json("{broken")); + + foreach (var response in new[] { health, ready, unauthorized, notFound, badJson }) + { + Assert.Equal("replica-x", Assert.Single(response.Headers.GetValues("X-Instance-Id"))); + } + } +} diff --git a/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj new file mode 100644 index 00000000..62302f8b --- /dev/null +++ b/scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj @@ -0,0 +1,27 @@ + + + + net10.0 + enable + enable + false + + + + + + + + + + + + + + + + + + + + \ No newline at end of file diff --git a/scr/Messenger.Api.Tests/PasswordHasherTests.cs b/scr/Messenger.Api.Tests/PasswordHasherTests.cs new file mode 100644 index 00000000..a9ea0333 --- /dev/null +++ b/scr/Messenger.Api.Tests/PasswordHasherTests.cs @@ -0,0 +1,69 @@ +using Messenger.Api.Services; + +namespace Messenger.Api.Tests; + +public class PasswordHasherTests +{ + private readonly Argon2PasswordHasher _hasher = new(new PasswordHashingSettings(4, TimeSpan.FromSeconds(30))); + + [Fact] + public async Task Hash_IsArgon2idPhcString_WithoutPlaintext() + { + var hash = await _hasher.HashAsync("correct horse battery staple", CancellationToken.None); + + Assert.StartsWith("$argon2id$", hash); + Assert.DoesNotContain("correct horse", hash); + } + + [Fact] + public async Task Hash_UsesRandomSalt() + { + var a = await _hasher.HashAsync("same-password-123", CancellationToken.None); + var b = await _hasher.HashAsync("same-password-123", CancellationToken.None); + + Assert.NotEqual(a, b); + } + + [Theory] + [InlineData("correct horse battery staple")] + [InlineData("пароль-с-юникодом-и:двоеточием-12")] + public async Task Verify_AcceptsCorrect_RejectsWrong(string password) + { + var hash = await _hasher.HashAsync(password, CancellationToken.None); + + Assert.True(await _hasher.VerifyAsync(hash, password, CancellationToken.None)); + Assert.False(await _hasher.VerifyAsync(hash, password + "x", CancellationToken.None)); + } + + [Fact] + public async Task Verify_DoesNotTruncateLongPasswords() + { + // Это ограничение bcrypt (72 байта); Argon2id его не имеет. Пароли отличаются только хвостом. + var prefix = new string('я', 60); // 120 байт в UTF-8 + var hash = await _hasher.HashAsync(prefix + "A", CancellationToken.None); + + Assert.False(await _hasher.VerifyAsync(hash, prefix + "B", CancellationToken.None)); + } + + [Fact] + public async Task Hash_WhenAllSlotsAreBusy_FailsWithBusyException() + { + // Один слот и почти нулевое ожидание: параллельные вызовы не копят память, лишние получают исключение (→ 503). + var hasher = new Argon2PasswordHasher(new PasswordHashingSettings(1, TimeSpan.FromMilliseconds(20))); + + var attempts = await Task.WhenAll(Enumerable.Range(0, 6).Select(async _ => + { + try { await hasher.HashAsync("some-long-enough-password", CancellationToken.None); return true; } + catch (PasswordHasherBusyException) { return false; } + })); + + Assert.Contains(true, attempts); // кто-то получил слот + Assert.Contains(false, attempts); // остальные получили контролируемый отказ + } + + [Fact] + public async Task Verify_UnknownUser_ReturnsFalse() + { + Assert.False(await _hasher.VerifyAsync(null, "any-password-123", CancellationToken.None)); + } +} diff --git a/scr/Messenger.Api.Tests/UploadCleanupTests.cs b/scr/Messenger.Api.Tests/UploadCleanupTests.cs new file mode 100644 index 00000000..fe92b983 --- /dev/null +++ b/scr/Messenger.Api.Tests/UploadCleanupTests.cs @@ -0,0 +1,211 @@ +using System.Net; +using Amazon.S3; +using Messenger.Api.Data; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Diagnostics; +using Microsoft.Extensions.DependencyInjection; +using static Messenger.Api.Tests.ApiHelpers; + +namespace Messenger.Api.Tests; + +[Collection("api")] +public class UploadCleanupTests(ApiFixture fixture) +{ + private static byte[] Png => File.ReadAllBytes(Path.Combine(FindRoot(), "tests/fixtures/sample.png")); + private static string FindRoot() + { + var dir = new DirectoryInfo(AppContext.BaseDirectory); + while (dir is not null && !File.Exists(Path.Combine(dir.FullName, "lab.json"))) dir = dir.Parent; + return dir?.FullName ?? throw new InvalidOperationException("Repository root missing"); + } + + private static async Task Upload(HttpClient client, TestUser user, Guid chat, string filename) + { + using var content = new ByteArrayContent(Png); + content.Headers.ContentType = new("image/png"); + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chat}/attachments?filename={filename}", user, content); + return await client.SendAsync(request); + } + + private sealed class MetadataFailure : SaveChangesInterceptor + { + public override ValueTask> SavingChangesAsync(DbContextEventData data, + InterceptionResult result, CancellationToken ct = default) + { + if (data.Context!.ChangeTracker.Entries().Any(e => e.State == EntityState.Added)) + throw new InvalidOperationException("injected metadata commit failure"); + return ValueTask.FromResult(result); + } + } + + private sealed class StorageDecorator(IAttachmentStorage inner) : IAttachmentStorage, IDisposable + { + public bool FailDelete { get; set; } + public Func? AfterPut { get; set; } + public Task CheckAsync(CancellationToken ct) => inner.CheckAsync(ct); + public async Task PutAsync(string key, Stream content, string mime, CancellationToken ct) + { await inner.PutAsync(key, content, mime, ct); if (AfterPut is not null) await AfterPut(key); } + public Task CopyToAsync(string key, Stream output, CancellationToken ct) => inner.CopyToAsync(key, output, ct); + public Task DeleteAsync(string key, CancellationToken ct) => FailDelete + ? throw new HttpRequestException("injected S3 outage") : inner.DeleteAsync(key, ct); + public void Dispose() => (inner as IDisposable)?.Dispose(); + } + + private async Task Seed(IServiceProvider services, bool expired = true) + { + using var scope = services.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var id = Guid.NewGuid(); + var now = Timestamps.UtcNowMilliseconds(); + var intent = new UploadIntentEntity { Id = id, ObjectKey = $"originals/{id:N}", CreatedAt = now, + ExpiresAt = expired ? now.AddMinutes(-1) : now.AddMinutes(5), NextAttemptAt = expired ? now.AddMinutes(-1) : now.AddMinutes(5) }; + db.UploadIntents.Add(intent); + await db.SaveChangesAsync(); + await scope.ServiceProvider.GetRequiredService().PutAsync(intent.ObjectKey, + new MemoryStream(Png), "image/png", CancellationToken.None); + return intent; + } + + private static async Task AssertMissing(IServiceProvider services, string key) + { + var storage = services.GetRequiredService(); + var error = await Assert.ThrowsAnyAsync(() => storage.CopyToAsync(key, Stream.Null, CancellationToken.None)); + Assert.Equal(HttpStatusCode.NotFound, error.StatusCode); + } + + [Fact] + public async Task MetadataFailureAfterS3Put_SurvivesApiRecreation_AndIsCleaned() + { + Guid pendingId; + string key; + var filename = $"fault-{Guid.NewGuid():N}.png"; + await using (var broken = fixture.WithWebHostBuilder(b => b.ConfigureServices(services => + services.AddDbContext(options => options.AddInterceptors(new MetadataFailure()))))) + { + using var client = broken.CreateClient(); + var user = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, user); + var response = await Upload(client, user, chat, filename); + Assert.Equal(HttpStatusCode.InternalServerError, response.StatusCode); + using var scope = broken.Services.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + Assert.False(await db.Attachments.AnyAsync(a => a.Filename == filename)); + var intent = await db.UploadIntents.OrderByDescending(i => i.CreatedAt).FirstAsync(); + pendingId = intent.Id; key = intent.ObjectKey; + using var output = new MemoryStream(); + await broken.Services.GetRequiredService().CopyToAsync(key, output, CancellationToken.None); + Assert.Equal(Png, output.ToArray()); + } + // Новый экземпляр приложения читает тот же устойчивый журнал. + await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '1 minute', next_attempt_at=now()-interval '1 minute' WHERE id='{pendingId}'"); + await using var recovered = fixture.WithWebHostBuilder(_ => { }); + using var recoveredClient = recovered.CreateClient(); + var deadline = DateTime.UtcNow.AddSeconds(10); + while (await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",pendingId)) == 0 && DateTime.UtcNow < deadline) + await Task.Delay(50); + await AssertMissing(recovered.Services, key); + Assert.Equal(1L, await fixture.ScalarAsync("SELECT count(*) FROM upload_intents WHERE id=@id AND delete_count>0", ("id",pendingId))); + } + + [Fact] + public async Task FreshIntent_IsProtectedByGracePeriod() + { + using var client = fixture.CreateClient(); + var intent = await Seed(fixture.Services, expired: false); + await fixture.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + using var result = new MemoryStream(); + await fixture.Services.GetRequiredService().CopyToAsync(intent.ObjectKey, result, CancellationToken.None); + Assert.Equal(Png, result.ToArray()); + Assert.Equal(0, await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + } + + [Fact] + public async Task PublishedAttachment_IsNeverDeleted_EvenWithAnExpiredIntent() + { + using var client = fixture.CreateClient(); + var user = await CreateUserAsync(client); + var chat = await CreateChatAsync(client, user); + var response = await Upload(client, user, chat, "protected.png"); + Assert.Equal(HttpStatusCode.Created, response.StatusCode); + var id = (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + using var scope = fixture.Services.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var attachment = await db.Attachments.SingleAsync(a => a.Id == id); + var old = DateTimeOffset.UtcNow.AddMinutes(-1); + db.UploadIntents.Add(new() { Id = id, ObjectKey = attachment.ObjectKey, CreatedAt = old, ExpiresAt = old, NextAttemptAt = old }); + await db.SaveChangesAsync(); + var cleanup = await fixture.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + Assert.True(cleanup.Protected >= 1); + using var request = Request(HttpMethod.Get,$"/api/v1/attachments/{id}/content",user); + Assert.Equal(Png, await (await client.SendAsync(request)).Content.ReadAsByteArrayAsync()); + Assert.False(await db.UploadIntents.AsNoTracking().AnyAsync(i => i.Id == id)); + } + + [Fact] + public async Task CleanupRetriesAfterS3Failure_AndDeletesALatePutAgain() + { + StorageDecorator? decorator = null; + await using var app = fixture.WithWebHostBuilder(b => b.ConfigureServices(services => + services.AddSingleton(sp => decorator = new(new S3AttachmentStorage(sp.GetRequiredService()))))); + using var client = app.CreateClient(); + var intent = await Seed(app.Services); + decorator!.FailDelete = true; + var failed = await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + Assert.True(failed.Failed >= 1); + Assert.Equal(0, await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + decorator.FailDelete = false; + await fixture.ExecuteAsync($"UPDATE upload_intents SET next_attempt_at=now()-interval '1 minute' WHERE id='{intent.Id}'"); + await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + await AssertMissing(app.Services,intent.ObjectKey); + // Имитация PUT, завершившегося с задержкой после первого DELETE. + await decorator.PutAsync(intent.ObjectKey,new MemoryStream(Png),"image/png",CancellationToken.None); + await fixture.ExecuteAsync($"UPDATE upload_intents SET next_attempt_at=now()-interval '1 minute' WHERE id='{intent.Id}'"); + await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + await AssertMissing(app.Services,intent.ObjectKey); + Assert.Equal(2, await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + } + + [Fact] + public async Task ExpiredUploadCannotPublish_AfterItsLeaseWasRevoked() + { + await using var app = fixture.WithWebHostBuilder(b => b.ConfigureServices(services => + services.AddSingleton(sp => new StorageDecorator(new S3AttachmentStorage(sp.GetRequiredService())) + { AfterPut = async key => + { + var id = Guid.ParseExact(key["originals/".Length..],"N"); + await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '1 minute', next_attempt_at=now()-interval '1 minute' WHERE id='{id}'"); + } + }))); + using var client = app.CreateClient(); + var user = await CreateUserAsync(client); + var chat = await CreateChatAsync(client,user); + var name = $"expired-{Guid.NewGuid():N}.png"; + Assert.Equal(HttpStatusCode.ServiceUnavailable,(await Upload(client,user,chat,name)).StatusCode); + using var scope = app.Services.CreateScope(); + Assert.False(await scope.ServiceProvider.GetRequiredService().Attachments.AnyAsync(a=>a.Filename==name)); + await app.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + } + + [Fact] + public async Task ConcurrentCleaners_ClaimAnIntentOnce() + { + using var client = fixture.CreateClient(); + var intent = await Seed(fixture.Services); + var cleaner = fixture.Services.GetRequiredService(); + await Task.WhenAll(cleaner.RunOnceAsync(CancellationToken.None),cleaner.RunOnceAsync(CancellationToken.None)); + await AssertMissing(fixture.Services,intent.ObjectKey); + Assert.Equal(1,await fixture.ScalarAsync("SELECT delete_count FROM upload_intents WHERE id=@id",("id",intent.Id))); + } + + [Fact] + public async Task OldTombstone_RemainsSoALatePutCannotBeForgotten() + { + using var client = fixture.CreateClient(); + var intent = await Seed(fixture.Services); + await fixture.ExecuteAsync($"UPDATE upload_intents SET expires_at=now()-interval '2 days' WHERE id='{intent.Id}'"); + await fixture.Services.GetRequiredService().RunOnceAsync(CancellationToken.None); + await AssertMissing(fixture.Services,intent.ObjectKey); + Assert.Equal(1L,await fixture.ScalarAsync("SELECT count(*) FROM upload_intents WHERE id=@id AND delete_count>0",("id",intent.Id))); + } +} diff --git a/scr/Messenger.Api/.vs/Messenger.Api.slnx/DesignTimeBuild/.dtbcache.v2 b/scr/Messenger.Api/.vs/Messenger.Api.slnx/DesignTimeBuild/.dtbcache.v2 new file mode 100644 index 00000000..1d808a8c Binary files /dev/null and b/scr/Messenger.Api/.vs/Messenger.Api.slnx/DesignTimeBuild/.dtbcache.v2 differ diff --git a/scr/Messenger.Api/.vs/Messenger.Api.slnx/FileContentIndex/c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx b/scr/Messenger.Api/.vs/Messenger.Api.slnx/FileContentIndex/c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx new file mode 100644 index 00000000..c63c9941 Binary files /dev/null and b/scr/Messenger.Api/.vs/Messenger.Api.slnx/FileContentIndex/c737387c-fbb7-4c5b-8ffa-7afbc2984f60.vsidx differ diff --git a/scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.futdcache.v2 b/scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.futdcache.v2 new file mode 100644 index 00000000..a9ad71ae Binary files /dev/null and b/scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.futdcache.v2 differ diff --git a/scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.suo b/scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.suo new file mode 100644 index 00000000..bfc186a1 Binary files /dev/null and b/scr/Messenger.Api/.vs/Messenger.Api.slnx/v18/.suo differ diff --git a/scr/Messenger.Api/.vs/Messenger.Api/CopilotIndices/18.10.1201.59691/SemanticSymbols.db b/scr/Messenger.Api/.vs/Messenger.Api/CopilotIndices/18.10.1201.59691/SemanticSymbols.db new file mode 100644 index 00000000..caac81c0 Binary files /dev/null and b/scr/Messenger.Api/.vs/Messenger.Api/CopilotIndices/18.10.1201.59691/SemanticSymbols.db differ diff --git a/scr/Messenger.Api/Endpoints/AttachmentEndpoints.cs b/scr/Messenger.Api/Endpoints/AttachmentEndpoints.cs new file mode 100644 index 00000000..ebed0a97 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/AttachmentEndpoints.cs @@ -0,0 +1,165 @@ +using System.Security.Cryptography; +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using StbImageSharp; + +namespace Messenger.Api.Endpoints; + +public static class AttachmentEndpoints +{ + public static IEndpointRouteBuilder MapAttachmentEndpoints(this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats/{chatId}/attachments", Upload).RequireAuthorization(); + endpoints.MapGet("/api/v1/attachments/{attachmentId}", Metadata).RequireAuthorization(); + endpoints.MapGet("/api/v1/attachments/{attachmentId}/content", Content).RequireAuthorization(); + return endpoints; + } + + private static async Task Upload(Guid chatId, HttpContext http, MessengerDbContext db, + IAttachmentStorage storage, UploadSettings limits, UploadGate gate, UploadCleanupSettings cleanup) + { + var user = http.GetUserId(); + if (!await db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == user, http.RequestAborted)) + return ApiErrors.Error(http, 404, "not_found", "Объект не найден"); + var names = http.Request.Query["filename"]; + var name = names.Count == 1 ? names[0] : null; + if (string.IsNullOrWhiteSpace(name) || ApiErrors.CodePoints(name) > 255 || + name.Any(c => c is '/' or '\\' || char.IsControl(c))) + return ApiErrors.Error(http, 400, "invalid_request", "Некорректное имя файла"); + var mime = http.Request.ContentType?.Split(';', 2)[0].Trim().ToLowerInvariant(); + if (mime is not ("image/png" or "image/jpeg")) + return ApiErrors.Error(http, 415, "unsupported_media_type", "Требуется PNG или JPEG"); + if (http.Request.ContentLength > limits.MaxBytes) + return ApiErrors.Error(http, 413, "payload_too_large", "Файл превышает лимит размера"); + + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(http.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(30)); + var ct = timeout.Token; + if (!await gate.Slots.WaitAsync(TimeSpan.FromSeconds(2), ct)) + return ApiErrors.Error(http, 503, "unavailable", "Загрузка временно перегружена"); + try + { + // Только временный spool; оригинал после 201 существует в S3, не на диске API. + var path = Path.Combine(Path.GetTempPath(), $"attachment-{Guid.NewGuid():N}"); + await using var file = new FileStream(path, FileMode.CreateNew, FileAccess.ReadWrite, FileShare.None, + 65536, FileOptions.Asynchronous | FileOptions.DeleteOnClose); + var buffer = new byte[65536]; + long size = 0; + while (true) + { + var count = await http.Request.Body.ReadAsync(buffer, ct); + if (count == 0) break; + size += count; + if (size > limits.MaxBytes) + return ApiErrors.Error(http, 413, "payload_too_large", "Файл превышает лимит размера"); + await file.WriteAsync(buffer.AsMemory(0, count), ct); + } + file.Position = 0; + try + { + var signature = new byte[8]; + if (size < 12) throw new InvalidDataException("Truncated image"); + await file.ReadExactlyAsync(signature, ct); + var actual = signature.AsSpan().SequenceEqual(new byte[] {137,80,78,71,13,10,26,10}) ? "image/png" : + signature[0] == 255 && signature[1] == 216 ? "image/jpeg" : "unknown"; + if (actual != mime) + return ApiErrors.Error(http, 415, "unsupported_media_type", "Содержимое не соответствует MIME"); + file.Position = 0; + var info = ImageInfo.FromStream(file) ?? throw new InvalidDataException("Invalid image header"); + if (info.Width <= 0 || info.Height <= 0) throw new InvalidDataException("Invalid dimensions"); + if ((long)info.Width * info.Height > limits.MaxPixels) + return ApiErrors.Error(http, 413, "payload_too_large", "Слишком много пикселей"); + if (mime == "image/png") await PngIntegrity.ValidateAsync(file, + (long)info.Width * info.Height * 8 + info.Height * 8L + 1024, ct); + file.Position = 0; + var image = ImageResult.FromStream(file, ColorComponents.Grey); + if (image.Width != info.Width || image.Height != info.Height) throw new InvalidDataException("Invalid dimensions"); + ct.ThrowIfCancellationRequested(); + // Декодеры могут принимать обрезанные JPEG: обязательно проверяем окончание файла. + var tail = new byte[12]; + if (size < tail.Length) throw new InvalidDataException("Truncated image"); + file.Position = size - tail.Length; + await file.ReadExactlyAsync(tail, ct); + if (mime == "image/png" && !tail.AsSpan().SequenceEqual(new byte[] { 0,0,0,0,73,69,78,68,174,66,96,130 }) || + mime == "image/jpeg" && (tail[^2] != 255 || tail[^1] != 217)) + throw new InvalidDataException("Truncated image"); + } + catch (Exception ex) when (ex is InvalidDataException or EndOfStreamException or InvalidOperationException or ArgumentException or IndexOutOfRangeException) + { + return ApiErrors.Error(http, 415, "unsupported_media_type", "Повреждённое изображение"); + } + file.Position = 0; + var hash = Convert.ToHexStringLower(await SHA256.HashDataAsync(file, ct)); + var id = Guid.CreateVersion7(); + var now = Timestamps.UtcNowMilliseconds(); + var entity = new AttachmentEntity + { + Id = id, ChatId = chatId, OwnerId = user, Filename = name!, ContentType = mime!, + ObjectKey = $"originals/{id:N}", SizeBytes = size, ChecksumSha256 = hash, + Status = "ready", CreatedAt = now, UploadedAt = now + }; + var intent = new UploadIntentEntity + { + Id = id, ObjectKey = entity.ObjectKey, CreatedAt = now, + ExpiresAt = now + cleanup.Grace, NextAttemptAt = now + cleanup.Grace + }; + db.UploadIntents.Add(intent); + await db.SaveChangesAsync(ct); // S3 PUT не начинается без устойчивого журнала. + file.Position = 0; + await storage.PutAsync(entity.ObjectKey, file, entity.ContentType, ct); + await using var tx = await db.Database.BeginTransactionAsync(ct); + var activeIntent = await db.UploadIntents.FromSqlInterpolated($""" + SELECT * FROM upload_intents WHERE id = {id} AND expires_at > clock_timestamp() FOR UPDATE + """).SingleOrDefaultAsync(ct); + if (activeIntent is null) + return ApiErrors.Error(http, 503, "unavailable", "Время публикации вложения истекло"); + db.Attachments.Add(entity); + db.UploadIntents.Remove(activeIntent); + await db.SaveChangesAsync(ct); + await tx.CommitAsync(ct); // Attachment и удаление intent — один COMMIT. + return Results.Created($"/api/v1/attachments/{id}", ToDto(entity)); + } + catch (OperationCanceledException) when (!http.RequestAborted.IsCancellationRequested) + { + return ApiErrors.Error(http, 503, "unavailable", "Истекло время загрузки"); + } + finally { gate.Slots.Release(); } + } + + private static Task Find(Guid id, HttpContext http, MessengerDbContext db) => + db.Attachments.AsNoTracking().FirstOrDefaultAsync(a => a.Id == id && + db.ChatMembers.Any(m => m.ChatId == a.ChatId && m.UserId == http.GetUserId()), http.RequestAborted); + + private static async Task Metadata(Guid attachmentId, HttpContext http, MessengerDbContext db) + { + var entity = await Find(attachmentId, http, db); + return entity is null ? ApiErrors.Error(http, 404, "not_found", "Объект не найден") : Results.Ok(ToDto(entity)); + } + + private static async Task Content(Guid attachmentId, HttpContext http, MessengerDbContext db, + IAttachmentStorage storage, string? variant) + { + var entity = await Find(attachmentId, http, db); + if (entity is null) return ApiErrors.Error(http, 404, "not_found", "Объект не найден"); + if (entity.Status != "ready") return ApiErrors.Error(http, 409, "conflict", "Вложение не готово"); + if (variant is not (null or "original")) return ApiErrors.Error(http, 404, "not_found", "Вариант не найден"); + // Ограниченный 10 MiB буфер до начала ответа позволяет честно вернуть 503 при отказе S3. + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(http.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(30)); + using var output = new LimitedDownloadStream(Math.Min(entity.SizeBytes, 10485760)); + try { await storage.CopyToAsync(entity.ObjectKey, output, timeout.Token); } + catch (OperationCanceledException) when (!http.RequestAborted.IsCancellationRequested) + { return ApiErrors.Error(http, 503, "unavailable", "Истекло время скачивания"); } + catch (IOException) { return ApiErrors.Error(http, 503, "unavailable", "Ошибка чтения объекта"); } + if (output.Length != entity.SizeBytes || + Convert.ToHexStringLower(SHA256.HashData(output.GetBuffer().AsSpan(0, (int)output.Length))) != entity.ChecksumSha256) + return ApiErrors.Error(http, 503, "unavailable", "Объект не соответствует метаданным"); + http.Response.Headers["X-Content-Type-Options"] = "nosniff"; + return Results.File(output.ToArray(), entity.ContentType); + } + + private static Attachment ToDto(AttachmentEntity a) => new(a.Id, a.ChatId, a.OwnerId, a.Filename, + a.ContentType, a.SizeBytes, a.ChecksumSha256, a.Status, [], null, a.CreatedAt, a.UploadedAt ?? a.CreatedAt); +} diff --git a/scr/Messenger.Api/Endpoints/AuthEndpoints.cs b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs new file mode 100644 index 00000000..d3bfff22 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/AuthEndpoints.cs @@ -0,0 +1,146 @@ +using System.Text; +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Endpoints; + +public static class AuthEndpoints +{ + private const string BasicChallenge = "Basic realm=\"messenger\", charset=\"UTF-8\""; + + public static IEndpointRouteBuilder MapAuthEndpoints(this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/auth/sessions", CreateSession); + endpoints.MapDelete("/api/v1/auth/sessions/current", RevokeCurrentSession).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateSession( + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + AuthSessionOptions options, + CancellationToken ct) + { + // Любая проблема с заголовком или credentials даёт один и тот же ответ. + var unauthorized = () => ApiErrors.Unauthorized(httpContext, BasicChallenge, "Неверное имя пользователя или пароль"); + + if (!TryParseBasic(httpContext.Request, out var username, out var password)) + { + return unauthorized(); + } + + var user = await db.Users.AsNoTracking().FirstOrDefaultAsync(u => u.Username == username, ct); + + // Проверка выполняется и для несуществующего пользователя (null → заглушка), чтобы время ответа + // не выдавало, существует ли username. + bool passwordOk; + try + { + passwordOk = await hasher.VerifyAsync(user?.PasswordHash, password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + if (user is null || !passwordOk) + { + return unauthorized(); + } + + var token = SessionTokens.Generate(); + var now = Timestamps.UtcNowMilliseconds(); + var session = new SessionEntity + { + Id = Guid.CreateVersion7(), + TokenHash = SessionTokens.Hash(token), + UserId = user.Id, + CreatedAt = now, + ExpiresAt = now + options.Ttl + }; + + db.Sessions.Add(session); + await db.SaveChangesAsync(ct); + + // Ответ с токеном нельзя кэшировать промежуточными узлами. + httpContext.Response.Headers.CacheControl = "no-store"; + + return Results.Json( + new SessionResponse( + token, + "Bearer", + session.ExpiresAt, + new User + { + Id = user.Id, + Username = user.Username, + DisplayName = user.DisplayName, + CreatedAt = user.CreatedAt + }), + statusCode: StatusCodes.Status201Created); + } + + private static async Task RevokeCurrentSession( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var sessionId = httpContext.GetSessionId(); + var now = Timestamps.UtcNowMilliseconds(); + + // Один UPDATE с условием: отзыв атомарен даже при двух параллельных DELETE с одним токеном. + var revoked = await db.Sessions + .Where(s => s.Id == sessionId && s.RevokedAt == null) + .ExecuteUpdateAsync(s => s.SetProperty(x => x.RevokedAt, now), ct); + + return revoked == 0 + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.NoContent(); + } + + // Basic: base64("username:password"), разделитель — ПЕРВОЕ двоеточие (в пароле двоеточие допустимо). + // Всё, что не разбирается строго (схема, base64, UTF-8, формат), считается неверными credentials. + private static bool TryParseBasic(HttpRequest request, out string username, out string password) + { + username = password = string.Empty; + + if (request.Headers.Authorization.Count != 1) + { + return false; + } + + var header = request.Headers.Authorization[0]; + const string prefix = "Basic "; + if (header is null || !header.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return false; + } + + string decoded; + try + { + var bytes = Convert.FromBase64String(header[prefix.Length..].Trim()); + decoded = new UTF8Encoding(encoderShouldEmitUTF8Identifier: false, throwOnInvalidBytes: true).GetString(bytes); + } + catch (Exception ex) when (ex is FormatException or DecoderFallbackException) + { + return false; + } + + var separator = decoded.IndexOf(':'); + if (separator <= 0) + { + return false; + } + + username = decoded[..separator]; + password = decoded[(separator + 1)..]; + + // Username по контракту — ASCII [a-z0-9_]{3,32}; пароль — 12..128 code points. Отсекаем до дорогого Argon2. + var length = ApiErrors.CodePoints(password); + return username.Length is >= 3 and <= 32 && length is >= 12 and <= 128; + } +} diff --git a/scr/Messenger.Api/Endpoints/ChatEndpoints.cs b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs new file mode 100644 index 00000000..087feebc --- /dev/null +++ b/scr/Messenger.Api/Endpoints/ChatEndpoints.cs @@ -0,0 +1,158 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class ChatEndpoints +{ + public static IEndpointRouteBuilder MapChatEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats", CreateChat).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats", ListChats).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}", GetChat).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateChat( + CreateChatRequest request, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + if (string.IsNullOrWhiteSpace(request.Title) || + ApiErrors.CodePoints(request.Title) > 100 || + request.MemberIds.Count is < 1 or > 100 || + request.MemberIds.Distinct().Count() != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные данные чата"); + } + + if (!request.MemberIds.Contains(userId)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Создатель должен быть участником чата"); + } + + var knownMembers = await db.Users.CountAsync(u => request.MemberIds.Contains(u.Id), ct); + if (knownMembers != request.MemberIds.Count) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + var chat = new ChatEntity + { + Id = Guid.CreateVersion7(), + Title = request.Title, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + // Чат и все его участники сохраняются одним SaveChanges, то есть одной транзакцией: + // либо создано всё, либо ничего (нет чата без участников). + db.Chats.Add(chat); + db.ChatMembers.AddRange(request.MemberIds.Select(id => new ChatMemberEntity { ChatId = chat.Id, UserId = id })); + + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.ForeignKeyViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Неизвестный участник чата"); + } + + return Results.Created($"/api/v1/chats/{chat.Id}", ToDto(chat, request.MemberIds.Order().ToList())); + } + + private static async Task ListChats( + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Chats, out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Keyset: строковое сравнение (created_at, id) > (курсор), без OFFSET и без просмотра всей выдачи. + IQueryable source = after is null + ? db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + """) + : db.Chats.FromSql($""" + SELECT c.* FROM chats c + WHERE EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = {userId}) + AND (c.created_at, c.id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var chats = await source + .AsNoTracking() + .OrderBy(c => c.CreatedAt).ThenBy(c => c.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = chats.Count > pageSize; + if (hasNext) + { + chats.RemoveAt(chats.Count - 1); + } + + var ids = chats.Select(c => c.Id).ToList(); + var members = (await db.ChatMembers + .AsNoTracking() + .Where(m => ids.Contains(m.ChatId)) + .Select(m => new { m.ChatId, m.UserId }) + .ToListAsync(ct)) + .ToLookup(m => m.ChatId, m => m.UserId); + + var items = chats.Select(c => ToDto(c, members[c.Id].Order().ToList())).ToList(); + var nextCursor = hasNext ? Cursors.Encode(Cursors.Chats, chats[^1].CreatedAt, chats[^1].Id) : null; + + return Results.Ok(new { items, next_cursor = nextCursor }); + } + + private static async Task GetChat( + Guid chatId, + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Отсутствующий и чужой чат неразличимы: оба дают 404. + var chat = await db.Chats + .AsNoTracking() + .FirstOrDefaultAsync(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId), ct); + + if (chat is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var memberIds = await db.ChatMembers + .AsNoTracking() + .Where(m => m.ChatId == chatId) + .Select(m => m.UserId) + .ToListAsync(ct); + + return Results.Ok(ToDto(chat, memberIds.Order().ToList())); + } + + private static Chat ToDto(ChatEntity chat, List memberIds) => new() + { + Id = chat.Id, + Title = chat.Title, + MemberIds = memberIds, + CreatedAt = chat.CreatedAt + }; +} diff --git a/scr/Messenger.Api/Endpoints/MessageEndpoints.cs b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs new file mode 100644 index 00000000..7c3085a1 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/MessageEndpoints.cs @@ -0,0 +1,241 @@ +using Messenger.Api.Data; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Microsoft.Extensions.Options; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class MessageEndpoints +{ + public static IEndpointRouteBuilder MapMessageEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost("/api/v1/chats/{chatId}/messages", CreateMessage).RequireAuthorization(); + endpoints.MapGet("/api/v1/chats/{chatId}/messages", ListMessages).RequireAuthorization(); + return endpoints; + } + + private static async Task CreateMessage( + Guid chatId, + CreateMessageRequest request, + HttpContext httpContext, + MessengerDbContext db, + IdempotencySettings idempotency, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + // Сначала доступ к ресурсу (404 для постороннего), затем валидация ключа и тела. Доступ проверяется при каждом + // запросе, в том числе при повторе с тем же Idempotency-Key. + if (!await IsMemberAsync(db, chatId, userId, ct)) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var key = IdempotencyKeys.ReadKey(httpContext.Request); + if (key is null) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Требуется заголовок Idempotency-Key ([A-Za-z0-9._:-], 1-128 символов)"); + } + + if (request.AttachmentIds is null || request.AttachmentIds.Length > 10 || + request.AttachmentIds.Distinct().Count() != request.AttachmentIds.Length || + (string.IsNullOrWhiteSpace(request.Text) && request.AttachmentIds.Length == 0) || + ApiErrors.CodePoints(request.Text) > 4000) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + if (request.AttachmentIds.Length > 0) + { + var attachments = await db.Attachments.AsNoTracking() + .Where(a => a.ChatId == chatId && request.AttachmentIds.Contains(a.Id)).ToListAsync(ct); + if (attachments.Count != request.AttachmentIds.Length) + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + if (attachments.Any(a => a.Status != "ready")) + return ApiErrors.Error(httpContext, 409, "conflict", "Вложение не готово"); + } + + // Транзакция: (0) claim ключа идемпотентности, (1) UPDATE чата берёт блокировку его строки и выдаёт created_at, + // (2) INSERT сообщения, (3) COMMIT. Записи в один чат идут строго по очереди, поэтому порядок коммитов совпадает + // с порядком (created_at, id) и курсор не может «проскочить» сообщение, закоммиченное позже. Версия истории + // растёт в той же транзакции. Ключ и сообщение коммитятся вместе: при любой ошибке откатывается и то и другое, + // поэтому 5xx не «запоминается» как результат, а клиент может безопасно повторить запрос с тем же ключом. + await using var tx = await db.Database.BeginTransactionAsync(ct); + + var messageId = Guid.CreateVersion7(); + var (claim, storedMessageId) = await IdempotencyKeys.ClaimAsync( + db, tx, userId, chatId, key, IdempotencyKeys.RequestHash(request.Text, request.AttachmentIds), messageId, idempotency.Ttl, ct); + + if (claim == ClaimResult.Conflict) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Idempotency-Key уже использован с другим сообщением"); + } + + if (claim == ClaimResult.Replay) + { + // Повтор: ничего не пишем, возвращаем то же сообщение и тот же код 201. + var original = await db.Messages.AsNoTracking().FirstAsync(m => m.Id == storedMessageId, ct); + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(original)); + } + + var createdAt = await ReserveMessageSlotAsync(db, tx, chatId, userId, ct); + if (createdAt is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + var message = new MessageEntity + { + Id = messageId, + ChatId = chatId, + SenderId = userId, + Text = request.Text, + AttachmentIds = request.AttachmentIds, + CreatedAt = createdAt.Value + }; + + db.Messages.Add(message); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when (ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.CheckViolation }) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный текст сообщения"); + } + + await tx.CommitAsync(ct); + + return Results.Created($"/api/v1/chats/{chatId}/messages", ToDto(message)); + } + + private static async Task ListMessages( + Guid chatId, + int? limit, + string? cursor, + HttpContext httpContext, + MessengerDbContext db, + IMessageHistoryCache cache, + DiagnosticsSettings diagnostics, + IOptions jsonOptions, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + var pageSize = limit ?? 50; + + // Один запрос проверяет доступ (null → 404) и читает актуальную версию истории из PostgreSQL. + // Версия берётся из БД при каждом чтении, а не из кэша: после подтверждённой записи ключ гарантированно новый. + var version = await db.Chats + .AsNoTracking() + .Where(c => c.Id == chatId && db.ChatMembers.Any(m => m.ChatId == c.Id && m.UserId == userId)) + .Select(c => (long?)c.HistoryVersion) + .FirstOrDefaultAsync(ct); + + if (version is null) + { + return ApiErrors.Error(httpContext, 404, "not_found", "Объект не найден"); + } + + if (pageSize is < 1 or > 100 || !Cursors.TryDecode(cursor, Cursors.Messages(chatId), out var after)) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректные параметры пагинации"); + } + + // Ключ = чат + версия истории + размер страницы + курсор. Страница под этим ключом никогда не устаревает: + // любая запись увеличивает версию, и читатели переходят на другой ключ. + var key = $"hist4:{chatId:N}:v{version}:l{pageSize}:{cursor ?? "-"}"; + + var (cached, status) = await cache.GetAsync(key, ct); + if (cached is not null) + { + return CachedJson(httpContext, diagnostics, cached, status); + } + + // Keyset по индексу (chat_id, created_at, id): читается только страница, а не вся история. + IQueryable source = after is null + ? db.Messages.FromSql($"SELECT * FROM messages WHERE chat_id = {chatId}") + : db.Messages.FromSql($""" + SELECT * FROM messages + WHERE chat_id = {chatId} AND (created_at, id) > ({after.Value.CreatedAt}, {after.Value.Id}) + """); + + var messages = await source + .AsNoTracking() + .OrderBy(m => m.CreatedAt).ThenBy(m => m.Id) + .Take(pageSize + 1) + .ToListAsync(ct); + + var hasNext = messages.Count > pageSize; + if (hasNext) + { + messages.RemoveAt(messages.Count - 1); + } + + var nextCursor = hasNext + ? Cursors.Encode(Cursors.Messages(chatId), messages[^1].CreatedAt, messages[^1].Id) + : null; + + var json = System.Text.Json.JsonSerializer.Serialize( + new { items = messages.Select(ToDto).ToList(), next_cursor = nextCursor }, + jsonOptions.Value.SerializerOptions); + + await cache.SetAsync(key, json, ct); + return CachedJson(httpContext, diagnostics, json, status); + } + + // Ответ из кэша и ответ из БД байт-в-байт одинаковы: сериализуется одна и та же структура теми же настройками. + private static IResult CachedJson(HttpContext context, DiagnosticsSettings diagnostics, string json, CacheStatus status) + { + if (diagnostics.Headers) + { + context.Response.Headers["X-Cache"] = status.ToString().ToLowerInvariant(); + } + + return Results.Content(json, "application/json; charset=utf-8"); + } + + private static Task IsMemberAsync(MessengerDbContext db, Guid chatId, Guid userId, CancellationToken ct) => + db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == userId, ct); + + // Атомарно: проверяет членство, увеличивает версию истории и возвращает created_at нового сообщения — + // строго больше времени предыдущего (даже при откате системных часов или двух сообщениях в одну миллисекунду). + // null — чата нет или пользователь не участник. + private static async Task ReserveMessageSlotAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid chatId, + Guid userId, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + await using var command = new NpgsqlCommand(""" + UPDATE chats c + SET history_version = c.history_version + 1, + last_message_at = GREATEST(@now, COALESCE(c.last_message_at + interval '1 millisecond', @now)) + WHERE c.id = @chat + AND EXISTS (SELECT 1 FROM chat_members m WHERE m.chat_id = c.id AND m.user_id = @user) + RETURNING c.last_message_at + """, connection, (NpgsqlTransaction)tx.GetDbTransaction()); + + command.Parameters.AddWithValue("now", Timestamps.UtcNowMilliseconds()); + command.Parameters.AddWithValue("chat", chatId); + command.Parameters.AddWithValue("user", userId); + + await using var reader = await command.ExecuteReaderAsync(ct); + return await reader.ReadAsync(ct) ? reader.GetFieldValue(0) : null; + } + + private static Message ToDto(MessageEntity m) => new() + { + Id = m.Id, + ChatId = m.ChatId, + SenderId = m.SenderId, + Text = m.Text, + CreatedAt = m.CreatedAt, + AttachmentIds = m.AttachmentIds + }; +} diff --git a/scr/Messenger.Api/Endpoints/UserEndpoints.cs b/scr/Messenger.Api/Endpoints/UserEndpoints.cs new file mode 100644 index 00000000..db68d5c2 --- /dev/null +++ b/scr/Messenger.Api/Endpoints/UserEndpoints.cs @@ -0,0 +1,125 @@ +using System.Text.RegularExpressions; +using Messenger.Api.Models; +using Messenger.Api.Services; +using Microsoft.EntityFrameworkCore; +using Messenger.Api.Data; +using Npgsql; + +namespace Messenger.Api.Endpoints; + +public static class UserEndpoints +{ + public static IEndpointRouteBuilder MapUserEndpoints( + this IEndpointRouteBuilder endpoints) + { + endpoints.MapPost( + "/api/v1/users", + CreateUser); + + endpoints.MapGet( + "/api/v1/users/me", + GetCurrentUser).RequireAuthorization(); + + return endpoints; + } + + private static async Task CreateUser( + CreateUserRequest request, + HttpContext httpContext, + MessengerDbContext db, + IPasswordHasher hasher, + CancellationToken ct) + { + if (!Regex.IsMatch(request.Username, @"\A[a-z0-9_]{3,32}\z")) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Некорректный username"); + } + + if (string.IsNullOrWhiteSpace(request.DisplayName) || + ApiErrors.CodePoints(request.DisplayName) > 100) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "display_name должен содержать от 1 до 100 символов"); + } + + var passwordLength = ApiErrors.CodePoints(request.Password); + if (passwordLength < 12 || passwordLength > 128) + { + return ApiErrors.Error(httpContext, 400, "invalid_request", "Пароль должен содержать от 12 до 128 символов"); + } + + // Быстрый отказ, чтобы не тратить дорогой Argon2 на заведомо занятый username. + // Это только оптимизация: от гонки защищает уникальный индекс (см. catch ниже). + if (await db.Users.AnyAsync(u => u.Username == request.Username, ct)) + { + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // Хеш считается до SaveChanges: соединение с БД не простаивает на CPU-работе. + string passwordHash; + try + { + passwordHash = await hasher.HashAsync(request.Password, ct); + } + catch (PasswordHasherBusyException) + { + return ApiErrors.Error(httpContext, 503, "unavailable", "Сервис временно перегружен, повторите запрос позже"); + } + + var entity = new UserEntity + { + Id = Guid.CreateVersion7(), + Username = request.Username, + DisplayName = request.DisplayName, + PasswordHash = passwordHash, + CreatedAt = Timestamps.UtcNowMilliseconds() + }; + + db.Users.Add(entity); + try + { + await db.SaveChangesAsync(ct); + } + catch (DbUpdateException ex) when ( + ex.InnerException is PostgresException { SqlState: PostgresErrorCodes.UniqueViolation, ConstraintName: "ux_users_username" }) + { + // Параллельный запрос с тем же username успел раньше проверки AnyAsync. + return ApiErrors.Error(httpContext, 409, "conflict", "Username уже занят"); + } + + // В ответ уходит API-модель без password_hash, а не сущность таблицы. + var user = new User + { + Id = entity.Id, + Username = entity.Username, + DisplayName = entity.DisplayName, + CreatedAt = entity.CreatedAt + }; + + return Results.Created($"/api/v1/users/{user.Id}", user); + } + + private static async Task GetCurrentUser( + HttpContext httpContext, + MessengerDbContext db, + CancellationToken ct) + { + var userId = httpContext.GetUserId(); + + var user = await db.Users + .AsNoTracking() + .Where(u => u.Id == userId) + .Select(u => new User + { + Id = u.Id, + Username = u.Username, + DisplayName = u.DisplayName, + CreatedAt = u.CreatedAt + }) + .FirstOrDefaultAsync(ct); + + // Сессия ссылается на пользователя внешним ключом, поэтому null здесь невозможен; ответ всё равно безопасный. + return user is null + ? ApiErrors.Unauthorized(httpContext, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + : Results.Ok(user); + } +} diff --git a/scr/Messenger.Api/Messenger.Api.csproj b/scr/Messenger.Api/Messenger.Api.csproj new file mode 100644 index 00000000..192e34fd --- /dev/null +++ b/scr/Messenger.Api/Messenger.Api.csproj @@ -0,0 +1,27 @@ + + + + net10.0 + enable + enable + + + + + + + + + + + + runtime; build; native; contentfiles; analyzers; buildtransitive + all + + + + + + + + diff --git a/scr/Messenger.Api/Messenger.Api.csproj.user b/scr/Messenger.Api/Messenger.Api.csproj.user new file mode 100644 index 00000000..9ff5820a --- /dev/null +++ b/scr/Messenger.Api/Messenger.Api.csproj.user @@ -0,0 +1,6 @@ + + + + https + + \ No newline at end of file diff --git a/scr/Messenger.Api/Models/Attachment.cs b/scr/Messenger.Api/Models/Attachment.cs new file mode 100644 index 00000000..2bf208a5 --- /dev/null +++ b/scr/Messenger.Api/Models/Attachment.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models; + +public sealed record Attachment( + Guid Id, Guid ChatId, Guid OwnerId, string Filename, string ContentType, + long SizeBytes, string Sha256, string Status, object[] Variants, + string? ErrorCode, DateTimeOffset CreatedAt, DateTimeOffset UpdatedAt); diff --git a/scr/Messenger.Api/Models/Chat.cs b/scr/Messenger.Api/Models/Chat.cs new file mode 100644 index 00000000..71777680 --- /dev/null +++ b/scr/Messenger.Api/Models/Chat.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Chat + { + public Guid Id { get; init; } + public string Title { get; init; } = String.Empty; + public List MemberIds { get; init; } = new List(); + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Models/CreateChatRequest.cs b/scr/Messenger.Api/Models/CreateChatRequest.cs new file mode 100644 index 00000000..8b2e4611 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateChatRequest.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models +{ + public sealed record CreateChatRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Title, + [property: System.Text.Json.Serialization.JsonRequired] List MemberIds); +} diff --git a/scr/Messenger.Api/Models/CreateMessageRequest.cs b/scr/Messenger.Api/Models/CreateMessageRequest.cs new file mode 100644 index 00000000..1c56d91e --- /dev/null +++ b/scr/Messenger.Api/Models/CreateMessageRequest.cs @@ -0,0 +1,6 @@ +namespace Messenger.Api.Models; + +public sealed record CreateMessageRequest([property: System.Text.Json.Serialization.JsonRequired] string Text) +{ + public Guid[] AttachmentIds { get; init; } = []; +} diff --git a/scr/Messenger.Api/Models/CreateUserRequest.cs b/scr/Messenger.Api/Models/CreateUserRequest.cs new file mode 100644 index 00000000..49415b63 --- /dev/null +++ b/scr/Messenger.Api/Models/CreateUserRequest.cs @@ -0,0 +1,12 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed record CreateUserRequest( + [property: System.Text.Json.Serialization.JsonRequired] string Username, + [property: System.Text.Json.Serialization.JsonRequired] string DisplayName, + [property: System.Text.Json.Serialization.JsonRequired] string Password); + +} diff --git a/scr/Messenger.Api/Models/Message.cs b/scr/Messenger.Api/Models/Message.cs new file mode 100644 index 00000000..6216ea7c --- /dev/null +++ b/scr/Messenger.Api/Models/Message.cs @@ -0,0 +1,17 @@ +using Microsoft.AspNetCore.Http.HttpResults; +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class Message + { + public Guid Id { get; init; } + public Guid ChatId { get; init; } + public Guid SenderId { get; init; } + public string Text { get; init; } = String.Empty; + public DateTimeOffset CreatedAt { get; init; } + public Guid[] AttachmentIds { get; init; } = []; + } +} diff --git a/scr/Messenger.Api/Models/SessionResponse.cs b/scr/Messenger.Api/Models/SessionResponse.cs new file mode 100644 index 00000000..7c3b7bf1 --- /dev/null +++ b/scr/Messenger.Api/Models/SessionResponse.cs @@ -0,0 +1,7 @@ +namespace Messenger.Api.Models; + +public sealed record SessionResponse( + string Token, + string TokenType, + DateTimeOffset ExpiresAt, + User User); diff --git a/scr/Messenger.Api/Models/User.cs b/scr/Messenger.Api/Models/User.cs new file mode 100644 index 00000000..bb088c33 --- /dev/null +++ b/scr/Messenger.Api/Models/User.cs @@ -0,0 +1,14 @@ +using System; +using System.Collections.Generic; +using System.Text; + +namespace Messenger.Api.Models +{ + public sealed class User + { + public Guid Id { get; init; } + public string Username { get; init; } = string.Empty; + public string DisplayName { get; init; } = string.Empty; + public DateTimeOffset CreatedAt { get; init; } + } +} diff --git a/scr/Messenger.Api/Program.cs b/scr/Messenger.Api/Program.cs new file mode 100644 index 00000000..f8a8e92b --- /dev/null +++ b/scr/Messenger.Api/Program.cs @@ -0,0 +1,279 @@ +using Microsoft.AspNetCore.Diagnostics; +using Messenger.Api.Endpoints; +using Messenger.Api.Services; +using Messenger.Api.Data; +using System.Text.Json; +using Microsoft.EntityFrameworkCore; +using Microsoft.AspNetCore.Authentication; + +// Режим для Docker HEALTHCHECK: в образе aspnet нет curl, поэтому проверку выполняет само приложение. +if (args.Contains("--healthcheck")) +{ + var port = Environment.GetEnvironmentVariable("APP_PORT") ?? "8080"; + try + { + using var probe = new HttpClient { Timeout = TimeSpan.FromSeconds(2) }; + var probeResponse = await probe.GetAsync($"http://127.0.0.1:{port}/health/live"); + return probeResponse.IsSuccessStatusCode ? 0 : 1; + } + catch (Exception) + { + return 1; + } +} + +var builder = WebApplication.CreateBuilder(args); + +// SIGTERM: сначала drain (SHUTDOWN_DRAIN_SECONDS, /health/ready → 503, запросы ещё принимаются), затем слушатель +// закрывается и активные запросы получают не более 5 секунд. Итого < 10 секунд (лимит задания) и < stop_grace_period. +builder.Services.Configure(options => options.ShutdownTimeout = TimeSpan.FromSeconds(5)); + +// Настройки читаются лениво из IConfiguration (после Build), поэтому тесты могут задавать их через UseSetting. +builder.Services.AddSingleton(sp => DatabaseSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => AuthSessionOptions.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => CacheSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => DiagnosticsSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => InstanceSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => IdempotencySettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => S3Settings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(sp => UploadSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddSingleton(sp => UploadCleanupSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddHostedService(); +builder.Services.AddSingleton(sp => +{ + var s3Settings = sp.GetRequiredService(); + return new S3AttachmentStorage(s3Settings); +}); +builder.Services.AddSingleton(); +builder.Services.AddHostedService(); +builder.Services.AddHttpContextAccessor(); +builder.Services.AddSingleton(); +builder.Services.AddDbContext((sp, options) => +{ + options.UseNpgsql(sp.GetRequiredService().ConnectionString) + .UseSnakeCaseNamingConvention(); + if (sp.GetRequiredService().Headers) + { + options.AddInterceptors(sp.GetRequiredService()); + } +}); +builder.Services.AddSingleton(sp => PasswordHashingSettings.From(sp.GetRequiredService())); +builder.Services.AddSingleton(); +builder.Services.AddSingleton(sp => +{ + var settings = sp.GetRequiredService(); + return settings.Enabled + ? new ValkeyMessageHistoryCache(settings, sp.GetRequiredService>()) + : new NullMessageHistoryCache(); +}); +builder.Services.AddAuthentication(BearerAuth.Scheme) + .AddScheme(BearerAuth.Scheme, null); +builder.Services.AddAuthorization(); +builder.Services.ConfigureHttpJsonOptions(options => +{ + options.SerializerOptions.PropertyNamingPolicy = JsonNamingPolicy.SnakeCaseLower; + options.SerializerOptions.Converters.Add(new UtcDateTimeOffsetJsonConverter()); + options.SerializerOptions.UnmappedMemberHandling = System.Text.Json.Serialization.JsonUnmappedMemberHandling.Disallow; + options.SerializerOptions.RespectNullableAnnotations = true; + // Web-настройки по умолчанию включают регистронезависимое сопоставление имён: контракт его не допускает. + options.SerializerOptions.PropertyNameCaseInsensitive = false; +}); + +var app = builder.Build(); + +// Режим one-shot миграции (`dotnet Messenger.Api.dll --migrate`): отдельный контейнер применяет схему и завершается. +// API-реплики схему не меняют, поэтому одновременный старт N реплик не создаёт гонку миграций. +if (args.Contains("--migrate")) +{ + using var migrationScope = app.Services.CreateScope(); + migrationScope.ServiceProvider.GetRequiredService().Database.Migrate(); + app.Logger.LogInformation("Migrations applied"); + return 0; +} + +if (args.Contains("--cleanup-uploads")) +{ + using var timeout = new CancellationTokenSource(TimeSpan.FromSeconds(25)); + var result = await app.Services.GetRequiredService().RunOnceAsync(timeout.Token); + Console.WriteLine(JsonSerializer.Serialize(result)); + return 0; +} + +// Только для локального запуска и тестов (MIGRATE_ON_START=true); в Compose выключено. +if (app.Services.GetRequiredService().MigrateOnStart) +{ + using var scope = app.Services.CreateScope(); + scope.ServiceProvider.GetRequiredService().Database.Migrate(); +} + +// Диагностика (только при DIAGNOSTIC_HEADERS=true): число SQL-команд EF Core за запрос — в заголовке X-Db-Queries. +if (app.Services.GetRequiredService().Headers) +{ + app.Use(async (context, next) => + { + var counter = new QueryCounter(); + context.Items[QueryCountingInterceptor.ItemKey] = counter; + context.Response.OnStarting(() => + { + context.Response.Headers["X-Db-Queries"] = Volatile.Read(ref counter.Count).ToString(); + return Task.CompletedTask; + }); + await next(); + }); +} + +// X-Instance-Id в каждом ответе API (включая ошибки и health). Заголовок ставится в OnStarting: UseExceptionHandler +// очищает заголовки, а этот обратный вызов срабатывает уже после очистки, перед отправкой ответа. +var instanceId = app.Services.GetRequiredService().InstanceId; +app.Use(async (context, next) => +{ + context.Response.OnStarting(() => + { + context.Response.Headers["X-Instance-Id"] = instanceId; + return Task.CompletedTask; + }); + await next(); +}); + +app.Use(async (context, next) => +{ + var requestId = Guid.NewGuid().ToString(); + context.Items["request_id"] = requestId; + context.Response.Headers["X-Request-Id"] = requestId; + await next(); +}); + +// Лог запроса: метод, путь, статус, время, request_id. Тело и query не логируются. +app.Use(async (context, next) => +{ + var logger = context.RequestServices.GetRequiredService().CreateLogger("Messenger.Requests"); + var started = System.Diagnostics.Stopwatch.GetTimestamp(); + try + { + await next(); + } + finally + { + logger.LogInformation( + "{Method} {Path} -> {Status} in {ElapsedMs:0.0} ms (request_id={RequestId})", + context.Request.Method, + context.Request.Path.Value, + context.Response.StatusCode, + System.Diagnostics.Stopwatch.GetElapsedTime(started).TotalMilliseconds, + context.Items["request_id"]); + } +}); + +app.UseExceptionHandler(errorApp => errorApp.Run(context => +{ + // В Development ошибки чтения запроса приходят исключением: сохраняем их 400/415 вместо 500. + var error = context.Features.Get()?.Error; + if (error is BadHttpRequestException { StatusCode: 413 } tooLarge) + return ApiErrors.Error(context, 413, "payload_too_large", "Файл превышает лимит размера").ExecuteAsync(context); + if (error is BadHttpRequestException { StatusCode: 400 or 415 } badRequest) + { + var (code, message) = badRequest.StatusCode == 415 + ? ("unsupported_media_type", "Требуется Content-Type: application/json") + : ("invalid_request", "Некорректный запрос"); + return ApiErrors.Error(context, badRequest.StatusCode, code, message).ExecuteAsync(context); + } + + // PostgreSQL недоступен или перегружен: ограниченный ответ 503 без внутренних деталей (стек и SQL только в логе). + if (DependencyFailures.IsDatabaseUnavailable(error) || error is Amazon.S3.AmazonS3Exception or HttpRequestException) + { + return ApiErrors.Error(context, 503, "unavailable", "Сервис временно недоступен").ExecuteAsync(context); + } + + return ApiErrors.Error(context, 500, "internal_error", "Внутренняя ошибка сервера").ExecuteAsync(context); +})); + +// Пустые ответы 400/404/415 (ошибки привязки, неизвестный маршрут) получают стандартное тело ошибки. +app.UseStatusCodePages(context => +{ + var http = context.HttpContext; + var (code, message) = http.Response.StatusCode switch + { + 400 => ("invalid_request", "Некорректный запрос"), + 404 => ("not_found", "Объект не найден"), + 415 => ("unsupported_media_type", "Требуется Content-Type: application/json"), + 413 => ("payload_too_large", "Файл превышает лимит размера"), + 503 => ("unavailable", "Сервис временно недоступен"), + _ => ("internal_error", "Ошибка запроса") + }; + return ApiErrors.Error(http, http.Response.StatusCode, code, message).ExecuteAsync(http); +}); + +// Аутентификация (Bearer) выполняется до выбора обработчика и разбора тела: 401 приоритетнее 400/404. +app.UseAuthentication(); +app.UseAuthorization(); + +app.MapGet("/health/live", () => +{ + return Results.Ok(new + { + status = "ok" + }); +}); + +// Готовность = API может обслуживать обязательный синхронный путь, а он требует PostgreSQL (сессии, данные, ключи +// идемпотентности), а загрузки требуют S3. Valkey не критичен: без него чтение идёт напрямую из PostgreSQL. После SIGTERM — всегда 503: +// балансировщик выводит экземпляр из ротации ещё до закрытия слушателя. Таймаут проверки (1 с) меньше таймаута +// проверки в HAProxy (2 с), чтобы зависшая БД давала явный 503, а не обрыв проверки. +app.MapGet("/health/ready", async (HttpContext context, MessengerDbContext db, ShutdownState shutdown, IAttachmentStorage storage) => +{ + if (shutdown.Draining) + { + return ApiErrors.Error(context, 503, "unavailable", "Экземпляр останавливается"); + } + + using var timeout = CancellationTokenSource.CreateLinkedTokenSource(context.RequestAborted); + timeout.CancelAfter(TimeSpan.FromSeconds(1)); + try + { + await storage.CheckAsync(timeout.Token); + return await db.Database.CanConnectAsync(timeout.Token) + ? Results.Ok(new { status = "ok" }) + : ApiErrors.Error(context, 503, "unavailable", "База данных недоступна"); + } + catch (OperationCanceledException) when (!context.RequestAborted.IsCancellationRequested) + { + return ApiErrors.Error(context, 503, "unavailable", "Зависимость недоступна"); + } + catch (Exception ex) when (ex is Amazon.S3.AmazonS3Exception or HttpRequestException) + { + return ApiErrors.Error(context, 503, "unavailable", "Хранилище недоступно"); + } +}); + +app.MapUserEndpoints(); +app.MapAuthEndpoints(); +app.MapChatEndpoints(); +app.MapMessageEndpoints(); +app.MapAttachmentEndpoints(); + + +app.Lifetime.ApplicationStarted.Register(() => + app.Logger.LogInformation("Messenger API started (instance {InstanceId}, version {Version})", + instanceId, Environment.GetEnvironmentVariable("APP_VERSION") ?? "dev")); +// ApplicationStopping выполняется синхронно ДО остановки Kestrel: пока этот обработчик спит, слушатель ещё открыт, +// а /health/ready уже отвечает 503. Так балансировщик (inter 1s, fall 2) успевает убрать экземпляр до обрыва соединений. +app.Lifetime.ApplicationStopping.Register(() => +{ + var shutdown = app.Services.GetRequiredService(); + var drain = app.Services.GetRequiredService().DrainDelay; + shutdown.StartDraining(); + app.Logger.LogInformation("SIGTERM received: readiness=503, draining {Seconds} s, then the listener closes", drain.TotalSeconds); + if (drain > TimeSpan.Zero) + { + Thread.Sleep(drain); + } +}); +app.Lifetime.ApplicationStopped.Register(() => app.Logger.LogInformation("Messenger API stopped")); + +app.Run(); +return 0; + +// Делает Program доступным для WebApplicationFactory в тестах. +public partial class Program { } diff --git a/scr/Messenger.Api/Properties/launchSettings.json b/scr/Messenger.Api/Properties/launchSettings.json new file mode 100644 index 00000000..1e19d965 --- /dev/null +++ b/scr/Messenger.Api/Properties/launchSettings.json @@ -0,0 +1,23 @@ +{ + "$schema": "https://json.schemastore.org/launchsettings.json", + "profiles": { + "http": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + }, + "https": { + "commandName": "Project", + "dotnetRunMessages": true, + "launchBrowser": true, + "applicationUrl": "https://localhost:7165;http://localhost:5015", + "environmentVariables": { + "ASPNETCORE_ENVIRONMENT": "Development" + } + } + } +} diff --git a/scr/Messenger.Api/Services/ApiErrors.cs b/scr/Messenger.Api/Services/ApiErrors.cs new file mode 100644 index 00000000..7348ac68 --- /dev/null +++ b/scr/Messenger.Api/Services/ApiErrors.cs @@ -0,0 +1,37 @@ +namespace Messenger.Api.Services; + +public static class ApiErrors +{ + public static int CodePoints(string value) => value.EnumerateRunes().Count(); + + // 401 с обязательным заголовком WWW-Authenticate (контракт: Basic для входа, Bearer для остального API). + public static IResult Unauthorized(HttpContext context, string challenge, string message) + { + context.Response.Headers.WWWAuthenticate = challenge; + return Error(context, 401, "unauthorized", message); + } + + public static IResult Error( + HttpContext context, + int statusCode, + string code, + string message) + { + var requestId = context.Items["request_id"]?.ToString() ?? context.TraceIdentifier; + + // UseExceptionHandler очищает заголовки ответа, поэтому выставляем X-Request-Id заново. + context.Response.Headers["X-Request-Id"] = requestId; + + return Results.Json( + new + { + error = new + { + code, + message, + request_id = requestId + } + }, + statusCode: statusCode); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/Services/Argon2PasswordHasher.cs b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs new file mode 100644 index 00000000..6b677d08 --- /dev/null +++ b/scr/Messenger.Api/Services/Argon2PasswordHasher.cs @@ -0,0 +1,68 @@ +using Isopoh.Cryptography.Argon2; + +namespace Messenger.Api.Services; + +public sealed class Argon2PasswordHasher : IPasswordHasher +{ + // Минимум по рекомендации OWASP для Argon2id: m=19 MiB, t=2, p=1. Обоснование и выбор — в REPORT.md. + private const int TimeCost = 2; + private const int MemoryCostKiB = 19 * 1024; + private const int Parallelism = 1; + + // Каждое вычисление занимает ~19 MiB и ядро CPU: без лимита 100 параллельных входов = ~2 GiB памяти. + // Размер и время ожидания слотов задаются PASSWORD_HASH_CONCURRENCY / PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS. + private readonly SemaphoreSlim _slots; + private readonly TimeSpan _slotWaitTimeout; + + // Хеш от случайного пароля, который никто не знает. Нужен только для выравнивания времени при неизвестном username. + private readonly string _dummyHash; + + public Argon2PasswordHasher(PasswordHashingSettings settings) + { + _slots = new SemaphoreSlim(settings.MaxConcurrency, settings.MaxConcurrency); + _slotWaitTimeout = settings.QueueTimeout; + _dummyHash = HashCore(Convert.ToBase64String(System.Security.Cryptography.RandomNumberGenerator.GetBytes(32))); + } + + public async Task HashAsync(string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => HashCore(password), ct); + } + finally + { + _slots.Release(); + } + } + + public async Task VerifyAsync(string? hash, string password, CancellationToken ct) + { + await AcquireSlotAsync(ct); + try + { + return await Task.Run(() => + { + var ok = Argon2.Verify(hash ?? _dummyHash, password, secret: null, secureArrayCall: null); + return hash is not null && ok; + }, ct); + } + finally + { + _slots.Release(); + } + } + + private async Task AcquireSlotAsync(CancellationToken ct) + { + if (!await _slots.WaitAsync(_slotWaitTimeout, ct)) + { + throw new PasswordHasherBusyException(); + } + } + + // HybridAddressing — это Argon2id. Соль генерируется библиотекой и входит в возвращаемую строку. + private static string HashCore(string password) => + Argon2.Hash(password, TimeCost, MemoryCostKiB, Parallelism, Argon2Type.HybridAddressing); +} diff --git a/scr/Messenger.Api/Services/BearerAuth.cs b/scr/Messenger.Api/Services/BearerAuth.cs new file mode 100644 index 00000000..132d9bd8 --- /dev/null +++ b/scr/Messenger.Api/Services/BearerAuth.cs @@ -0,0 +1,91 @@ +using System.Security.Claims; +using System.Text.Encodings.Web; +using Messenger.Api.Data; +using Microsoft.AspNetCore.Authentication; +using Microsoft.EntityFrameworkCore; +using Microsoft.Extensions.Options; + +namespace Messenger.Api.Services; + +public static class BearerAuth +{ + public const string Scheme = "Bearer"; + public const string Challenge = "Bearer realm=\"messenger\""; + public const string SessionIdClaim = "session_id"; + + // Ровно один заголовок Authorization вида "Bearer "; иначе null (Basic и прочее здесь не принимаются). + public static string? ExtractToken(HttpRequest request) + { + if (request.Headers.Authorization.Count != 1) + { + return null; + } + + var value = request.Headers.Authorization[0]; + const string prefix = "Bearer "; + if (value is null || !value.StartsWith(prefix, StringComparison.OrdinalIgnoreCase)) + { + return null; + } + + var token = value[prefix.Length..].Trim(); + return token.Length == 0 ? null : token; + } + + public static Guid GetUserId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(ClaimTypes.NameIdentifier)!); + + public static Guid GetSessionId(this HttpContext context) => + Guid.Parse(context.User.FindFirstValue(SessionIdClaim)!); +} + +// Стандартный обработчик аутентификации ASP.NET: превращает Bearer-токен в ClaimsPrincipal. +// Срабатывает до выбора и выполнения эндпоинта (в том числе до разбора тела), поэтому 401 всегда раньше 400/404. +public sealed class SessionAuthenticationHandler( + IOptionsMonitor options, + ILoggerFactory logger, + UrlEncoder encoder, + MessengerDbContext db) + : AuthenticationHandler(options, logger, encoder) +{ + protected override async Task HandleAuthenticateAsync() + { + var token = BearerAuth.ExtractToken(Request); + if (token is null) + { + return AuthenticateResult.NoResult(); + } + + var hash = SessionTokens.Hash(token); + var now = Timestamps.UtcNowMilliseconds(); + + // Неизвестный, истёкший и отозванный токен неразличимы для клиента: во всех случаях это один 401. + var session = await db.Sessions + .AsNoTracking() + .Where(s => s.TokenHash == hash && s.RevokedAt == null && s.ExpiresAt > now) + .Select(s => new { s.Id, s.UserId }) + .FirstOrDefaultAsync(Context.RequestAborted); + + if (session is null) + { + return AuthenticateResult.Fail("Недействительная сессия"); + } + + var identity = new ClaimsIdentity( + [ + new Claim(ClaimTypes.NameIdentifier, session.UserId.ToString()), + new Claim(BearerAuth.SessionIdClaim, session.Id.ToString()) + ], + BearerAuth.Scheme); + + return AuthenticateResult.Success( + new AuthenticationTicket(new ClaimsPrincipal(identity), BearerAuth.Scheme)); + } + + protected override async Task HandleChallengeAsync(AuthenticationProperties properties) + { + await ApiErrors + .Unauthorized(Context, BearerAuth.Challenge, "Требуется действительный Bearer-токен") + .ExecuteAsync(Context); + } +} diff --git a/scr/Messenger.Api/Services/Cursors.cs b/scr/Messenger.Api/Services/Cursors.cs new file mode 100644 index 00000000..166d9e7f --- /dev/null +++ b/scr/Messenger.Api/Services/Cursors.cs @@ -0,0 +1,56 @@ +using System.Text; + +namespace Messenger.Api.Services; + +// Непрозрачный для клиента cursor keyset-пагинации: (created_at, id) последнего элемента страницы. +// Привязан к ресурсу (scope): cursor от другого списка или чата отклоняется как 400. +public static class Cursors +{ + public const string Chats = "chats"; + + public static string Messages(Guid chatId) => $"messages/{chatId:D}"; + + public static string Encode(string scope, DateTimeOffset createdAt, Guid id) => + Convert.ToBase64String(Encoding.UTF8.GetBytes($"{scope}|{createdAt.UtcTicks}:{id:D}")); + + // cursor == null — первая страница (успех, value == null). Любая ошибка формата или чужой scope — false. + public static bool TryDecode(string? cursor, string scope, out (DateTimeOffset CreatedAt, Guid Id)? value) + { + value = null; + if (cursor is null) + { + return true; + } + + if (cursor.Length == 0) + { + return false; + } + + try + { + var decoded = new UTF8Encoding(false, throwOnInvalidBytes: true).GetString(Convert.FromBase64String(cursor)); + var scoped = decoded.Split('|', 2); + if (scoped.Length != 2 || scoped[0] != scope) + { + return false; + } + + var parts = scoped[1].Split(':', 2); + if (parts.Length != 2 || + !long.TryParse(parts[0], out var ticks) || + ticks < DateTimeOffset.MinValue.UtcTicks || ticks > DateTimeOffset.MaxValue.UtcTicks || + !Guid.TryParse(parts[1], out var id)) + { + return false; + } + + value = (new DateTimeOffset(ticks, TimeSpan.Zero), id); + return true; + } + catch (Exception ex) when (ex is FormatException or ArgumentException or DecoderFallbackException) + { + return false; + } + } +} diff --git a/scr/Messenger.Api/Services/Diagnostics.cs b/scr/Messenger.Api/Services/Diagnostics.cs new file mode 100644 index 00000000..130b0343 --- /dev/null +++ b/scr/Messenger.Api/Services/Diagnostics.cs @@ -0,0 +1,90 @@ +using System.Data.Common; +using Microsoft.EntityFrameworkCore.Diagnostics; +using Npgsql; + +namespace Messenger.Api.Services; + +public sealed class QueryCounter +{ + public int Count; +} + +// Считает SQL-команды, выполненные EF Core в рамках текущего HTTP-запроса (для измерения «запросов к БД на запрос API»). +// Включается только при DIAGNOSTIC_HEADERS=true. Команда ReserveMessageSlot (сырой NpgsqlCommand) не учитывается. +public sealed class QueryCountingInterceptor(IHttpContextAccessor accessor) : DbCommandInterceptor +{ + public const string ItemKey = "diagnostics.query_counter"; + + private void Count() + { + if (accessor.HttpContext?.Items[ItemKey] is QueryCounter counter) + { + Interlocked.Increment(ref counter.Count); + } + } + + public override InterceptionResult ReaderExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ReaderExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult NonQueryExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> NonQueryExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } + + public override InterceptionResult ScalarExecuting(DbCommand command, CommandEventData eventData, InterceptionResult result) + { + Count(); + return result; + } + + public override ValueTask> ScalarExecutingAsync(DbCommand command, CommandEventData eventData, InterceptionResult result, CancellationToken cancellationToken = default) + { + Count(); + return ValueTask.FromResult(result); + } +} + +public static class DependencyFailures +{ + // Недоступность или перегрузка PostgreSQL (нет соединения, таймаут, исчерпан пул, остановка сервера) — это 503, + // а не 500: ошибка ограничена, внутренние детали не раскрываются, запрос не принимается как доверенный. + public static bool IsDatabaseUnavailable(Exception? error) + { + for (var e = error; e is not null; e = e.InnerException) + { + switch (e) + { + case PostgresException pg: + // 08 — соединение, 53 — нехватка ресурсов, 57 — вмешательство оператора (shutdown и т.п.) + if (pg.SqlState.StartsWith("08") || pg.SqlState.StartsWith("53") || pg.SqlState.StartsWith("57")) + { + return true; + } + + break; + case NpgsqlException: + case TimeoutException: + case System.Net.Sockets.SocketException: + return true; + } + } + + return false; + } +} diff --git a/scr/Messenger.Api/Services/IAttachmentStorage.cs b/scr/Messenger.Api/Services/IAttachmentStorage.cs new file mode 100644 index 00000000..c68defc5 --- /dev/null +++ b/scr/Messenger.Api/Services/IAttachmentStorage.cs @@ -0,0 +1,20 @@ +namespace Messenger.Api.Services; + +public interface IAttachmentStorage +{ + Task CheckAsync(CancellationToken ct); + Task PutAsync( + string objectKey, + Stream content, + string contentType, + CancellationToken ct); + + Task CopyToAsync( + string objectKey, + Stream destination, + CancellationToken ct); + + Task DeleteAsync( + string objectKey, + CancellationToken ct); +} diff --git a/scr/Messenger.Api/Services/IPasswordHasher.cs b/scr/Messenger.Api/Services/IPasswordHasher.cs new file mode 100644 index 00000000..fb2a91d3 --- /dev/null +++ b/scr/Messenger.Api/Services/IPasswordHasher.cs @@ -0,0 +1,18 @@ +namespace Messenger.Api.Services; + +public interface IPasswordHasher +{ + /// PHC-строка Argon2id (соль и параметры внутри). Бросает , если слот не освободился вовремя. + Task HashAsync(string password, CancellationToken ct); + + /// + /// == null означает «пользователя нет»: проверка всё равно выполняется (против заглушки), + /// чтобы время ответа не раскрывало существование username. + /// + Task VerifyAsync(string? hash, string password, CancellationToken ct); +} + +public sealed class PasswordHasherBusyException : Exception +{ + public PasswordHasherBusyException() : base("Слишком много одновременных вычислений хеша пароля") { } +} diff --git a/scr/Messenger.Api/Services/IdempotencyKeys.cs b/scr/Messenger.Api/Services/IdempotencyKeys.cs new file mode 100644 index 00000000..8696b12e --- /dev/null +++ b/scr/Messenger.Api/Services/IdempotencyKeys.cs @@ -0,0 +1,147 @@ +using System.Security.Cryptography; +using System.Text; +using System.Text.RegularExpressions; +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; +using Microsoft.EntityFrameworkCore.Storage; +using Npgsql; + +namespace Messenger.Api.Services; + +public enum ClaimResult +{ + Claimed, // ключ наш: можно выполнять побочный эффект (вставку сообщения) в этой же транзакции + Replay, // такой ключ с тем же телом уже выполнен: вернуть сохранённое сообщение + Conflict // такой ключ уже использован с другим телом +} + +public static partial class IdempotencyKeys +{ + public const string HeaderName = "Idempotency-Key"; + + [GeneratedRegex("^[A-Za-z0-9._:-]{1,128}$")] + private static partial Regex KeyFormat(); + + // Ровно один заголовок допустимого формата; иначе null (→ 400). + public static string? ReadKey(HttpRequest request) + { + var values = request.Headers[HeaderName]; + return values.Count == 1 && values[0] is { } key && KeyFormat().IsMatch(key) ? key : null; + } + + // Отпечаток смысла запроса, а не его байтов: порядок ключей JSON и пробелы не влияют, потому что хешируются + // уже разобранные поля. Для текстового сообщения это сам text (длина кодируется, чтобы поля не склеивались). + public static byte[] RequestHash(string text, Guid[]? attachmentIds = null) => + // Пустой список сохраняет отпечаток старых текстовых запросов lab3. + SHA256.HashData(Encoding.UTF8.GetBytes($"message\n{text.Length}\n{text}" + + (attachmentIds is { Length: > 0 } ? "\nattachments\n" + string.Join(",", attachmentIds.Select(x => x.ToString("N"))) : ""))); + + // Атомарно «занимает» ключ в транзакции вызывающего. Ключевое свойство — INSERT ... ON CONFLICT: + // * ключа нет → строка вставляется, мы владеем ключом (Claimed); + // * ключ вставила другая, ещё не завершённая транзакция (в том числе на другой реплике) → INSERT ЖДЁТ её + // COMMIT/ROLLBACK на уникальном индексе. После COMMIT вставки не происходит, и мы читаем её результат (Replay); + // после ROLLBACK (например, 5xx у конкурента) вставка проходит, и ключ достаётся нам; + // * ключ есть, но истёк → перезахватывается (DO UPDATE ... WHERE expires_at <= now). + // Поэтому claim и сообщение коммитятся вместе: запись «ключ → сообщение» не может появиться без сообщения и наоборот. + public static async Task<(ClaimResult Result, Guid MessageId)> ClaimAsync( + MessengerDbContext db, + IDbContextTransaction tx, + Guid userId, + Guid chatId, + string key, + byte[] requestHash, + Guid newMessageId, + TimeSpan ttl, + CancellationToken ct) + { + var connection = (NpgsqlConnection)db.Database.GetDbConnection(); + var transaction = (NpgsqlTransaction)tx.GetDbTransaction(); + var now = Timestamps.UtcNowMilliseconds(); + + await using (var insert = new NpgsqlCommand(""" + INSERT INTO idempotency_keys (user_id, chat_id, key, request_hash, message_id, created_at, expires_at) + VALUES (@user, @chat, @key, @hash, @message, @now, @expires) + ON CONFLICT (user_id, chat_id, key) DO UPDATE + SET request_hash = EXCLUDED.request_hash, + message_id = EXCLUDED.message_id, + created_at = EXCLUDED.created_at, + expires_at = EXCLUDED.expires_at + WHERE idempotency_keys.expires_at <= EXCLUDED.created_at + RETURNING 1 + """, connection, transaction)) + { + insert.Parameters.AddWithValue("user", userId); + insert.Parameters.AddWithValue("chat", chatId); + insert.Parameters.AddWithValue("key", key); + insert.Parameters.AddWithValue("hash", requestHash); + insert.Parameters.AddWithValue("message", newMessageId); + insert.Parameters.AddWithValue("now", now); + insert.Parameters.AddWithValue("expires", now + ttl); + + if (await insert.ExecuteScalarAsync(ct) is not null) + { + return (ClaimResult.Claimed, newMessageId); + } + } + + await using var select = new NpgsqlCommand(""" + SELECT request_hash, message_id FROM idempotency_keys + WHERE user_id = @user AND chat_id = @chat AND key = @key + """, connection, transaction); + select.Parameters.AddWithValue("user", userId); + select.Parameters.AddWithValue("chat", chatId); + select.Parameters.AddWithValue("key", key); + + await using var reader = await select.ExecuteReaderAsync(ct); + if (!await reader.ReadAsync(ct)) + { + // Строку успел удалить очиститель между INSERT и SELECT: крайне редко; клиент безопасно повторит запрос. + throw new TimeoutException("idempotency key disappeared during claim"); + } + + var storedHash = reader.GetFieldValue(0); + var storedMessage = reader.GetGuid(1); + return CryptographicOperations.FixedTimeEquals(storedHash, requestHash) + ? (ClaimResult.Replay, storedMessage) + : (ClaimResult.Conflict, storedMessage); + } +} + +// Периодически удаляет истёкшие ключи. Запускается на каждой реплике; параллельные DELETE безопасны +// (физически строку удалит одна из них, остальные удалят 0). +public sealed class IdempotencyCleaner( + IServiceScopeFactory scopes, + IdempotencySettings settings, + ILogger logger) : BackgroundService +{ + protected override async Task ExecuteAsync(CancellationToken stoppingToken) + { + using var timer = new PeriodicTimer(settings.CleanupInterval); + try + { + while (await timer.WaitForNextTickAsync(stoppingToken)) + { + try + { + using var scope = scopes.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var now = Timestamps.UtcNowMilliseconds(); + var removed = await db.IdempotencyKeys.Where(k => k.ExpiresAt <= now).ExecuteDeleteAsync(stoppingToken); + if (removed > 0) + { + logger.LogInformation("Удалено истёкших ключей идемпотентности: {Count}", removed); + } + } + catch (Exception ex) when (ex is not OperationCanceledException) + { + logger.LogWarning("Очистка ключей идемпотентности не удалась ({Error}); повтор через {Seconds} с", + ex.GetType().Name, settings.CleanupInterval.TotalSeconds); + } + } + } + catch (OperationCanceledException) + { + // остановка приложения + } + } +} diff --git a/scr/Messenger.Api/Services/LimitedDownloadStream.cs b/scr/Messenger.Api/Services/LimitedDownloadStream.cs new file mode 100644 index 00000000..ed0d5ad7 --- /dev/null +++ b/scr/Messenger.Api/Services/LimitedDownloadStream.cs @@ -0,0 +1,16 @@ +namespace Messenger.Api.Services; + +// Ограничивает память даже при неожиданном размере объекта в S3. +public sealed class LimitedDownloadStream(long maximum) : MemoryStream +{ + private void Check(int count) + { + if (Position + count > maximum) throw new IOException("Object exceeds its metadata size"); + } + public override void Write(byte[] buffer, int offset, int count) { Check(count); base.Write(buffer, offset, count); } + public override void Write(ReadOnlySpan buffer) { Check(buffer.Length); base.Write(buffer); } + public override Task WriteAsync(byte[] buffer, int offset, int count, CancellationToken ct) + { Check(count); return base.WriteAsync(buffer, offset, count, ct); } + public override ValueTask WriteAsync(ReadOnlyMemory buffer, CancellationToken ct = default) + { Check(buffer.Length); return base.WriteAsync(buffer, ct); } +} diff --git a/scr/Messenger.Api/Services/MessageHistoryCache.cs b/scr/Messenger.Api/Services/MessageHistoryCache.cs new file mode 100644 index 00000000..efd5525a --- /dev/null +++ b/scr/Messenger.Api/Services/MessageHistoryCache.cs @@ -0,0 +1,102 @@ +using StackExchange.Redis; + +namespace Messenger.Api.Services; + +public enum CacheStatus +{ + Disabled, // кэш не настроен + Hit, + Miss, + Bypass // кэш настроен, но недоступен: запрос обслужен напрямую из PostgreSQL +} + +// Кэш страниц истории. Источник истины — PostgreSQL; кэш лишь ускоряет чтение и никогда не обязателен. +// Согласованность: версия истории чата (chats.history_version) входит в ключ, а версия читается из PostgreSQL +// при каждом запросе (см. MessageEndpoints). Запись увеличивает версию в своей транзакции, поэтому +// после подтверждённой записи ключ меняется, и устаревшая страница недостижима — явная инвалидация не нужна. +// Старые ключи удаляются по TTL (CACHE_TTL_SECONDS) и вытесняются политикой maxmemory. +public interface IMessageHistoryCache +{ + Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct); + Task SetAsync(string key, string json, CancellationToken ct); +} + +public sealed class NullMessageHistoryCache : IMessageHistoryCache +{ + public Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) => + Task.FromResult<(string?, CacheStatus)>((null, CacheStatus.Disabled)); + + public Task SetAsync(string key, string json, CancellationToken ct) => Task.CompletedTask; +} + +public sealed class ValkeyMessageHistoryCache : IMessageHistoryCache, IDisposable +{ + // После ошибки кэш пропускается на это время, чтобы каждый запрос не ждал таймаут недоступного сервера. + private static readonly TimeSpan BypassWindow = TimeSpan.FromSeconds(5); + + private readonly ConnectionMultiplexer _connection; + private readonly TimeSpan _ttl; + private readonly ILogger _logger; + private long _bypassUntilTicks; + + public ValkeyMessageHistoryCache(CacheSettings settings, ILogger logger) + { + var options = ConfigurationOptions.Parse(settings.Connection!); + // Недоступный кэш не должен ронять ни старт, ни запросы: короткие таймауты, подключение в фоне. + options.AbortOnConnectFail = false; + options.ConnectTimeout = 500; + options.SyncTimeout = 200; + options.AsyncTimeout = 200; + options.ConnectRetry = 1; + _connection = ConnectionMultiplexer.Connect(options); + _ttl = settings.Ttl; + _logger = logger; + } + + public async Task<(string? Json, CacheStatus Status)> GetAsync(string key, CancellationToken ct) + { + if (IsBypassed()) + { + return (null, CacheStatus.Bypass); + } + + try + { + var value = await _connection.GetDatabase().StringGetAsync(key); + return value.IsNull ? (null, CacheStatus.Miss) : ((string?)value, CacheStatus.Hit); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + return (null, CacheStatus.Bypass); + } + } + + public async Task SetAsync(string key, string json, CancellationToken ct) + { + if (IsBypassed()) + { + return; + } + + try + { + await _connection.GetDatabase().StringSetAsync(key, json, _ttl); + } + catch (Exception ex) when (ex is RedisException or TimeoutException) + { + StartBypass(ex); + } + } + + private bool IsBypassed() => Environment.TickCount64 < Interlocked.Read(ref _bypassUntilTicks); + + private void StartBypass(Exception ex) + { + Interlocked.Exchange(ref _bypassUntilTicks, Environment.TickCount64 + (long)BypassWindow.TotalMilliseconds); + _logger.LogWarning("Кэш недоступен ({Error}); чтение идёт напрямую из PostgreSQL ближайшие {Seconds} с", + ex.GetType().Name, BypassWindow.TotalSeconds); + } + + public void Dispose() => _connection.Dispose(); +} diff --git a/scr/Messenger.Api/Services/PngIntegrity.cs b/scr/Messenger.Api/Services/PngIntegrity.cs new file mode 100644 index 00000000..4011b614 --- /dev/null +++ b/scr/Messenger.Api/Services/PngIntegrity.cs @@ -0,0 +1,56 @@ +using System.Buffers.Binary; +using System.IO.Compression; + +namespace Messenger.Api.Services; + +// Дополняет декодер: проверяет границы и CRC всех PNG chunks, включая IDAT. +public static class PngIntegrity +{ + private static readonly uint[] Table = Enumerable.Range(0, 256).Select(i => + { + uint c = (uint)i; + for (var bit = 0; bit < 8; bit++) c = (c & 1) != 0 ? 0xedb88320U ^ (c >> 1) : c >> 1; + return c; + }).ToArray(); + + public static async Task ValidateAsync(Stream stream, long maxDecodedBytes, CancellationToken ct) + { + stream.Position = 8; + var header = new byte[8]; + var buffer = new byte[65536]; + var checksum = new byte[4]; + using var compressed = new MemoryStream(); // IDAT не больше уже ограниченного файла (10 MiB). + while (stream.Position < stream.Length) + { + await stream.ReadExactlyAsync(header, ct); + var length = BinaryPrimitives.ReadUInt32BigEndian(header); + if (length > stream.Length - stream.Position - 4) throw new InvalidDataException("Invalid PNG chunk"); + uint crc = uint.MaxValue; + for (var i = 4; i < 8; i++) crc = Table[(crc ^ header[i]) & 255] ^ (crc >> 8); + long remaining = length; + while (remaining > 0) + { + var count = (int)Math.Min(buffer.Length, remaining); + await stream.ReadExactlyAsync(buffer.AsMemory(0, count), ct); + if (header.AsSpan(4, 4).SequenceEqual("IDAT"u8)) + await compressed.WriteAsync(buffer.AsMemory(0, count), ct); + for (var i = 0; i < count; i++) crc = Table[(crc ^ buffer[i]) & 255] ^ (crc >> 8); + remaining -= count; + } + await stream.ReadExactlyAsync(checksum, ct); + if ((crc ^ uint.MaxValue) != BinaryPrimitives.ReadUInt32BigEndian(checksum)) + throw new InvalidDataException("Invalid PNG checksum"); + } + // stbi распаковывает PNG до проверки длины пикселей: сначала проверяем + // размер zlib-потока самостоятельно, не выделяя память под распаковку. + compressed.Position = 0; + using var zlib = new ZLibStream(compressed, CompressionMode.Decompress); + long decoded = 0; + int read; + while ((read = await zlib.ReadAsync(buffer, ct)) != 0) + { + decoded += read; + if (decoded > maxDecodedBytes) throw new InvalidDataException("PNG decompression exceeds dimensions"); + } + } +} diff --git a/scr/Messenger.Api/Services/S3AttachmentStorage.cs b/scr/Messenger.Api/Services/S3AttachmentStorage.cs new file mode 100644 index 00000000..884a588e --- /dev/null +++ b/scr/Messenger.Api/Services/S3AttachmentStorage.cs @@ -0,0 +1,71 @@ +using Amazon.Runtime; +using Amazon.S3; +using Amazon.S3.Model; + +namespace Messenger.Api.Services; + +public sealed class S3AttachmentStorage : IAttachmentStorage, IDisposable +{ + private readonly AmazonS3Client _client; + private readonly string _bucket; + + public S3AttachmentStorage(S3Settings settings) + { + var config = new AmazonS3Config + { + ServiceURL = settings.Endpoint, + ForcePathStyle = true, + AuthenticationRegion = settings.Region, + Timeout = TimeSpan.FromSeconds(15), + MaxErrorRetry = 1 + }; + + var credentials = new BasicAWSCredentials(settings.AccessKey, settings.SecretKey); + _client = new AmazonS3Client(credentials, config); + + _bucket = settings.Bucket; + } + + public async Task PutAsync(string objectKey, Stream content, string contentType, CancellationToken ct) + { + var request = new PutObjectRequest + { + BucketName = _bucket, + Key = objectKey, + InputStream = content, + ContentType = contentType, + // Поток принадлежит вызывающему коду, а не SDK. + AutoCloseStream = false + }; + + await _client.PutObjectAsync(request, ct); + } + + public async Task CopyToAsync(string objectKey, Stream destination, CancellationToken ct) + { + var request = new GetObjectRequest + { + BucketName = _bucket, + Key = objectKey + }; + + using var response = await _client.GetObjectAsync(request, ct); + await response.ResponseStream.CopyToAsync(destination, ct); + } + + public async Task DeleteAsync(string objectKey, CancellationToken ct) + { + var request = new DeleteObjectRequest + { + BucketName = _bucket, + Key = objectKey + }; + + await _client.DeleteObjectAsync(request, ct); + } + + public void Dispose() => _client.Dispose(); + + public async Task CheckAsync(CancellationToken ct) => + await _client.GetBucketLocationAsync(new GetBucketLocationRequest { BucketName = _bucket }, ct); +} diff --git a/scr/Messenger.Api/Services/SessionTokens.cs b/scr/Messenger.Api/Services/SessionTokens.cs new file mode 100644 index 00000000..f8a0669e --- /dev/null +++ b/scr/Messenger.Api/Services/SessionTokens.cs @@ -0,0 +1,16 @@ +using System.Security.Cryptography; +using System.Text; + +namespace Messenger.Api.Services; + +public static class SessionTokens +{ + // 32 случайных байта = 256 бит энтропии (контракт: не менее 256). В base64url это 43 символа. + public static string Generate() => + Convert.ToBase64String(RandomNumberGenerator.GetBytes(32)) + .TrimEnd('=').Replace('+', '-').Replace('/', '_'); + + // В БД хранится только SHA-256 токена. Быстрый хеш здесь уместен: токен случайный и длинный, подбирать нечего + // (в отличие от пароля, который выбирает человек и который поэтому хешируется медленным Argon2id). + public static byte[] Hash(string token) => SHA256.HashData(Encoding.UTF8.GetBytes(token)); +} diff --git a/scr/Messenger.Api/Services/Settings.cs b/scr/Messenger.Api/Services/Settings.cs new file mode 100644 index 00000000..2928ab9f --- /dev/null +++ b/scr/Messenger.Api/Services/Settings.cs @@ -0,0 +1,166 @@ +namespace Messenger.Api.Services; + +// Все настройки читаются из IConfiguration (переменные окружения и, в тестах, UseSetting), а не напрямую из окружения: +// так одно приложение можно поднять с разными настройками в одном процессе. Секреты передаются файлами (*_FILE). + +public sealed record DatabaseSettings(string ConnectionString) +{ + public static DatabaseSettings From(IConfiguration configuration) + { + var file = configuration["DATABASE_URL_FILE"] + ?? throw new InvalidOperationException("DATABASE_URL_FILE не задан"); + + var builder = new Npgsql.NpgsqlConnectionStringBuilder(File.ReadAllText(file).Trim()) + { + Pooling = true, + MinPoolSize = 1, + // Ограниченный пул: больше MaxPoolSize соединений от одного экземпляра не открывается, + // ожидающие запросы ждут не дольше Timeout и затем получают 503. + MaxPoolSize = configuration.GetValue("DB_MAX_POOL_SIZE", 20), + Timeout = configuration.GetValue("DB_CONNECT_TIMEOUT_SECONDS", 5), + CommandTimeout = configuration.GetValue("DB_COMMAND_TIMEOUT_SECONDS", 5) + }; + return new DatabaseSettings(builder.ConnectionString); + } +} + +public sealed record S3Settings(string Bucket, string Endpoint, string Region, string AccessKey, string SecretKey) +{ + public static S3Settings From(IConfiguration configuration) + { + string Required(string name) => !string.IsNullOrWhiteSpace(configuration[name]) + ? configuration[name]!.Trim() + : throw new InvalidOperationException($"{name} не задан"); + + string ReadSecret(string name) + { + var value = File.ReadAllText(Required(name)).Trim(); + return value.Length > 0 ? value + : throw new InvalidOperationException($"Файл {name} пуст"); + } + + var endpoint = Required("S3_ENDPOINT"); + if (!Uri.TryCreate(endpoint, UriKind.Absolute, out var uri) || + uri.Scheme is not ("http" or "https")) + { + throw new InvalidOperationException("S3_ENDPOINT должен быть HTTP/HTTPS URL"); + } + + return new S3Settings(Required("S3_BUCKET"), endpoint, + configuration["S3_REGION"]?.Trim() is { Length: > 0 } region ? region : "us-east-1", + ReadSecret("S3_ACCESS_KEY_ID_FILE"), ReadSecret("S3_SECRET_ACCESS_KEY_FILE")); + } + + public override string ToString() => $"S3Settings {{ Bucket = {Bucket}, Endpoint = {Endpoint}, Region = {Region} }}"; +} + +public sealed record AuthSessionOptions(TimeSpan Ttl) +{ + // SESSION_TTL_SECONDS: по умолчанию 3600; в тесте истечения допустимо 2. Неверное значение — ошибка старта, а не молчаливый дефолт. + public static AuthSessionOptions From(IConfiguration configuration) + { + var raw = configuration["SESSION_TTL_SECONDS"]; + if (string.IsNullOrWhiteSpace(raw)) + { + return new AuthSessionOptions(TimeSpan.FromSeconds(3600)); + } + + if (!int.TryParse(raw, out var seconds) || seconds < 1) + { + throw new InvalidOperationException("SESSION_TTL_SECONDS должен быть положительным целым числом"); + } + + return new AuthSessionOptions(TimeSpan.FromSeconds(seconds)); + } +} + +// Ограничитель Argon2: сколько хешей считается одновременно и сколько запрос ждёт свободный слот, прежде чем получить 503. +// Один хеш занимает ~19 MiB и ядро CPU, поэтому без лимита пачка регистраций исчерпала бы память. +public sealed record PasswordHashingSettings(int MaxConcurrency, TimeSpan QueueTimeout) +{ + public static PasswordHashingSettings From(IConfiguration configuration) + { + var concurrency = configuration.GetValue("PASSWORD_HASH_CONCURRENCY", 4); + var timeoutSeconds = configuration.GetValue("PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS", 2.0); + if (concurrency < 1 || timeoutSeconds < 0) + { + throw new InvalidOperationException("PASSWORD_HASH_CONCURRENCY >= 1 и PASSWORD_HASH_QUEUE_TIMEOUT_SECONDS >= 0"); + } + + return new PasswordHashingSettings(concurrency, TimeSpan.FromSeconds(timeoutSeconds)); + } +} + +// Кэш необязателен: без CACHE_URL_FILE / CACHE_CONNECTION приложение работает только на PostgreSQL. +public sealed record CacheSettings(string? Connection, TimeSpan Ttl) +{ + public bool Enabled => !string.IsNullOrWhiteSpace(Connection); + + public static CacheSettings From(IConfiguration configuration) + { + var connection = configuration["CACHE_CONNECTION"]; + var file = configuration["CACHE_URL_FILE"]; + if (!string.IsNullOrWhiteSpace(file) && File.Exists(file)) + { + connection = File.ReadAllText(file).Trim(); + } + + return new CacheSettings(connection, TimeSpan.FromSeconds(configuration.GetValue("CACHE_TTL_SECONDS", 300))); + } +} + +// Диагностические заголовки X-Cache и X-Db-Queries для экспериментов; в обычной работе выключены. +public sealed record DiagnosticsSettings(bool Headers) +{ + public static DiagnosticsSettings From(IConfiguration configuration) => + new(configuration.GetValue("DIAGNOSTIC_HEADERS", false)); +} + +// Идентичность и жизненный цикл экземпляра (lab3). +// InstanceId — значение X-Instance-Id. В Docker hostname контейнера = первые 12 символов его ID, поэтому +// stop-one.sh по заголовку находит нужный контейнер. DrainDelay — пауза между SIGTERM и закрытием слушателя: +// за это время /health/ready уже отвечает 503, и балансировщик успевает вывести экземпляр из ротации. +// MigrateOnStart по умолчанию выключен: миграции выполняет отдельный one-shot контейнер (--migrate), а не гонка реплик. +public sealed record InstanceSettings(string InstanceId, TimeSpan DrainDelay, bool MigrateOnStart) +{ + public static InstanceSettings From(IConfiguration configuration) + { + var id = configuration["INSTANCE_ID"]; + if (string.IsNullOrWhiteSpace(id)) + { + id = Environment.MachineName; + } + + var drainSeconds = configuration.GetValue("SHUTDOWN_DRAIN_SECONDS", 3.0); + if (drainSeconds < 0) + { + throw new InvalidOperationException("SHUTDOWN_DRAIN_SECONDS должен быть >= 0"); + } + + return new InstanceSettings(id, TimeSpan.FromSeconds(drainSeconds), configuration.GetValue("MIGRATE_ON_START", false)); + } +} + +// Время хранения результата идемпотентной отправки сообщения (контракт: не менее 24 часов). +public sealed record IdempotencySettings(TimeSpan Ttl, TimeSpan CleanupInterval) +{ + public static IdempotencySettings From(IConfiguration configuration) + { + var ttl = configuration.GetValue("IDEMPOTENCY_TTL_SECONDS", 86400); + var cleanup = configuration.GetValue("IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS", 300); + if (ttl < 1 || cleanup < 1) + { + throw new InvalidOperationException("IDEMPOTENCY_TTL_SECONDS и IDEMPOTENCY_CLEANUP_INTERVAL_SECONDS должны быть положительными"); + } + + return new IdempotencySettings(TimeSpan.FromSeconds(ttl), TimeSpan.FromSeconds(cleanup)); + } +} + +// Признак «экземпляр останавливается»: после SIGTERM /health/ready отвечает 503, а уже принятые запросы дорабатывают. +public sealed class ShutdownState +{ + private volatile bool _draining; + public bool Draining => _draining; + public void StartDraining() => _draining = true; +} diff --git a/scr/Messenger.Api/Services/Timestamps.cs b/scr/Messenger.Api/Services/Timestamps.cs new file mode 100644 index 00000000..d9601015 --- /dev/null +++ b/scr/Messenger.Api/Services/Timestamps.cs @@ -0,0 +1,13 @@ +namespace Messenger.Api.Services; + +public static class Timestamps +{ + // Единая точность времени для хранения, сортировки, cursor и JSON-ответа: миллисекунды. + // Клиент видит время с точностью до миллисекунды, поэтому порядок (created_at, id) должен + // определяться теми же значениями, которые он видит. + public static DateTimeOffset UtcNowMilliseconds() + { + var ticks = DateTimeOffset.UtcNow.UtcTicks; + return new DateTimeOffset(ticks - ticks % TimeSpan.TicksPerMillisecond, TimeSpan.Zero); + } +} diff --git a/scr/Messenger.Api/Services/UploadCleanup.cs b/scr/Messenger.Api/Services/UploadCleanup.cs new file mode 100644 index 00000000..5db0fa07 --- /dev/null +++ b/scr/Messenger.Api/Services/UploadCleanup.cs @@ -0,0 +1,90 @@ +using Messenger.Api.Data; +using Microsoft.EntityFrameworkCore; + +namespace Messenger.Api.Services; + +public sealed record UploadCleanupSettings(TimeSpan Grace, TimeSpan Interval) +{ + public static UploadCleanupSettings From(IConfiguration configuration) + { + var grace = configuration.GetValue("UPLOAD_CLEANUP_GRACE_SECONDS", 300); + var interval = configuration.GetValue("UPLOAD_CLEANUP_INTERVAL_SECONDS", 30); + // Grace > HTTP timeout 30 с + SDK retry/таймауты + запас на отмену. + if (grace < 120 || interval < 1) + throw new InvalidOperationException("Cleanup: grace >= 120, interval >= 1"); + return new(TimeSpan.FromSeconds(grace), TimeSpan.FromSeconds(interval)); + } +} + +public sealed record UploadCleanupResult(int Scanned, int Deleted, int Protected, int Failed); + +public sealed class UploadCleanup(IServiceScopeFactory scopes, UploadCleanupSettings settings, ILogger logger) +{ + public async Task RunOnceAsync(CancellationToken ct) + { + using var scope = scopes.CreateScope(); + var db = scope.ServiceProvider.GetRequiredService(); + var storage = scope.ServiceProvider.GetRequiredService(); + using var deadline = CancellationTokenSource.CreateLinkedTokenSource(ct); + deadline.CancelAfter(TimeSpan.FromSeconds(20)); + ct = deadline.Token; + await using var tx = await db.Database.BeginTransactionAsync(ct); + // Несколько реплик не очищают одну запись одновременно. Финализация upload + // блокирует ту же строку и запрещена после истечения lease. + var intents = await db.UploadIntents.FromSqlRaw(""" + SELECT * FROM upload_intents + WHERE expires_at <= clock_timestamp() AND next_attempt_at <= clock_timestamp() + ORDER BY next_attempt_at, id LIMIT 16 FOR UPDATE SKIP LOCKED + """).ToListAsync(ct); + int deleted = 0, protectedCount = 0, failed = 0; + foreach (var intent in intents) + { + if (await db.Attachments.AsNoTracking().AnyAsync(a => a.ObjectKey == intent.ObjectKey, ct)) + { + db.UploadIntents.Remove(intent); // Опубликованный объект никогда не удаляем. + protectedCount++; + continue; + } + if (intent.ObjectKey != $"originals/{intent.Id:N}") + throw new InvalidOperationException("Invalid cleanup object key"); + intent.NextAttemptAt = DateTimeOffset.UtcNow + settings.Interval; + try + { + await storage.DeleteAsync(intent.ObjectKey, ct); // DELETE отсутствующего объекта идемпотентен. + intent.DeleteCount++; + deleted++; + // Tombstone сохраняется: даже запоздавший PUT после crash не + // превратится в забытый объект. Цена — запись в БД на неудачную загрузку. + } + catch (Exception ex) when (ex is not OperationCanceledException) + { + failed++; + logger.LogWarning("S3 cleanup retry for {UploadId}: {Error}", intent.Id, ex.GetType().Name); + } + } + await db.SaveChangesAsync(ct); + await tx.CommitAsync(ct); + return new(intents.Count, deleted, protectedCount, failed); + } +} + +public sealed class UploadCleanupWorker(UploadCleanup cleanup, UploadCleanupSettings settings, + ILogger logger) : BackgroundService +{ + protected override async Task ExecuteAsync(CancellationToken stoppingToken) + { + using var timer = new PeriodicTimer(settings.Interval); + while (!stoppingToken.IsCancellationRequested) + { + try + { + var result = await cleanup.RunOnceAsync(stoppingToken); + if (result.Scanned > 0) logger.LogInformation("Upload cleanup: {Result}", result); + } + catch (Exception ex) when (!stoppingToken.IsCancellationRequested) + { logger.LogWarning("Upload cleanup will retry: {Error}", ex.GetType().Name); } + try { if (!await timer.WaitForNextTickAsync(stoppingToken)) break; } + catch (OperationCanceledException) when (stoppingToken.IsCancellationRequested) { break; } + } + } +} diff --git a/scr/Messenger.Api/Services/UploadSettings.cs b/scr/Messenger.Api/Services/UploadSettings.cs new file mode 100644 index 00000000..62195c2f --- /dev/null +++ b/scr/Messenger.Api/Services/UploadSettings.cs @@ -0,0 +1,20 @@ +namespace Messenger.Api.Services; + +public sealed record UploadSettings(long MaxBytes, long MaxPixels) +{ + public static UploadSettings From(IConfiguration configuration) + { + var bytes = configuration.GetValue("MAX_UPLOAD_BYTES", 10485760L); + var pixels = configuration.GetValue("MAX_IMAGE_PIXELS", 40000000L); + if (bytes is < 1 or > 10485760 || pixels is < 1 or > 40000000) + throw new InvalidOperationException("Лимиты upload должны быть положительными и не превышать 10 MiB / 40 млн пикселей"); + return new(bytes, pixels); + } +} + +// Ограничиваем число одновременных декодирований на реплике (до 160 MB пикселей). +public sealed class UploadGate : IDisposable +{ + public SemaphoreSlim Slots { get; } = new(1); + public void Dispose() => Slots.Dispose(); +} diff --git a/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs new file mode 100644 index 00000000..bf12e0cd --- /dev/null +++ b/scr/Messenger.Api/Services/UtcDateTimeOffsetJsonConverter.cs @@ -0,0 +1,28 @@ +using System.Globalization; +using System.Text.Json; +using System.Text.Json.Serialization; + +namespace Messenger.Api.Services; + +public sealed class UtcDateTimeOffsetJsonConverter : JsonConverter +{ + public override DateTimeOffset Read( + ref Utf8JsonReader reader, + Type typeToConvert, + JsonSerializerOptions options) + { + return DateTimeOffset.Parse( + reader.GetString()!, + CultureInfo.InvariantCulture, + DateTimeStyles.RoundtripKind); + } + + public override void Write( + Utf8JsonWriter writer, + DateTimeOffset value, + JsonSerializerOptions options) + { + writer.WriteStringValue( + value.UtcDateTime.ToString("yyyy-MM-dd'T'HH:mm:ss.fff'Z'", CultureInfo.InvariantCulture)); + } +} \ No newline at end of file diff --git a/scr/Messenger.Api/Test/requests.http b/scr/Messenger.Api/Test/requests.http new file mode 100644 index 00000000..796396fa --- /dev/null +++ b/scr/Messenger.Api/Test/requests.http @@ -0,0 +1,44 @@ +# Optional HTTP-client worksheet; no extension is required by the course. +# Replace IDs/token locally from real responses; do not commit filled-in credentials. +# Canonical API: contracts/openapi.json and contracts/README.md. +@baseUrl = http://localhost:8080 +@aliceId = 888abdee-21fc-49f8-8220-2548949d2161 +@bobId = d1aece1d-df42-4fb7-9e16-e9c10fdf60b2 +@chatId = 54ef7f48-faba-4542-b6ea-644a75e93955 + +### Liveness +GET {{baseUrl}}/health/live + +### Register Alice (repeat with username bob/display_name Боб) +POST {{baseUrl}}/api/v1/users +Content-Type: application/json +{ + "username": "alice", + "display_name": "Алиса" +} + +### Register Bob (repeat with username bob/display_name Боб) +POST {{baseUrl}}/api/v1/users +Content-Type: application/json +{ + "username": "bob", + "display_name": "Боб" +} + +### Create chat; both UUIDs must be real registered users +POST {{baseUrl}}/api/v1/chats +X-User-Id: {{aliceId}} +Content-Type: application/json + +{"title":"Проект по ВНП","member_ids":["{{aliceId}}","{{bobId}}"]} + +### Send message +POST {{baseUrl}}/api/v1/chats/{{chatId}}/messages +X-User-Id: {{aliceId}} +Content-Type: application/json + +{"text":"Привет, Боб!"} + +### Read first page +GET {{baseUrl}}/api/v1/chats/{{chatId}}/messages?limit=50 +X-User-Id: {{aliceId}} diff --git a/scr/Messenger.Api/appsettings.Development.json b/scr/Messenger.Api/appsettings.Development.json new file mode 100644 index 00000000..0c208ae9 --- /dev/null +++ b/scr/Messenger.Api/appsettings.Development.json @@ -0,0 +1,8 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + } +} diff --git a/scr/Messenger.Api/appsettings.json b/scr/Messenger.Api/appsettings.json new file mode 100644 index 00000000..10f68b8c --- /dev/null +++ b/scr/Messenger.Api/appsettings.json @@ -0,0 +1,9 @@ +{ + "Logging": { + "LogLevel": { + "Default": "Information", + "Microsoft.AspNetCore": "Warning" + } + }, + "AllowedHosts": "*" +} diff --git a/scripts/init-secrets.sh b/scripts/init-secrets.sh new file mode 100644 index 00000000..8e49fb5f --- /dev/null +++ b/scripts/init-secrets.sh @@ -0,0 +1,43 @@ +#!/bin/sh +# Создаёт локальные секреты для compose.yaml, если их ещё нет. Существующие файлы не перезаписываются. +# Пароль случайный (24 символа [A-Za-z0-9]); значения не печатаются. Каталог secrets/ исключён из Git. +set -eu +cd "$(dirname "$0")/.." + +mkdir -p secrets +umask 077 +# Каталог закрыт для других пользователей хоста. Отдельные файлы для API ниже +# доступны непривилегированному пользователю контейнера через read-only bind mount. +chmod 700 secrets + +if [ ! -f secrets/db_password ]; then + # tr читает конечный поток /dev/urandom до нужной длины; head закрывает канал. + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/db_password + echo "created secrets/db_password" +fi + +if [ ! -f secrets/database_url.compose ]; then + printf 'Host=db;Port=5432;Database=messenger;Username=messenger;Password=%s' "$(cat secrets/db_password)" \ + > secrets/database_url.compose + echo "created secrets/database_url.compose" +fi + +if [ ! -f secrets/cache_password ]; then + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 24 > secrets/cache_password + echo "created secrets/cache_password" +fi + +if [ ! -f secrets/cache_url ]; then + printf 'cache:6379,password=%s' "$(cat secrets/cache_password)" > secrets/cache_url + echo "created secrets/cache_url" +fi + +# Отдельные root credentials для bootstrap и ограниченные credentials для API. +for secret_name in s3_root_user s3_root_password s3_access_key_id s3_secret_access_key; do + if [ ! -f "secrets/$secret_name" ]; then + LC_ALL=C tr -dc 'A-Za-z0-9' < /dev/urandom | head -c 32 > "secrets/$secret_name" + echo "created secrets/$secret_name" + fi +done + +chmod 644 secrets/database_url.compose secrets/cache_url secrets/s3_access_key_id secrets/s3_secret_access_key diff --git a/scripts/wait-ready.py b/scripts/wait-ready.py new file mode 100644 index 00000000..8fd708a6 --- /dev/null +++ b/scripts/wait-ready.py @@ -0,0 +1,22 @@ +#!/usr/bin/env python3 +"""Wait for the public LB to route requests to a ready API replica.""" +import argparse +import time +import urllib.error +import urllib.request + +p = argparse.ArgumentParser() +p.add_argument('--base-url', default='http://localhost:18084') +args = p.parse_args() +deadline = time.monotonic()+90 +while True: + try: + with urllib.request.urlopen(args.base_url.rstrip('/')+'/health/ready', timeout=3) as response: + if response.status == 200: + print('PASS: API is ready through the load balancer.') + break + except (urllib.error.URLError, OSError): + pass + if time.monotonic() >= deadline: + raise SystemExit('FAIL: API did not become ready in 90 seconds') + time.sleep(.5) diff --git a/student-tests/README.md b/student-tests/README.md new file mode 100644 index 00000000..545ff67b --- /dev/null +++ b/student-tests/README.md @@ -0,0 +1,56 @@ +# Проверки вложений lab4 + +Запущенный стенд нужен заранее. Публичные `tests/` и контракт не изменяются. +Сценарии используют только синтетические данные и не выводят токены. + +```sh +python -X utf8 scripts/wait-ready.py --base-url http://localhost:18084 +python -X utf8 tests/smoke.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 +``` + +Проверяются PNG и JPEG, оригинальные bytes, metadata DTO, ACL, авторизация, +повреждения/CRC, подмена MIME, имена файлов, превышение bytes и пикселей, +PNG с распаковкой больше заявленных размеров, ссылки на вложения в сообщениях, +пустой текст с вложением, повторы и конфликт Idempotency-Key. + +`fixtures/sample.jpg` — синтетический JPEG 8×8; PNG берётся из публичного fixture. + +Явная проверка отказов (останавливает и восстанавливает только контейнеры lab4): + +```sh +python -u -X utf8 student-tests/attachments.py --base-url http://localhost:18084 --faults +``` + +Требует Docker CLI и доступа к daemon. Сначала выполняются обычные проверки, +затем останавливается API-контейнер, принявший upload, и файл скачивается через +другой. После этого проверяются недоступность S3 и restart всех сервисов со +старыми сессиями и теми же volumes. Тест оставляет стенд работающим. +Тестовые пользователи/чаты/сообщения остаются в учебной БД: обязательный API +не содержит delete. Сброс volumes не является частью сценария. + +## Уровень 4 + +```sh +dotnet test scr/Messenger.Api.Tests/Messenger.Api.Tests.csproj --filter FullyQualifiedName~UploadCleanupTests +python -u -X utf8 student-tests/s3_bootstrap.py --base-url http://localhost:18084 +python -u -X utf8 student-tests/upload_memory.py --base-url http://localhost:18084 +``` + +`UploadCleanupTests` внедряет отказ после реального S3 PUT, проверяет устойчивый +журнал при пересоздании API, grace period, защиту ready, повтор после отказа S3, +запоздавший PUT, блокировки параллельных очистителей и сохранение старого tombstone. +Используются отдельные Testcontainers PostgreSQL/MinIO; timestamps изменяются +только в тестовой БД, production grace не уменьшается. + +`s3_bootstrap.py` дважды выполняет bootstrap при существующем файле и проверяет, +что файл/доступ API сохранились. Затем проверяет закрытые порты/консоль, отсутствие +root credentials у API и прямые S3-операции ограниченными ключами. + +`upload_memory.py` сначала обрывает реальный TCP upload, затем для двух размеров +PNG запускает по 10 barrier-synchronized запросов без retries. Скрипт **перезапускает +API перед каждым размером**, измеряет kernel cgroup high-water памяти (v1/v2), +VmHWM/VmRSS процесса и CPU usage delta. Результаты: `evidence/upload-memory.json`. +Клиент генерирует изображения в собственной памяти, она не входит в память API. +После нагрузки проверяется успешная новая загрузка. 503 из ограниченной очереди +фиксируется отдельно от успешных запросов; для p50/p95/p99 используются только успешные. diff --git a/student-tests/attachments.py b/student-tests/attachments.py new file mode 100644 index 00000000..f8b2e31b --- /dev/null +++ b/student-tests/attachments.py @@ -0,0 +1,158 @@ +#!/usr/bin/env python3 +"""Black-box attachment tests. --faults explicitly stops/restarts only this Compose project.""" +import argparse +import binascii +import json +from pathlib import Path +import struct +import subprocess +import sys +import time +import urllib.error +import urllib.request +from urllib.parse import quote +import uuid +import zlib + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0, str(ROOT / 'tests')) +from client import Client, check, run + + +def docker(*args): + return subprocess.check_output(['docker', 'compose', '--env-file', '.env', *args], + cwd=ROOT, stderr=subprocess.STDOUT, text=True) + + +def main(): + parser = argparse.ArgumentParser() + parser.add_argument('--base-url', default='http://localhost:8080') + parser.add_argument('--faults', action='store_true') + args = parser.parse_args() + c = Client(args.base_url, timeout=20) + alice, bob, eve, chat = c.bootstrap() + path = '/api/v1/chats/' + chat['id'] + png = (ROOT / 'tests/fixtures/sample.png').read_bytes() + + def upload(raw=png, mime='image/png', name='sample.png', actor=alice, expected=201): + return c.call('POST', path+'/attachments?filename='+quote(name, safe=''), expected, + actor=actor, raw=raw, headers={'Content-Type': mime}, + schema='Attachment' if expected == 201 else None) + + uploaded = upload() + att = uploaded['json'] + content_path = '/api/v1/attachments/'+att['id']+'/content' + check(att['status'] == 'ready' and att['variants'] == [] and att['error_code'] is None, 'invalid ready metadata') + check(c.call('GET', content_path, actor=bob)['bytes'] == png, 'original changed') + for suffix in ('', '/content'): + c.call('GET', '/api/v1/attachments/'+att['id']+suffix, 404, actor=eve) + c.call('GET', '/api/v1/attachments/'+str(uuid.uuid4())+suffix, 404, actor=alice) + upload(actor=eve, expected=404) + c.call('POST', path+'/attachments?filename=sample.png', 401, raw=png, + headers={'Content-Type': 'image/png'}) + c.call('GET', content_path+'?variant=thumbnail', 404, actor=bob) + check(c.call('GET', content_path+'?variant=original', actor=bob)['bytes'] == png, 'original variant changed') + print('PASS: ready metadata, original bytes, authentication and chat ACL.') + + jpeg = (ROOT / 'student-tests/fixtures/sample.jpg').read_bytes() + jpg_att = upload(jpeg, 'image/jpeg', 'sample.jpg')['json'] + check(c.call('GET', '/api/v1/attachments/'+jpg_att['id']+'/content', actor=bob)['bytes'] == jpeg, 'JPEG changed') + upload(png, 'image/jpeg', expected=415) + upload(jpeg, 'image/png', expected=415) + upload(b'not an image', expected=415) + upload(b'', expected=415) + upload(png[:40], expected=415) + damaged = bytearray(png) + damaged[len(damaged)//2] ^= 1 + upload(bytes(damaged), expected=415) + upload(jpeg[:-2], 'image/jpeg', expected=415) + upload(mime='application/octet-stream', expected=415) + for name in ('../x.png', 'x\\y.png', 'x\x00.png', 'x\n.png', '', 'a'*256): + upload(name=name, expected=400) + upload(b'x'*(10485760+1), expected=413) + + def chunk(kind, data): + return struct.pack('>I', len(data))+kind+data+struct.pack('>I', binascii.crc32(kind+data)&0xffffffff) + huge = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR', struct.pack('>IIBBBBB',10000,10000,8,2,0,0,0)) + huge += chunk(b'IDAT',zlib.compress(b''))+chunk(b'IEND',b'') + upload(huge, expected=413) + bomb = b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('>IIBBBBB',8,8,8,2,0,0,0)) + bomb += chunk(b'IDAT',zlib.compress(b'\0'*(1024*1024)))+chunk(b'IEND',b'') + upload(bomb, expected=415) + print('PASS: PNG/JPEG, MIME spoofing, damaged files, filenames, byte and pixel limits.') + + key = uuid.uuid4().hex + msg = c.message(bob, chat, '', key=key, attachments=[att['id']])['json'] + check(c.message(bob, chat, '', key=key, attachments=[att['id']])['json'] == msg, 'replay changed') + c.call('POST',path+'/messages',409,actor=bob,body={'text':'','attachment_ids':[jpg_att['id']]},headers={'Idempotency-Key':key}) + for ids, expected in (([att['id']]*2,400), ([att['id']]*11,400), ([str(uuid.uuid4())],404)): + c.call('POST',path+'/messages',expected,actor=alice,body={'text':'','attachment_ids':ids},headers={'Idempotency-Key':uuid.uuid4().hex}) + another = c.call('POST','/api/v1/chats',201,actor=alice, + body={'title':'Another','member_ids':[alice['id']]},schema='Chat')['json'] + c.call('POST','/api/v1/chats/'+another['id']+'/messages',404,actor=alice, + body={'text':'','attachment_ids':[att['id']]},headers={'Idempotency-Key':uuid.uuid4().hex}) + items = c.call('GET',path+'/messages',actor=alice,schema='MessagePage')['json']['items'] + check(msg in items, 'attachment message missing from history') + print('PASS: attachment-only messages, other uploader in same chat, idempotency and foreign attachment rejection.') + + if not args.faults: + return + + def wait_ready(): + deadline = time.monotonic()+60 + while time.monotonic() < deadline: + try: + c.call('GET','/health/ready',schema='Health') + return + except AssertionError: + time.sleep(.5) + raise AssertionError('API did not recover') + + instances = {c.call('GET',content_path,actor=bob)['headers']['X-Instance-Id'] for _ in range(12)} + check(len(instances)>=2, 'two replicas not observed') + target = uploaded['headers']['X-Instance-Id'] + containers = docker('ps','-q','api').split() + matching = [cid for cid in containers if cid.startswith(target)] + check(len(matching)==1, 'uploading container not found') + target_id = matching[0] + try: + subprocess.check_output(['docker','stop','--time','5',target_id],stderr=subprocess.STDOUT) + downloaded = c.call('GET',content_path,actor=bob) + check(downloaded['bytes']==png and downloaded['headers']['X-Instance-Id']!=target, 'failover lost attachment') + print('PASS: stopping the uploading API replica preserves the file on another replica.') + finally: + subprocess.check_output(['docker','start',target_id],stderr=subprocess.STDOUT) + wait_ready() + try: + docker('stop','s3') + time.sleep(3) + try: + urllib.request.urlopen(args.base_url+'/health/ready',timeout=10) + raise AssertionError('S3 outage left readiness healthy') + except urllib.error.HTTPError as ex: + check(ex.code==503,'S3 outage must give 503') + for method, url, data in [('GET', content_path, None), ('POST',path+'/attachments?filename=outage.png',png)]: + request = urllib.request.Request(args.base_url+url,data=data,method=method, + headers={'Authorization':'Bearer '+alice['token'],'Content-Type':'image/png'}) + try: + urllib.request.urlopen(request,timeout=10) + raise AssertionError('S3 outage unexpectedly served attachment') + except urllib.error.HTTPError as ex: + check(ex.code==503,'attachment route during S3 outage must give 503') + print('PASS: S3 outage makes readiness unavailable (503).') + finally: + docker('start','s3') + wait_ready() + check(c.call('GET',content_path,actor=bob)['bytes']==png, 'S3 restart lost file') + docker('restart','db','cache','s3','api','lb') + wait_ready() + c.call('GET','/api/v1/users/me',actor=alice,schema='User') + check(c.call('GET',content_path,actor=bob)['bytes']==png,'stack restart lost original') + c.call('GET','/api/v1/attachments/'+att['id'],actor=bob,schema='Attachment') + items = c.call('GET',path+'/messages',actor=bob,schema='MessagePage')['json']['items'] + check(msg in items,'stack restart lost attachment message') + print('PASS: restarting DB, cache, S3, API and LB preserves sessions, metadata, messages and original bytes.') + + +if __name__ == '__main__': + run(main) diff --git a/student-tests/fixtures/sample.jpg b/student-tests/fixtures/sample.jpg new file mode 100644 index 00000000..cf4a15bd Binary files /dev/null and b/student-tests/fixtures/sample.jpg differ diff --git a/student-tests/s3_bootstrap.py b/student-tests/s3_bootstrap.py new file mode 100644 index 00000000..7ee32d91 --- /dev/null +++ b/student-tests/s3_bootstrap.py @@ -0,0 +1,43 @@ +#!/usr/bin/env python3 +"""Repeat bootstrap with an existing API object, then check least-privilege S3 access.""" +import argparse +import json +from pathlib import Path +import subprocess +import sys + +ROOT=Path(__file__).resolve().parents[1] +sys.path.insert(0,str(ROOT/'tests')) +from client import Client, check, run + + +def compose(*args): + return subprocess.check_output(['docker','compose','--env-file','.env',*args],cwd=ROOT, + stderr=subprocess.STDOUT,text=True) + + +def main(): + p=argparse.ArgumentParser() + p.add_argument('--base-url',default='http://localhost:18084') + args=p.parse_args() + c=Client(args.base_url,timeout=30) + alice,bob,eve,chat=c.bootstrap() + attachment,original=c.attachment(alice,chat) + for _ in range(2): + compose('run','--rm','--no-deps','s3-init') + downloaded=c.call('GET','/api/v1/attachments/'+attachment['id']+'/content',actor=bob) + check(downloaded['bytes']==original,'bootstrap changed an existing object or API credentials') + print('PASS: two bootstrap runs preserve an existing API attachment and credentials.') + config=json.loads(compose('config','--format','json')) + check(not config['services']['s3'].get('ports'),'S3 ports are published') + check(config['services']['s3']['environment']['MINIO_BROWSER']=='off','admin console is enabled') + keys={x['source'] for x in config['services']['api']['secrets']} + check(not keys.intersection({'s3_root_user','s3_root_password'}),'API has root credentials') + print('PASS: S3 has no published ports or browser console; API has no root credentials.') + output=compose('run','--rm','--no-deps','s3-check') + for line in output.splitlines(): + if line.startswith('PASS:'): print(line) + + +if __name__=='__main__': + run(main) diff --git a/student-tests/upload_memory.py b/student-tests/upload_memory.py new file mode 100644 index 00000000..d9ce0ae8 --- /dev/null +++ b/student-tests/upload_memory.py @@ -0,0 +1,174 @@ +#!/usr/bin/env python3 +"""Ten simultaneous real PNG uploads; kernel cgroup peak/RSS after a fresh API restart.""" +import argparse +import binascii +import concurrent.futures +import hashlib +import http.client +import json +import os +from pathlib import Path +import random +import struct +import subprocess +import sys +import threading +import time +from urllib.parse import urlsplit +import zlib + +ROOT = Path(__file__).resolve().parents[1] +sys.path.insert(0,str(ROOT/'tests')) +from client import Client, check, run + + +def compose(*args): + return subprocess.check_output(['docker','compose','--env-file','.env',*args],cwd=ROOT, + stderr=subprocess.STDOUT,text=True) + + +def wait(c): + deadline=time.monotonic()+90 + while time.monotonic()I',len(data))+kind+data+struct.pack('>I',binascii.crc32(kind+data)&0xffffffff) + rng=random.Random(20261113+width) + pixels=b''.join(b'\0'+rng.randbytes(width*3) for _ in range(width)) + return b'\x89PNG\r\n\x1a\n'+chunk(b'IHDR',struct.pack('>IIBBBBB',width,width,8,2,0,0,0))+chunk(b'IDAT',zlib.compress(pixels,1))+chunk(b'IEND',b'') + + +def memory(containers): + result={} + for cid in containers: + # Cgroup includes managed/native allocations and charged file cache; + # VmHWM is the kernel high-water RSS for the dotnet process. + raw=subprocess.check_output(['docker','exec',cid,'sh','-c', + 'if [ -f /sys/fs/cgroup/memory.current ]; then cat /sys/fs/cgroup/memory.current /sys/fs/cgroup/memory.peak /sys/fs/cgroup/memory.max; ' + 'else cat /sys/fs/cgroup/memory/memory.usage_in_bytes /sys/fs/cgroup/memory/memory.max_usage_in_bytes /sys/fs/cgroup/memory/memory.limit_in_bytes; fi; ' + 'sed -n "/^VmRSS:/p; /^VmHWM:/p" /proc/1/status'],text=True) + lines=raw.splitlines() + fields={line.split(':')[0]:int(line.split()[1])*1024 for line in lines[3:]} + result[cid[:12]]={'cgroup_current_bytes':int(lines[0]),'cgroup_peak_bytes':int(lines[1]), + 'limit_bytes':None if lines[2]=='max' else int(lines[2]), + 'rss_bytes':fields['VmRSS'],'rss_peak_bytes':fields['VmHWM']} + return result + + +def cpu_usage(containers): + result={} + for cid in containers: + raw=subprocess.check_output(['docker','exec',cid,'sh','-c', + 'if [ -f /sys/fs/cgroup/cpuacct/cpuacct.usage ]; then cat /sys/fs/cgroup/cpuacct/cpuacct.usage; ' + 'else while read key value; do if [ "$key" = usage_usec ]; then echo $((value * 1000)); fi; done < /sys/fs/cgroup/cpu.stat; fi'],text=True) + result[cid[:12]]=int(raw.strip()) + return result + + +def main(): + p=argparse.ArgumentParser() + p.add_argument('--base-url',default='http://localhost:18084') + p.add_argument('--output',default='evidence/upload-memory.json') + p.add_argument('--concurrency',type=int,default=10) + args=p.parse_args() + check(args.concurrency>=10,'at least ten concurrent requests are required') + c=Client(args.base_url,timeout=40) + wait(c) + alice,bob,eve,chat=c.bootstrap() + path='/api/v1/chats/'+chat['id']+'/attachments?filename=memory.png' + + # Drop a real TCP upload mid-body. Nothing may be published or sent to S3. + def counts(): + return compose('exec','-T','db','psql','-U','messenger','-d','messenger','-At','-c', + 'SELECT (SELECT count(*) FROM attachments), (SELECT count(*) FROM upload_intents)').strip() + before=counts() + url=urlsplit(args.base_url) + connection=http.client.HTTPConnection(url.hostname,url.port or 80,timeout=5) + connection.putrequest('POST',path) + connection.putheader('Authorization','Bearer '+alice['token']) + connection.putheader('Content-Type','image/png') + connection.putheader('Content-Length','1048576') + connection.endheaders() + connection.send(b'\x89PNG\r\n\x1a\n'+b'\0'*512) + connection.close() + time.sleep(2) + check(counts()==before,'interrupted HTTP upload published an attachment or intent') + containers=compose('ps','-q','api').split() + check(len(containers)>=2,'two API replicas required') + for cid in containers: + spool=subprocess.check_output(['docker','exec',cid,'sh','-c', + 'find /tmp -maxdepth 1 -type f -name "attachment-*" | wc -l'],text=True) + check(int(spool.strip())==0,'interrupted upload left a temporary file') + print('PASS: interrupted TCP upload publishes nothing and leaves no temporary files.',flush=True) + + config=json.loads(compose('config','--format','json')) + limits=config['services']['api'].get('deploy',{}).get('resources',{}).get('limits',{}) + results=[] + for width in (1024,1600): + content=png(width) + check(len(content)<=10485760,'generated PNG exceeds contract') + compose('restart','api') # Reset kernel high-water counters for this trial. + wait(c) + containers=compose('ps','-q','api').split() + baseline=memory(containers) + cpu_before=cpu_usage(containers) + barrier=threading.Barrier(args.concurrency) + def upload(index): + client=Client(args.base_url,timeout=40) + barrier.wait(timeout=30) + response=client.call('POST',path,[201,503],actor=alice,raw=content, + headers={'Content-Type':'image/png'}) + body=json.loads(response['bytes']) + if response['status']==201: + check(body['sha256']==hashlib.sha256(content).hexdigest(),'wrong upload SHA-256') + else: + check(body['error']['code']=='unavailable','overload must be 503 unavailable') + return {'status':response['status'],'latency_seconds':round(response['elapsed'],4), + 'instance':response['headers']['X-Instance-Id']} + started=time.monotonic() + with concurrent.futures.ThreadPoolExecutor(max_workers=args.concurrency) as pool: + responses=list(pool.map(upload,range(args.concurrency))) + elapsed=time.monotonic()-started + cpu_after=cpu_usage(containers) + peak=memory(containers) + successful=sum(x['status']==201 for x in responses) + check(successful>0,'no upload succeeded') + sorted_latencies=sorted(x['latency_seconds'] for x in responses if x['status']==201) + def percentile(p): return sorted_latencies[max(0,int(len(sorted_latencies)*p+.999)-1)] + result={'width':width,'height':width,'size_bytes':len(content),'concurrency':args.concurrency, + 'successful':successful,'overload_503':len(responses)-successful,'elapsed_seconds':round(elapsed,4), + 'successful_rps':round(successful/elapsed,3),'p50_success_seconds':percentile(.5), + 'p95_success_seconds':percentile(.95),'p99_success_seconds':percentile(.99), + 'cpu_core_seconds':{cid:round((cpu_after[cid]-cpu_before[cid])/1e9,4) for cid in cpu_before}, + 'average_cpu_percent_of_one_core':{cid:round((cpu_after[cid]-cpu_before[cid])/1e9/elapsed*100,2) for cid in cpu_before}, + 'baseline':baseline,'after':peak,'responses':responses} + results.append(result) + check(all(v['limit_bytes'] is None or v['cgroup_peak_bytes'] + new(raw, Encoding.UTF8, "application/json"); + + public static HttpRequestMessage Request(HttpMethod method, string url, Guid? userId = null, HttpContent? content = null) + { + var request = new HttpRequestMessage(method, url) { Content = content }; + if (userId is not null) + { + request.Headers.Add("X-User-Id", userId.Value.ToString()); + } + + return request; + } + + public static async Task ReadJsonAsync(HttpResponseMessage response) + { + var body = await response.Content.ReadAsStringAsync(); + return JsonDocument.Parse(body).RootElement.Clone(); + } + + public static async Task CreateUserAsync(HttpClient client, string? username = null) + { + username ??= "u" + Guid.NewGuid().ToString("N")[..12]; + var response = await client.PostAsJsonAsync("/api/v1/users", + new { username, display_name = "Тест" }); + var json = await ReadJsonAsync(response); + response.EnsureSuccessStatusCode(); + return new TestUser(json.GetProperty("id").GetGuid(), username); + } + + public static async Task CreateChatAsync(HttpClient client, TestUser owner, params TestUser[] others) + { + var members = others.Append(owner).Select(u => u.Id).ToArray(); + using var request = Request(HttpMethod.Post, "/api/v1/chats", owner.Id, + JsonContent.Create(new { title = "Чат", member_ids = members })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return (await ReadJsonAsync(response)).GetProperty("id").GetGuid(); + } + + public static async Task SendMessageAsync(HttpClient client, TestUser sender, Guid chatId, string text) + { + using var request = Request(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", sender.Id, + JsonContent.Create(new { text })); + var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + return response; + } + } +} diff --git a/tools/LoadTest/LoadTest.csproj b/tools/LoadTest/LoadTest.csproj new file mode 100644 index 00000000..ed9781c2 --- /dev/null +++ b/tools/LoadTest/LoadTest.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/LoadTest/Phases.cs b/tools/LoadTest/Phases.cs new file mode 100644 index 00000000..46a4f82d --- /dev/null +++ b/tools/LoadTest/Phases.cs @@ -0,0 +1,143 @@ +using System.Diagnostics; + +namespace LoadTest +{ + /// Пользователь и чат с заранее залитой историей; Cursor — позиция нужной страницы (null = первая). + internal sealed record Scenario(Guid UserId, Guid ChatId, string? Cursor); + + /// Сырые данные измерения: задержки успешных запросов, число ошибок и фактическая длительность. + internal sealed record MeasureResult(List LatenciesMs, int Errors, double ElapsedSeconds); + + internal sealed record Summary( + int Successful, + int Errors, + double ElapsedSeconds, + double Rps, + double P50Ms, + double P95Ms, + double P99Ms, + double MaxMs); + + internal static class Phases + { + /// Создаёт пользователя и чат и заливает historySize сообщений не более чем в fillConcurrency потоков. + public static async Task PrepareAsync( + HttpClient client, int historySize, int fillConcurrency, int limit, bool lastPage) + { + var user = await Helpers.CreateUserAsync(client); + var chatId = await Helpers.CreateChatAsync(client, user); + + var options = new ParallelOptions { MaxDegreeOfParallelism = fillConcurrency }; + await Parallel.ForEachAsync(Enumerable.Range(0, historySize), options, async (i, _) => + { + using var response = await Helpers.SendMessageAsync(client, user, chatId, $"history message {i}"); + response.EnsureSuccessStatusCode(); + }); + + string? cursor = null; + if (lastPage) + { + cursor = await FindLastPageCursorAsync(client, user, chatId, limit); + } + + return new Scenario(user.Id, chatId, cursor); + } + + public static async Task WarmUpAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + // Результат прогрева отбрасывается: он нужен только для JIT, пулов потоков и соединений. + await MeasureAsync(client, scenario, clients, duration, limit); + } + + /// Замкнутый цикл: каждый из clients клиентов шлёт GET страницы истории до истечения duration. + public static async Task MeasureAsync( + HttpClient client, Scenario scenario, int clients, TimeSpan duration, int limit) + { + var url = PageUrl(scenario.ChatId, limit, scenario.Cursor); + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + + // У каждого клиента свой список задержек: общей изменяемой структуры нет, блокировки не нужны. + var workers = Enumerable.Range(0, clients).Select(_ => Task.Run(async () => + { + var latencies = new List(); + var errors = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var requestStarted = Stopwatch.GetTimestamp(); + try + { + using var request = Helpers.Request(HttpMethod.Get, url, scenario.UserId); + // Тело читается целиком (буферизация по умолчанию), но не разбирается как JSON. + using var response = await client.SendAsync(request); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(requestStarted).TotalMilliseconds); + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors); + })).ToArray(); + + var results = await Task.WhenAll(workers); + var elapsed = Stopwatch.GetElapsedTime(started).TotalSeconds; + + return new MeasureResult( + results.SelectMany(r => r.latencies).ToList(), + results.Sum(r => r.errors), + elapsed); + } + + public static Summary GetResults(MeasureResult result) + { + var sorted = result.LatenciesMs.OrderBy(x => x).ToList(); + double Percentile(double p) => + sorted.Count == 0 ? double.NaN : sorted[Math.Max(0, (int)Math.Ceiling(p * sorted.Count) - 1)]; + + return new Summary( + sorted.Count, + result.Errors, + Math.Round(result.ElapsedSeconds, 3), + Math.Round(sorted.Count / result.ElapsedSeconds, 2), + Math.Round(Percentile(0.50), 3), + Math.Round(Percentile(0.95), 3), + Math.Round(Percentile(0.99), 3), + sorted.Count == 0 ? double.NaN : Math.Round(sorted[^1], 3)); + } + + private static string PageUrl(Guid chatId, int limit, string? cursor) => + $"/api/v1/chats/{chatId}/messages?limit={limit}" + + (cursor is null ? "" : "&cursor=" + Uri.EscapeDataString(cursor)); + + /// Идёт по страницам до конца и возвращает cursor, с которым была запрошена последняя страница. + private static async Task FindLastPageCursorAsync( + HttpClient client, TestUser user, Guid chatId, int limit) + { + string? cursor = null; + while (true) + { + using var request = Helpers.Request(HttpMethod.Get, PageUrl(chatId, limit, cursor), user.Id); + using var response = await client.SendAsync(request); + response.EnsureSuccessStatusCode(); + var page = await Helpers.ReadJsonAsync(response); + var next = page.GetProperty("next_cursor"); + if (next.ValueKind == System.Text.Json.JsonValueKind.Null) + { + return cursor; + } + + cursor = next.GetString(); + } + } + } +} diff --git a/tools/LoadTest/Program.cs b/tools/LoadTest/Program.cs new file mode 100644 index 00000000..2025f313 --- /dev/null +++ b/tools/LoadTest/Program.cs @@ -0,0 +1,91 @@ +using System.Text.Json; +using LoadTest; + +// Использование (запускать в Release, сервер должен быть уже запущен): +// dotnet run -c Release --project tools/LoadTest -- --history 10000 --clients 8 --duration 15 \ +// --container mtusi-messenger-lab1 --label before --output evidence/track1/results.jsonl +var options = ParseArguments(args); +string Get(string key, string fallback) => options.TryGetValue(key, out var value) ? value : fallback; + +var url = Get("url", "http://127.0.0.1:8080"); +var history = int.Parse(Get("history", "1000")); +var clients = int.Parse(Get("clients", "1")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "15"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "3"))); +var limit = int.Parse(Get("limit", "50")); +var fillConcurrency = int.Parse(Get("fill-concurrency", "16")); +var lastPage = Get("page", "first") == "last"; +var container = options.GetValueOrDefault("container"); +var label = Get("label", "run"); +var output = options.GetValueOrDefault("output"); + +using var client = new HttpClient { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +var rssIdle = Rss.ReadMegabytes(container); +Console.Error.WriteLine($"[1/4] prepare: filling {history} messages ({fillConcurrency} parallel)..."); +var scenario = await Phases.PrepareAsync(client, history, fillConcurrency, limit, lastPage); +var rssAfterPrepare = Rss.ReadMegabytes(container); + +Console.Error.WriteLine($"[2/4] warm-up: {warmup.TotalSeconds} s, {clients} clients"); +await Phases.WarmUpAsync(client, scenario, clients, warmup, limit); + +Console.Error.WriteLine($"[3/4] measure: {duration.TotalSeconds} s, {clients} clients, page={(lastPage ? "last" : "first")}"); +var measured = await Phases.MeasureAsync(client, scenario, clients, duration, limit); +var rssAfterMeasure = Rss.ReadMegabytes(container); + +Console.Error.WriteLine("[4/4] results"); +var summary = Phases.GetResults(measured); + +var report = new +{ + label, + timestamp = DateTimeOffset.UtcNow.ToString("O"), + history, + clients, + page = lastPage ? "last" : "first", + limit, + duration_seconds = duration.TotalSeconds, + successful_requests = summary.Successful, + errors = summary.Errors, + elapsed_seconds = summary.ElapsedSeconds, + rps = summary.Rps, + p50_ms = summary.P50Ms, + p95_ms = summary.P95Ms, + p99_ms = summary.P99Ms, + max_ms = summary.MaxMs, + rss_mb_idle = rssIdle, + rss_mb_after_prepare = rssAfterPrepare, + rss_mb_after_measure = rssAfterMeasure, +}; + +var json = JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = false }); +Console.WriteLine(JsonSerializer.Serialize(report, new JsonSerializerOptions { WriteIndented = true })); + +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, json + Environment.NewLine); +} + +return summary.Errors == 0 && summary.Successful > 0 ? 0 : 1; + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--")) + { + throw new ArgumentException($"Unexpected argument: {args[i]}"); + } + + if (i + 1 >= args.Length) + { + throw new ArgumentException($"Missing value for {args[i]}"); + } + + result[args[i][2..]] = args[++i]; + } + + return result; +} diff --git a/tools/LoadTest/Rss.cs b/tools/LoadTest/Rss.cs new file mode 100644 index 00000000..6b2fdeb0 --- /dev/null +++ b/tools/LoadTest/Rss.cs @@ -0,0 +1,45 @@ +using System.Diagnostics; + +namespace LoadTest +{ + internal static class Rss + { + /// + /// RSS процесса приложения в МБ: читает VmRSS из /proc/1/status внутри контейнера + /// (PID 1 — dotnet, ENTRYPOINT в exec-форме). Возвращает null, если контейнер не задан или недоступен. + /// + public static double? ReadMegabytes(string? container) + { + if (string.IsNullOrEmpty(container)) + { + return null; + } + + try + { + var info = new ProcessStartInfo("docker", ["exec", container, "cat", "/proc/1/status"]) + { + RedirectStandardOutput = true, + RedirectStandardError = true, + }; + using var process = Process.Start(info)!; + var output = process.StandardOutput.ReadToEnd(); + process.WaitForExit(); + + var line = output.Split('\n').FirstOrDefault(l => l.StartsWith("VmRSS:")); + if (line is null) + { + return null; + } + + var kb = double.Parse(line.Split(' ', StringSplitOptions.RemoveEmptyEntries)[1], + System.Globalization.CultureInfo.InvariantCulture); + return Math.Round(kb / 1024, 1); + } + catch (Exception) + { + return null; + } + } + } +} diff --git a/tools/LoadTest/run-matrix.ps1 b/tools/LoadTest/run-matrix.ps1 new file mode 100644 index 00000000..f71090a9 --- /dev/null +++ b/tools/LoadTest/run-matrix.ps1 @@ -0,0 +1,88 @@ +<# +.SYNOPSIS + Track 1: матрица размер истории x число клиентов с перезапуском контейнера на каждую точку. + +.EXAMPLE + # замеры "до" (образ уже собран) + .\tools\LoadTest\run-matrix.ps1 -Label before + # замеры "после": пересобрать образ и повторить те же точки + .\tools\LoadTest\run-matrix.ps1 -Label after -Rebuild + # быстрая проверка скрипта + .\tools\LoadTest\run-matrix.ps1 -Label smoke -Sizes 1000 -Clients 1 -Repeats 1 -Duration 3 -Warmup 2 -Output $env:TEMP\smoke.jsonl +#> +[CmdletBinding()] +param( + [string]$Label = 'before', + [int[]]$Sizes = @(1000, 10000, 50000), + [int[]]$Clients = @(1, 8, 32), + [int]$Repeats = 2, + [int]$Duration = 8, + [int]$Warmup = 5, + [string]$Cpus = '2', + [string]$Memory = '512m', + [string]$Output = 'evidence/track1/results.jsonl', + [string]$Image = 'mtusi-messenger:lab1', + [ValidateSet('first', 'last')][string]$Page = 'first', + [switch]$Rebuild +) + +$ErrorActionPreference = 'Stop' +Set-Location (Resolve-Path (Join-Path $PSScriptRoot '..\..')) + +$name = 'mtusi-messenger-lab1' +$url = 'http://127.0.0.1:8080' + +function Remove-Api { + if (docker ps -aq --filter "name=^/$name$") { + docker rm -f $name | Out-Null + } +} + +function Start-Api { + Remove-Api + docker run -d --rm --name $name --cpus $Cpus --memory $Memory ` + -p 127.0.0.1:8080:8080 --env-file .env $Image | Out-Null + for ($i = 0; $i -lt 60; $i++) { + try { + if ((Invoke-WebRequest "$url/health/ready" -UseBasicParsing -TimeoutSec 2).StatusCode -eq 200) { return } + } catch { } + Start-Sleep -Milliseconds 500 + } + throw 'API did not become ready within 30 s' +} + +if ($Rebuild) { + Write-Host 'Rebuilding image...' + docker build -t $Image . | Out-Null + if ($LASTEXITCODE -ne 0) { throw 'docker build failed' } +} + +dotnet build tools/LoadTest -c Release -v q | Out-Null +if ($LASTEXITCODE -ne 0) { throw 'LoadTest build failed' } + +$points = @(foreach ($n in $Sizes) { foreach ($c in $Clients) { [pscustomobject]@{ History = $n; Clients = $c } } }) +$total = $points.Count * $Repeats +$done = 0 +$started = Get-Date +Write-Host "Label=$Label page=$Page points=$($points.Count) repeats=$Repeats runs=$total cpus=$Cpus memory=$Memory output=$Output" + +try { + for ($rep = 1; $rep -le $Repeats; $rep++) { + # Случайный порядок точек в каждом повторе: эффект прогрева не должен совпасть с одним размером. + foreach ($p in ($points | Sort-Object { Get-Random })) { + $done++ + Write-Host ("[{0}/{1}] rep={2} history={3} clients={4} (elapsed {5:mm\:ss})" -f $done, $total, $rep, $p.History, $p.Clients, ((Get-Date) - $started)) + Start-Api + dotnet run -c Release --project tools/LoadTest --no-build -- ` + --url $url --history $p.History --clients $p.Clients ` + --duration $Duration --warmup $Warmup ` + --page $Page --container $name --label "$Label-r$rep" --output $Output | Out-Null + if ($LASTEXITCODE -ne 0) { Write-Warning "run failed (exit $LASTEXITCODE), continuing" } + } + } +} +finally { + Remove-Api +} + +Write-Host ("Done in {0:mm\:ss}. Results appended to {1}" -f ((Get-Date) - $started), $Output) diff --git a/tools/LoadTest/summarize.py b/tools/LoadTest/summarize.py new file mode 100644 index 00000000..b307fdcf --- /dev/null +++ b/tools/LoadTest/summarize.py @@ -0,0 +1,76 @@ +import json, statistics as st, collections, sys + +path = sys.argv[1] +rows = [json.loads(l) for l in open(path, encoding='utf-8') if l.strip()] + +def group(prefix, page='first'): + g = collections.defaultdict(list) + for r in rows: + if r['label'].startswith(prefix) and r['page'] == page: + g[(r['history'], r['clients'])].append(r) + return g + +def mean(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return st.mean(v) + +def rng(rs, k): + v = [r[k] for r in rs if r.get(k) is not None] + return min(v), max(v) + +before = group('before-r') +after = group('after-r') + +out = [] +out.append('Track 1: before/after summary (mean of repeats; page=first, limit=50; container --cpus=2 --memory=512m)') +out.append('') +hdr = f"{'N':>6} {'C':>3} {'runs':>4} | {'RPS before':>10} {'RPS after':>10} {'x':>6} | {'p50 b':>7} {'p50 a':>7} | {'p95 b':>7} {'p95 a':>7} | {'p99 b':>7} {'p99 a':>7} | {'RSS prep b/a':>12} {'RSS end b/a':>12} | err b/a" +out.append(hdr) +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if not b or not a: + continue + rb, ra = mean(b, 'rps'), mean(a, 'rps') + out.append( + f"{key[0]:>6} {key[1]:>3} {len(b):>1}/{len(a):<2} | {rb:>10.0f} {ra:>10.0f} {ra/rb:>6.1f} | " + f"{mean(b,'p50_ms'):>7.1f} {mean(a,'p50_ms'):>7.1f} | {mean(b,'p95_ms'):>7.1f} {mean(a,'p95_ms'):>7.1f} | " + f"{mean(b,'p99_ms'):>7.1f} {mean(a,'p99_ms'):>7.1f} | " + f"{mean(b,'rss_mb_after_prepare'):>5.0f}/{mean(a,'rss_mb_after_prepare'):<5.0f} {mean(b,'rss_mb_after_measure'):>5.0f}/{mean(a,'rss_mb_after_measure'):<5.0f} | " + f"{sum(r['errors'] for r in b)}/{sum(r['errors'] for r in a)}") + +out.append('') +out.append('RPS spread (min-max across repeats):') +for key in sorted(set(before) | set(after)): + b, a = before.get(key, []), after.get(key, []) + if b and a: + out.append(f" N={key[0]:>6} C={key[1]:>2} before {rng(b,'rps')[0]:.0f}-{rng(b,'rps')[1]:.0f} after {rng(a,'rps')[0]:.0f}-{rng(a,'rps')[1]:.0f}") + +out.append('') +out.append('Idle RSS (empty process, MB): before %.0f, after %.0f' % ( + st.mean([r['rss_mb_idle'] for rs in before.values() for r in rs]), + st.mean([r['rss_mb_idle'] for rs in after.values() for r in rs]))) + +# last page vs first page at N=50000, C=8 +bl, al = group('before-last', 'last'), group('after-last', 'last') +out.append('') +out.append('First vs last page, N=50000, C=8 (mean RPS / p95 ms):') +key = (50000, 8) +for name, g_first, g_last in (('before', before, bl), ('after', after, al)): + f, l = g_first.get(key, []), g_last.get(key, []) + if f and l: + out.append(f" {name}: first {mean(f,'rps'):.0f} rps / {mean(f,'p95_ms'):.1f} ms ({len(f)} runs); last {mean(l,'rps'):.0f} rps / {mean(l,'p95_ms'):.1f} ms ({len(l)} runs)") + +# saturation: RPS growth with clients per N +out.append('') +out.append('Throughput vs clients (mean RPS):') +for name, g in (('before', before), ('after', after)): + for n in sorted({k[0] for k in g}): + out.append(f" {name} N={n:>6}: " + ' '.join(f"C={c}: {mean(g[(n,c)],'rps'):.0f}" for c in sorted({k[1] for k in g if k[0]==n}))) + +# per-message cost under saturation (before): 1000/rps at C=32 -> ms per request +out.append('') +out.append('Service time at saturation, C=32 (ms per request = 1000/RPS):') +for name, g in (('before', before), ('after', after)): + out.append(f" {name}: " + ' '.join(f"N={n}: {1000/mean(g[(n,32)],'rps'):.3f}" for n in sorted({k[0] for k in g}) if (n, 32) in g)) + +print('\n'.join(out)) diff --git a/tools/ScaleLoad/Program.cs b/tools/ScaleLoad/Program.cs new file mode 100644 index 00000000..435c11da --- /dev/null +++ b/tools/ScaleLoad/Program.cs @@ -0,0 +1,209 @@ +using System.Diagnostics; +using System.Net.Http.Headers; +using System.Net.Http.Json; +using System.Text; +using System.Text.Json; + +// Генератор нагрузки для трека 1 (цена масштабирования). Замкнутый цикл: каждый из --clients потоков шлёт запрос, +// ждёт ответ и сразу шлёт следующий. Профиль: --write-ratio доля POST сообщения (уникальный Idempotency-Key), +// остальное — GET страницы истории (limit=50). У каждого пользователя свой чат с --history сообщений, +// поэтому записи разных клиентов не сериализуются на одной строке чата. +// +// Запуск (стенд поднят): +// dotnet run -c Release --project tools/ScaleLoad -- --url http://localhost:8081 --clients 64 --duration 20 \ +// --label A-2x1.0 --output evidence/track1/results.jsonl +// Загрузка CPU контейнеров снимается `docker stats` во время измерения (если доступен docker CLI). +var o = ParseArguments(args); +string Get(string k, string d) => o.TryGetValue(k, out var v) ? v : d; +var url = Get("url", "http://localhost:8080"); +var clients = int.Parse(Get("clients", "32")); +var users = int.Parse(Get("users", "32")); +var history = int.Parse(Get("history", "200")); +var duration = TimeSpan.FromSeconds(double.Parse(Get("duration", "20"))); +var warmup = TimeSpan.FromSeconds(double.Parse(Get("warmup", "5"))); +var writeRatio = double.Parse(Get("write-ratio", "0.2"), System.Globalization.CultureInfo.InvariantCulture); +var label = Get("label", "run"); +var output = o.GetValueOrDefault("output"); +var project = Get("compose-project", "messenger-lab3"); + +var handler = new SocketsHttpHandler { MaxConnectionsPerServer = clients * 2, PooledConnectionLifetime = TimeSpan.FromMinutes(5) }; +using var http = new HttpClient(handler) { BaseAddress = new Uri(url), Timeout = TimeSpan.FromSeconds(30) }; + +Console.Error.WriteLine($"[1/4] prepare: {users} users, {history} messages per chat"); +var actors = await Prepare(http, users, history); + +Console.Error.WriteLine($"[2/4] warm-up {warmup.TotalSeconds}s, {clients} clients"); +await Measure(http, actors, clients, warmup, writeRatio); + +Console.Error.WriteLine($"[3/4] measure {duration.TotalSeconds}s"); +using var statsCts = new CancellationTokenSource(); +var statsTask = Task.Run(() => SampleDockerStats(project, statsCts.Token)); +var r = await Measure(http, actors, clients, duration, writeRatio); +statsCts.Cancel(); +var stats = await statsTask; + +Console.Error.WriteLine("[4/4] results"); +var lat = r.Latencies.OrderBy(x => x).ToArray(); +double P(double p) => lat.Length == 0 ? double.NaN : Math.Round(lat[Math.Max(0, (int)Math.Ceiling(p * lat.Length) - 1)], 2); +var report = new Dictionary +{ + ["label"] = label, + ["timestamp"] = DateTimeOffset.UtcNow.ToString("O"), + ["clients"] = clients, ["users"] = users, ["history"] = history, ["write_ratio"] = writeRatio, + ["duration_s"] = Math.Round(r.Elapsed, 2), + ["ok"] = lat.Length, ["errors"] = r.Errors, ["ok_get"] = r.OkGet, ["ok_post"] = r.OkPost, + ["rps"] = Math.Round(lat.Length / r.Elapsed, 1), + ["p50_ms"] = P(0.50), ["p95_ms"] = P(0.95), ["p99_ms"] = P(0.99), + ["cpu_pct"] = stats, +}; +var line = JsonSerializer.Serialize(report); +Console.WriteLine(line); +if (output is not null) +{ + Directory.CreateDirectory(Path.GetDirectoryName(Path.GetFullPath(output))!); + File.AppendAllText(output, line + Environment.NewLine); +} +return r.Errors == 0 ? 0 : 1; + +static async Task Prepare(HttpClient http, int users, int history) +{ + var result = new Actor[users]; + await Parallel.ForEachAsync(Enumerable.Range(0, users), new ParallelOptions { MaxDegreeOfParallelism = 4 }, async (i, ct) => + { + var username = "sl" + Guid.NewGuid().ToString("N")[..14]; + var password = "Load-" + Guid.NewGuid().ToString("N"); + using var reg = await http.PostAsJsonAsync("/api/v1/users", new { username, display_name = "Load", password }, ct); + reg.EnsureSuccessStatusCode(); + var me = (await reg.Content.ReadFromJsonAsync(ct)).GetProperty("id").GetGuid(); + using var login = new HttpRequestMessage(HttpMethod.Post, "/api/v1/auth/sessions"); + login.Headers.Authorization = new AuthenticationHeaderValue("Basic", Convert.ToBase64String(Encoding.UTF8.GetBytes($"{username}:{password}"))); + using var loginResponse = await http.SendAsync(login, ct); + loginResponse.EnsureSuccessStatusCode(); + var token = (await loginResponse.Content.ReadFromJsonAsync(ct)).GetProperty("token").GetString()!; + using var chatRequest = Authorized(HttpMethod.Post, "/api/v1/chats", token); + chatRequest.Content = JsonContent.Create(new { title = "Load", member_ids = new[] { me } }); + using var chatResponse = await http.SendAsync(chatRequest, ct); + chatResponse.EnsureSuccessStatusCode(); + var chatId = (await chatResponse.Content.ReadFromJsonAsync(ct)).GetProperty("id").GetGuid(); + for (var m = 0; m < history; m++) + { + using var post = PostMessage(chatId, token, $"history {m}"); + using var response = await http.SendAsync(post, ct); + response.EnsureSuccessStatusCode(); + } + result[i] = new Actor(token, chatId); + }); + return result; +} + +static HttpRequestMessage Authorized(HttpMethod method, string path, string token) +{ + var request = new HttpRequestMessage(method, path); + request.Headers.Authorization = new AuthenticationHeaderValue("Bearer", token); + return request; +} + +static HttpRequestMessage PostMessage(Guid chatId, string token, string text) +{ + var request = Authorized(HttpMethod.Post, $"/api/v1/chats/{chatId}/messages", token); + request.Headers.Add("Idempotency-Key", Guid.NewGuid().ToString("N")); + request.Content = JsonContent.Create(new { text }); + return request; +} + +static async Task Measure(HttpClient http, Actor[] actors, int clients, TimeSpan duration, double writeRatio) +{ + var started = Stopwatch.GetTimestamp(); + var deadline = started + (long)(duration.TotalSeconds * Stopwatch.Frequency); + var workers = Enumerable.Range(0, clients).Select(i => Task.Run(async () => + { + var actor = actors[i % actors.Length]; + var rnd = new Random(i * 7919 + Environment.TickCount); + var latencies = new List(); + int errors = 0, okGet = 0, okPost = 0; + while (Stopwatch.GetTimestamp() < deadline) + { + var write = rnd.NextDouble() < writeRatio; + var t = Stopwatch.GetTimestamp(); + try + { + using var request = write + ? PostMessage(actor.ChatId, actor.Token, "load " + Guid.NewGuid().ToString("N")) + : Authorized(HttpMethod.Get, $"/api/v1/chats/{actor.ChatId}/messages?limit=50", actor.Token); + using var response = await http.SendAsync(request); + await response.Content.ReadAsByteArrayAsync(); + if (response.IsSuccessStatusCode) + { + latencies.Add(Stopwatch.GetElapsedTime(t).TotalMilliseconds); + if (write) okPost++; else okGet++; + } + else + { + errors++; + } + } + catch (Exception ex) when (ex is HttpRequestException or TaskCanceledException) + { + errors++; + } + } + + return (latencies, errors, okGet, okPost); + })).ToArray(); + + var results = await Task.WhenAll(workers); + return new Result( + results.SelectMany(x => x.latencies).ToList(), results.Sum(x => x.errors), + results.Sum(x => x.okGet), results.Sum(x => x.okPost), Stopwatch.GetElapsedTime(started).TotalSeconds); +} + +// Средняя загрузка CPU (в % одного ядра, как в docker stats) по роли контейнера за время измерения. +static async Task> SampleDockerStats(string project, CancellationToken ct) +{ + var sums = new Dictionary(); + try + { + while (!ct.IsCancellationRequested) + { + var info = new ProcessStartInfo("docker", ["stats", "--no-stream", "--format", "{{.Name}} {{.CPUPerc}}"]) + { RedirectStandardOutput = true, RedirectStandardError = true }; + using var p = Process.Start(info)!; + var text = await p.StandardOutput.ReadToEndAsync(ct); + await p.WaitForExitAsync(ct); + // Внутри одного снимка суммируем реплики одной роли, затем усредняем снимки. + var snapshot = new Dictionary(); + foreach (var line in text.Split('\n', StringSplitOptions.RemoveEmptyEntries)) + { + var parts = line.Trim().Split(' '); + if (parts.Length < 2 || !parts[0].StartsWith(project + "-")) continue; + var role = parts[0][(project.Length + 1)..]; + role = role[..role.LastIndexOf('-')]; + if (!double.TryParse(parts[1].TrimEnd('%'), System.Globalization.NumberStyles.Float, System.Globalization.CultureInfo.InvariantCulture, out var cpu)) continue; + snapshot[role] = snapshot.GetValueOrDefault(role) + cpu; + } + + foreach (var (role, cpu) in snapshot) + { + var (sum, n) = sums.GetValueOrDefault(role); + sums[role] = (sum + cpu, n + 1); + } + } + } + catch (OperationCanceledException) { } + catch (Exception) { } + return sums.ToDictionary(kv => kv.Key, kv => Math.Round(kv.Value.Sum / Math.Max(1, kv.Value.N), 1)); +} + +static Dictionary ParseArguments(string[] args) +{ + var result = new Dictionary(); + for (var i = 0; i < args.Length; i++) + { + if (!args[i].StartsWith("--") || i + 1 >= args.Length) throw new ArgumentException($"Bad argument: {args[i]}"); + result[args[i][2..]] = args[++i]; + } + return result; +} + +internal sealed record Actor(string Token, Guid ChatId); +internal sealed record Result(List Latencies, int Errors, int OkGet, int OkPost, double Elapsed); diff --git a/tools/ScaleLoad/ScaleLoad.csproj b/tools/ScaleLoad/ScaleLoad.csproj new file mode 100644 index 00000000..dfb40caa --- /dev/null +++ b/tools/ScaleLoad/ScaleLoad.csproj @@ -0,0 +1,10 @@ + + + + Exe + net10.0 + enable + enable + + + diff --git a/tools/ScaleLoad/compose.cpuset.yaml b/tools/ScaleLoad/compose.cpuset.yaml new file mode 100644 index 00000000..83c4136d --- /dev/null +++ b/tools/ScaleLoad/compose.cpuset.yaml @@ -0,0 +1,6 @@ +# Override для эксперимента трека 1: API закрепляется за ядрами (cpuset) вместо квоты CFS. +# Использование: COMPOSE_FILE=compose.yaml:tools/ScaleLoad/compose.cpuset.yaml API_CPUSET=0-1 API_CPUS=16 docker compose up -d ... +# API_CPUS=16 делает квоту CFS практически неограниченной: бюджет задаёт только cpuset. +services: + api: + cpuset: ${API_CPUSET:?задайте API_CPUSET, например 0-1} diff --git a/tools/ScaleLoad/run-config.sh b/tools/ScaleLoad/run-config.sh new file mode 100644 index 00000000..75442802 --- /dev/null +++ b/tools/ScaleLoad/run-config.sh @@ -0,0 +1,30 @@ +#!/bin/bash +# Один замер трека 1: применяет конфигурацию стенда (реплики/ресурсы), ждёт готовности LB и запускает ScaleLoad. +# Использование: +# tools/ScaleLoad/run-config.sh